KR20090055848A - 신호등 인식 장치 및 방법 - Google Patents

신호등 인식 장치 및 방법 Download PDF

Info

Publication number
KR20090055848A
KR20090055848A KR1020070122689A KR20070122689A KR20090055848A KR 20090055848 A KR20090055848 A KR 20090055848A KR 1020070122689 A KR1020070122689 A KR 1020070122689A KR 20070122689 A KR20070122689 A KR 20070122689A KR 20090055848 A KR20090055848 A KR 20090055848A
Authority
KR
South Korea
Prior art keywords
traffic light
unit
recognition
lane
image
Prior art date
Application number
KR1020070122689A
Other languages
English (en)
Inventor
채기주
조성익
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020070122689A priority Critical patent/KR20090055848A/ko
Publication of KR20090055848A publication Critical patent/KR20090055848A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

신호등 인식을 실시간으로 처리하고 보다 정확하게 행할 수 있도록 한 신호등 인식 장치 및 방법을 개시한다. 본 발명은 주행중인 차량의 전방의 영상에서 주행차로를 인식하고, 이를 근거로 주행중인 차량의 전방의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정한 후에 설정된 관심영역을 근거로 주행중인 차량의 전방의 영상에서 신호등을 인식한다.

Description

신호등 인식 장치 및 방법{Apparatus and method of detecting signal light}
본 발명은 신호등 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 차선, 정지선 등의 도로 객체 정보를 이용하여 신호등을 인식하도록 한 장치 및 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-114-03, 과제명: 텔레매틱스용 실감컨텐츠 구축/관리 기술 개발(Technology Development for Construction and Management of Tangible Content for Telematics Service)].
현재 자동차에는 전방, 후방, 측방에 다양한 센서를 장착하여 운전자의 안전 운전을 지원하는 서비스를 개발하고 있다. 즉, 후진할 때 센서를 통해 장애물과의 거리를 소리나 화면으로 표시해 주는 장치, 전방의 차선이나 차량을 인식하여 경보해 주는 장치 등을 통하여 운전자의 안전 운행을 돕고 있다.
이러한 부가 서비스 장치를 장착하고서도 차량 주행중 사고가 많이 발생하는 장소로는 교차로가 있으며, 차선 변경시 및 신호등 변경시에도 운전자의 부주의로 인한 사고가 많이 발생한다.
그에 따라, 운전자의 부주의로 인한 사고를 미연에 방지하기 위해 다양한 기술들이 제안되고 있다. 그 중의 하나로, 신호등 변경시에 신호등의 색상을 인식하여 운전자에게 보여주는 기술이 있다. 신호등 변경시에 신호등의 색상을 인식하여 운전자에게 보여주는 기술은 신호등의 색상이 빨강, 노랑, 파랑이라는 정보로부터 색상 정보를 추출하는 알고리즘을 사용하거나 신호등이 사각형 테두리에 원의 형태를 갖는다는 것을 이용한다. 예를 들어, 국내특허출원번호 10-2006-0003046호(명칭: 영상인식을 이용한 신호등 변경 통보 시스템 및 방법)에서는 차량 주행시 신호등의 신호 변화를 영상인식을 통해 운전자에게 알려 주도록 하고 있다. 국내특허출원번호 10-2006-0003046호의 신호등 변경 통보 시스템은, 방향지시등; 방향지시등과 연결되어 방향지시등의 온/오프 여부 및 진행방향을 검출하고 점멸하는 방향지시등의 방향을 검출하여 출력하는 방향지시등 방향 검출부; 신호등을 촬영하기 위해 주행중의 차량 전방 상단을 촬영하고 촬영된 영상을 영상데이터로 변환하여 출력하는 영상부; 신호등을 검출하기 위한 신호등 형상에 대응하는 패턴 및 신호등의 색 패턴을 저장하는 저장부; 소정의 제어를 받아 신호등 변경에 따른 경보신호를 발생하는 경보부; 및 영상 데이터와 신호등 패턴을 비교하여 전방에 존재하는 신호등을 검출하고, 신호등 검출시 영상 데이터로부터 검출된 신호등 패턴에 대한 신호등과 신호등의 색 패턴을 비교하여 색을 인지하고, 신호등 패턴과 색에 의해 신호를 판단하고, 판단된 신호와 검출된 방향지시등 방향과 일치하면 진행방향에 따른 주행방향 안내를 경보부를 통해 경보하는 제어부를 포함한다. 국내특허출원번호 10-2006-0003046호는 신호등을 검출하기 위하여 신호등 형상에 대응하는 패턴 및 신호등의 색 패턴을 저장하여 이를 바탕으로 신호등을 검출하게 된다.
이러한 신호등의 색 패턴을 비교하여 검출함에 있어서 빠른 처리를 위해서는 신호등에 해당되는 영역에 대한 고려가 필요한데, 앞서 예시한 국내특허출원번호 10-2006-0003046호에서는 이 부분에 대해서 전혀 언급하지 않았다.
주행하면서 영상부(카메라)로부터 입력되는 영상을 이용하여 신호등을 처리하기 위해서는 실시간으로 신호등을 인식하는 기술이 필요한데, 종래 기술은 입력되는 영상 전체에 대해서 신호등을 인식함으로 인하여 속도가 느린 문제점이 있다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 신호등 인식을 실시간으로 처리하고 보다 정확하게 행할 수 있도록 한 신호등 인식 장치 및 방법을 제공함에 그 목적이 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시예에 따른 신호등 인식 장치는, 주행중인 차량의 전방의 영상을 촬영하는 촬영부; 주행중인 차량의 현재 위치를 탐색하는 위치 탐색부; 위치 탐색부로부터의 현재 위치 정보 및 저장된 차선 정보를 기초로 촬영부로부터의 영상에서 주행중인 차량의 주행차로를 인식하는 주행차로 인식부; 주행차로 인식부로부터의 정보를 기초로 촬영부로부터의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정부; 및 관심영역 설정부에서 설정된 관심영역을 근거로 촬영부로부터의 영상에서 신호등을 인식하는 신호등 인식부를 포함한다.
본 발명의 다른 실시예에 따른 신호등 인식 장치는, 주행중인 차량의 전방의 영상을 촬영하는 촬영부; 주행중인 차량의 현재 위치를 탐색하는 위치 탐색부; 위치 탐색부로부터의 현재 위치 정보 및 저장된 신호등 위치 정보를 기초로 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하여 신호등의 인식시작 여부를 결정하는 신호등 인식시작 결정부; 신호등 인식시작 결정부에서 신호등의 인식시작을 결정함에 따라, 위치 탐색부로부터의 현재 위치 정보 및 저장된 차선 정보를 기초로 촬영부로부터의 영상에서 주행중인 차량의 주행차로를 인식하는 주행차로 인식부; 주행차로 인식부로부터의 정보를 기초로 촬영부로부터의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정부; 및 관심영역 설정부에서 설정된 관심영역을 근거로 촬영부로부터의 영상에서 신호등을 인식하는 신호등 인식부를 포함한다.
촬영부로부터의 영상에서 정지선을 인식하는 정지선 인식부를 더 포함하여도 된다. 이 경우, 관심영역 설정부는 정지선 인식부로부터 정지선 인식신호가 입력됨에 따라 이전에 설정한 관심영역을 확대시킨 정보를 신호등 인식부에게로 보낸다.
본 발명의 실시예에 따른 신호등 인식 방법은, 주행차로 인식부가, 주행중인 차량의 현재 위치 정보 및 전방의 영상을 입력받고 저장된 차선 정보를 기초로 주행중인 차량의 전방의 영상에서 주행차로를 인식하는 주행차로 인식단계; 관심영역 설정부가, 주행차로 인식단계에서 생성된 정보를 기초로 주행중인 차량의 전방의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정단계; 및 신호등 인식부가, 관심영역 설정단계에서 설정된 관심영역을 근거로 주행중인 차량의 전방의 영상에서 신호등을 인식하는 신호등 인식단계를 포함한다.
본 발명의 다른 실시예에 따른 신호등 인식 방법은, 신호등 인식시작 결정부 가, 주행중인 차량의 현재 위치 정보를 입력받아 저장된 신호등 위치 정보를 기초로 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하여 신호등의 인식시작 여부를 결정하는 신호등 인식시작 결정단계; 주행차로 인식부가, 신호등 인식시작 결정단계에서 신호등의 인식시작을 결정함에 따라, 입력받은 주행중인 차량의 현재 위치 정보 및 저장된 차선 정보를 기초로 입력받은 주행중인 차량의 전방의 영상에서 주행차로를 인식하는 주행차로 인식단계; 관심영역 설정부가, 주행차로 인식단계에서 생성된 정보를 기초로 주행중인 차량의 전방의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정단계; 및 신호등 인식부가, 관심영역 설정단계에서 설정된 관심영역을 근거로 주행중인 차량의 전방의 영상에서 신호등을 인식하는 신호등 인식단계를 포함한다.
주행차로 인식단계는, 입력된 현재 위치에 상응하는 도로의 전체 차로수를, 저장된 차선 정보에서 읽어내는 단계; 및 읽어낸 전체 차로수에서 현재 주행중인 차량의 주행차로를 인식하는 단계를 포함한다.
관심영역 설정단계는, 주행차로 인식단계에 의한 주행차로 정보를 기반으로 차량의 전방의 영상에서 중앙선에 가장 근접한 차로의 왼쪽 차선과 가장 오른쪽 차로의 오른쪽 차선을 구하는 제 1단계; 구해진 두 개의 차선으로부터 두 차선이 만나는 소실점을 차량의 전방의 영상에서 구하는 제 2단계; 및 소실점에 대한 정보와 구해진 두 개의 차선에 대한 정보를 근거로 관심영역을 차량의 전방의 영상에서 설정하는 제 3단계를 포함한다.
제 3단계는, 소실점과 소실점으로부터 왼쪽 차선 및 오른쪽 차선으로의 일정 지점의 점을 이용하여 사각형태의 관심영역을 설정한다.
정지선 인식부가, 입력되는 차량의 전방의 영상에서 정지선을 인식하는 정지선 인식단계를 더 포함하여도 된다. 이 경우, 관심영역 설정단계는 정지선 인식단계에서 정지선을 인식함에 따라 이전에 설정한 관심영역을 확대시킨 정보를 신호등 인식단계에게로 보낸다.
정지선 인식단계는 입력되는 차량의 전방의 영상에서 가로 에지가 가장 많은 부분을 정지선으로 인식한다.
신호등 인식시작 결정단계는, 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하는 단계; 계산된 거리와 기준치를 비교하는 단계; 및 비교 결과 계산된 거리가 기준치보다 작으면 신호등 인식시작으로 결정하는 단계를 포함한다.
이러한 구성의 본 발명에 따르면, 촬영부에서 촬영한 주행중인 차량의 전방의 영상에서 인식해 낸 주행차로를 근거로 주행중인 차량의 전방의 영상에서 신호등이 존재할 가능성이 높은 관심영역을 설정하고 설정된 관심영역내에서 신호등을 인식해 내므로, 실시간 처리가 가능할 뿐만 아니라 종래에 비해 고속으로 신호등을 인식해 낼 수 있게 된다.
촬영부에서 촬영한 주행중인 차량의 전방의 영상에서 추출되는 정지선에 의해 신호등의 인식을 고속으로 행할 수 있을 뿐만 아니라 보다 정확하게 인식할 수 있게 된다.
운전자가 운전하고 있는 환경에서 신호등의 인식을 고속으로 행하고 신호등의 인식의 정확도를 높임으로 인해 신호등 오인식으로 인한 사고를 예방할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 신호등 인식 장치 및 방법에 대하여 설명하면 다음과 같다.
도 1은 본 발명의 제 1실시예에 따른 신호등 인식 장치의 구성을 나타낸 블럭도로서, 촬영부(10), 위치 탐색부(12), 차선 데이터베이스(14), 주행차로 인식부(16), 관심영역 설정부(18), 정지선 인식부(20), 신호등 인식부(22), 및 제어부(24)를 포함한다.
촬영부(10)는 차량의 전방에 적어도 하나 이상으로 설치되어 주행중인 차량의 전방의 영상을 촬영한다. 촬영부(10)는 주행중인 차량의 주행차로, 차선, 정지선, 신호등 등이 모두 촬영될 수 있는 각도로 설치됨이 바람직하다. 촬영부(10)는 비, 바람 등의 기후의 영향으로 인하여 차량 내부에 설치됨이 바람직하나, 날씨가 좋은 날의 경우에는 차량 외부에 설치될 수 있도록 하여도 무방하다.
위치 탐색부(12)는 GPS(Global Positioning System)를 이용하거나 DGPS(Differential GPS)를 이용하여 주행중인 차량의 현재의 위치를 탐색한다.
차선 데이터베이스(14)는 지역별로 산재해 있는 모든 도로의 위치, 및 도로 위치별 전체 차로수와 그에 상응하는 전체 차선수 등을 내포하는 정보(이하에서는 "차선 정보"라고 함)를 저장하고 있다. 예컨대, 4차로인 경우에는 전체 차로수는 4이고 전체 차선수는 5이다. 차선 데이터베이스(14)는 위치 탐색부(12)에서 탐색된 현재의 위치에 상응하는 차선 정보를 보유한다.
주행차로 인식부(16)는 촬영부(10)에서 촬영된 주행중인 차량의 전방의 영상에서 주행차로를 인식(식별)해 낸다. 여기서, 주행차로란 현재 차량이 주행하고 있는 차로를 의미한다. 예를 들어, 4차로의 도로에서 2차로를 주행하고 있다면 주행차로 인식부(16)는 "2/4"와 같은 정보를 내포하는 신호를 출력시킨다. 주행차로 인식부(16)는 주행중인 차량의 현재 위치에 상응하는 도로의 전체 차선수를 차선 데이터베이스(14)에서 읽어내고, 차선과 중앙선 또는 도로의 경계선을 인식하여 주행차로를 인식한다. 즉, 주행차로 인식부(16)는 현재 주행중인 차량의 주행차로가 중앙선으로부터 몇 번째 차로인지를 알려주는 정보의 출력이 가능하다. 주행차로를 인식하는 알고리즘에 대한 기술 또는 논문은 이미 공지되어 있다. 공지된 기술과 관련된 선행특허로는 출원번호 10-2003-0077545호(명칭: 주행차로 인식방법 및 이를 이용한 주행차로 변경방법) 등이 있다. 공지된 논문으로는 "Lane Detection using Support Vector Machines(Proceeding of IMSA(Internet and Multimedia System and Applications)2007)" 등이 있다.
차선 데이터베이스(14)와 주행차로 인식부(16)를 각기 별개로 구성시켰으나, 차선 데이터베이스(14)가 주행차로 인식부(16)내에 포함되는 것으로 하여도 무방하다.
관심영역 설정부(18)는 주행차로 인식부(16)에서 주행차로를 인식하였는지에 따라 각기 다르게 관심영역(ROI: Region of Interest)을 설정(추정)한다. 여기서, 관심영역이란 신호등이 존재할 가능성이 높은 영역을 의미한다.
주행차로를 인식하지 않은 경우에는, 관심영역 설정부(18)는 관심영역을 고정된 범위 또는 가변 범위로 선정하여 영상처리를 수행한다. 실시간적인 속도를 고려하여 관심영역은 신호등의 영역이 포함되는 최소한의 영역으로 설정하는 것이 바람직하다. 예를 들어, 고정된 범위란 촬영된 영상의 상부 영역에 신호등이 존재할 가능성이 높기 때문에 주행중인 차량의 전방의 영상에서 위로부터 1/2과 같이 고정된 영역을 의미한다. 가변 범위란 정지선 부근에는 신호등이 존재할 가능성이 높으므로 주행중인 차량의 전방의 영상에서 가로 에지 성분이 가장 많은 부분을 의미한다. 가변 범위의 관심영역을 설정할 경우에는 캐논(Cannon) 필터 등의 에지 필터를 사용하여 가로 에지(edge)가 가장 많은 부분을 인식하고 흰색을 판별해 낸다. 정지선은 가로 에지 성분이 많고 흰색이라는 특성이 있기 때문이다. 여기서, 가변 범위는 앞서 예시한 가로 에지 부분 이외로 다양하게 설정할 수 있다.
주행차로를 인식한 경우에는, 관심영역 설정부(18)는 주행차로에 근거하여 관심영역을 설정한다. 일단, 관심영역 설정부(18)는 주행차로 인식부(16)로부터의 주행차로 정보에 근거하여 현재 주행하고 있는 차로의 양 차선을 구한다. 이를 바탕으로 관심영역 설정부(18)는 촬영부(10)로부터의 영상에서의 도로폭을 구한다. 주행차로 정보로부터 중앙선으로부터 몇 번째 차로인지를 알 수 있으므로, 관심영역 설정부(18)는 주행하고 있는 방향에서 중앙선에 가장 근접한 차로의 왼쪽 차선을 구하고 차선 정보로부터 가장 오른쪽 차로의 우측 차선을 구한다. 관심영역 설 정부(18)는 중앙선에 가장 근접한 차로의 왼쪽 차선과 가장 오른쪽 차로의 우측 차선으로부터 두 차선이 만나는 소실점을 구한다. 신호등은 소실점보다 위에 있으므로, 관심영역 설정부(18)는 소실점의 좌표와 중앙선에 가장 근접한 차로의 왼쪽 차선과 가장 오른쪽 차로의 우측 차선의 좌표로부터 관심영역을 설정한다. 도 2에서는 소실점을 이용하여 관심영역을 설정한 예를 보여준다. 중앙선에 가장 근접한 차로의 왼쪽 차선과 가장 오른쪽 차로의 우측 차선으로부터 두 차선이 만나는 소실점(a)으로부터 왼쪽 차선 및 오른쪽 차선으로 각각 1/4 지점의 점과 소실점(a)이 사각형의 교차점이 되는 영역을 관심영역으로 설정하였다. 예를 들어, 도 2의 (a)는 정지선을 인식하지 못하였을 경우의 소실점(a)과 사각형의 영역을 보여주고, 도 2의 (b)는 정지선을 인식하였을 경우의 소실점(a)과 사각형의 영역을 보여준다. 도 2의 (b)에서는 사각형의 영역이 도 2의 (a)의 사각형의 영역에 비해 더 확대되었음을 보여준다.
관심영역 설정부(18)는 정지선 인식부(20)에서 정지선을 인식하면 설정한 관심영역을 확대시켜 신호등 인식부(22)에서의 신호등 인식의 정확도를 높여 준다.
정지선 인식부(20)는 촬영부(10)에서 촬영된 주행중인 차량의 전방의 영상에서 정지선을 인식한다. 정지선 인식부(20)는 정지선을 인식할 수 있는 정지선 인식 알고리즘을 내장하고 있다. 정지선은 가로 에지(edge) 성분이 많고 흰색이라는 특성이 있으므로, 정지선 인식부(20)는 캐논(Cannon) 필터 등의 에지 필터를 사용하여 가로 에지가 가장 많은 부분을 인식하고 흰색이 많은지를 판별하여 정지선을 인식한다. 정지선 인식부(20)를 사용하는 이유는 정지선 주변에 신호등이 존재할 확 률이 높기 때문이다. 정지선 인식부(20)는 선택적으로 갖추어지는 구성요소로 보면 된다.
신호등 인식부(22)는 관심영역 설정부(18)에서 설정한 관심영역내의 영상을 기초로 신호등을 인식한다. 신호등 인식방법으로는 신호등의 색상 정보(예컨대, 빨강, 노랑, 녹색) 또는 형태(예컨대, 사각형상 내부의 원)를 이용한다. 신호등 인식부(22)에서의 신호등 인식방법에 대해 예를 들어 설명하면 다음과 같다. 설정된 관심영역내의 영상(RGB색상)을 HSI(H(Hue; 색상), S(Saturation; 채도), I(Intensity; 명도))변환하고, 빨강, 노랑, 녹색의 HSI범위를 가지고 필터링한 후에 잡음제거를 위해 형태 처리(morphology processing)를 수행한다. 그 후, 신호등 인식의 영상 크기를 지정하고 신호등의 가로/세로비를 이용하여 라벨링(Labelling)을 수행한 후, 사각형 안의 원이 나오는 형태인지를 체크하여 신호등을 인식한다. 통상적으로, 형태 처리란 영상의 기본적인 특징을 유지하면서 형태에 변화를 주는 것을 의미한다. 라벨링은 채워진 영역에 고유한 번호를 매겨주는 방법으로서, 영상합성 등에서 윤곽을 그린 다음 내부를 특정한 색으로 채울 경우에 이용된다. 또한, 신호등 인식과 관련하여 선행의 구현방법으로는 앞서 예시한 국내특허출원번호 10-2006-0003046호 등이 있다.
제어부(24)는 촬영부(10)와 위치 탐색부(12)로부터의 정보를 입력받고 이를 근거로 주행차로 인식부(16), 관심영역 설정부(18), 정지선 인식부(20), 및 신호등 인식부(22)의 동작을 제어한다.
이어, 본 발명의 제 1실시예에 따른 신호등 인식 방법에 대해 도 3의 플로우차트를 참조하여 설명하면 다음과 같다.
차량이 주행을 하게 되면, 촬영부(10)에서 촬영된 주행중인 차량의 전방의 영상이 제어부(24)에게로 입력되고, 위치 탐색부(12)는 주행중인 차량의 현재 위치를 탐색하여 제어부(24)에게로 입력시킨다(S10, S12).
제어부(24)에서는 신호등 인식을 위한 제어를 시작하게 된다(S14). 즉, 제어부(24)는 촬영부(10) 및 위치 탐색부(12)로부터의 정보를 주행차로 인식부(16)에게로 보내고서 주행차로 인식을 명령한다. 그에 따라, 주행차로 인식부(16)는 입력된 정보를 근거로 주행중인 차량의 주행차로를 인식한다.
주행차로 인식부(16)가 주행차로를 인식한 경우(S16에서 "예")에는 인식한 주행차로 정보를 제어부(24)에게로 보내고, 제어부(24)는 이를 관심영역 설정부(18)에게로 보냄과 더불어 주행하고 있는 차량의 현재 위치에서의 전방의 영상을 관심영역 설정부(18)에게로 보내어 관심영역을 설정하도록 명령한다. 그에 따라, 관심영역 설정부(18)는 주행차로에 근거하여 관심영역을 설정한다(S18). 반대로, 주행차로 인식부(16)에서 주행차로를 인식하지 못하면(S16에서 "아니오") 제어부(24)의 제어에 의해 관심영역 설정부(18)는 입력된 영상에서 고정된 범위 또는 가변 범위로 관심영역을 설정한다(S20).
한편, 관심영역 설정부(18)가 동작하는 동안에 정지선 인식부(20)가 함께 동작하게 된다. 만약, 정지선 인식부(20)가 주행중인 차량의 전방의 영상에서 정지선을 인식하게 되면(S22에서 "예") 그에 상응하는 신호를 제어부(24)에게로 보낸다. 제어부(24)는 관심영역 설정부(18)에게 이 사실을 알리고, 관심영역 설정부(18)는 이전에 설정한 관심영역을 보다 확대시킨다(도 2의 (b) 참조)(S24). 확대된 관심영역이 표시된 영상이 신호등 인식부(22)에게로 보내지고, 신호등 인식부(22)에서는 예를 들어 도 2의 (b)와 같은 차량의 전방의 영상(관심영역이 확대된 영상)에서 관심영역으로 표시된 영역내의 영상에 대해 신호처리하여 신호등을 인식한다(S26).
반대로, 정지선 인식부(20)에서 정지선을 인식하지 못하면(S22에서 "아니오") 신호등 인식부(22)에서는 관심영역 설정부(18)에서 설정한 관심영역이 표시된 영상(예컨대, 도 2의 (a))에서 관심영역으로 표시된 영역내의 영상에 대해 신호처리하여 신호등을 인식한다.
도 4는 본 발명의 제 2실시예에 따른 신호등 인식 장치의 구성을 나타낸 블럭도로서, 대부분 상술한 본 발명의 제 1실시예의 구성과 대동소이하므로 동일한 구성요소에 대해서는 참조부호를 동일하게 부여하고 그에 대한 설명은 생략한다.
본 발명의 제 2실시예는 제 1실시예에 비해 신호등 데이터베이스(30) 및 신호등 인식시작 결정부(32)를 더 갖추었다.
신호등 데이터베이스(30)는 신호등의 위치 정보를 저장하고 있다.
신호등 인식시작 결정부(32)는 위치 탐색부(12)로부터의 현재 위치 정보 및 신호등 데이터베이스(30)에 저장된 신호등 위치 정보를 기초로 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하여 신호등의 인식시작 여부를 결정한다. 즉, 신호등 인식시작 결정부(32)는 주행하고 있는 차량의 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하고, 계산된 거리와 기준치를 비교한다. 신호등 인식시작 결정부(32)는 계산된 거리가 기준치보다 작으면 신호등 인식시작으로 결정하고 계산된 거리가 기준치보다 크면 신호등 인식이 필요없는 것으로 간주하여 신호등 인식이 시작되지 않게 한다. 이는 차량이 주행하면 계속적으로 신호등을 인식하는 것이 아니라 신호등까지의 거리가 가까운 경우에만 신호등 인식을 수행하도록 하기 위함이다. 여기서, 기준치는 다양한 실험을 통하여 정해진다. 본 발명의 제 2실시예에서는 신호등 인식시작 결정부(32)에서 필요로 하는 기준치를 대략 100m 정도로 한다. 앞서 예시한 100m는 하나의 예일 뿐 이에 국한되지 않는다.
제어부(34)는 제 1실시예의 제어부(24)와 거의 동일한 제어동작을 수행한다. 다만 차이나는 것은 제어부(34)는 신호등 인식시작 결정부(32)에서 신호등 인식시작으로 결정해야만이 신호등 인식을 위한 후속적인 제어동작을 수행할 수 있다는 것이다.
이어, 본 발명의 제 2실시예에 따른 신호등 인식 방법에 대해 도 5의 플로우차트를 참조하여 설명하면 다음과 같다.
차량이 주행을 하게 되면, 촬영부(10)에서 촬영된 주행중인 차량의 전방의 영상이 제어부(34)에게로 입력되고, 위치 탐색부(12)는 주행중인 차량의 현재 위치를 탐색하여 제어부(34)에게로 입력시킨다(S30, S32).
제어부(34)는 입력된 현재 위치 정보를 신호등 인식시작 결정부(32)에게로 보내어 신호등 인식시작 여부를 결정하도록 한다. 그에 따라, 신호등 인식시작 결 정부(32)는 입력된 현재 위치 정보와 신호등 데이터베이스(30)에 저장된 신호등 위치 정보를 기초로 현재 위치로부터 최근거리의 신호등까지의 거리를 계산한다(S34). 계산된 거리가 기준치보다 크면(S36에서 "예") 신호등 인식시작 결정부(32)는 신호등 인식을 할 필요가 없는 것으로 간주한다. 반대로, 계산된 거리가 기준치보다 작으면(S36에서 "아니오") 신호등 인식시작 결정부(32)는 신호등 인식시작으로 결정하여 그에 상응하는 신호를 제어부(34)에게로 보낸다(S38).
그에 따라, 제어부(34)는 촬영부(10) 및 위치 탐색부(12)로부터의 정보를 주행차로 인식부(16)에게로 보내고서 주행차로 인식을 명령한다. 주행차로 인식부(16)는 입력된 정보를 근거로 주행중인 차량의 주행차로를 인식한다.
주행차로 인식부(16)가 주행차로를 인식한 경우(S40에서 "예")에는 인식한 주행차로 정보를 제어부(34)에게로 보내고, 제어부(34)는 이를 관심영역 설정부(18)에게로 보냄과 더불어 주행하고 있는 차량의 현재 위치에서의 전방의 영상을 관심영역 설정부(18)에게로 보내어 관심영역을 설정하도록 명령한다. 그에 따라, 관심영역 설정부(18)는 주행차로에 근거하여 관심영역을 설정한다(S42). 만약, 주행차로 인식부(16)에서 주행차로를 인식하지 못하면(S40에서 "아니오") 제어부(34)의 제어에 의해 관심영역 설정부(18)는 입력된 영상에서 고정된 범위 또는 가변 범위로 관심영역을 설정한다(S44).
한편, 관심영역 설정부(18)가 동작하는 동안에 정지선 인식부(20)가 함께 동작하게 된다. 만약, 정지선 인식부(20)가 주행중인 차량의 전방의 영상에서 정지선을 인식하게 되면(S46에서 "예") 그에 상응하는 신호를 제어부(34)에게로 보낸다. 제어부(34)는 관심영역 설정부(18)에게 이 사실을 알리고, 관심영역 설정부(18)는 이전에 설정한 관심영역을 보다 확대시킨다(도 2의 (b) 참조)(S48). 확대된 관심영역이 표시된 영상이 신호등 인식부(22)에게로 보내지고, 신호등 인식부(22)에서는 예를 들어 도 2의 (b)와 같은 차량의 전방의 영상(관심영역이 확대된 영상)에서 관심영역으로 표시된 영역내의 영상에 대해 신호처리하여 신호등을 인식한다(S50).
반대로, 정지선 인식부(20)에서 정지선을 인식하지 못하면(S46에서 "아니오") 신호등 인식부(22)에서는 관심영역 설정부(18)에서 설정한 관심영역이 표시된 영상(예컨대, 도 2의 (a))에서 관심영역으로 표시된 영역내의 영상에 대해 신호처리하여 신호등을 인식한다.
한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위내에서 수정 및 변형하여 실시할 수 있고, 그러한 수정 및 변형이 가해진 기술사상 역시 이하의 특허청구범위에 속하는 것으로 보아야 한다.
도 1은 본 발명의 제 1실시예에 따른 신호등 인식 장치의 구성을 나타낸 블럭도이다.
도 2는 소실점을 이용하여 관심영역을 설정한 예를 나타낸 도면이다.
도 3은 본 발명의 제 1실시예에 따른 신호등 인식 방법을 설명하기 위한 플로우차트이다.
도 4는 본 발명의 제 2실시예에 따른 신호등 인식 장치의 구성을 나타낸 블럭도이다.
도 5는 본 발명의 제 2실시예에 따른 신호등 인식 방법을 설명하기 위한 플로우차트이다.

Claims (11)

  1. 주행중인 차량의 전방의 영상을 촬영하는 촬영부;
    주행중인 차량의 현재 위치를 탐색하는 위치 탐색부;
    상기 위치 탐색부로부터의 현재 위치 정보 및 저장된 차선 정보를 기초로 상기 촬영부로부터의 영상에서 주행중인 차량의 주행차로를 인식하는 주행차로 인식부;
    상기 주행차로 인식부로부터의 정보를 기초로 상기 촬영부로부터의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정부; 및
    상기 관심영역 설정부에서 설정된 관심영역을 근거로 상기 촬영부로부터의 영상에서 신호등을 인식하는 신호등 인식부를 포함하는 것을 특징으로 하는 신호등 인식 장치.
  2. 주행중인 차량의 전방의 영상을 촬영하는 촬영부;
    주행중인 차량의 현재 위치를 탐색하는 위치 탐색부;
    상기 위치 탐색부로부터의 현재 위치 정보 및 저장된 신호등 위치 정보를 기초로 상기 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하여 신호등의 인식시작 여부를 결정하는 신호등 인식시작 결정부;
    상기 신호등 인식시작 결정부에서 신호등의 인식시작을 결정함에 따라, 상기 위치 탐색부로부터의 현재 위치 정보 및 저장된 차선 정보를 기초로 상기 촬영부로 부터의 영상에서 주행중인 차량의 주행차로를 인식하는 주행차로 인식부;
    상기 주행차로 인식부로부터의 정보를 기초로 상기 촬영부로부터의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정부; 및
    상기 관심영역 설정부에서 설정된 관심영역을 근거로 상기 촬영부로부터의 영상에서 신호등을 인식하는 신호등 인식부를 포함하는 것을 특징으로 하는 신호등 인식 장치.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 촬영부로부터의 영상에서 정지선을 인식하는 정지선 인식부를 더 포함하고,
    상기 관심영역 설정부는 상기 정지선 인식부로부터 정지선 인식신호가 입력됨에 따라 이전에 설정한 관심영역을 확대시킨 정보를 상기 신호등 인식부에게로 보내는 것을 특징으로 하는 신호등 인식 장치.
  4. 주행차로 인식부가, 주행중인 차량의 현재 위치 정보 및 전방의 영상을 입력받고 저장된 차선 정보를 기초로 상기 주행중인 차량의 전방의 영상에서 주행차로를 인식하는 주행차로 인식단계;
    관심영역 설정부가, 상기 주행차로 인식단계에서 생성된 정보를 기초로 상기 주행중인 차량의 전방의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정단계; 및
    신호등 인식부가, 상기 관심영역 설정단계에서 설정된 관심영역을 근거로 상기 주행중인 차량의 전방의 영상에서 신호등을 인식하는 신호등 인식단계를 포함하는 것을 특징으로 하는 신호등 인식 방법.
  5. 신호등 인식시작 결정부가, 주행중인 차량의 현재 위치 정보를 입력받아 저장된 신호등 위치 정보를 기초로 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하여 신호등의 인식시작 여부를 결정하는 신호등 인식시작 결정단계;
    주행차로 인식부가, 상기 신호등 인식시작 결정단계에서 신호등의 인식시작을 결정함에 따라, 입력받은 주행중인 차량의 현재 위치 정보 및 저장된 차선 정보를 기초로 입력받은 주행중인 차량의 전방의 영상에서 주행차로를 인식하는 주행차로 인식단계;
    관심영역 설정부가, 상기 주행차로 인식단계에서 생성된 정보를 기초로 상기 주행중인 차량의 전방의 영상에 대하여 신호등의 인식에 필요한 관심영역을 설정하는 관심영역 설정단계; 및
    신호등 인식부가, 상기 관심영역 설정단계에서 설정된 관심영역을 근거로 상기 주행중인 차량의 전방의 영상에서 신호등을 인식하는 신호등 인식단계를 포함하는 것을 특징으로 하는 신호등 인식 방법.
  6. 청구항 4 또는 청구항 5에 있어서,
    상기 주행차로 인식단계는,
    상기 입력된 현재 위치에 상응하는 도로의 전체 차로수를, 상기 저장된 차선 정보에서 읽어내는 단계; 및
    상기 읽어낸 전체 차로수에서 현재 주행중인 차량의 주행차로를 인식하는 단계를 포함하는 것을 특징으로 하는 신호등 인식 방법.
  7. 청구항 4 또는 청구항 5에 있어서,
    상기 관심영역 설정단계는,
    상기 주행차로 인식단계에 의한 주행차로 정보를 기반으로 상기 차량의 전방의 영상에서 중앙선에 가장 근접한 차로의 왼쪽 차선과 가장 오른쪽 차로의 오른쪽 차선을 구하는 제 1단계;
    상기 구해진 두 개의 차선으로부터 상기 두 개의 차선이 만나는 소실점을 상기 차량의 전방의 영상에서 구하는 제 2단계; 및
    상기 소실점에 대한 정보와 상기 구해진 두 개의 차선에 대한 정보를 근거로 상기 관심영역을 상기 차량의 전방의 영상에서 설정하는 제 3단계를 포함하는 것을 특징으로 하는 신호등 인식 방법.
  8. 청구항 7에 있어서,
    상기 제 3단계는, 상기 소실점과 상기 소실점으로부터 상기 왼쪽 차선 및 오른쪽 차선으로의 일정 지점의 점을 이용하여 사각형태의 관심영역을 설정으로 하는 것을 특징으로 하는 신호등 인식 방법.
  9. 청구항 4 또는 청구항 5에 있어서,
    정지선 인식부가, 입력되는 차량의 전방의 영상에서 정지선을 인식하는 정지선 인식단계를 더 포함하고,
    상기 관심영역 설정단계는 상기 정지선 인식단계에서 정지선을 인식함에 따라 이전에 설정한 관심영역을 확대시킨 정보를 상기 신호등 인식단계에게로 보내는 것을 특징으로 하는 신호등 인식 방법.
  10. 청구항 9에 있어서,
    상기 정지선 인식단계는 상기 입력되는 차량의 전방의 영상에서 가로 에지가 가장 많은 부분을 정지선으로 인식하는 것을 특징으로 하는 신호등 인식 방법.
  11. 청구항 5에 있어서,
    상기 신호등 인식시작 결정단계는,
    상기 현재 위치로부터 최근거리의 신호등까지의 거리를 계산하는 단계;
    상기 계산된 거리와 기준치를 비교하는 단계; 및
    상기 비교 결과 상기 계산된 거리가 상기 기준치보다 작으면 신호등 인식시작으로 결정하는 단계를 포함하는 것을 특징으로 하는 신호등 인식 방법.
KR1020070122689A 2007-11-29 2007-11-29 신호등 인식 장치 및 방법 KR20090055848A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070122689A KR20090055848A (ko) 2007-11-29 2007-11-29 신호등 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070122689A KR20090055848A (ko) 2007-11-29 2007-11-29 신호등 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20090055848A true KR20090055848A (ko) 2009-06-03

Family

ID=40987324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070122689A KR20090055848A (ko) 2007-11-29 2007-11-29 신호등 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20090055848A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295411A (zh) * 2012-12-27 2013-09-11 天津森宇科技发展有限公司 一种行车途中信号灯监测提示装置
WO2015024180A1 (en) * 2013-08-20 2015-02-26 Harman International Industries, Incorporated Traffic light detection
KR20160149564A (ko) 2015-06-18 2016-12-28 현대자동차주식회사 영상기반 교통표시 인식장치 및 방법
KR20170058512A (ko) * 2015-11-18 2017-05-29 주식회사 만도 교통 표지판 인식 장치 및 방법
KR20170069551A (ko) * 2015-12-11 2017-06-21 현대자동차주식회사 신호등 인식 시스템 및 그 방법
US9940531B2 (en) 2016-02-03 2018-04-10 Adasone, Inc. Apparatus and method for setting region of interest
KR20190016717A (ko) * 2017-08-09 2019-02-19 삼성전자주식회사 차선 검출 방법 및 장치
KR20190046553A (ko) * 2017-10-26 2019-05-07 서울대학교산학협력단 영상 분석 장치 및 그것의 동작 방법
KR20210038495A (ko) * 2014-06-16 2021-04-07 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN113761967A (zh) * 2020-06-01 2021-12-07 中移(苏州)软件技术有限公司 一种识别方法及装置
KR20220077370A (ko) * 2020-12-02 2022-06-09 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295411A (zh) * 2012-12-27 2013-09-11 天津森宇科技发展有限公司 一种行车途中信号灯监测提示装置
US9953229B2 (en) 2013-08-20 2018-04-24 Harman International Industries, Incorporated Traffic light detection
WO2015024180A1 (en) * 2013-08-20 2015-02-26 Harman International Industries, Incorporated Traffic light detection
KR20210038495A (ko) * 2014-06-16 2021-04-07 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
KR20160149564A (ko) 2015-06-18 2016-12-28 현대자동차주식회사 영상기반 교통표시 인식장치 및 방법
KR20170058512A (ko) * 2015-11-18 2017-05-29 주식회사 만도 교통 표지판 인식 장치 및 방법
KR20170069551A (ko) * 2015-12-11 2017-06-21 현대자동차주식회사 신호등 인식 시스템 및 그 방법
US9940531B2 (en) 2016-02-03 2018-04-10 Adasone, Inc. Apparatus and method for setting region of interest
KR20190016717A (ko) * 2017-08-09 2019-02-19 삼성전자주식회사 차선 검출 방법 및 장치
CN109389026A (zh) * 2017-08-09 2019-02-26 三星电子株式会社 车道检测方法和设备
CN109389026B (zh) * 2017-08-09 2023-10-17 三星电子株式会社 车道检测方法和设备
KR20190046553A (ko) * 2017-10-26 2019-05-07 서울대학교산학협력단 영상 분석 장치 및 그것의 동작 방법
CN113761967A (zh) * 2020-06-01 2021-12-07 中移(苏州)软件技术有限公司 一种识别方法及装置
KR20220077370A (ko) * 2020-12-02 2022-06-09 한국도로공사 정밀도로지도 생성을 위한 교통안전표지 인식/추출 방법 및 시스템

Similar Documents

Publication Publication Date Title
KR20090055848A (ko) 신호등 인식 장치 및 방법
US8175806B2 (en) Car navigation system
JP4327389B2 (ja) 走行レーン認識装置
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
US7031496B2 (en) Method and apparatus for object recognition using a plurality of cameras and databases
JP5747549B2 (ja) 信号機検出装置及びプログラム
US7894632B2 (en) Apparatus and method of estimating center line of intersection
JPH10339646A (ja) 車両用案内表示装置
US20130261838A1 (en) Vehicular imaging system and method for determining roadway width
JP2019099138A (ja) 車線維持補助方法及び装置
JP4677981B2 (ja) 自車位置特定方法及び自車位置特定装置
JP2007265277A (ja) 車両用視程測定装置、及び運転支援装置
US20140002655A1 (en) Lane departure warning system and lane departure warning method
JP2004045227A (ja) 車両位置測定装置および方法
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
JP2005004442A (ja) 走行車線判別装置
JP2007015525A (ja) カメラが撮影した前方画像に基づいて、先行車両と自車両との間の接近の危険に対処するための信号を出力する出力装置、および、当該出力装置のためのプログラム
JP5522475B2 (ja) ナビゲーション装置
KR20200043252A (ko) 차량의 부감 영상 생성 시스템 및 그 방법
JP2010224670A (ja) 車両の周辺監視装置
JP2008165326A (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP2001336941A (ja) カーナビゲーション装置
JP2019146012A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application