KR20170134646A - 신호기 검출 장치 및 신호기 검출 방법 - Google Patents

신호기 검출 장치 및 신호기 검출 방법 Download PDF

Info

Publication number
KR20170134646A
KR20170134646A KR1020177031951A KR20177031951A KR20170134646A KR 20170134646 A KR20170134646 A KR 20170134646A KR 1020177031951 A KR1020177031951 A KR 1020177031951A KR 20177031951 A KR20177031951 A KR 20177031951A KR 20170134646 A KR20170134646 A KR 20170134646A
Authority
KR
South Korea
Prior art keywords
synchronous
signal
unit
image
distance
Prior art date
Application number
KR1020177031951A
Other languages
English (en)
Other versions
KR101972690B1 (ko
Inventor
다카히코 오키
하루오 마츠오
다이키 야마노이
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20170134646A publication Critical patent/KR20170134646A/ko
Application granted granted Critical
Publication of KR101972690B1 publication Critical patent/KR101972690B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

신호기 검출 장치는, 차량에 탑재된 촬상부를 사용하여, 차량의 주위를 촬상한 화상 중에서 신호기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화되는 동기 화소(DA1 내지 DA3)를 추출하고, 동기 화소 중에서 신호기를 검출한다. 신호기 검출 장치는, 동기 화소의 연속하여 추출된 위치의 위치 변동량(G1 내지 G3, g1 내지 g3)을 산출하는 위치 변동 산출부와, 위치 변동량이 임계값 이하인 동기 화소를 신호등 후보로 판정하는 신호등 판정부를 구비한다.

Description

신호기 검출 장치 및 신호기 검출 방법
본 발명은 신호기 검출 장치 및 신호기 검출 방법에 관한 것이다.
종래부터, 카메라로 촬상된 화상 중에서 신호기를 검출하는 신호기 검출 장치가 알려져 있다(특허문헌 1 참조). 특허문헌 1에서는, 화상 중에서, 신호등의 색 및 형상에 기초하여 신호등 후보를 검출하고, 신호등 후보가 소정 주기로 점멸하고 있는지 여부를 판단하고 있다.
일본 특허 공개 제2005-301518호 공보
카메라를 탑재하는 차량이 이동하고 있으면, 이동 중에 촬상된 화상에 포함되는 휘도 에지의 위치도 이동한다. 이에 의해, 휘도 에지가 이동한 영역에 휘도의 스텝 응답이 발생하여, 넓은 주파수 성분을 가진 노이즈가 발생한다. 미리 정한 주기로 휘도가 변동되고 있는 화소를 신호등으로서 추출하는 경우, 넓은 주파수 성분을 가진 노이즈를 신호등으로서 오인식해 버리는 경우가 있다.
본 발명은 상기 과제를 감안하여 이루어진 것이며, 그 목적은, 휘도 에지가 이동해도 휘도의 스텝 응답을 신호등으로서 오검출하는 것을 억제하여, 고정밀도로 신호등을 검출할 수 있는 신호기 검출 장치 및 신호기 검출 방법을 제공하는 것이다.
본 발명의 일 형태에 관한 신호기 검출 장치는, 차량에 탑재된 촬상부를 사용하여, 차량의 주위를 촬상하여 촬상 화상을 취득하고, 촬상 화상 중에서 신호기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화되는 동기 화소를 추출하고, 동기 화소 중에서 신호기를 검출한다. 신호기 검출 장치는, 동기 화소의 연속하여 추출된 위치의 위치 변동량을 산출하는 위치 변동 산출부와, 위치 변동량이 임계값 이하인 동기 화소를 신호등 후보로 판정하는 신호등 판정부를 구비한다.
도 1은 제1 실시 형태에 관한 신호기 검출 장치의 전체 구성을 도시하는 블록도이다.
도 2는 도 1에 도시한 동기 화상 생성부(15)의 상세한 구성을 도시하는 블록도이다.
도 3은 도 1에 도시한 신호기 검출부(18a)의 상세한 구성을 도시하는 블록도이다.
도 4의 (a), (b), (c)는 X축 방향으로 이동하는 신호등의 중복 부분 DA가 동기 화소로서 추출되고 있는 모습을 도시하고, 도 4의 (d), (e), (f)는 다른 등화에 있어서, 온으로부터 오프로의 스텝 응답과, 오프로부터 온으로의 스텝 응답이, 교대로 동기 화소로서 추출되고 있는 모습을 도시하는 개념도이다.
도 5의 (a), (c), (d)는 동기 화상 생성 사이클 내에서, 고휘도 영역의 위치가, 영역 ST로부터 영역 EN까지 우방향으로 이동한 모습을 각각 도시하는 개념도이고, 도 5의 (b)는 신호기에 공급되는 전력의 위상에 동기한 기준 신호의 상승 시각 t1 및 하강 시각 t2를 나타내는 그래프이다.
도 6은 도 1에 도시한 신호기 검출 장치를 사용한 신호기 검출 방법의 일례를 도시하는 흐름도이다.
도 7은 제2 실시 형태에 관한 신호기 검출 장치의 전체 구성을 도시하는 블록도이다.
도 8은 도 7에 도시한 신호기 검출부(18b)의 상세한 구성을 도시하는 블록도이다.
도 9는 도 7에 도시한 신호기 검출 장치를 사용한 신호기 검출 방법의 일례를 도시하는 흐름도이다.
(제1 실시 형태)
다음에, 도면을 참조하여, 본 발명의 실시 형태를 상세하게 설명한다.
도 1을 참조하여, 제1 실시 형태에 관한 신호기 검출 장치의 전체 구성을 설명한다. 신호기 검출 장치는, 차량에 탑재되며, 차량의 주위를 촬상하여 화상을 취득하는 촬상부(11)와, 촬상부(11)에 의해 취득된 화상 중에서 신호기를 검출하는 화상 처리부(12)를 구비한다.
촬상부(11)는 고체 촬상 소자, 예를 들어 CCD 또는 CMOS를 구비한 카메라이며, 화상 처리가 가능한 컬러 화상을 취득한다. 촬상부(11)는 소정의 시간 간격으로 반복하여 차량의 전방을 촬상하여, 연속하는 복수의 화상(프레임)을 취득한다. 촬상부(11)는 신호기에 공급되는 전력의 1교류 주기 동안에, 복수회의 촬상을 행한다.
화상 처리부(12)는 촬상부(11)에 의해 취득된 화상을 수신하고, 화상 중에서 신호기를 검출한다. 검출된 신호기의 정보는, 예를 들어 차량의 자동 운전을 실현하기 위한 컨트롤러를 포함하는, 차량에 탑재된 다른 처리 연산 장치[차량 ECU(13)]에 전송된다. 화상 처리부(12)는, 예를 들어 CPU, 메모리(25) 및 입출력부를 구비하는 마이크로컨트롤러로 이루어지고, 미리 인스톨된 컴퓨터 프로그램을 실행함으로써, 신호기 검출 장치가 구비하는 복수의 정보 처리부를 구성한다. 화상 처리부(12)는 화상으로부터 신호기를 검출하는 일련의 정보 처리 사이클(동기 화상 생성 처리를 포함함)을, 연속하는 복수의 촬상 화상(프레임) 단위로 반복하여 실행한다. 화상 처리부(12)는 차량에 관련되는 다른 제어에 사용하는 ECU와 겸용해도 된다.
메모리(25)는 촬상부(11)에 의해 촬상된 복수의 촬상 화상(프레임)(28)을 동시에 기억한다. 예를 들어, 신호기에 공급되는 전력의 1 내지 3교류 주기 동안에 촬상되는 복수의 촬상 화상(28)을 기억한다. 동기 화상 생성 처리는, 기억해 둔 복수의 촬상 화상(28) 단위로 실시된다.
화상 처리부(12)에 의해 구성되는 복수의 정보 처리부에는, 동기 화상 생성부(15)와, 동기 화소군 설정부(14)와, 신호기 검출부(18a)가 포함된다.
동기 화상 생성부(15)는 신호기를 포함하는 차량 주변에 있어서의 전력 계통의 위상 정보를 취득한다. 그리고, 전력 계통의 위상 정보를 사용하여, 촬상 화상 중에서, 전력의 교류 주기와 동기하여 휘도가 변화되는 동기 화소를 추출한다. 그리고, 추출된 동기 화소를 포함하는 동기 화상을 생성한다. 구체적으로, 도 2에 도시한 바와 같이, 동기 화상 생성부(15)는 기준 신호 생성부(17)와, 승산부(30)와, 저역 통과 필터(LPF)(20)를 구비한다.
기준 신호 생성부(17)는 전력 계통(상용 전원)의 위상 정보를 사용하여, 신호기에 공급되는 전력의 위상에 동기한 기준 신호를 생성한다. 승산부(30)는 메모리(25)로부터 판독한 촬상 화상(프레임)(28)의 각 화소의 휘도 신호와 기준 신호를 승산한다. 승산부(30)는 메모리(25)에 동시에 기억되어 있는 복수의 촬상 화상의 각각에 대하여, 상기한 승산 처리를 실시한다. LPF(20)는, 승산부(30)에 의한 승산 결과 중, 소정의 차단 주파수보다도 높은 주파수 성분을 저감시키고 저주파수 성분만을 취출하여, 동기 화소를 포함하는 동기 화상을 출력한다.
신호기에 공급되는 전력은, 상용 전원의 전력을 전파 정류한 교류 전력이다. 상용 전원으로부터 전력의 공급을 받아 점등하는 신호등의 휘도는, 전파 정류한 교류 전력의 주기(예를 들어, 100㎐)와 동일한 주기로 변화된다. 그래서, 신호기에 공급되는 전력의 교류 주기에 동기하여 휘도가 변화되는 동기 화소를 촬상 화상(28) 중에서 추출한다.
동기 화소군 설정부(14)는 미리 정한 영역 내에서 검출되는 복수의 동기 화소를 하나의 동기 화소군으로 설정한다. 즉, 복수의 동기 화소의 집합을 하나의 동기 화소군으로서 인식한다. 구체적으로는, 인접하는 복수의 동기 화소를 하나의 동기 화소군으로 설정한다. 즉, 복수의 동기 화소의 집합을 하나의 동기 화소군으로서 인식한다. 예를 들어, 동기 화소의 밀도가 소정의 기준값보다도 높은 영역에 포함되는 복수의 동기 화소를 하나의 동기 화소군으로 설정한다.
신호기 검출부(18a)는 동기 화소 중에서 점등 중인 신호등을 추출하여, 당해 신호등을 포함하는 신호기를 검출한다. 도 3에 도시한 바와 같이, 신호기 검출부(18a)는 동기 화소의 연속하여 추출된 위치의 위치 변동량을 산출하는 위치 변동 산출부(21)와, 위치 변동량이 임계값 이하인 동기 화소를 신호등 후보로 판정하는 신호등 판정부(22)를 적어도 구비한다.
위치 변동 산출부(21)는 동기 화소군 설정부(14)에 의해 설정된 동기 화소군의 무게 중심 위치를 산출하고, 그 연속하여 추출된 무게 중심 위치의 이동량을, 위치 변동량으로서 산출한다. 신호등 판정부(22)는 위치 변동량이 임계값 이하인 동기 화소군을 신호등 후보로서 판정한다. 신호등 판정부(22)는 동기 화소군의 면적에 따라서 임계값을 조정한다. 구체적으로는, 동기 화소군의 면적이 클수록, 임계값을 크게 설정한다. 또한, 신호등 판정부(22)는 위치 변동량이 임계값 이하인 동기 화소군이, 임계 시간 이상 연속하여 동기 화상 생성부(15)에 의해 생성된 경우에, 당해 동기 화소군을 신호등 후보로서 판정한다. 예를 들어, 임계 시간으로서, 신호기에 공급되는 전력의 1주기를 설정하면 된다.
이 외에, 신호기 검출부(18a)는 신호등 판정부(22)에 의해 판정된 신호등 후보의 색상이 신호색의 색상과 유사한지 여부를 판단하고, 신호등 후보의 원형도를 더 판단한다. 상용 전원으로부터 전력의 공급을 받아 점등하는 전등에는, 신호기가 갖는 신호등 외에, 가로등, 자동판매기, 간판 등, 노상에서 점등되어 있는 다른 전등이 포함된다. 신호등 후보에는, 이들 다른 전등도 포함될 가능성이 있다. 신호기 검출부(18a)가 신호등 후보와 신호색 사이에서 색상의 유사성을 판단하고, 또한 신호등 후보의 원형 정도를 판단함으로써, 신호등 후보 중에서, 이들 다른 전등을 배제하고, 신호등 및 당해 신호등을 포함하는 신호기를 검출할 수 있다.
다음에, 도 4 및 도 5를 참조하여, 위치 변동량이 임계값 이하인 동기 화소군을 신호등 후보로서 판정할 수 있는 이유를 설명한다.
촬상부(11)를 탑재하는 자차량이 이동하고 있으면, 이동 중에 촬상된 화상에 포함되는 고휘도 영역의 위치도 이동한다. 고휘도 영역에는, 등화 중인 신호등 외에, 예를 들어 선행차의 테일 램프(브레이크 램프, 윙커 램프), 대향차의 헤드 램프가 포함된다. 또한, 자차량이 정지해도, 주위의 타차량이 이동하면, 선행차의 테일 램프, 대향차의 헤드 램프 위치도 이동한다.
고휘도 영역의 위치 이동에 수반하여, 휘도 에지의 위치도 이동한다. 이에 의해, 휘도 에지가 이동한 영역(ST, EN)에 휘도의 스텝 응답이 발생하여, 넓은 주파수 성분을 가진 노이즈가 발생한다. 미리 정한 주기로 휘도가 변동되고 있는 화소를 동기 화소로서 추출하는 경우, 넓은 주파수 성분을 가진 노이즈를 동기 화소로서 잘못 추출해 버린다.
동기 화상 생성부(15)가 동기 화상을 생성하는 동기 화상 생성 사이클 내에서 고휘도 영역의 위치가 변동되는 경우, 고휘도 영역이 미리 정한 주기로 휘도가 변동되고 있는지 여부에 따라서, 동기 화소로서 추출되는 화소의 위치가 변화된다.
도 5의 (a), (c), (d)는 동기 화상 생성 사이클 내에서, 고휘도 영역의 위치가, 영역 ST로부터 영역 EN까지 우방향으로 이동한 모습을 각각 도시한다. 도 5의 (a)는 고휘도 영역이 그 휘도가 미리 정한 주기(상용 전원의 교류 주기)로 변동되고 있는 신호등인 경우를 도시한다. 도 5의 (c), (d)는 고휘도 영역이, 그 휘도가 미리 정한 주기로 변동되지 않는 다른 등화인 경우를 각각 도시한다. 「다른 등화」에는, 예를 들어 선행차의 테일 램프, 대향차의 헤드 램프가 포함된다. 도 5의 (a)의 경우, 고휘도 영역 그 자체의 휘도가 상용 전원의 교류 주기로 변동되고 있기 때문에, 영역 ST와 영역 EN의 중복 부분 DA가 동기 화소로서 추출된다. 한편, 도 5의 (c), (d)의 경우, 영역 ST와 영역 EN의 중복 부분 DA의 휘도는 주기적으로 변동되고 있지 않기 때문에, 중복 부분 DA는 추출되지 않는다. 그러나, 영역 ST 및 영역 EN으로부터 중복 부분 DA를 제외한 부분은, 휘도 에지가 이동한 부분이기 때문에, 휘도의 스텝 응답이 발생하여, 넓은 주파수 성분을 가진 노이즈가 발생한다. 따라서, 영역 ST 및 영역 EN으로부터 중복 부분 DA를 제외한 부분은, 상용 전원의 교류 주기로 변동되고 있는 동기 화소로서 잘못 추출되어 버린다.
또한, 도 5의 (b)에 도시한 바와 같이, 신호기에 공급되는 전력의 위상에 동기한 기준 신호의 상승 시각 t1에 있어서는, 오프로부터 온으로의 스텝 응답이 동기 화소로서 추출된다. 오프로부터 온으로의 스텝 응답은, 영역 EN으로부터 중복 부분 DA를 제외한 부분에서 발생한다. 그러나, 온으로부터 오프로의 스텝 응답이 동기 화소로서 추출되지 않는다. 따라서, 도 5의 (c)에 도시한 바와 같이, 시각 t1에 있어서는, 영역 EN으로부터 중복 부분 DA를 제외한 부분을, 상용 전원의 교류 주기로 변동되고 있는 동기 화소로서 잘못 추출해 버린다.
한편, 기준 신호의 하강 시각 t2에 있어서는, 온으로부터 오프로의 스텝 응답이 동기 화소로서 추출된다. 온으로부터 오프로의 스텝 응답은, 영역 ST로부터 중복 부분 DA를 제외한 부분에서 발생한다. 그러나, 오프로부터 온으로의 스텝 응답이 동기 화소로서 추출되지 않는다. 따라서, 도 5의 (d)에 도시한 바와 같이, 시각 t2에 있어서는, 영역 ST로부터 중복 부분 DA를 제외한 부분을, 상용 전원의 교류 주기로 변동되고 있는 동기 화소로서 잘못 추출해 버린다.
따라서, 그 휘도가 미리 정한 주기로 변동되고 있지 않는 다른 등화가 동일한 방향으로 이동을 계속하는 경우, 도 5의 (c) 및 도 5의 (d)에 도시한 동기 화소를 교대로 반복하여 추출하게 된다. 따라서, 고휘도 영역이 그 휘도가 미리 정한 주기로 변동되고 있지 않는 다른 등화인 경우, 동기 화소의 연속하여 추출된 위치는, 크게 변동되기 때문에, 안정되지 않고, 균일하지 않다. 한편, 고휘도 영역이 그 휘도가 상용 전원의 교류 주기로 변동되고 있는 신호등인 경우, 중복 부분 DA가 동기 화소로서 추출되므로, 동기 화소의 연속하여 추출된 위치는, 변동이 작고, 안정되며, 균일하다.
도 4의 (a), (b), (c)는 X축 방향으로 이동하는 신호등의 중복 부분 DA가 동기 화소로서 추출되고 있는 모습을 도시한다. 도 4의 (d), (e), (f)는 다른 등화에 있어서, 온으로부터 오프로의 스텝 응답과, 오프로부터 온으로의 스텝 응답이, 교대로 동기 화소로서 추출되고 있는 모습을 도시한다. 도 4의 (a) 내지 도 4의 (f)의 격자 프레임(FL)은 행렬 형상으로 배열된 복수의 화소를 포함하는 프레임을 나타내고, 격자 프레임의 각각은 촬상 소자의 화소를 나타낸다. X축 방향 6화소와 Y축 방향 6화소의 영역이, 신호등 또는 다른 등화에 상당한다.
도 4의 (a)에 도시한 동기 화상 생성 사이클에서는, 신호등은 이동하고 있지 않다. 따라서, 신호등 전체가 중복 부분 DA1로 되어, 신호등 전체가 동기 화소로서 추출된다. 중복 부분 DA1의 무게 중심을 G1이라 한다. 그 후, 도 4의 (b)에 도시한 동기 화상 생성 사이클에서, 신호등은 X축 방향으로 2화소분 이동하고 있다. 따라서, 그 중복 부분 DA2는, X축 방향 4화소와 Y축 방향 6화소의 영역이 된다. 그리고, 금회 추출의 중복 부분 DA2의 무게 중심(G2)은, 전회 추출의 무게 중심(G1)으로부터 X축 방향으로 1화소분 이동하게 된다. 그 후, 도 4의 (c)에 도시한 동기 화상 생성 사이클에서도, 마찬가지로 하여, 신호등은 X축 방향으로 2화소분 이동하고 있다. 따라서, 그 중복 부분 DA3은, X축 방향 4화소와 Y축 방향 6화소의 영역이 된다. 그리고, 금회 추출의 중복 부분 DA3의 무게 중심(G3)은, 전회 추출의 무게 중심(G2)으로부터 X축 방향으로 2화소분 이동하게 된다.
한편, 도 4의 (d)에 도시한 동기 화상 생성 사이클에서, 다른 등화는, X축 방향으로 2화소분 이동하고 있다. 그리고, 도 4의 (d)에 도시한 동기 화상 생성 사이클은, 기준 신호의 상승 시각 t1에 동기하고 있다. 따라서, 오프로부터 온으로의 스텝 응답이 발생하는 부분, 즉, 영역 EN1로부터 중복 부분 DA1을 제외한 부분이, 동기 화소로서 추출된다. 영역 EN1로부터 중복 부분 DA1을 제외한 부분은, X축 방향 2화소와 Y축 방향 6화소의 영역이 되고, 그 무게 중심을 g1이라 한다. 도 4의 (e)에 도시한 동기 화상 생성 사이클에서, 다른 등화는, X축 방향으로 2화소분 이동하고 있다. 그리고, 도 4의 (e)에 도시한 동기 화상 생성 사이클은, 기준 신호의 하강 시각 t2에 동기하고 있다. 따라서, 온으로부터 오프로의 스텝 응답이 발생하는 부분, 즉, 영역 ST2로부터 중복 부분 DA2를 제외한 부분이, 동기 화소로서 추출된다. 영역 ST2로부터 중복 부분 DA2를 제외한 부분은, X축 방향 2화소와 Y축 방향 6화소의 영역이 되고, 금회 추출의 무게 중심(g2)은 전회 추출의 무게 중심(g1)으로부터 X축 방향으로 4화소분 이동하게 된다. 도 4의 (f)에 도시한 동기 화상 생성 사이클에서, 다른 등화는, X축 방향으로 2화소분 이동하고 있다. 그리고, 도 4의 (f)에 도시한 동기 화상 생성 사이클은, 기준 신호의 상승 시각 t1에 동기하고 있다. 따라서, 도 4의 (d)와 마찬가지로, 영역 EN3으로부터 중복 부분 DA3을 제외한 부분을, 동기 화소로서 추출한다. 영역 EN3으로부터 중복 부분 DA3을 제외한 부분은, X축 방향 2화소와 Y축 방향 6화소의 영역이 되고, 금회 추출의 무게 중심(g3)은 전회 추출의 무게 중심(g2)으로부터 X축 방향으로 8화소분 이동하게 된다.
이와 같이, 동기 화소가 신호등인지 다른 등화인지에 따라서, 동기 화소의 화상 상의 위치 변동량에 큰 차이가 발생한다. 구체적으로, 동기 화소가 신호등인 경우, 연속하는 동기 화상 생성 사이클 동안에, 동기 화소의 연속하여 추출된 무게 중심(G1 내지 G3)의 위치 변동량은 작다. 동기 화소가 다른 등화인 경우, 연속하는 동기 화상 생성 사이클 동안에, 동기 화소의 연속하여 추출된 무게 중심(G1 내지 G3)의 위치 변동량은 크다. 그래서, 동기 화소(혹은 동기 화소군의 무게 중심)의 연속하는 추출 위치의 위치 변동량에 관하여, 임계값을 적절하게 정할 수 있으면, 동기 화소 중에서 다른 등화를 배제하고, 신호등 후보를 고정밀도로 판정할 수 있다.
임계값은 동기 화소군의 면적에 따라서 조정한다. 예를 들어, 추출된 동기 화소군의 치수의 절반을 임계값으로 하면 된다. 도 4의 (b) 및 (c)의 예에서는, X축 방향 4화소와 Y축 방향 6화소를 포함하는 사각형 영역이 동기 화소군으로서 추출된다. X축 및 Y축의 길이의 절반, 즉 X축 방향 2화소와 Y축 방향 3화소를, 임계값으로 하면 된다. 이에 의해, 도 4의 (b) 및 (c)의 동기 화소군(DA2, DA3)은 신호등 후보로서 판정된다. 한편, 도 4의 (d) 내지 (f)의 예에서는, X축 방향 2화소와 Y축 방향 6화소를 포함하는 사각형 영역이 동기 화소군으로서 추출된다. X축 및 Y축의 길이의 절반, 즉 X축 방향 1화소와 Y축 방향 3화소를, 임계값으로 하면 된다. 이에 의해, 도 4의 (d) 내지 (f)의 동기 화소군은 신호등 후보로부터 제외된다. 이와 같이, 동기 화소군의 면적이 클수록, 임계값을 크게 설정하면 된다.
도 6을 참조하여, 도 1에 도시한 신호기 검출 장치를 사용한 신호기 검출 방법의 일례를 설명한다. 구체적으로는, 도 1의 화상 처리부(12)에 의해 실행되는, 화상으로부터 신호기를 검출하는 일련의 정보 처리 사이클의 일례를 설명한다. 도 6의 흐름도에 도시하는 정보 처리 사이클은, 차량의 이그니션 스위치가 온 상태로 되어, 신호기 검출 장치가 기동함과 동시에 개시되며, 신호기 검출 장치가 정지할 때까지, 소정 주기로 반복하여 실행된다.
먼저 스텝 S01에서, 화상 처리부(12)는 전회의 정보 처리 사이클에 있어서 설정된 오프셋양, 즉 촬상 화상을 어긋나게 하는 방향 및 어긋나게 하는 양에 기초하여, 촬상 화상간의 위치 관계를 조정한다. 이에 의해, 촬상 화상간의 변동을 보정한다.
스텝 S03으로 진행하여, 화상 처리부(12)는 위치 조정 후의 촬상 화상을 메모리(25)에 기억한다. 스텝 S05로 진행하여, 동기 화상 생성부(15)는 전력 계통의 위상 정보를 사용하여, 위치 조정 후의 촬상 화상 중에서, 신호기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화되는 동기 화소를 추출하고, 그리고, 추출된 동기 화소를 포함하는 동기 화상을 생성한다.
스텝 S07로 진행하여, 동기 화소군 설정부(14)는 복수의 동기 화소의 집합을 동기 화소군으로 설정한다. 물론, 하나의 동기 화상 중에, 복수의 동기 화소군을 설정해도 상관없다. 스텝 S09로 진행하여, 위치 변동 산출부(21)는 동기 화소군 설정부(14)에 의해 설정된 동기 화소군의 무게 중심 위치(G1 내지 G3, g1 내지 g3)를 산출하고, 그 연속하여 추출된 무게 중심 위치(G1 내지 G3, g1 내지 g3)의 이동량을, 위치 변동량으로서 산출한다. 바꾸어 말하면, 동기 화상 생성 사이클간에서의 동기 화소의 무게 중심 위치의 이동량을, 위치 변위량으로서 산출한다.
스텝 S11로 진행하여, 신호등 판정부(22)는, 도 4를 참조하여 설명한 바와 같이, 동기 화소군의 면적에 따라서, 임계값을 조정한다. 스텝 S13으로 진행하여, 신호등 판정부(22)는 동기 화소군의 위치 변동량이 임계값 이하인지 여부를 판단한다. 임계값 이하이면(S13에서 "예") 스텝 S14로 진행한다. 한편, 임계값 이하가 아니면(S13에서 "아니오") 스텝 S17로 진행하여, 신호등 판정부(22)는 동기 화소군을 신호등 후보로부터 제외한다. 그 후 스텝 S19로 진행한다.
스텝 S14에 있어서, 신호등 판정부(22)는, 위치 변동량이 임계값 이하인 동기 화소가, 신호기에 공급되는 전력의 1주기 이상 연속하여, 동기 화상 생성부(15)에 의해 생성되고 있는지 여부를 판단한다. 1주기 이상 연속하고 있으면(S14에서 "예"), 당해 동기 화소군은 시간적으로 안정되어 검출되고 있다고 판단할 수 있다. 따라서, 스텝 S15로 진행하여, 신호등 판정부(22)는 동기 화소군을 신호등 후보로서 판정한다. 그 후, 스텝 S19로 진행한다. 한편, 1주기 이상 연속하고 있지 않으면(S14에서 "아니오"), 당해 동기 화소군은, 시간적으로 안정되어 검출되지 않으므로, 스텝 S17로 진행하여, 신호등 후보로부터 제외한다.
스텝 S19에 있어서, S07에서 설정된 모든 동기 화소군을 판정하였는지 여부를 판단한다. 모든 동기 화소군을 판정하지 않았으면(S19에서 "아니오"), 스텝 S09로 되돌아가서, 나머지 동기 화소군에 대하여 상기한 판정 처리를 실시한다. 모든 동기 화소군을 판정하였으면(S19에서 "예"), 도 6의 플로우는 종료된다. 그 후, 신호기 검출부(18a)는 신호등 후보와 신호색 사이에서 색상의 유사성을 판단하고, 또한 신호등 후보의 원형 정도를 판단함으로써, 신호등 후보 중에서, 이들 다른 전등을 배제하고, 신호등 및 당해 신호등을 포함하는 신호기를 검출한다.
이상 설명한 바와 같이, 제1 실시 형태에 따르면, 이하의 작용 효과가 얻어진다.
휘도 에지가 이동한 영역에 휘도의 스텝 응답이 발생하여, 넓은 주파수 성분을 가진 노이즈가 발생한다. 이 때문에, 동기 화상 생성부(15)는 휘도 에지의 이동 부분을 동기 화소로서 추출해 버리는 경우가 있다. 동기 화상 생성부(15)에 의해 추출되는 동기 화소가 휘도 에지의 이동 부분인 경우, 동기 화소의 화상 상의 위치가 안정되지 않아, 동기 화상간(동기 화상 추출 사이클)에서의 변동량이 비교적 크다. 이에 반해, 동기 화상 생성부(15)에 의해 추출되는 동기 화소가 신호등인 경우, 동기 화소의 화상 상의 위치는 안정되어, 동기 화상 추출 사이클간에서의 변동량이 비교적 작다. 그래서, 신호등 판정부(22)가 위치 변동량이 임계값 이하인 동기 화소를 신호등 후보로 추출한다. 이에 의해, 위치 변동량이 임계값보다도 큰 동기 화소는 신호등 후보로부터 제외되므로, 선행차의 테일 램프나 대향차의 헤드 램프 등의 휘도 에지가 촬상 화상 상을 이동해도 휘도의 스텝 응답을 신호등 후보로서 잘못 추출하는 것이 억제되어, 고정밀도로 신호등을 검출할 수 있다.
동기 화소군 설정부(14)는 미리 정한 영역 내에서 검출되는 복수의 동기 화소를 하나의 동기 화소군으로 설정한다. 위치 변동 산출부(21)는 위치 변동량으로서, 동기 화소군의 무게 중심 위치의 변동량을 산출한다. 이에 의해, 위치 변동량을 정확하게 구할 수 있다.
동기 화소군 설정부(14)는 인접하는 복수의 동기 화소를 하나의 동기 화소군으로 설정한다. 이에 의해, 복수의 동기 화소의 집합을 하나의 동기 화소군으로서 인식할 수 있으므로, 신호등을 고정밀도로 검출할 수 있다.
신호등 판정부(22)는 동기 화소군의 면적에 따라서 임계값을 조정한다. 이에 의해, 동기 화소군의 크기에 따라서 적절한 임계값을 설정할 수 있다.
신호등 판정부(22)는 위치 변동량이 임계값 이하인 동기 화소가, 임계 시간 이상 연속하여 동기 화상 생성부(15)에 의해 생성된 경우에, 당해 동기 화소를 신호등 후보로서 판정한다. 적어도 1교류 주기의 길이 이상 연속하여 추출된 경우에, 당해 동기 화소를 신호등 후보로서 판정한다. 이에 의해, 시간적으로 안정되어 추출되는 동기 화소를 신호등 후보로 할 수 있으므로, 고정밀도로 신호등을 검출할 수 있다.
(제2 실시 형태)
도 7을 참조하여, 제2 실시 형태에 관한 신호기 검출 장치의 전체 구성을 설명한다. 도 7의 신호기 검출 장치는, 도 1과 비교하여, 지도 데이터베이스(16) 및 자차 위치 계측부(19)를 더 구비한다. 또한, 신호기 검출부(18b)의 기능에 상이가 있지만, 도 8을 참조하여 후술한다. 지도 데이터베이스(16)에는, 검출 대상으로 되는 신호기의 위치 정보가 기억되어 있다. 신호기의 위치 정보에는, 2차원 좌표 정보 외에, 지상으로부터의 높이의 정보가 포함되어 있어도 된다. 자차 위치 계측부(19)는, 예를 들어 GPS(전지구 측위망) 위성으로부터의 신호를 수신하여 차량의 현재 위치를 검출하는 GPS 수신기이다. 신호기의 위치 정보 및 차량의 현재 위치의 정보는, 신호기 검출부(18b)에 전송된다. 그 밖에, 촬상부(11), 메모리(25), 동기 화상 생성부(15), 동기 화소군 설정부(14) 및 차량 ECU(13)는, 도 1의 그들과 동일하며, 설명을 생략한다.
신호기 검출부(18b)는 동기 화소 중에서 점등 중인 신호등을 추출하여, 당해 신호등을 포함하는 신호기를 검출한다. 도 8에 도시한 바와 같이, 신호기 검출부(18b)는, 도 3에 비해, 위치 변동 산출부(21)에 의해 산출된 위치 변동량에 기초하여, 차량으로부터 동기 화소(또는 동기 화소군)에 대응하는 실공간 상의 위치까지의 거리를 산출하는 거리 산출부(24)와, 지도 상의 차량의 추정 위치와 신호기의 위치에 기초하여, 차량으로부터 신호기까지의 거리를 추정하는 거리 추정부(26)를 더 구비한다. 그리고, 신호등 판정부(22)는 검출 영역 설정부(27)를 더 구비한다.
거리 산출부(24)는 동기 화소의 위치 변동량으로부터, 모션 스테레오법을 사용하여, 동기 화소에 대응하는 실공간 상의 위치까지의 거리를 산출한다. 모션 스테레오법은, 연속 화상으로부터 옵티컬 플로우를 구함으로써 거리 추정을 행하는 방법이다. 1대의 카메라가 이동할 때, 미소한 시간 간격으로 촬영된 연속 화상으로 이동하는 피사체의 「화면 상의 움직임」과 「촬영 위치의 변위량」에 기초하여, 피사체까지의 거리를 산출할 수 있다.
거리 추정부(26)는 지도 상의 차량의 추정 위치와 신호기의 위치로서, 지도 데이터베이스(16) 및 자차 위치 계측부(19)로부터 전송된 신호기의 위치 정보 및 차량의 현재 위치의 정보를 사용한다. 예를 들어, 교차점에 복수의 신호기가 있으면, 신호기마다 거리를 추정할 수 있다. 단, 정보 처리의 간략화를 위해, 하나의 교차점에 속하는 복수의 신호기에 대하여, 단일의 거리를 설정해도 상관없다. 또한, 신호기는, 자차가 주행하는 차선 상에 있는 가장 자차에 가까운 신호기를 상정하고 있다.
신호등 판정부(22)는 거리 산출부(24)에 의해 산출된 거리가, 거리 추정부(26)에 의해 추정된 거리보다도 먼 곳인 동기 화소 중에서 상기 신호등 후보를 판정한다. 동기 화상 생성부(15)에 의해 생성되는 동기 화소가 휘도 에지의 이동 부분인 경우, 동기 화소의 연속하여 추출된 위치가 안정되지 않아, 동기 화상간(동기 화상 추출 사이클)에서의 변동량이 비교적 크다. 변동량이 크면 시차도 커지기 때문에, 거리 산출부(24)는 동기 화소에 대응하는 실공간 상의 위치까지의 거리를, 실제보다도 짧게 산출해 버린다. 따라서, 동기 화소에 대응하는 실공간 상의 위치까지의 거리가, 지도 상의 신호기까지의 거리보다도 짧은 경우, 동기 화소는 휘도 에지의 이동 부분이라 판단할 수 있으므로, 신호등 후보로부터 제외할 수 있다.
또한, 신호등 판정부(22)는 거리 산출부(24)에 의해 산출 가능한 거리보다도 먼 곳에 있는 동기 화소 중에서 신호등 후보를 판정해도 상관없다.
신호등 판정부(22)는 동기 화상 내에, 신호등 후보를 판정하기 위한 검출 영역을 설정하는 검출 영역 설정부(27)를 구비한다. 신호등 판정부(22)는 설정된 검출 영역에 있는 동기 화소 중에서 신호등 후보를 판정한다.
예를 들어, 검출 영역 설정부(27)는 거리 추정부(26)에 의해 추정된 거리 및 신호기의 신호등 부분의 지상으로부터의 높이에 기초하여, 화상 상의 임계 높이를 설정한다. 신호등 판정부(22)는 동기 화상 내의 임계 높이 이상의 검출 영역으로부터, 신호등 후보를 판정한다. 추출 대상으로 되는 동기 화상의 범위에 높이 방향의 제한을 가함으로써, 신호등 후보의 판정 효율이 향상되어, 고속으로 신호기를 검출할 수 있다.
또한, 거리 산출부(24)는 차량으로부터 상기 동기 화소에 대응하는 실공간 상의 위치로의 방위를 산출해도 된다. 이 경우, 검출 영역 설정부(27)는 거리 산출부(24)에 의해 산출된 방위에 기초하여, 동기 화상 내에 검출 영역을 설정할 수 있다. 신호등 판정부(22)는 설정된 검출 영역으로부터, 신호기를 검출할 수 있다.
도 9를 참조하여, 도 7에 도시한 신호기 검출 장치를 사용한 신호기 검출 방법의 일례를 설명한다. 구체적으로는, 도 7의 화상 처리부(12)에 의해 실행되는, 화상으로부터 신호기를 검출하는 일련의 정보 처리 사이클의 일례를 설명한다. 도 9의 흐름도에 도시하는 정보 처리 사이클은, 차량의 이그니션 스위치가 온 상태로 되어, 신호기 검출 장치가 기동함과 동시에 개시되며, 신호기 검출 장치가 정지할 때까지, 소정 주기로 반복하여 실행된다. 도 6과의 상위점을 중심으로 하여 설명한다.
스텝 S01 내지 S09까지는 도 6과 동일한 처리를 실행한다. 그 후, 스텝 S21로 진행하여, 거리 산출부(24)는 동기 화소의 위치 변동량으로부터, 모션 스테레오법을 사용하여, 차량으로부터 동기 화소군에 대응하는 실공간 상의 위치까지의 거리를 산출한다. 스텝 S23으로 진행하여, 거리 추정부(26)는 지도 상의 차량의 추정 위치와 신호기의 위치에 기초하여, 차량으로부터 신호기까지의 거리를 추정한다.
스텝 S25로 진행하여, 신호등 판정부(22)는 거리 산출부(24)에 의해 산출된 거리가, 거리 추정부(26)에 의해 추정된 거리보다도 먼 곳인지 여부를 판단한다. 먼 곳인 경우(S25에서 "예"), 당해 동기 화소군은 신호등일 가능성이 있으므로, 스텝 S11로 진행한다. 먼 곳이 아닌 경우(S25에서 "아니오"), 당해 동기 화소군은 휘도 에지의 이동 부분이라 판단할 수 있으므로, 스텝 S17로 진행하여, 신호등 후보로부터 제외한다. 그 후, 스텝 S19로 진행한다.
스텝 S11 내지 S17은 도 6과 동일한 처리를 실행한다.
이상 설명한 바와 같이, 제2 실시 형태에 따르면, 이하의 작용 효과가 얻어진다.
동기 화상 생성부(15)에 의해 생성되는 동기 화소가 휘도 에지의 이동 부분인 경우, 동기 화소의 연속하여 추출된 위치가 안정되지 않아, 동기 화상간(동기 화상 추출 사이클)에서의 변동량이 비교적 크다. 변동량이 크면, 거리 산출부(24)는 동기 화소에 대응하는 실공간 상의 위치까지의 거리를, 실제보다도 짧게 산출해 버린다. 따라서, 동기 화소에 대응하는 실공간 상의 위치까지의 거리가, 지도 상의 신호기까지의 거리보다도 짧은 경우, 동기 화소는 휘도 에지의 이동 부분이라 판단할 수 있으므로, 동기 화소는 신호등 후보로부터 제외할 수 있다. 따라서, 고정밀도로 신호등을 검출할 수 있다.
신호등 판정부(22)는 거리 산출부(24)에 의해 산출 가능한 거리보다도 먼 곳에 있는 동기 화소 중에서 신호등 후보를 판정한다. 이에 의해, 휘도 에지의 이동 부분을 잘못하여 신호등으로 판정하는 것이 억제된다.
신호등 판정부(22)는 거리 추정부(26)에 의해 추정된 거리 및 신호기의 신호등 부분의 지상으로부터의 높이에 기초하여, 동기 화상 상의 임계 높이를 설정하고, 동기 화상 내의 임계 높이 이상의 검출 영역으로부터, 신호등 후보를 판정해도 된다. 이에 의해, 추출 대상으로 되는 동기 화상의 범위에 높이 방향의 제한을 가함으로써, 신호등 후보의 판정 효율이 향상되어, 고속으로 신호기를 검출할 수 있다.
신호기 검출부(18b)는 거리 산출부(24)에 의해 산출된 방위에 기초하여, 동기 화상 내에 검출 영역을 설정하고, 검출 영역으로부터, 신호기를 검출해도 된다. 추출 대상으로 되는 동기 화상의 범위에 방위의 제한을 가함으로써, 동기 화소의 추출 효율이 향상되어, 효율적으로 신호기를 검출할 수 있다.
상기한 바와 같이, 본 발명의 실시 형태를 기재하였지만, 이 개시의 일부를 이루는 논술 및 도면은 본 발명을 한정하는 것이라고 이해해서는 안된다. 이 개시로부터 당업자에게는 다양한 대체 실시 형태, 실시예 및 운용 기술이 명확해질 것이다.
11 : 촬상부
12 : 화상 처리부
14 : 동기 화소군 설정부
15 : 동기 화상 생성부(동기 화소 추출부)
16 : 지도 데이터베이스
19 : 자차 위치 계측부
18a, 18b : 신호기 검출부
21 : 위치 변동 산출부
22 : 신호등 판정부
23 : 임계값 설정부
24 : 거리 산출부
26 : 거리 추정부
27 : 검출 영역 설정부
28 : 촬상 화상(프레임)

Claims (10)

  1. 차량에 탑재되며, 상기 차량의 주위를 촬상하여 화상을 취득하는 촬상부와,
    상기 화상 중에서, 신호기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화되는 동기 화소를 추출하는 동기 화소 추출부와,
    상기 동기 화소 중에서 신호기를 검출하는 신호기 검출부를 구비하고,
    상기 신호기 검출부는,
    상기 동기 화소의 연속하여 추출된 위치의 위치 변동량을 산출하는 위치 변동 산출부와,
    상기 위치 변동량이 임계값 이하인 상기 동기 화소를 신호등 후보로 판정하는 신호등 판정부를 구비하는 것을 특징으로 하는 신호기 검출 장치.
  2. 제1항에 있어서,
    미리 정한 영역 내에서 검출되는 복수의 동기 화소를 하나의 동기 화소군으로 설정하는 동기 화소군 설정부를 더 구비하고,
    상기 위치 변동 산출부는, 상기 위치 변동량으로서, 상기 동기 화소군의 무게 중심 위치의 변동량을 산출하는 것을 특징으로 하는 신호기 검출 장치.
  3. 제2항에 있어서,
    상기 동기 화소군 설정부는, 인접하는 복수의 동기 화소를 상기 하나의 동기 화소군으로 설정하는 것을 특징으로 하는 신호기 검출 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 신호등 판정부는, 상기 동기 화소군의 면적에 따라서 상기 임계값을 조정하는 것을 특징으로 하는 신호기 검출 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 신호등 판정부는, 상기 위치 변동량이 상기 임계값 이하인 상기 동기 화소가, 임계 시간 이상 연속하여 상기 동기 화소 추출부에 의해 추출된 경우에, 당해 동기 화소를 신호등 후보로서 판정하는 것을 특징으로 하는 신호기 검출 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 신호기 검출부는,
    상기 위치 변동 산출부에 의해 산출된 상기 위치 변동량에 기초하여, 상기 차량으로부터 상기 동기 화소에 대응하는 실공간 상의 위치까지의 거리를 산출하는 거리 산출부와,
    지도 상의 상기 차량의 추정 위치와 상기 신호기의 위치에 기초하여, 상기 차량으로부터 신호기까지의 거리를 추정하는 거리 추정부를 더 구비하고,
    상기 신호등 판정부는, 상기 거리 산출부에 의해 산출된 거리가, 상기 거리 추정부에 의해 추정된 거리보다도 먼 곳인 상기 동기 화소 중에서 상기 신호등 후보를 판정하는 것을 특징으로 하는 신호기 검출 장치.
  7. 제6항에 있어서,
    상기 신호등 판정부는, 상기 거리 산출부에 의해 산출 가능한 거리보다도 먼 곳에 있는 상기 동기 화소 중에서 상기 신호등 후보를 판정하는 것을 특징으로 하는 신호기 검출 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 신호등 판정부는, 상기 거리 추정부에 의해 추정된 거리 및 상기 신호기의 신호등 부분의 지상으로부터의 높이에 기초하여, 화상 상의 임계 높이를 설정하고, 화상 내의 임계 높이 이상의 검출 영역으로부터, 상기 신호등 후보를 판정하는 것을 특징으로 하는 신호기 검출 장치.
  9. 제6항 또는 제7항에 있어서,
    상기 거리 산출부는, 상기 차량으로부터 상기 동기 화소에 대응하는 실공간 상의 위치로의 방위를 산출하고,
    상기 신호기 검출부는, 상기 거리 산출부에 의해 산출된 방위에 기초하여, 상기 화상 내에 검출 영역을 설정하고, 상기 검출 영역으로부터, 신호기를 검출하는 것을 특징으로 하는 신호기 검출 장치.
  10. 차량에 탑재된 촬상부를 사용하여, 상기 차량의 주위를 촬상하여 화상을 취득하고,
    상기 화상 중에서, 신호기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화되는 동기 화소를 추출하고,
    상기 동기 화소의 연속하여 추출된 위치의 위치 변동량을 산출하고,
    상기 위치 변동량이 임계값 이하인 상기 동기 화소를 신호등 후보로서 추출하고,
    상기 신호등 후보 중에서 신호기를 검출하는 것을 특징으로 하는 신호기 검출 방법.
KR1020177031951A 2015-04-08 2015-04-08 신호기 검출 장치 및 신호기 검출 방법 KR101972690B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060988 WO2016162975A1 (ja) 2015-04-08 2015-04-08 信号機検出装置及び信号機検出方法

Publications (2)

Publication Number Publication Date
KR20170134646A true KR20170134646A (ko) 2017-12-06
KR101972690B1 KR101972690B1 (ko) 2019-04-25

Family

ID=57072705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031951A KR101972690B1 (ko) 2015-04-08 2015-04-08 신호기 검출 장치 및 신호기 검출 방법

Country Status (10)

Country Link
US (1) US10055655B2 (ko)
EP (1) EP3282436B1 (ko)
JP (1) JP6428924B2 (ko)
KR (1) KR101972690B1 (ko)
CN (1) CN107430818B (ko)
BR (1) BR112017021644B1 (ko)
CA (1) CA2981779C (ko)
MX (1) MX360623B (ko)
RU (1) RU2655256C1 (ko)
WO (1) WO2016162975A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651797B (zh) * 2016-12-08 2020-01-14 浙江宇视科技有限公司 一种信号灯有效区域的确定方法和装置
US11087153B2 (en) 2018-10-31 2021-08-10 Cognizant Technology Solutions India Pvt. Ltd. Traffic light recognition system and method
CN109374128B (zh) * 2018-11-30 2024-02-02 山东交通学院 一种轨道交通信号机亮度检测装置和方法
US10339400B1 (en) * 2018-12-18 2019-07-02 Chongqing Jinkang New Energy Automobile Co., Ltd. Traffic light detection using multiple cameras
US11033146B2 (en) 2019-02-25 2021-06-15 Sharkninja Operating Llc Cooking device and components thereof
KR102747641B1 (ko) 2019-06-26 2024-12-27 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
RU2764223C2 (ru) 2019-12-25 2022-01-14 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для определения состояния светофора
CN112581534B (zh) * 2020-12-24 2023-01-13 济南博观智能科技有限公司 一种信号灯重定位方法、装置、电子设备及存储介质
CN112699773B (zh) * 2020-12-28 2023-09-01 阿波罗智联(北京)科技有限公司 交通灯识别方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050062413A (ko) * 2003-12-19 2005-06-23 산요덴키가부시키가이샤 플리커 검출 장치 및 촬상 장치
JP2005301518A (ja) 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
KR20100029149A (ko) * 2007-08-06 2010-03-15 쟈인 에레쿠토로닉스 가부시키가이샤 화상 신호 처리 장치
KR20120088771A (ko) * 2009-12-10 2012-08-08 아조 디지털 에스피.제트.오.오. 고휘도 방전램프의 제어방법 및 고휘도 방전램프의 전력공급 시스템
JP2012173879A (ja) * 2011-02-18 2012-09-10 Toyota Central R&D Labs Inc 信号機検出装置及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101235A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 自動輝度調整回路及び自動輝度調整方法
DE102005033863A1 (de) * 2005-07-20 2007-01-25 Robert Bosch Gmbh Bildaufnahmesystem
JP2007286943A (ja) * 2006-04-18 2007-11-01 Fujifilm Corp 信号灯検出装置
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
JP4915281B2 (ja) * 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 信号機検出装置、信号機検出方法及びプログラム
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
DE102010025349A1 (de) * 2010-06-28 2011-12-29 Audi Ag Verfahren zum Betrieb einer Kraftfahrzeugbeleuchtungseinrichtung mit automatischer Abblendfunktion
JP5591730B2 (ja) * 2011-02-10 2014-09-17 富士重工業株式会社 環境認識装置
DE102012104131A1 (de) * 2011-05-13 2012-11-15 Conti Temic Microelectronic Gmbh Automatische anpassung der ansteuerung eines insbesondere für fahrerassistenzsysteme vorgesehenen imagers an äussere einflüsse
DE102011077038A1 (de) 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
RU116258U1 (ru) * 2011-11-15 2012-05-20 Игорь Юрьевич Мацур Система регулирования движения транспортных средств
CN102496282B (zh) * 2011-12-16 2014-04-16 湖南工业大学 一种rgb颜色变换的交通路口信号灯状态识别方法
CN103345766B (zh) * 2013-06-21 2016-03-30 东软集团股份有限公司 一种信号灯识别方法及装置
EP3089442B1 (en) * 2013-12-25 2022-01-05 Hitachi Astemo, Ltd. Vehicle-mounted image recognition device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050062413A (ko) * 2003-12-19 2005-06-23 산요덴키가부시키가이샤 플리커 검출 장치 및 촬상 장치
JP2005301518A (ja) 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
KR20100029149A (ko) * 2007-08-06 2010-03-15 쟈인 에레쿠토로닉스 가부시키가이샤 화상 신호 처리 장치
KR20120088771A (ko) * 2009-12-10 2012-08-08 아조 디지털 에스피.제트.오.오. 고휘도 방전램프의 제어방법 및 고휘도 방전램프의 전력공급 시스템
JP2012173879A (ja) * 2011-02-18 2012-09-10 Toyota Central R&D Labs Inc 信号機検出装置及びプログラム

Also Published As

Publication number Publication date
MX2017012463A (es) 2018-01-30
MX360623B (es) 2018-11-09
EP3282436A1 (en) 2018-02-14
CN107430818B (zh) 2018-10-12
RU2655256C1 (ru) 2018-05-24
BR112017021644B1 (pt) 2022-11-16
CN107430818A (zh) 2017-12-01
JPWO2016162975A1 (ja) 2018-02-08
US10055655B2 (en) 2018-08-21
KR101972690B1 (ko) 2019-04-25
EP3282436B1 (en) 2019-09-18
JP6428924B2 (ja) 2018-11-28
BR112017021644A2 (pt) 2018-07-10
EP3282436A4 (en) 2018-07-18
WO2016162975A1 (ja) 2016-10-13
CA2981779C (en) 2018-05-01
US20180137379A1 (en) 2018-05-17
CA2981779A1 (en) 2016-10-13

Similar Documents

Publication Publication Date Title
KR101972690B1 (ko) 신호기 검출 장치 및 신호기 검출 방법
JP6233500B2 (ja) 信号機検出装置及び信号機検出方法
JP6222343B2 (ja) 信号機検出装置及び信号機検出方法
JP6477876B2 (ja) 信号機検出装置及び信号機検出方法
JP6233501B2 (ja) 信号機検出装置及び信号機検出方法
KR101920186B1 (ko) 등화기 검출 장치 및 등화기 검출 방법
JP6432601B2 (ja) 信号機検出装置及び信号機検出方法
JP2017072914A (ja) 物体認識装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20171103

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
A302 Request for accelerated examination
PA0302 Request for accelerated examination

Patent event date: 20171206

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180214

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180829

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190327

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190419

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190419

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220302

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230323

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240401

Start annual number: 6

End annual number: 6