KR101920186B1 - 등화기 검출 장치 및 등화기 검출 방법 - Google Patents

등화기 검출 장치 및 등화기 검출 방법 Download PDF

Info

Publication number
KR101920186B1
KR101920186B1 KR1020187000796A KR20187000796A KR101920186B1 KR 101920186 B1 KR101920186 B1 KR 101920186B1 KR 1020187000796 A KR1020187000796 A KR 1020187000796A KR 20187000796 A KR20187000796 A KR 20187000796A KR 101920186 B1 KR101920186 B1 KR 101920186B1
Authority
KR
South Korea
Prior art keywords
equalizer
edge portion
image
luminance
synchronous
Prior art date
Application number
KR1020187000796A
Other languages
English (en)
Other versions
KR20180016564A (ko
Inventor
다카히코 오키
하루오 마츠오
다이키 야마노이
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20180016564A publication Critical patent/KR20180016564A/ko
Application granted granted Critical
Publication of KR101920186B1 publication Critical patent/KR101920186B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

등화기 검출 장치는, 카메라 화상 내에서 소정값 이상의 휘도 차를 갖는 에지부(31a, 31b)를 검출하고(21), 에지부의 휘도 차를 작게 조정하여 평활 화상을 생성한다(22). 그리고, 평활 화상 내에서, 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하고(24), 동기 화소 내에서 등화기를 검출한다(26).

Description

등화기 검출 장치 및 등화기 검출 방법
본 발명은, 등화기 검출 장치 및 등화기 검출 방법에 관한 것이다.
종래부터, 카메라로 촬상된 화상 내에서 신호기를 검출하는 신호기 검출 장치가 알려져 있다(특허문헌 1 참조). 특허문헌 1에서는, 화상 내에서, 신호등의 색 및 형상에 기초하여 신호등 후보를 검출하고, 신호등 후보가 소정의 주기로 점멸하고 있는지 여부를 판단하고 있다.
일본 특허공개 제2005-301518호 공보
카메라를 탑재하는 차량이 이동하고 있으면, 이동 중에 촬상된 화상에 포함되는, 소정값 이상의 휘도 차를 갖는 에지부의 위치도 이동한다. 이에 의해, 에지부가 이동한 영역에 휘도의 스텝 응답이 발생하고, 넓은 주파수 성분을 갖는 노이즈가 발생한다. 미리 정한 주기에서 휘도가 변동하고 있는 화소를 등화기로서 추출하는 경우, 넓은 주파수 성분을 갖는 노이즈를 등화기로서 오인식해버리는 경우가 있다.
본 발명은, 상기 과제를 감안하여 이루어진 것으로, 그 목적은, 에지부가 이동해도 휘도의 스텝 응답을 등화기로서 오검출하는 것을 억제하여, 안정적으로 등화기를 검출할 수 있는 등화기 검출 장치 및 등화기 검출 방법을 제공하는 것이다.
본 발명의 일 형태에 따른 등화기 검출 장치는, 카메라 화상 내에서 소정값 이상의 휘도 차를 갖는 에지부를 검출하고, 에지부의 휘도 차를 작게 조정하여 평활 화상을 생성한다. 그리고, 평활 화상 내에서, 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하고, 동기 화소 내에서 등화기를 검출한다.
본 발명의 일 형태에 의하면, 에지부의 인접하는 화소 사이의 휘도 차인 휘도 구배가 매끄러워지므로, 에지부가 화상 상의 위치를 이동하기 때문에 화소 휘도의 스텝 응답의 휘도 차가 작아지게 되고, 전력 주파수대의 노이즈 강도가 작아지게 되어, 화소 휘도의 스텝 응답에 의한 노이즈를 등화기로서 오검출하는 것이 억제되어, 안정적으로 등화기를 검출할 수 있다.
도 1은, 제1 실시 형태에 따른 등화기 검출 장치의 전체 구성을 나타내는 블록도이다.
도 2a의 (a)는, 카메라 화상을 나타내고, 도 2a의 (b)는, 도 2a의 (a)로부터 검출된 에지부를 나타내고, 도 2a의 (c)는, 도 2a의 (b)의 에지부의 휘도를 조정해서 생성된 평활 화상을 나타낸다.
도 2b의 (a)는, 카메라 화상을 나타내고, 도 2b의 (b)는, 도 2b의 (a)로부터 검출된, 수평 방향으로 연속되는 에지부를 나타내고, 도 2b의 (c)는, 도 2b의 (b)의 에지부의 휘도를 조정하여 생성된 평활 화상을 나타낸다.
도 3a는, 주위의 8화소의 휘도를 사용해서 중앙의 화소 휘도를 조정하는 평활 처리의 일례를 나타내는 도면이다.
도 3b의 (a) 및 (b)는, 주위의 6화소의 휘도를 사용해서 중앙의 화소 휘도를 조정하는 평활 처리로서, 세로 방향으로 연신되는 에지부의 평활화 처리의 예를 나타내는 도면이다.
도 3c의 (a) 및 (b)는, 주위의 6화소의 휘도를 사용해서 중앙의 화소 휘도를 조정하는 평활 처리로서, 가로 방향으로 연신되는 에지부의 평활화 처리의 예를 나타내는 도면이다.
도 4는, 동기 화상 생성 회로(24) 및 기준 신호 설정 회로(23)의 상세한 구성을 나타내는 블록도이다.
도 5는, 도 1의 등화기 검출 장치를 사용한 등화기 검출 방법의 일례를 나타내는 흐름도이다.
도 6은, 제2 실시 형태에 따른 등화기 검출 장치의 전체 구성을 나타내는 블록도이다.
도 7은, 도 6의 등화기 검출 장치를 사용한 등화기 검출 방법의 일례를 나타내는 흐름도이다.
(제1 실시 형태)
다음으로, 도면을 참조하여, 본 발명의 실시 형태를 상세히 설명한다.
도 1을 참조하여, 제1 실시 형태에 따른 등화기 검출 장치의 전체 구성을 설명한다. 신호기 검출 장치는, 차량에 탑재되고, 차량의 주위를 촬상하여 카메라 화상을 취득하는 촬상부(11)와, 촬상부(11)에 의해 취득된 카메라 화상을 사용해서 등화기를 검출하는 화상 처리부(12)와, 지도 데이터베이스를 구비한다.
촬상부(11)는, 고체 촬상 소자(이미지 센서), 예를 들어 CCD 또는 CMOS를 구비한 디지털 카메라로서, 화상 처리가 가능한 카메라 화상을 취득한다. 촬상부(11)는, 소정 시간 간격으로 반복해서 차량의 예를 들어 전방을 촬상하여, 연속되는 복수의 카메라 화상을 취득한다. 촬상부(11)는, 등화기에 공급되는 계통 전원의 1 교류 주기의 사이에, 복수회의 촬상을 행한다. 촬상부(11)는, 각 카메라 화상에, 차량의 전방에 존재하는 등화기를 촬영할 수 있다. 즉, 이미지 센서는, 적어도 등화기를 검출할 수 있을 정도의 감도를 갖는다.
여기서, 「등화기」는, 계통 전원이 공급되어 발광하는 인공 광원으로서, 교통 신호기의 신호등, 자발광식 도로 표지, 그 밖의 전등(자발광식 간판, 자동 판매기 등의 발광부)이 포함된다.
화상 처리부(12)는, 촬상부(11)에 의해 취득된 카메라 화상의 데이터를 수신하고, 카메라 화상 내에 포함되는 등화기의 종별을 검출한다. 검출된 등화기의 정보는, 예를 들어 차량의 자동 운전을 실현하기 위한 컨트롤러를 포함하는, 차량에 탑재된 다른 처리 연산 장치(차량 CPU(16))로 전송된다. 화상 처리부(12)는, 예를 들어 CPU, 메모리, 및 입출력부를 구비하는 마이크로컨트롤러를 포함하고, 미리 인스톨된 컴퓨터 프로그램을 실행함으로써, 등화기 검출 장치가 구비하는 복수의 정보 처리 회로를 구성한다. 화상 처리부(12)는, 카메라 화상으로부터 등화기를 검출하는 일련의 정보 처리 사이클(에지 검출 처리, 에지 평활화 처리 및 전력 동기 처리를 포함함)을, 연속되는 복수의 카메라 화상마다 반복해서 실행한다. 화상 처리부(12)는, 차량에 관계되는 다른 제어에 사용하는 ECU와 겸용해도 된다.
화상 처리부(12)에 의해 구성되는 복수의 정보 처리 회로에는, 에지 검출 회로(21)와, 에지 평활 회로(22)와, 기준 신호 설정 회로(23)와, 동기 화상 생성 회로(24)와, 등화기 검출 회로(26)가 포함된다.
에지 검출 회로(21)는, 카메라 화상 내에서, 인접하는 화소 사이의 휘도 차가 소정값 이상의 에지부를 검출한다. 예를 들어, 에지 검출 회로(21)는, 도 2a의 (a)에 도시한 카메라 화상으로부터, 도 2a의 (b)에 도시한 에지부(31a)를 검출한다. 도 2a의 (a) 중의 (0)과 (255)는 각각 휘도값(8비트)을 나타낸다. (0)이 흑색, (255)가 백색을 나타낸다. 도 2a의 (a) 중의 격자는 화소를 나타낸다. 에지 검출 회로(21)는, 인접하는 화소의 사이에, 미리 정한 임계값 이상의 휘도 차를 발생하는 부분을, 에지부(31a)로서 검출한다. 도 2a의 (a) 중의 휘도 (0)과 (255)가 인접하고 있는 부분은, 에지부(31a)로서 검출된다. 도 2a의 (b)에 도시한 에지부(31a)는, 세로 4화소 및 가로 4화소의 사각 형상에 연속되는 합계 16화소에 의해 구성된다. 에지부의 고휘도 영역이 카메라 화상 위를 이동하면, 에지부가 이동한 화소의 휘도는 스텝 응답으로 변화하기 때문에, 넓은 주파수 대역에서 휘도값이 노이즈로서 발생한다. 등화기에 공급되는 전력 교류 주기의 주파수 대역에 노이즈가 발생하면, 노이즈도 동기하여 휘도가 변화하는 동기 화소로서 추출해버린다. 따라서, 미리 정하는 임계값인 소정값은, 동기 화상으로서 추출되어버리는 노이즈가 발생하는 에지부의 휘도 차에 기초하여 설정한다.
구체적인 에지 검출 방법은 특별히 구애받지 않고, 기존의 기술을 이용할 수 있다. 예를 들어, 소벨(Sobel) 오퍼레이터, 프리윗(Prewitt) 오퍼레이터, 캐니(Canny)법을 이용할 수 있다.
에지 평활 회로(22)는, 카메라 화상 내에서 에지부(31a)의 휘도 차를 작게 조정하여 평활 화상을 생성한다. 예를 들어, 에지 평활 회로(22)는, 도 2a의 (a)에 도시한 카메라 화상 내에서, 굳이, 에지부(31a)의 휘도 차를 작게 조정하여, 도 2a의 (c)에 도시한 평활 화상을 생성한다. 이때, 도 2a의 (b)의 카메라 화상 내에서, 굳이, 에지부(31a)에 있어서의 인접하는 화소 사이의 휘도 차인 휘도 구배가 완만해지도록 휘도 차를 작게 조정한다. 그 일례로서, 에지 평활 회로(22)는, 도 2a의 (b)에 도시한, 에지부(31a)를 구성하는 합계 16화소의 각 휘도를, 다음에 나타내는 평활 처리에 의해 조정한다. 동기 화상으로서 추출되어버리는 노이즈가 발생하지 않는 에지부(31a)의 휘도 차가 되도록, 작게 조정한다.
도 3a에 있어서, 「0」이라고 표기된 중앙의 화소가 에지부(31a)를 구성하는 화소에 상당한다. 도 3a의 방법에서는, 당해 화소의 휘도를, 그 주위의 8화소의 휘도의 평균값으로 조정한다. 이 처리를, 에지부(31a)를 구성하는 16화소의 각각에 실시한다. 이에 의해, 도 2a의 (c)에 도시한 바와 같이, 에지부(31a)의 4변을 이루는 8화소의 휘도가 (192)로 조정되고, 에지부(31a)의 4각을 이루는 4화소의 휘도가 (96)으로 조정된다. 이와 같이 하여, 도 2a의 (a)의 카메라 화상은, 그 에지부(31a)에 있어서의 인접하는 화소 사이의 휘도 차인 휘도 구배가 완만해지도록 휘도 차가 작게 조정되고, 도 2a의 (c)의 평활 화상이 생성된다. 휘도가 조정된 8개의 화소에 둘러싸인, 휘도가 조정되지 않은, 세로 2화소 및 가로 2화소로 이루어지는 화소군은, 등화기를 검출하기 위한 영역(32a)을 구성한다.
이 밖에, 도 3b의 (a), (b)는 세로 방향으로 연신되는 에지부를 평활 처리하는 예를 나타내고, 도 3c의 (a), (b)는 가로 방향으로 연신되는 에지부를 평활 처리하는 예를 나타낸다. 즉, 도 2a의 (b)의 에지부(31a) 중, 수직 방향으로 연신되는 에지부와 수평 방향으로 연신되는 에지부에서 서로 다른 방법에 의해 평활 처리를 실시해도 상관없다. 또는, 후술하는 바와 같이, 화상의 이동 방향에 따라서, 수평 방향 혹은 수직 방향으로 연신되는 에지부만을 평활 처리해도 상관없다.
동기 화상 생성 회로(24)(동기 화소 추출 회로)는, 평활 화상 내에서, 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하여, 동기 화소로 이루어지는 동기 화상을 생성한다. 기준 신호 설정 회로(23)는, 동기 화소를 추출할 때 사용하는 기준 신호를 설정한다.
도 4에 도시한 바와 같이, 동기 화상 생성 회로(24)는, 화상 메모리(35)와, 승산 회로(36)와, 평균 처리 회로(37)를 구비한다. 기준 신호 설정 회로(23)는, 기준 신호 생성 회로(38)와, 위상 판정 회로(39)를 구비한다. 우선, 기준 신호 생성 회로(38)는, 도 1에 도시한 자차 위치 정보(14)를 이용하여 차량 주변에 있어서의 계통 전원(상용 전원)의 주파수 정보를 취득하고, 계통 전원을 전파 정류한 교류 전력의 주기(예를 들어, 100㎐)에서 강도가 변동하는 기준 신호를 생성한다. 또한, 자차 위치 정보(14)는, GPS 신호 등의 측위 신호나, 카메라 화상에 비치는 랜드마크의 위치 정보로부터 구할 수 있다.
승산 회로(36)는, 화상 메모리(35)에 기억되어 있는 평활 화상을 판독하여, 기준 신호를 승산함으로써, 동기 화소를 추출한다. 승산 회로(36)는, 화상 메모리(35)에 동시에 기억되어 있는 복수의 평활 화상의 각각에 대하여, 상기한 승산 처리를 실시한다. 평균 처리 회로(37)는, 승산 회로(36)에 의한 평활 화상마다 승산 결과의 평균값을 구하고, 동기 화소로 이루어지는 동기 화상으로서 출력한다.
또한, 위상 판정 회로(39)는, 기준 신호의 위상이 평활 화상의 휘도 변동의 위상에 동기하고 있는지를 판단하여, 그 판단 결과를 기준 신호 생성 회로(38)로 피드백한다. 기준 신호 생성 회로(38)는, 이 피드백을 받아, 기준 신호의 위상이 평활 화상의 휘도 변동에 동기하도록, 기준 신호의 위상을 조정한다. 구체적으로는, 승산 회로(36)의 승산 결과, 즉 동기 화소의 휘도가 최댓값을 취하도록, 기준 신호의 위상을 조정한다. 이 피드백 제어에 의해, 동기 화상의 휘도를 높일 수 있다.
등화기에 공급되는 전력은, 상용 전원의 전력을 전파 정류한 교류 전력이다. 상용 전원으로부터 전력의 공급을 받아 점등하는 등화기의 휘도는, 전파 정류한 교류 전력의 주기(예를 들어, 100㎐)와 동일한 주기에서 변화한다. 등화기에 공급되는 전력의 교류 주기에 동기하여 휘도가 변화하는 동기 화소를 평활 화상 내에서 추출할 수 있다.
실시 형태에서는, 에지부에 있어서의 인접하는 화소 사이의 휘도 차인 휘도 구배가 완만해지도록 에지부의 휘도 차를 작게 조정한 다음에, 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출한다. 이에 의해, 고휘도 영역이 공간 이동하고 있는 상황에 있어서도, 시간 주파수의 동기 검출에 공간 주파수가 혼입되기 어려워져서, 동기 화상에 포함되는 노이즈를 저감시킬 수 있다.
등화기 검출 회로(26)는, 동기 화상 중에서 미리 정한 휘도 임계값보다도 휘도가 높은 동기 화소를 등화기로서 판정하여, 동기 화상 위의 등화기의 위치를 검출한다. 그리고, 동기 화상, 에지 화상, 혹은 카메라 화상 중 적어도 어느 하나를 사용하여, 등화기의 종별을 검출한다. 예를 들어, 등화기 검출 회로(26)는, 패턴 매칭을 이용하여, 등화기의 형상이 자발광식 도로 표지와 유사한지 여부를 판단한다. 그리고, 등화기 검출 회로(26)는, 등화기의 위치에 대응하는 카메라 화상의 위치의 색상이 교통 신호기의 등화색과 유사한지 여부를 판단한다. 이들의 판단 기능에 의해, 등화기가 교통 신호기의 신호등, 자발광식 도로 표지, 혹은 그 밖의 전등인지를 판단할 수 있다.
도 5의 흐름도를 참조하여, 도 1의 등화기 검출 장치를 사용한 등화기 검출 방법의 일례를 설명한다.
우선, 스텝 S01에 있어서, 촬상부(11)는, 카메라 화상을 연속해서 취득한다. 취득한 복수의 카메라 화상은 메모리에 기억된다. 계통 전원의 1 교류 주기의 사이에, 예를 들어 6장의 카메라 화상이 취득된 후에, 스텝 S03으로 진행된다. 에지 검출 회로(21)는, 예를 들어 소벨 오퍼레이터, 프리윗 오퍼레이터를 이용하여, 카메라 화상(도 2a의 (a)) 중에서, 소정값 이상의 휘도 차를 갖는 에지부(31a)(도 2a의 (b))를 검출한다.
다음으로, 스텝 S05로 진행해서, 도 2a, 도 3a 내지 도 3c를 참조하여 설명한 바와 같이, 에지 평활 회로(22)는, 에지부(31a)에 있어서의 인접하는 화소 사이의 휘도 차인 휘도 구배가 완만해지도록, 카메라 화상의 휘도 차를 작게 조정하여 평활 화상(도 2a의 (c))을 생성한다.
스텝 S07로 진행해서, 동기 화상 생성 회로(24)는, 평활 화상 내에서, 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하여, 동기 화소로 이루어지는 동기 화상을 생성한다. 스텝 S09로 진행해서, 위상 판정 회로(39)는, 동기 화상을 참조하여, 기준 신호의 위상이 평활 화상의 휘도 변동에 동기하고 있는지를 판단한다. 예를 들어, 동기 화상 전체의 평균 휘도값이 소정값 미만인 경우, 동기하지 않는다고 판단하고(스텝 S09에서 '아니오'), 위상 판정 회로(39)는, 그 판단 결과를 기준 신호 생성 회로(38)로 피드백한다. 기준 신호 생성 회로(38)는, 이 피드백을 받아, 기준 신호의 위상이 평활 화상의 휘도 변동에 동기하도록, 기준 신호의 위상을 조정한다(스텝 S10).
동기하고 있다고 판단한 경우(스텝 S09에서 '예'), 스텝 S11로 진행되고, 등화기 검출 회로(26)는, 동기 화상 내에서 미리 정한 휘도 임계값보다도 휘도가 높은 동기 화소의 집합(화소군)을 등화기로서 판정하여, 동기 화상 위의 등화기의 위치를 검출한다. 등화기 검출 회로(26)는, 패턴 매칭을 이용하여, 등화기(화소군)의 형상이 자발광식 도로 표지와 유사한지 여부를 판단한다. 자발광식 도로 표지와 유사한 경우(스텝 S11에서 '예'), 등화기 검출 회로(26)는, 등화기(화소군)를 자발광식 도로 표지로서 라벨링하고(스텝 S15), 스텝 S21로 진행된다.
자발광식 도로 표지와 유사하지 않는 경우(스텝 S11에서 '아니오'), 등화기 검출 회로(26)는, 등화기의 위치에 대응하는 카메라 화상의 위치의 색상이 교통 신호기의 등화색과 유사한지 여부를 판단한다(스텝 S13). 교통 신호기의 등화색과 유사한 경우(S13에서 '예'), 등화기 검출 회로(26)는, 등화기(화소군)를 교통 신호기의 신호등으로서 라벨링하고(스텝 S17), 스텝 S21로 진행된다. 교통 신호기의 등화색과 유사하지 않는 경우(S13에서 '아니오'), 등화기 검출 회로(26)는, 등화기(화소군)를 다른 전등으로서 라벨링하고(스텝 S19), 스텝 S21로 진행된다.
동기 화상 내에서 등화기로서 판정된 모든 화소군의 종별 판단이 완료되지 않으면(스텝 S21에서 '아니오'), 스텝 S11로 되돌아가서, 판단되지 않은 화소군(등화기)에 대하여 종별 판단을 실시한다. 모든 화소군(등화기)에 대하여 종별 판단이 완료된 후(스텝 S21에서 '예'), 등화기 검출 장치는, 검출된 등화기의 정보를 차량 CPU(16)로 전송한다.
이상 설명한 바와 같이, 제1 실시 형태에 의하면, 이하의 작용 효과가 얻어진다.
제1 실시 형태에서는, 에지부에 있어서의 인접하는 화소 사이의 휘도 차인 휘도 구배가 완만해지도록, 굳이, 에지부의 휘도 차를 작게 조정한 다음(S05)에, 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출한다(S07). 에지부의 인접하는 화소 사이의 휘도 차인 휘도 구배가 매끄러워진다. 에지부의 고휘도 영역이 카메라 화상 위를 이동하면, 에지부가 이동한 화소의 휘도는 스텝 응답에 의해 변화하기 때문에, 넓은 주파수 대역에서 휘도값이 노이즈로서 발생한다. 이동에 의한 휘도 변화가 클수록, 또한 이동 속도가 빠를수록, 노이즈량이 커진다. 등화기에 공급되는 전력 교류 주기의 주파수 대역에 노이즈가 발생하면, 노이즈도 동기하여 휘도가 변화하는 동기 화소로서 추출해버린다. 그로 인해, 에지부에 있어서의 인접하는 화소 사이의 휘도 차인 휘도 구배가 완만해지도록 에지부의 휘도 차를 작게 조정함으로써, 에지부가 화상 상의 위치를 이동하기 때문에 화소의 휘도 스텝 응답에 의한 노이즈를 동기 화소로서 오검출하는 것이 억제되므로, 동기 화상에 포함되는 노이즈가 감소하여, 안정적으로 등화기를 검출할 수 있다.
(변형예)
제1 실시 형태(도 2a)에서는, 에지 검출 및 평활 처리의 대상으로 하는 에지부에 관하여, 그것이 연장되는 방향(수평, 수직)을 한정하지 않는다. 차량이 주행하고 있는 실제 주행 환경에 있어서, 차체는 상하로 진동하기 때문에, 에지부의 이동량은, 수평 방향보다도 수직 방향이 많아진다. 그래서, 화상 처리 부담을 경감해서 노이즈를 효율적으로 제거하기 위해서, 에지부 중, 수평 방향으로 연속되는 에지부만, 그 휘도 차를 작게 조정하도록 해도 된다.
예를 들어, 도 1의 에지 평활 회로(22)는, 에지 검출 회로(21)에 의해 검출된 도 2a의 (b)에 도시한 에지부(31a) 중, 수평 방향으로 연속되는 에지부(31a)에만, 인접하는 화소 사이의 휘도 차인 휘도 구배가 완만해지는 휘도 차를 작게 하는 조정을 실시해도 된다. 예를 들어, 도 3c의 매트릭스를 사용함으로써, 에지부(31a) 중 수평 방향으로 연속되는 에지부(31a)에만, 평활화 처리를 행할 수 있다. 이에 의해, 도 2b의 (c)에 도시한 바와 같은 평활 화상을 생성할 수 있다.
또는, 도 1의 에지 검출 회로(21)가, 도 2b의 (a)의 카메라 화상으로부터, 수평 방향으로 연속되는 에지부(31b)만을 검출해도 된다. 이 경우, 에지 평활 회로(22)는, 에지 검출 회로(21)에 의해 검출된 모든 에지부(31b)에 평활화 처리를 실시할 수 있다. 도 2b의 (c)에 도시한 바와 같은 평활 화상을 생성할 수 있다. 도 2b의 (c)에 있어서, 휘도가 조정되지 않은, 세로 2화소 및 가로 4화소로 이루어지는 화소군은, 등화기를 검출하기 위한 영역(32b)을 구성한다. 수평 및 수직 방향의 양쪽 에지를 평활화하는 도 2a의 (c)의 검출 영역(32a)에 비하여, 도 2b의 (c)의 검출 영역(32b)은 넓다. 이것은, 수직 방향으로 연장되는 에지부가 평활화되지 않고 카메라 화상인 채로 남겨져 있기 때문이다.
에지부 중, 수평 방향으로 연속되는 에지부에 있어서의 인접하는 화소 사이의 휘도 차인 휘도 구배를 완만하게 한다. 이에 의해, 수직 방향으로 연속되는 에지부는 평활화되지 않고, 등화기를 검출하기 위한 영역으로서 남길 수 있다. 따라서, 에지부의 노이즈를 효율적으로 저감하면서, 차량으로부터 멀고 휘도가 작은 등화기라도 감도 좋게 검출할 수 있다. 또한, 에지 검출 혹은 에지 평활화에 따른 화상 처리 부담이 경감된다.
(제2 실시 형태)
카메라 화상에 있어서의 에지부의 위치 변동의 속도가 빨라지면, 에지부가 이동한 영역에 노이즈가 발생하기 쉬워진다. 카메라 화상에 있어서의 에지부의 위치 변동의 속도가 느리면, 노이즈는 발생하기 어렵기 때문에, 에지부를 평활화하지 않고 그대로 남겨, 검출 영역을 넓게 확보하는 것이 바람직하다. 제2 실시 형태에서는, 카메라 화상에 있어서의 에지부의 변동 속도에 대응하여, 노이즈 억제의 필요성을 판단하는 등화기 검출 장치 및 등화기 검출 방법을 설명한다.
도 6에 도시한 바와 같이, 제2 실시 형태에 따른 등화기 검출 장치는, 도 1에 비하여, 차량 거동 판단 회로(13)를 더 구비하는 점이 상이하다. 차량 거동 판단 회로(13)는, 화상 처리부(12)와 마찬가지로 하여, 예를 들어 마이크로컨트롤러를 포함하고, 미리 인스톨된 컴퓨터 프로그램을 실행함으로써, 차량 거동 판단 회로(13)를 구성한다.
차량 거동 판단 회로(13)는, 카메라 화상에 있어서의 에지부의 위치 변동의 속도가 기준값 이상인지 여부를 판단한다. 기준값은, 에지부의 평활화 처리의 필요성 유무를 판단하는 기준이 되는 값으로, 미리 정한 값이다. 차량 거동 판단 회로(13)는, 횡 미끄럼 방지 장치(ESC)로부터 CAN 통신에 의해 얻어지는 차량의 피칭 정보나 서스펜션 스트로크 정보에 기초하여, 카메라 화상에 있어서의 에지부의 위치 변동의 속도를 추정할 수 있다.
도 7은, 도 6의 등화기 검출 장치를 사용한 등화기 검출 방법의 일례를 나타낸다. 카메라 화상에 있어서의 에지부의 위치 변동의 속도가 기준값 이상이면(스텝 S02에서 '예'), 제1 실시 형태와 마찬가지로 하여, 에지의 검출(S03) 및 평활화(S05)를 실시한다. 한편, 에지부의 위치 변동의 속도가 기준값 미만이면(스텝 S02에서 '아니오'), 에지의 검출 및 평활화를 실시하지 않고, 동기 화상 생성 회로(24)는, 카메라 화상으로부터 직접, 동기 화상을 생성하면 된다(스텝 S07). 그 밖의 수순은, 도 5와 동일하다.
카메라 화상에 있어서의 에지부의 위치 변동의 속도가 빨라지면 노이즈가 발생하기 쉬워진다. 그래서, 카메라 화상에 있어서의 에지부의 위치 변동의 속도가 기준값 이상인 경우, 노이즈 발생을 억제하기 위해서, 평활 화상 내에서 동기 화소를 추출한다. 한편, 속도가 기준값 미만이면 노이즈는 거의 발생하지 않기 때문에, 카메라 화상 내에서 동기 화소를 추출한다. 이와 같이, 카메라 화상에 있어서의 에지부의 위치 변동의 속도에 대응하여 노이즈 억제의 필요성을 판단한다. 따라서, 카메라 화상으로부터 평활 화상으로의 화상 처리 부담이 경감되고, 또한 에지부에 의한 노이즈를 효율적으로 억제할 수 있다.
상기한 바와 같이 본 발명의 실시 형태를 기재하였지만, 이 개시의 일부를 이루는 논술 및 도면은 본 발명을 한정하는 것이라고 이해해서는 안 된다. 이 개시로부터 당업자에게는 다양한 대체 실시 형태, 실시예 및 운용 기술이 밝혀질 것이다.
11: 촬상부
13: 차량 거동 판단 회로
21: 에지 검출 회로
22: 에지 평활 회로
23: 기준 신호 설정 회로
24: 동기 화상 생성 회로(동기 화소 추출 회로)
26: 등화기 검출 회로
31a, 31b: 에지부

Claims (4)

  1. 차량에 탑재되고, 상기 차량의 주위를 촬상하여 카메라 화상을 취득하는 촬상부와,
    상기 카메라 화상 내에서, 소정값 이상의 휘도 차를 갖는 에지부를 검출하는 에지 검출 회로와,
    상기 에지부의 화소와 상기 에지부에 인접하는 화소에 대해서 상기 에지부의 휘도 차를 작게 조정한 평활 화상을 생성하는 에지 평활 회로와,
    상기 평활 화상 내에서, 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하는 동기 화소 추출 회로와,
    상기 동기 화소 중에서, 상기 등화기를 검출하는 등화기 검출 회로
    를 구비하는 것을 특징으로 하는, 등화기 검출 장치.
  2. 제1항에 있어서,
    상기 에지 평활 회로는, 상기 에지부 중, 수평 방향으로 연속되는 에지부의 휘도 차를 작게 조정하는 것을 특징으로 하는, 등화기 검출 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 카메라 화상에 있어서의 상기 에지부의 위치 변동의 속도가 기준값 이상인지 여부를 판단하는 차량 거동 판단 회로를 더 구비하고,
    상기 동기 화소 추출 회로는, 상기 에지부의 위치 변동의 속도가 기준값 이상인 경우에, 상기 평활 화상 내에서, 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하고,
    동기 화소 추출 회로는, 상기 에지부의 위치 변동의 속도가 기준값 미만인 경우에, 상기 카메라 화상 내에서, 상기 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하는 것을 특징으로 하는, 등화기 검출 장치.
  4. 차량에 탑재된 촬상부를 사용하여, 상기 차량의 주위를 촬상하여 카메라 화상을 취득하고,
    상기 카메라 화상 내에서, 소정값 이상의 휘도 차를 갖는 에지부를 검출하고,
    상기 에지부의 화소와 상기 에지부에 인접하는 화소에 대해서 상기 에지부의 휘도 차를 작게 조정한 평활 화상을 생성하고,
    상기 평활 화상 내에서, 등화기에 공급되는 전력의 교류 주기와 동기하여 휘도가 변화하는 동기 화소를 추출하고,
    상기 동기 화소 중에서, 상기 등화기를 검출하는 것을 특징으로 하는, 등화기 검출 방법.
KR1020187000796A 2015-07-08 2015-07-08 등화기 검출 장치 및 등화기 검출 방법 KR101920186B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/069599 WO2017006451A1 (ja) 2015-07-08 2015-07-08 灯火器検出装置及び灯火器検出方法

Publications (2)

Publication Number Publication Date
KR20180016564A KR20180016564A (ko) 2018-02-14
KR101920186B1 true KR101920186B1 (ko) 2018-11-19

Family

ID=57685055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187000796A KR101920186B1 (ko) 2015-07-08 2015-07-08 등화기 검출 장치 및 등화기 검출 방법

Country Status (10)

Country Link
US (1) US10074022B2 (ko)
EP (1) EP3321911B1 (ko)
JP (1) JP6455596B2 (ko)
KR (1) KR101920186B1 (ko)
CN (1) CN107851382B (ko)
BR (1) BR112018000133B1 (ko)
CA (1) CA2991471C (ko)
MX (1) MX364013B (ko)
RU (1) RU2668885C1 (ko)
WO (1) WO2017006451A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102233391B1 (ko) * 2014-06-16 2021-03-29 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
CN112131414A (zh) * 2020-09-23 2020-12-25 北京百度网讯科技有限公司 信号灯的图像的标注方法、装置、电子设备以及路侧设备
US11681780B2 (en) * 2020-09-30 2023-06-20 Nissan North America, Inc. Annotation and mapping for vehicle operation in low-confidence object detection conditions
CN112700410A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 信号灯位置确定方法、装置、存储介质、程序、路侧设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
JP2013097676A (ja) * 2011-11-02 2013-05-20 Honda Elesys Co Ltd 到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置
JP2013258685A (ja) 2012-05-16 2013-12-26 Sharp Corp 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03217807A (ja) * 1990-01-23 1991-09-25 Dainippon Screen Mfg Co Ltd 合焦点条件検出方法
JPH05316361A (ja) * 1992-04-24 1993-11-26 Sony Corp ブロック歪除去フィルタ
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP2005301518A (ja) 2004-04-08 2005-10-27 Toyota Motor Corp 信号機検出装置および信号機検出方法
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
JP4746575B2 (ja) * 2007-03-16 2011-08-10 株式会社東芝 画像処理装置及びその方法
AU2007361004A1 (en) * 2007-11-16 2009-05-22 Tele Atlas B.V. Method of and apparatus for producing lane information
WO2011106578A2 (en) * 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
RU116258U1 (ru) * 2011-11-15 2012-05-20 Игорь Юрьевич Мацур Система регулирования движения транспортных средств
JP2014006885A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 段差認識装置、段差認識方法及び段差認識用プログラム
JP5925314B2 (ja) * 2012-07-03 2016-05-25 クラリオン株式会社 車両周囲監視装置
US9056395B1 (en) * 2012-09-05 2015-06-16 Google Inc. Construction zone sign detection using light detection and ranging
CN103345766B (zh) * 2013-06-21 2016-03-30 东软集团股份有限公司 一种信号灯识别方法及装置
US9679207B2 (en) * 2014-03-10 2017-06-13 Nissan Motor Co., Ltd. Traffic light detecting device and traffic light detecting method
RU2628023C1 (ru) * 2014-03-10 2017-08-14 Ниссан Мотор Ко., Лтд. Устройство обнаружения светофоров и способ обнаружения светофоров

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008134916A (ja) * 2006-11-29 2008-06-12 Denso Corp 車載用車両前方認識装置
JP2013097676A (ja) * 2011-11-02 2013-05-20 Honda Elesys Co Ltd 到達時間推定装置、到達時間推定方法、到達時間推定プログラム、及び情報提示装置
JP2013258685A (ja) 2012-05-16 2013-12-26 Sharp Corp 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体

Also Published As

Publication number Publication date
RU2668885C1 (ru) 2018-10-04
CA2991471A1 (en) 2017-01-12
WO2017006451A1 (ja) 2017-01-12
MX364013B (es) 2019-04-11
KR20180016564A (ko) 2018-02-14
CN107851382B (zh) 2019-04-09
MX2018000029A (es) 2018-03-15
US10074022B2 (en) 2018-09-11
US20180197026A1 (en) 2018-07-12
CA2991471C (en) 2018-08-07
EP3321911A4 (en) 2018-07-18
JP6455596B2 (ja) 2019-01-23
BR112018000133A2 (pt) 2018-09-04
BR112018000133B1 (pt) 2023-01-17
CN107851382A (zh) 2018-03-27
EP3321911A1 (en) 2018-05-16
EP3321911B1 (en) 2019-09-11
JPWO2017006451A1 (ja) 2018-04-19

Similar Documents

Publication Publication Date Title
KR101972690B1 (ko) 신호기 검출 장치 및 신호기 검출 방법
KR101920186B1 (ko) 등화기 검출 장치 및 등화기 검출 방법
JP6477876B2 (ja) 信号機検出装置及び信号機検出方法
JP6233500B2 (ja) 信号機検出装置及び信号機検出方法
US9679207B2 (en) Traffic light detecting device and traffic light detecting method
US20140375821A1 (en) Detection system
US9811747B2 (en) Traffic light detecting device and traffic light detecting method
JP2020201876A (ja) 情報処理装置及び運転支援システム
US10942607B2 (en) Manipulation detection device and video display system that are capable detecting an object on a video display surface
JP6405765B2 (ja) 撮像装置及び判定方法
JP2016072924A (ja) 画像処理装置及び画像処理方法
JP2018005391A (ja) 点滅物体検出方法及び点滅物体検出装置
JP2017228131A (ja) 反射物標検出方法及び反射物標検出装置
KR101220701B1 (ko) Ｒｏｉ를 추출하는 깊이 영상 획득 장치 및 방법
JP2017102523A (ja) 物体検出装置、画像表示システム、物体検出方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant