KR20120085932A - 촬상 장치, 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치 - Google Patents

촬상 장치, 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치 Download PDF

Info

Publication number
KR20120085932A
KR20120085932A KR1020127016171A KR20127016171A KR20120085932A KR 20120085932 A KR20120085932 A KR 20120085932A KR 1020127016171 A KR1020127016171 A KR 1020127016171A KR 20127016171 A KR20127016171 A KR 20127016171A KR 20120085932 A KR20120085932 A KR 20120085932A
Authority
KR
South Korea
Prior art keywords
image
polarization ratio
polarization
road surface
line
Prior art date
Application number
KR1020127016171A
Other languages
English (en)
Other versions
KR101378911B1 (ko
Inventor
쉬에 리
소이치로 요코타
히데아키 히라이
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20120085932A publication Critical patent/KR20120085932A/ko
Application granted granted Critical
Publication of KR101378911B1 publication Critical patent/KR101378911B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

촬상 장치는, 차량에 실장되고, 차량이 주행하는 노면의 수직 편광 화상 및 수평 편광 화상을 획득하는 촬상 유닛; 수직 편광 화상과 수평 편광 화상에 기초하여, 편광비 화상을 생성하고 편광비 화상의 화소의 편광비를 나타내는 편광비 정보를 계산하는 편광비 화상 생성 유닛; 및 편광비 화상의 편광비 정보에 기초하여, 노면 상에 형성되고 노면을 구획하는 평면의 라인 및/또는 노면에 각도를 갖고 인접하여 위치하는 노변 구조물을 식별하는 노변 구조물 식별 유닛을 포함한다.

Description

촬상 장치, 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치{IMAGING DEVICE, ON-VEHICLE IMAGING SYSTEM, ROAD SURFACE APPEARANCE DETECTION METHOD, AND OBJECT DETECTION DEVICE}
본 발명의 특정 태양은, 촬상 장치, 촬상 장치를 포함하는 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치에 관한 것이다.
예컨대, 차량용 카메라를 포함하는 촬상 시스템을 이용하여 도로 상의 백선(또는 황선)의 위치를 인식하여, 차선 내로 차량을 유지하여, 예컨대 차량의 중앙선 침범과 충돌이나 도로 이탈과 같은 교통사고 발생을 방지하기 위해 조타를 제어하는 차량 제어 시스템이 있다.
이러한 차량 제어 시스템에서는, 차량에 탑재되는 백선 인식 장치가 CCD 카메라와 같은 촬상 유닛을 이용하여 차량 전방의 도로 화상을 획득하고, 백선에 대응하는 화상 부분이 더 높은 휘도 레벨을 갖는다는 사실에 기초하여 백선을 검출한다. 예컨대, 에지(edge)(또는 에지 점열)를 추출하기 위해 미분 처리 및 2치화(binarization)가 화상에 수행되고, 추출된 에지가 백선 에지인지 여부가 판정된다. 알려진 방법에서는, 백선의 위치를 결정하기 위해 라인 검출 기법인 허프(Hough) 변환이 추출된 에지에 수행된다.
일본 특허 공개 제2010-64531호 공보는, 차량의 수직 방향으로 배열되고 상이한 편광 방향을 갖는 편광 필터를 통해 차량 전방의 영역을 촬상하는 촬상 시스템을 개시한다. 개시된 촬상 시스템은, 태양광이 노면에 의해 반사되는 경우에도 안정적으로 백선을 검출할 수 있다.
개시된 촬상 시스템에 의해 획득되는 차량 전방의 노면 화상은 편광 필터에 대응하는 복수의 스캔 라인 영역을 포함한다. 촬상 시스템의 백선 검출 유닛은, 화소의 휘도 레벨이 임계치보다 더 큰 스캔 라인 영역을 검출함으로써 노면 상의 백선을 검출한다.
일본 특허 공개 제11-175702호 공보는, 주행 환경이나 촬상 환경에 관계없이 도로 화상 내의 백선과 같은 라인을 안정적으로 검출하는 백선 검출 방법을 개시한다. 개시된 방법에서는, 상이한 노광 레벨을 갖는 2개의 도로 화상이 획득된다. 예컨대, 차량이 터널 내에 있는 경우, 더 높은 노광 레벨을 갖는 도로 화상 중 하나를 이용하여 휘도차에 기초하는 템플릿 매칭 기법(template matching technique)에 의해 백선이 검출된다.
일본 특허 공개 제11-175702호 공보는 웅덩이를 백선으로 오인식하는 것을 방지하는 방법도 개시한다. 이 방법에서는, 수직 편광 화상과 수평 편광 화상이 촬영되고, 입사광이 산란광인지 경면 반사광인지 여부를 판정하기 위해 수직 편광 화상과 수평 편광 화상 사이의 차분이 계산되며, 웅덩이에 의한 경면 반사 성분이 제거된다.
그러나, 상기한 방법에서는, 2개의 화상, 즉 수직 편광 화상 및 수평 편광 화상을 촬영할 필요가 있다. 상기한 방법이 자동 센서 시스템에 이용되면, 카메라 외에 편광 필터의 회전을 제어하는 기구가 필요하다. 따라서, 상기한 방법은 센서 시스템의 비용을 증가시킨다.
따라서, 종래 기술에서, 백선 검출 장치는 일반적으로 복잡한 구성을 갖는다. 또한, 종래 기술에서는, 검출 정밀도를 높이면 화상 처리 부담이 증가하고, 화상 처리 부담을 감소시키면 검출 정밀도가 저하한다. 또한, 종래 기술에서는, 촬상 장치의 입사광 강도가 불충분하게 되는 흐린 날씨나 터널의 내부와 같은 촬상 환경에서의 백선과 같은 라인을 정확히 검출하는 것이 어렵다.
차량용 촬상 시스템에서, 도로 화상 내의 백선을 어떻게 정확히 검출할 것인가는 해결되어야 할 중요한 문제 중 하나이다. 그러나, 종래 기술에서, 예컨대 이하의 상황 하에서는 백선의 위치를 정확히 검출하는 것이 어렵다.
(1) 백선이 그림자 내에 있는 경우
이 경우에는, 백선과 노면 사이의 휘도 레벨 차가 작기 때문에, 백선의 에지를 추출하기 어렵다.
(2) 노면이 역광이고 빛나는 경우
이 경우에는, 백선과 태양광을 반사하는 노면 사이의 휘도 레벨 차가 작기 때문에, 백선의 에지를 추출하기 어렵다.
(3) 날씨가 비가 오거나 흐린 경우
이 경우에는, 백선과 노면 사이의 휘도 레벨 차가 작기 때문에, 백선의 에지를 추출하기 어렵다.
(4) 비가 온 후
비가 온 후에는, 노면이 젖어있고 빛나며 노면 상에 웅덩이가 있기 때문에, 백선의 에지를 추출하기 어렵다.
(5) 백선의 외측에 갓길이나 배수로가 있는 경우
갓길이나 배수로의 에지가 백선의 에지로 오인식된다.
(6) 도로 상에 보수된 부분이 있는 경우
도로의 보수된 부분이 백선으로 오인식된다.
도로에서 차량을 안전하게 운전하기 위해, 도로의 중앙선 및 측선과 같은 백선(유턴 금지 라인과 같은 황선도 포함할 수도 있다)을 검출하는 것 외에, 도로 에지, 즉 노면에 각도를 가지고(또는 상이한 높이로) 인접한 도로 에지 구조물(예컨대, 중앙 분리대, 측벽, 연석, 식재 또는 댐)과 도로 사이의 경계를 정확히 검출할 필요가 있다.
일반적으로, 노면은 아스팔트로 만들어지고, 수지 재료로 만들어지는 백선의 광 반사율과 매우 상이한 광 반사율을 갖는다. 따라서, 상술된 바와 같이 휘도 레벨 차에 기초하여 백선을 검출하는 것이 가능하다. 그러나, 노면에 각도를 가지고 인접한 측벽과 같은 노변(roadside) 구조물은, 예컨대 콘크리트, 벽돌, 흙 또는 식물로 만들어지고, 일반적으로 노면의 광 반사율과 비슷한 광 반사율을 갖는다. 따라서, 백선과 비교하여, 노변 구조물을 정확히 식별하기 어렵다.
특히 입사광의 강도가 불충분한 촬상 환경(예컨대, 야간이나 터널 내)에서, 노변 구조물을 정확히 식별하는 것이 더욱 어렵다.
수직 편광 화상과 수평 편광 화상 사이의 차분이 이용되는 방법으로도, 이 방법 또한 휘도 레벨의 차에 기초하고 있기 때문에, 도로 에지 검출의 정밀도를 향상시키기 어렵다.
휘도 레벨의 차에 기초한 종래 기술의 검출 방법의 검출 정밀도를 향상시키기 위해, 복수의 카메라를 포함하는 스테레오 광학계와 같은 거리 측정 기구를 이용할 필요가 있다. 그러나, 이것은 장치 구성을 복잡하게 하고, 화상 처리 부담을 증가시킨다.
본 발명의 일 태양에서는, 차량에 실장되고, 차량이 주행하는 노면의 수직 편광 화상 및 수평 편광 화상을 획득하는 촬상 유닛; 수직 편광 화상과 수평 편광 화상에 기초하여, 편광비 화상을 생성하고 편광비 화상의 화소의 편광비를 나타내는 편광비 정보를 계산하는 편광비 화상 생성 유닛; 및 편광비 화상의 편광비 정보에 기초하여, 노면 상에 형성되고 노면을 구획하는 평면의 라인 및/또는 노면에 각도를 가지고 인접하여 위치하는 노변 구조물을 식별하는 노변 구조물 식별 유닛을 포함하는 촬상 장치가 제공된다.
본 발명의 다른 태양은, 촬상 영역 내의 식별 대상물의 화상을 획득하여, 획득한 화상에서 식별 대상물에 대응하는 화상 영역을 검출하는 물체 식별 장치를 제공한다. 이 물체 식별 장치는, 촬상 영역 내의 물체로부터의 반사광에 포함되는, 상이한 편광 방향을 갖는 제1 편광 및 제2 편광을 수광하여, 제1 편광의 제1 편광 화상 및 제2 편광의 제2 편광 화상을 획득하는 촬상 유닛; 제1 편광 화상 및 제2 편광 화상 각각을 처리 영역으로 분할하고, 처리 영역 각각에 대하여 제1 편광 화상 및 제2 편광 화상의 휘도 레벨의 합을 나타내는 결합 휘도 레벨을 계산하는 휘도 계산 유닛; 처리 영역 각각에 대하여, 결합 휘도 레벨에 대한 제1 편광 화상 및 제2 편광 화상의 휘도 레벨 간의 차분의 비율을 나타내는 편광비를 계산하는 편광비 계산 유닛; 편광비 계산 유닛에 의해 계산되는 모든 처리 영역의 편광비에 기초하여 편광비 화상을 생성하는 편광비 화상 생성 유닛; 편광비에 기초하여 노면 상의 차선을 구획하는 차선의 차선 후보 포인트를 검출하는 차선 후보 포인트 검출 유닛; 편광비에 기초하여 노면의 형상을 추정하는 노면 형상 추정 유닛; 노면의 추정된 형상에 기초하여 차선 탐색 영역을 결정하는 차선 탐색 영역 결정 유닛; 및 결정된 차선 탐색 영역에서의 차선 후보 포인트에 기초하여 차선을 검출하는 차선 검출 유닛을 포함한다.
도 1은 본 발명의 실시예에 따른 차량용 촬상 시스템의 구성을 도시하는 블럭도이다.
도 2는 제어 처리를 도시하는 순서도이다.
도 3a는 편광비 화상을 도시하는 도면이다.
도 3b는 도 3a의 편광비 화상의 주사 처리를 도시하는 도면이다.
도 4는 상이한 편광비로 고속 도로 상의 포인트를 도시하는 도면이다.
도 5는 편광비와 빈도 사이의 관계를 도시하는 그래프이다.
도 6은 비오는 날의 샘플 화상에서의 편광비를 도시하는 그래프이다.
도 7은 맑은 날의 샘플 화상에서의 편광비를 도시하는 그래프이다.
도 8은 백선 에지 검출의 처리를 도시하는 순서도이다.
도 9는 도로 에지 검출의 처리를 도시하는 순서도이다.
도 10은 2개의 백선을 갖는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다.
도 11은 1개의 백선을 갖는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다.
도 12a 및 도 12b는 이전의 화상 데이터를 이용하여 백선이 없는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다.
도 13a 및 도 13b는 화상의 중심에서의 편광비를 이용하여 백선이 없는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다.
도 14a 및 도 14b는 이전의 화상 데이터를 이용하여 불연속적인 백선을 갖는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다.
도 15a 및 도 15b는 화상의 중심에서의 편광비를 이용하여 백선이 중간에 끊기는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다.
도 16은 그림자가 존재하는 도로의 주사 처리를 도시하는 도면이다.
도 17a 및 도 17b는 편광비 화상과 휘도 화상 사이의 콘트라스트(contrast) 차이를 설명하기 위해 이용되는 사진 화상이다.
도 18a 및 도 18b는 태양광의 고도와 방위에 따른 편광비의 변화를 도시하는 도면이다.
도 19는 노면의 응달을 조사하는 채광창이 입사각 의존성을 가지지 않는 것을 설명하기 위해 이용되는 그래프이다.
도 20a는 편광비 화상이고, 도 20b는 역광이고 빛나는 노면의 모노크롬 휘도 화상이다.
도 21a는 편광비 화상이고, 도 21b는 흐린 날에 촬영된 모노크롬 휘도 화상이다.
도 22a는 편광비 화상이고, 도 22b는 비가 온 후 젖은 노면의 모노크롬 휘도 화상이다.
도 23a는 편광비 화상이고, 도 23b는 백선의 외측에 측벽이 존재하는 도로의 모노크롬 휘도 화상이다.
도 24a 내지 도 24d는 차선 검출 처리를 도시하는 도면이다.
도 25a는 편광비 화상이고, 도 25b는 차량 전방 노면의 모노크롬 휘도 화상이다.
도 26은 예상 차선 에지가 검출되는 편광비 화상이다.
도 27은 라벨링 처리에 의해 노면의 형상이 검출되는 편광비 화상이다.
도 28은 노면의 폭 및 경사에 기초하여 차선 탐색 영역이 결정되는 사진 화상이다.
도 29는 차선 탐색 영역에서 검출된 차선 에지에 허프 변환을 수행함으로써 차선의 형상이 근사되는 화상이다.
도 30은 본 발명의 다른 실시예에 따른 차량용 촬상 시스템의 구성을 도시하는 블럭도이다.
도 31은 제어 처리를 도시하는 순서도이다.
도 32는 촬상 유닛의 일례를 도시하는 도면이다.
도 33은 촬상 유닛의 다른 예를 도시하는 도면이다.
도 34는 촬상 유닛의 다른 예를 도시하는 도면이다.
도 35는 촬상 유닛의 다른 예를 도시하는 도면이다.
도 36은 촬상 유닛의 다른 예를 도시하는 도면이다.
도 37은 촬상 유닛의 다른 예를 도시하는 도면이다.
도 38은 차선 후보 포인트 검출 처리를 도시하는 순서도이다.
도 39는 노면 형상 추정 유닛에 의해 수행되는 처리를 도시하는 순서도이다.
도 40은 노면의 특징에 기초하여 노면의 연결 성분이 추출되는 2치화된 편광비 화상이다.
도 41은 노면 상태 결정 처리를 도시하는 순서도이다.
본 발명의 기초를 이루는 기술을 이하 설명한다.
상이한 굴절률을 갖는 2개의 물질 간의 계면에 각도를 가지고 광이 입사하는 경우, 입사면에 평행한 P 편광 성분의 반사율은 입사면에 수직인 S 편광 성분의 반사율과 상이하다. P 편광 성분은 특정 각도(브루스터 각)에서 0으로 감소하고, 그 후 증가한다. 한편, S 편광 성분은 단순히 증가한다.
P 편광 성분과 S 편광 성분은 상이한 반사 특성을 갖기 때문에, 아래의 식 2에 의해 표현되는 편광비(편광도, 편광차 또는 편광차비)도 입사각과 굴절률에 따라서 변한다.
편광비 = (P 편광 성분 - S 편광 성분) / (P 편광 성분 + S 편광 성분) ... (식 2)
편광비는, 굴절률, 광원으로부터 물체로의 광의 입사각 및 물체로부터 카메라로의 광의 취득(take-off) 각도에 따라서 변한다.
일반적으로, 노면은 아스팔트로 만들어진다. 한편, 노면과 각도를 가지고 인접하여 위치하는 노변 구조물은, 아스팔트와는 상이한 콘크리트, 식재 또는 흙과 같은 물질로 만들어진다. 또한, 노면 상에 형성되는 백선과 같은 평면의 라인도 아스팔트와는 상이한 물질로 만들어진다.
상이한 물질은 상이한 굴절률을 가지기 때문에, 노면의 편광비는 라인이나 노변 구조물의 편광비와는 상이하다. 휘도차와는 달리, 편광비차는 입사광의 강도에 의해 크게 영향을 받지 않는다. 따라서, 편광비 화상을 이용함으로써 노면과 라인과 노변 구조물의 에지인 갓길(도로 에지) 사이의 경계를 검출하는 것이 가능하다.
노변 구조물은 노면에 각도를 가지고 인접하여 위치한다. 물체 표면의 법선 방향이 상이하면, 광원으로부터 물체로의 광의 입사각과 물체로부터 카메라로의 광의 취득 각도도 상이하게 된다. 결과적으로, 노면과 인접 영역(노변 구조물) 사이에 편광비가 상이하게 된다.
이는 또한, 편광비 화상을 이용함으로써 노면에 인접한 노변 구조물의 에지(경계)인 갓길(도로 에지)을 검출하는 것이 가능하다는 것을 나타낸다. 특히, 노면과 노변 구조물 사이에, 재료의 차이에 의한 편광비의 차이 외에 각도의 차이에 의한 편광비의 차이가 있기 때문에, 이 방법은 노변 구조물 에지의 검출 정밀도를 향상시킬 수 있다.
따라서, 편광비 화상을 이용하는 것은, 재료와 각도의 차이에 기초하여 노면과 라인 사이의 경계 및 노면과 노변 구조물 사이의 경계를 검출하는 것을 가능하게 한다.
상기 식 2에 의해 표시된 바와 같이, P 편광 성분과 S 편광 성분의 합으로 P 편광 성분과 S 편광 성분 사이의 차분을 정규화함으로써 편광비가 획득된다. 따라서, 편광비 화상을 이용하는 것은, 휘도차가 작은 어두운 환경에서도 도로 에지를 검출하는 것을 가능하게 한다.
첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 관해서 이하 설명한다.
도 1은, 본 발명의 실시예에 따른 차량용 촬상 시스템(10)의 구성(하드웨어 구성)을 도시하는 블럭도이다.
편광 카메라(12)가 차량에 탑재되고 촬상 유닛으로 이용된다. 편광 카메라(12)는, 차량이 주행하는 도로 외관(주행 방향으로의 차량 전방의 장면, 즉, 전경)의 화상을 촬영하고, 수직 편광 성분(이하, S 성분이라고 칭한다), 수평 편광 성분(이하, P 성분이라고 칭한다), S 성분과 P 성분을 포함하는 미가공(raw) 편광 화상 데이터를 획득한다.
획득한 수평 편광 화상 데이터는 메모리(1)에 기억되고, 획득한 수직 편광 화상 데이터는 메모리(2)에 기억된다.
수평 편광 화상 데이터와 수직 편광 화상 데이터는, 휘도 정보 계산 유닛으로서 이용되는 모노크롬 휘도 정보 처리 유닛(14)과, 편광비 화상 생성 유닛으로서 이용되는 편광비 정보 처리 유닛(16)에 송신된다. 편광비 정보 처리 유닛(16)은, P 성분과 S 성분에 기초하여 편광비 화상을 생성하여, 편광비 화상의 화소의 편광비를 나타내는 편광비 정보를 계산한다.
모노크롬 휘도 정보 처리 유닛(14)은, P 성분과 S 성분에 기초하여 모노크롬 휘도 화상을 생성하고, 생성된 모노크롬 휘도 화상의 화소의 휘도 레벨을 나타내는 휘도 정보를 계산한다.
편광비 정보 처리 유닛(16)은, 아래의 식 1을 이용하여 편광비를 나타내는 편광비 정보를 계산하여, 편광비 정보 화상 데이터를 획득한다. 편광비는 편광 성분 간의 비율을 나타내고, 아래의 식 2를 이용하여 계산될 수도 있다.
편광비 정보 처리 유닛(16)은, 아래의 식 3을 이용하여 휘도 정보 화상 데이터도 생성하고, 출력한다.
편광비 = P 편광 성분 / S 편광 성분 ... (식 1)
편광비 = (P 편광 성분 - S 편광 성분) / (P 편광 성분 + S 편광 성분) ... (식 2)
휘도 데이터 = (P 편광 성분 + S 편광 성분) ... (식 3)
백선 검출 유닛(18)은 라인 검출 유닛으로서 이용되고, 모노크롬 휘도 정보 처리 유닛(14)에 의해 계산되는 휘도 정보에 기초하여 노면 상의 백선(백선 영역)을 검출한다. 도로 에지 검출 유닛(20)은 노변 구조물 검출 유닛으로서 이용되고, 백선 검출 유닛(18)에 의해 획득되는 백선 정보와 편광비 정보 처리 유닛(16)에 의해 획득되는 편광비 정보에 기초하여, 도로 에지(또는 노변 구조물)를 검출한다.
백선 검출 유닛(18)에 의해 검출되는 백선 및 도로 에지 검출 유닛(20)에 의해 검출되는 도로 에지는, 예컨대 CRT나 액정 표시 장치에 의해 구현되는 디스플레이 유닛(22)에 운전자가 보기 쉬운 형태로 표시된다. 도로 에지 검출 유닛(20)에 의해 획득되는 데이터는 차량 제어를 위해 차량 제어 유닛(24)으로 송신될 수도 있다.
메모리(1), 메모리(2), 모노크롬 휘도 정보 처리 유닛(14), 편광비 정보 처리 유닛(16), 백선 검출 유닛(18) 및 도로 에지 검출 유닛(20)은 화상 처리 유닛(26)을 구성한다.
편광 카메라(12), 화상 처리 유닛(26) 및 디스플레이 유닛(22)은 차량용 촬상 시스템(10)을 구성한다. 편광 카메라(12) 및 화상 처리 유닛(26)은 촬상 장치(11)를 구성한다.
본 실시예의 차량용 촬상 시스템(10)에서, 편광 카메라(12), 화상 처리 유닛(26) 및 디스플레이 유닛(22) 모두는 차량에 설치될 수도 있다. 대안적으로, 차량에 편광 카메라(12)만이 설치될 수도 있고, 운전자 이외의 사람이 차량의 주행 상태를 객관적으로 파악할 수 있도록 화상 처리 유닛(26) 및 디스플레이 유닛(22)이 원격지에 설치될 수도 있다.
본 실시예의 편광 카메라(12)는 수평 편광 화상과 수직 편광 화상 모두를 촬영할 수 있도록 구성된다. 대안적으로, 수평 편광 화상을 촬영하는 편광 카메라와 수직 편광 화상을 촬영하는 편광 카메라가 별도로 제공될 수도 있다.
도 2를 참조하여 차량용 촬상 시스템(10)의 동작에 관해서 이하 설명한다.
차량 전방 노면의 수평 편광 화상(P 성분), 수직 편광 화상(S 성분) 및 P 성분과 S 성분을 포함하는 미가공 편광 화상 데이터가 편광 카메라(12)에 의해 획득된다. 그 다음에, 상술된 식 2 및 식 3을 이용하여 P 성분, S 성분 및 미가공 편광 화상 데이터에 기초하여, 편광비 정보(편광비 화상)와 휘도 정보(휘도 화상)가 획득된다.
후술할 방법에 따라서 획득된 휘도 정보에 기초하여 백선의 에지(백선 에지)가 검출된다. 검출된 백선의 내측 화소(기준 화소)의 편광비가 주사용 기준 편광비로서 설정되고, 기준 편광비에 기초하여 편광비 화상이 주사된다. 편광비 화상을 구성하는 각 화소는 편광비를 갖는다. 도로 에지 검출 유닛(20)은, 편광비 정보 처리 유닛(16)에 의해 생성되는 편광비 화상의 각 화소 라인(주사선)을 빔으로 주사한다. 주사선은, 전자빔에 의해 주사될 디스플레이 상의 화소의 가로열(좌단으로부터 우단까지)을 나타낸다.
각 주사선 상의 화소는 좌우 방향으로 순차적으로 처리된다. 기준 화소와 동일한 주사선 상의 화소의 편광비는 대응하는 기준 편광비와 비교된다. 화소의 편광비와 기준 편광비 사이의 차분이 미리 정해진 임계치보다 작으면, 동일한 주사선 상의 다음 화소가 처리된다. 한편, 이 차분이 임계치 이상이면, 도로 에지를 나타내는 포인트(도로 에지 포인트)로서 화소가 검출된다.
본 실시예에서는, 예컨대, 전방 차량, 가로수 또는 건물에 의해 생성되는 그림자의 영향을 감소시켜 도로 에지의 오인식을 방지하기 위해, 백선 내측의 화소(기준 화소)의 편광비가 주사용 기준 편광비로서 이용된다. 대안적으로, 각 주사선의 중심에서(편광 화상의 중심에서)의 화소의 편광비가, 도로 에지를 검출하기 위해 기준 편광비로서 이용될 수도 있다.
백선 에지와 도로 에지를 검출할 때, 화상의 신뢰성이 더 높은 화상(화면)의 하측(bottom)으로부터 화상의 상측(top)으로(즉, x축 방향이나 화면의 세로 방향으로) 주사선이 처리(주사)된다.
한 화면(화상) 내의 백선 에지를 나타내는 포인트(백선 에지 포인트)와 도로 에지를 나타내는 포인트(도로 에지 포인트)가 검출된 후, 백선 에지 포인트와 도로 에지 포인트의 근사 곡선이 형상 근사에 의해 획득된다. 근사 곡선은, 근사 곡선 획득 유닛으로서도 기능하는 도로 에지 검출 유닛(20)에 의해 획득된다.
예컨대, 형상 근사를 위해 최소 제곱법, 허프 변환 또는 모델 방정식이 이용될 수도 있다. 형상 근사에 의해 근사 곡선을 획득할 때, 도로 화상(또는 화면)의 하부에서 검출되는 신뢰성이 높은 백선 에지 포인트와 도로 에지 포인트에 더 높은 가중치가 부여된다. 이 방법으로는, 도로 화상의 상부에서 백선 에지 포인트와 도로 에지 포인트가 부정확하게 검출되더라도, 도로 화상의 하부에서 백선 에지 포인트와 도로 에지 포인트가 정확히 검출되기만 하면, 백선과 도로 에지를 적절히 인식할 수 있다.
실시간으로 백선과 도로 에지를 검출할 때는, 1개 이상의 이전에 획득한 프레임이나 화상(편광 화상)에서 유사한 백선과 유사한 도로 에지가 발견되면, 검출된 백선과 도로 에지는 신뢰할 수 있는 것으로 판단된다. 이전 프레임에서의 백선의 위치에 기초하여, 다음 프레임에서 백선 에지와 도로 에지가 탐색되고, 라인이 그려진다. 백선 에지의 위치와 도로 에지의 위치가 화상의 5개의 프레임 내에서 검출되지 않으면, 화상 하부에서의 주사선의 중심으로부터 탐색이 다시 시작된다. 검출 결과는 차량 제어를 위해 이용되거나, 디스플레이 상에 백선과 도로 에지를 운전자가 보기 쉬운 형태로 표시하기 위해 이용될 수도 있다.
도 3a 및 도 3b를 참조하여 백선과 도로 에지를 검출하는 주사 처리에 관해서 이하 설명한다.
백선 에지와 도로 에지를 검출할 때, 화상의 신뢰성이 더 높은 화상의 하측으로부터 화상의 상측까지 x축 방향(주사 방향)으로 주사선 BL이 처리(주사)된다. 도 3b에 도시된 바와 같이, 노면 RF의 좌우측에서의 백선 WL과 도로 에지 RE를 검출하기 위해, 각 주사선의 중심 CT로부터 화상의 좌우단으로 화소가 처리된다. 도 3a 및 도 3b에서, 30은 표시면을 나타내고, 32는 차량을 나타낸다.
도 4 내지 도 7을 참조하여 100개의 샘플 화상의 편광비에 관해서 이하 설명한다. 도 4는 고속도로 노면의 화상을 도시한다. 도 6 및 도 7에 도시된 바와 같이, 비 오는 날과 맑은 날에, 좌측 도로 에지 RE에서의 영역(도로 에지 영역) 내의 편광비는, 좌측 백선 WL의 내측 영역(노면 영역) 내의 편광비와 크게 상이하다. 따라서, 도로 에지 영역과 노면 영역에서의 편광비는 서로 상이하다.
이는, 모노크롬 휘도 화상을 이용하여 검출할 수 없는, 노면의 재료와 상이한 재료로 만들어지는 라인과, 노면에 각도를 갖고 위치하는 노변 구조물을 검출하는 것을 가능하게 한다.
도 5는, 도 4에 도시된 P1(좌측 도로 에지에서의 포인트), P2(좌측 백선의 내측과 근처, 즉 차선의 좌측에서의 포인트), P3(차선의 중심에서의 포인트) 및 P4(우측 백선의 내측과 근처, 즉 차선의 우측에서의 포인트)에서의 편광비를 도시하는 그래프이다.
도 8을 참조하여 백선 에지 검출 처리에 관해서 이하 설명한다.
통상의 도로는 아스팔트로 만들어진 검은 부분과, 검은 부분 상에 형성된 백선을 포함한다. 따라서, 백선의 휘도 레벨은 도로의 그 외 부분의 휘도 레벨보다 충분히 크고, 미리 정해진 값보다 큰 휘도 레벨을 갖는 도로의 부분을 결정함으로써 백선이 검출될 수 있다.
도 8에 도시된 바와 같이, 차량 전방 노면의 화상의 휘도 정보(휘도 레벨)는 P 성분과 S 성분에 기초하여 획득된다. 모노크롬 휘도 정보 처리 유닛(14)에 의해 생성되는 휘도 화상을 이용하여, 백선 검출 유닛(18)은 노면의 휘도 데이터와 미리 정해진 휘도 임계치를 비교함으로써, 예상 백선 에지를 나타내는 후보 포인트(백선 후보 포인트)를 검출한다. 그 다음에, 검출된 백선 후보 포인트에 기초하여 백선폭이 계산되고, 계산된 백선폭이 미리 정해진 범위 내인지 여부가 결정된다. 계산된 백선폭이 미리 정해진 범위 내이면, 백선 후보 포인트가 노면 상의 한 쌍의 백선 에지로서 결정된다.
화상의 상부에서의 백선과 노면의 그 외 부분 사이의 콘트라스트는 화상의 하부에서의 그것과 상이하다. 따라서, 화상의 1프레임이 x축 방향으로 상부 영역(주행 방향으로 차량에서 더 먼 영역)과 하부 영역(주행 방향으로 차량에 더 가까운 영역)으로 분할되고, 휘도 임계치 설정 단계에서, 상부 영역과 하부 영역에 대해 상이한 휘도 임계치가 설정된다.
도 9를 참조하여 도로 에지 검출 처리에 관해서 이하 설명한다.
상술된 바와 같이, 편광비 화상이 생성되고, 기준 편광비가 결정된다. 또한, 기준 편광비에 기초하여 임계치(들)가 결정될 수도 있다. 여기서, 검출된 백선의 내측 화소(기준 화소)의 편광비가 기준 편광비로서 이용된다.
각 주사선에서, 화상 좌측의 화소는 백선의 내측으로부터 화상의 좌단까지 순차적으로 처리되고, 화상 우측의 화소는 백선의 내측으로부터 화상의 우단까지 순차적으로 처리된다. 기준 화소와 동일한 주사선 상의 화소의 편광비는 대응하는 기준 편광비와 비교되고, 화소의 편광비와 기준 편광비 사이의 차분이 획득된다.
그 후에, 이 차분이 임계치와 비교된다. 이 차분이 임계치 이상이면, 이 화소가 도로 에지 포인트로서 검출된다.
도 10 내지 도 16을 참조하여 백선 정보에 기초한 도로 에지 검출 방법에 관해서 더 상세히 설명한다.
도 10은, 2개의 백선 WL을 갖는 도로의 도로 에지 RE를 검출하는 주사 처리를 도시하는 도면이다. 도 10의 경우에, 각 백선 WL의 내측 화소(기준 화소)의 편광비가 주사용 기준 편광비로서 이용된다. 각 주사선 상의 화소는 중심으로부터 좌우단까지 순차적으로 처리되고, 주사선은 화면의 하부로부터 상부까지 순차적으로 처리된다. 기준 화소의 기준 편광비와, 기준 화소와 동일한 주사선 상의 각 화소의 편광비 사이의 차분이 계산되고, 이 차분은 도로 에지(포인트)를 검출하기 위해 미리 정해진 임계치와 비교된다.
도 10(또한, 도 11 내지 도16)에서, "×"는 차분이 임계치보다 작은 화소를 나타내고, "●"는 차분이 임계치 이상인 화소, 즉 도로 에지 포인트로서 검출되는 화소를 나타낸다.
도 11은, 1개의 백선 WL을 갖는 도로의 도로 에지 RE를 검출하는 주사 처리를 도시하는 도면이다. 도 11의 경우에, 백선 WL의 내측 화소(기준 화소)의 편광비가 주사용 기준 편광비로서 이용된다. 각 주사선 상의 화소는 좌우 방향으로 순차적으로 처리되고, 주사선은 화면의 하부로부터 상부까지 순차적으로 처리된다. 도 10과 유사하게, 기준 화소의 기준 편광비와, 기준 화소와 동일한 주사선 상의 각 화소의 편광비 사이의 차분이 계산되고, 이 차분은 도로 에지(포인트)를 검출하기 위해 미리 정해진 임계치와 비교된다.
도 12a 및 도 12b는, 백선이 검출되지 않는 경우의 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다. 도 12b에 도시된 바와 같이 현재 화상(현재 프레임)에서 백선이 검출되지 않는 경우, 도 12a에 도시된 이전 화상(직전 프레임)에서 검출된 백선(도 12b에서 일점쇄선으로 표시됨)의 내측 화소의 편광비가 도로 에지를 검출하기 위해 기준 편광비로서 이용된다.
이전 화상에서 검출된 백선과 도로 에지의 영역은 영역 기억 유닛(50)(도 1 참조)에 기억된다. 탐색 위치 결정 유닛으로서도 기능하는 도로 에지 검출 유닛(20)은, 영역 기억 유닛(50)에 기억된 정보에 기초하여 도로 에지나 백선이 탐색될 현재 프레임에서 탐색 위치를 결정한다.
도 13a 및 도 13b는, 현재 화상과 이전 화상(직전 프레임) 모두에서 백선이 검출되지 않는 경우, 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다. 이 경우에, 각 주사선의 중심에서(화상이나 화면의 중심에서)의 화소(기준 화소)의 편광비가 주사를 위한 기준 편광비로서 이용된다. 각 주사선 상의 화소는 중심으로부터 좌우단까지 순차적으로 처리되고, 주사선은 화면의 하부로부터 상부까지 순차적으로 처리된다. 기준 화소의 기준 편광비와 기준 화소와 동일한 주사선 상의 각 화소의 편광비 사이의 차분이 계산되고, 이 차분은 도로 에지(포인트)를 검출하기 위해 미리 정해진 임계치와 비교된다.
도 14a 및 도 14b는, 불연속적인 백선을 갖는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다. 도 14b에 도시된 바와 같이 현재 화상(현재 프레임)에서 불연속적인 백선이 검출되는 경우, 도 14a에 도시된 이전 화상(직전 프레임)에서 검출된 백선(도 14b에서 일점쇄선으로 표시)의 내측 화소의 편광비가, 백선이 존재하지 않는 현재 화상의 부분(주사선)을 위한 기준 편광비로서 이용된다.
도 15a 및 도 15b는, 백선이 중간에 끊기는 도로의 도로 에지를 검출하는 주사 처리를 도시하는 도면이다. 도 15b에 도시된 바와 같이 검출된 백선이 현재 화상(현재 프레임)에서 중간에 끊기는 경우, 이전 화상(직전 프레임)에서 검출된 백선의 내측 화소의 편광비가 기준 편광비로 이용된다. 검출된 백선이 현재 화상(현재 프레임)에서 중간에 끊기고, 도 15a에 도시된 바와 같이 이전 화상(직전 프레임)에서도 백선이 검출되지 않는 경우, 검출된 백선의 연장선(도 15b에서 일점쇄선으로 표시)의 내측 화소의 편광비가, 백선이 존재하지 않는 현재 화상의 부분(주사선)을 위한 기준 편광비로서 이용된다.
도 16은, 그림자가 존재하는 도로의 주사 처리를 도시하는 도면이다.
도 16에서, 좌측 백선 WL의 내측 영역과 좌측 도로 에지 RE의 옆의 영역은 모두 그림자 SD 내에 있다.
이 경우에, 입사광의 강도가 그림자 SD에 의해 감소하고, 노면과 노변(노변 구조물) 사이의 휘도차가 작아지기 때문에, 휘도차에 기초하여 도로 에지를 검출하기 어렵다. 한편, 편광비가 그림자에 의해 영향을 받지만, 그림자 내의 주어진 점에서의 편광비 간의 차분은 변하지 않는다.
따라서, 좌측 백선(이것도 그림자 내에 있다)의 내측에 있는 화소의 편광비를 기준 편광비로서 이용함으로써 그림자에서 도로 에지를 정확히 검출할 수 있다.
이 실시예에서, 백선 검출 유닛(18)은 휘도 정보에 기초하여 백선을 검출한다. 대안적으로, 예컨대, 화상의 중심에서의 화소의 편광비(편광비 정보)를 기준 편광비로서 이용함으로써, 상술된 도로 에지 검출 방법과 유사한 방법으로 도로 에지 검출 유닛(20)에 의해 백선이 검출될 수도 있다.
이 경우에, 도 1에 도시된 모노크롬 휘도 정보 처리 유닛(14) 및 백선 검출 유닛(18)은 생략될 수도 있다.
그 다음에, 본 발명의 실시예에 관해서 사진 화상을 참조하여 더 상세히 설명한다.
노면이 양달 또는 응달에 있는지 여부와 날씨에 따라, 휘도 화상의 콘트라스트 및 편광비 화상의 콘트라스트가 변한다. 또한, 휘도 화상이나 편광비 화상이 백선과 같은 라인을 검출하는 데에 적합한지 여부는 장면(또는 촬상 환경)에 의존한다.
다양한 실험을 통해, 본 발명자들은, 장면이 휘도 화상에 적합하지 않지만 편광비 화상에 적합하거나 그 반대라는 것, 즉 이들이 서로 보완적이라는 것을 발견했다.
본 발명의 실시예에서, 백선을 정확히 검출하기 위해, 장면(또는 촬상 환경)에 따라 휘도 화상(휘도 정보)이나 편광비 화상(편광비 정보)이 이용된다.
이하, 휘도 정보에 기초하여 백선을 정확히 검출하기 어려운 예시적인 장면에 관해서 설명한다. 이하의 설명에서 사용된 사진 화상은, 차량에 실장된 동일한 촬상 장치에 의해 촬영되었고, 차량 전방의 화상을 촬영하도록 구성되었다.
[1. 백선이 그림자 내에 있는 경우]
이 경우에, 백선과 도로 사이의 휘도 레벨의 차가 작기 때문에, 백선 에지를 추출하기 어렵다.
도 17a는 맑은 날 그림자 내에 백선이 있는 장면의 편광비 화상이고, 도 17b는 동일한 장면의 모노크롬 휘도 화상이다. 명백하게, 도 17b의 모노크롬 휘도 화상과 비교하여, 도 17a의 편광비 화상에서 백선이 더 선명하게 인식될 수 있다.
휘도 화상과 편광비 화상 사이의 콘트라스트 차이의 이유에 관해서 이하 설명한다.
우리의 일상 생활로부터 알 수 있듯이, 낮에 양달에서의 장면은 휘도의 콘트라스트가 높고, 응달에서 또는 비 오거나 흐린 날에 감소된 조도에서의 장면은 휘도의 콘트라스트가 낮다. 한편, 편광비는 보이지 않고, 편광의 콘트라스트가 변동하는 이유는 자명하지 않다.
도 18b는, 도 18a에 도시된 바와 같이 광원의 위치를 변화하면서 고정된 카메라에 의해 실험실에서 촬영된 아스팔트면의 P 편광 화상과 S 편광 화상 사이의 편광비 변화를 도시하는 그래프이다. 이 그래프에서, 횡축은 입사각(광원 위치)을 나타내고, 종축은 편광비를 나타낸다. 카메라의 앙각은 수평면으로부터 약 10도이다. 편광비는, 각 입사각에서 촬영된 P 편광 화상과 S 편광 화상의 중심부의 휘도 정보로부터 계산되었다. 도 18b에서, 편광비는, S 편광 성분(Rs)과 P 편광 성분(Rp)의 합에 대한 P 편광 성분에서 S 편광 성분을 뺀 값의 비율을 나타낸다.
P 편광 성분이 S 편광 성분보다 큰 경우, 편광비는 양의 값을 갖는다. 한편, S 편광 성분이 P 편광 성분보다 큰 경우, 편광비는 음의 값을 갖는다.
도 18b에 도시된 결과에 기초하여 응달에서의 장면의 도 17a의 편광비 화상에 관해서 설명한다.
응달에서 노면과 노변 구조물을 조사하는 광원은 태양의 직사광이 아니라 천공광(하늘로부터의 광)이다. 태양광의 경우에, 편광비는 태양광의 고도와 방위에 따라서 변화한다. 한편, 천공광은, 모든 고도와 방위로부터 균일하게 노면과 노변 구조물을 조사한다. 따라서, 천공광의 경우에, 도 19에 도시된 바와 같이, 편광비는 입사각에 관계없이 실질적으로 일정한 값(도 18b에 도시된 값의 평균에 대응하는 값)을 가진다.
또한, 백선은 일반적으로 산란체를 포함하는 도료로 만들어지고, 백선의 편광비는 입사각에 관계없이 0에 가깝다. 그래서, 응달에서의 노면과 백선의 편광비 화상은 높은 콘트라스트를 가진다. 따라서, 응달의 휘도 화상의 콘트라스트는 낮지만, 응달의 편광비 화상의 콘트라스트는 높다. 따라서, 응달에서 백선을 검출하기 위해 편광비 화상을 이용하는 것이 바람직하다.
[2. 노면이 역광이고 빛나는 경우]
이 경우에, 태양광을 반사하는 노면과 백선 사이의 휘도 레벨 차가 작기 때문에, 백선 에지를 추출하기 어렵다.
도 20a는 맑은 날의 장면의 편광비 화상이고, 도 20b는 맑은 날의 장면의 모노크롬 휘도 화상이다. 도 20b의 모노크롬 휘도 화상과 비교하여, 도 20a의 편광비 화상에서 백선과 도로 에지가 더 선명하게 인식될 수 있다.
맑은 날에, 양달의 노면은 태양광과 천공광(태양광은 산란광 성분이다) 모두에 의해 조사되지만, 태양광이 노면을 조사하는 광의 지배적인 성분이다. 따라서, 도 18b에 도시된 결과는 이 경우에 적용될 수 있다.
도 18b에 도시된 바와 같이, 노면이 역광인 경우에 편광비는 음의 방향으로 증가한다. 태양(광원)이 카메라의 뒤에 있는 경우, 아스팔트면의 편광비는 0이다. 한편, 백선은 일반적으로 산란체를 포함하는 도료로 만들어지고, 백선의 편광비는 입사각에 관계없이 0에 가깝다. 그래서, 역광의 노면과 백선의 편광비 화상은 높은 콘트라스트를 가진다. 노면과 백선이 역광인 경우, 노면으로부터 반사된 광의 강도는 증가하고, 휘도 화상에서 노면과 백선 사이의 휘도 레벨 차는 작아진다. 한편, 편광비 화상의 콘트라스트는 이 경우에도 여전히 높다. 따라서, 역광의 노면 상의 백선을 검출하기 위해 편광비 화상을 이용하는 것이 바람직하다.
[3. 날씨가 비가 오거나 흐린 경우]
이 경우에, 백선과 도로 사이의 휘도 레벨 차가 작기 때문에 백선 에지를 추출하기 어렵다.
도 21a는 흐린 날의 장면의 편광비 화상이고, 도 21b는 흐린 날의 장면의 모노크롬 휘도 화상이다. 도 21b의 모노크롬 휘도 화상과 비교하여, 도 21a의 편광비 화상에서 백선이 더 선명하게 인식될 수 있다.
그림자 내의 장면과 유사하게, 비가 오거나 흐린 날에 노면과 백선을 조사하는 광원은 태양의 직사광이 아니다. 그래서, 비가 오거나 흐린 날의 노면과 백선의 편광비 화상은 높은 콘트라스트를 가진다. 따라서, 비가 오거나 흐린 날의 장면의 휘도 화상의 콘트라스트는 낮지만, 비가 오거나 흐린 날의 장면의 편광비 화상의 콘트라스트는 높다. 따라서, 비가 오거나 흐린 날에 백선을 검출하기 위해 편광비 화상을 이용하는 것이 바람직하다.
[4. 비가 온 후]
비가 온 후, 도로가 젖어서 빛나고 도로 상에 웅덩이가 있기 때문에, 백선 에지를 추출하기 어렵다.
도로가 젖은 경우, 경면 반사 성분이 증가하여, 휘도 화상에서 백선을 인식하기 어렵게 된다. 또한, 도로가 젖은 경우, 휘도 화상은 전체가 어둡게 되고, 콘트라스트는 낮아진다. 한편, 편광비 화상으로, 경면 반사 성분을 제거하고, 하층의 노면 정보를 획득할 수 있다. 따라서, 젖은 도로 상의 백선(또는 황선)을 검출하기 위해 편광비 화상을 사용하는 것이 바람직하다. 도 22a는 비가 온 후 젖은 노면의 편광비 화상이고, 도 22b는 비가 온 후 젖은 노면의 모노크롬 휘도 화상이다.
[5. 백선의 외측에 갓길이나 배수로가 있는 경우]
갓길이나 배수로의 에지가 백선 에지로 오인식될 수도 있다.
상술된 바와 같이, 편광비 정보로, 재료의 차이와 물체의 각도의 차이를 결정할 수 있다. 예컨대, 편광비 화상으로, 직교 경면 반사면은 반대의 편광비를 가진다는 사실에 기초하여 각도 정보를 획득할 수 있다. 이는 모노크롬 휘도 화상으로는 가능하지 않다.
도 23a는 백선의 외측에 측벽이 존재하는 도로의 편광비 화상이고, 도 23b는 백선의 외측에 측벽이 존재하는 도로의 모노크롬 휘도 화상이다. 도 23b의 모노크롬 휘도 화상에서는, 백선과 측벽을 구별하기 어렵다. 한편, 도 23a의 편광비 화상에서는, 백선과 측벽을 구별할 수 있다.
[6. 도로 상에 보수된 부분이 있는 경우]
도로의 보수된 부분이 백선으로 오인식될 수도 있다.
도 18b에 도시된 바와 같은 아스팔트면의 반사 특성은, 아스팔트면의 상태, 예컨대 아스팔트면이 새로운지 낡았는지 여부에 따라 변한다. 따라서, 도로의 보수된 부분(새로운 아스팔트면)의 편광비는 도로의 다른 부분(낡은 아스팔트면)의 편광비와 상이하다. 편광비 화상을 이용하는 것은 백선과 도로의 보수된 부분을 구별할 수 있게 하여, 백선을 정확히 검출할 수 있게 한다.
상술된 바와 같이, 노면이 태양의 직사광에 의해 조사되지 않는 비가 오거나 흐린 날 또는 응달에서, 휘도 화상의 콘트라스트는 낮아진다. 한편, 이러한 상황에서도 편광비 화상의 콘트라스트는 높고, 촬상 방향에 의해 영향을 받지 않는다. 따라서, 이러한 상황에 대해 편광비 화상을 이용하는 것은 도로 상의 물체(백선과 도로 에지 같은)를 확실히 검출할 수 있게 한다. 편광비 화상은, 맑은 날의 양달에서, 특히 물체가 역광일 때 물체를 검출하기 위해서도 바람직하게 이용된다.
한편, 모노크롬 휘도 화상은, 물체가 카메라 뒤의 광원에 의해 조사되는 경우에 바람직하게 이용된다. 따라서, 본 실시예에서는, 백선을 정확히 검출하기 위해 장면(또는 촬상 환경)에 따라 휘도 화상(휘도 정보) 또는 편광비 화상(편광비 정보) 중 하나가 이용된다.
본 발명의 다른 실시예에 관해서 이하 설명한다.
우선, 본 실시예의 노면 상의 차선(예컨대, 백선 또는 황선)을 검출하는 방법을 설명한다. 본 실시예에서는, 편광비 화상의 에지 화상을 이용하여 차선의 후보 포인트(차선 후보 포인트)가 검출되고, 편광비 화상을 이용하여 추정되는 노면의 형상(폭과 경사)에 기초하여 차선 탐색 영역이 결정되며, 차선 탐색 영역에서 차선 후보 포인트를 이용하여 차선이 검출된다.
도 24a에 도시된 바와 같이, 편광비 화상의 에지 화상을 이용하여 노면 상의 예상 차선 에지가 검출된다. 그 다음에, 도 24b에 도시된 바와 같이, 노면과 노변 구조물을 인식하기 위해 편광비 화상에 라벨링 처리가 수행되고, 이에 따라 노면의 형상(폭과 경사)을 추정한다.
그 다음에, 도 24c에 도시된 바와 같이, 노면의 추정된 폭과 경사에 기초하여 차선 탐색 영역이 결정된다. 이후에, 도 24d에 도시된 바와 같이, 차선 탐색 영역 내의 검출된 차선 에지에 허프 변환을 수행함으로써 차선의 형상이 근사된다.
실제 사진 화상을 이용하여 상기 방법에 따른 예시적인 처리에 관해서 이하 설명한다.
도 25a는 차량 전방 노면의 편광비 화상이고, 도 25b는 차량 전방 노면의 모노크롬 휘도 화상이다.
우선, 편광비 화상을 이용하여 예상 차선 에지가 검출된다. 도 26은 검출된 차선 에지를 도시한다.
그 다음에, 편광비 화상에 라벨링 처리를 수행함으로써 노면의 형상(폭과 경사)이 추정된다. 도 27은 검출 결과를 도시한다.
그 다음에, 노면의 폭과 경사(좌우 흑선 간의 거리와 흑선의 경사)에 기초하여 차선 탐색 영역이 결정된다. 도 28은 결정된 차선 탐색 영역을 도시한다.
이후에, 차선 탐색 영역 내의 검출된 차선 에지에 허프 변환을 수행함으로써 차선의 형상이 근사된다. 도 29는 결과를 도시한다.
도 23b에 도시된 바와 같이 모노크롬 휘도 화상을 이용하는 처리로는, 좌측의 흰 벽이 백선으로 오인식될 수도 있고, 백선과 노면 사이의 휘도차가 작은 경우 백선 에지를 검출하기 어렵다. 한편, 도 25 내지 도 29를 참조하여 상술된 바와 같이 편광비 화상을 이용하는 처리로는, 이러한 문제들을 방지할 수 있다.
도 30 내지 도 35를 참조하여 본 실시예의 차량용 촬상 시스템(10)에 관해서 이하 설명한다. 도 1에 도시된 것과 동일한 참조 번호가 도 30의 대응하는 부품에 할당된다.
도 30에 도시된 바와 같이, 차량용 촬상 시스템(10)의 화상 처리 유닛(26)은, 메모리(1), 메모리(2), 모노크롬 휘도 정보 처리 유닛(14), 편광비 정보 처리 유닛(16), 노면 형상 추정 유닛(34), 차선 후보 포인트 검출 유닛(36), 차선 탐색 영역 결정 유닛(38), 차선 검출 유닛(40) 및 영역 기억 유닛(50)을 포함한다.
편광 카메라(12), 화상 처리 유닛(26) 및 디스플레이 유닛(22)은 차량용 촬상 시스템(10)을 구성한다. 편광 카메라(12) 및 화상 처리 유닛(26)은 물체 식별 장치(촬상 장치)(11)를 구성한다.
차량 전방 노면의 수평 편광 성분(P 편광 성분), 수직 편광 성분(S 편광 성분), 및 P 편광 성분과 S 편광 성분을 포함하는 미가공 편광 화상 데이터가 편광 카메라(촬상 유닛)(12)에 의해 획득된다. P 편광 성분, S 편광 성분 및 미가공 편광 화상 데이터로부터 편광비 정보와 모노크롬 휘도 정보가 획득된다. 획득된 편광비 정보에 기초하여 후술할 방법에 따라 노면과 백선이 검출된다.
본 실시예에서, 화상 처리 유닛(26)은, 상황 판별 유닛, 파라미터 임계치 결정 유닛 및 물체 식별 유닛으로서도 기능하고, 영역 기억 유닛(50)은, 형상 정보 기억 유닛 및 식별 결과 기억 유닛으로서도 기능한다.
도 30 및 도 31을 참조하여 차량용 촬상 시스템(10)의 동작에 관해서 설명한다.
촬상 유닛(편광 카메라)(12)은, 전하 결합 소자(charge-coupled device; CCD)나 상보형 금속 산화 반도체(complementary metal oxide semiconductor; CMOS)와 같은 화상 센서(수광 소자)를 포함하고, 예컨대 노면을 포함하는 장면의 메가픽셀 화상을 획득한다.
촬상 유닛(12)은, 차량 전방 노면의 화상을 촬영하기 위해 차량의 백미러에 실장될 수도 있거나, 차량 측방 노면의 화상을 촬영하기 위해 사이드 미러에 실장될 수도 있다. 또한, 촬상 유닛(12)은 차량 후방 노면의 화상을 촬영하기 위해 뒷문에 실장될 수도 있다.
본 실시예에서, 촬상 유닛(12)은 휘도 화상 외에 편광비 화상을 획득할 수 있도록 구성된다. 편광비 화상을 획득할 수 있는 촬상 유닛(12)의 구성예에 관해서 이하 설명한다. 그러나, 촬상 유닛(12)은 다른 적절한 구성을 가질 수도 있다.
[구성예 1]
도 32에 도시된 바와 같이, 촬상 유닛(12)은, 카메라(60) 및 카메라(60) 전방에 제공되는 회전 가능한 편광자를 포함할 수도 있다. 촬상 유닛(12)은 편광자를 회전시킴으로써 물체(62)의 수직 편광 화상 및 수평 편광 화상을 촬영하고, 수직 편광 화상 및 수평 편광 화상으로부터 편광비 화상을 생성한다.
[구성예 2]
도 33에 도시된 바와 같이, 촬상 유닛(12)은, 수직 편광을 투과하도록 배치되는 편광 필터를 포함하며, 수직 편광 화상을 획득하는 카메라(64) 및 수평 편광을 투과하도록 배치되는 편광 필터를 포함하며, 수평 편광 화상을 획득하는 카메라(64)를 포함할 수도 있다.
상술된 구성 1로는, 편광자가 회전되기 때문에 수직 편광 화상과 수평 편광 화상이 조금 다른 시간에 촬영된다. 한편, 구성 2로는, 수직 편광 화상과 수평 편광 화상을 동시에 촬영할 수 있다.
[구성예 3]
촬상 유닛(12)은, 렌즈 어레이, 편광 필터 어레이 및 1개의 수광 소자(화상 센서)를 포함할 수도 있다. 분리된 2개의 카메라가 이용되는(스테레오형) 구성 2와 비교하여, 구성 3은 촬상 유닛(12)을 소형화할 수 있다.
더 구체적으로는, 도 34에 도시된 바와 같이, 촬상 유닛(12)은, 동일한 기판 상에 배치되는 복수의 렌즈를 포함하는 렌즈 어레이(66), 렌즈 어레이(66)의 렌즈를 투과하는 광 빔에 대응하는 영역을 포함하는 필터(68), 및 필터(68)의 대응 영역을 투과하는 광 빔을 수광하고 물체의 화상을 생성하는 촬상 영역을 포함하는 화상 센서(70)를 포함할 수도 있다. 필터(68)는 직교 투과축을 가지는 2개 이상의 편광 영역을 포함하고, 화상 센서(70)의 촬상 영역들 중 하나의 촬상 영역은 수직 편광 화상을 생성하며, 촬상 영역들 중 다른 하나의 촬상 영역은 수평 편광 화상을 생성한다.
[구성예 4]
이 구성으로는, 1개의 촬상 렌즈(또는 동일한 축 상에 배열되는 복수의 렌즈)에 의해 화상이 형성되고, 화상이 수직 편광 화상과 수평 편광 화상으로 분리되며, 수직 편광 화상 및 수평 편광 화상으로부터 편광비 화상이 생성된다.
예컨대, 도 35에 도시된 바와 같이, 촬상 유닛(12)은, 1:1 투과성을 가지는 하프 미러 박스, 미러, 수직 편광 필터, 수평 편광 필터, 수직 편광 필터를 통해 시야 화상을 획득하는 CCD, 및 수평 편광 필터를 통해 시야 화상을 획득하는 CCD를 포함할 수도 있다.
구성 2는 수직 편광 화상과 수평 편광 화상을 동시에 획득할 수 있게 하지만, 획득된 화상 간에 시차가 존재한다. 한편, 구성 4로는, 수직 편광 화상 및 수평 편광 화상이 동일한 촬상 광학계(렌즈)를 통해 획득되기 때문에, 획득된 화상 간에 시차가 존재하지 않는다. 이는 결국 검출 영역의 크기를 줄이고, 시차 보정의 필요성을 제거할 수 있게 한다.
[구성예 5]
구성 5에서는, 구성 4의 하프 미러가 편광 빔 분할기로 대체된다. 편광 빔 분할기는, 수평 편광을 반사하고, 수직 편광을 투과하는 프리즘이다. 이러한 프리즘을 이용하는 것은 수직 편광 필터 및 수평 편광 필터를 제공할 필요성을 제거하여, 광학계를 단순화하고 광 이용 효율을 향상시킬 수 있다.
[구성예 6]
도 36에 도시된 바와 같이, 촬상 유닛(12)은, 1개의 촬상 렌즈(72)(또는 동일한 축 상에 배열되는 복수의 렌즈) 및 수직 편광만 투과하는 편광자 영역과 수평 편광만 투과하는 편광자 영역을 포함하는 영역 분할 필터(74)를 포함할 수도 있다. 필터(74)는 경계가 명료한 편광 영역을 포함하고, 미세 패턴 금속 구조로 구성되는 와이어 그리드 편광자나 오토 클로닝형 포토닉 결정 편광자에 의해 구현될 수도 있다.
구성 4 및 구성 5는, 화상을 수직 편광 화상과 수평 편광 화상으로 분리하기 위해 하프 미러나 프리즘을 이용하고, 따라서 2개의 수광 소자가 요구된다. 따라서, 구성 4 및 구성 5는 광학계의 크기와 촬상 유닛(12)의 크기를 증가시킨다. 한편, 구성 6으로는, 촬상 렌즈와 동일한 축 상에 배열되는 광학계를 이용하여 수직 편광 화상과 수평 편광 화상을 획득할 수 있다.
[구성예 7]
영역 분할 필터의 편광자 영역은 수광 소자의 화소에 1:1 대응하지 않을 수도 있다. 도 37에서, 정사각형의 종렬과 횡렬은 수광 소자 어레이를 구성하는 수광 소자를 나타내고, 두 가지 사선 줄무늬는 수직 편광 필터 영역과 수평 편광 필터 영역을 나타낸다. 각 필터 영역은 1화소, 즉 1개의 수광 소자에 대응하는 폭을 가진다. 필터 영역 간의 경계선은 기울기가 2이다. 즉, 각 사선 줄무늬는, 횡방향으로 1화소 시프트가 종방향으로 2화소 시프트에 대응하도록 경사져있다. 이러한 특별한 필터 배치 패턴과 신호 처리를 조합하는 것은, 수광 소자 어레이와 영역 분할 필터가 정확히 정렬되지 않는 경우에도, 전체로서 필터링된 화상을 생성할 수 있게 하여, 저비용 촬상 장치를 제공할 수 있게 한다.
상술된 바와 같은 촬상 유닛(12)은, 바람직하게는 실시간으로 장면의 화상을 획득하도록 구성된다. 획득된 화상은 화상 처리 유닛(26)에 입력된다.
편광 카메라(12)는 차량에 실장되고, 촬상 유닛으로서 이용된다. 편광 카메라(12)는, 차량이 주행하는 도로 외관(주행 방향으로의 차량 전방의 장면, 즉, 전경)의 화상을 촬영하고, 수직 편광 성분(이하, S 성분이라고 칭한다), 수평 편광 성분(이하, P 성분이라고 칭한다), S 성분과 P 성분을 포함하는 미가공 편광 화상 데이터를 획득한다.
획득한 수평 편광 화상 데이터는 메모리(1)에 기억되고, 획득한 수직 편광 화상 데이터는 메모리(2)에 기억된다.
수평 편광 화상 데이터와 수직 편광 화상 데이터는, 모노크롬 휘도 정보 계산 유닛으로서 이용되는 모노크롬 휘도 정보 처리 유닛(14)과, 편광비 화상 생성 유닛으로서 이용되는 편광비 정보 처리 유닛(16)에 송신된다. 편광비 정보 처리 유닛(16)은, P 성분과 S 성분에 기초하여 편광비를 계산하고, 편광비 화상을 생성한다.
모노크롬 휘도 정보 처리 유닛(14)은, P 성분과 S 성분에 기초하여 모노크롬 휘도 화상을 생성하고, 생성된 모노크롬 휘도 화상의 화소의 휘도 레벨을 나타내는 휘도 정보를 계산한다.
편광비 정보 처리 유닛(16)은, 상기 식 2를 이용하여 편광비를 나타내는 편광비 정보를 계산함으로써, 편광비 정보 화상 데이터를 획득한다.
모노크롬 휘도 정보 처리 유닛(14)은, 상기 식 3을 이용하여 모노크롬 휘도 정보 화상 데이터를 생성한다.
도 38은 차선 후보 포인트를 검출하는 처리를 도시하는 순서도이다.
차선 후보 포인트 검출 유닛(36)은, 편광비 정보에 기초하여 예상 차선 에지(차선 후보 포인트)를 나타내는 후보 포인트를 검출한다. 차선은, 도로나 차선을 구획하는 임의의 색깔(예컨대, 백선이나 황선)의 임의의 선 종류(예컨대, 실선, 점선, 파선 또는 이중선)를 나타낼 수도 있다. 차선 검출 유닛(40)은, 편광비 정보에 기초하여 노면 상의 차선을 검출한다.
아스팔트로 만들어지는 통상의 도로의 노면은 흑색이고, 백선은 흑색 노면에 형성된다. 백선의 편광비는 0에 가깝다. 따라서, 백선의 편광비는 도로의 다른 부분의 편광비보다 충분히 작고, 미리 정해진 값 이하의 편광비를 갖는 도로의 부분을 결정함으로써 백선이 검출될 수 있다.
도 38에 도시된 바와 같이, 차량 전방 노면의 화상의 편광비는, P 편광 성분과 S 편광 성분에 기초하여 계산된다. 각 주사선 상의 화소는, 화상의 중심으로부터 좌단 및 우단까지 순차적으로 처리된다. 화소의 편광비는, 차선 후보 포인트를 검출하기 위해 미리 정해진 편광비 임계치와 비교된다.
그 다음에, 검출된 차선 후보 포인트에 기초하여 차선폭이 계산되고, 계산된 백선폭이 미리 정해진 범위 내인지 여부가 결정된다. 계산된 백선폭이 미리 정해진 범위 내이면, 차선 후보 포인트가 노면 상의 백선 에지로서 결정된다. 차선과 화상 상부 노면의 다른 부분 사이의 편광비 콘트라스트는, 차선과 화상 하부 노면의 다른 부분 사이의 편광비 콘트라스트와 상이하다.
따라서, 화상의 1프레임이 상부 영역과 하부 영역으로 분할되고, 편광비 임계치를 설정하는 단계에서, 상부 영역과 하부 영역에 대해 상이한 편광비 임계치가 설정된다.
도 39는 노면 형상 추정 유닛(34)에 의해 수행되는 처리를 도시하는 순서도이다.
노면 형상 추정 유닛(34)은 편광비 화상을 이용하여 노면의 형상을 추정한다.
먼저, 편광비 화상의 편광비가 계산되고, 편광 임계치가 설정된다.
편광비 화상은 편광비 임계치에 기초하여 2치화된다. 2치화된 편광비 화상 내의 연결 성분의 특징이 라벨링 처리에 의해 조사되고, 노면의 특징을 갖는 연결 성분이 검출된다. 그 후에, 노면의 특징을 갖는 검출된 연결 성분에 기초하여 노면의 형상이 추정된다.
도 40에서, 좌우 흑선은 노면의 형상에 기초하여 획득된 노면 영역을 나타낸다.
차선 탐색 영역 결정 유닛(38)은, 노면의 폭과 경사(좌우 흑선 간의 거리와 흑선의 경사)에 기초하여 차선 탐색 영역을 결정한다. 차선 탐색 영역은 노면 영역 내에 있다.
차선 탐색 영역 내에서 차선이 검출되지 않으면, 차선 에지 포인트 검출 파라미터의 임계치가 낮아지고, 차선 탐색 영역 내에서 다시 차선 에지 포인트가 탐색된다.
차선 검출 유닛(40)은, 형상 근사에 의해 차선 탐색 영역 내의 검출된 차선 에지 포인트의 근사 곡선을 획득한다. 예컨대, 최소 제곱법, 허프 변환 또는 모델 방정식이 형상 근사를 위해 이용될 수도 있다. 형상 근사에 의해 근사 곡선을 획득할 때, 도로 화상(또는 화면)의 하부에서 검출되는 신뢰성이 높은 백선 에지 포인트와 도로 에지 포인트에 더 높은 가중치가 부여된다.
이 방법으로는, 도로 화상의 상부에서 차선 에지 포인트가 부정확하게 검출되더라도, 도로 화상의 하부에서 차선 에지 포인트가 정확하게 검출되기만 하면, 차선을 적절하게 인식할 수 있다.
검출 결과는 차량 제어를 위해 이용되거나, 백선과 도로 에지를 운전자가 보기 쉬운 형태로 디스플레이에 표시하기 위해 이용될 수도 있다.
따라서, 본 실시예에서, 편광비 화상에 기초하여 차선 후보 포인트와 노면 영역이 검출되고, 검출된 차선 후보 포인트와 노면 영역에 기초하여 차선 탐색 영역이 결정되며, 차선 탐색 영역에서 차선이 검출된다. 이 방법은, 휘도 화상의 콘트라스트가 낮은 경우에도 백선을 정확히 검출할 수 있게 하여, 갓길이나 흰 벽을 백선으로 오인식하는 것을 방지할 수 있게 한다.
도 41은, 노면의 상태를 결정하는 처리를 도시하는 순서도이다.
백선 이외의 노면 영역의 모노크롬 휘도 화상의 화소의 휘도 레벨이 검출되고, 미리 정해진 휘도 임계치와 비교된다. 휘도 레벨이 휘도 임계치보다 작으면, 노면 영역이 젖어 있다고 판단된다.
휘도 레벨이 휘도 임계치 이상이면, 동일한 노면 영역의 편광비 화상의 화소의 편광비가 미리 정해진 편광비 임계치와 비교된다. 편광비가 편광비 임계치보다 작으면, 노면 영역이 젖어 있다고 판단된다. 한편, 편광비가 편광비 임계치 이상이면, 노면 영역이 건조하다고 판단된다. 휘도 임계치와 편광비 임계치는 실험 결과에 기초하여 결정될 수도 있다.
이 방법은, 날씨를 예측하는 것과 노면이 젖어 있는지 건조한지 여부를 예측하는 것을 가능하게 한다. 샘플 편광비 화상과 다양한 노면 상태의 모노크롬 휘도 화상이 학습되고, 학습 결과에 기초하여 노면 상태에 따라 2치화를 위한 적절한 파라미터와 파라미터의 임계치가 결정된다.
영역 기억 유닛(50)은, 이전에 검출된 차선과 차선 탐색 영역을 기억한다. 실시간으로 차선과 차선 탐색 영역을 검출할 때는, 1개 이상의 이전에 획득한 화상에서 유사한 차선과 차선 탐색 영역이 발견되면, 검출된 차선과 차선 탐색 영역은 신뢰할 수 있는 것으로 판단된다. 이전 프레임에서의 차선 탐색 영역의 위치에 기초하여, 다음 프레임에서 차선 에지 포인트가 탐색되고, 근사 곡선이 획득된다.
차선 에지가 화상의 5개의 프레임 내에서 검출되지 않으면, 화상 하부에서의 주사선의 중심으로부터 탐색이 다시 시작된다.
상술된 바와 같이, 본 발명의 태양은, 촬상 환경(예컨대, 어둠이나 밝음, 맑거나 흐린 날씨 등)에 관계없이 백선, 도로 에지(또는 노변 구조물) 및 노면의 경계를 정확히 검출할 수 있는 단순한 구성의 촬상 장치를 제공하는 것과, 운전자 보조 및 차량 제어를 위한 적절한 정보를 제공하는 것을 가능하게 한다.
본 발명의 태양은, 노면으로부터 반사되는 광의 편광비를 이용함으로써 노면 상의 백선을 정확히 검출하는 것을 가능하게 한다.
본 발명의 태양에 따르면, 노면의 편광비 화상에 기초하여 추정되는 노면의 형상에 기초하여 백선이 검출된다. 이 방법은, 갓길이나 배수로를 백선으로 오인식하는 것을 방지할 수 있게 한다.
본 발명의 실시예는, 촬상 영역 내의 식별 대상물의 화상을 획득하고, 획득한 화상에서 식별 대상물에 대응하는 화상 영역을 검출하는 물체 식별 장치를 제공한다. 물체 식별 장치는, 촬상 영역 내의 물체로부터의 반사광에 포함되는, 상이한 편광 방향을 갖는 제1 편광 및 제2 편광을 수광하고, 제1 편광의 제1 편광 화상 및 제2 편광의 제2 편광 화상을 획득하는 촬상 유닛; 제1 편광 화상 및 제2 편광 화상 각각을 처리 영역으로 분할하고, 처리 영역 각각에 대하여 제1 편광 화상 및 제2 편광 화상의 휘도 레벨의 합을 나타내는 결합 휘도 레벨을 계산하는 휘도 계산 유닛; 처리 영역 각각에 대하여, 결합 휘도 레벨에 대한 제1 편광 화상 및 제2 편광 화상의 휘도 레벨 간의 차분의 비율을 나타내는 편광비를 계산하는 편광비 계산 유닛; 편광비 계산 유닛에 의해 계산되는 모든 처리 영역의 편광비에 기초하여 편광비 화상을 생성하는 편광비 화상 생성 유닛; 편광비에 기초하여 노면 상의 차선을 구획하는 차선의 차선 후보 포인트를 검출하는 차선 후보 포인트 검출 유닛; 편광비에 기초하여 노면의 형상을 추정하는 노면 형상 추정 유닛; 노면의 추정된 형상에 기초하여 차선 탐색 영역을 결정하는 차선 탐색 영역 결정 유닛; 및 결정된 차선 탐색 영역에서의 차선 후보 포인트에 기초하여 차선을 검출하는 차선 검출 유닛을 포함한다.
차선 탐색 영역 결정 유닛은, 노면 형상 추정 유닛에 의해 추정되는 노면의 경사 및 폭에 기초하여 차선 탐색 영역을 결정하도록 구성될 수도 있다.
차선이 차선 탐색 영역에서 검출되지 않는 경우, 차선 검출 유닛은, 차선 탐색 영역 내의 차선을 검출하기 위해 사용되는 편광비 임계치를 낮출 수도 있다.
노면 형상 추정 유닛은, 미리 정해진 파라미터의 임계치에 기초하여 편광비 화상을 2치화하고, 노면의 특징을 갖는 연결 성분을 검출하기 위해 2치화된 편광비 화상에 라벨링 처리를 수행하며, 검출된 연결 성분에 기초하여 노면의 형상을 추정하도록 구성될 수도 있다.
물체 식별 장치는, 편광비 계산 유닛에 의해 계산되는 편광비와 휘도 계산 유닛에 의해 계산되는 결합 휘도 레벨 중 적어도 하나에 기초하여 촬상 영역 내의 상황을 결정하는 상황 결정 유닛; 및 상황 결정 유닛에 의해 결정되는 상황에 따라서 파라미터의 임계치를 결정하는 파라미터 임계치 결정 유닛도 포함할 수도 있다.
파라미터 임계치 결정 유닛은, 별개의 상황에 대하여 이전에 계산된 편광비와 결합 휘도 레벨 중 적어도 하나를 학습하고, 학습 결과에 기초하여 파라미터의 임계치를 결정하도록 구성될 수도 있다.
물체 식별 장치는, 촬상 유닛에 의해 이전에 획득한 화상 내의 식별 대상물의 형상을 나타내는 형상 정보를 기억하는 형상 정보 기억 유닛도 포함할 수도 있다. 차선 검출 유닛과 노면 형상 추정 유닛 각각은, 식별 대상물에 대응하는 인접한 처리 영역을 검출하고, 검출된 처리 영역에 의해 형성되는 형상이 형상 정보 기억 유닛에 기억된 형상 중 하나와 유사한지 여부를 형상 근사에 의해 판단하며, 검출된 처리 영역에 의해 형성되는 형상이 형상 정보 기억 유닛에 기억된 형상 중 하나와 유사하면 검출된 처리 영역을 식별 대상물의 화상 영역이라고 판단하도록 구성될 수도 있다.
라인 검출 유닛과 노면 형상 추정 유닛 각각은, 촬상 거리에 따라서 제1 편광 화상과 제2 편광 화상 각각을 2개 이상의 구역으로 분할하고, 형상 근사 에서, 촬상 거리가 더 짧은 구역 중 하나에서 검출되는 처리 영역에, 촬상 거리가 더 긴 구역 중 다른 하나에서 검출되는 처리 영역에 부여되는 가중치와 비교하여 더 높은 가중치를 부여하도록 구성될 수도 있다.
물체 식별 장치는, 이전의 식별 결과를 기억하는 식별 결과 기억 유닛을 더 포함할 수도 있고, 물체 식별 장치는, 식별 결과 기억 유닛에 기억된 이전의 식별 결과도 이용하여 식별 대상물에 대응하는 화상 영역을 검출하도록 구성될 수도 있다.
본 발명은 구체적으로 개시된 실시예에 한정되지 않고, 본 발명의 범위를 벗어나지 않고 변화 및 수정이 행해질 수도 있다.
본 출원은, 2009년 12월 25일에 출원된 일본 우선권 출원 제2009-295838호 및 2010년 11월 12일에 출원된 일본 우선권 출원 제2010-254213호에 기초하고, 이것의 전체 내용은 참조로서 여기에 포함된다.

Claims (25)

  1. 차량에 실장되고, 상기 차량이 주행하는 노면의 수직 편광 화상 및 수평 편광 화상을 획득하는 촬상 유닛;
    상기 수직 편광 화상과 상기 수평 편광 화상에 기초하여, 편광비 화상을 생성하고 상기 편광비 화상의 화소의 편광비를 나타내는 편광비 정보를 계산하는 편광비 화상 생성 유닛; 및
    상기 편광비 화상의 상기 편광비 정보에 기초하여, 상기 노면 상에 형성되고 상기 노면을 구획하는 평면의 라인 및/또는 상기 노면에 각도를 가지고 인접하여 위치하는 노변(roadside) 구조물을 식별하는 노변 구조물 식별 유닛
    을 포함하는 촬상 장치.
  2. 제1항에 있어서,　상기 노변 구조물 식별 유닛은, 상기 편광비 화상을 주사하고, 각 주사선의 상기 편광비 정보에 기초하여 상기 노변 구조물을 식별하는 것인 촬상 장치.
  3. 제2항에 있어서, 상기 노변 구조물 식별 유닛은, 상기 각 주사선 상의 화소의 편광비와 동일한 주사선 상의 기준 화소의 기준 편광비 사이의 차분을 계산하고, 상기 노변 구조물을 식별하기 위해 미리 정해진 임계치와 상기 차분을 비교하는 것인 촬상 장치.
  4. 제3항에 있어서, 휘도 화상을 생성하고, 상기 수직 편광 화상과 상기 수평 편광 화상에 기초하여 상기 휘도 화상의 화소의 휘도 레벨을 나타내는 휘도 정보를 계산하는 휘도 정보 계산 유닛; 및
    상기 계산된 휘도 정보에 기초하여 상기 라인을 검출하는 라인 검출 유닛
    을 더 포함하고,
    상기 노변 구조물 식별 유닛은, 상기 검출된 라인에 관한 상기 기준 화소를 결정하고, 상기 기준 화소의 편광비를 상기 기준 편광비로서 설정하며, 상기 기준 편광비에 기초하여 상기 임계치를 결정하는 것인 촬상 장치.
  5. 제4항에 있어서, 상기 라인이 검출되지 않는 경우,　상기 노변 구조물 식별 유닛은, 이전에 생성된 편광비 화상에서 검출된 라인에 관한 상기 기준 화소를 결정하는 것인 촬상 장치.
  6. 제4항에 있어서,　상기 라인이 상기 차량의 주행 방향에서 중간에 끊기는 경우, 상기 노변 구조물 식별 유닛은, 상기 라인이 존재하지 않는 노면의 영역에 대하여 이전에 생성된 편광비 화상에서 검출된 라인에 관한 상기 기준 화소를 결정하는 것인 촬상 장치.
  7. 제6항에 있어서, 상기 이전에 생성된 편광비 화상에서 검출된 상기 라인도 상기 차량의 주행 방향에서 중간에 끊기거나, 상기 이전에 생성된 편광비 화상에서 검출된 라인이 없는 경우,　상기 노변 구조물 식별 유닛은, 상기 라인이 존재하지 않는 노면의 영역에 대하여 상기 차량의 주행 방향에서 중간에 끊기는 상기 라인의 연장선에 관한 상기 기준 화소를 결정하는 것인 촬상 장치.
  8. 제4항에 있어서, 상기 라인이 검출되지 않는 경우, 상기 노변 구조물 식별 유닛은, 상기 노면의 중심에서의 화소의 편광비를 상기 기준 편광비로서 사용하는 것인 촬상 장치.
  9. 제4항 내지 제8항 중 어느 한 항에 있어서, 상기 라인 검출 유닛은, 상기 차량의 주행 방향에서 상기 휘도 화상을 상부 영역과 하부 영역으로 분할하고, 상기 상부 영역과 상기 하부 영역에 대하여 상이한 휘도 임계치를 설정하며, 상기 상부 영역과 상기 하부 영역 각각에서의 상기 화소의 휘도 레벨을 상기 휘도 임계치 중 대응하는 휘도 임계치와 비교함으로써 상기 라인을 검출하는 것인 촬상 장치.
  10. 제4항 내지 제9항 중 어느 한 항에 있어서, 상기 라인 검출 유닛은, 상기 휘도 정보에 기초하여 라인 후보 포인트를 검출하고, 상기 검출된 라인 후보 포인트에 기초하여 라인폭을 계산하며, 상기 계산된 라인폭이 미리 정해진 범위 내이면 상기 라인 후보 포인트를 상기 라인의 에지로서 결정하는 것인 촬상 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 노변 구조물 식별 유닛은, 상기 편광비 화상의 하부(bottom)로부터 상부(top)까지 상기 편광비 화상의 수평 주사선을 순차적으로 처리하고, 상기 노변 구조물을 식별하기 위해 상기 주사선 각각의 중심으로부터 상기 편광비 화상의 우단과 좌단까지 상기 주사선 각각을 주사하는 것인 촬상 장치.
  12. 제4항 내지 제10항 중 어느 한 항에 있어서, 상기 라인 검출 유닛은, 상기 휘도 화상의 하부로부터 상부로 상기 휘도 화상의 수평 주사선을 순차적으로 처리하고, 상기 라인을 검출하기 위해 상기 주사선 각각의 중심으로부터 상기 휘도 화상의 우단과 좌단으로 상기 주사선 각각을 주사하는 것인 촬상 장치.
  13. 제4항 내지 제12항 중 어느 한 항에 있어서, 이전 프레임의 상기 편광비 화상과 상기 휘도 화상에서 검출되는 상기 라인 및 상기 노변 구조물의 영역을 나타내는 정보를 기억하는 영역 기억 유닛; 및
    상기 영역 기억 유닛에 기억되는 상기 정보에 기초하여 현재 프레임의 상기 편광비 화상과 상기 휘도 화상에서 상기 라인 및 상기 노변 구조물이 탐색될 탐색 위치를 결정하는 탐색 위치 결정 유닛
    을 더 포함하는 촬상 장치.
  14. 제4항에 있어서, 상기 라인의 에지를 나타내는 라인 에지 포인트와 상기 노변 구조물의 에지를 나타내는 도로 에지 포인트의 근사 곡선을 형상 근사(shape approximation)에 의해 획득하는 근사 곡선 획득 유닛을 더 포함하고,
    상기 형상 근사에서, 상기 근사 곡선 획득 유닛은, 상기 휘도 화상과 상기 편광비 화상의 하부 영역에서 검출되는 상기 라인 에지 포인트와 상기 도로 에지 포인트에 더 높은 가중치를 부여하는 것인 촬상 장치.
  15. 차량에 실장되고, 노면의 화상을 획득하는 제1항 내지 제14항 중 어느 한 항에 기재된 촬상 장치; 및
    상기 획득한 화상을 표시하는 표시 유닛
    을 포함하는 차량용 촬상 시스템.
  16. 차량이 주행하는 노면의 수직 편광 화상 및 수평 편광 화상을 획득하는 단계;
    상기 수직 편광 화상과 상기 수평 편광 화상에 기초하여, 편광비 화상을 생성하고 상기 편광비 화상의 화소의 편광비를 나타내는 편광비 정보를 계산하는 단계; 및
    상기 편광비 화상의 상기 편광비 정보에 기초하여, 상기 노면 상에 형성되고 상기 노면을 구획하는 평면의 라인 및/또는 상기 노면에 각도를 가지고 인접하여 위치하는 노변 구조물을 식별하는 단계
    를 포함하는 노면 외관 인식 방법.
  17. 촬상 영역 내의 식별 대상물의 화상을 획득하고, 상기 획득한 화상에서 상기 식별 대상물에 대응하는 화상 영역을 검출하는 물체 식별 장치로서,
    상기 촬상 영역 내의 물체로부터의 반사광에 포함되는 상이한 편광 방향을 갖는 제1 편광 및 제2 편광을 수광하고, 상기 제1 편광의 제1 편광 화상 및 상기 제2 편광의 제2 편광 화상을 획득하는 촬상 유닛;
    상기 제1 편광 화상 및 상기 제2 편광 화상 각각을 처리 영역으로 분할하고, 상기 처리 영역 각각에 대하여 상기 제1 편광 화상 및 상기 제2 편광 화상의 휘도 레벨의 합을 나타내는 결합 휘도 레벨을 계산하는 휘도 계산 유닛;
    상기 처리 영역 각각에 대하여, 상기 결합 휘도 레벨에 대한 상기 제1 편광 화상 및 상기 제2 편광 화상의 상기 휘도 레벨 간의 차분의 비율을 나타내는 편광비를 계산하는 편광비 계산 유닛;
    상기 편광비 계산 유닛에 의해 계산되는 모든 상기 처리 영역의 상기 편광비에 기초하여 편광비 화상을 생성하는 편광비 화상 생성 유닛;
    상기 편광비에 기초하여 노면 상의 차선을 구획하는 차선의 차선 후보 포인트를 검출하는 차선 후보 포인트 검출 유닛;
    상기 편광비에 기초하여 상기 노면의 형상을 추정하는 노면 형상 추정 유닛;
    상기 노면의 추정된 형상에 기초하여 차선 탐색 영역을 결정하는 차선 탐색 영역 결정 유닛; 및
    상기 결정된 차선 탐색 영역에서의 상기 차선 후보 포인트에 기초하여 차선을 검출하는 차선 검출 유닛
    을 포함하는 물체 식별 장치.
  18. 제17항에 있어서, 상기 차선 탐색 영역 결정 유닛은, 상기 노면 형상 추정 유닛에 의해 추정되는 노면의 경사 및 폭에 기초하여 상기 차선 탐색 영역을 결정하는 것인 물체 식별 장치.
  19. 제17항 또는 제18항에 있어서, 상기 차선이 상기 차선 탐색 영역에서 검출되지 않는 경우, 상기 차선 검출 유닛은, 상기 차선 탐색 영역 내의 상기 차선을 검출하기 위해 사용되는 편광비 임계치를 낮추는 것인 물체 식별 장치.
  20. 제17항에 있어서, 상기 노면 형상 추정 유닛은, 미리 정해진 파라미터의 임계치에 기초하여 상기 편광비 화상을 2치화(binarization)하고, 상기 노면의 특징을 갖는 연결 성분을 검출하기 위해 상기 2치화된 편광비 화상에 라벨링 처리를 수행하며, 상기 검출된 연결 성분에 기초하여 상기 노면의 형상을 추정하는 것인 물체 식별 장치.
  21. 제20항에 있어서, 상기 편광비 계산 유닛에 의해 계산되는 상기 편광비와 상기 휘도 계산 유닛에 의해 계산되는 상기 결합 휘도 레벨 중 적어도 하나에 기초하여 상기 촬상 영역 내의 상황을 결정하는 상황 결정 유닛; 및
    상기 상황 결정 유닛에 의해 결정되는 상기 상황에 따라서 상기 파라미터의 임계치를 결정하는 파라미터 임계치 결정 유닛
    을 더 포함하는 물체 식별 장치.
  22. 제21항에 있어서, 상기 파라미터 임계치 결정 유닛은, 별개의 상황에 대하여 이전에 계산된 상기 편광비와 상기 결합 휘도 레벨 중 적어도 하나를 학습하고, 상기 학습 결과에 기초하여 상기 파라미터의 임계치를 결정하는 것인 물체 식별 장치.
  23. 제17항 내지 제22항 중 어느 한 항에 있어서, 상기 촬상 유닛에 의해 이전에 획득한 화상 내의 상기 식별 대상물의 형상을 나타내는 형상 정보를 기억하는 형상 정보 기억 유닛을 더 포함하고,
    상기 차선 검출 유닛과 상기 노면 형상 추정 유닛 각각은, 상기 식별 대상물에 대응하는 인접한 처리 영역을 검출하고, 상기 검출된 처리 영역에 의해 형성되는 형상이 상기 형상 정보 기억 유닛에 기억된 상기 형상 중 하나와 유사한지 여부를 형상 근사에 의해 판단하며, 상기 검출된 처리 영역에 의해 형성되는 상기 형상이 상기 형상 정보 기억 유닛에 기억된 상기 형상 중 하나와 유사하면 상기 검출된 처리 영역을 상기 식별 대상물의 상기 화상 영역이라고 판단하는 것인 물체 식별 장치.
  24. 제23항에 있어서, 상기 라인 검출 유닛과 상기 노면 형상 추정 유닛 각각은, 촬상 거리에 따라서 상기 제1 편광 화상과 상기 제2 편광 화상 각각을 2개 이상의 구역으로 분할하고, 상기 형상 근사에서, 촬상 거리가 더 짧은 상기 구역 중 하나에서 검출되는 상기 처리 영역에, 촬상 거리가 더 긴 상기 구역 중 다른 하나에서 검출되는 상기 처리 영역에 부여되는 가중치와 비교하여 더 높은 가중치를 부여하는 것인 물체 식별 장치.
  25. 제17항 내지 제24항 중 어느 한 항에 있어서, 이전의 식별 결과를 기억하는 식별 결과 기억 유닛을 더 포함하고,
    상기 식별 결과 기억 유닛에 기억된 상기 이전의 식별 결과도 이용하여 상기 식별 대상물에 대응하는 상기 화상 영역을 검출하는 물체 식별 장치.
KR1020127016171A 2009-12-25 2010-12-16 촬상 장치, 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치 KR101378911B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009295838 2009-12-25
JPJP-P-2009-295838 2009-12-25
JP2010254213A JP5664152B2 (ja) 2009-12-25 2010-11-12 撮像装置、車載用撮像システム及び物体識別装置
JPJP-P-2010-254213 2010-11-12
PCT/JP2010/073263 WO2011078300A1 (en) 2009-12-25 2010-12-16 Imaging device, on-vehicle imaging system, road surface appearance detection method, and object detection device

Publications (2)

Publication Number Publication Date
KR20120085932A true KR20120085932A (ko) 2012-08-01
KR101378911B1 KR101378911B1 (ko) 2014-03-31

Family

ID=44195825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127016171A KR101378911B1 (ko) 2009-12-25 2010-12-16 촬상 장치, 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치

Country Status (7)

Country Link
US (1) US20120242835A1 (ko)
EP (1) EP2517454A1 (ko)
JP (1) JP5664152B2 (ko)
KR (1) KR101378911B1 (ko)
CN (1) CN102668540B (ko)
BR (1) BR112012016909A2 (ko)
WO (1) WO2011078300A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017003257A1 (ko) * 2015-07-02 2017-01-05 이승래 도로 표면 상태 인식 장치 및 방법

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5668535B2 (ja) * 2011-03-08 2015-02-12 株式会社リコー 物体の像を取得する装置、物体の像を取得する方法、プログラム、及び記録媒体
JP5786381B2 (ja) * 2011-03-10 2015-09-30 株式会社リコー 路面から入射する光の偏光の像を取得する装置、路面から入射する光の偏光の像を取得する方法、プログラム、及びコンピューター読み取り可能な記録媒体
JP5594246B2 (ja) 2011-07-20 2014-09-24 株式会社デンソー 車線認識装置
JP5817331B2 (ja) * 2011-08-23 2015-11-18 株式会社リコー 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法
JP5857528B2 (ja) * 2011-08-23 2016-02-10 株式会社リコー 車両運転支援装置、道路の路肩を検出する方法および該方法に基づく車両運転支援方法
JP5950196B2 (ja) * 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
CN102982304B (zh) * 2011-09-07 2016-05-25 株式会社理光 利用偏光图像检测车辆位置的方法和系统
CN102610103A (zh) * 2012-01-13 2012-07-25 深圳市黄河数字技术有限公司 智能压黄线分析识别方法
JP5995140B2 (ja) 2012-01-19 2016-09-21 株式会社リコー 撮像装置及びこれを備えた車両システム並びに画像処理方法
FR2988504B1 (fr) * 2012-03-23 2014-05-09 Commissariat Energie Atomique Procede de determination d'un plan du sol a partir d'une image de profondeur
JP2014006885A (ja) * 2012-05-31 2014-01-16 Ricoh Co Ltd 段差認識装置、段差認識方法及び段差認識用プログラム
JP5792678B2 (ja) * 2012-06-01 2015-10-14 株式会社日本自動車部品総合研究所 車線境界線検出装置およびプログラム
JP2014016981A (ja) * 2012-06-15 2014-01-30 Ricoh Co Ltd 移動面認識装置、移動面認識方法及び移動面認識用プログラム
EP2884311B1 (en) * 2012-08-08 2017-07-19 Nissan Motor Company, Limited Road surface state detection device and road surface state detection method
CN103679121B (zh) * 2012-09-14 2017-04-12 株式会社理光 采用视差图像检测路边的方法及系统
CN103679691B (zh) * 2012-09-24 2016-11-16 株式会社理光 连续型道路分割物检测方法和装置
US9411072B1 (en) * 2013-03-15 2016-08-09 Exelis, Inc. Real-time adaptive weather surveillance system and method
JP6194604B2 (ja) 2013-03-15 2017-09-13 株式会社リコー 認識装置、車両及びコンピュータが実行可能なプログラム
JP6307800B2 (ja) * 2013-07-02 2018-04-11 日本電気株式会社 レール検査装置および検査方法
KR20150042417A (ko) * 2013-10-11 2015-04-21 주식회사 만도 촬영부를 이용한 차선검출방법 및 차선검출시스템
US9423484B2 (en) * 2013-10-22 2016-08-23 Polaris Sensor Technologies, Inc. Sky polarization and sun sensor system and method
US10962625B2 (en) * 2013-10-22 2021-03-30 Polaris Sensor Technologies, Inc. Celestial positioning system and method
US9141865B2 (en) * 2013-10-28 2015-09-22 Itseez, Inc. Fast single-pass interest operator for text and object detection
CN103617412B (zh) * 2013-10-31 2017-01-18 电子科技大学 实时车道线检测方法
US9156473B2 (en) * 2013-12-04 2015-10-13 Mobileye Vision Technologies Ltd. Multi-threshold reaction zone for autonomous vehicle navigation
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
JP2015115041A (ja) 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
JP6476831B2 (ja) 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP6340795B2 (ja) * 2013-12-27 2018-06-13 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
JP6547292B2 (ja) 2014-02-05 2019-07-24 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム
JP6485078B2 (ja) * 2014-02-18 2019-03-20 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP6528447B2 (ja) 2014-02-25 2019-06-12 株式会社リコー 視差演算システム及び距離測定装置
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP6519262B2 (ja) 2014-04-10 2019-05-29 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP2016001464A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
JP6648411B2 (ja) 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
CN106471333B (zh) * 2014-07-08 2018-01-23 日产自动车株式会社 缺陷检查装置以及生产系统
CN104391266A (zh) * 2014-11-25 2015-03-04 广东电网有限责任公司电力科学研究院 一种基于机器人的电能表外观检测装置
KR20160114992A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 빈피킹 시스템 및 빈피킹 수행 방법
CN106157283A (zh) * 2015-04-01 2016-11-23 株式会社理光 道路分割物的检测方法和装置
ES2929648T3 (es) 2015-04-30 2022-11-30 Sony Group Corp Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
EP3352134B1 (en) 2015-09-15 2023-10-11 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, image processing method, and program
EP3358369A4 (en) 2015-09-30 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
WO2017057058A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3382639B1 (en) 2015-11-27 2024-02-21 Ricoh Company, Ltd. Image processing device, image pickup device, apparatus control system, distribution data generation method, and program
JP6597792B2 (ja) 2015-11-30 2019-10-30 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6547841B2 (ja) 2015-12-10 2019-07-24 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2017104574A1 (ja) 2015-12-14 2017-06-22 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2017115732A1 (ja) 2015-12-28 2017-07-06 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム
JP6587000B2 (ja) 2016-01-28 2019-10-09 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US9889716B2 (en) 2016-02-03 2018-02-13 Ford Global Technologies, Llc Roadway-crossing-anomaly detection system and method
EP3413267B1 (en) 2016-02-05 2023-06-28 Ricoh Company, Ltd. Object detection device, device control system, objection detection method, and program
EP3416132B1 (en) 2016-02-08 2021-06-16 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, and image processing method and program
CN105678791B (zh) * 2016-02-24 2018-07-17 西安交通大学 一种基于参数不唯一的车道线检测与跟踪方法
EP3428876A4 (en) 2016-03-10 2019-01-23 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, DEVICE CONTROL SYSTEM, IMAGING DEVICE AND PROGRAM
EP3432291A4 (en) 2016-03-15 2019-03-27 Ricoh Company, Ltd. Image Processing Device, Object Recognition Device, Device Control System, Image Processing Method and Program
US20170270378A1 (en) * 2016-03-16 2017-09-21 Haike Guan Recognition device, recognition method of object, and computer-readable recording medium
WO2017158982A1 (ja) 2016-03-18 2017-09-21 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
JP6368958B2 (ja) * 2016-05-12 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2018082424A (ja) 2016-11-04 2018-05-24 パナソニックＩｐマネジメント株式会社 画像形成装置
JP6807546B2 (ja) 2016-11-15 2021-01-06 パナソニックＩｐマネジメント株式会社 画像形成装置
US10628960B2 (en) 2016-11-24 2020-04-21 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium
JP6769263B2 (ja) * 2016-11-25 2020-10-14 日産自動車株式会社 路面判断方法および路面判断装置
JP7119317B2 (ja) 2016-11-28 2022-08-17 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
JP6950170B2 (ja) 2016-11-30 2021-10-13 株式会社リコー 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
JP2018092596A (ja) 2016-11-30 2018-06-14 株式会社リコー 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム
KR101882683B1 (ko) * 2017-07-13 2018-07-30 한국건설기술연구원 Rtk-gnss를 이용한 도로 차선 위치정보 검출 시스템 및 그 방법
EP3701417A1 (en) 2017-10-27 2020-09-02 3M Innovative Properties Company Optical sensor systems
JP6958279B2 (ja) * 2017-11-20 2021-11-02 トヨタ自動車株式会社 情報処理装置
CN108171702A (zh) * 2018-01-18 2018-06-15 平安科技（深圳）有限公司 易损斑块识别方法、应用服务器及计算机可读存储介质
JPWO2019171565A1 (ja) * 2018-03-09 2021-03-18 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
JP7101250B2 (ja) * 2018-09-04 2022-07-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびプレイフィールド逸脱検知方法
US10721458B1 (en) * 2018-12-14 2020-07-21 Ambarella International Lp Stereoscopic distance measurements from a reflecting surface
JP2020106724A (ja) * 2018-12-28 2020-07-09 マクセル株式会社 偏光板付きホルダおよび偏光板付きレンズユニット
JP2020133329A (ja) * 2019-02-22 2020-08-31 株式会社ミツバ 情報表示体、及び、車両の情報取得システム
CN112785595B (zh) * 2019-11-07 2023-02-28 北京市商汤科技开发有限公司 目标属性检测、神经网络训练及智能行驶方法、装置
US11367292B2 (en) 2020-02-24 2022-06-21 Ford Global Technologies, Llc Road marking detection
WO2021229943A1 (ja) * 2020-05-14 2021-11-18 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
JP7286691B2 (ja) * 2021-02-19 2023-06-05 本田技研工業株式会社 判定装置、車両制御装置、判定方法、およびプログラム
CN114500771B (zh) * 2022-01-25 2024-01-30 北京经纬恒润科技股份有限公司 车载成像系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08138036A (ja) * 1994-11-11 1996-05-31 Nissan Motor Co Ltd 先行車両認識装置
JP3341664B2 (ja) * 1997-12-15 2002-11-05 トヨタ自動車株式会社 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体
JP2003011863A (ja) * 2001-07-04 2003-01-15 Yamaha Motor Co Ltd 自動二輪車
JP2003044863A (ja) * 2001-07-30 2003-02-14 Nissan Motor Co Ltd 仕切線認識装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP4157790B2 (ja) 2003-03-31 2008-10-01 名古屋電機工業株式会社 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム
JP4066869B2 (ja) * 2003-04-08 2008-03-26 トヨタ自動車株式会社 車両用画像処理装置
JP2004310625A (ja) * 2003-04-10 2004-11-04 Makoto Kurihara 写真プリントシステム
JP3945494B2 (ja) * 2004-05-11 2007-07-18 トヨタ自動車株式会社 走行レーン認識装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP4390631B2 (ja) * 2004-06-02 2009-12-24 トヨタ自動車株式会社 境界線検出装置
JP2006058122A (ja) 2004-08-19 2006-03-02 Nagoya Electric Works Co Ltd 路面状態判別方法およびその装置
WO2007077682A1 (ja) * 2005-12-28 2007-07-12 Honda Motor Co., Ltd. 車両及びレーンマーク検出装置
JP5610254B2 (ja) * 2008-06-18 2014-10-22 株式会社リコー 撮像装置及び路面状態判別方法
US8244408B2 (en) * 2009-03-09 2012-08-14 GM Global Technology Operations LLC Method to assess risk associated with operating an autonomic vehicle control system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017003257A1 (ko) * 2015-07-02 2017-01-05 이승래 도로 표면 상태 인식 장치 및 방법

Also Published As

Publication number Publication date
JP5664152B2 (ja) 2015-02-04
KR101378911B1 (ko) 2014-03-31
EP2517454A1 (en) 2012-10-31
JP2011150689A (ja) 2011-08-04
CN102668540B (zh) 2015-12-16
CN102668540A (zh) 2012-09-12
US20120242835A1 (en) 2012-09-27
WO2011078300A1 (en) 2011-06-30
BR112012016909A2 (pt) 2018-07-03

Similar Documents

Publication Publication Date Title
KR101378911B1 (ko) 촬상 장치, 차량용 촬상 시스템, 노면 외관 인식 방법 및 물체 식별 장치
US8831286B2 (en) Object identification device
US8908038B2 (en) Vehicle detection device and vehicle detection method
US9317754B2 (en) Object identifying apparatus, moving body control apparatus, and information providing apparatus
Bronte et al. Fog detection system based on computer vision techniques
US9460353B2 (en) Systems and methods for automated water detection using visible sensors
US9344691B2 (en) Imaging device, object detecting apparatus, optical filter, and manufacturing method of optical filter
JP4942509B2 (ja) 車両位置検出方法及び装置
JP5686281B2 (ja) 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP2016196233A (ja) 車両用道路標識認識装置
JP4023333B2 (ja) 車線検出装置
JP5190204B2 (ja) 路面積雪検出装置及び路面積雪検出方法
Burghardt et al. Camera contrast ratio of road markings at dual carriageway roads
KR101501678B1 (ko) 노출 조절을 이용한 차량용 영상 촬영장치 및 그 방법
KR20210025855A (ko) 야간에 저속도 차량에 대한 차량번호 판별장치
KR102399803B1 (ko) 이동 객체 인식 장치를 이용한 차량번호 식별 및 인식이 가능한 cctv 시스템
KR102646288B1 (ko) 관제용 카메라를 활용한 주야간 주행 검지시스템
JP7166096B2 (ja) 画像処理装置および画像処理方法
CN116363614A (zh) 一种用于道路探测及偏振成像的装置及方法
JP2021163222A (ja) 物体検出装置
Gruesbeck Vision Based Lane Detection and Departure
Cabani et al. CONTRIBUTION OF COLOR TO STEREOSCOPIC STEPS FOR ROAD-OBSTACLE DETECTION

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
FPAY Annual fee payment
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee