KR20130052614A - 입체물 검출 장치 및 입체물 검출 방법 - Google Patents

입체물 검출 장치 및 입체물 검출 방법 Download PDF

Info

Publication number
KR20130052614A
KR20130052614A KR1020137004128A KR20137004128A KR20130052614A KR 20130052614 A KR20130052614 A KR 20130052614A KR 1020137004128 A KR1020137004128 A KR 1020137004128A KR 20137004128 A KR20137004128 A KR 20137004128A KR 20130052614 A KR20130052614 A KR 20130052614A
Authority
KR
South Korea
Prior art keywords
dimensional object
line
luminance difference
edge
virtual line
Prior art date
Application number
KR1020137004128A
Other languages
English (en)
Other versions
KR101448411B1 (ko
Inventor
지카오 츠치야
히로유키 후루쇼오
신야 다나카
야스히사 하야카와
Original Assignee
닛산 지도우샤 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛산 지도우샤 가부시키가이샤 filed Critical 닛산 지도우샤 가부시키가이샤
Publication of KR20130052614A publication Critical patent/KR20130052614A/ko
Application granted granted Critical
Publication of KR101448411B1 publication Critical patent/KR101448411B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

입체물 검출 장치(1)는, 카메라(10)와, 계산기(20)를 구비하고 있다. 계산기(20)는, 카메라(10)에 의해 촬상된 화상에 대하여 시점 변환 처리를 행하여 조감 화상을 작성하고, 실공간에 있어서의 연직 방향으로 신장되는 연직 가상선을 따른 복수의 위치마다, 당해 각 위치의 근방의 2개의 화소간의 휘도차를 산출하고, 산출된 위치마다의 휘도차의 연속성에 기초하여, 입체물을 검출한다.

Description

입체물 검출 장치 및 입체물 검출 방법{THREE-DIMENSIONAL OBJECT DETECTION DEVICE AND THREE -DIMENSIONAL OBJECT DETECTION METHOD}
본 발명은, 입체물 검출 장치 및 입체물 검출 방법에 관한 것이다.
종래, 촬상한 화상을 조감시로 시점 변환함으로써 얻어지는 조감도로부터, 실공간에 있어서의 수평 엣지 또는 수직 엣지를 검출하고, 이들 엣지의 수를 이용하여 차량 등의 입체물을 검출하는 입체물 검출 장치가 제안되어 있다. 이 입체물 검출 장치에 있어서, 실공간에 있어서의 수직 엣지는, 카메라의 시점을 통과하는 방사 형상의 직선군으로서 투영되어, 조감도에 나타난다. 이 입체물 검출 장치는, 이 지식에 기초하여, 수직 엣지를 검출하고, 수직 엣지의 양을 이용하여 입체물을 검출하고 있다(특허 문헌 1 참조).
일본 특허 출원 공개 평4-163249호 공보
그러나, 촬상한 화상을 조감시로 시점 변환함으로써 얻어진 조감도 내의 입체물은, 그 높이에 따라서 늘어나 버린다. 이 때문에, 조감도에 있어서, 입체물의 높은 위치에 따라서 나타나는 엣지(실공간에서는 높은 위치의 엣지)는, 입체물의 낮은 위치에 있어서의 엣지(실공간에서는 낮은 위치의 엣지)에 대하여 해상도가 저하되어 버린다. 한편, 입체물의 낮은 위치의 엣지는, 당해 엣지의 폭이 작아져 버린다.
이 때문에, 특허 문헌 1에 기재된 기술과 같이, 3화소×3화소의 미분 필터를 사용하여 엣지를 검출하는 경우에 문제가 발생한다. 입체물의 높은 위치에 관해서는, 엣지의 해상도가 저하되어 있기 때문에, 엣지임에도 불구하고 엣지인 것을 검출할 수 없을 가능성이 있다. 입체물의 낮은 위치의 엣지에 관해서는, 그 엣지의 폭이 작아져 있기 때문에, 노이즈라고 판정해 버려, 엣지인 것을 검출할 수 없을 가능성이 있다. 이와 같은 이유에 의해, 특허 문헌 1에 기재된 입체물 검출 장치는, 입체물의 검출 정밀도가 저하되어 버리는 문제가 있다.
본 발명은, 이와 같은 종래의 과제를 해결하기 위해서 이루어진 것이며, 그 목적으로 하는 바는, 입체물의 검출 정밀도를 향상시키는 것이 가능한 입체물 검출 장치 및 입체물 검출 방법을 제공하는 것에 있다.
상술한 과제를 해결하기 위해서, 본 발명은, 촬상 수단에 의해 촬상된 화상에 대하여 시점 변환 처리를 행하여 조감 화상을 작성하고, 실공간에 있어서의 연직 방향으로 신장되는 연직 가상선을 따른 복수의 위치마다, 당해 각 위치의 근방의 2개의 화소간의 휘도차를 산출하고, 산출된 상기 위치마다의 휘도차의 연속성에 기초하여, 입체물을 검출한다.
본 발명에 따르면, 소정 영역의 화상이 부감시된 경우에 있어서, 실공간에서 연직 방향으로 신장되는 연직 가상선을 설정하고, 당해 연직 가상선을 따른 휘도차의 연속성에 기초하여 입체물을 검출한다. 즉, 본 발명에 따르면, 휘도차가 높은 경우에는 그 개소에 입체물의 엣지가 있을 가능성이 높아, 연속적인 휘도차에 기초하여 입체물을 검출할 수 있다. 특히, 실공간에 있어서 연직 방향으로 신장되는 연직 가상선을 따른 2개의 화소의 비교를 행하기 때문에, 촬상 화상을 부감 화상으로 시점 변환하는 것에 수반되는 입체물이 노면으로부터의 높이에 따라서 늘어나 버리는 현상에 영향을 받는 일이 없다. 따라서, 본 발명에 따르면, 입체물의 검출 정밀도를 향상시킬 수 있다.
도 1은 본 실시 형태에 관한 입체물 검출 장치의 개략 구성도로서, 입체물 검출 장치가 차량에 탑재된 예를 도시하는 개략 블록도이다.
도 2는 제1 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 카메라의 촬상 영역 등을 도시하는 도면으로서, (a)는 검출 영역 등의 위치 관계를 나타내는 상면도이고, (b)는 실공간 상에 있어서의 검출 영역 등의 위치 관계를 나타내는 사시도를 도시하고 있다.
도 3은 제1 실시 형태로서 나타내는 입체물 검출 장치가 기능적인 구성을 도시하는 블록도이다.
도 4는 제1 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 휘도차 산출부의 동작을 도시하는 도면으로서, (a)는 조감 화상에 있어서의 주목선과 참조선과 주목점과 참조점의 위치 관계를 도시하는 도면이고, (b)는 실공간에 있어서의 주목선과 참조선과 주목점과 참조점의 위치 관계를 도시하는 도면이다.
도 5는 제1 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 휘도 산출부의 상세 동작을 도시하는 도면으로서, (a)는 조감 화상에 있어서의 검출 영역을 도시하고, (b)는 조감 화상에 있어서의 주목선과 참조선과 주목점과 참조점의 위치 관계를 도시하는 도면이다.
도 6은 엣지선과 엣지선 상의 휘도 분포를 도시하는 도면이며, (a)는 검출 영역에 입체물(차량)이 존재하고 있는 경우의 엣지선과 엣지선 상의 휘도 분포를 도시하고, (b)는 검출 영역에 입체물이 존재하지 않는 경우의 엣지선과 엣지선 상의 휘도 분포를 도시하고 있다.
도 7은 제1 실시 형태로서 나타내는 입체물 검출 장치에 의한 동작 수순을 나타내는 흐름도이다.
도 8은 제1 실시 형태로서 나타내는 입체물 검출 장치에 의한 동작 수순을 나타내는 흐름도이다.
도 9는 제1 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 엣지 검출 동작을 설명하기 위한 화상예를 도시하는 도면이다.
도 10은 제2 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 휘도 산출부의 상세 동작을 도시하는 도면으로서, (a)는 조감 화상에 있어서의 검출 영역을 도시하고, (b)는 조감 화상에 있어서의 연직 가상선 L과 제1 참조점과 제2 참조점의 위치 관계를 도시하는 도면이다.
도 11은 제2 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 전체 동작을 나타내는 흐름도이다.
도 12는 제2 실시 형태로서 나타내는 입체물 검출 장치에 의한 연직 엣지의 검출 동작을 나타내는 흐름도이다.
도 13은 제2 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 휘도 산출부의 상세 동작을 도시하는 다른 도면으로서, (a)는 조감 화상에 있어서의 검출 영역을 도시하고, (b)는 조감 화상에 있어서의 연직 가상선 L과 제1 참조점과 제2 참조점의 위치 관계를 도시하는 도면이다.
도 14는 제2 실시 형태로서 나타내는 입체물 검출 장치에 있어서, 연직 가상선과 제1 참조점 및 제2 참조점의 관계에 따라서 임계값을 변경하는 것의 설명도이다.
도 15는 제2 실시 형태로서 나타내는 입체물 검출 장치에 의한 다른 연직 엣지의 검출 동작을 나타내는 흐름도이다.
도 16은 제3 실시 형태로서 나타내는 입체물 검출 장치의 기능적인 구성을 도시하는 블록도이다.
도 17은 제3 실시 형태로서 나타내는 입체물 검출 장치에 있어서의 엣지 강도 산출부의 동작을 도시하는 도면이며, (a)는 입체물이 존재하는 부감 화상 상에 있어서의 검출 영역과 주목선 La와 엣지 강도의 관계를 도시하는 도면이고, (b)는 입체물이 존재하지 않는 부감 화상 상에 있어서의 검출 영역과 주목선 La와 엣지 강도의 관계를 도시하는 도면이다.
도 18은 제3 실시 형태로서 나타내는 입체물 검출 장치에 의한 동작 수순을 나타내는 흐름도이다.
이하, 본 발명의 실시 형태를 도면에 기초하여 설명한다. 도 1은 본 실시 형태에 관한 입체물 검출 장치(1)의 개략 구성도이다. 본 실시 형태는, 입체물 검출 장치(1)가 자차량 V1에 탑재되는 경우의 예를 도시하고 있다. 도 1에 도시한 바와 같이, 입체물 검출 장치(1)는, 카메라(촬상 수단)(10)와, 계산기(20)를 구비하고 있다.
카메라(10)는, 자차량 V1의 후단부에 있어서의 높이 h의 개소에 설치된다. 카메라(10)는, 그 광축이 수평으로부터 하향으로 각도 θ로 되도록 설치되어 있다. 카메라(10)는, 이 설치 위치로부터 소정 영역을 촬상한다. 카메라(10)는, 촬상한 화상을 계산기(20)에 공급한다. 계산기(20)는, 카메라(10)로부터 공급된 화상을 이용하여, 자차량 V1로부터 후방측에 있어서의 입체물의 유무를 검출한다.
도 2는 도 1에 도시한 카메라(10)의 촬상 범위 등을 도시하는 도면이다. 도 2의 (a)는 상면도를 도시한다. 도 2의 (b)는 자차량 V1로부터 후방측에 있어서의 실공간 상의 사시도를 도시하고 있다. 도 2의 (a)에 도시한 바와 같이, 카메라(10)는, 소정의 화각 a로 되어 있다. 카메라(10)는, 소정의 화각 a에 포함되는 자차량 V1로부터 후방측을 촬상한다. 카메라(10)의 화각 a는, 카메라(10)의 촬상 범위에 자차량 V1이 주행하는 차선 외에, 인접하는 차선도 포함되도록 설정되어 있다.
계산기(20)는, 카메라(10)에 의해 촬상한 촬상 화상 중, 검출 대상으로서의 입체물의 검출 영역 A1, A2 내의 부위에 대하여 각종 처리를 실행한다. 이에 의해, 계산기(20)는, 검출 영역 A1, A2 내에 입체물(특히 타차량 V2)이 존재하는지의 여부를 판정한다. 검출 영역 A1, A2는, 상면으로부터 보면 사다리꼴 형상으로 되어 있다. 검출 영역 A1, A2의 위치, 크기 및 형상은, 거리 d1 내지 d4에 기초하여 결정된다.
거리 d1은, 자차량 V1로부터 접지선 L1, L2까지의 거리이다. 접지선 L1, L2는, 자차량 V1이 주행하는 차선에 인접하는 차선에 존재하는 입체물이 지면에 접촉하는 선을 의미한다. 본 실시 형태에 있어서는, 자차량 V1의 후방측에 있어서 자차량 V1의 차선에 인접하는 좌우의 차선을 주행하는 타차량 V2 등(2륜차 등을 포함함)을 검출하는 것이 목적이다. 이 때문에, 자차량 V1로부터 백선 W까지의 거리 d11 및 백선 W로부터 타차량 V2가 주행한다고 예측되는 위치까지의 거리 d12로부터, 타차량 V2의 접지선 L1, L2로 되는 위치인 거리 d1을 대략 고정적으로 결정해 둘 수 있다.
또한, 거리 d1에 대해서는, 고정적으로 결정되어 있는 경우에 한하지 않고, 가변으로 해도 된다. 이 경우, 계산기(20)는, 백선 인식 등의 기술에 의해 자차량 V1에 대한 백선 W의 위치를 인식하고, 인식한 백선 W의 위치에 기초하여 거리 d11을 결정한다. 이에 의해, 거리 d1은, 결정된 거리 d11을 이용하여 가변적으로 설정된다.
본 실시 형태에 있어서는, 타차량 V2가 주행하는 위치(백선 W로부터의 거리 d12) 및 자차량 V1이 주행하는 위치(백선 W로부터의 거리 d11)는 대략 정해져 있기 때문에, 거리 d1은 고정적으로 결정되어 있는 것으로 한다.
거리 d2는, 자차량 V1의 후단부로부터 차량 진행 방향으로 신장되는 거리이다. 이 거리 d2는, 검출 영역 A1, A2가 적어도 카메라(10)의 화각 a 내에 들어가도록 결정되어 있다. 특히, 본 실시 형태에 있어서, 거리 d2는, 화각 a로 구분되는 범위에 접하도록 설정되어 있다.
거리 d3은, 검출 영역 A1, A2의 차량 진행 방향에 있어서의 길이를 나타내는 거리이다. 이 거리 d3은, 검출 대상으로 되는 입체물의 크기에 기초하여 결정된다. 본 실시 형태에 있어서는, 검출 대상이 타차량 V2 등이기 때문에, 거리 d3은, 타차량 V2를 포함하는 길이로 설정된다.
거리 d4는, 도 2의 (b)에 도시한 바와 같이, 실공간에 있어서 타차량 V2 등의 타이어를 포함하도록 설정된 높이를 나타내는 거리이다. 거리 d4는, 조감 화상에 있어서는 도 2의 (a)에 도시한 만큼의 길이로 된다. 또한, 거리 d4는, 조감 화상에 있어서 좌우의 인접 차선보다도 더 인접하는 차선(즉 2차선 옆의 차선)을 포함하지 않는 만큼의 길이로 되는 것이 바람직하다. 자차량 V1의 차선으로부터 2차선 옆의 차선을 포함해 버리면, 자차량 V1이 주행하고 있는 차선인 자차선의 좌우의 인접 차선에 타차량 V2가 존재하는 것인지, 2차선 옆의 차선에 타차량 V2가 존재하는 것인지에 대하여, 구별이 되지 않게 되어 버리기 때문이다.
이상과 같이, 거리 d1 내지 거리 d4가 결정된다. 이에 의해, 검출 영역 A1, A2의 위치, 크기 및 형상이 결정된다. 구체적으로 설명하면, 거리 d1에 의해, 사다리꼴을 이루는 검출 영역 A1, A2의 상변 b1의 위치가 결정된다. 거리 d2에 의해, 상변 b1의 시점 위치 C1이 결정된다. 거리 d3에 의해, 상변 b1의 종점 위치 C2가 결정된다. 카메라(10)로부터 시점 위치 C1을 향하여 신장되는 직선 L3에 의해, 사다리꼴을 이루는 검출 영역 A1, A2의 측변 b2가 결정된다. 마찬가지로, 카메라(10)로부터 종점 위치 C2를 향하여 신장되는 직선 L4에 의해, 사다리꼴을 이루는 검출 영역 A1, A2의 측변 b3이 결정된다. 거리 d4에 의해, 사다리꼴을 이루는 검출 영역 A1, A2의 하변 b4의 위치가 결정된다. 이와 같이, 각 변 b1 내지 b4에 의해 둘러싸인 영역이 검출 영역 A1, A2로 된다. 이 검출 영역 A1, A2는, 도 2의 (b)에 도시한 바와 같이, 자차량 V1로부터 후방측에 있어서의 실공간 상에서는 정사각형(직사각형)으로 된다.
또한, 본 실시 형태에 있어서 검출 영역 A1, A2는, 조감시된 상태에서는 사다리꼴 형상이지만, 이에 한정되지 않고, 조감시된 상태에서 정사각형 등의 다른 형상이어도 된다.
도 3은 도 1에 도시한 계산기(20)의 상세를 도시하는 블록도이다. 또한, 도 3에 있어서는, 접속 관계를 명확하게 하기 위해서 카메라(10)에 대해서도 도시하는 것으로 한다.
도 3에 도시한 바와 같이, 계산기(20)는, 시점 변환부(시점 변환 수단)(21)와, 휘도차 산출부(휘도차 산출 수단)(22)와, 엣지선 검출부(엣지선 검출 수단)(23)와, 입체물 검출부(입체물 검출 수단)(24)를 포함한다. 또한, 계산기(20)는, CPU나 RAM, ROM 등으로 이루어지는 컴퓨터이다. 계산기(20)는, 미리 설정된 프로그램에 따라서 화상 처리 등을 행함으로써, 시점 변환부(21), 휘도차 산출부(22), 엣지선 검출부(23), 입체물 검출부(24)와 같은 각 부의 기능을 실현한다.
시점 변환부(21)는, 카메라(10)에 의한 촬상에 의해 얻어진 소정 영역의 촬상 화상 데이터를 입력한다. 시점 변환부(21)는, 입력한 촬상 화상 데이터에 대하여, 조감시되는 상태의 조감 화상 데이터로 시점 변환 처리를 행한다. 조감 화상으로 되는 상태란, 상공으로부터 예를 들어 연직 하향(또는, 약간 경사 하향)으로 내려다보는 가상 카메라의 시점으로부터 본 상태이다. 이 시점 변환 처리는, 예를 들어 일본 특허 출원 공개 제2008-219063호 공보에 기재된 기술에 의해 실현된다.
휘도차 산출부(22)는, 조감 화상에 포함되는 입체물의 엣지를 검출하기 위해서, 시점 변환부(21)에 의해 시점 변환된 조감 화상 데이터에 대하여, 휘도차의 산출을 행한다. 휘도차 산출부(22)는, 실공간에 있어서의 연직 방향으로 신장되는 연직 가상선을 따른 복수의 위치마다, 당해 각 위치의 근방의 2개의 화소간의 휘도차를 산출한다.
휘도차 산출부(22)는, 실공간에 있어서의 연직 방향으로 신장되는 연직 가상선을 1개만 설정하는 방법과, 연직 가상선을 2개 설정하는 방법 중 어느 하나에 의해 휘도차를 산출한다.
연직 가상선을 2개 설정하는 구체적인 방법에 대하여 설명한다. 휘도차 산출부(22)는, 시점 변환된 조감 화상에 대하여 실공간에서 연직 방향으로 신장되는 선분에 해당하는 제1 연직 가상선과, 제1 연직 가상선과 상이하며 실공간에서 연직 방향으로 신장되는 선분에 해당하는 제2 연직 가상선을 설정한다. 휘도차 산출부(22)는, 제1 연직 가상선 상의 점과 제2 연직 가상선 상의 점의 휘도차를, 제1 연직 가상선 및 제2 연직 가상선을 따라서 연속적으로 구한다. 이하, 이 휘도차 산출부(22)의 동작에 대하여 상세하게 설명한다.
휘도차 산출부(22)는, 도 4의 (a)에 도시한 바와 같이, 실공간에서 연직 방향으로 신장되는 선분에 해당하고, 또한, 검출 영역 A1을 통과하는 제1 연직 가상선 La(이하, 주목선 La라 함)를 설정한다. 휘도차 산출부(22)는, 주목선 La와 상이하며, 실공간에서 연직 방향으로 신장되는 선분에 해당하고, 또한, 검출 영역 A1을 통과하는 제2 연직 가상선 Lr(이하, 참조선 Lr이라 함)을 설정한다. 참조선 Lr은, 실공간에 있어서의 소정 거리만큼 주목선 La로부터 이격하는 위치에 설정된다. 또한, 실공간에서 연직 방향으로 신장되는 선분에 해당하는 선이란, 조감 화상에 있어서는 카메라(10)의 위치 Ps로부터 방사 형상으로 퍼지는 선으로 된다.
휘도차 산출부(22)는, 주목선 La 상에 주목점 Pa(제1 연직 가상선 상의 점)를 설정한다. 휘도차 산출부(22)는, 참조선 Lr 상에 참조점 Pr(제2 연직 가상선 상의 점)을 설정한다.
주목선 La, 주목점 Pa, 참조선 Lr, 참조점 Pr은, 실공간 상에 있어서 도 4의 (b)에 도시한 바와 같은 관계로 된다. 도 4의 (b)로부터 명백해지는 바와 같이, 주목선 La 및 참조선 Lr은, 실공간 상에 있어서 연직 방향으로 신장되어 있다. 주목점 Pa와 참조점 Pr은, 실공간 상에 있어서 대략 동일한 높이로 설정된다. 또한, 주목점 Pa와 참조점 Pr은 반드시 엄밀하게 동일한 높이일 필요는 없고, 주목점 Pa와 참조점 Pr이 동일한 높이로 간주할 수 있을 정도의 오차는 허용되는 것은 물론이다.
휘도차 산출부(22)는, 주목점 Pa와 참조점 Pr의 휘도차를 구한다. 만약, 주목점 Pa와 참조점 Pr의 휘도차가 크다라고 하면, 주목점 Pa와 참조점 Pr 사이에 엣지가 존재한다고 생각된다. 이 때문에, 도 3에 도시한 엣지선 검출부(23)는, 주목점 Pa와 참조점 Pr의 휘도차에 기초하여 엣지선을 검출한다.
보다 상세하게 설명한다. 도 5는 도 3에 도시한 휘도차 산출부(22)의 상세 동작을 도시하는 제2 도면이다. 도 5의 (a)는 조감시된 상태의 조감 화상을 도시하고, 도 5의 (b)는 도 5의 (a)에 도시한 조감 화상의 일부 확대도이다. 또한, 도 5에 대해서도 검출 영역 A1만을 도시하여 설명하지만, 검출 영역 A2에 대해서도 마찬가지로 휘도차를 산출할 수 있다.
카메라(10)가 촬상한 촬상 화상 내에 타차량 V2가 찍혀 있는 경우, 도 5의 (a)에 도시한 바와 같이, 조감 화상 내의 검출 영역 A1에 타차량 V2가 나타난다. 도 5의 (b)에 도 5의 (a) 중의 영역 B1의 확대도를 도시한 바와 같이, 조감 화상 상에 있어서, 타차량 V2의 타이어의 고무 부분 상에 주목선 La가 설정되어 있던 것으로 한다.
이 상태에 있어서, 휘도차 산출부(22)는, 우선, 참조선 Lr을 설정한다. 참조선 Lr은, 주목선 La로부터 실공간 상에 있어서 소정 거리만큼 이격된 위치에, 연직 방향을 따라서 설정된다. 구체적으로는, 본 실시 형태에 관한 입체물 검출 장치(1)에 있어서, 참조선 Lr은, 주목선 La로부터 실공간 상에 있어서 10㎝만큼 이격된 위치에 설정된다. 이에 의해, 참조선 Lr은, 조감 화상 상에 있어서, 예를 들어 타차량 V2의 타이어의 고무로부터 10㎝ 상당만큼 이격된 타차량 V2의 타이어의 휠 상에 설정된다.
다음에, 휘도차 산출부(22)는, 주목선 La 상에 복수의 주목점 Pa1 내지 PaN을 설정한다. 예를 들어, 도 5의 (b)에 있어서는, 설명의 편의상, 6개의 주목점 Pa1 내지 Pa6(이하, 임의의 점을 나타내는 경우에는 간단히 주목점 Pai라고 함)을 설정하고 있다. 또한, 주목선 La 상에 설정하는 주목점 Pa의 수는 임의이어도 된다. 이하의 설명에서는, N개의 주목점 Pa가 주목선 La 상에 설정된 것으로서 설명한다.
다음에, 휘도차 산출부(22)는, 실공간 상에 있어서 각 주목점 Pa1 내지 PaN과 동일한 높이로 되도록 각 참조점 Pr1 내지 PrN을 설정한다.
다음에, 휘도차 산출부(22)는, 동일한 높이끼리의 주목점 Pa와 참조점 Pr의 휘도차를 산출한다. 이에 의해, 휘도차 산출부(22)는, 실공간에 있어서의 연직 방향으로 신장되는 연직 가상선을 따른 복수의 위치(1 내지 N)마다, 2개의 화소간의 휘도차를 산출한다. 휘도차 산출부(22)는, 예를 들어 제1 주목점 Pa1과는, 제1 참조점 Pr1과의 사이에서 휘도차를 산출하고, 제2 주목점 Pa22와는, 제2 참조점 Pr2와의 사이에서 휘도차를 산출하게 된다. 이에 의해, 휘도차 산출부(22)는, 주목선 La 및 참조선 Lr을 따라서, 연속적으로 휘도차를 구한다. 즉, 휘도차 산출부(22)는, 제3 내지 제N 주목점 Pa33 내지 PaN과 제3 내지 제N 참조점 Pr3 내지 PrN의 휘도차를 순차적으로 구해 가게 된다.
휘도차 산출부(22)는, 검출 영역 A1 내에서 주목선 La를 어긋나게 하면서, 상기의 참조선 Lr의 설정, 주목점 Pa 및 참조점 Pr의 설정, 휘도차의 산출이라는 처리를 반복하여 실행한다. 즉, 휘도차 산출부(22)는, 주목선 La 및 참조선 Lr의 각각을, 실공간 상에 있어서 접지선의 연장 방향으로 동일 거리만큼 위치를 변화시키면서 상기의 처리를 반복하여 실행한다. 휘도차 산출부(22)는, 예를 들어 전회 처리에 있어서 참조선 Lr로 되어 있던 선을 주목선 La로 설정하고, 이 주목선 La에 대하여 참조선 Lr을 설정하여, 순차적으로 휘도차를 구해 가게 된다.
다시 도 3을 참조한다. 엣지선 검출부(23)는, 휘도차 산출부(22)에 의해 산출된 연속적인 휘도차로부터, 엣지선을 검출한다. 예를 들어, 도 5의 (b)에 도시한 경우, 제1 주목점 Pa1과 제1 참조점 Pr1은, 동일한 타이어 부분에 위치하기 때문에, 휘도차는 작다. 한편, 제2 내지 제6 주목점 Pa22 내지 Pa6은 타이어의 고무 부분에 위치하고, 제2 내지 제6 참조점 Pr2 내지 Pr6은 타이어의 휠 부분에 위치한다. 따라서, 제2 내지 제6 주목점 Pa2 내지 Pa6과 제2 내지 제6 참조점 Pr2 내지 Pr6의 휘도차는 커진다. 이 때문에, 엣지선 검출부(23)는, 휘도차가 큰 제2 내지 제6 주목점 Pa2 내지 Pa66과 제2 내지 제6 참조점 Pr2 내지 Pr6 사이에 엣지선이 존재하는 것을 검출할 수 있다.
구체적으로는, 엣지선 검출부(23)는, 엣지선을 검출할 때에, 우선, 하기의 수학식 1에 따라서, i번째의 주목점 Pai(좌표 (xi, yi))와 i번째의 참조점 Pri(좌표 (xi', yi'))의 휘도차로부터, i번째의 주목점 Pai에 속성 부여를 행한다.
Figure pct00001
상기 수학식 1에 있어서, t는 임계값을 나타내고 있다. I(xi, yi)는 i번째의 주목점 Pai의 휘도값을 나타내고 있다. I(xi', yi')는 i번째의 참조점 Pri의 휘도값을 나타내고 있다. 상기 수학식 1에 의하면, 주목점 Pai의 휘도값이, 참조점 Pri에 임계값 t를 더한 휘도값보다도 높은 경우에는, 당해 주목점 Pai의 속성 s(xi, yi)는 "1"로 된다. 한편, 주목점 Pai의 휘도값이, 참조점 Pri로부터 임계값 t를 감한 휘도값보다도 낮은 경우에는, 당해 주목점 Pai의 속성 s(xi, yi)는 "-1"로 된다. 주목점 Pai의 휘도값과 참조점 Pri의 휘도값이 그 이외의 관계인 경우에는, 주목점 Pai의 속성 s(xi, yi)는 "0"으로 된다.
다음에 엣지선 검출부(23)는, 하기의 수학식 2에 기초하여, 주목선 La를 따른 속성 s의 연속성 c(xi, yi)로부터, 주목선 La가 엣지선인지의 여부를 판정한다.
Figure pct00002
주목점 Pai의 속성 s(xi, yi)와 인접하는 주목점 Pai+1의 속성 s(xi+1, yi+1)이 동일한 경우에는, 연속성 c(xi, yi)는 "1"로 된다. 주목점 Pai의 속성 s(xi, yi)와 인접하는 주목점 Pai+1의 속성 s(xi+1, yi+1)이 동일하지 않은 경우에는, 연속성 c(xi, yi)는 "0"으로 된다.
다음에 엣지선 검출부(23)는, 주목선 La 상의 모든 주목점 Pa의 연속성 c에 대하여 총합을 구한다. 엣지선 검출부(23)는, 구한 연속성 c의 총합을 주목점 Pa의 수 N으로 나눔으로써, 연속성 c를 정규화한다. 엣지선 검출부(23)는, 정규화한 값이 임계값 θ를 초과한 경우에, 주목선 La를 엣지선으로 판단한다. 또한, 임계값 θ는, 미리 실험 등에 의해 설정된 값이다.
즉, 엣지선 검출부(23)는, 하기의 수학식 3에 기초하여 주목선 La가 엣지선인지의 여부를 판단한다.
Figure pct00003
그리고, 엣지선 검출부(23)는, 검출 영역 A1 상에 그려진 주목선 La 모두에 대하여 엣지선인지의 여부를 판단한다.
다시 도 3을 참조한다. 입체물 검출부(24)는, 엣지선 검출부(23)에 의해 검출된 엣지선의 양에 기초하여 입체물을 검출한다. 상기한 바와 같이, 본 실시 형태에 관한 입체물 검출 장치(1)는, 실공간 상에 있어서 연직 방향으로 신장되는 엣지선을 검출한다. 연직 방향으로 신장되는 엣지선이 많이 검출된다고 하는 것은, 검출 영역 A1, A2에 입체물이 존재할 가능성이 높다고 하는 것이다. 이 때문에, 입체물 검출부(24)는, 엣지선 검출부(23)에 의해 검출된 엣지선의 양에 기초하여 입체물을 검출한다.
또한, 입체물 검출부(24)는, 입체물을 검출하는 것에 앞서서, 엣지선 검출부(23)에 의해 검출된 엣지선이 올바른 것인지의 여부를 판정한다. 입체물 검출부(24)는, 엣지선 상의 부감 화상의 엣지선을 따른 휘도 변화가 소정의 임계값보다도 큰지의 여부를 판정한다. 엣지선 상의 부감 화상의 휘도 변화가 임계값보다도 큰 경우에는, 당해 엣지선이 오판정에 의해 검출된 것으로 판정한다. 한편, 엣지선 상의 부감 화상의 휘도 변화가 임계값보다도 크지 않은 경우에는, 당해 엣지선이 올바른 것으로 판정한다. 또한, 이 임계값은 실험 등에 의해 미리 설정된 값이다.
도 6은 엣지선을 휘도 분포를 도시하는 도면이다. 도 6의 (a)는 검출 영역 A1에 입체물로서의 타차량 V2가 존재한 경우의 엣지선 및 휘도 분포를 도시한다. 도 6의 (b)는 검출 영역 A1에 입체물이 존재하지 않는 경우의 엣지선 및 휘도 분포를 도시하고 있다.
도 6의 (a)에 도시한 바와 같이, 조감 화상에 있어서 타차량 V2의 타이어 고무 부분에 설정된 주목선 La가 엣지선이라고 판단되어 있는 것으로 한다. 이 경우, 주목선 La 상의 부감 화상의 휘도 변화는 완만한 것으로 된다. 이것은, 카메라(10)에 의해 촬상된 화상이 조감 화상(조감시)으로 시점 변환된 것에 의해, 타차량 V2의 타이어가 부감 화상 내에서 늘어진 것에 의한다.
한편, 도 6의 (b)에 도시한 바와 같이, 조감 화상에 있어서 노면에 그려진 「50」이라는 백색 문자 부분에 설정된 주목선 La가 엣지선이라고 오판정되어 있는 것으로 한다. 이 경우, 주목선 La 상의 부감 화상의 휘도 변화는 기복이 큰 것으로 된다. 이것은, 엣지선 상에 백색 문자에 있어서의 휘도가 높은 부분과, 노면 등의 휘도가 낮은 부분이 혼재되어 있기 때문이다.
이상과 같은 주목선 La 상의 휘도 분포의 상위에 기초하여, 엣지선 검출부(23)는, 엣지선이 오판정에 의해 검출된 것인지의 여부를 판정한다. 입체물 검출부(24)는, 엣지선을 따른 휘도 변화가 소정의 임계값보다도 큰 경우에는, 당해 엣지선이 오판정에 의해 검출된 것으로 판정한다. 그리고, 당해 엣지선은, 입체물의 검출에는 사용하지 않는다. 이에 의해, 노면 상의 「50」 등의 백색 문자나 도로 가장자리의 잡초 등이 엣지선으로서 판정되어 버려, 입체물의 검출 정밀도가 저하되는 것을 억제한다.
구체적으로는, 입체물 검출부(24)는, 하기의 수학식 4, 5 중 어느 하나에 의해, 엣지선의 휘도 변화를 산출한다. 이 엣지선의 휘도 변화는, 실공간 상에 있어서의 연직 방향의 평가값에 상당한다. 하기의 수학식 4는, 주목선 La 상의 i번째의 휘도값 I(xi, yi)와 인접하는 i+1번째의 휘도값 I(xi+1, yi+1)의 차분의 제곱의 합계값에 의해 휘도 분포를 평가한다. 하기의 수학식 5는, 주목선 La 상의 i번째의 휘도값 I(xi, yi)와 인접하는 i+1번째의 휘도값 I(xi+1, yi+1)의 차분의 절대값의 합계값에 의해 휘도 분포를 평가한다.
Figure pct00004
Figure pct00005
또한, 수학식 5에 한하지 않고, 하기의 수학식 6과 같이, 임계값 t2를 사용하여 인접하는 휘도값의 속성 b를 2치화하고, 당해 2치화한 속성 b를 모든 주목점 Pa에 대하여 총합해도 된다.
Figure pct00006
주목점 Pai의 휘도값과 참조점 Pri의 휘도값의 휘도차의 절대값이 임계값 t2보다도 큰 경우, 당해 주목점 Pa(xi, yi)의 속성 b는 "1"로 된다. 그 이외의 관계인 경우에는, 주목점 Pai의 속성 b(xi, yi)는 "0"으로 된다. 이 임계값 t2는, 주목선 La가 동일한 입체물 상에 없는 것을 판정하기 위해서 실험 등에 의해 미리 설정되어 있다. 그리고, 입체물 검출부(24)는, 주목선 La 상의 전체 주목점 Pa에 대한 속성 b를 총합하여, 연직 상당 방향의 평가값을 구하여, 엣지선이 올바른 것인지를 판정한다.
다음에, 본 실시 형태에 관한 입체물 검출 방법에 대하여 설명한다. 도 7 및 도 8은 본 실시 형태에 관한 입체물 검출 방법의 상세를 나타내는 흐름도이다. 또한, 도 7 및 도 8에 있어서는, 편의상, 검출 영역 A1을 대상으로 하는 처리에 대하여 설명하지만, 검출 영역 A2에 대해서도 마찬가지로 처리할 수 있다.
도 7에 도시한 바와 같이, 우선 스텝 S1에 있어서, 카메라(10)는, 화각 a 및 설치 위치에 의해 특정된 소정 영역을 촬상한다.
다음에 휘도차 산출부(22)는, 스텝 S2에 있어서, 스텝 S1에서 카메라(10)에 의해 촬상된 촬상 화상 데이터를 입력하고, 시점 변환을 행하여 조감 화상 데이터를 생성한다.
다음에 휘도차 산출부(22)는, 스텝 S3에 있어서, 검출 영역 A1 상에 주목선 La를 설정한다. 이때, 휘도차 산출부(22)는, 실공간 상에 있어서 연직 방향으로 신장되는 선에 상당하는 선을 주목선 La로서 설정한다.
다음에 휘도차 산출부(22)는, 스텝 S4에 있어서, 검출 영역 A1 상에 참조선 Lr을 설정한다. 이때, 휘도차 산출부(22)는, 실공간 상에 있어서 연직 방향으로 신장되는 선분에 해당하고, 또한, 주목선 La와 실공간 상에 있어서 소정 거리 이격된 선을 참조선 Lr로서 설정한다.
다음에 휘도차 산출부(22)는, 스텝 S5에 있어서, 주목선 La 상에 복수의 주목점 Pa를 설정한다. 이때에, 휘도차 산출부(22)는, 엣지선 검출부(23)에 의한 엣지 검출 시에 문제가 되지 않을 정도의 수의 주목점 Pa를 설정한다.
또한, 휘도차 산출부(22)는, 스텝 S6에 있어서, 실공간 상에 있어서 주목점 Pa와 참조점 Pr이 대략 동일한 높이로 되도록, 참조점 Pr을 설정한다. 이에 의해, 주목점 Pa와 참조점 Pr이 대략 수평 방향으로 배열되게 되어, 실공간 상에 있어서 연직 방향으로 신장되는 엣지선을 검출하기 쉬워진다.
다음에 휘도차 산출부(22)는, 스텝 S7에 있어서, 실공간 상에 있어서 동일한 높이로 되는 주목점 Pa와 참조점 Pr의 휘도차를 산출한다.
다음에 엣지선 검출부(23)는, 상기의 수학식 1에 따라서, 각 주목점 Pa의 속성 s를 산출한다. 다음에 엣지선 검출부(23)는, 스텝 S8에 있어서, 상기의 수학식 2에 따라서, 각 주목점 Pa의 속성 s의 연속성 c를 산출한다.
다음에 엣지선 검출부(23)는, 스텝 S9에 있어서, 상기 수학식 3에 따라서, 연속성 c의 총합을 정규화한 값이 임계값 θ보다 큰지의 여부를 판정한다. 정규화한 값이 임계값 θ보다도 크다고 판단한 경우(S9 : "예"), 엣지선 검출부(23)는, 스텝 S10에 있어서, 당해 주목선 La를 엣지선으로서 검출한다. 그리고, 처리는, 스텝 S11로 이행한다. 정규화한 값이 임계값 θ보다 크지 않다고 판단한 경우(S9 : "아니오"), 엣지선 검출부(23)는, 당해 주목선 La를 엣지선으로서 검출하지 않고, 처리는, 스텝 S11로 이행한다.
스텝 S11에 있어서, 계산기(20)는, 검출 영역 A1 상에 설정 가능한 주목선 La 모두에 대하여 상기의 스텝 S3 내지 스텝 S10의 처리를 실행하였는지의 여부를 판단한다. 모든 주목선 La에 대하여 상기 처리를 하지 않았다고 판단한 경우(S11 : "아니오"), 스텝 S3으로 처리를 되돌려, 새롭게 주목선 La를 설정하고, 스텝 S11까지의 처리를 반복한다. 한편, 모든 주목선 La에 대하여 상기 처리를 하였다고 판단한 경우(S11 : "예"), 처리는 도 8의 스텝 S12로 이행한다.
도 8의 스텝 S12에 있어서, 입체물 검출부(24)는, 도 7의 스텝 S10에 있어서 검출된 각 엣지선에 대하여, 당해 엣지선을 따른 휘도 변화를 산출한다. 입체물 검출부(24)는, 상기 수학식 4, 수학식 5, 수학식 6 중 어느 하나의 식에 따라서, 엣지선의 휘도 변화를 산출한다.
다음에 입체물 검출부(24)는, 스텝 S13에 있어서, 엣지선 중, 휘도 변화가 소정의 임계값보다도 큰 엣지선을 제외한다. 즉, 휘도 변화가 큰 엣지선은 올바른 엣지선이 아니라고 판정하고, 엣지선을 입체물의 검출에는 사용하지 않는다. 이것은, 상술한 바와 같이, 검출 영역 A1에 포함되는 노면 상의 문자나 도로 가장자리의 잡초 등이 엣지선으로서 검출되어 버리는 것을 억제하기 위해서이다. 따라서, 소정의 임계값이란, 미리 실험 등에 의해 구해진, 노면 상의 문자나 도로 가장자리의 잡초 등에 의해 발생하는 휘도 변화에 기초하여 설정된 값으로 된다.
다음에 입체물 검출부(24)는, 스텝 S14에 있어서, 엣지선의 양이 소정값 이상인지의 여부를 판단한다. 또한, 상기의 소정값은, 미리 실험 등에 의해 구해져 설정된 값이다. 예를 들어, 검출 대상의 입체물로서 4륜차를 설정한 경우, 당해 소정값은, 미리 실험 등에 의해 검출 영역 A1 내에서 출현한 4륜차의 엣지선의 수에 기초하여 설정된다.
엣지선의 양이 소정값 이상이라고 판정한 경우(S14 : "예"), 입체물 검출부(24)는, 스텝 S15에 있어서, 검출 영역 A1 내에 입체물이 존재한다고 검출한다. 한편, 엣지선의 양이 소정값 이상이 아니라고 판정한 경우(S14 : "아니오"), 입체물 검출부(24)는, 검출 영역 A1 내에 입체물이 존재하지 않는다고 판단한다. 그 후, 도 7 및 도 8에 도시하는 처리는 종료한다.
이상과 같이, 본 실시 형태에 관한 입체물 검출 장치(1)에 의하면, 검출 영역 A1, A2에 존재하는 입체물을 검출하기 위해서, 조감 화상에 대하여 실공간에 있어서 연직 방향으로 신장되는 선분으로서의 연직 가상선을 설정한다. 그리고, 입체물 검출 장치(1)는, 연직 가상선을 따른 복수의 위치마다, 당해 각 위치의 근방의 2개의 화소의 휘도차를 산출하고, 당해 휘도차의 연속성에 기초하여 입체물의 유무를 판정할 수 있다.
구체적으로는, 입체물 검출 장치(1)는, 조감 화상에 있어서의 검출 영역 A1, A2에 대하여, 실공간에 있어서 연직 방향으로 신장되는 선분에 해당하는 주목선 La와, 주목선 La와는 상이한 참조선 Lr을 설정한다. 입체물 검출 장치(1)는, 주목선 La 상의 주목점 Pa와 참조선 Lr 상의 참조점 Pr의 휘도차를 주목선 La 및 참조선 Lr을 따라서 연속적으로 구한다. 이와 같이, 점끼리의 휘도차를 연속적으로 구함으로써, 주목선 La와 참조선 Lr의 휘도차를 구한다. 주목선 La와 참조선 Lr의 휘도차가 높은 경우에는, 주목선 La의 설정 개소에 입체물의 엣지가 있을 가능성이 높다. 이에 의해, 입체물 검출 장치(1)는, 연속적인 휘도차에 기초하여 입체물을 검출할 수 있다. 특히, 실공간에 있어서 연직 방향으로 신장되는 연직 가상선끼리와의 휘도 비교를 행하기 위해서, 부감 화상으로 변환함으로써 입체물이 노면으로부터의 높이에 따라서 늘어나 버려도, 입체물의 검출 처리가 영향을 받는 일은 없다. 따라서, 이 입체물 검출 장치(1)에 의하면, 입체물의 검출 정밀도를 향상시킬 수 있다.
또한, 이 입체물 검출 장치(1)에 의하면, 연직 가상선 부근의 대략 동일한 높이의 2개의 점의 휘도차를 구한다. 구체적으로는, 실공간 상에서 대략 동일한 높이로 되는 주목선 La 상의 주목점 Pa와 참조선 Lr 상의 참조점 Pr로부터 휘도차를 구한다. 이 때문에, 이 입체물 검출 장치(1)에 의하면, 연직 방향으로 신장되는 엣지가 존재하는 경우에 있어서의 휘도차를 명확하게 검출할 수 있다.
또한, 이 입체물 검출 장치(1)에 의하면. 주목선 La 상의 주목점 Pa와 참조선 Lr 상의 참조점 Pr의 휘도차에 기초하여 주목점 Pa에 속성 부여를 행하고, 주목선 La에 따른 속성의 연속성 c에 기초하여 당해 주목선 La가 엣지선인지를 판단한다. 이 때문에, 입체물 검출 장치(1)에 의하면, 휘도가 높은 영역과 휘도가 낮은 영역의 경계를 엣지선으로서 검출하여, 인간의 자연스러운 감각을 따른 엣지 검출을 행할 수 있다.
이 효과에 대하여 상세하게 설명한다. 도 9는 도 3에 도시한 엣지선 검출부(23)의 처리를 설명하는 화상예를 도시하는 도면이다. 이 화상예는, 휘도가 높은 영역과 휘도가 낮은 영역이 반복되는 줄무늬 모양을 나타내는 제1 줄무늬 모양(101)과, 휘도가 낮은 영역과 휘도가 높은 영역이 반복되는 줄무늬 모양을 나타내는 제2 줄무늬 모양(102)이 인접하고 있다. 또한, 이 화상예는, 제1 줄무늬 모양(101)의 휘도가 높은 영역과 제2 줄무늬 모양(102)의 휘도가 낮은 영역이 인접함과 함께, 제1 줄무늬 모양(101)의 휘도가 낮은 영역과 제2 줄무늬 모양(102)의 휘도가 높은 영역이 인접하고 있다. 이 제1 줄무늬 모양(101)과 제2 줄무늬 모양(102)의 경계에 위치하는 부위(103)는, 인간의 감각에 따라서는 엣지로는 지각되지 않는 경향이 있다.
이에 대하여, 휘도가 낮은 영역과 휘도가 높은 영역이 인접하고 있기 때문에, 휘도차만으로 엣지를 검출하면, 당해 부위(103)는 엣지로서 인식되어 버린다. 그러나, 엣지선 검출부(23)는, 부위(103)에 있어서의 휘도차 외에, 당해 휘도차의 속성에 연속성이 있는 경우에만 부위(103)를 엣지선으로서 판정한다. 따라서, 엣지선 검출부(23)는, 인간의 감각으로서 엣지선으로서 인식하지 않는 부위(103)를 엣지선으로서 인식하는 오판정을 억제할 수 있어, 인간의 감각에 따른 엣지 검출을 행할 수 있다.
또한, 이 입체물 검출 장치(1)는, 엣지선 검출부(23)에 의해 검출된 엣지선의 휘도 변화가 소정의 임계값보다도 큰 경우에는, 당해 엣지선이 오판정에 의해 검출된 것으로 판단한다. 카메라(10)에 의해 취득된 촬상 화상을 조감 화상으로 변환한 경우, 당해 촬상 화상에 포함되는 입체물은, 늘어난 상태로 부감 화상에 나타나는 경향이 있다. 예를 들어, 상술한 바와 같이 타차량 V2의 타이어가 늘어난 경우, 타이어라고 하는 1개의 부위가 늘어나기 때문에, 확대된 방향에 있어서의 부감 화상의 휘도 변화는 작은 경향으로 된다. 이에 대하여, 노면에 그려진 문자 등을 엣지선으로서 오판정한 경우, 부감 화상에는, 문자 부분과 같은 휘도가 높은 영역과 노면 부분과 같은 휘도가 낮은 영역이 혼합되어 포함된다. 이 경우, 부감 화상에 있어서, 확대된 방향의 휘도 변화는 커지는 경향이 있다. 따라서, 입체물 검출 장치(1)는, 엣지선을 따른 부감 화상의 휘도 변화를 판정함으로써, 오판정에 의해 검출된 엣지선을 인식할 수 있어, 입체물의 검출 정밀도를 높게 할 수 있다.
다음에, 제2 실시 형태에 관한 입체물 검출 장치(1)에 대하여 설명한다. 또한, 상술한 제1 실시 형태와 마찬가지의 부분에 대해서는 동일 번호를 부여함으로써 그 상세한 설명을 생략한다.
제2 실시 형태로서 나타내는 입체물 검출 장치(1)는, 부감 화상에 대하여 1개의 연직 가상선을 설정하여 입체물을 검출하는 점에서, 제1 실시 형태와는 상이하다. 이 입체물 검출 장치(1)는, 휘도차 산출부(22)에 의해, 연직 가상선으로부터 실공간에 있어서의 등거리만큼 이격한 2개의 화소의 휘도차를 산출한다.
구체적으로는, 도 10의 (a)에 도시한 바와 같이, 카메라(10)의 위치 Ps로부터, 실공간 상에 있어서 연직 방향으로 신장되는 1개의 연직 가상선 L을 설정한다. 또한, 도 10에서는, 연직 가상선 L을 1개만 도시하고 있지만, 이 연직 가상선 L은, 검출 영역 A1에 있어서 방사선 형상으로 복수 설정된다. 검출 영역 A1 중 일부를 확대한 영역 B1을 도 10의 (b)에 도시한다. 또한, 도 10에 있어서는, 설명의 편의상, 검출 영역 A1에 대하여만 설명하지만, 검출 영역 A2에 대해서도 마찬가지로 처리를 행하는 것으로 한다.
도 10의 (b)에 도시한 바와 같이, 휘도차 산출부(22)는, 연직 가상선 L을 넘어 실공간 상에 있어서의 수평 방향으로 2개의 화소를 설정한다. 구체적으로는, 연직 가상선 L로부터 실공간 상에 있어서의 수평 방향으로 제1 참조점 Pa1 내지 Pa6(이하, 임의의 점을 나타내는 경우에는 간단히 제1 참조점 Pai라고 함)을 설정하고, 당해 제1 참조점으로부터 연직 가상선 L을 넘어 제2 참조점 Pb1 내지 Pb6을 설정한다. 즉, 제1 참조점 Pa1 내지 Pa6 및 제2 참조점 Pb1 내지 Pb6(이하, 임의의 점을 나타내는 경우에는 간단히 제2 참조점 Pbi라고 함)은, 연직 가상선 L과 마찬가지로, 카메라(10)의 위치 Ps로부터 방사선으로 신장되는 선 상에 설정된다.
이에 의해, 휘도차 산출부(22)는, 제1 참조점 Pai와 제2 화소군 Pbi의 실공간 상에 있어서의 거리를 동일하게 되도록 설정한다. 따라서, 부감 화상에 있어서, 화소 Pa1과 화소 Pb1의 거리 D1, 화소 Pa2와 화소 Pb2의 거리 D2, 화소 Pa3과 화소 Pb3의 거리 D3, 화소 Pa4와 화소 Pb4의 거리 D4, 화소 Pa5와 화소 Pb5의 거리 D5, 화소 Pa6과 화소 Pb6의 거리 D6으로 될수록, 화상 내 거리는 길어진다.
이와 같이, 휘도차 산출부(22)는, 연직 가상선 L 부근에 위치하는 실공간 상에서 대략 동일한 높이로 되고, 또한, 연직 가상선 L로부터 실공간에 있어서의 등거리만큼 이격한 2개의 화소 Pai, Pbi를 설정한다. 휘도차 산출부(22)는, 2개의 화소간 Pai와 Pbi의 화소차를 산출한다. 이에 의해, 휘도차 산출부(22)는, 실공간에 있어서의 연직 방향으로 신장되는 연직 가상선 L을 따른 복수의 위치마다, 당해 각 위치의 근방의 2개의 화소간의 휘도차를 산출한다.
이에 의해, 엣지선 검출부(23)는, 휘도차 산출부(22)에 의해 산출된 휘도차를 이용하여 엣지선을 검출한다. 입체물 검출부(24)는, 엣지선 검출부(23)에 의해 검출된 엣지선을 이용하여 입체물을 검출한다.
이와 같은 입체물 검출 장치(1)의 동작을, 도 11 및 도 12를 참조하여 설명한다.
도 11에 의하면, 우선 스텝 S41에 있어서, 계산기(20)에 의해 카메라(10)에 의해 촬상된 촬상 화상 데이터를 도입한다.
다음 스텝 S42에 있어서, 시점 변환부(21)는, 스텝 S41에서 도입된 촬상 화상 데이터에 대하여 시점 변환 처리를 행한다. 이에 의해 시점 변환부(21)는, 부감 화상 데이터를 작성한다.
다음 스텝 S43에 있어서, 휘도차 산출부(22) 및 엣지선 검출부(23)는, 연직 가상선 L에 있어서의 좌측에 설정한 제1 참조점 Pai(좌측 참조점)를 이용하여, 엣지선(좌측 연직 엣지)을 검출한다. 다음 스텝 S44에 있어서, 연직 가상선 L에 있어서의 우측에 설정한 제2 참조점 Pbi(우측 참조점)를 이용하여, 엣지선(우측 연직 엣지)을 검출한다. 또한, 이 스텝 S43 및 스텝 S44의 처리는, 도 12를 참조하여 후술한다.
다음 스텝 S45에 있어서, 입체물 검출부(24)는, 스텝 S43에서 검출된 좌측 연직 엣지와 스텝 S44에서 검출된 우측 연직 엣지를 이용하여, 검출 영역 A1에 있어서의 입체물을 검출한다.
다음에, 도 12를 참조하여 좌측 연직 엣지 및 우측 연직 엣지를 검출하는 처리를 설명한다. 또한, 도 12의 설명에서는, 좌측 연직 엣지 및 우측 연직 엣지를 총칭하여 간단히 "연직 엣지"라 칭한다.
우선 휘도차 산출부(22)는, 스텝 S51에 있어서, 제1 참조점 Pai 및 제2 참조점 Pbi를 설정하기 위한 기준으로 되는 연직 가상선 L을 설정한다. 이 연직 가상선 L은, 카메라(10)의 위치 Ps를 통과하는 방사 방향이며, 실공간 상에 있어서 연직 방향으로 신장되도록 설정된다. 연직 가상선 L은, 스텝 S51의 처리 때마다, 검출 영역 A1의 내측선을 소정의 간격으로 가로지르도록 설정된다.
다음 스텝 S52에 있어서, 속성 s, 속성 s의 전회값 s_pre, 변화 횟수 카운터 d, 스코어 카운트 n을 초기화한다.
다음 스텝 S53에 있어서, 휘도차 산출부(22)는, 제1 참조점 Pai 및 제2 참조점 Pbi를 설정한다. 이때, 휘도차 산출부(22)는, 도 10의 (b)에 도시한 바와 같이, 연직 가상선 L을 넘어 실공간 상에 있어서 동일한 높이 또한 등거리로 되도록 각 참조점을 설정한다. 이에 의해, 휘도차 산출부(22)는, 검출 영역 A1에 있어서 외측으로 될수록 간격이 길어지도록 제1 참조점 Pai 및 제2 참조점 Pbi를 설정한다.
다음 스텝 S54에 있어서는, 연직 가상선 L의 위치마다, 속성 s(휘도 패턴)의 판정을 행한다. 이때, 휘도차 산출부(22)에 의해 대응하는 제1 참조점 Pai와 제2 참조점 Pbi의 휘도차를 구한다. 엣지선 검출부(23)는, 휘도차 산출부(22)에 의해 구해진 휘도차의 관계와 상술한 수학식 1에 따라서, 속성 s(휘도 패턴)를 설정한다. 이 속성 s는, 예를 들어 제1 참조점 Pai와 제2 참조점 Pbi를 연결하는 선분과 연직 가상선 L이 교차하는 위치의 속성 s이다.
속성 s는, 제1 참조점 Pai의 휘도가 제2 참조점 Pbi보다도 임계값 t를 초과하여 커진 경우에, "1"로 된다. 한편, 제1 참조점 Pai의 휘도값이, 제2 참조점 Pbi로부터 임계값 t를 감한 휘도값보다도 낮은 경우에, 당해 속성 s는 "-1"로 된다. 제1 참조점 Pai의 휘도값과 제2 참조점 Pbi의 휘도값이 그 이외의 관계인 경우에는, 속성 s는 "0"으로 된다.
다음 스텝 S55에 있어서, 엣지선 검출부(23)는, 스텝 S54에 있어서 속성 s가 소정값인 경우에만, 스코어 n으로서 카운트 업한다. 이 속성 s의 소정값은, "1" 또는 "-1" 중 어느 것이어도 된다. 즉, 엣지선 검출부(23)는, 제1 참조점 Pai와 제2 참조점 Pbi 중 한쪽이 밝거나 또는 어둡다고 하는 합계를 카운트한다. 또한, 속성 s가 "0"이었던 경우에는 스코어 n을 카운트 업하지 않는다.
다음 스텝 S56에 있어서, 엣지선 검출부(23)는, 속성 s의 변화 횟수 d를 카운트한다. 이때, 금회의 스텝 S54에서 판정된 속성 s와, 전회에 스텝 S54에서 판정된 속성 pre_s를 비교한다. 이 속성 pre_s는, 속성 s를 구한 제1 참조점 Pai 및 제2 참조점 Pbi와 연직 가상선 L을 따라서 인접하고 있는 제1 참조점 Pai 및 제2 참조점 Pbi로부터 구해진 속성 s이다. 속성 s와 속성 pre_s가 동일한 값인 경우, 변화 횟수 d는 카운트 업된다.
다음 스텝 S57에 있어서, 엣지선 검출부(23)는 속성 s를 기억한다.
다음 스텝 S58에 있어서, 엣지선 검출부(23)는, 스텝 S51에서 설정된 기준선으로서의 연직 가상선 L에 설정된 모든 참조점에 대하여 스텝 S53 내지 스텝 S57의 처리를 실행하였는지의 여부를 판정한다. 모든 참조점에 대하여 처리를 실행하지 않은 경우에는, 스텝 S53으로 처리는 되돌아간다. 이 재차의 스텝 S53에 있어서는, 다음 참조점을 설정한다. 한편, 모든 참조점에 대하여 처리를 실행하였다고 판정한 경우에는 스텝 S59로 처리를 진행시킨다. 스텝 S59에 있어서는, 검출 영역 A1에 설정되는 모든 연직 가상선 L에 대하여 스텝 S52 내지 스텝 S58의 처리를 실행하였는지의 여부를 판정한다. 모든 연직 가상선 L에 대하여 처리를 실행하였다고 판정한 경우에는 스텝 S51로 처리를 진행시킨다. 이 재차의 스텝 S51에 있어서, 다음 연직 가상선 L을 설정한다. 한편, 모든 연직 가상선 L에 대하여 처리를 실행하였다고 판정한 경우에는 스텝 S60으로 처리를 진행시킨다.
스텝 S60에 있어서, 엣지선 검출부(23)는, 검출 영역 A1에 나타난 연직 엣지를 판정한다. 이때, 엣지선 검출부(23)는, 동일한 속성 s가 판정된 것을 나타내는 스코어 n과, 제1 참조점 Pai와 제2 참조점 Pbi의 조의 총수 N 및 변화 횟수 d에 기초하여 연직 엣지를 판정한다. 구체적으로는, 엣지선 검출부(23)는, 스코어 n/총수 N>θ이고, 또한, 5>d인 경우에, 당해 연직 가상선 L을 연직 엣지라고 판정한다.
스코어 n/총수 N은, 스코어 n을 참조점의 총수로 나눔으로써, 스코어 n을 정규화하고 있다. 이에 의해, 엣지선 검출부(23)는, 참조점의 총수 N에 대하여 제1 참조점 Pai와 제2 참조점 Pbi의 관계가 동일하다(밝거나 또는 어둡다)고 판정된 비율이 큰 경우에는, 연직 엣지가 있다고 추정할 수 있다.
또한, 엣지선 검출부(23)는, 변화 횟수 d가 상한값(이 예에서는 5)보다도 적은 경우, 당해 연직 가상선 L이 연직 엣지라고 추정할 수 있다. 이 변화 횟수 d의 상한값은, 검출 영역 A1 내에서 속성 s가 크게 변화하는 물체는 도로 가장자리의 잡초나 노면 표시 기호ㆍ문자 등일 가능성이 높은 것을 고려하여 설정된다. 따라서, 이 상한값은, 미리 실험 등에 의해, 잡초나 노면 표시 기호ㆍ문자 등을 연직 엣지라고 판단하지 않도록 설정되어 있다.
한편, 엣지선 검출부(23)는, 이 조건을 만족시키지 않는 경우, 연직 가상선 L이 연직 엣지가 아니라고 판정한다.
이상과 같이, 이 입체물 검출 장치(1)에 의하면, 제1 실시 형태와 마찬가지로, 실공간에 있어서 연직 방향으로 신장되는 연직 가상선을 설정하고, 휘도차의 연속성에 기초하여 입체물을 검출하므로, 입체물의 검출 정밀도를 향상시킬 수 있다.
또한, 이 입체물 검출 장치(1)에 의하면, 단일의 연직 가상선 L에 대하여 2개의 제1 참조점 Pai 및 제2 참조점 Pbi를 설정하고, 당해 제1 참조점 Pai와 제2 참조점 Pbi의 화상 내 거리를 실공간에 있어서의 거리로 하고 있다. 이에 의해, 이 입체물 검출 장치(1)에 의하면, 제1 실시 형태와 같이 2개의 주목선 La 및 참조선 Lr을 설정하지 않아도, 연직 엣지를 검출하여 입체물을 검출할 수 있다. 따라서, 이 입체물 검출 장치(1)에 의하면, 제1 실시 형태보다도 처리 부담을 적게 할 수 있다.
다음에, 제2 실시 형태로서 나타내는 다른 입체물 검출 장치(1)에 대하여 설명한다. 이 제2 실시 형태로서 나타내는 입체물 검출 장치(1)는, 연직 가상선 L을 1개만 설정하는 점에서 일치한다. 이 입체물 검출 장치(1)는, 도 13의 (a)에 도시한 부감 화상을 일부 확대한 도 13의 (b)에 도시한 바와 같이, 연직 가상선 L을 따라서 부감 화상 상에 설정하는 제1 참조점 Pai와 제2 참조점 Pbi의 모든 거리를, 동일한 거리 D로 하고 있다.
즉, 도 14에 도시한 바와 같이, 휘도차 산출부(22)는, 카메라(10)의 위치 Ps로부터 방사선 형상으로 연직 가상선 L을 설정한다. 한편, 휘도차 산출부(22)는, 제1 참조점 Pai가 배치되는 가상선 l1 및 제2 참조점 Pbi가 배치되는 l2를, 연직 가상선 L과 평행하게 되도록 설정한다. 이 가상선 l1 및 가상선 l2는, 연직 가상선 L로부터 가장 가까운 검출 영역 A1 내의 참조점 Pa1, Pb1이, 카메라(10)의 위치 Ps로부터 연직 방향으로 신장되는 방사선 형상의 가상선 l과 교차하는 위치에 설정된다.
이와 같이 제1 참조점 Pai 및 제2 참조점 Pbi를 설정한 경우, 제1 참조점 Pa1과 제2 참조점 Pb1의 거리 및 제1 참조점 Pa2와 제2 참조점 Pb2의 거리는, 모두 d로 된다. 한편, 카메라의 위치 Ps로부터 신장되는 방사선 형상의 가상선 l1, l2 상이며, 제1 참조점 Pa1과 제2 참조점 Pb2를 연결하는 선 상의 점 Pa'와 Pb'의 거리는, d보다도 긴 d'로 된다. 이것으로부터, 속성 s를 판정하기 위한 임계값 t는, 검출 영역 A1에 있어서 외측으로 될수록(자차량 V1로부터 이격할수록), 작게 설정된다. 구체적으로는, 제1 참조점 Pa1 및 제2 참조점 Pb1의 속성 s를 판정하는 임계값 t는, 제1 화소군 Pa2 및 제2 참조점 Pb2의 속성 s를 판정하는 임계값 t'보다도 큰 값으로 된다. 또한, t'는, t×(d/d')로 된다. 따라서, 엣지선 검출부(23)는, 상술한 하기 수학식 1과 마찬가지의 연산에 의해, 연직 가상선 L에 있어서의 위치마다의 속성 s를 판정한다.
즉, 엣지선 검출부(23)는, 제1 참조점 Pai 및 제2 참조점 Pbi의 조마다 임계값 t를 설정한다. 그리고, 제1 참조점 Pai의 휘도값이, 제2 참조점 Pbi에 임계값 t를 더한 휘도값보다도 높은 경우에는, 속성 s(xi, yi)는 "1"로 된다. 한편, 제1 참조점 Pai의 휘도값이, 제2 참조점 Pbi로부터 임계값 t를 감한 휘도값보다도 낮은 경우에는, 속성 s(xi, yi)는 "-1"로 된다. 제1 참조점 Pai의 휘도값과 제2 참조점 Pbi의 휘도값이 그 이외의 관계인 경우에는, 속성 s(xi, yi)는 "0"으로 된다.
이와 같은 입체물 검출 장치(1)는, 도 15에 도시한 바와 같은 동작을 행하여, 연직 엣지를 검출한다. 이 입체물 검출 장치(1)의 동작은, 도 12에 도시한 동작에 대하여, 스텝 S53'가 상이하다.
이 스텝 S53'는, 휘도차 산출부(22)에 의해, 연직 가상선 L에 평행한 가상선l1, l2 상에 제1 참조점 Pai 및 제2 참조점 Pbi를 설정한다. 또한, 휘도차 산출부(22)는, 설정한 제1 참조점 Pai 및 제2 참조점 Pbi마다, 임계값 t를 설정한다. 이에 의해, 엣지선 검출부(23)는, 스텝 S54에 있어서, 제1 참조점 Pai와 제2 참조점 Pbi 사이의 휘도차와, 당해 제1 참조점 Pai 및 제2 참조점 Pbi마다 설정된 임계값 t를 비교하여, 속성 s를 판정한다.
이상과 같이, 이 입체물 검출 장치(1)에 의하면, 제1 실시 형태와 마찬가지로, 실공간에 있어서 연직 방향으로 신장되는 연직 가상선을 설정하고, 휘도차의 연속성에 기초하여 입체물을 검출하므로, 입체물의 검출 정밀도를 향상시킬 수 있다.
또한, 이 입체물 검출 장치(1)에 의하면, 연직 가상선 L로부터 부감 화상에 있어서의 등거리만큼 이격한 2개의 화소의 휘도차를 산출하고, 연직 가상선 L을 따른 복수의 위치가 실공간에 있어서의 상방으로 될수록, 휘도차에 기초하여 입체물을 판정하는 임계값을 낮게 한다. 이에 의해, 이 입체물 검출 장치(1)에 의하면, 촬상 화상을 시점 변환에 의해 실공간에 있어서의 상방의 화상이 늘어나도, 임계값 t를 변경하여, 엣지를 검출할 수 있다. 또한, 이 입체물 검출 장치(1)에 의하면, 제1 실시 형태와 같이 2개의 주목선 La 및 참조선 Lr을 설정하지 않아도 연직 엣지를 검출하여, 입체물을 검출할 수 있다. 따라서, 이 입체물 검출 장치(1)에 의하면, 제1 실시 형태보다도 처리 부담을 적게 할 수 있다.
또한, 이 입체물 검출 장치(1)에서는, 임계값을 일정하게 한 채로, 연직 가상선의 위치를 변경하면서 연직 가상선을 넘는 2개의 화소의 휘도차를 검출해도, 연직 방향으로 신장되는 엣지선을 검출하여, 입체물을 검출할 수도 있다.
다음에, 제3 실시 형태에 관한 입체물 검출 장치(1)에 대하여 설명한다. 또한, 상술한 실시 형태와 마찬가지의 부분에 대해서는 동일 번호를 부여함으로써 그 상세한 설명을 생략한다.
도 16은 제3 실시 형태에 관한 입체물 검출 장치(1)에 있어서의 계산기(20)의 기능적인 구성을 도시하는 블록도이다. 또한, 도 10에 있어서는, 접속 관계를 명확하게 하기 위해서 카메라(10)에 대해서도 도시하는 것으로 한다.
도 16에 도시한 바와 같이, 계산기(20)는, 제1 실시 형태의 엣지선 검출부(23) 대신에, 엣지 강도 산출부(엣지 강도 산출 수단)(25)를 구비하고 있다.
엣지 강도 산출부(25)는, 휘도차 산출부(22)에 의해 산출된 연속적인 휘도차로부터, 주목선 La의 엣지 강도를 산출한다. 이 엣지 강도란, 보다 엣지선 같음을 나타내는 수치이다. 구체적으로는, 엣지 강도는, 하기의 수학식 7에 의해 산출된다.
Figure pct00007
상기 수학식 7에 있어서, c(xi, yi)는, 주목점 Pai의 속성의 연속성 c이다. N은, 주목선 La에 설정된 주목점 Pa의 수이다. 수학식 7로부터, 엣지 강도는, 각 주목선 La의 연속성 c의 총합을, 주목점 Pa의 설정수로 나눈 값으로 된다.
도 17은 도 16에 도시한 엣지 강도 산출부(25)에 의한 처리를 도시하는 개념도이다. 도 17의 (a)는 검출 영역 A1에 입체물로서의 타차량 V2가 존재하고 있는 경우의 엣지 강도를 나타낸다. 도 17의 (b)는 검출 영역 A1에 입체물이 존재하지 않는 경우의 엣지 강도를 나타내고 있다. 또한, 도 17에 있어서는, 검출 영역 A1만을 도시하여 엣지 강도 산출부(25)의 설명을 하지만, 검출 영역 A2에 대해서도 마찬가지로 처리를 행할 수 있다.
도 17의 (a)에 도시한 바와 같이, 검출 영역 A1에 타차량 V2가 존재하는 경우, 상술한 수학식 7과 같이 주목점 Pa의 속성의 연속성 c가 높아지기 때문에, 각 주목선 La의 엣지 강도는 높아지는 경향이 있다. 따라서, 검출 영역 A1에 포함되는 복수의 엣지 강도의 총합은 높아진다.
한편, 도 17의 (b)에 도시한 바와 같이, 검출 영역 A1에 입체물이 존재하지 않는 경우, 상술한 수학식 7과 같이 주목점 Pa의 속성의 연속성 c가 낮아지기 때문에, 각 주목선 La의 엣지 강도는 낮아지는 경향이 있다. 따라서, 검출 영역 A1에 포함되는 복수의 엣지 강도의 총합은 낮아진다.
이상과 같이, 입체물 검출부(24)는, 주목선 La의 엣지 강도의 총합이 소정의 임계값 이상인 경우, 검출 영역 A1에 입체물이 존재한다고 검출할 수 있다. 그런데, 입체물의 촬상 환경 등에 따라서는, 실공간에 있어서의 연직 방향의 엣지가 약해져 부감 화상 내에 표현될 가능성이 있다. 이 경우에는, 입체물 검출 장치(1)는, 입체물을 검출할 수 없게 될 가능성이 있다. 그러나, 제3 실시 형태에 관한 입체물 검출 장치(1)에 의하면, 엣지 강도에 기초하여 입체물을 검출하므로, 약한 엣지밖에 부감 화상 내에 나타나지 않았던 경우라도, 약한 엣지가 수많이 모임으로써, 입체물을 검출할 수 있다.
도 18은 제3 실시 형태에 관한 입체물 검출 방법의 상세를 도시하는 흐름도이다. 또한, 도 18에 있어서는, 편의상, 검출 영역 A1을 대상으로 하는 처리에 대하여 설명하지만, 검출 영역 A2에 대해서도 마찬가지로 처리할 수 있다.
입체물 검출 장치(1)는, 우선, 스텝 S21 내지 스텝 S28의 처리에 있어서, 도 7에 도시한 스텝 S1 내지 스텝 S8과 마찬가지의 처리를 실행한다.
이 스텝 S28의 다음 스텝 S29에 있어서, 엣지 강도 산출부(25)는, 상기의 수학식 7에 따라서, 엣지 강도를 산출한다.
다음에 계산기(20)는, 스텝 S30에 있어서, 검출 영역 A1 상에 설정 가능한 주목선 La 모두에 대하여 엣지 강도를 산출하였는지의 여부를 판단한다. 주목선 La 모두에 대하여 검출 영역 A1 상에 설정 가능한 주목선 La 모두에 대하여 엣지 강도를 산출하였는지의 여부를 판정한다. 주목선 La 모두에 대하여 엣지 강도를 산출하지 않았다고 판단한 경우(S30 : "아니오"), 처리는 스텝 S23으로 이행한다. 한편, 주목선 La 모두에 대하여 엣지 강도를 산출하였다고 판단한 경우(S30 : "예"), 처리는 스텝 S31로 이행한다.
스텝 S31에 있어서, 입체물 검출부(24)는, 엣지 강도 산출부(25)에 의해 산출된 엣지 강도의 총합을 산출한다.
다음에 입체물 검출부(24)는, 스텝 S32에 있어서, 스텝 S31에서 산출한 엣지 강도의 총합이 임계값 이상인지의 여부를 판단한다. 엣지 강도의 총합이 임계값 이상이라고 판단한 경우(S32: "예"), 입체물 검출부(24)는, 스텝 S33에 있어서, 검출 영역 A1 내에 입체물이 존재하는 것을 검출한다. 한편, 엣지 강도의 총합이 임계값 이상이 아니라고 판단한 경우(S32: "아니오"), 입체물 검출부(24)는, 검출 영역 A1 내에 입체물이 존재하지 않는다고 판단한다. 그 후, 도 12에 도시한 처리는 종료한다.
이상과 같이, 이 제3 실시 형태에 관한 입체물 검출 장치(1) 및 입체물 검출 방법에 의하면, 제1 실시 형태와 마찬가지로, 실공간에 있어서 연직 방향으로 신장되는 연직 가상선을 설정하고, 휘도차의 연속성에 기초하여 입체물을 검출하므로, 입체물의 검출 정밀도를 향상시킬 수 있다.
또한, 이 제3 실시 형태에 관한 입체물 검출 장치(1)에 의하면, 연직 가상선을 설정하여 취득한 연속적인 휘도차로부터 주목선 La의 엣지 강도를 산출하고, 당해 엣지 강도에 기초하여 입체물을 검출한다. 따라서, 이 입체물 검출 장치(1)에 의하면, 입체물의 촬상 환경 등에 따라서는 연직 방향의 엣지가 약하게 화상 내에 나타나도, 입체물을 검출할 수 없는 것을 억제할 수 있다. 즉, 이 입체물 검출 장치(1)에 의하면, 부감 화상 내에 나타난 실공간에 있어서 연직 방향에 있어서의 엣지가 약해도, 당해 약한 엣지가 수많이 모임으로써 엣지 강도에 기초하여 입체물을 검출할 수 있다. 따라서, 이 입체물 검출 장치(1)에 의하면, 촬상 환경 등에 의해 입체물의 검출 정밀도가 저하되어 버리는 사태를 억제할 수 있다.
또한, 상술한 실시 형태는 본 발명의 일례이다. 이 때문에, 본 발명은, 상술한 실시 형태에 한정되는 것은 아니고, 이 실시 형태 이외라도, 본 발명에 관한 기술적 사상을 일탈하지 않는 범위이면, 설계 등에 따라서 다양한 변경이 가능한 것은 물론이다.
예를 들어, 상기의 실시 형태에 있어서, 계산기(20)는 시점 변환부(21)를 구비함으로써 조감 화상 데이터를 생성하고 있다. 그러나, 이것에 한정되는 것은 아니다. 예를 들어, 촬상 화상 데이터에 대하여 상기 실시 형태와 마찬가지로 처리를 실행하면 반드시 명확하게 조감 화상 데이터를 작성하지 않아도 된다.
본 발명에 따르면, 주위의 입체물을 검출하는 산업상의 분야에 이용할 수 있다.
1 : 입체물 검출 장치
10 : 카메라
20 : 계산기
21 : 시점 변환부
22 : 휘도차 산출부
23 : 엣지선 검출부
24 : 입체물 검출부
25 : 엣지 강도 산출부

Claims (10)

  1. 소정 영역을 촬상하는 촬상 수단과,
    상기 촬상 수단에 의해 촬상된 화상에 대하여 시점 변환 처리를 행하여 조감 화상을 작성하는 시점 변환 수단과,
    실공간에 있어서의 연직 방향으로 신장되는 연직 가상선을 따른 복수의 위치마다, 당해 각 위치의 근방의 2개의 화소간의 휘도차를 산출하는 휘도차 산출 수단과,
    상기 휘도차 산출 수단에 의해 산출된 상기 위치마다의 휘도차의 연속성에 기초하여, 입체물을 검출하는 입체물 검출 수단을 구비하는 것을 특징으로 하는, 입체물 검출 장치.
  2. 제1항에 있어서,
    상기 휘도차 산출 수단은, 상기 연직 가상선 부근에 위치하는 실공간 상에서 대략 동일한 높이로 되는 2개의 화소간의 휘도차를 산출하는 것을 특징으로 하는, 입체물 검출 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 연직 가상선은, 상기 실공간에 있어서의 연직 방향으로 신장되는 제1 연직 가상선과, 상기 제1 연직 가상선으로부터 실공간에 있어서의 소정 거리만큼 이격하여 상기 실공간에 있어서의 연직 방향으로 신장되는 제2 연직 가상선을 포함하고,
    상기 휘도차 산출 수단은, 상기 제1 연직 가상선 상의 화소와 상기 제2 연직 가상선 상의 화소의 휘도차를 산출하는 것을 특징으로 하는, 입체물 검출 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 휘도차 산출 수단은, 상기 연직 가상선으로부터 실공간에 있어서의 등거리만큼 이격한 2개의 화소의 휘도차를 산출하는 것을 특징으로 하는, 입체물 검출 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 휘도차 산출 수단은, 상기 연직 가상선으로부터 상기 부감 화상에 있어서의 등거리만큼 이격한 2개의 화소의 휘도차를 산출하고,
    상기 입체물 검출 수단은, 상기 연직 가상선을 따른 복수의 위치가 실공간에 있어서의 상방으로 될수록, 상기 휘도차 산출 수단에 의해 산출된 휘도차에 기초하여 입체물을 판정하는 임계값을 낮게 하는 것을 특징으로 하는, 입체물 검출 장치.
  6. 제1항에 있어서,
    상기 휘도차 산출 수단에 의해 산출된 복수의 위치간에 있어서의 휘도차의 연속성에 기초하여, 엣지선을 검출하는 엣지선 검출 수단을 구비하고,
    상기 입체물 검출 수단은, 상기 엣지선 검출 수단에 의해 검출된 엣지선의 양에 기초하여, 입체물을 검출하는 것을 특징으로 하는, 입체물 검출 장치.
  7. 제6항에 있어서,
    상기 엣지선 검출 수단은, 상기 휘도차 산출 수단에 의해 산출된 연직 가상선 상의 위치마다의 휘도차에 기초하여 당해 연직 가상선 상의 위치마다 속성을 부여하고, 당해 속성의 연속성에 기초하여 당해 연직 가상선이 엣지선인지의 여부를 판단하는 것을 특징으로 하는, 입체물 검출 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 입체물 검출 수단은, 상기 엣지선 검출 수단에 의해 검출된 엣지선을 따른 화소의 휘도 변화가 소정값보다도 큰 경우에, 당해 엣지선을 입체물의 검출에는 사용하지 않는 것을 특징으로 하는, 입체물 검출 장치.
  9. 제1항에 있어서,
    상기 휘도차 산출 수단에 의해 산출된 휘도차에 기초하여, 상기 연직 가상선의 엣지선 강도를 산출하는 엣지 강도 산출 수단을 구비하고,
    상기 입체물 검출 수단은, 상기 엣지 강도 산출 수단에 의해 산출된 엣지 강도의 총합에 기초하여, 입체물을 검출하는 것을 특징으로 하는, 입체물 검출 장치.
  10. 소정 영역을 촬상하고,
    상기 촬상된 화상에 대하여 시점 변환 처리를 행하여 조감 화상을 작성하고,
    실공간에 있어서의 연직 방향으로 신장되는 연직 가상선을 따른 복수의 위치마다, 당해 각 위치의 근방의 2개의 화소간의 휘도차를 산출하고,
    상기 산출된 상기 위치마다의 휘도차의 연속성에 기초하여, 입체물을 검출하는 것을 특징으로 하는, 입체물 검출 방법.
KR1020137004128A 2010-08-19 2011-07-29 입체물 검출 장치 및 입체물 검출 방법 KR101448411B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-183645 2010-08-19
JP2010183645 2010-08-19
PCT/JP2011/067456 WO2012023412A1 (ja) 2010-08-19 2011-07-29 立体物検出装置及び立体物検出方法

Publications (2)

Publication Number Publication Date
KR20130052614A true KR20130052614A (ko) 2013-05-22
KR101448411B1 KR101448411B1 (ko) 2014-10-07

Family

ID=45605071

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137004128A KR101448411B1 (ko) 2010-08-19 2011-07-29 입체물 검출 장치 및 입체물 검출 방법

Country Status (10)

Country Link
US (1) US10397544B2 (ko)
EP (1) EP2608149B1 (ko)
JP (1) JP5413516B2 (ko)
KR (1) KR101448411B1 (ko)
CN (1) CN103080976B (ko)
BR (1) BR112013003851B1 (ko)
MX (1) MX2013001976A (ko)
MY (1) MY160274A (ko)
RU (1) RU2540849C2 (ko)
WO (1) WO2012023412A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5459324B2 (ja) * 2012-01-17 2014-04-02 株式会社デンソー 車両周辺監視装置
JP5743020B2 (ja) * 2012-03-01 2015-07-01 日産自動車株式会社 立体物検出装置
MX2014010405A (es) * 2012-03-02 2014-09-22 Nissan Motor Dispositivo de deteccion de objetos tridimensionales.
EP2821980A4 (en) * 2012-03-02 2015-05-27 Nissan Motor DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS
CN104246821B (zh) * 2012-04-16 2016-08-17 日产自动车株式会社 三维物体检测装置和三维物体检测方法
MX341888B (es) 2012-07-27 2016-09-07 Nissan Motor Dispositivo de deteccion de objetos tridimensionales.
JP6003987B2 (ja) * 2012-07-27 2016-10-05 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP5896027B2 (ja) * 2012-07-27 2016-03-30 日産自動車株式会社 立体物検出装置及び立体物検出方法
US9569675B2 (en) * 2012-07-27 2017-02-14 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
JP5997276B2 (ja) * 2012-07-27 2016-09-28 日産自動車株式会社 立体物検出装置及び異物検出装置
JP6003986B2 (ja) * 2012-07-27 2016-10-05 日産自動車株式会社 立体物検出装置、立体物検出方法及び異物検出装置
WO2014017602A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
MY158602A (en) * 2012-07-27 2016-10-18 Nissan Motor Three-dimensional object detection device, and three-dimensional object detection method
CN103802725B (zh) * 2012-11-06 2016-03-09 无锡维森智能传感技术有限公司 一种新的车载驾驶辅助图像生成方法
JP2014209680A (ja) * 2013-04-16 2014-11-06 富士通株式会社 土地境界表示プログラム、方法、及び端末装置
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
CN109478232A (zh) * 2016-05-12 2019-03-15 巴斯夫欧洲公司 自然环境中的杂草的识别
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US20180276874A1 (en) * 2017-03-17 2018-09-27 Unity IPR ApS Method and system for automated camera collision and composition preservation
RU2721387C1 (ru) * 2017-05-16 2020-05-19 Ниссан Мотор Ко., Лтд. Способ прогнозирования действия и устройство прогнозирования действия устройства помощи при движении
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP7268616B2 (ja) * 2020-01-30 2023-05-08 いすゞ自動車株式会社 報知装置

Family Cites Families (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2946727B2 (ja) 1990-10-26 1999-09-06 日産自動車株式会社 車両用障害物検出装置
US6430303B1 (en) 1993-03-31 2002-08-06 Fujitsu Limited Image processing apparatus
JP3226415B2 (ja) 1994-04-13 2001-11-05 三菱電機株式会社 自動車用移動体認識装置
US5889878A (en) 1994-07-29 1999-03-30 Kabushiki Kaisha Toshiba Moving object image pickup apparatus
US5790086A (en) * 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
JP3568621B2 (ja) 1995-04-20 2004-09-22 株式会社日立製作所 地図表示装置
US5963664A (en) 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JP3419968B2 (ja) 1995-09-12 2003-06-23 株式会社東芝 画像認識装置及び方法
JP2000161915A (ja) 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP2000214256A (ja) 1999-01-28 2000-08-04 Mazda Motor Corp 車両の表示装置
US6392218B1 (en) 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
US6411898B2 (en) 2000-04-24 2002-06-25 Matsushita Electric Industrial Co., Ltd. Navigation device
DE10035223A1 (de) 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
JP3645196B2 (ja) 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
US6999620B1 (en) 2001-12-10 2006-02-14 Hewlett-Packard Development Company, L.P. Segmenting video input using high-level feedback
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
US8180099B2 (en) 2002-07-16 2012-05-15 Trw Limited Rain detection apparatus and method
US20050031169A1 (en) 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4207717B2 (ja) 2003-08-26 2009-01-14 株式会社日立製作所 個人認証装置
SE0302596D0 (sv) 2003-09-30 2003-09-30 Ericsson Telefon Ab L M Improvments in or relating to base stations
US7356408B2 (en) * 2003-10-17 2008-04-08 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and information display method
JP2005225250A (ja) 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
JP4259368B2 (ja) 2004-03-26 2009-04-30 三菱自動車工業株式会社 ノーズビューモニタ装置
DE102005013920B4 (de) 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
DE102005015088B4 (de) 2004-04-02 2015-06-18 Denso Corporation Fahrzeugumgebungsüberwachungssystem
JP2005311666A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
WO2006030633A1 (ja) * 2004-09-15 2006-03-23 Matsushita Electric Industrial Co., Ltd. 物体検出装置
US8195386B2 (en) * 2004-09-28 2012-06-05 National University Corporation Kumamoto University Movable-body navigation information display method and movable-body navigation information display unit
US7860340B2 (en) 2004-11-04 2010-12-28 Nec Corporation Three-dimensional shape estimation system and image generation system
JP2006218019A (ja) 2005-02-09 2006-08-24 Canon Inc 血管画像取得装置、生体画像取得装置、およびこれを用いた個人認証システム
JP4596978B2 (ja) 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
US7742634B2 (en) 2005-03-15 2010-06-22 Omron Corporation Image processing method, three-dimensional position measuring method and image processing apparatus
JP4656977B2 (ja) 2005-03-25 2011-03-23 セコム株式会社 センシング装置
JP4353127B2 (ja) 2005-04-11 2009-10-28 株式会社デンソー レインセンサ
JP4661339B2 (ja) 2005-05-11 2011-03-30 マツダ株式会社 車両用移動物体検出装置
JP2006339960A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 物体検出装置、および物体検出方法
RU2295772C1 (ru) * 2005-09-26 2007-03-20 Пензенский государственный университет (ПГУ) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4899424B2 (ja) 2005-11-04 2012-03-21 トヨタ自動車株式会社 物体検出装置
JP4516516B2 (ja) * 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP4585456B2 (ja) 2006-01-23 2010-11-24 株式会社東芝 ボケ変換装置
JP5022609B2 (ja) 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP4696991B2 (ja) 2006-03-22 2011-06-08 日産自動車株式会社 動き検出方法および動き検出装置
JP4901275B2 (ja) 2006-04-07 2012-03-21 富士重工業株式会社 走行誘導障害物検出装置および車両用制御装置
JP2007300559A (ja) 2006-05-02 2007-11-15 Alpine Electronics Inc 車両周辺画像提供装置及び車両周辺画像における影補正方法
JP4887932B2 (ja) 2006-06-23 2012-02-29 日産自動車株式会社 道路端認識装置、自動車、及び道路端認識方法
US7728879B2 (en) 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
US20080298642A1 (en) 2006-11-03 2008-12-04 Snowflake Technologies Corporation Method and apparatus for extraction and matching of biometric detail
DE102006060045A1 (de) 2006-12-19 2008-06-26 Imi Intelligent Medical Implants Ag Sehhilfe mit dreidimensionaler Bilderfassung
JP5179055B2 (ja) 2006-12-26 2013-04-10 昭和電工株式会社 Ｉｉｉ族窒化物半導体の製造方法、ｉｉｉ族窒化物半導体発光素子の製造方法、及びｉｉｉ族窒化物半導体発光素子、並びにランプ
JP4930046B2 (ja) * 2006-12-26 2012-05-09 日産自動車株式会社 路面判別方法および路面判別装置
JP4654208B2 (ja) 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP2008227646A (ja) 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
WO2008134135A2 (en) 2007-03-21 2008-11-06 Lumidigm, Inc. Biometrics based on locally consistent features
JP4378571B2 (ja) 2007-05-31 2009-12-09 Ｎｅｃシステムテクノロジー株式会社 地図変化検出装置、地図変化検出方法およびプログラム
JP4924896B2 (ja) 2007-07-05 2012-04-25 アイシン精機株式会社 車両の周辺監視装置
JP5003395B2 (ja) 2007-10-05 2012-08-15 日産自動車株式会社 車両周辺画像処理装置及び車両周辺状況提示方法
JP5206687B2 (ja) 2007-10-30 2013-06-12 日本電気株式会社 路面標示画像処理装置，路面標示画像処理方法及びプログラム
JP5057936B2 (ja) 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP4956452B2 (ja) 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
JP5109691B2 (ja) 2008-01-31 2012-12-26 コニカミノルタホールディングス株式会社 解析装置
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
JP2009266136A (ja) 2008-04-29 2009-11-12 Mitsubishi Electric Corp 道路構造物異常検知装置
JP5054612B2 (ja) 2008-05-15 2012-10-24 株式会社日立製作所 接近物検出装置および接近物検出方法
JP5253017B2 (ja) 2008-07-03 2013-07-31 アルパイン株式会社 周辺監視装置、障害物検出方法及びコンピュータプログラム
US8025408B2 (en) 2008-07-08 2011-09-27 Panasonic Corporation Method, apparatus and program for image processing and method and apparatus for image synthesizing
US8229178B2 (en) 2008-08-19 2012-07-24 The Hong Kong Polytechnic University Method and apparatus for personal identification using palmprint and palm vein
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
JP2010081273A (ja) 2008-09-26 2010-04-08 Mitsuba Corp ワイパ装置
JP5178454B2 (ja) 2008-10-28 2013-04-10 パナソニック株式会社 車両周囲監視装置及び車両周囲監視方法
JP5067632B2 (ja) 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
JP2010141836A (ja) 2008-12-15 2010-06-24 Sanyo Electric Co Ltd 障害物検知装置
JP5068779B2 (ja) 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US8306269B2 (en) 2009-03-12 2012-11-06 Honda Motor Co., Ltd. Lane recognition device
JP4806045B2 (ja) 2009-03-12 2011-11-02 本田技研工業株式会社 車線認識装置
TW201044284A (en) 2009-06-09 2010-12-16 Egis Technology Inc Image sensing device adapted to flat surface design
TW201103787A (en) 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
DE102010015079A1 (de) 2010-04-15 2011-10-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
RU97092U1 (ru) 2010-04-21 2010-08-27 Руслан Владимирович Ситников Система мониторинга пространства, окружающего транспортное средство
EP2680247B1 (en) 2011-02-21 2018-12-26 Nissan Motor Co., Ltd Periodic stationary object detection device and periodic stationary object detection method
JP5614504B2 (ja) * 2011-09-12 2014-10-29 日産自動車株式会社 立体物検出装置
BR112014020316B1 (pt) * 2012-02-23 2021-09-14 Nissan Motor Co., Ltd Dispositivo de detecção de objeto tridimensional
JP5682734B2 (ja) * 2012-02-23 2015-03-11 日産自動車株式会社 立体物検出装置
EP2821958A4 (en) * 2012-03-01 2015-06-03 Nissan Motor DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS
EP2821980A4 (en) * 2012-03-02 2015-05-27 Nissan Motor DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS
MX2014010405A (es) * 2012-03-02 2014-09-22 Nissan Motor Dispositivo de deteccion de objetos tridimensionales.
CN104246821B (zh) * 2012-04-16 2016-08-17 日产自动车株式会社 三维物体检测装置和三维物体检测方法
US9569675B2 (en) * 2012-07-27 2017-02-14 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
WO2014017601A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置および立体物検出方法
MX341888B (es) * 2012-07-27 2016-09-07 Nissan Motor Dispositivo de deteccion de objetos tridimensionales.
JP5896027B2 (ja) * 2012-07-27 2016-03-30 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP5997276B2 (ja) * 2012-07-27 2016-09-28 日産自動車株式会社 立体物検出装置及び異物検出装置
EP2878498B1 (en) * 2012-07-27 2020-06-24 Nissan Motor Co., Ltd Camera device, three-dimensional object detection device, and lens cleaning method
MY158374A (en) * 2012-07-27 2016-09-26 Nissan Motor Three-dimensional object detection device and three-dimensional object detection method
US9591274B2 (en) * 2012-07-27 2017-03-07 Nissan Motor Co., Ltd. Three-dimensional object detection device, and three-dimensional object detection method
US9559546B2 (en) * 2013-10-01 2017-01-31 Google Inc. Stand inductive charger

Also Published As

Publication number Publication date
CN103080976B (zh) 2015-08-05
KR101448411B1 (ko) 2014-10-07
JP5413516B2 (ja) 2014-02-12
CN103080976A (zh) 2013-05-01
EP2608149A1 (en) 2013-06-26
MY160274A (en) 2017-02-28
RU2540849C2 (ru) 2015-02-10
BR112013003851B1 (pt) 2021-03-09
EP2608149B1 (en) 2021-04-21
RU2013112017A (ru) 2014-09-27
US10397544B2 (en) 2019-08-27
JPWO2012023412A1 (ja) 2013-10-28
MX2013001976A (es) 2013-04-03
US20130141542A1 (en) 2013-06-06
BR112013003851A2 (pt) 2016-07-05
EP2608149A4 (en) 2018-01-24
WO2012023412A1 (ja) 2012-02-23

Similar Documents

Publication Publication Date Title
KR20130052614A (ko) 입체물 검출 장치 및 입체물 검출 방법
KR101605514B1 (ko) 차선 인식 장치 및 방법
JP5614504B2 (ja) 立体物検出装置
CN106909876B (zh) 车道检测系统及方法
CN107679520B (zh) 一种适用于复杂条件下的车道线视觉检测方法
CN110555361B (zh) 车道分类的图像处理方法
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
JP6347815B2 (ja) 車線境界を検出する方法、装置、およびデバイス
JP5867596B2 (ja) 立体物検出装置及び立体物検出方法
CN101670835B (zh) 道路车道标志检测
JP5783243B2 (ja) 周期的静止物検出装置及び周期的静止物検出方法
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
US9239960B2 (en) Three-dimensional object detection device
JP2016133838A (ja) 複合線判定装置及び複合線判定方法
CN108021849B (zh) 一种行人预警方法及装置
CN110147748A (zh) 一种基于道路边缘检测的移动机器人障碍物识别方法
JP2012150595A (ja) 一時停止線検出装置及びプログラム
JP5794379B2 (ja) 立体物検出装置及び立体物検出方法
CN107066985B (zh) 一种基于快速霍夫变换的路口斑马线检测方法
JP5794378B2 (ja) 立体物検出装置及び立体物検出方法
JP6699179B2 (ja) 画像処理装置
JP2004326559A (ja) 車線区分線検出装置
JP5768927B2 (ja) 立体物検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 6