KR20170041775A - 복수의 물체 검출 수단을 사용한 물체 인식 장치 - Google Patents

복수의 물체 검출 수단을 사용한 물체 인식 장치 Download PDF

Info

Publication number
KR20170041775A
KR20170041775A KR1020177005660A KR20177005660A KR20170041775A KR 20170041775 A KR20170041775 A KR 20170041775A KR 1020177005660 A KR1020177005660 A KR 1020177005660A KR 20177005660 A KR20177005660 A KR 20177005660A KR 20170041775 A KR20170041775 A KR 20170041775A
Authority
KR
South Korea
Prior art keywords
learning
axis
deviation
vanishing point
information
Prior art date
Application number
KR1020177005660A
Other languages
English (en)
Other versions
KR101961571B1 (ko
Inventor
유스케 마츠모토
료 다카키
아키라 이소가이
이치로 아이자와
준 즈치다
고이치 사토
Original Assignee
가부시키가이샤 덴소
도요타지도샤가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 덴소, 도요타지도샤가부시키가이샤 filed Critical 가부시키가이샤 덴소
Publication of KR20170041775A publication Critical patent/KR20170041775A/ko
Application granted granted Critical
Publication of KR101961571B1 publication Critical patent/KR101961571B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

이동체로서의 차량(50)은 제1 물체 검출 수단으로서 촬상 장치(11) 및 제2 물체 검출 수단으로서 레이더 장치(12)를 탑재한다. 물체 인식 장치(10)는 제1 물체 검출 수단의 기준축 X1의 축 어긋남량을 학습하는 축 어긋남 학습 수단과, 제1 물체 검출 수단 및 제2 물체 검출 수단의 물체 검출 결과에 기초하여, 제2 물체 검출 수단의 기준축에 있어서 축 어긋남이 발생하였는지 여부를 판정하는 축 어긋남 판정 처리를 실시하는 축 어긋남 판정 수단과, 축 어긋남 학습 수단에 의한 축 어긋남량의 학습 결과에 기초하여, 축 어긋남 판정 처리에 의해 취득한 제2 물체 검출 수단의 축 어긋남에 관한 정보를 무효로 하는 무효화 수단을 구비한다.

Description

복수의 물체 검출 수단을 사용한 물체 인식 장치{OBJECT RECOGNITION DEVICE USING PLURALITY OF OBJECT DETECTION MEANS}
본 개시는, 물체 인식 장치에 관한 것이며, 특히 이동체에 탑재되는 물체 인식 장치에 관한 것이다.
종래, 차량의 주행 안전성을 향상시키기 위한 기술이 알려져 있다. 예를 들어, 물체 인식 장치로서, 밀리미터파 레이더나 레이저 레이더 등의 물체 검출 센서를 차량에 탑재하고, 선행 차량이나 보행자, 장해물 등의 차량 주변에 존재하는 물체를 검출한다. 물체 인식 장치는, 그 물체 검출 결과에 기초하여, 차량의 주행 안전성을 향상시키기 위한 각종 제어를 행한다.
이 물체 인식 장치에서는, 차량에 설치된 물체 검출 센서에 있어서, 기준축의 어긋남(광축의 어긋남)이 발생한 경우, 물체 검출 센서에 의한 물체 검출 영역이 원래 검출해야 할 영역으로부터 어긋나 버려, 물체의 검출 정밀도가 저하되는 것이 생각된다. 이러한 경우, 차량의 주행 안전성을 향상시키기 위한 각종 제어의 정밀도가 저하될 우려가 있다.
따라서 종래, 물체 검출 센서의 축 어긋남을 검출하기 위한 기술이 다양하게 제안되어 있다. 예를 들어, 일본 특허 공개 제2004-205398호 공보에는, 카메라 및 레이더 장치가 탑재된 차량에 있어서, 차량 주행 중에 카메라로 촬영한 화상에 기초하여 검출한 소실점과 레이저 빔의 송출 방향에 기초하여, 레이저 빔의 송출 방향과 차량 직진 방향 사이의 오차를 검출하고, 레이저 빔의 송출 방향의 보정을 행하는 것이 개시되어 있다.
일본 특허 공개 제2004-205398호 공보
촬상 장치에서 촬영한 화상을 사용하여 레이더 장치의 축 어긋남을 검출하는 경우, 그 검출 처리를 촬상 장치의 기준축(촬상축)의 어긋남이 발생한 상황 하에서 실시하면, 레이더 장치의 축 어긋남을 고정밀도로 검출할 수 없어, 오판정을 초래하는 것이 우려된다.
본 개시는, 상기 사정을 감안하여 이루어진 것이며, 이동체에 탑재된 물체 검출 수단의 기준축의 어긋남이 발생하였는지 여부를 판정하는 처리에 있어서 오판정을 억제할 수 있는 물체 인식 장치를 제공한다.
본 개시는 이하와 같이 구성되어 있다.
본 개시는, 소정의 검출 가능 영역 내에 존재하는 물체를 검출하는 물체 검출 수단으로서 제1 물체 검출 수단(11) 및 제2 물체 검출 수단(12)이 탑재된 이동체(50)에 적용되는 물체 인식 장치에 관한 것이다. 청구항 1에 기재된 물체 검출 장치는, 상기 검출 가능 영역은 각각에 기준축(X1, X2)을 포함하고, 상기 제1 물체 검출 수단의 기준축의 축 어긋남량을 학습하는 축 어긋남 학습 수단과, 상기 제1 물체 검출 수단 및 상기 제2 물체 검출 수단의 물체 검출 결과에 기초하여, 상기 제2 물체 검출 수단의 기준축에 있어서 축 어긋남이 발생하였는지 여부를 판정하는 축 어긋남 판정 처리를 실시하는 축 어긋남 판정 수단과, 상기 축 어긋남 학습 수단에 의한 상기 축 어긋남량의 학습 결과에 기초하여, 상기 축 어긋남 판정 처리에 의해 취득한 상기 제2 물체 검출 수단의 축 어긋남에 관한 정보를 무효로 하는 무효화 수단을 구비하는 것을 특징으로 한다.
제1 물체 검출 수단의 물체 검출 결과를 사용하여, 제2 물체 검출 수단의 기준축의 어긋남이 발생하였는지 여부를 판정하는 경우, 제1 물체 검출 수단의 축 어긋남량의 학습 결과에 따라서, 제2 물체 검출 수단의 축 어긋남 판정의 판정 정밀도가 변화된다고 생각된다. 예를 들어, 제1 물체 검출 수단의 축 어긋남량의 학습 결과가, 당해 학습의 정밀도가 그다지 높지 않은 것을 나타내는 결과이었던 경우, 제2 물체 검출 수단의 축 어긋남 판정에서 오판정을 초래할 우려가 있다. 이러한 점에 주목하여, 상기 구성에서는, 제1 물체 검출 수단의 기준축의 축 어긋남량의 학습 결과에 기초하여, 그때까지 취득한 제2 물체 검출 수단의 기준축의 어긋남에 관한 정보를 무효로 한다. 이 구성에 의하면, 제2 물체 검출 수단의 기준축의 어긋남이 발생하였는지 여부를 판정하는 처리에 있어서, 오판정을 억제할 수 있다.
첨부 도면에 있어서:
도 1은 물체 인식 장치의 개략 구성을 도시하는 블록도.
도 2는 촬상 장치 및 레이더 장치의 이동체에서의 배치를 도시하는 도면.
도 3은 촬상축 어긋남이 발생한 경우의 검출 거리의 어긋남을 도시하는 모식도.
도 4는 레이더축 어긋남 판정 처리의 구체적 형태를 나타내는 타임차트.
도 5는 레이더축 어긋남 판정 처리의 처리 수순을 나타내는 흐름도.
도 6은 리셋 판정 처리의 처리 수순을 나타내는 흐름도.
도 7은 소실점의 학습 상태에 따른 카운터 리셋 타이밍을 나타내는 타임차트.
도 8은 다른 실시 형태의 구체적 형태를 나타내는 타임차트.
이하, 이동체의 물체 인식 장치를 구체화한 실시 형태에 대하여, 도면을 참조하면서 설명한다. 본 실시 형태에 관한 물체 인식 장치(10)는 이동체로서의 차량에 탑재되어 있다. 촬상 장치(11) 및 레이더 장치(12)는 차량의 전방을 포함하는 검출 가능 영역 내에 존재하는 물체를 인식한다. 본 실시 형태의 물체 인식 장치(10)의 개략 구성에 대하여 도 1 및 도 2를 사용하여 설명한다.
촬상 장치(11)는 차량 탑재 카메라이며, CCD 카메라나 CMOS 이미지 센서, 근적외선 카메라 등으로 구성되어 있다. 촬상 장치(11)는 자차량(50)의 주행 도로를 포함하는 주변 환경을 촬영하고, 그 촬영한 화상을 나타내는 화상 데이터를 생성하여 물체 인식 장치(10)에 순차적으로 출력한다. 본 실시 형태의 촬상 장치(11)는 자차량(50)의 예를 들어 프론트 글래스의 상단부 부근에 설치되어 있고, 촬상축 X1을 중심으로 차량 전방을 향하여 소정 각도 θ1의 범위에서 확산되는 영역(61)을 촬영한다(도 2 참조). 또한, 촬상 장치(11)는 단안 카메라이어도 되고, 스테레오 카메라이어도 된다.
레이더 장치(12)는 송신파로서 전자파(즉, 레이더 파)를 송신하고, 그 반사파를 수신함으로써 물체를 검출하는 장치이다. 예를 들어 밀리미터파 레이더나 레이저 레이더 등으로 구성되어 있다. 레이더 장치(12)는 자차량(50)의 전방부에 설치되어 있고, 광축 X2를 중심으로 차량 전방을 향하여 소정 각도 θ2(θ2<θ1)의 범위에 걸쳐 확산되는 영역(62)을 레이더 신호에 의해 주사한다. 그리고, 차량 전방을 향하여 전자파를 송신하고 나서 반사파를 수신할 때까지의 시간에 기초하여 측거 데이터를 작성하고, 그 작성한 측거 데이터를 물체 인식 장치(10)에 순차적으로 출력한다. 측거 데이터에는, 물체가 존재하는 방위, 물체까지의 거리 및 상대 속도의 정보가 포함되어 있다.
또한, 촬상 장치(11)의 기준축인 촬상축 X1과, 레이더 장치(12)의 기준축인 광축 X2가, 자차량(50)이 주행하는 노면(주행 노면)에 대하여 수평인 방향과 동일 방향으로 되도록, 촬상 장치(11) 및 레이더 장치(12)가 자차량(50)에 설치되어 있다. 또한, 촬상 장치(11)의 검출 가능 영역(61)과 레이더 장치(12)의 검출 가능 영역(62)은, 서로 적어도 일부의 영역이 중복되어 있다. 촬상 장치(11)가 「제1 물체 검출 수단」에 상당하고, 레이더 장치(12)가 「제2 물체 검출 수단」에 상당한다.
물체 인식 장치(10)는 CPU, RAM, ROM 및 I/O 등을 구비한 컴퓨터이다. 물체 인식 장치(10)는 백선 인식부(13), 플로우 연산부(14), 소실점 연산부(20) 및 레이더축 어긋남 검출부(30)를 구비하고 있고, CPU가 ROM에 인스톨되어 있는 프로그램을 실행함으로써 이들 각 기능을 실현한다.
백선 인식부(13)는 촬상 장치(11)에 의해 촬영된 화상을 입력하고, 이 화상에 포함되어 있는 도로 구획선으로서의 백선을 인식한다. 백선 인식부(13)에서는, 예를 들어 화상의 수평 방향에 있어서의 휘도 변화율 등에 기초하여, 촬영 화상 데이터로부터 백선의 후보로 하는 에지점을 추출하고, 그 추출한 에지점을 1프레임마다 순차적으로 기억한다. 그리고, 기억한 백선의 에지점의 이력에 기초하여 백선을 인식한다. 플로우 연산부(14)는 촬상 장치(11)에 의해 촬영된 화상을 입력하고, 그 입력된 화상 데이터를 사용하여, 화상 중의 각 점에 있어서의 움직임 벡터로서 옵티컬 플로우를 연산한다(플로우 연산 수단). 플로우 연산부(14)에서는, 예를 들어 공간적인 휘도 분포의 변화에 기초하여 화소마다 움직임 벡터를 연산한다.
소실점 연산부(20)는 기준값 추정부(21)와, 소실점 학습부(22)와, 학습값 기억부(25)를 구비하고 있다. 기준값 추정부(21)는 백선 인식부(13)로부터 백선의 위치 등에 관한 정보(백선 정보)를 입력함과 함께, 플로우 연산부(14)로부터 옵티컬 플로우에 관한 정보(플로우 정보)를 입력하고, 그들 입력 데이터를 사용하여 소실점(Focus of Expansion; FOE)을 구하기 위한 각종 처리를 실행한다.
기준값 추정부(21)는 촬상 장치(11)에 의해 촬영된 화상 데이터에 기초하여 소실점을 산출한다. 구체적으로는, 기준값 추정부(21)는 백선 인식부(13)로부터 입력된 백선 정보나, 플로우 연산부(14)로부터 입력된 플로우 정보를 사용하여 소실점을 산출한다. 예를 들어 백선 정보를 사용하는 경우, 차량 주변에 존재하는 한 쌍의 백선의 교점을 소실점으로 추정하고, 그 값(기준 소실점)을 ROM에 기억한다. 또한, 차량 출하 시에서는, 소실점으로서 초기값이 미리 ROM에 기억되어 있다. 초기값은, 예를 들어 촬상 장치(11)의 설치 상태를 나타내는 파라미터(예를 들어, 설치 높이, 촬상축의 부각 등)나, 촬상 장치(11)의 촬상 기능에 관한 파라미터(예를 들어 화소수, 초점 거리 등)에 기초하여 설정되어 있다.
소실점 학습부(22)는 촬상 장치(11)의 설치 높이나 축 방향이 변화되는 것에 수반되는 소실점의 정상적인 어긋남량(촬상축 X1의 축 어긋남량)을 산출하기 위한 소실점 학습을 실행한다. 구체적으로는, 소실점 학습부(22)는 백선 정보로부터 산출한 소실점에 대한 학습을 실행하는 제1 학습부(23)와, 플로우 정보로부터 산출한 소실점에 대한 학습을 실행하는 제2 학습부(24)를 구비한다. 제1 학습부(23) 및 제2 학습부(24)의 각각의 학습값(소실점 학습값)은 학습의 실행마다 학습값 기억부(25)에 그때마다 기억ㆍ갱신된다.
소실점 학습부(22)에서는, 자차량(50)의 시동 스위치(예를 들어 이그니션 스위치 등)가 온된 것에 수반하여 소실점 학습을 개시한다. 또한 본 실시 형태에서는, 차량의 적재 상태나 주행 상태에 따라서 촬상 장치(11)의 설치 높이나 축 방향이 변화되고, 그것에 수반하여 소실점의 위치도 변화되는 것을 고려하여, 시동 스위치의 온 후에 소실점 학습이 일단 완료된 후도, 소실점 학습을 순차적으로 실행하고 있다.
학습값 기억부(25)는, 예를 들어 전기적으로 데이터의 재기입이 가능한 불휘발성 메모리(EEPROM 등)에 의해 구성되어 있다. 물체 인식 장치(10)는 소실점을 지표로 화상 데이터를 해석함으로써, 예를 들어 자차량(50)의 주행 도로에 대한 주행 상태나 전방 차량과의 위치 관계 등을 추정하거나 보행자를 인식하거나 한다.
단, 화상에 기초하는 백선 인식은, 옵티컬 플로우의 연산보다도 시간이 걸린다. 그 때문에, 자차량(50)의 시동 스위치의 온 후에는, 백선 인식에 의한 소실점 학습이 완료되는 시각보다도, 옵티컬 플로우에 의한 소실점 학습이 완료되는 시각쪽이 빨라진다. 한편, 소실점 학습의 학습 정밀도는, 옵티컬 플로우를 사용하는 것보다도, 백선 인식을 사용한 쪽이 정밀도가 높다. 따라서 본 실시 형태에서는, 자차량(50)의 시동 스위치의 온 후, 백선 인식에 의한 소실점 학습이 완료될 때까지는, 옵티컬 플로우에 의해 산출한 학습값을 사용하여 화상 데이터의 해석 처리를 행하고, 백선 인식에 의한 소실점 학습이 완료된 후에는, 백선 인식에 의해 산출한 학습값을 사용하여 화상 데이터의 해석 처리를 행하는 것으로 하고 있다.
레이더축 어긋남 검출부(30)는 카메라 물표 검출부(31), 레이더 물표 검출부(32), 축 어긋남 정보 연산부(33), 축 어긋남 판정부(34) 및 리셋 판정부(35)를 구비하고 있다.
카메라 물표 검출부(31)는 촬상 장치(11)에 의해 촬영된 화상을 입력하고, 이 화상에 포함되어 있는 물표(카메라 물표)를 검출한다. 레이더 물표 검출부(32)는 레이더 장치(12)로부터의 측거 데이터를 입력하고, 그 입력 데이터에 포함되어 있는 물표(레이더 물표)를 검출한다. 축 어긋남 정보 연산부(33)는 카메라 물표 검출부(31)에 의한 검출 결과와, 레이더 물표 검출부(32)에 의한 검출 결과에 기초하여, 레이더 장치(12)에서 광축 어긋남이 발생하였는지 여부를 판정한다.
구체적으로는, 축 어긋남 정보 연산부(33)는 카메라 물표 검출부(31)에서 검출한 카메라 물표 및 레이더 물표 검출부(32)에서 검출한 레이더 물표에 관한 정보를 각각 입력한다. 축 어긋남 정보 연산부(33)에서는, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ의 연산을 행한다. 상세하게는, 자차량(50)의 전방에 물체(예를 들어 선행 차량)가 존재하고, 적어도 카메라 물표 검출부(31)에 의해 그 물체에 대응하는 물표가 검출된 경우에, 카메라 물표 검출 카운터 CA를 소정 주기로 인크리먼트한다. 또한, 카메라 물표 검출부(31)에서 검출된 물표와 동일 물체로 될 수 있는 물표가 레이더 물표 검출부(32)에서 검출된 경우에, 축 어긋남 판정 카운터 CJ를 인크리먼트한다. 또한, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ가 「광축 어긋남에 관한 정보」에 상당한다.
축 어긋남 판정부(34)에서는, 축 어긋남 정보 연산부(33)로부터 입력된 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ에 기초하여, 레이더 장치(12)의 광축 어긋남이 발생하였는지 여부를 판정한다. 구체적으로는, 카메라 물표 검출 카운터 CA에 대한 축 어긋남 판정 카운터 CJ의 비율을 산출하고, 그 비율 CJ/CA와 판정값 THA2를 비교함으로써 행한다. 이때, CJ/CA<THA2인 경우에 광축 어긋남 있음으로 판정한다. 리셋 판정부(35)는 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ에 대하여, 그들 데이터를 축 어긋남 판정부(34)에 출력할지, 그렇지 않으면 무효로 할지를 결정한다.
이하, 리셋 판정부(35)에서 실행되는 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ의 리셋 판정 처리에 대하여 상세하게 설명한다. 리셋 판정부(35)는 학습값 기억부(25)로부터 소실점 학습값을 입력하고, 그 입력된 소실점 학습값에 기초하여, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 리셋할지 여부를 결정한다.
구체적으로는, 리셋 판정부(35)는 학습값 기억부(25)에 기억되어 있는 소실점 학습값에 기초하여, 과거 FOE 신용 플래그 Ftr에 0이나 1을 설정하고, 설정한 플래그 Ftr을 축 어긋남 정보 연산부(33)에 출력한다. 이 과거 FOE 신용 플래그 Ftr은, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 리셋할지 여부를 나타내는 정보이다. 축 어긋남 정보 연산부(33)에서는, 입력된 과거 FOE 신용 플래그 Ftr이 1이면, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ의 계측값을 그대로 유지한다. 한편, 과거 FOE 신용 플래그 Ftr이 0이면, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 제로로 리셋하고, 카운터의 계측을 처음부터 다시 한다. 또한, 축 어긋남 정보 연산부(33) 및 리셋 판정부(35)에 의해 「무효화 수단」이 구성되어 있다.
리셋 판정 처리를 실행하는 이유는 다음과 같다. 촬상축 X1에 축 어긋남이 발생한 경우, 그 축 어긋남 각도의 분만큼, 화상 인식에 의한 물체와의 거리가 잘못되어 버린다. 도 3에, 촬상축 X1의 축 어긋남에 기인하는 카메라 물표의 거리 어긋남을 모식적으로 도시한다. 또한, 도 3에서는 광축 어긋남이 발생하지 않은 경우를 상정하고 있다.
자차량(50)으로부터 동일 물체[도 3에서는 선행 차량(55)]까지의 검출 거리에 대하여, 촬상 장치(11)의 검출 결과와 레이더 장치(12)의 검출 결과를 비교하면, 촬상축 X1에서 축 어긋남이 발생하지 않은 상태에서는, 검출 거리의 차는 Δd1로 비교적 작다. 이에 반해, 촬상축 X1이, 예를 들어 주행 노면에 대하여 수평인 위치보다도 상향으로 소정 각도 θ3만큼 어긋나 있는 경우에는, 검출 거리의 차가 Δd2로 비교적 커진다. 이 경우, 촬상 장치(11)와 레이더 장치(12)에서 동일 물체를 검출하고 있음에도 불구하고, 화상 처리에 있어서 2개의 물표(카메라 물표와 레이더 물표)가 동일 물체로 인식되지 않는 경우가 발생할 수 있다. 이러한 경우, 축 어긋남 판정 카운터 CJ의 계측값의 신뢰도가 낮아져, 레이더축 어긋남 판정 처리에 있어서 오판정이 발생하는 것이 생각된다. 또한, 이러한 촬상축 어긋남에 기인하는 검출 거리의 어긋남은, 소실점 학습에 의해 개선된다(TA2→TA1).
또한, 차량의 운전 개시 시에서는, 소실점의 학습 상태가, 옵티컬 플로우 및 백선 인식 중 어느 것에 대해서도 학습 미완료인 상태로부터, 옵티컬 플로우에 의한 학습 완료 상태로 이행하고, 그 후, 백선 인식에 의한 학습 완료 상태로 변화된다. 또한, 이러한 학습 상태의 변화에 수반하여, 레이더축 어긋남 판정 처리의 개시 후에 있어서 소실점의 학습 결과의 신뢰도, 즉 학습 후의 소실점의 참값에 대한 어긋남량이 변화되는 것이 생각된다. 예를 들어, 백선 인식에 의한 소실점 학습이 아직 완료되지 않은 상태와, 백선 인식에 의한 소실점 학습이 완료된 상태에서는 학습 결과의 신뢰도가 상이하고, 전자에서는 후자보다도 참값에 대한 어긋남량이 커서, 학습 결과의 신뢰도가 낮아지는 경향이 있다.
따라서 본 실시 형태에서는, 소실점 학습의 학습 결과에 따라서, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 무효화하는 것으로 하고 있다. 구체적으로는, 레이더축 어긋남 판정 처리의 개시 후에 있어서, 소실점의 학습 결과의 신뢰도가 변화되지 않으면, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ의 카운트 업을 그대로 계속한다. 한편, 레이더축 어긋남 판정 처리의 개시 후에 있어서, 소실점의 학습 결과의 신뢰도가 변화된 경우에는, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 리셋하고, 레이더축 어긋남 판정 처리를 처음부터 다시 행한다.
다음에, 도 4의 타임차트를 사용하여, 소실점의 학습 결과에 기초하는 카운터 CA, CJ의 리셋 판정 처리의 구체적 형태에 대하여 설명한다. 도 4 중, (a)는 이그니션 스위치(IG 스위치)의 온/오프의 추이, (b)는 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ의 값의 추이, (c)는 소실점의 학습 상태의 추이를 나타낸다. 또한, 도 4에서는, IG 스위치 온의 시점에서 선행 차량이 존재하고 있는 경우를 상정하고 있다.
시각 t10에서 IG 스위치가 온되면, 카메라 물표 검출 카운터 CA의 카운트 업이 개시된다. 또한, 카메라 물표와 동일 물체로 될 수 있는 레이더 물표가 검출된 경우에는, 그 검출수(검출 빈도)에 대응하는 분만큼 축 어긋남 판정 카운터 CJ가 카운트 업된다. 도 4에서는, 레이더 장치(12)의 광축 어긋남이 발생하였기 때문에, CJ<CA로 되어 있다.
IG 스위치의 온 직후에서는, 옵티컬 플로우에 의한 소실점 학습 및 백선 인식에 의한 소실점 학습이 아직 완료되지 않아, 학습값 기억부(25)에는 전회의 차량 주행 종료 시에 기억한 학습값이 그대로 기억되어 있다. 따라서, 옵티컬 플로우에 기초하는 소실점 학습이 개시될 때까지의 t10∼t11의 기간에서는, 전회 학습값 FOE_A를 사용하여 화상 처리가 행해진다.
IG 스위치의 온으로부터 소정 시간 T1이 경과한 후의 시각 t11에서는, 옵티컬 플로우에 기초하는 소실점 학습을 개시하기 위한 커맨드가 출력된다. 또한, 소정 시간 T1은, 옵티컬 플로우의 연산에 필요한 화상 데이터를 취득하기 위한 시간(예를 들어 십수초)이 설정되어 있다.
여기서, 옵티컬 플로우에 기초하여 산출한 소실점이, 전회 학습값 FOE_A에 대하여 비교적 크게 어긋난 경우, 카메라 물표 검출 카운터 CA의 카운트 업 개시 후에 소실점의 학습 결과의 신뢰도가 변화된 것으로 추정된다. 이러한 경우, 본 실시 형태에서는, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ가 제로로 리셋되고, 레이더축 어긋남 판정을 위한 카운트 업이 처음부터 다시 행해진다. 특히 본 실시 형태에서는, 옵티컬 플로우에 기초하는 소실점(FOE_C)이 안정된 시점 t12에서, 전회 학습값 FOE_A와 옵티컬 플로우에 의한 소실점 FOE_C의 어긋남량의 절댓값 ΔFOE(C-A)를 산출하고, 그 산출한 ΔFOE(C-A)에 의해, 소실점 학습의 학습 결과의 신뢰도의 변화가 있었다고 판정한다.
옵티컬 플로우에 의한 소실점 학습의 개시 커맨드로부터 소정 시간 T2(예를 들어 수분)가 더 경과한 시점 t13에서, 백선 인식에 의한 소실점 학습이 완료된 경우에도 마찬가지의 처리가 행해진다. 구체적으로는, 옵티컬 플로우에 의한 소실점 FOE_C와, 백선 인식에 의한 소실점(FOE_D)의 어긋남량의 절댓값 ΔFOE(D-C)로부터, 소실점의 학습 결과의 신뢰도가 변화되었다고 판정되면, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ가 제로로 리셋되고, 레이더축 어긋남 판정을 위한 카운트 업이 처음부터 다시 행해진다.
다음에, 도 5 및 도 6의 흐름도를 사용하여, 본 실시 형태의 레이더축 어긋남 검출부에서 실행되는 처리의 수순에 대하여 설명한다. 이들 처리는, 물체 인식 장치(10)의 CPU에 의해 소정 주기마다 반복하여 실행된다.
먼저, 도 5의 레이더축 어긋남 판정 처리에 대하여 설명한다. 도 5에 있어서, 스텝 S101에서는, 과거 FOE 신용 플래그 Ftr에 0이 세트되어 있는지 여부를 판정한다. Ftr=0이면 스텝 S102로 진행하여, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 0으로 리셋한다. 한편, Ftr=1이면 스텝 S102의 처리를 실행하지 않고 스텝 S103으로 진행한다.
스텝 S103에서는, 촬상 장치(11)에서 촬영된 화상을 입력하고, 그 입력한 화상에 물표(카메라 물표)가 포함되어 있는지 여부를 판정한다. 카메라 물표의 검출 없음의 경우에는 그대로 본 루틴을 종료하고, 카메라 물표의 검출 있음의 경우에는 스텝 S104로 진행하여, 카메라 물표 검출 카운터 CA를 인크리먼트한다.
계속되는 스텝 S105에서는, 카메라 물표와 동일 물체로 간주하는 물표가 레이더 장치(12)에서 검출되었는지 여부를 판정한다. 검출 있음의 경우에는 스텝 S106으로 진행하여, 축 어긋남 판정 카운터 CJ를 인크리먼트한다. 한편, 검출 없음의 경우에는 스텝 S106의 처리를 실행하지 않고 스텝 S107로 진행한다.
스텝 S107에서는, 카메라 물표 검출 카운터 CA가 판정값 THA1(예를 들어 수천회)보다도 큰지 여부를 판정한다. CA>THA1이면 스텝 S108로 진행하여, 카메라 물표 검출 카운터 CA에 대한 축 어긋남 판정 카운터 CJ의 비율(CJ/CA)이 판정값 THA2보다도 작은지 여부를 판정한다. 비율 CJ/CA가 판정값 THA2 이상이면 스텝 S110으로 진행하여, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 제로로 리셋한다. 한편, 비율 CJ/CA가 판정값 THA2보다도 작은 경우에는, 스텝 S109로 진행하여, 레이더 장치(12)의 광축 어긋남이 발생한 것으로 판정하고, 그 판정 결과를 기억한다. 그 후, 스텝 110으로 진행하여, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 제로로 리셋하고, 본 루틴을 종료한다.
다음에, 도 6의 리셋 판정 처리에 대하여 설명한다. 도 6에 있어서, 스텝 S201에서는, 백선 인식에 의한 소실점 학습이 완료되었는지 여부를 판정한다. 백선 인식에 의한 소실점 학습이 아직 완료되지 않았으면 스텝 S202로 진행하여, 옵티컬 플로우에 의한 소실점 학습이 완료되었는지 여부를 판정한다. 여기에서는, 옵티컬 플로우에 의해 산출한 소실점이 안정된 값을 나타내고 있는지 여부를 판정하고, 안정되었다고 판정된 경우에 옵티컬 플로우에 기초하여 소실점 학습값(FOE_C)을 산출한다. 옵티컬 플로우에 의해 산출한 소실점이 안정된 값을 나타내고 있는지 여부는, 소실점의 수직면 내에서의 분산에 기초하여 판정하고, 분산이 소정값보다도 작은 경우에 긍정 판정된다. 옵티컬 플로우에 의해 산출한 소실점이 안정되었다고 판정되고, 옵티컬 플로우에 기초하여 소실점 학습값(FOE_C)을 산출한 경우, 스텝 S203으로 진행하여, 초기값 또는 전회 학습값(FOE_A)과 옵티컬 플로우에 의한 소실점 학습값 FOE_C의 어긋남량의 절댓값 ΔFOE(C-A)가 판정값 THF1보다도 작은지 여부를 판정한다(신뢰도 판정 수단). 그리고, ΔFOE(C-A)<THF1이면 스텝 S204로 진행하여, 과거 FOE 신용 플래그 Ftr에 1을 세트한다. 한편, ΔFOE(C-A)<THF1이 아니면 스텝 S205로 진행하여, 과거 FOE 신용 플래그 Ftr에 0을 세트한다.
또한, 옵티컬 플로우에 의한 소실점이 안정되기 전, 및 옵티컬 플로우에 의한 소실점 학습이 미완료인 경우에는, 스텝 S202에서 부정 판정되어 스텝 S204로 진행한다. 이 경우, 과거 FOE 신용 플래그 Ftr에는 1이 세트되기 때문에, 카운터 리셋은 행해지지 않는다.
그런데, 백선 인식에 의한 소실점 학습이 완료되면, 스텝 S201에서 긍정 판정되어 스텝 S206으로 진행한다. 스텝 S206에서는, 옵티컬 플로우에 의한 소실점 학습값 FOE_C와, 백선 인식에 의한 소실점 학습값 FOE_D의 어긋남량의 절댓값 ΔFOE(D-C)가 판정값 THF2보다도 작은지 여부를 판정한다(신뢰도 판정 수단). 그리고, ΔFOE(D-C)<THF2이면 스텝 S207로 진행하여, 과거 FOE 신용 플래그 Ftr에 1을 세트한다. 한편, ΔFOE(D-C)<THF2가 아니면 스텝 S208로 진행하여, 과거 FOE 신용 플래그 Ftr에 0을 세트한다.
도 7은 소실점의 학습 상태에 따른 리셋 타이밍을 나타내는 타임차트이다. 도면 중, (a)는 초기값(또는 전회 학습값)이 참값에 대하여 올바르고, 옵티컬 플로우에 기초하는 소실점이 참값으로부터 어긋나 있는 경우, (b)는 초기값(또는 전회 학습값)이 참값으로부터 어긋나 있고, 옵티컬 플로우에 기초하는 소실점이 참값에 대하여 올바른 경우, (c) 및 (d)는 초기값(또는 전회 학습값) 및 옵티컬 플로우에 기초하는 소실점이 모두 참값으로부터 어긋나 있는 경우를 각각 나타내고 있다. 또한, (c)에서는 (d)보다도 옵티컬 플로우에 기초하는 소실점의 참값으로부터의 어긋남량이 작은 경우를 상정하고 있다. 도 7 중, 「A」는 IG 스위치의 온 타이밍, 「B」는 옵티컬 플로우에 기초하는 소실점 학습의 개시 타이밍, 「C」는 옵티컬 플로우에 기초하는 소실점이 안정된 타이밍, 「D」는 백선 인식에 기초하는 소실점 학습의 완료 타이밍이며, 각각 도 4 중의 A∼D에 대응하고 있다.
카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ의 리셋은, 옵티컬 플로우에 의해 산출한 소실점이 안정된 타이밍 C, 및 백선 인식에 의한 소실점 학습의 완료 타이밍 D 중 적어도 어느 하나에서 행해진다. 예를 들어 (a) 및 (c)의 신에서는, 전회 학습값 FOE_A와, 옵티컬 플로우에 의한 소실점 학습값 FOE_C의 어긋남량의 절댓값 ΔFOE(C-A)가 크고, 또한 옵티컬 플로우에 의한 소실점 학습값 FOE_C와, 백선 인식에 의한 소실점 학습값 FOE_D의 어긋남량의 절댓값 ΔFOE(D-C)가 크다. 이 경우에는, 타이밍 C 및 타이밍 D에서 카운터 CA, CJ가 리셋된다. 또한, (b)의 신에서는, 타이밍 C에서만 카운터 CA, CJ가 리셋되고, (d)의 신에서는, 타이밍 D에서만 카운터 CA, CJ가 리셋된다.
이상 상술한 본 실시 형태에 따르면, 다음의 우수한 효과가 얻어진다.
촬상 장치(11)의 촬상축 X1의 축 어긋남량을 학습하는 소실점 학습의 학습 결과에 기초하여, 그때까지 취득한 레이더 장치(12)의 광축 X2의 어긋남에 관한 정보를 무효로 하는 것으로 하였다. 촬상 장치(11)의 물체 검출 결과를 사용하여, 레이더 장치(12)의 광축 어긋남이 발생하였는지 여부를 판정하는 경우, 촬상 장치(11)의 축 어긋남량의 학습 결과에 따라서 레이더 장치(12)의 광축 어긋남 판정의 정밀도가 변화된다. 이 점, 상기 구성에 의하면, 레이더 장치(12)의 광축 어긋남이 발생하였는지 여부를 판정하는 처리에 있어서 오판정을 억제할 수 있다.
구체적으로는, 레이더축 어긋남 판정 처리의 개시 후에 있어서, 참값에 대한 소실점 학습의 학습 결과의 신뢰도의 변화가 발생한 것이 검출된 경우에, 광축 어긋남에 관한 정보인 카운터 CA, CJ를 무효화하는 구성으로 하였다. 레이더축 어긋남 판정 처리의 개시 후에, 소실점 학습의 학습 결과에 있어서 신뢰도의 변화가 발생한 경우, 참값으로부터의 어긋남량이 큰 소실점에 기초하여 화상 처리가 행해지고 있으면, 레이더축 어긋남 판정의 판정 정밀도가 낮아진다. 따라서, 오판정이 발생하는 경우가 있다. 이러한 점을 고려하여, 소실점 학습의 학습 결과가 의심스러운 상황에서 취득한 광축 어긋남에 관한 정보를 무효화하는 구성을 채용하였다. 이에 의해, 레이더축 어긋남 판정의 오판정을 가능한 한 회피하도록 할 수 있다.
백선 인식에 의한 소실점 학습은, 학습 결과의 신뢰도가 높은 반면, 학습이 완료될 때까지 어느 정도의 시간(예를 들어 수분∼십수 분)을 요한다. 그 때문에, 백선 인식에 기초하는 소실점 학습이 완료될 때까지의 기간에서는, 전회의 차량 운전 시의 학습값을 사용하거나, 또는 백선 인식에 기초하는 소실점 학습보다도 신뢰도가 낮은 다른 학습 수단에 의해 얻어진 학습값, 예를 들어 옵티컬 플로우에 기초하는 소실점 학습값을 사용하여 화상 처리를 행할 필요가 있다. 그 한편, 본 실시 형태의 레이더축 어긋남 판정 처리에서는, 촬상 장치(11)에 의해 촬영된 화상 데이터가 사용된다. 따라서, 학습한 소실점이 참값부터 어긋나 있는 경우에는 오판정으로 되는 경우가 생각된다. 그 점을 감안하여, 차량의 운전 개시 후에 있어서, 백선 인식에 의한 소실점 학습이 완료된 시점에서, 소실점의 학습 결과, 보다 구체적으로는 소실점 학습 결과의 신뢰도에 기초하여, 광축 어긋남에 관한 정보를 무효로 하는 구성으로 하였다. 이러한 구성에 의하면, 레이더축 어긋남 판정 처리에 있어서, 적절한 타이밍에서 카운터 CA, CJ를 무효화할 수 있어, 소실점 학습의 학습 정밀도가 충분히 확보되어 있지 않은 것에 기인하는 오판정을 적합하게 억제할 수 있다. 또한, 소실점 학습의 학습 정밀도가 확보되어 있는 상황에서는, 백선 인식에 의한 소실점 학습이 완료되기 전에도 레이더축 어긋남 판정 처리를 실시할 수 있다.
옵티컬 플로우에 의한 소실점 학습에서는, 차량의 운전 개시 후의 가능한 한 조기에 학습을 완료시키는 것이 가능한 반면, 백선 인식에 의한 소실점 학습보다도 학습 정밀도가 낮아, 참값에 대하여 어긋남이 발생하는 경우가 있다. 본 실시 형태에서는, 소실점 학습 결과의 신뢰도가 충분히 확보되어 있지 않은 상황에서 계측한 카운터 CA, CJ에 대해서는 무효로 하기 때문에, 백선 인식에 의한 소실점 학습이 완료되기 전에 레이더축 어긋남 판정 처리를 개시한 경우에도 레이더축 어긋남의 오판정을 억제할 수 있다.
본 실시 형태에서는, 물체 검출 수단으로서 촬상 장치(11) 및 레이더 장치(12)를 탑재하는 차량에 있어서, 촬상 장치(11) 및 레이더 장치(12)의 물체 검출 결과에 기초하여, 레이더 장치(12)의 축 어긋남 판정을 실시하는 구성으로 하였다. 일반적으로, 촬상 장치(11)와 레이더 장치(12)에서는 물체의 검출 범위나 검출 정밀도가 상이하기 때문에, 양쪽 장치를 탑재하여 물체 검출을 행함으로써 서로의 약점을 보완하는 것이 가능해진다. 또한, 촬상 장치(11)와 레이더 장치(12)를 조합함으로써, 촬상 장치(11)의 화상 데이터를 사용하여 레이더 장치(12)의 광축 어긋남을 검출하는 것이 가능해진다.
(다른 실시 형태)
본 개시는 상기 실시 형태에 한정되지 않고, 예를 들어 다음과 같이 실시해도 된다.
ㆍ상기 실시 형태에 있어서, 소실점 학습의 학습 결과의 신뢰도의 변화가 발생한 것에 의해, 광축 어긋남에 관한 정보(카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ)를 리셋하는 경우, 리셋 전의 카운터 CA, CJ를 유지해 둔다. 그리고, 카운터 CA, CJ를 리셋한 후에, 그 리셋한 카운터의 계측 기간에서의 소실점 학습의 학습 결과의 신뢰도가 소정 이상 확보되어 있었던 것이 검출된 경우에, 리셋 전의 정보를 사용하여 그 후의 레이더축 어긋남 판정 처리를 실시하는 구성으로 하였다. 상기 구성에 의하면, 소실점 학습의 학습 결과의 신뢰도가 확보되어 있는 상황에서 취득한 카운터 CA, CJ를 활용함으로써, 레이더 장치(12)의 축 어긋남 발생을 확정할 때까지의 시간을 짧게 할 수 있다.
도 8에, 상기 구성의 리셋 판정 처리의 구체적 형태를 타임차트로 나타낸다. 도 8 중, (a)∼(c)는 도 4와 동일하다. 도 8에서는, 옵티컬 플로우에 의해 산출한 소실점이 안정된 시각 t22에서, 전회 학습값 FOE_A와 옵티컬 플로우에 의한 소실점 학습값 FOE_C의 어긋남량의 절댓값 ΔFOE(C-A)가 큰 경우에 대하여 생각한다. 이 경우, 시각 t22에서는, 현시점의 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 기억한다(정보 유지 수단). 계속해서, 카메라 물표 검출 카운터 CA 및 축 어긋남 판정 카운터 CJ를 리셋한다(무효화 수단). 그 후, 시각 t23에서, 백선 인식에 의한 소실점 학습이 완료된 경우, 시각 t22 이전에서 실시한 소실점 학습의 학습 결과의 신뢰도가 소정 이상 확보되어 있었던 것이 검출되면, 시각 t23에서 시각 t22에서의 카운터를 복귀시킨다. 여기서, 「시각 t22 이전에서 실시한 소실점 학습의 학습 결과의 신뢰도가 소정 이상 확보되어 있었던 것」은, 예를 들어 소실점 학습의 학습 결과에 기초하여 검출한다. 구체적으로는, 옵티컬 플로우에 의한 소실점 학습값(FOE_C)과, 백선 인식에 의한 소실점 학습값(FOE_D)의 어긋남량의 절댓값 ΔFOE(D-C)가 판정값 THF2보다도 크고, 또한 전회 학습값 FOE_A와 백선 인식에 의한 소실점 학습값 FOE_D의 어긋남량의 절댓값 ΔFOE(D-A)가 판정값 THF3보다도 작은 경우에, 시각 t22 이전에서의 소실점 학습의 학습 결과의 신뢰도가 소정 이상 확보되어 있었던 것으로 한다. 이 경우, 백선 인식에 의한 소실점 학습이 완료된 시각 t23에서는, 레이더 장치(12)의 축 어긋남 판정을 처음부터 다시 행할 필요는 없고, 따라서 레이더 장치(12)의 축 어긋남이 발생하였는지 여부를 가능한 한 조기에 확정할 수 있다.
ㆍ상기 실시 형태에서는, 일례로서, 이그니션 스위치가 온되고 나서 백선 인식에 의한 소실점 학습이 완료될 때까지의 기간에서 실시하는 레이더축 어긋남 판정 처리를 설명하였다. 그러나, 백선 인식에 의한 소실점 학습이 완료된 후의 기간에서 실시하는 레이더축 어긋남 판정 처리에 본 개시를 적용해도 된다. 백선 인식에 의한 소실점 학습은 정밀도가 높아, 학습이 일단 완료되면, 그 후는 학습값의 변화가 비교적 작다. 그러나, 예를 들어 차량의 적재 상태나 주행 상태의 변화에 의해 촬상축 X1의 축 방향이 변화되어, 소실점의 위치가 변화되는 것은 충분히 생각된다. 따라서, 백선 인식에 의한 소실점 학습이 일단 완료된 후의 기간에서 실시하는 레이더축 어긋남 판정 처리에서도, 소실점 학습의 학습 결과에 기초하여, 광축 어긋남에 관한 정보(카운터)를 무효화함으로써, 레이더 장치(12)의 레이더축 어긋남 판정 처리에 있어서 오판정을 억제할 수 있다.
ㆍ상기 실시 형태에서는, 소실점 학습으로서, 옵티컬 플로우에 의한 소실점 학습과, 백선 인식에 의한 소실점 학습을 실시하는 구성에 적용하는 경우에 대하여 설명하였다. 그러나, 옵티컬 플로우에 의한 소실점 학습 및 백선 인식에 의한 소실점 학습 중 어느 하나만을 실시하는 구성에 적용해도 된다. 예를 들어, 옵티컬 플로우에 의한 소실점 학습을 실시하지 않는 구성의 경우, 도 4에서는, 백선 인식에 의한 소실점 학습이 완료된 시점(D)만이 카운터 리셋 타이밍으로 된다.
ㆍ제2 물체 검출 수단의 축 어긋남을 판정하는 축 어긋남 판정 수단은, 제1 물체 검출 수단 및 제2 물체 검출 수단의 물체 검출 결과에 기초하여 행하는 것이면 상기 구성에 한정하지 않는다. 예를 들어, 차량 주행 중에 촬영한 화상에 기초하여 검출한 소실점과, 레이더 장치(12)로부터 송출되는 신호의 송출 방향에 기초하여, 신호의 송출 방향과 차량의 직진 방향의 오차를 검출함으로써 레이더 장치(12)의 축 어긋남 판정을 행하는 구성으로 해도 된다.
ㆍ상기 실시 형태에서는, 레이더축 어긋남 판정 처리의 개시 후에 소실점 학습의 학습 결과의 신뢰도의 변화가 발생한 것을 검출하는 신뢰도 판정 수단으로서, 소실점 학습값의 레벨의 변화를 검출하는 구성을 채용하였다. 구체적으로는, 전회 학습값 FOE_A와 옵티컬 플로우에 의한 소실점 학습값 FOE_C의 어긋남량의 절댓값 ΔFOE(C-A), 및 옵티컬 플로우에 의한 소실점 학습값 FOE_C와 백선 인식에 의한 소실점 학습값 FOE(FOE_D)의 어긋남량의 절댓값 ΔFOE(D-C)와 판정값을 비교함으로써 행하였다. 신뢰도 판정 수단의 구성은 이것에 한정되지 않고, 예를 들어 소실점 학습값의 변화의 정도(미분값)에 기초하여 검출해도 된다.
ㆍ상기 실시 형태에 있어서, 비율 CJ/CA에 기초하여 광축 어긋남 있음으로 판정된 후에, 소실점 학습의 학습 결과에 기초하여, 비율 CJ/CA에 기초하는 축 어긋남 판정 결과, 즉 광축 어긋남 있음의 판정 결과를 무효로 하는 구성으로 해도 된다. 즉, 이 경우에는, 비율 CJ/CA에 기초하는 축 어긋남 판정 결과가 「제2 물체 검출 수단의 축 어긋남에 관한 정보」에 상당한다.
ㆍ상기 실시 형태에서는, 제1 물체 검출 수단이 촬상 장치(11)이고, 제2 물체 검출 수단이 레이더 장치(12)인 경우에 대하여 설명하였지만, 제1 물체 검출 수단 및 제2 물체 검출 수단의 조합은 상기에 한정되지 않는다. 예를 들어, 제1 물체 검출 수단 및 제2 물체 검출 수단으로서 복수의 레이더 장치(제1 레이더 장치, 제2 레이더 장치)를 구비하는 시스템에 본 개시를 적용해도 된다. 구체적으로는, 제1 레이더 장치 및 제2 레이더 장치의 물체 검출 결과에 기초하여, 제2 레이더 장치의 광축에 있어서 축 어긋남이 발생하였는지를 판정하는 구성에 있어서, 제1 레이더 장치의 광축에 있어서의 축 어긋남량의 학습 결과에 기초하여, 제2 레이더 장치의 축 어긋남에 관한 정보를 무효로 하는 구성으로 한다.
ㆍ상기 실시 형태의 도 3에서는, 촬상 장치(11)에 있어서 수직면 내에서의 축 어긋남이 발생한 경우를 일례로 들어 설명하였지만, 수직면 내에서의 축 어긋남에 한하지 않고, 수평면 내에서의 축 어긋남이 발생한 경우에도 본 개시를 적용할 수 있다.
ㆍ제1 물체 검출 수단 및 제2 물체 검출 수단의 검출 가능 영역은 차량 전방에 한하지 않고, 예를 들어 차량의 후방이나 측방이어도 된다. 또한, 제1 물체 검출 수단 및 제2 물체 검출 수단의 설치 위치도 특별히 제한되지 않는다.
ㆍ상기 실시 형태에서는, 물체 검출 수단으로서 촬상 장치 및 레이더 장치를 사용하였지만 이들에 한정되지 않고, 예를 들어 송신파에 초음파를 사용하여 물체를 검출하는 소나를 채용해도 된다.
ㆍ상기 실시 형태에서는, 차량에 탑재된 물체 인식 장치를 일례로 들어 설명하였지만, 예를 들어 철도 차량, 선박, 항공기 등의 이동체에 탑재할 수도 있다.
10 : 물체 인식 장치
11 : 촬상 장치(제1 물체 검출 수단)
12 : 레이더 장치(제2 물체 검출 수단)
13 : 백선 인식부
14 : 플로우 연산부
20 : 소실점 연산부
22 : 소실점 학습부
23 : 제1 학습부
24 : 제2 학습부
25 : 학습값 기억부
30 : 레이더축 어긋남 검출부
31 : 카메라 물표 검출부
32 : 레이더 물표 검출부
33 : 축 어긋남 정보 연산부
34 : 축 어긋남 판정부
35 : 리셋 판정부
50 : 자차량
X1 : 촬상축(기준축)
X2 : 광축(기준축)

Claims (6)

  1. 소정의 검출 가능 영역 내에 존재하는 물체를 검출하는 물체 검출 수단으로서 제1 물체 검출 수단(11) 및 제2 물체 검출 수단(12)이 탑재된 이동체(50)에 적용되고,
    상기 검출 가능 영역은 각각에 기준축(X1, X2)을 포함하고,
    상기 제1 물체 검출 수단의 기준축의 축 어긋남량을 학습하는 축 어긋남 학습 수단과,
    상기 제1 물체 검출 수단 및 상기 제2 물체 검출 수단의 물체 검출 결과에 기초하여, 상기 제2 물체 검출 수단의 기준축에 있어서 축 어긋남이 발생하였는지 여부를 판정하는 축 어긋남 판정 처리를 실시하는 축 어긋남 판정 수단과,
    상기 축 어긋남 학습 수단에 의한 상기 축 어긋남량의 학습 결과에 기초하여, 상기 축 어긋남 판정 처리에 의해 취득한 상기 제2 물체 검출 수단의 축 어긋남에 관한 정보를 무효로 하는 무효화 수단을 구비하는 것을 특징으로 하는, 물체 인식 장치.
  2. 제1항에 있어서,
    상기 축 어긋남 학습 수단에 의한 상기 축 어긋남량의 학습 결과에 기초하여, 상기 축 어긋남 판정 처리의 개시 후에 있어서 참값에 대한 상기 학습 결과의 신뢰도의 변화가 발생하였는지 여부를 판정하는 신뢰도 판정 수단을 구비하고,
    상기 무효화 수단은, 상기 신뢰도 판정 수단에 의해 상기 학습 결과의 신뢰도의 변화가 발생하였다고 판정된 경우에, 상기 제2 물체 검출 수단의 기준축의 어긋남에 관한 정보를 무효로 하는, 물체 인식 장치.
  3. 제2항에 있어서,
    상기 무효화 수단에 의해 무효로 되기 전의 상기 제2 물체 검출 수단의 기준축의 어긋남에 관한 정보를 유지하는 정보 유지 수단을 구비하고,
    상기 무효화 수단에 의해 상기 제2 물체 검출 수단의 기준축의 어긋남에 관한 정보를 무효로 한 후에, 당해 무효로 한 정보를 취득하였을 때의 상기 참값에 대한 상기 학습 결과의 신뢰도가 소정 이상 확보되어 있는 것이 검출된 경우에, 상기 정보 유지 수단에 유지되어 있는 정보를 사용하여 상기 축 어긋남 판정 처리를 실시하는, 물체 인식 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제1 물체 검출 수단은, 도로를 포함하는 주변 환경을 촬영하는 촬상 장치이고,
    상기 제1 물체 검출 수단에 의해 촬영된 화상에 기초하여 상기 도로의 구획선을 인식하는 구획선 인식 수단을 구비하고,
    상기 축 어긋남 학습 수단은, 상기 구획선 인식 수단에 의해 인식한 구획선에 관한 정보인 구획선 정보에 기초하여, 상기 제1 물체 검출 수단의 기준축의 축 어긋남량을 학습하는 수단을 포함하고,
    상기 무효화 수단은, 상기 이동체의 운전 개시 후에 있어서 상기 축 어긋남 학습 수단에 의한 상기 구획선 정보에 기초하는 상기 축 어긋남량의 학습이 완료된 시점에서, 상기 학습 결과에 기초하여 상기 제2 물체 검출 수단의 기준축의 어긋남에 관한 정보를 무효로 하는, 물체 인식 장치.
  5. 제4항에 있어서,
    상기 제1 물체 검출 수단에 의해 촬영된 화상에 기초하여 옵티컬 플로우를 연산하는 플로우 연산 수단을 구비하고,
    상기 축 어긋남 학습 수단은, 상기 구획선 정보에 기초하여 상기 제1 물체 검출 수단의 기준축의 축 어긋남량을 학습하는 제1 학습 수단과, 상기 플로우 연산 수단에 의해 연산한 옵티컬 플로우에 기초하여 상기 제1 물체 검출 수단의 기준축의 축 어긋남량을 학습하는 제2 학습 수단을 포함하고,
    상기 무효화 수단은, 상기 이동체의 운전 개시 후에 있어서 상기 축 어긋남 학습 수단에 의한 상기 구획선 정보에 기초하는 상기 축 어긋남량의 학습이 완료된 시점 및 상기 구획선 정보에 기초하는 상기 축 어긋남량의 학습이 완료되는 것보다도 전의 기간에서, 상기 학습 결과에 기초하여 상기 제2 물체 검출 수단의 기준축의 어긋남에 관한 정보를 무효로 하는, 물체 인식 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 제1 물체 검출 수단은, 도로를 포함하는 주변 환경을 촬영하는 촬상 장치이고, 상기 제2 물체 검출 수단은, 송신파를 송출하고, 당해 송출한 송신파를 수신함으로써 상기 물체를 검출하는 탐지 장치인, 물체 인식 장치.
KR1020177005660A 2014-08-06 2015-08-04 복수의 물체 검출 수단을 사용한 물체 인식 장치 KR101961571B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014160680A JP6396714B2 (ja) 2014-08-06 2014-08-06 物体認識装置
JPJP-P-2014-160680 2014-08-06
PCT/JP2015/072111 WO2016021606A1 (ja) 2014-08-06 2015-08-04 複数の物体検出手段を用いた物体認識装置

Publications (2)

Publication Number Publication Date
KR20170041775A true KR20170041775A (ko) 2017-04-17
KR101961571B1 KR101961571B1 (ko) 2019-03-22

Family

ID=55263868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177005660A KR101961571B1 (ko) 2014-08-06 2015-08-04 복수의 물체 검출 수단을 사용한 물체 인식 장치

Country Status (6)

Country Link
US (1) US10422871B2 (ko)
JP (1) JP6396714B2 (ko)
KR (1) KR101961571B1 (ko)
CN (1) CN106574961B (ko)
DE (1) DE112015003605B4 (ko)
WO (1) WO2016021606A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390459B2 (ja) * 2015-02-10 2018-09-19 株式会社デンソー 光軸ずれ検出装置
US10852418B2 (en) * 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
JP6637472B2 (ja) * 2017-07-06 2020-01-29 本田技研工業株式会社 情報処理方法及び情報処理装置
DE102017118083B4 (de) 2017-08-09 2022-11-24 Sick Ag Sensor zur Erfassung eines Objekts und Verfahren zum Einstellen eines Schaltpunktes
JP6986962B2 (ja) * 2017-12-28 2021-12-22 株式会社デンソーテン カメラずれ検出装置およびカメラずれ検出方法
JP7127356B2 (ja) * 2018-05-14 2022-08-30 富士通株式会社 データ収集方法、データ収集プログラムおよび情報処理装置
JP6973302B2 (ja) * 2018-06-06 2021-11-24 トヨタ自動車株式会社 物標認識装置
KR20200040391A (ko) * 2018-10-10 2020-04-20 주식회사 만도 차량용 레이더의 보완 장치 및 방법
US11557061B2 (en) * 2019-06-28 2023-01-17 GM Cruise Holdings LLC. Extrinsic calibration of multiple vehicle sensors using combined target detectable by multiple vehicle sensors
JP7412254B2 (ja) * 2020-04-02 2024-01-12 三菱電機株式会社 物体認識装置および物体認識方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP2004205398A (ja) 2002-12-26 2004-07-22 Nissan Motor Co Ltd 車両用レーダ装置およびレーダの光軸調整方法
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP5416026B2 (ja) * 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3331882B2 (ja) * 1995-12-27 2002-10-07 株式会社デンソー 車両用障害物検出装置の中心軸偏向量算出装置，中心軸偏向量補正装置，および車間制御装置
JPH11142520A (ja) * 1997-11-06 1999-05-28 Omron Corp 測距装置の軸調整方法及び軸ずれ検出方法並びに測距装置
US6714156B1 (en) * 2002-11-22 2004-03-30 Visteon Global Technologies, Inc. Method for correcting radar misalignment
JP3922194B2 (ja) * 2003-03-11 2007-05-30 日産自動車株式会社 車線逸脱警報装置
EP1584946A3 (en) * 2004-04-02 2006-03-22 Omron Corporation Method of adjusting monitor axis of optical sensors
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP5146716B2 (ja) * 2007-03-01 2013-02-20 マツダ株式会社 車両用障害物検知装置
JP2008232887A (ja) * 2007-03-22 2008-10-02 Omron Corp 物体検知装置、および照射軸調整方法
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
JP5328491B2 (ja) 2009-06-02 2013-10-30 三菱電機株式会社 レーダ画像処理装置
JP5551892B2 (ja) * 2009-06-19 2014-07-16 富士通テン株式会社 信号処理装置、及びレーダ装置
JP2014228943A (ja) * 2013-05-20 2014-12-08 日本電産エレシス株式会社 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
US9898670B2 (en) * 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
JP6428270B2 (ja) 2014-02-10 2018-11-28 株式会社デンソー 軸ずれ検出装置
US9286679B2 (en) * 2014-07-22 2016-03-15 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198159A (ja) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd 車載センサの軸ずれ計測装置
JP2004205398A (ja) 2002-12-26 2004-07-22 Nissan Motor Co Ltd 車両用レーダ装置およびレーダの光軸調整方法
JP2004317507A (ja) * 2003-04-04 2004-11-11 Omron Corp 監視装置の軸調整方法
JP2010249613A (ja) * 2009-04-14 2010-11-04 Toyota Motor Corp 障害物認識装置及び車両制御装置
JP5416026B2 (ja) * 2010-04-23 2014-02-12 本田技研工業株式会社 車両の周辺監視装置

Also Published As

Publication number Publication date
JP6396714B2 (ja) 2018-09-26
KR101961571B1 (ko) 2019-03-22
US20170227634A1 (en) 2017-08-10
DE112015003605T8 (de) 2017-05-18
DE112015003605T5 (de) 2017-04-27
US10422871B2 (en) 2019-09-24
JP2016038261A (ja) 2016-03-22
CN106574961A (zh) 2017-04-19
WO2016021606A1 (ja) 2016-02-11
CN106574961B (zh) 2019-09-13
DE112015003605B4 (de) 2023-02-09

Similar Documents

Publication Publication Date Title
KR101961571B1 (ko) 복수의 물체 검출 수단을 사용한 물체 인식 장치
CN108028023B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
US9664787B2 (en) Lane estimation apparatus and method
JP6361366B2 (ja) 物体認識装置
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP6614247B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP4753765B2 (ja) 障害物認識方法
JP2016088183A (ja) 支障物検知システムおよび鉄道車両
CN107787496B (zh) 消失点修正装置及方法
WO2014002692A1 (ja) ステレオカメラ
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
EP3139346B1 (en) Vision system for a motor vehicle and method of controlling a vision system
JP2005156199A (ja) 車両検知方法及び車両検知装置
JP6204844B2 (ja) 車両のステレオカメラシステム
KR101494394B1 (ko) 스테레오 비전을 이용한 탐색장치 및 그 방법
JP2020076580A (ja) 軸ずれ推定装置
JP2020047059A (ja) 車両の走行環境検出装置及び走行制御システム
EP3051494B1 (en) Method for determining an image depth value depending on an image region, camera system and motor vehicle
JP2007233487A (ja) 歩行者検出方法、装置、およびプログラム
CN113014899A (zh) 一种双目图像的视差确定方法、装置及系统
US20190304123A1 (en) Identification apparatus, identification method, and non-transitory recording medium storing identification program
JPWO2019208257A1 (ja) 車載カメラ装置
JP2020027057A (ja) ステレオカメラ装置
US11815626B2 (en) Method for detecting intensity peaks of a specularly reflected light beam
JP6334773B2 (ja) ステレオカメラ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant