JP7318609B2 - 車載検出装置 - Google Patents

車載検出装置 Download PDF

Info

Publication number
JP7318609B2
JP7318609B2 JP2020133714A JP2020133714A JP7318609B2 JP 7318609 B2 JP7318609 B2 JP 7318609B2 JP 2020133714 A JP2020133714 A JP 2020133714A JP 2020133714 A JP2020133714 A JP 2020133714A JP 7318609 B2 JP7318609 B2 JP 7318609B2
Authority
JP
Japan
Prior art keywords
vehicle
sensor
image
camera
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020133714A
Other languages
English (en)
Other versions
JP2022030023A (ja
Inventor
一輝 堀場
広樹 齋藤
充広 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020133714A priority Critical patent/JP7318609B2/ja
Priority to US17/235,209 priority patent/US20220044555A1/en
Priority to CN202110856892.5A priority patent/CN114067608B/zh
Publication of JP2022030023A publication Critical patent/JP2022030023A/ja
Application granted granted Critical
Publication of JP7318609B2 publication Critical patent/JP7318609B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319—Controlling the accelerator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車載検出装置の技術分野に関する。
この種の装置として、例えば、車両に搭載された単眼カメラによって撮像された画像から駐車枠内の駐車車両の有無を判定する画像処理装置が提案されている（特許文献１参照）。
特開２０２０－０９５６２９号公報
特許文献１に記載されている技術のように、車載カメラにより撮像された画像に画像処理を施して、車両周辺に存在する障害物等を検出することが行われている。その上で、例えば自動運転技術による車両の安全安心な走行を実現する等のために、複数のカメラが車両に搭載されたり、車載カメラとして高解像度のカメラが用いられたり、車載カメラの撮像頻度が増加したりしている。このため、画像処理に係る計算量が肥大化している。この結果、画像処理を適切に行うための高性能な演算機が要求される。しかしながら、高性能な演算機は、そのコストが比較的高くなったり、そのサイズが比較的大きくなったりするという技術的問題点がある。
本発明は、上記問題点に鑑みてなされたものであり、画像処理に係る負荷を低減することができる車載検出装置を提供することを課題とする。
本発明の一態様に係る車載検出装置は、車両に搭載される車載検出装置であって、前記車両の周辺の第１範囲を撮像範囲とする撮像するカメラと、前記第１範囲の少なくとも一部と重複する第２範囲を測定範囲とする、前記カメラとは異なる種別のセンサと、前記カメラにより撮像された画像に対して検出処理を施す処理手段と、を備え、前記処理手段は、前記センサによる測定結果に基づいて、前記画像のうち前記検出処理の対象から除外される第１領域を特定し、前記画像のうち前記第１領域以外の第２領域に対して前記検出処理を施し、前記処理手段は、地図情報に基づいて、前記第１領域のうち、交通に影響を与える情報が存在すると推定される部分を特定し、前記第２領域に加えて前記部分に対して前記検出処理を施すというものである。
第１実施形態に係る車載検出装置の構成を示すブロック図である。 カメラにより撮像された画像の一例である。 第１実施形態に係る車載検出装置の動作を示すフローチャートである。 カメラにより撮像された画像の他の例である。 第２実施形態に係る車載検出装置の動作を示すフローチャートである。
車載検出装置に係る実施形態を図面に基づいて説明する。
＜第１実施形態＞
車載検出装置に係る第１実施形態を図１乃至図３を参照して説明する。図１において、車載検出装置１００は、車両１に搭載されている。車載検出装置１００は、カメラ１１、センサ１２、処理部１３、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１４及び地図データベース１５を備えて構成されている。図１において、点線は、カメラ１１の撮像範囲の一例を示しており、破線は、センサ１２の測定範囲の一例を示している。
センサ１２は、カメラ１１とは種別の異なるセンサである。センサ１２には、例えば、ミリ波レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、遠赤外線（Ｆａｒ Ｉｎｆｒａｒｅｄ Ｒａｙｓ：ＦＩＲ）センサ、超音波センサ（“ソナー”とも称される）、ＴＯＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）センサ、等を適用可能である。つまり、センサ１２は、物体の検知に用いることができる、カメラ１１とは異なる種別のセンサである。
尚、図１では、センサ１２を一つだけ明記しているが、車載検出装置１００は、複数のセンサ１２を備えていてよい。この場合、複数のセンサ１２は、同一種別のセンサに限らず、複数種別のセンサが混在していてよい。
処理部１３は、カメラ１１により撮像された画像に画像処理を施して、例えば車両１の周辺に存在する障害物等を検出する。処理部１３は、また、センサ１２の測定結果に基づいて、例えば車両１の周辺に存在する障害物等を検出する。センサ１２の測定結果に基づいて検出された障害物等を、以降、適宜“周辺物情報”と称する。尚、画像から障害物等を検出する方法、及び、周辺物情報を検出する方法については、既存の技術を適用可能であるので、その詳細についての説明は省略する。
ここで、画像処理では、その処理過程において、浮動小数点演算が行われることが多い。このため、画像処理に係る演算負荷は比較的大きくなる。この演算負荷は、画像処理を施す画像の解像度が高くなるほど、また、画像処理を施す画像の枚数が増えるほど、大きくなる。
他方で、周辺物情報を検出する処理では、整数演算が行われることが多い。整数演算は、浮動小数点演算に比べて、演算負荷が小さい。このため、周辺物情報を検出する処理に係る演算負荷は、画像処理に係る演算負荷に比べて小さくなる。
周辺物情報は、例えば、車両１と物体との相対位置（距離）や相対速度等である。これに対して、カメラ１１により撮像された画像からは、物体の形状や種別に加えて、例えば、物体の色、物体に描かれている文字や図形等も取得することができる。
例えば自動運転技術による車両の安全安心な走行を実現するためには、車両１の周辺に存在する障害物等の相対位置や相対速度に加えて、例えば、信号機の灯色に係る情報、車両１の前方を走行する車両のブレーキランプやウインカの点灯／点滅に係る情報、道路標識の認識結果に係る情報、等の、相対位置や相対速度以外の情報が要求される。つまり、安全安心な走行を実現しようとすれば、カメラ１１により撮像された画像から得られる情報の重要性が増すのである。
しかしながら、上述したように、画像処理に係る演算負荷は比較的大きい。加えて、車両１の周辺の状況は時々刻々と変化するので、１枚の画像の処理にかけられる時間は限られている。このため、何らの対策もしなければ、処理部１３として、高性能な演算機が要求されることとなる。加えて、高性能な演算機は発熱量が比較的大きいので、例えば放熱部材等が該演算機に付加される結果、そのサイズが比較的大きくなる。すると、コストの想定範囲内で演算機を調達したり、予定している搭載スペースに演算機を収容したりすることが難しくなるという問題が生じる。
そこで、当該車載検出装置１００では、次のようにして、画像処理に係る演算負荷を抑制している。即ち、処理部１３は、カメラ１１により撮像された画像に画像処理を施す前に、センサ１２の測定結果に基づいて、例えば車両１の周辺に存在する障害物等を検出する。このとき、処理部１３は、カメラ１１の撮像範囲のうち、センサ１２の測定結果に基づいて、十分な信頼性を持って検出された障害物等が存在するエリア、及び、車両１の脅威にならない障害物等が存在するエリアを、画像処理の対象から除外する。
カメラ１１により、例えば図２（ａ）に示す画像が撮像された場合、車両１の上空に存在する構造物（例えば、橋）は、車両１の脅威にならないので（言い換えれば、車両１に衝突しないので）、処理部１３は、上記画像のうち、図２（ｂ）において破線枠で囲われたエリアｒ１を、画像処理の対象から除外する。同様に、車両１の側方に存在する構造物（例えば、壁）は、車両１の脅威にならないので、処理部１３は、上記画像のうち、図２（ｂ）において破線枠で囲われたエリアｒ２を、画像処理の対象から除外する。これらの画像処理の対象から除外されたエリアを、以降、適宜「検出済エリア」と称する。
そして、処理部１３は、カメラ１１により撮像された画像のうち、検出済エリア以外の部分に画像処理を施して、車両１の周辺に存在する障害物等を検出する。
次に、車載検出装置１００の動作について、図３のフローチャートを参照して説明を加える。
図３において、センサ１２（即ち、カメラ１１以外のセンサ）により、車両１の周辺が測定される（ステップＳ１０１）。次に、処理部１３は、センサ１２の測定結果に基づいて、例えば車両１の周辺に存在する障害物等（即ち、周辺物情報）を検出する（ステップＳ１０２）。
ステップＳ１０１及びＳ１０２の処理と並行して、カメラ１１により、車両１の周辺が撮像される（ステップＳ１０３）。次に、処理部１３は、ステップＳ１０２の処理において検出された周辺物情報に基づいて、カメラ１１により撮像された画像内で、検出済エリア（即ち、画像処理の対象から除外されるエリア）を設定する（ステップＳ１０４）。
次に、処理部１３は、カメラ１１により撮像された画像のうち、ステップＳ１０４の処理において設定された検出済エリア以外の部分に画像処理を施して、車両１の周辺に存在する障害物等（即ち、検出対象物）を検出する（ステップＳ１０５）。その後、所定時間（例えば数十ミリ秒から数百ミリ秒）が経過した後に、ステップＳ１０１の処理が行われる。即ち、図３に示す動作は、所定時間に応じた周期で繰り返し行われる。
（技術的効果）
当該車載検出装置１００では、上述の如く、カメラ１１により撮像された画像のうち、検出済エリア以外の部分に画像処理が施される。画像処理の対象から、検出済エリアが除外されるので（言い換えれば、画像処理を施す部分が絞り込まれるので）、画像処理に係る演算負荷を抑制することができる。加えて、１枚の画像に施される画像処理にかかる時間も抑制することができる。
当該車載検出装置１００によれば画像処理に係る演算負荷を抑制することができるので、処理部１３としての演算機に要求される性能を抑制することができる。この結果、処理部１３としての演算機のコストを抑制することができるとともに、そのサイズの小型化を図ることができる。
センサ１２として、ミリ波レーダ、ＬｉＤＡＲ、遠赤外線センサ、超音波センサ及びＴＯＦセンサのうち少なくとも一つが用いられることにより、周辺物情報の検出に係る演算負荷を比較的小さくすることができる。なぜなら、これらのセンサの測定結果から周辺物情報を検出する処理の過程では、浮動小数点演算よりも負荷の軽い整数演算が行われるからである。また、これらのセンサの測定結果から周辺物情報を検出して検出済エリアを設定する処理が増えたとしても、カメラ１１により撮像された画像全体に画像処理が施される場合に比べて、処理部１３全体の演算負荷を抑制することができる。加えて、これらのセンサは、物体の検知（例えば、車両１と物体との相対位置や相対速度等の検知）について十分な実績があるので、これらのセンサの測定結果から、比較的信頼性の高い周辺物情報を検出することができる。
＜変形例＞
処理部１３は、上述したステップＳ１０４の処理において、例えば、画像のうち輝度が所定値以下であるエリアや、画像上で複数の物体が重なっていると推定されるエリア、等を、画像処理の対象から更に除外してよい。
輝度が所定値以下であるエリア（例えば、暗闇）については、画像処理により障害物等を検出できない可能性が高い。このため、輝度が所定値以下であるエリアを、画像処理の対象から除外することにより、画像処理に係る演算負荷をより抑制することができる。また、画像上で複数の物体が重なっていると推定されるエリアについては、画像処理により正しい結果が得られないことが多い。このため、画像上で複数の物体が重なっていると推定されるエリアを、画像処理の対象から除外することにより、誤検出の発生を抑制することができる。
尚、上記「所定値」は、暗闇であるか否かを判定するための値であり、予め固定値として、又は、何らかの物理量若しくはパラメータに応じた可変値として設定されてよい。このような所定値は、経験的に若しくは実験的に、又は、シミュレーションによって、例えば、輝度と、画像処理による障害物等の検出精度との関係を求め、該求められた関係に基づいて、検出精度が比較的悪くなる輝度として設定すればよい。
＜第２実施形態＞
車載検出装置に係る第２実施形態について図４及び図５を参照して説明する。第２実施形態では、処理部１３の動作が一部異なる以外は、上述した第１実施形態と同様である。よって、第２実施形態について、第１実施形態と重複する説明を省略するとともに、図面における共通の箇所には同一の符号を付して示し、基本的に異なる部分について図４及び図５を参照して説明する。
上述した第１実施形態において、検出済エリア（図４の“エリアｒ１”、“エリアｒ２”参照）には、例えば信号機、道路標識、案内板等の車両１の交通に影響を与える情報が存在することがある。例えば信号機の灯色や、道路標識の内容等は、センサ１２の測定結果から認識することはできない。
車載検出装置１００の処理部１３は、ＧＰＳ１４により特定された車両１の位置に基づいて、地図データベース１５から車両１周辺の地図情報を取得する。そして、処理部１３は、該取得された地図情報に基づいて、検出済エリアのうち、交通に影響を与える情報が存在すると推定される部分を特定する。
ここで、地図データベース１５に含まれる地図情報には、例えば信号機、道路標識、案内板、路上標示、工事区間等を示す情報が含まれていてよい。また、地図データベース１５に含まれる地図情報は、車両１の外部の装置（例えばサーバ等）と通信することにより、逐次更新されてよい。
処理部１３は、地図情報に基づいて、例えば車両１が交差点に近づいていることを検知した場合、車両１から交差点までの距離を考慮して、カメラ１１により撮像された画像の検出済エリアのうち、信号機が存在すると推定される部分を特定してよい。処理部１３は、地図情報に含まれる工事区間を示す情報に基づいて、例えばカメラ１１により撮像された画像の検出済エリアのうち、ロードコーンが存在すると推定される部分を特定してよい。
処理部１３は、画像処理の対象から除外された検出済エリアのうち、交通に影響を与える情報が存在すると推定される部分に、画像処理を施す。処理部１３は、例えば図４に示す画像の検出済エリアｒ１のうち、交通に影響を与える情報（例えば案内板）が存在すると推定される部分ｒ３に、画像処理を施す。処理部１３は、例えば図４に示す画像の検出済エリアｒ２のうち、交通に影響を与える情報（例えば道路標識）が存在すると推定される部分ｒ４に、画像処理を施す。
次に、車載検出装置１００の動作について、図５のフローチャートを参照して説明を加える。
図５において、処理部１３は、上述したステップＳ１０５の処理の後、地図情報があるか否かを判定する（ステップＳ２０１）。ステップＳ２０１の処理において、地図情報があると判定された場合（ステップＳ２０１：Ｙｅｓ）、処理部１３は、検出済エリアに、地図情報に基づいて、交通に影響を与える情報が存在すると推定される部分を特定して、該部分を含む検出エリア（図５における“検出対象別の検出エリア”：例えば図４の“エリアｒ３”、“エリアｒ４”に相当）を設定する（ステップＳ２０２）。
次に、処理部１３は、上記設定された検出エリアに画像処理を施して、対象物（即ち、交通に影響を与える情報）を検出する（ステップＳ２０３）。その後、所定時間が経過した後に、ステップＳ１０１の処理が行われる。
ステップＳ２０１の処理において、地図情報がないと判定された場合（ステップＳ２０１：Ｎｏ）、図５に示す動作は終了される。その後、所定時間が経過した後に、ステップＳ１０１の処理が行われる。尚、「地図情報がない」とは、地図情報そのものがないことに限らず、例えば、地図情報に信号機等を示す情報が含まれていないことも意味してよい。
（技術的効果）
このように構成すれば、画像処理に係る演算負荷を抑制しつつ、車両１の交通に影響を与える情報を適切に検出することができる。
＜応用例＞
第１実施形態又は第２実施形態に係る車載検出装置１００の応用例について説明する。ここでは、車載検出装置１００による検出結果を、車両１の衝突判定制御に用いる例を挙げる。
例えば車両１に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）は、車載検出装置１００による検出結果から、衝突判定の対象となる物体を特定する。尚、物体は、静止物であってもよいし、移動体であってもよい。
ＥＣＵは、上記特定された物体に車両１が到達する時間（例えば、Ｔｉｍｅ ｔｏ Ｃｏｌｌｉｓｉｏｎ：ＴＴＣ等）を算出する。そして、ＥＣＵは、該算出された時間に基づいて、車両１と物体とが衝突しそうであるか否かを判定する。
この判定において、車両１と物体とが衝突しそうであると判定された場合、ＥＣＵは、例えば車両１のドライバに対して警報や警告を発したり、車両１を減速及び／又は操舵するように、各種アクチュエータを制御したりする。
上述したように、車載検出装置１００では、例えば車両１の脅威にならない障害物等が存在するエリアが画像処理の対象から除外される。このため、車載検出装置１００による検出結果には、車両１と明らかに衝突しない物体に係る情報は含まれていない。つまり、車載検出装置１００による検出結果を用いることにより、衝突判定の対象となる物体を予め絞り込むことができる。この結果、衝突判定に係る処理の負荷を軽減することができる。
以上に説明した実施形態及び変形例から導き出される発明の各種態様を以下に説明する。
発明の一態様に係る車載検出装置は、車両に搭載される車載検出装置であって、前記車両の周辺の第１範囲を撮像範囲とする撮像するカメラと、前記第１範囲の少なくとも一部と重複する第２範囲を測定範囲とする、前記カメラとは異なる種別のセンサと、前記カメラにより撮像された画像に対して検出処理を施す処理手段と、を備え、前記処理手段は、前記センサによる測定結果に基づいて、前記画像のうち前記検出処理の対象から除外される第１領域を特定し、前記画像のうち前記第１領域以外の第２領域に対して前記検出処理を施すというものである。
上述の実施形態においては、「処理部１３」が「処理手段」の一例に相当し、「画像処理」が「検出処理」の一例に相当し、「検出済エリア」が「第１領域」の一例に相当し、「カメラ１１により撮像された画像のうち検出済エリア以外の部分」が「第２領域」の一例に相当する。
当該車載検出装置の一態様では、前記処理手段は、地図情報に基づいて、前記第１領域のうち、交通に影響を与える情報が存在すると推定される部分を特定し、前記第２領域に加えて前記部分に対して前記検出処理を施す。
当該車載検出装置の他の態様では、前記センサは、ミリ波レーダ、ＬｉＤＡＲ、遠赤外線センサ、超音波センサ及びＴＯＦセンサのうち少なくとも一つである。
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う車載検出装置もまた本発明の技術的範囲に含まれるものである。
１…車両、１１…カメラ、１２…センサ、１３…処理部、１４…ＧＰＳ、１５…地図データベース、１００…車載検出装置

Claims (2)

  1. 車両に搭載される車載検出装置であって、
    前記車両の周辺の第１範囲を撮像範囲とする撮像するカメラと、
    前記第１範囲の少なくとも一部と重複する第２範囲を測定範囲とする、前記カメラとは異なる種別のセンサと、
    前記カメラにより撮像された画像に対して検出処理を施す処理手段と、
    を備え、
    前記処理手段は、前記センサによる測定結果に基づいて、前記画像のうち前記検出処理の対象から除外される第１領域を特定し、前記画像のうち前記第１領域以外の第２領域に対して前記検出処理を施し、
    前記処理手段は、地図情報に基づいて、前記第１領域のうち、交通に影響を与える情報が存在すると推定される部分を特定し、前記第２領域に加えて前記部分に対して前記検出処理を施す
    ことを特徴とする車載検出装置。
  2. 前記センサは、ミリ波レーダ、ＬｉＤＡＲ、遠赤外線センサ、超音波センサ及びＴＯＦセンサのうち少なくとも一つであることを特徴とする請求項１に記載の車載検出装置。
JP2020133714A 2020-08-06 2020-08-06 車載検出装置 Active JP7318609B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020133714A JP7318609B2 (ja) 2020-08-06 2020-08-06 車載検出装置
US17/235,209 US20220044555A1 (en) 2020-08-06 2021-04-20 In-vehicle detection device and detection method
CN202110856892.5A CN114067608B (zh) 2020-08-06 2021-07-28 车载检测装置及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020133714A JP7318609B2 (ja) 2020-08-06 2020-08-06 車載検出装置

Publications (2)

Publication Number Publication Date
JP2022030023A JP2022030023A (ja) 2022-02-18
JP7318609B2 true JP7318609B2 (ja) 2023-08-01

Family

ID=80113953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020133714A Active JP7318609B2 (ja) 2020-08-06 2020-08-06 車載検出装置

Country Status (3)

Country Link
US (1) US20220044555A1 (ja)
JP (1) JP7318609B2 (ja)
CN (1) CN114067608B (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304033A (ja) 2006-05-15 2007-11-22 Honda Motor Co Ltd 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988551B2 (ja) * 2002-07-04 2007-10-10 日産自動車株式会社 車両周囲監視装置
JP4483305B2 (ja) * 2004-01-16 2010-06-16 トヨタ自動車株式会社 車両周辺監視装置
JP2008037361A (ja) * 2006-08-09 2008-02-21 Toyota Motor Corp 障害物認識装置
JP4830958B2 (ja) * 2007-04-17 2011-12-07 株式会社デンソー 車両用物体検出装置
JP4985142B2 (ja) * 2007-06-26 2012-07-25 株式会社日本自動車部品総合研究所 画像認識装置および画像認識装置の画像認識処理方法
JP5371273B2 (ja) * 2008-03-26 2013-12-18 富士通テン株式会社 物体検知装置、周辺監視装置、運転支援システムおよび物体検知方法
JP5178276B2 (ja) * 2008-03-27 2013-04-10 ダイハツ工業株式会社 画像認識装置
JP2011027457A (ja) * 2009-07-22 2011-02-10 Fujitsu Ten Ltd 物体検出装置、情報処理方法、および、情報処理システム
JP2011039833A (ja) * 2009-08-12 2011-02-24 Fujitsu Ltd 車両検出装置、車両検出プログラム、および車両検出方法
JP5491242B2 (ja) * 2010-03-19 2014-05-14 本田技研工業株式会社 車両周辺監視装置
JP6051608B2 (ja) * 2012-06-19 2016-12-27 市光工業株式会社 車両周辺対象物検出装置
CA2992405A1 (en) * 2015-07-13 2017-01-19 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
KR102428267B1 (ko) * 2015-11-11 2022-08-01 현대모비스 주식회사 차량 전방 장애물 레이더 검지 방법
JP6239047B1 (ja) * 2016-06-17 2017-11-29 三菱電機株式会社 物体認識統合装置および物体認識統合方法
JP6722066B2 (ja) * 2016-08-29 2020-07-15 株式会社Ｓｏｋｅｎ 周辺監視装置及び周辺監視方法
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR101851155B1 (ko) * 2016-10-12 2018-06-04 현대자동차주식회사 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
US10664049B2 (en) * 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
WO2018196001A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Sensing assembly for autonomous driving
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
JP7244215B2 (ja) * 2018-05-07 2023-03-22 株式会社デンソーテン 物体検知装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007304033A (ja) 2006-05-15 2007-11-22 Honda Motor Co Ltd 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム

Also Published As

Publication number Publication date
JP2022030023A (ja) 2022-02-18
US20220044555A1 (en) 2022-02-10
CN114067608A (zh) 2022-02-18
CN114067608B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
RU2685108C1 (ru) Система поддержки рулевого управления
CN110023783B (zh) 车辆周边信息获取装置以及车辆
JP7000639B2 (ja) インテリジェント路側ユニット
US20080007429A1 (en) Visibility condition determining device for vehicle
JP6137081B2 (ja) 車載機器
JP7413935B2 (ja) 車載センサシステム
JP6664360B2 (ja) 判定装置および車両
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
WO2020166338A1 (ja) 運転支援装置
KR20200139443A (ko) 운전자 보조 시스템 및 그 제어 방법
JP6493422B2 (ja) 走行支援装置
JP2019002689A (ja) 物標検出装置
CN110705445A (zh) 拖车及盲区目标检测方法和装置
JP7180364B2 (ja) 車両制御装置、車両、及び車両制御方法
US11890939B2 (en) Driver assistance system
US20240182052A1 (en) Driver assistance apparatus and driver assistance method
US20200385023A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
US20200384992A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP7318609B2 (ja) 車載検出装置
US11798287B2 (en) Driver assistance apparatus and method of controlling the same
US20210284148A1 (en) Travel control apparatus, vehicle, travel control method, and non-transitory computer-readable storage medium
JP2018122633A (ja) 運転支援装置
JP2010146082A (ja) 画像処理装置
JP7213279B2 (ja) 運転支援装置
CN113415289B (zh) 无人驾驶车辆的标识装置和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R151 Written notification of patent or utility model registration

Ref document number: 7318609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151