JP7288895B2 - センサシステム、および画像データ生成装置 - Google Patents

センサシステム、および画像データ生成装置 Download PDF

Info

Publication number
JP7288895B2
JP7288895B2 JP2020504983A JP2020504983A JP7288895B2 JP 7288895 B2 JP7288895 B2 JP 7288895B2 JP 2020504983 A JP2020504983 A JP 2020504983A JP 2020504983 A JP2020504983 A JP 2020504983A JP 7288895 B2 JP7288895 B2 JP 7288895B2
Authority
JP
Japan
Prior art keywords
information
vehicle
sensor unit
signal
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020504983A
Other languages
English (en)
Other versions
JPWO2019172117A1 (ja
Inventor
重之 渡邉
裕一 綿野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Publication of JPWO2019172117A1 publication Critical patent/JPWO2019172117A1/ja
Application granted granted Critical
Publication of JP7288895B2 publication Critical patent/JP7288895B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Studio Devices (AREA)

Description

本開示は、車両に搭載されるセンサシステムに関連する。
本開示は、車両に搭載される画像データ生成装置にも関連する。
車両の運転支援技術を実現するためには、当該車両の外部の情報を検出するためのセンサを車体に搭載する必要がある。そのようなセンサの例としては、LiDAR(Light Detection and Ranging)センサやカメラが挙げられる(例えば、特許文献1を参照)。車両の運転支援技術が高度化するにつれ、必要とされる情報処理に係る負荷も増大する。
本明細書において「運転支援」とは、運転操作(ハンドル操作、加速、減速)、走行環境の監視、および運転操作のバックアップの少なくとも一つを少なくとも部分的に行なう制御処理を意味する。すなわち、衝突被害軽減ブレーキ機能やレーンキープアシスト機能のような部分的な運転支援から完全自動運転動作までを含む意味である。
サイドミラーやバックミラーに代えて、車両に搭載されたカメラにより撮影された画像を車室内に設置された表示装置に表示させる電子ミラー技術が知られている。特許文献2は、そのような電子ミラー技術の一例を開示している。
日本国特許出願公開2010-185769号公報 日本国特許出願公開2017-047868号公報
本開示における第一の課題は、車両の運転支援に必要とされる信号処理に係る負荷の増大を抑制することである。
本開示における第二の課題は、車両の運転支援に必要とされる複数のセンサの検出精度を維持することである。
本開示における第三の課題は、後方視認性がより向上された電子ミラー技術を提供することである。
上記の第一の課題を達成するための一態様は、車両に搭載されるセンサシステムであって、
前記車両の外部の情報を検出し、当該情報に対応する信号を出力する少なくとも一つのセンサユニットと、
前記信号を処理して前記情報に対応するデータを生成する信号処理装置と、
を備えており、
前記信号処理装置は、
前記車両のピッチ角に基づいて定められた基準高さを示す基準高さ情報を取得し、
前記基準高さ情報に基づいて、前記センサユニットの検出範囲のうち前記基準高さに対応する領域に関連付けられた前記信号を用いて前記データを生成する。
運転支援のために例えば基準高さにおける車両の外部の情報が必要とされる場合、車両の上下方向におけるセンサユニットの検出基準方向が基準高さと一致していることが好ましい。しかしながら、車両のピッチ角度の変化に応じてセンサユニットの検出基準方向が車両の上下方向に変化するので、センサユニットの検出範囲は、車両の上下方向に冗長性を有するように設定されることが一般的である。
上記のような構成によれば、信号処理装置は、車両のピッチ角に基づいて別途定められる基準高さ情報を利用して上記の領域を特定する。したがって、車両のピッチ角に依らず、運転支援に必要とされる情報を含む領域を容易かつ高い信頼性とともに特定できる。さらに、冗長性を有する検出範囲の一部である領域に関連付けられた信号のみが外部情報を取得するためのデータ生成処理に供されるので、車両の運転支援に必要とされる信号処理に係る負荷の増大を抑制できる。
上記のセンサシステムは、以下のように構成されうる。
前記基準高さ情報に基づいて、前記車両の上下方向における前記センサユニットの検出基準方向を調節するレベリング調節機構を備えている。
このような構成によれば、車両のピッチ角変化に応じたセンサユニットの検出基準方向の変化を抑制できるので、運転支援に必要とされる情報を含む領域の位置の変化を抑制できる。したがって、当該領域を特定するための信号処理装置の処理負荷をさらに抑制できる。
上記のセンサシステムは、以下のように構成されうる。
前記少なくとも一つのセンサユニットは、
前記車両の外部の第一情報を検出し、当該第一情報に対応する第一信号を出力する第一センサユニットと、
前記車両の外部の第二情報を検出し、当該第二情報に対応する第二信号を出力する第二センサユニットと、
を含んでおり、
前記信号処理装置は、前記第一信号を処理して前記第一情報に対応する第一データを生成するとともに、前記第二信号を処理して前記第二情報に対応する第二データを生成し、
前記信号処理装置は、前記基準高さ情報に基づいて、前記第一センサユニットの検出範囲のうち前記基準高さに対応する領域に関連付けられた信号を前記第一信号として処理するとともに、前記第二センサユニットの検出範囲のうち前記基準高さに対応する領域に関連付けられた信号を前記第二信号として処理する。
上記の構成においては、共通の基準高さ情報に基づいて、第一センサユニットから出力される第一信号に基づく第一データの生成と、第二センサユニットから出力される第二信号に基づく第二データの生成とがなされる。すなわち、生成される第一データと第二データは、ともに基準高さに関連付けられた情報を含んでいる。したがって、運転支援に対する両データの統合的な利用が容易になる。また、第一データと第二データは、ともに各センサユニットの検出範囲の一部である領域に関連付けられた信号のみを用いて生成される。よって、両データが統合的に利用される場合であっても、信号処理装置の処理負荷の増大を抑制できる。
上記のセンサシステムは、以下のように構成されうる。
前記信号処理装置は、前記データを地図情報と関連付ける。
このような構成によれば、信号処理装置により生成されたデータと地図情報を、統合的に運転支援に利用できる。前述のように、データの生成に係る信号処理負荷の増大を抑制できるので、当該データと地図情報を組み合わせた統合的な運転支援における処理負荷の増大もまた、全体として抑制できる。
この場合、上記のセンサシステムは、以下のように構成されうる。
前記データは、前記地図情報のうち前記基準高さに対応する情報に関連付けられる。
このような構成によれば、地図情報を二次元情報にできるので、統合的な運転支援に利用されるデータの量を減らすことができる。したがって、統合的な運転支援における処理負荷の増大をさらに抑制できる。
上記のセンサシステムは、以下のように構成されうる。
ランプユニットを収容する灯室を区画しているランプハウジングを備えており、
前記センサユニットは、前記灯室内に配置されている。
ランプユニットは、車両の外部に光を供給するという機能ゆえに、車両における遮蔽物の少ない場所に配置されることが一般的である。このような場所にセンサユニットも配置されることにより、車両の外部の情報を効率的に取得できる。
また、高さ検出情報を車両のオートレベリングシステムから取得する場合、高さ検出情報をランプユニットと共用しうる。この場合、効率的なシステムの設計が可能である。
上記のセンサシステムは、以下のように構成されうる。
前記少なくとも一つのセンサユニットは、LIDARセンサユニット、カメラユニット、およびミリ波センサユニットの少なくとも一つである。
これらのセンサユニットは、車両の外部の情報を取得するために有用である一方、取得される情報に対応するデータ量が非常に多いことが知られている。しかしながら、前述のように、センサユニットの検出範囲の一部である領域に関連付けられた信号のみが外部情報を取得するためのデータ生成処理に供される。よって、これらのセンサユニットを使用しつつも、車両の運転支援に必要とされる信号処理に係る負荷の増大を抑制できる。
上記の第二の課題を達成するための一態様は、車両に搭載されるセンサシステムであって、
前記車両の外部の情報を検出し、各々が当該情報に対応する信号を出力する複数のセンサユニットと、
前記信号を取得する信号処理装置と、
を備えており、
前記複数のセンサユニットは、
前記車両の外部の第一情報を検出し、当該第一情報に対応する第一信号を出力する第一センサユニットと、
前記車両の外部の第二情報を検出し、当該第二情報に対応する第二信号を出力する第二センサユニットと、
を含んでおり、
前記信号処理装置は、
前記第一信号と前記第二信号に基づいて、前記第一情報と前記第二情報が同一の基準目標物を含んでいるかを判定し、
前記第一情報と前記第二情報が同一の基準目標物を含んでいると判定された場合、前記第一情報により特定される当該基準目標物の位置と前記第二情報により特定される当該基準目標物の位置との差異を検出する。
車両に搭載された複数のセンサユニットは、走行中の振動や時間の経過により位置ずれを生じる場合がある。このような位置ずれの発生は、複数のセンサユニットにより同一の基準目標物が検出されていながら、特定された当該基準目標物の位置が当該複数のセンサユニットの間で相違するという現象に繋がる。したがって、上記の差異を検出することによって、当該複数のセンサユニットの少なくとも一つに位置ずれが発生していることを把握できる。
例えば、差異の大きさが所定値を上回る場合、ユーザへの報知がなされうる。ユーザは、位置ずれを補正するための然るべき対応を行なえる。したがって、車両の運転支援に必要とされる複数のセンサユニットの検出精度を維持できる。
上記のセンサシステムは、以下のように構成されうる。
前記信号処理装置は、
前記第一情報により特定される前記基準目標物の位置と前記第二情報により特定される当該基準目標物の位置の経時変化を取得し、
前記経時変化に基づいて補正が必要なセンサユニットを特定する。
前述の処理を一度だけ行なって特定される基準目標物の位置の差異に基づいて判断されるのは、第一センサユニットと第二センサユニットの少なくとも一方に位置ずれが生じているという事実のみである。上記のように、各センサユニットにより特定される基準目標物の位置の経時変化を監視することにより、補正が必要なセンサユニットを特定できる。したがって、車両の運転支援に必要とされる複数のセンサユニットの検出精度をより容易に維持できる。
あるいは、上記のセンサシステムは、以下のように構成されうる。
前記複数のセンサユニットは、前記車両の外部の第三情報を検出し、当該第三情報に対応する第三信号を出力する第三センサユニットを含んでおり、
前記信号処理装置は、
前記第一信号、前記第二信号、および前記第三信号に基づいて、前記第一情報、前記第二情報、および前記第三情報が同一の基準目標物を含んでいるかを判定し、
前記第一情報、前記第二情報、および前記第三情報が同一の基準目標物を含んでいると判定された場合、前記第一情報により特定される当該基準目標物の位置、前記第二情報により特定される当該基準目標物の位置、および前記第三情報により特定される当該基準目標物の位置の間の差異に基づいて、補正が必要なセンサユニットを特定する。
このような構成によれば、基準目標物の位置を特定する処理を繰り返さずとも、例えば多数決の原理に基づいて補正が必要なセンサユニットを特定できる。したがって、車両の運転支援に必要とされる複数のセンサユニットの検出精度をより容易に維持できる。
基準目標物は、高さ方向における位置の基準を提供できるものであることが好ましい。高さ方向における位置の基準は、車両の走行状態による変動が比較的小さい傾向にあり、信号処理装置における処理負荷の増大を抑制しやすいからである。
上記のセンサシステムは、以下のように構成されうる。
ランプユニットを収容する灯室を区画しているランプハウジングを備えており、
前記複数のセンサユニットの少なくとも一つは、前記灯室内に配置されている。
ランプユニットは、車両の外部に光を供給するという機能ゆえに、遮蔽物の少ない場所に配置されることが一般的である。このような場所にセンサユニットも配置されることにより、車両の外部の情報を効率的に取得できる。
上記のセンサシステムは、以下のように構成されうる。
前記少なくとも複数のセンサユニットは、LIDARセンサユニット、カメラユニット、およびミリ波センサユニットの少なくとも一つである。
本明細書において、「センサユニット」とは、所望の情報検出機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。
本明細書において、「ランプユニット」とは、所望の照明機能を備えつつ、それ自身が単体で流通可能な部品の構成単位を意味する。
上記第三の課題を達成するための一態様は、車両に搭載される画像データ生成装置であって、
前記車両の運転席よりも後方の画像を取得する少なくとも一つのカメラから出力された当該画像に対応する信号が入力される入力インターフェースと、
前記信号に基づいて、表示装置に表示される第一監視画像に対応する第一画像データを生成するプロセッサと、
前記表示装置へ前記第一画像データを出力する出力インターフェースと、
を備えており、
前記プロセッサは、
前記第一監視画像に含まれる基準物を決定し、
前記基準物が前記第一監視画像における所定の領域内に含まれているかを判断し、
前記基準物が前記所定の領域内に含まれていないと判断された場合、当該基準物を当該所定の領域内に含む第二監視画像が前記表示装置に表示されるように、当該第二監視画像に対応する第二画像データを生成し、
前記出力インターフェースを通じて前記第二画像データを前記表示装置へ出力する。
このような構成によれば、基準物の位置に応じて第一画像データと第二画像データのいずれかが生成され、基準物を所定の領域内に含んだ第一監視画像または第二監視画像を表示装置に表示させ続けることが可能である。したがって、車両の状態によって運転者が後方の視認を妨げられる事態を回避できる。すなわち、後方視認性がより向上された電子ミラー技術を提供できる。
上記の画像データ生成装置は、以下のように構成されうる。
前記プロセッサは、
前記画像の第一部分に対応する前記信号に基づいて前記第一画像データを生成し、
前記画像の第二部分に対応する前記信号に基づいて前記第二画像データを生成する。
カメラにより取得された原画像全体を表示装置に表示させようとした場合、広い範囲を視認できる一方で監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、原画像から必要最低限の領域をクリッピングすることによって第一監視画像と第二監視画像を生成するので、視野の確保と視認性の低下防止を両立できる。
あるいは、上記の画像データ生成装置は、以下のように構成されうる。
前記プロセッサは、
前記カメラの画角が第一画角であるときの前記画像に基づいて前記第一画像データを生成し、
前記第一画角よりも広い第二画角となるように前記カメラの画角を変更し、
前記カメラの画角が前記第二画角であるときの前記画像に基づいて前記第二画像データを生成する。
初めから画角の広いカメラを用いた場合、広い範囲を視認できる一方で表示装置に表示される監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、必要なときにのみ画角を広げて第二監視画像を生成するので、視野の確保と視認性の低下防止を両立できる。
あるいは、上記の画像データ生成装置は、以下のように構成されうる。
前記プロセッサは、
前記カメラの光軸が第一方向を向いているときの前記画像に基づいて前記第一画像データを生成し、
前記カメラの光軸の向きを前記第一方向とは異なる第二方向へ変更し、
前記カメラの光軸が前記第二方向を向いているときの前記画像に基づいて前記第二画像データを生成する。
初めから画角の広いカメラを用いた場合、広い範囲を視認できる一方で表示装置に表示される監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、画角を変えずとも基準物が所定の範囲に含まれている監視画像を生成し続けることができる。監視画像内に表示される物体が適切に視認できる程度に画角を定めればよいので、視野の確保と視認性の低下防止を両立できる。
あるいは、上記の画像データ生成装置は、以下のように構成されうる。
前記少なくとも一つのカメラは、第一カメラと第二カメラを含んでおり、
前記プロセッサは、
前記第一カメラから取得した前記信号に基づいて前記第一画像データを生成し、
前記第二カメラから取得した前記信号に基づいて前記第二画像データを生成する。
初めから画角の広いカメラを用いた場合、広い範囲を視認できる一方で表示装置に表示される監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、画角を変えずとも基準物が所定の範囲に含まれている監視画像を生成し続けることができる。監視画像内に表示される物体が適切に視認できる程度に各カメラの画角を定めればよいので、視野の確保と視認性の低下防止を両立できる。
上記の画像データ生成装置は、以下のように構成されうる。
前記基準物は、前記第一監視画像を介してユーザにより指定可能である。
このような構成によれば、第二監視画像を生成するための基準物の設定について柔軟性と自由度を高めることができる。
前記基準物は、前記車両の後部の一部、または前記車両の後方に位置する車両の一部でありうる。
第一実施形態に係るセンサシステムの構成を例示している。 図1のセンサシステムの動作例を説明する図である。 車両におけるセンサシステムの位置を例示する図である。 第二実施形態に係るセンサシステムの構成を例示している。 図4のセンサシステムによって行なわれる処理を例示している。 図4のセンサシステムにおけるセンサユニットが灯室内に配置された構成を例示している。 第三実施形態に係る画像データ生成装置の機能構成を例示している。 上記の画像データ生成装置が搭載される車両の一例を示している。 上記の画像データ生成装置の動作フローを例示している。 上記の画像データ生成装置の動作結果を例示している。 上記の画像データ生成装置の動作の第一の例を示している。 上記の画像データ生成装置の動作の第二の例を示している。 上記の画像データ生成装置の動作の第三の例を示している。 上記の画像データ生成装置の動作の第四の例を示している。
添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。
添付の図面において、矢印Fは、図示された構造の前方向を示している。矢印Bは、図示された構造の後方向を示している。矢印Lは、図示された構造の左方向を示している。矢印Rは、図示された構造の右方向を示している。以降の説明に用いる「左」および「右」は、運転席から見た左右の方向を示している。
図1は、第一実施形態に係るセンサシステム1の構成を模式的に示している。センサシステム1は、車両に搭載される。
センサシステム1は、LiDARセンサユニット11を備えている。LiDARセンサユニット11は、非可視光を出射する構成、および当該非可視光が少なくとも車両の外部に存在する物体に反射した結果の戻り光を検出する構成を備えている。LiDARセンサユニット11は、必要に応じて出射方向(すなわち検出方向)を変更して当該非可視光を掃引する走査機構を備えうる。本実施形態においては、非可視光として波長905nmの赤外光が使用されている。
LiDARセンサユニット11は、例えば、ある方向へ非可視光を出射したタイミングから戻り光を検出するまでの時間に基づいて、当該戻り光に関連付けられた物体までの距離を取得できる。また、そのような距離データを検出位置と関連付けて集積することにより、戻り光に関連付けられた物体の形状に係る情報を取得できる。これに加えてあるいは代えて、出射光と戻り光の波形の相違に基づいて、戻り光に関連付けられた物体の材質などの属性に係る情報を取得できる。
LiDARセンサユニット11は、上記のようにして検出された車両の外部の情報に対応する信号S1を出力するように構成されている。
センサシステム1は、信号処理装置12を備えている。信号処理装置12は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、後述する処理を実現するコンピュータプログラムが記憶されうる。汎用マイクロプロセッサは、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。信号処理装置12は、後述する処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。信号処理装置12は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
具体的には、信号処理装置12は、LiDARセンサユニット11から出力された信号S1を処理し、検出された車両の外部の情報に対応するLiDARデータを生成するように構成されている。LiDARデータは、車両の運転支援に利用される。
信号処理装置12は、車両に搭載されているオートレベリングシステムから基準高さ情報Hを取得するように構成されている。オートレベリングシステムは、車両の上下方向におけるヘッドランプの光軸の向きを、当該車両のピッチ角に基づいて調節するシステムである。オートレベリングシステムがヘッドランプの光軸の向きを調節する過程で、基準高さ(例えば調節後の光軸の向き)が定められる。基準高さ情報Hは、この基準高さを示している。
信号処理装置12は、取得した基準高さ情報Hに基づいて、LiDARセンサユニット11の検出範囲のうち基準高さに対応する領域に関連付けられた信号S1を用いてLiDARデータを生成するように構成されている。図2を参照しつつ、この動作について詳細に説明する。
図2の(A)は、センサシステム1が車両100の前部に搭載されている例を示している。この場合、LiDARセンサユニット11は、車両100の少なくとも前方の情報を検出するように構成される。矢印Dは、車両100の上下方向におけるLiDARセンサユニット11の検出基準方向を示している。
図2の(B)は、LiDARセンサユニット11の検出範囲Aを示している。符号hは、基準高さ情報Hにより示される基準高さを表している。LiDARセンサユニット11から出力される信号S1には、検出範囲A内の情報が含まれうる。信号処理装置12は、検出範囲Aの一部である領域Pに関連付けられた信号S1を用い、領域P内で検出された情報に対応するLiDARデータを生成する。領域Pは、基準高さhに対応する領域である。
本明細書において「基準高さhに対応する」という表現の意味は、オートレベリングシステムによって定められた基準高さhと車両100の上下方向における領域Pの高さが一致する場合に限られない。基準高さhと領域Pの高さが所定の対応関係を有していれば、両者が異なっていてもよい。
信号処理装置12は、領域Pに対応する信号のみを信号S1として取得し、当該信号S1をデータ生成処理に供してもよいし、検出範囲A全体に対応する信号S1を取得した後に領域Pに対応する信号のみを抽出してデータ生成処理に供してもよい。
図2の(C)は、車両100の前端が後端よりも上方に傾斜した状態を示している。LiDARセンサユニット11の検出基準方向Dは、基準高さhよりも上方を向いている。したがって、図2の(D)に示されるように、LiDARセンサユニット11の検出範囲Aは、図2の(B)に示される状態よりも上方に移動する。この場合においても、信号処理装置12は、取得した基準高さ情報Hに基づいて、検出範囲Aの一部である領域Pに関連付けられた信号S1を用い、領域P内で検出された情報に対応するLiDARデータを生成する。
図2の(E)は、車両100の前端が後端よりも下方に傾斜した状態を示している。LiDARセンサユニット11の検出基準方向Dは、基準高さhよりも下方を向いている。したがって、図2の(F)に示されるように、LiDARセンサユニット11の検出範囲Aは、図2の(B)に示される状態よりも下方に移動する。この場合においても、信号処理装置12は、取得した基準高さ情報Hに基づいて、検出範囲Aの一部である領域Pに関連付けられた信号S1を用い、領域P内で検出された情報に対応するLiDARデータを生成する。
運転支援のために例えば基準高さhにおける車両100の外部の情報が必要とされる場合、車両100の上下方向におけるLiDARセンサユニット11の検出基準方向Dが基準高さhと一致していることが好ましい。しかしながら、車両100のピッチ角度の変化に応じてLiDARセンサユニット11の検出基準方向Dが車両100の上下方向に変化するので、LiDARセンサユニット11の検出範囲Aは、車両100の上下方向に冗長性を有するように設定されることが一般的である。
上記のような構成によれば、信号処理装置12は、オートレベリングシステムにより車両100のピッチ角に基づいて別途定められる基準高さ情報Hを利用して領域Pを特定する。したがって、車両100のピッチ角に依らず、運転支援に必要とされる情報を含む領域Pを容易かつ高い信頼性とともに特定できる。さらに、冗長性を有する検出範囲Aの一部である領域Pに関連付けられた信号S1のみが外部情報を取得するためのデータ生成処理に供されるので、車両100の運転支援に必要とされる信号処理に係る負荷の増大を抑制できる。
図1に示されるように、センサシステム1は、レベリング調節機構13を備えうる。レベリング調節機構13は、LiDARセンサユニット11の検出基準方向Dを車両100の上下方向に変化させることが可能なアクチュエータを含むように構成される。オートレベリングシステムにおいてヘッドランプの光軸の向きを車両の上下方向に変化させる周知の機構と同様の構成が採用されうる。
レベリング調節機構13は、信号処理装置12と通信可能に接続されうる。レベリング調節機構13は、信号処理装置12により取得された基準高さ情報Hに基づいて、車両の上下方向におけるLiDARセンサユニット11の検出基準方向Dを調節するように構成される。
例えば、図2の(C)に示されるように検出基準方向Dが基準高さhよりも上方を向いている場合、信号処理装置12は、基準高さ情報Hに基づいて当該事実を認識する。信号処理装置12は、検出基準方向Dの基準高さhからのずれを解消するようにレベリング調節機構13を駆動するための信号を出力する。レベリング調節機構13は、当該信号に基づいて動作し、LiDARセンサユニット11の検出基準方向Dを下方に向ける。
逆に、図2の(E)に示されるように検出基準方向Dが基準高さhよりも下方を向いている場合、信号処理装置12は、LiDARセンサユニット11の検出基準方向Dが上方を向くようにレベリング調節機構13を動作させる信号を出力する。
このような構成によれば、車両100のピッチ角変化に応じたLiDARセンサユニット11の検出基準方向Dの変化を抑制できるので、LiDARセンサユニット11の検出範囲A内における領域Pの位置の変化を抑制できる。すなわち、信号処理装置12により特定される領域Pの位置は、車両100のピッチ角に依らず図2の(B)に示される位置とされうる。したがって、領域Pを特定するための信号処理装置12の処理負荷をさらに抑制できる。
図1に示されるように、センサシステム1は、カメラユニット14を備えうる。カメラユニット14は、車両の外部の画像情報を取得するための装置である。カメラユニット14は、取得した画像情報に対応する信号S2を出力するように構成される。カメラユニット14は、センサユニットの一例である。
信号処理装置12は、カメラユニット14から出力された信号S2を処理し、取得された車両の外部の画像情報に対応するカメラデータを生成するように構成されている。カメラデータは、車両の運転支援に利用される。
信号処理装置12は、取得した基準高さ情報Hに基づいて、カメラユニット14の視野のうち基準高さhに対応する領域に関連付けられた信号S2を用いてカメラデータを生成するように構成されている。すなわち、信号処理装置12は、カメラユニット14の視野の一部である領域に関連付けられた信号S2を用い、当該領域内に含まれる画像に対応するカメラデータを生成する。カメラユニット14の視野は、センサユニットの検出範囲の一例である。
この場合、LiDARセンサユニット11は、第一センサユニットの一例である。LiDARセンサユニット11により検出される車両100の外部の情報は、第一情報の一例である。LiDARセンサユニット11から出力される信号S1は、第一信号の一例である。信号処理装置12により生成されるLiDARデータは、第一データの一例である。
この場合、カメラユニット14は、第二センサユニットの一例である。カメラユニット14により取得される車両100の外部の画像は、第二情報の一例である。カメラユニット14から出力される信号S2は、第二信号の一例である。信号処理装置12により生成されるカメラデータは、第二データの一例である。
上記の構成においては、共通の基準高さ情報Hに基づいて、LiDARセンサユニット11から出力される信号S1に基づくLiDARデータの生成と、カメラユニット14から出力される信号S2に基づくカメラデータの生成とがなされる。すなわち、生成されるLiDARデータとカメラデータは、ともに基準高さhに関連付けられた情報を含んでいる。したがって、運転支援に対する両データの統合的な利用が容易になる。また、LiDARデータとカメラデータは、ともに各センサユニットの検出範囲の一部である領域に関連付けられた信号のみを用いて生成される。よって、両データが統合的に利用される場合であっても、信号処理装置12の処理負荷の増大を抑制できる。
上記のレベリング調節機構13に係る説明は、カメラユニット14に対しても適用可能である。
上記の例においては、種別の異なる複数のセンサユニットから出力されたデータが、統合的に運転支援に利用されている。しかしながら、車両における比較的離れた位置に配置された種別が同じ複数のセンサユニットから出力されたデータが、統合的に運転支援に利用されてもよい。
例えば、図1に示されるセンサシステム1は、図3に示される車両100の左前隅部LF、右前隅部RF、左後隅部LB、および右後隅部RBのうち、少なくとも二箇所に配置されうる。ここでは、二つのセンサシステム1が車両100の左前隅部LFと右前隅部RFに配置される場合を例に挙げる。
本例においては、左前隅部LFに配置されたLiDARセンサユニット11は、第一センサユニットの一例である。左前隅部LFに配置されたLiDARセンサユニット11により検出される車両100の外部の情報は、第一情報の一例である。左前隅部LFに配置されたLiDARセンサユニット11から出力される信号S1は、第一信号の一例である。左前隅部LFに配置された信号処理装置12により生成されるLiDARデータは、第一データの一例である。
本例においては、右前隅部RFに配置されたLiDARセンサユニット11は、第二センサユニットの一例である。右前隅部RFに配置されたLiDARセンサユニット11により検出される車両100の外部の情報は、第二情報の一例である。右前隅部RFに配置されたLiDARセンサユニット11から出力される信号S1は、第二信号の一例である。右前隅部RFに配置された信号処理装置12により生成されるLiDARデータは、第二データの一例である。
左前隅部LFに配置された信号処理装置12により生成されるLiDARデータと、右前隅部RFに配置された信号処理装置12により生成されるLiDARデータは、制御装置101によって運転支援に利用される。制御装置101の例としては、ECUが挙げられる。ECUは、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。ECUは、マイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。ECUは、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
上記の構成においては、共通の基準高さ情報Hに基づいて、左前隅部LFに配置されたLiDARセンサユニット11から出力される信号S1に基づくLiDARデータの生成と、右前隅部RFに配置されたLiDARセンサユニット11から出力される信号S1に基づくLiDARデータの生成とがなされる。すなわち、二箇所で生成されるLiDARデータは、ともに基準高さhに関連付けられた情報を含んでいる。したがって、運転支援に対する両データの統合的な利用が容易になる。また、二箇所で生成されるLiDARデータは、ともに各LiDARセンサユニット11の検出範囲Aの一部である領域Pに関連付けられた信号S1のみを用いて生成される。よって、両データが統合的に利用される場合であっても、制御装置101の処理負荷の増大を抑制できる。
図1に示されるように、信号処理装置12は、地図情報Mを取得可能に構成されうる。地図情報Mは、例えば車両100のナビゲーションシステムに使用される情報でありうる。地図情報Mは、予め車両100に搭載されている記憶装置に格納されていてもよいし、定期的、あるいは必要に応じて外部ネットワークからダウンロードされたものであってもよい。
信号処理装置12は、LiDARセンサユニット11から出力される信号S1に基づいて生成されたLiDARデータを、地図情報Mと関連付けるように構成されうる。例えばLiDARデータが車両100の外部に物体の存在を示している場合、当該物体がガードレールや交通標識などの構造体であるか否かが、地図情報Mとの照合を行なうことにより判定されうる。
このような構成によれば、LiDARデータと地図情報Mを、統合的に運転支援に利用できる。前述のように、LiDARデータの生成に係る信号処理負荷の増大を抑制できるので、当該LiDARデータと地図情報Mを組み合わせた統合的な運転支援における処理負荷の増大もまた、全体として抑制できる。
上記の地図情報Mは三次元情報を含みうる。この場合、信号処理装置12は、地図情報Mのうち基準高さhに対応する情報にLiDARデータを関連付けうる。すなわち、基準高さhに対応する二次元地図情報が三次元情報を含む地図情報Mから抽出され、LiDARデータと関連付けられうる。
このような構成によれば、統合的な運転支援に利用される地図情報のデータを減らすことができるので、統合的な運転支援における処理負荷の増大をさらに抑制できる。
なお、信号処理装置12により取得される地図情報Mは、予め二次元情報として提供されてもよい。
図1に示されるように、センサシステム1は、左前ランプ装置15を備えうる。左前ランプ装置15は、ランプハウジング51と透光カバー52を備えうる。ランプハウジング51は、透光カバー52とともに灯室53を区画する。左前ランプ装置15は、図3に示される車両100の左前隅部LFに搭載される。
図1に示されるように、左前ランプ装置15は、ランプユニット54を備えうる。ランプユニット54は、車両100の外方へ可視光を出射する装置である。ランプユニット54は、灯室53に収容される。ランプユニット54としては、前照灯ユニット、車幅灯ユニット、方向指示灯ユニット、霧灯ユニットなどが例示されうる。
上述したLiDARセンサユニット11とカメラユニット14の少なくとも一方は、灯室53に収容されうる。したがって、透光カバー52は、ランプユニット54から出射される可視光だけでなく、灯室53に収容されるセンサユニットが感度を有する波長の光を透過させる材料により形成される。
左前ランプ装置15は、車両100の外部に光を供給するという機能ゆえに、上記した左前隅部FBなど、遮蔽物の少ない場所に配置されることが一般的である。このような場所にセンサユニットも配置されることにより、車両100の外部の情報を効率的に取得できる。
また、高さ検出情報Hを車両100のオートレベリングシステムから取得する場合、高さ検出情報Hをランプユニット54と共用しうる。この場合、効率的なシステムの設計が可能である。
したがって、図3に示される車両100の右前隅部RFには、左前ランプ装置15と左右対称の構成を有する右前ランプ装置が搭載されうる。車両100の左後隅部LBには、左後ランプ装置が搭載されうる。この場合、左後ランプ装置が備えるランプユニットとしては、制動灯ユニット、尾灯ユニット、車幅灯ユニット、後進灯ユニットなどが例示されうる。車両100の右後隅部RBには、左後ランプ装置と左右対称の構成を有する右後ランプ装置が搭載されうる。いずれのランプ装置においても、上述したセンサユニットは、ランプハウジングと透光カバーにより区画される灯室に収容されうる。
第一実施形態は、本開示の理解を容易にするための例示にすぎない。第一実施形態に係る構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
第一実施形態においては、センサシステム1がLiDARセンサユニット11とカメラユニット14の少なくとも一方を備える例を示した。しかしながら、センサシステム1は、LiDARセンサユニット、カメラユニット、およびミリ波センサユニットの少なくとも一つを備えるように構成されうる。なお、カメラユニットは、可視光カメラユニットと赤外線カメラユニットを含みうる。
ミリ波センサユニットは、ミリ波を発信する構成、および当該ミリ波が車両100の外部に存在する物体に反射した結果の反射波を受信する構成を備えている。ミリ波の周波数の例としては、24GHz、26GHz、76GHz、79GHzなどが挙げられる。ミリ波センサユニットは、例えば、ある方向へミリ波を発信したタイミングから反射波を受信するまでの時間に基づいて、当該反射波に関連付けられた物体までの距離を取得できる。また、そのような距離データを検出位置と関連付けて集積することにより、反射波に関連付けられた物体の動きに係る情報を取得できる。
これらのセンサユニットは、車両100の外部の情報を取得するために有用である一方、取得される情報に対応するデータ量が非常に多いことが知られている。しかしながら、前述のように、センサユニットの検出範囲の一部である領域に関連付けられた信号のみが外部情報を取得するためのデータ生成処理に供される。よって、これらのセンサユニットを使用しつつも、車両100の運転支援に必要とされる信号処理に係る負荷の増大を抑制できる。
第一実施形態においては、基準高さ情報Hをオートレベリングシステムから取得している。しかしながら、基準高さhを示す情報が得られるのであれば、基準高さ情報Hは、車高センサなどから取得されてもよい。
前述した信号処理装置12の機能の少なくとも一部は、図3に示される制御装置101によって実現されうる。
図4は、第二実施形態に係るセンサシステム2の構成を示している。センサシステム2は、図3に示される車両100に搭載される。
図4に示されるように、センサシステム2は、複数のセンサユニット20を含んでいる。複数のセンサユニット20の各々は、車両100の外部の情報を検出し、当該情報に対応する信号を出力する装置である。複数のセンサユニット20は、第一センサユニット21と第二センサユニット22を含んでいる。
第一センサユニット21は、車両100の外部の第一情報を検出し、当該第一情報に対応する第一信号S1を出力するように構成されている。第一センサユニット21は、LiDARセンサユニット、カメラユニット、ミリ波センサユニットのいずれかでありうる。
第二センサユニット22は、車両100の外部の第二情報を検出し、当該第二情報に対応する第二信号S2を出力するように構成されている。第二センサユニット22は、LiDARセンサユニット、カメラユニット、ミリ波センサユニットのいずれかでありうる。
LiDARセンサユニットは、非可視光を出射する構成、および当該非可視光が少なくとも車両の外部に存在する物体に反射した結果の戻り光を検出する構成を備えている。LiDARセンサユニットは、必要に応じて出射方向(すなわち検出方向)を変更して当該非可視光を掃引する走査機構を備えうる。例えば、非可視光として波長905nmの赤外光が使用されうる。
カメラユニットは、車両の外部の情報として画像を取得するための装置である。画像は、静止画像と動画像の少なくとも一方を含みうる。カメラユニットは、可視光に感度を有するカメラを備えていてもよいし、赤外光に感度を有するカメラを備えていてもよい。
ミリ波センサユニットは、ミリ波を発信する構成、および当該ミリ波が車両100の外部に存在する物体に反射した結果の反射波を受信する構成を備えている。ミリ波の周波数の例としては、24GHz、26GHz、76GHz、79GHzなどが挙げられる。
第一センサユニット21と第二センサユニット22は、車両100における異なる領域に配置された複数のセンサユニットでありうる。例えば、第一センサユニット21と第二センサユニット22は、それぞれ車両100の左前隅部LFと右前隅部RFに配置されうる。あるいは、第一センサユニット21と第二センサユニット22は、それぞれ車両100の左前隅部LFと左後隅部LBに配置されうる。
あるいは、第一センサユニット21と第二センサユニット22は、車両100における実質的に同一の領域に配置された複数のセンサユニットでありうる。例えば、第一センサユニット21と第二センサユニット22は、ともに車両100の左前隅部LFに配置されうる。
センサシステム2は、信号処理装置30を備えている。信号処理装置30は、車両100における任意の位置に配置されうる。
信号処理装置30は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、後述する処理を実現するコンピュータプログラムが記憶されうる。汎用マイクロプロセッサは、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。信号処理装置30は、後述する処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。信号処理装置30は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
まず、信号処理装置30は、第一センサユニット21から第一信号S1を取得する。換言すると、信号処理装置30は、第一信号S1を受信することにより、第一センサユニット21が検出した第一情報を取得する(STEP21)。
続いて、信号処理装置30は、第二センサユニット22から第二信号S2を取得する。換言すると、信号処理装置30は、第二信号S2を受信することにより、第二センサユニット22が検出した第二情報を取得する(STEP22)。
STEP21の処理とSTEP22の処理が行なわれる順序は逆であってもよい。STEP21の処理とSTEP22の処理は、同時に行なわれてもよい。
次に、信号処理装置30は、第一信号S1と第二信号S2に基づいて、第一情報と第二情報が同一の特徴物を含んでいるかを判定する(STEP23)。
第一情報と第二情報が同一の特徴物を含んでいないと判定されると(STEP23においてN)、信号処理装置30による処理は終了する。
第一情報と第二情報が同一の特徴物を含んでいると判定されると(STEP23においてY)、信号処理装置30は、当該特徴物が基準目標物になりうるか判断する(STEP24)。
本明細書において「基準目標物」とは、センサユニット20により検出可能かつ基準位置情報を提供可能な特徴物を意味する。基準目標物としては、前走車のナンバープレート、ガードレール、防音壁、信号機、交通標識、センターラインなどが例示されうる。すなわち、路面からの高さや路肩からの距離が法的に定められており、その存在が検出されることによりその位置が比較的高い確度で特定できる特徴物が、基準目標物になりうる。
両センサユニット20によって検出された情報に上記のような特徴物が含まれていたとしても、当該特徴物が常に基準目標物になりうるとは限らない。例えば、特徴物として前走車両のナンバープレートが検出されても、前走車両との相対位置変化によりその位置が定まらなければ、当該ナンバープレートは基準目標物になりえないと判断される。すなわち、検出された特徴物から一定の位置情報を読み取り可能な時間が所定値を超えることが、当該特徴物が基準目標物になりうると判断される条件とされうる。
検出された特徴物が基準目標物になりえないと判断されると(STEP24においてN)、信号処理装置30による処理は終了する。
検出された特徴物が基準目標物になりうると判断されると(STEP24においてY)、信号処理装置30は、第一情報により特定される基準目標物の位置と第二情報により特定される基準目標物の位置との差異を検出する(STEP25)。
車両に搭載された複数のセンサユニット20は、走行中の振動や時間の経過により位置ずれを生じる場合がある。このような位置ずれの発生は、複数のセンサユニット20により同一の基準目標物が検出されていながら、特定された当該基準目標物の位置が当該複数のセンサユニット20の間で相違するという現象に繋がる。したがって、上記の差異を検出することによって、当該複数のセンサユニット20の少なくとも一つに位置ずれが発生していることを把握できる。
例えば、差異の大きさが所定値を上回る場合、ユーザへの報知がなされうる。ユーザは、位置ずれを補正するための然るべき対応を行なえる。したがって、車両100の運転支援に必要とされる複数のセンサユニット20の検出精度を維持できる。
上記の処理の第一の具体例として、第一センサユニット21としての左前LiDARユニットが車両100の左前隅部LFに配置されており、第二センサユニット22としての左後LiDARユニットが車両100の左後隅部LBに配置されている場合を挙げる。
左前LiDARユニットは、車両100の左方を含む領域に存在する物体の情報を取得する。当該情報は、第一情報の一例である。左前LiDARユニットは、第一情報に対応する第一信号S1を出力する。信号処理装置30は、第一信号S1を取得する(STEP21)。
左後LiDARユニットは、車両100の左方を含む領域に存在する物体の情報を取得する。当該情報は、第二情報の一例である。左後LiDARユニットは、第二情報に対応する第二信号S2を出力する。信号処理装置30は、第二信号S2を取得する(STEP22)。
信号処理装置30は、第一信号S1と第二信号S2に基づいて情報処理を行なうことにより、第一情報と第二情報に同一の特徴物が含まれているかを判断する(STEP23)。ガードレールが特徴物として検出された場合(STEP23においてY)、信号処理装置30は、当該ガードレールが基準目標物になりうるかを判断する(STEP24)。
例えば一定高さのガードレールの上端が所定時間にわたって検出された場合、当該ガードレールの上端が基準目標物になりうると判断される(STEP24においてY)。この場合、信号処理装置30は、左前LiDARユニットを通じて特定されたガードレールの上端の位置(高さ)と、左後LiDARユニットを通じて特定されたガードレールの上端の位置(高さ)の差異を検出する(STEP25)。
差異の大きさが所定値を上回る場合、左前LiDARユニットと左後LiDARユニットの少なくとも一方に位置ずれが生じていることを示す報知がなされる。
上記の処理の第二の具体例として、第一センサユニット21としての左前カメラユニットが車両100の左前隅部LFに配置されており、第二センサユニット22としての右前カメラユニットが車両100の右前隅部RFに配置されている場合を挙げる。
左前カメラユニットは、車両100の前方を含む第一画像を取得する。第一画像は、第一情報の一例である。左前カメラユニットは、第一画像に対応する第一信号S1を出力する。信号処理装置30は、第一信号S1を取得する(STEP21)。
右前カメラユニットは、車両100の前方を含む第二画像を取得する。第二画像は、第二情報の一例である。右前カメラユニットは、第二画像に対応する第二信号S2を出力する。信号処理装置30は、第二信号S2を取得する(STEP22)。
信号処理装置30は、第一信号S1と第二信号S2に基づいて画像処理を行なうことにより、第一画像と第二画像に同一の特徴物が含まれているかを判断する(STEP23)。センターラインが特徴物として検出された場合(STEP23においてY)、信号処理装置30は、当該センターラインが基準目標物になりうるか判断する(STEP24)。
例えば路肩からの距離が一定のセンターラインが所定時間にわたって検出された場合、当該センターラインが基準目標物になりうると判断される(STEP24においてY)。この場合、信号処理装置30は、左前カメラユニットを通じて特定されたセンターラインの位置と、右前カメラユニットを通じて特定されたセンターラインの位置の差異を検出する(STEP25)。
差異の大きさが所定値を上回る場合、左前カメラユニットと右前カメラユニットの少なくとも一方に位置ずれが生じていることを示す報知がなされる。
上記の処理の第三の具体例として、第一センサユニット21としての左前LiDARユニットと第二センサユニット22としての左前カメラユニットが車両100の左前隅部LFに配置されている場合を挙げる。
左前LiDARユニットは、車両100の前方を含む領域に存在する物体の情報を取得する。当該情報は、第一情報の一例である。左前LiDARユニットは、第一情報に対応する第一信号S1を出力する。信号処理装置30は、第一信号S1を取得する(STEP21)。
左前カメラユニットは、車両100の前方を含む第二画像を取得する。第二画像は、第二情報の一例である。右前カメラユニットは、第二画像に対応する第二信号S2を出力する。信号処理装置30は、第二信号S2を取得する(STEP22)。
信号処理装置30は、第一信号S1と第二信号S2に基づいて情報処理を行なうことにより、第一情報と第二情報に同一の特徴物が含まれているかを判断する(STEP23)。信号機が特徴物として検出された場合(STEP23においてY)、信号処理装置30は、当該信号機が基準目標物になりうるか判断する(STEP24)。
例えば交差点での停車時において特定の信号機が所定時間にわたって検出された場合、当該信号機が基準目標物になりうると判断される(STEP24においてY)。この場合、信号処理装置30は、左前LiDARユニットを通じて特定された信号機の位置と、左前カメラユニットを通じて特定された信号機の位置の差異を検出する(STEP25)。
差異の大きさが所定値を上回る場合、左前LiDARユニットと左前カメラユニットの少なくとも一方に位置ずれが生じていることを示す報知がなされる。
なお、基準目標物は、高さ方向における位置の基準を提供できるものであることが好ましい。高さ方向における位置の基準は、車両100の走行状態による変動が比較的小さい傾向にあり、信号処理装置30における処理負荷の増大を抑制しやすいからである。
図5に示されるように、信号処理装置30は、第一情報に基づいて特定された基準目標物の位置と第二情報に基づいて特定された基準目標物の位置の経時変化を取得しうる(STEP26)。具体的には、信号処理装置30は、所定のタイミングでSTEP21からSTEP25の処理を繰り返し、最新の処理で第一情報に基づいて特定された基準目標物の位置と前回の処理で第一情報に基づいて特定された基準目標物の位置とが比較される。同様に、最新の処理で第二情報に基づいて特定された基準目標物の位置と前回の処理で第二情報に基づいて特定された基準目標物の位置とが比較される。所定のタイミングとしては、前回の処理終了から一定時間の経過、ユーザによる処理実行指示の入力時などが例示されうる。
この場合、信号処理装置30は、取得された経時変化に基づいて補正が必要なセンサユニット20を特定する(STEP27)。例えば、第一センサユニット21により特定される基準目標物の位置が経時変化せず、第二センサユニット22により特定される基準目標物の位置が経時変化している場合、第二センサユニット22の側に位置ずれの原因があり、補正を要すると判断される。特定されたセンサユニットは、ユーザに報知されうる。
STEP21からSTEP25の処理を一度だけ行なって特定される基準目標物の位置の差異に基づいて判断されるのは、第一センサユニット21と第二センサユニット22の少なくとも一方に位置ずれが生じているという事実のみである。上記のように、各センサユニット20により特定される基準目標物の位置の経時変化を監視することにより、補正が必要なセンサユニット20を特定できる。したがって、車両100の運転支援に必要とされる複数のセンサユニット20の検出精度をより容易に維持できる。
図4に示されるように、複数のセンサユニット20は、第三センサユニット23を含みうる。第三センサユニット23は、車両100の外部の第三情報を検出し、当該第三情報に対応する第三信号S3を出力するように構成されうる。第三センサユニット23は、LiDARセンサユニット、カメラユニット、ミリ波センサユニットのいずれかでありうる。
第三センサユニット23は、第一センサユニット21および第二センサユニット22とは車両100における異なる領域に配置されうる。例えば、第一センサユニット21と第二センサユニット22がそれぞれ車両100の左前隅部LFと右前隅部RFに配置されている場合、第三センサユニット23は、車両の左後隅部LBまたは右後隅部RBに配置されうる。あるいは、第三センサユニット23は、第一センサユニット21および第二センサユニット22の少なくとも一方と車両100における実質的に同一の領域に配置されうる。
この場合、図5に示されるように、信号処理装置30は、第三センサユニット23から第三信号S3を取得する。換言すると、信号処理装置30は、第三信号S3を受信することにより、第三センサユニット23が検出した第三情報を取得する(STEP28)。STEP21、STEP22、およびSTEP28の順序は任意である。STEP28は、STEP21およびSTEP22の少なくとも一方と同時に行なわれてもよい。
次に、信号処理装置30は、第一信号S1、第二信号S2、および第三信号S3に基づいて、第一情報、第二情報、および第三情報が同一の特徴物を含んでいるかを判定する(STEP23)。
第一情報、第二情報、および第三情報が同一の特徴物を含んでいないと判定されると(STEP23においてN)、信号処理装置30による処理は終了する。
第一情報、第二情報、および第三情報が同一の特徴物を含んでいると判定されると(STEP23においてY)、信号処理装置30は、当該特徴物が基準目標物になりうるか判断する(STEP24)。
検出された特徴物が基準目標物になりえないと判断されると(STEP24においてN)、信号処理装置30による処理は終了する。
検出された特徴物が基準目標物になりうると判断されると(STEP24においてY)、信号処理装置30は、第一情報により特定される基準目標物の位置、第二情報により特定される基準目標物の位置、および第三情報により特定される基準目標物の位置の間の差異を検出する(STEP25)。
続いて信号処理装置30は、STEP25で特定された差異に基づいて補正が必要なセンサユニット20を特定する(STEP27)。例えば、第一センサユニット21と第二センサユニット22により特定された基準目標物の位置が同じであり、第三センサユニット23により特定された基準目標物の位置のみが異なっている場合、第三センサユニット23に位置ずれが生じている蓋然性が高い。特定されたセンサユニット20は、ユーザに放置されうる。
このような構成によれば、基準目標物の位置を特定する処理を繰り返さずとも、補正が必要なセンサユニット20を特定できる。したがって、車両100の運転支援に必要とされる複数のセンサユニット20の検出精度をより容易に維持できる。
しかしながら、上記の例において第一センサユニット21と第二センサユニット22に位置ずれが生じている可能性も否定できない。したがって、STEP27を参照して説明したように、各センサユニット20を通じて特定された基準目標物の位置の経時変化を監視する処理を組み合わせれば、補正が必要なセンサユニット20の判断精度を向上できる。
図6に示されるように、センサシステム2は、左前ランプ装置40を備えうる。左前ランプ装置40は、ランプハウジング41と透光カバー42を備えうる。ランプハウジング41は、透光カバー42とともに灯室43を区画する。左前ランプ装置40は、図3に示される車両100の左前隅部LFに搭載される。
図6に示されるように、左前ランプ装置40は、ランプユニット44を備えうる。ランプユニット44は、車両100の外方へ可視光を出射する装置である。ランプユニット44は、灯室43に収容される。ランプユニット44としては、前照灯ユニット、車幅灯ユニット、方向指示灯ユニット、霧灯ユニットなどが例示されうる。
この場合、少なくとも一つのセンサユニット20は、灯室43内に配置される。ランプユニット44は、車両100の外部に光を供給するという機能ゆえに、上記した左前隅部FBなど、遮蔽物の少ない場所に配置されることが一般的である。このような場所にセンサユニット20も配置されることにより、車両100の外部の情報を効率的に取得できる。
したがって、図3に示される車両100の右前隅部RFには、左前ランプ装置40と左右対称の構成を有する右前ランプ装置が搭載されうる。車両100の左後隅部LBには、左後ランプ装置が搭載されうる。この場合、左後ランプ装置が備えるランプユニットとしては、制動灯ユニット、尾灯ユニット、車幅灯ユニット、後進灯ユニットなどが例示されうる。車両100の右後隅部RBには、左後ランプ装置と左右対称の構成を有する右後ランプ装置が搭載されうる。いずれのランプ装置においても、少なくとも一つのセンサユニット20は、ランプハウジングにより区画される灯室内に配置されうる。
第二実施形態は、本開示の理解を容易にするための例示にすぎない。第二実施形態に係る構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
図7は、第三実施形態に係る画像データ生成装置301の機能構成を示している。画像データ生成装置301は、車両に搭載される。
図8は、画像データ生成装置301が搭載される車両400の一例を示している。車両400は、トラクタ部分401とトレーラ部分402を有している牽引自動車である。トラクタ部分401は、運転席403を備えている。
車両400は、カメラ404を備えている。カメラ404は、運転席403よりも後方の画像を取得するための装置である。カメラ404は、取得した画像に対応するカメラ信号を出力するように構成されている。
図7に示されるように、画像データ生成装置301は、入力インターフェース311を備えている。入力インターフェース311には、カメラ404から出力されたカメラ信号CSが入力される。
画像データ生成装置301は、プロセッサ312、出力インターフェース313、および通信バス314をさらに備えている。入力インターフェース311、プロセッサ312、および出力インターフェース313は、通信バス314を介して信号やデータのやり取りが可能とされている。
プロセッサ312は、図9に示される処理を実行するように構成されている。
まず、プロセッサ312は、入力インターフェース311に入力されたカメラ信号CSを取得する(STEP31)。「カメラ信号CSを取得する」という表現は、入力インターフェース311に入力されたカメラ信号CSを、適宜の回路構成を介して後述する処理が可能な状態にすることを意味する。
次に、プロセッサ312は、カメラ信号CSに基づいて第一画像データD1を生成する(STEP32)。図7に示されるように、第一画像データD1は、出力インターフェース313を介して車両400に搭載された表示装置405へ送信される。表示装置405は、車両400の車室内に配置されてもよいし、サイドドアミラーの位置に配置されてもよい。
第一画像データD1は、表示装置405に表示される第一監視画像I1に対応するデータである。図10の(A)は、第一監視画像I1の一例を示している。
すなわち、カメラ404によって取得された運転席403よりも後方の画像が、表示装置405に恒常的に表示される。運転者は、表示装置405に表示された第一監視画像I1を通じて運転席403よりも後方の情報を取得する。
図8において、矢印Xは、カメラ404の光軸の向きを示している。自動牽引車においては、同図に二点鎖線で示されるように、トラクタ部分401がトレーラ部分402に対して大きく屈曲する姿勢をとりうる。このとき、カメラ404の光軸がトレーラ部分402の側壁と対向してしまい、運転者による後方の視認が妨げられる場合がある。
このような事態に対処するため、図9に示されるように、プロセッサ312は、第一監視画像I1に含まれる基準物を決定する(STEP33)。「基準物」は、運転者が運転席403よりも後方の情報を継続的に取得するために、第一監視画像I1に常に含まれていることを要し、かつ目標物として画像認識が比較的容易である物として定められる。本例においては、図10の(A)に示されるように、車両400のトレーラ部分402の後端縁402aが基準物とされる。プロセッサ312は、例えばエッジ抽出技術などを利用して後端縁402aを基準物として決定する。
トレーラ部分402の後端縁402aは、車両400の後部の一例である。「後部」とは、車両400における運転席403よりも後方に位置する部分を意味する。
次に、図9に示されるように、プロセッサ312は、STEP33で決定された基準物が第一監視画像I1における所定の領域内に含まれているかを判断する(STEP34)。所定の領域は、図10の(A)に示される第一監視画像I1全体であってもよいし、例えば図中に一点鎖線で示される境界線BDよりも右方の領域として、第一監視画像I1の一部として定義されてもよい。
基準物としての後端縁402aが所定領域内に含まれていれば(STEP34においてY)、第一監視画像I1が表示装置405に表示され続ける。図10の(A)に示される例において所定の領域が第一監視画像I1全体である場合、基準物としての後端縁402aは、所定領域内に含まれていると判断される。図10の(A)に示される例において所定の領域が境界線BDよりも右方の領域である場合、基準物としての後端縁402aは、所定の領域に含まれていないと判断される(STEP34においてN)。
第一監視画像I1における所定の領域に基準物が含まれていないと判断されると、図9に示されるように、プロセッサ312は、第二画像データD2を生成する(STEP35)。第二画像データD2は、基準物が所定の領域に含まれている第二監視画像I2を表示装置405に表示させるためのデータである。図7に示されるように、第二画像データD2は、出力インターフェース313を介して車両400に搭載された表示装置405へ送信される。図10の(B)は、第二監視画像I2の一例を示している。
第二監視画像I2においても、第一監視画像I1と同様に所定の領域が定義されうる。図示の例においては、境界線BDよりも右方の領域が所定の領域とされている。基準物としてのトレーラ部分402の後端縁402aが、所定の領域に含まれていることが判る。運転者は、表示装置405に表示された第二監視画像I2を通じて、引き続き運転席403よりも後方の情報を取得できる。
このような構成によれば、基準物の位置に応じて第一画像データD1と第二画像データD2のいずれかが生成され、基準物を所定の領域内に含んだ第一監視画像I1または第二監視画像I2を表示装置405に表示させ続けることが可能である。したがって、車両400の状態によって運転者が後方の視認を妨げられる事態を回避できる。すなわち、後方視認性がより向上された電子ミラー技術を提供できる。
次に、図11から図14を参照しつつ、上記のように第二画像データD2を生成する手法について幾つかの具体例を示す。
図11は、第一の具体例を説明するための図である。符号I0は、カメラ404により取得される画像の全体を示している。第一監視画像I1と第二監視画像I2は、当該画像における異なる部分とされうる。すなわち、プロセッサ312は、カメラ404により取得された画像の第一部分に対応するカメラ信号CSに基づいて第一画像データD1を生成する。同様に、プロセッサ312は、カメラ404により取得された画像の第二部分に対応するカメラ信号CSに基づいて第二画像データD2を生成する。
カメラ404により取得された原画像全体を表示装置405に表示させようとした場合、広い範囲を視認できる一方で監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、原画像から必要最低限の領域をクリッピングすることによって第一監視画像I1と第二監視画像I2を生成するので、視野の確保と視認性の低下防止を両立できる。
図12は、第二の具体例を説明するための図である。本例においては、カメラ404の画角が変更可能とされている。具体的には、画角を変更するための周知の機構がカメラ404内に設けられている。カメラ404の画角の変更は、図7に示されるように、プロセッサ312が出力インターフェース313を通じてカメラ404へ制御信号Sを送信することにより行なわれうる。
具体的には、プロセッサ312は、カメラ404の画角が第一画角θ1であるときに取得された画像に基づいて第一画像データD1を生成する。他方、プロセッサ312は、カメラ404の画角が第二画角θ2であるときに取得された画像に基づいて第二画像データD2を生成する。第二画角θ2は、第一画角θ1よりも広い。すなわち、第二監視画像I2は、より広角の画像として表示装置405に表示される。
図12において実線で示される位置にカメラ404があるときは、基準物としてのトレーラ部分402の後端縁402aは、第一画角θ1の視野内に存在している。したがって、第一監視画像I1の生成が然るべくなされる。しかしながら、同図において二点鎖線で示される位置にカメラ404があるときは、第一画角θ1の視野内から後端縁402aが外れてしまう。この場合、プロセッサ312がカメラ404の画角を第二画角θ2まで広げる制御を行なう。結果として、後端縁402aが第二画角θ2の視野内に収まり、適切な第二監視画像I2が得られる。
初めから画角の広いカメラ404を用いた場合、広い範囲を視認できる一方で表示装置405に表示される監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、必要なときにのみ画角を広げて第二監視画像I2を生成するので、視野の確保と視認性の低下防止を両立できる。
図13は、第三の具体例を説明するための図である。本例においては、カメラ404の光軸の向きが変更可能とされている。具体的には、光軸の向きを変更する周知のスイブル機構がカメラ404に設けられている。カメラ404の光軸の向きの変更は、図7に示されるように、プロセッサ312が出力インターフェース313を通じてカメラ404へ制御信号Sを送信することにより行なわれうる。
具体的には、プロセッサ312は、カメラ404の光軸が第一方向X1を向いているときに取得された画像に基づいて第一画像データD1を生成する。他方、プロセッサ312は、カメラ404の光軸の向きが第一方向X1とは異なる第二方向X2を向いているときに取得された画像に基づいて第二画像データD2を生成する。すなわち、第一監視画像I1と第二監視画像I2とでは、中心に位置する撮像対象が異なる。
図13において実線で示される位置にカメラ404があるときは、基準物としてのトレーラ部分402の後端縁402aは、光軸の向きが第一方向X1である視野内に存在している。したがって、第一監視画像I1の生成が然るべくなされる。しかしながら、同図において二点鎖線で示される位置にカメラ404があるときは、前記の視野内から後端縁402aが外れてしまう。この場合、プロセッサ312がカメラ404の光軸の向きを第一方向X1から第二方向X2へ変更する制御を行なう。結果として、光軸の向きが第二方向X2である視野内に後端縁402aが収まり、適切な第二監視画像I2が得られる。
初めから画角の広いカメラ404を用いた場合、広い範囲を視認できる一方で表示装置405に表示される監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、画角を変えずとも基準物が所定の範囲に含まれている監視画像を生成し続けることができる。監視画像内に表示される物体が適切に視認できる程度に画角を定めればよいので、視野の確保と視認性の低下防止を両立できる。
図14は、第四の具体例を説明するための図である。本例においては、カメラ404として第一カメラ404aと第二カメラ404bが、車両400に搭載されている。第一カメラ404aの光軸の向きと第二カメラ404bの光軸の向きは異なっている。
具体的には、プロセッサ312は、第一カメラ404aによって取得された画像に基づいて第一画像データD1を生成する。他方、プロセッサ312は、第二カメラ404bによって取得された画像に基づいて第二画像データD2を生成する。動作するカメラの切り替えは、プロセッサ312が出力インターフェース313を通じて制御信号Sを送信することにより行なわれうる。
図14において実線で示される位置にカメラ404があるときは、基準物としてのトレーラ部分402の後端縁402aは、第一カメラ404aの視野内に存在している。したがって、第一監視画像I1の生成が然るべくなされる。しかしながら、同図において二点鎖線で示される位置に第一カメラ404aがあるときは、前記の視野内から後端縁402aが外れてしまう。この場合、プロセッサ312が、画像取得に使用されるカメラを第一カメラ404aから第二カメラ404bへ切り替える制御を行なう。結果として、第二カメラ404b視野内に後端縁402aが収まり、適切な第二監視画像I2が得られる。
初めから画角の広いカメラ404を用いた場合、広い範囲を視認できる一方で表示装置405に表示される監視画像内に表示される物体が小さくなることが避けられない。上記のような構成によれば、画角を変えずとも基準物が所定の範囲に含まれている監視画像を生成し続けることができる。監視画像内に表示される物体が適切に視認できる程度に各カメラの画角を定めればよいので、視野の確保と視認性の低下防止を両立できる。
図7に示されるように、画像データ生成装置301の入力インターフェース311は、ユーザインターフェース406からの入力を受け付けうる。ユーザインターフェース406は、車両400の車室内に設けられており、ボタンやタッチパネル装置などへの触覚的操作指示、音声入力指示、視線入力指示などを受け付け可能とされている。
この場合、図9におけるSTEP34の判断に用いられる基準物は、表示装置405に表示された第一監視画像I1を介してユーザによって指定されうる。例えば、ユーザインターフェース406が表示装置405に設けられたタッチパネル装置である場合、第一監視画像I1に含まれる適宜の箇所(トレーラ部分402の後端縁402aなど)に触れることによって当該箇所を基準物として指定できる。
このような構成によれば、第二監視画像I2を生成するための基準物の設定について柔軟性と自由度を高めることができる。
前述したプロセッサ312の機能は、メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリの例としては、ROMやRAMが挙げられる。この場合、ROMには、上記の処理を実行するコンピュータプログラムが記憶されうる。汎用マイクロプロセッサは、ROMに記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上記の処理を実行しうる。前述したプロセッサ312の機能は、後述する処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。前述したプロセッサ312の機能は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
第三実施形態は、本開示の理解を容易にするための例示にすぎない。第三実施形態に係る構成は、本開示の趣旨を逸脱しなければ、適宜に変更・改良されうる。
第三実施形態においては、車両400の後部の一部が基準物として指定されている。しかしながら、自動隊列走行の実施時において車両400の後方に位置する車両の一部が基準物として指定されてもよい。
車両400に搭載されるカメラ404の数と位置は、車両400の仕様に応じて適宜に定められうる。
本出願の記載の一部を構成するものとして、2018年3月5日に提出された日本国特許出願2018-038879号、2018年3月16日に提出された日本国特許出願2018-049652号、および2018年3月19日に提出された日本国特許出願2018-051287号の内容が援用される。

Claims (5)

  1. 車両に搭載されるセンサシステムであって、
    前記車両の外部の情報を検出し、当該情報に対応する信号を出力する少なくとも一つのセンサユニットと、
    前記車両の基準高さにおける前記情報に対応するデータを生成する信号処理装置と、
    を備えており、
    前記信号処理装置は、
    前記車両のピッチ角に基づいて定められた基準高さを示す基準高さ情報を取得し、
    前記基準高さ情報に基づいて、前記センサユニットの検出範囲のうち前記基準高さに対応する領域を特定し、
    前記信号のうち特定された前記基準高さに対応する領域に関連付けられた信号を用いて前記データを生成
    三次元情報を含む地図情報のうち前記基準高さに対応する二次元地図情報が抽出され、前記信号処理装置は、前記データを当該二次元地図情報と関連付ける、
    センサシステム。
  2. 前記基準高さ情報に基づいて、前記車両の上下方向における前記センサユニットの検出基準方向を調節するレベリング調節機構を備えている、
    請求項1に記載のセンサシステム。
  3. 前記少なくとも一つのセンサユニットは、
    前記車両の外部の第一情報を検出し、当該第一情報に対応する第一信号を出力する第一センサユニットと、
    前記車両の外部の第二情報を検出し、当該第二情報に対応する第二信号を出力する第二センサユニットと、
    を含んでおり、
    前記信号処理装置は、前記第一信号を処理して前記第一情報に対応する第一データを生成するとともに、前記第二信号を処理して前記第二情報に対応する第二データを生成し、
    前記信号処理装置は、前記基準高さ情報に基づいて、前記第一センサユニットの検出範囲のうち前記基準高さに対応する領域に関連付けられた信号を前記第一信号として処理するとともに、前記第二センサユニットの検出範囲のうち前記基準高さに対応する領域に関連付けられた信号を前記第二信号として処理する、
    請求項1または2に記載のセンサシステム。
  4. ランプユニットを収容する灯室を区画しているランプハウジングを備えており、
    前記センサユニットは、前記灯室内に配置されている、
    請求項1からのいずれか一項に記載のセンサシステム。
  5. 前記少なくとも一つのセンサユニットは、LIDARセンサユニット、カメラユニット、およびミリ波センサユニットの少なくとも一つである、
    請求項1からのいずれか一項に記載のセンサシステム。
JP2020504983A 2018-03-05 2019-03-01 センサシステム、および画像データ生成装置 Active JP7288895B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2018038879 2018-03-05
JP2018038879 2018-03-05
JP2018049652 2018-03-16
JP2018049652 2018-03-16
JP2018051287 2018-03-19
JP2018051287 2018-03-19
PCT/JP2019/008084 WO2019172117A1 (ja) 2018-03-05 2019-03-01 センサシステム、および画像データ生成装置

Publications (2)

Publication Number Publication Date
JPWO2019172117A1 JPWO2019172117A1 (ja) 2021-03-11
JP7288895B2 true JP7288895B2 (ja) 2023-06-08

Family

ID=67847235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504983A Active JP7288895B2 (ja) 2018-03-05 2019-03-01 センサシステム、および画像データ生成装置

Country Status (2)

Country Link
JP (1) JP7288895B2 (ja)
WO (1) WO2019172117A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439434B2 (ja) * 2019-09-30 2024-02-28 株式会社デンソー 車両に搭載されているライダーの傾きの検出装置、および車両に搭載されているライダーの傾きの検出方法
DE102020107789A1 (de) * 2020-03-20 2021-09-23 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen
JP2022063471A (ja) * 2020-10-12 2022-04-22 トヨタ自動車株式会社 車両用センサ取り付け構造

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001318149A (ja) 2000-03-02 2001-11-16 Denso Corp 車両用前方情報検出装置
JP2003066144A (ja) 2001-08-23 2003-03-05 Omron Corp 対象物検出装置および方法
JP2006153778A (ja) 2004-11-30 2006-06-15 Honda Motor Co Ltd 車両周辺監視装置
JP2008026933A (ja) 2006-07-18 2008-02-07 Toyota Motor Corp 周辺環境認識装置
JP2010008280A (ja) 2008-06-27 2010-01-14 Toyota Motor Corp 物体検出装置
JP2014203115A (ja) 2013-04-01 2014-10-27 パイオニア株式会社 検出装置、制御方法、プログラム及び記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849127B2 (ja) * 1989-09-29 1999-01-20 マツダ株式会社 移動車の環境認識装置
JP3612821B2 (ja) * 1995-09-29 2005-01-19 スズキ株式会社 車載用距離測定装置
JP4461567B2 (ja) * 2000-04-28 2010-05-12 いすゞ自動車株式会社 バックミラー装置
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
JP4985250B2 (ja) * 2007-09-06 2012-07-25 株式会社デンソー 駐車支援装置
JP5055169B2 (ja) * 2008-03-05 2012-10-24 本田技研工業株式会社 車両用走行安全装置
DE102014018040A1 (de) * 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
JP6383654B2 (ja) * 2014-12-16 2018-08-29 祥忠 川越 サイドリアビュー確認装置
JP6523050B2 (ja) * 2015-06-02 2019-05-29 日立建機株式会社 鉱山用作業機械

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001318149A (ja) 2000-03-02 2001-11-16 Denso Corp 車両用前方情報検出装置
JP2003066144A (ja) 2001-08-23 2003-03-05 Omron Corp 対象物検出装置および方法
JP2006153778A (ja) 2004-11-30 2006-06-15 Honda Motor Co Ltd 車両周辺監視装置
JP2008026933A (ja) 2006-07-18 2008-02-07 Toyota Motor Corp 周辺環境認識装置
JP2010008280A (ja) 2008-06-27 2010-01-14 Toyota Motor Corp 物体検出装置
JP2014203115A (ja) 2013-04-01 2014-10-27 パイオニア株式会社 検出装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JPWO2019172117A1 (ja) 2021-03-11
WO2019172117A1 (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
US6888447B2 (en) Obstacle detection device for vehicle and method thereof
JP7288895B2 (ja) センサシステム、および画像データ生成装置
US9020750B2 (en) Drive assist device, and vehicle using drive assist device
US20150154802A1 (en) Augmented reality lane change assistant system using projection unit
KR20190100614A (ko) 차량 및 그 제어방법
US11345279B2 (en) Device and method for warning a driver of a vehicle
US9251709B2 (en) Lateral vehicle contact warning system
WO2017183667A1 (ja) 物体検出装置、物体検出方法
JP2007333486A (ja) 車両用障害物検知装置
JP6424467B2 (ja) 物標検出装置
KR101827700B1 (ko) 차량 및 그 제어방법
JP2010162975A (ja) 車両制御システム
US20200353919A1 (en) Target detection device for vehicle
US11892539B2 (en) Measurement device, measurement method, and non-transitory storage medium
WO2016013167A1 (ja) 車両用表示制御装置
US11214197B2 (en) Vehicle surrounding area monitoring device, vehicle surrounding area monitoring method, vehicle, and storage medium storing program for the vehicle surrounding area monitoring device
JP7189682B2 (ja) センサシステムおよび検査方法
JP2008286566A (ja) 車載装置
JP2007131092A (ja) 障害物検出装置及びこれを含む車両制動システム
CN210116465U (zh) 传感器系统
JP7356451B2 (ja) センサシステム
US20220206153A1 (en) Vehicular sensing system and vehicle
JP2019096039A (ja) 車両の物標検出装置
CN209955917U (zh) 传感器系统
CN110239431B (zh) 用于控制碰撞警报的设备及方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7288895

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150