JP7351139B2 - センシング装置 - Google Patents

センシング装置 Download PDF

Info

Publication number
JP7351139B2
JP7351139B2 JP2019152856A JP2019152856A JP7351139B2 JP 7351139 B2 JP7351139 B2 JP 7351139B2 JP 2019152856 A JP2019152856 A JP 2019152856A JP 2019152856 A JP2019152856 A JP 2019152856A JP 7351139 B2 JP7351139 B2 JP 7351139B2
Authority
JP
Japan
Prior art keywords
sensor
measurement
accuracy information
signal
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019152856A
Other languages
English (en)
Other versions
JP2020035443A (ja
Inventor
勇 高井
誠悟 伊藤
文洋 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Publication of JP2020035443A publication Critical patent/JP2020035443A/ja
Application granted granted Critical
Publication of JP7351139B2 publication Critical patent/JP7351139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明はセンシング装置に関する。
特許文献1には、車両前方の領域をカメラが撮像し、画像処理部が、カメラから送られてくる映像信号に基づいて、車線を区切る白線や黄線などの道路区画線を検出・推定し、道路区画線に対する自車両の横位置を算出する技術が開示されている。
また特許文献2には、自車両の前方の識別対象領域を含む領域を撮像装置が撮像し、撮像装置からの撮像画像に基づいて、画像特徴量を抽出し、画像特徴量と識別モデルとを比較して歩行者らしさを示すスコアを算出し、歩行者を検出する処理をコンピュータが行う技術が開示されている。
特開2007-257449号公報 特開2013-190949号公報
特許文献1は道路区画線の認識に特化した技術であり、特許文献2は歩行者の認識に特化した技術であるが、車両の周辺には道路区画線や歩行者以外にも様々な物体が出現する可能性がある。そこで、車両の周辺に様々な物体が存在している状況をセンサによって各々測定することで得られた学習用の測定信号を用いて、例えば多層ニューラルネットワーク等の信号処理部に予め学習をさせておくことが考えられる。これにより、センサが車両の周辺を新たに測定した場合に、センサからの測定信号に対して信号処理部で信号処理を行い、その結果に基づき車両の周辺に存在する物体を識別することが可能となる。
しかしながら、センサによる測定における測定パラメータは、後段の処理とは独立してセンサの内部で制御される。例えばセンサがカメラである場合、測定パラメータの一例であるシャッタ速度は、画像全体又は画像内の所定の領域の輝度が高ければシャッタ速度が速くなり、輝度が低ければシャッタ速度が遅くなるように制御される。また、例えばセンサがレーザレーダである場合、測定パラメータの一例である受光素子の感度や検出閾値は、測距点の明るさに応じて制御される。そして、センサから出力される測定信号は、センサの測定パラメータに応じて変化する。
このように、センサの測定パラメータは後段の処理とは独立して制御されるので、測定パラメータの値によっては、測定パラメータに応じて変化する測定信号により、後段の処理の精度低下が引き起こされる可能性がある。特に、測定パラメータが、信号処理部の学習に用いた学習用の測定信号を取得した際の測定パラメータとの相違が大きい場合、信号処理部における信号処理の精度が低下し、物体識別の精度が低下する可能性が高い。
本発明は上記事実を考慮して成されたもので、検知範囲内に存在する物体を識別する精度を向上できるセンシング装置を得ることが目的である。
第1の態様に係るセンシング装置は、設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、を含んでいる。
第1の態様では、センサが、設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、測定パラメータが外部から変更可能とされている。また信号処理部は、前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する。そして判定部は、信号処理部から出力された確度情報に基づいて物体を識別する。
ここで、第1の態様では、判定部が、信号処理部から出力された確度情報に基づいてセンサの測定パラメータを変更する。これにより、例えば、確度情報が表す物体の分類毎の確度の差が大きくなるように測定パラメータを変更する等のように、物体を識別する精度が向上するように測定パラメータを変更することが可能となる。従って、第1の態様によれば、検知範囲内に存在する物体を識別する精度を向上させることができる。
第2の態様は、第1の態様において、前記判定部は、前記確度情報が表す確度が予め設定された条件を満たさない場合に、次の検出の際に前記信号処理部から出力される前記確度情報が表す確度が前記条件を満たすように、前記測定パラメータを変更する。
これにより、センサの測定パラメータの変更により、確度情報が表す確度が設定された条件を満たさない状態が解消されるので、検知範囲内に存在する物体を識別する精度を向上させることができる。
第3の態様は、第1の態様又は第2の態様において、前記判定部は、前記測定パラメータを変更した場合の前記確度情報の変化方向、前記測定パラメータを変更した場合の前記センサから出力された測定信号の特徴量と設定値との大小関係、及び、前記検知範囲内の異なる物理量を測定する別のセンサの測定信号、の少なくとも1つに基づいて、前記確度情報を所定方向に変化させるための前記測定パラメータの変更方向を決定する。
これにより、確度情報を所定方向に変化させるための測定パラメータの変更方向が既知となるので、検知範囲内に存在する物体を識別する精度が向上するように、センサの測定パラメータを変更することができる。
第4の態様は、第1の態様~第3の態様の何れか1つの態様において、前記センサは車両の周辺を前記検知範囲とし、前記判定部は、前記車両の状態を表す車両信号に応じて、前記確度情報に基づいて前記物体を識別する処理の条件を切り替えること、前記測定パラメータの変更量を切り替えること、及び、変更対象の前記測定パラメータの種類を切り替えること、の少なくとも1つを行う。
センサが車両の周辺を検知範囲とする場合、例えば車速等の車両の状態が変化すると、確度情報に基づいて物体を識別する処理に対する要求性能が変化することがある。これに対し、第4の態様では、車両の状態を表す車両信号に応じて、確度情報に基づいて物体を識別する処理の条件を切り替えること、測定パラメータの変更量を切り替えること、及び、変更対象の測定パラメータの種類を切り替えること、の少なくとも1つを行うので、車両の状態の変化に伴う、物体を識別する処理に対する要求性能の変化に対応することができる。
第5の態様は、第1の態様~第4の態様の何れか1つの態様において、前記センサとして第1センサ及び第2センサを含み、前記判定部は、前記第1センサから出力された第1測定信号から得られる第1確度情報と、前記第2センサから出力された第2測定信号から得られる第2確度情報と、の差に応じて、前記第1センサ及び前記第2センサの少なくとも一方の前記測定パラメータを変更する。
第1確度情報と第2確度情報とに差が生じている場合、第1センサ及び第2センサの少なくとも一方の測定パラメータが適切でない場合がある。第5の態様では、上記の場合に第1センサ及び第2センサの少なくとも一方の測定パラメータを変更するので、確度情報の差を利用して測定パラメータを適切に変更することができる。
第6の態様は、第1の態様又は第2の態様において、前記判定部は、前記センサから出力された前記測定信号に基づいて、前記確度情報を所定方向に変化させるための前記測定パラメータの変更方向、又は前記センサで行われる処理のアルゴリズムを選択するための前記測定パラメータの値を決定する。
第7の態様は、第1の態様又は第2の態様において、前記判定部は、前記センサから出力された前記測定信号と前記学習用の測定信号とを比較して、前記確度情報を所定方向に変化させるための前記測定パラメータの変更方向、又は前記センサで行われる処理のアルゴリズムを選択するための前記測定パラメータの値を決定する。
第8の態様は、第1の態様において、所定の条件を満たすまで、前記信号処理部及び前記判定部の各々による処理を繰り返し、前記所定の条件を満たしたときに、前記測定信号を出力する。
第9の態様は、第1の態様~第7の態様の何れか1つの態様において、前記信号処理部は、前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第1信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第1信号処理部と、前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第2信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第2信号処理部と、を含み、前記判定部は、前記第1信号処理部から出力された前記確度情報に基づいて前記測定パラメータを変更する第1判定部と、前記第2信号処理部から出力された前記確度情報に基づいて前記物体を識別する第2判定部と、を含む。
第10の態様は、第9の態様において、前記第1信号処理は、前記第2信号処理より処理速度が速い処理である。
第11の態様は、第1の態様~第10の態様の何れか1つの態様において、前記判定部は、前記センサから出力された前記測定信号に基づいて、前記測定パラメータの変更量を切り替えること、及び、変更対象の前記測定パラメータの種類を切り替えること、の少なくとも1つを行う。
第12の態様は、第1の態様~第10の態様の何れか1つの態様において、前記判定部は、前記センサから出力された前記測定信号と前記学習用の測定信号とを比較して、前記測定パラメータの変更量を切り替えること、及び、変更対象の前記測定パラメータの種類を切り替えること、の少なくとも1つを行う。
第13の態様に係るセンシング装置は、検知範囲内の物理量を測定するセンサと、設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、を含む。
第13の態様では、センサが、検知範囲内の物理量を測定する。前処理部が、設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能とされている。また信号処理部は、前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する。そして判定部は、信号処理部から出力された確度情報に基づいて物体を識別する。
ここで、第13の態様では、判定部が、前記確度情報に基づいて前記処理パラメータを変更する。これにより、例えば、確度情報が表す物体の分類毎の確度の差が大きくなるように処理パラメータを変更する等のように、物体を識別する精度が向上するように処理パラメータを変更することが可能となる。従って、第11の態様によれば、検知範囲内に存在する物体を識別する精度を向上させることができる。
第14の態様は、第13の態様において、前記判定部は、前記確度情報が表す確度が予め設定された条件を満たさない場合に、次の検出の際に前記信号処理部から出力される前記確度情報が表す確度が前記条件を満たすように、前記処理パラメータを変更する。
第15の態様は、第13の態様又は第14の態様において、前記判定部は、前記処理パラメータを変更した場合の前記確度情報の変化方向、前記処理パラメータを変更した場合の前記前処理が行われた測定信号の特徴量と設定値との大小関係、及び、前記検知範囲内の異なる物理量を測定する別のセンサの測定信号、の少なくとも1つに基づいて、前記確度情報を所定方向に変化させるための前記処理パラメータの変更方向を決定する。
第16の態様は、第13の態様~第15の態様の何れか1つの態様において、前記センサは車両の周辺を前記検知範囲とし、前記判定部は、前記車両の状態を表す車両信号に応じて、前記確度情報に基づいて前記物体を識別する処理の条件を切り替えること、前記処理パラメータの変更量を切り替えること、及び、変更対象の前記処理パラメータの種類を切り替えること、の少なくとも1つを行う。
第17の態様は、第13の態様~第16の態様の何れか1つの態様において、前記センサとして第1センサ及び第2センサを含み、前記判定部は、前記第1センサから出力された第1測定信号から得られる第1確度情報と、前記第2センサから出力された第2測定信号から得られる第2確度情報と、の差に応じて、前記第1センサ及び前記第2センサの少なくとも一方の前記処理パラメータを変更する。
第18の態様は、第13の態様又は第14の態様において、前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方に基づいて、前記確度情報を所定方向に変化させるための前記処理パラメータの変更方向、又は前記前処理のアルゴリズムを選択するための前記処理パラメータの値を決定する。
第19の態様は、第13の態様又は第14の態様において、前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方と前記学習用の測定信号とを比較して、前記確度情報を所定方向に変化させるための前記処理パラメータの変更方向、又は前記前処理のアルゴリズムを選択するための前記処理パラメータの値を決定する。
第20の態様は、第13の態様~第19の態様の何れか1つの態様において、所定の条件を満たすまで、前記前処理部、前記信号処理部、及び前記判定部の各々による処理を繰り返し、前記所定の条件を満たしたときに、前記前処理が行われた測定信号を出力する。
第21の態様は、第13の態様~第19の態様の何れか1つの態様において、前記信号処理部は、前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第1信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第1信号処理部と、前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第2信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第2信号処理部と、を含み、前記判定部は、前記第1信号処理部から出力された前記確度情報に基づいて前記処理パラメータを変更する第1判定部と、前記第2信号処理部から出力された前記確度情報に基づいて前記物体を識別する第2判定部と、を含む。
第22の態様は、第21の態様において、前記第1信号処理は、前記第2信号処理より処理速度が速い処理である。
第23の態様は、第13の態様~第22の態様の何れか1つの態様において、前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方に基づいて、前記処理パラメータの変更量を切り替えること、及び、変更対象の前記処理パラメータの種類を切り替えること、の少なくとも1つを行う。
第24の態様は、第13の態様~第22の態様の何れか1つの態様において、前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方と前記学習用の測定信号とを比較して、前記処理パラメータの変更量を切り替えること、及び、変更対象の前記処理パラメータの種類を切り替えること、の少なくとも1つを行う。
第25の態様は、第1の態様~第24の態様の何れか1つの態様において、信号処理部は、前記学習用の測定信号及び前記学習用の測定信号の検知範囲内に存在する物体の分類を含む学習用データから予め学習された学習済モデルに基づいて前記信号処理を行う多層ニューラルネットワークを含む。
本発明は、検知範囲内に存在する物体を識別する精度を向上させることができる、という効果を有する。
第1実施形態に係るセンシング装置の概略ブロック図である。 学習済モデルの一例を示す概念図である。 制御・識別処理の一例を示すフローチャートである。 制御終了判定の一例を示すイメージ図である。 制御終了判定の一例を示すイメージ図である。 制御終了判定の一例を示すイメージ図である。 制御方向判定処理の一例を示すイメージ図である。 測定パラメータの一例としての画角の制御の一例を示すイメージ図である。 センサパラメータ空間を示す線図である。 第2実施形態に係るセンシング装置の概略ブロック図である。 車両信号に基づく閾値変更の一例を示すイメージ図である。 車両信号に応じた制御処理の一例を示す図表である。 信号処理部から出力される確度情報の一例を、測定信号が表す画像に重ねて示すイメージ図である。 第3実施形態に係るセンシング装置の概略ブロック図である。 第3実施形態における測定パラメータ制御の一例を示すイメージ図である。 第4実施形態に係るセンシング装置の概略ブロック図である。 第4実施形態に係るセ制御・識別処理の一例を示すフローチャートである。 第5実施形態に係るセンシング装置の概略ブロック図である。 第6実施形態に係るセンシング装置の概略ブロック図である。 第6実施形態の他の例に係るセンシング装置の概略ブロック図である。 第7実施形態に係るセンシング装置の概略ブロック図である。 第8実施形態に係るセンシング装置の概略ブロック図である。 第9実施形態に係るセンシング装置の概略ブロック図である。 第9実施形態に係るセ制御・識別処理の一例を示すフローチャートである。 第10実施形態に係るセンシング装置の概略ブロック図である。 第10実施形態に係るセ制御・識別処理の一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
〔第1実施形態〕
図1に示すように、第1実施形態に係るセンシング装置10Aは、車載センサ12Aとコンピュータ14と含んでいる。車載センサ12Aは、車両に搭載され、車両の周辺を検知範囲とし、設定された測定パラメータに従って検知範囲内の物理量を繰り返し測定し、各回の測定結果を測定信号として出力すると共に、測定パラメータの設定を外部から変更可能とされている。車載センサ12Aは、例えば、カメラ、ライダ(LIDAR:Light Detection and Ranging又はLaser Imaging Detection and Ranging)、ミリ波レーダ、超音波センサなどの各種センサの何れでもよい。また、カメラとしては、一般的な可視光カメラを用いてもよいし、一般的な可視光カメラ以外にも、近赤外カメラ、中赤外カメラ、遠赤外カメラ、単一フォトダイオード等をアレイ化した装置など、1次元的、2次元的な撮像が可能な装置すべてに適用可能である。
車載センサ12Aがカメラである場合、測定パラメータとしては、シャッタ速度(露光時間)、ホワイトバランス、ゲイン(感度)、空間解像度(画素数)、フレームレート(測定周期)、画角、絞り、フォーカス(焦点)などが挙げられる。また、車載センサ12Aがライダである場合、測定パラメータとしては、レーザ出力の強度、1測定点当たりの測定回数、測定方位(画角)、空間分解能、距離分解能、受光素子の感度などが挙げられる。また、車載センサ12Aがミリ波レーダである場合、測定パラメータとしては、ビーム出力の強度、1測定点当たりの測定回数、測定方位(画角)、受信アンテナの感度などが挙げられる。また、車載センサ12Aが超音波センサである場合、測定パラメータとしては、音波出力の強度、受信機のゲイン(感度)、測定方位(画角)、1出力当たりの測定回数などが挙げられる。また、車載センサ12Aにファンやヒータなどの温度調節機能が付随する場合、測定パラメータには、温度調節機能の調節量が含まれていてもよい。
コンピュータ14は、CPU、メモリ、各種の処理を実行するためのプログラムなどを記憶した不揮発性の記憶部及びネットワークインタフェースなどを含んでいる。コンピュータ14は、機能的には、学習用データ記憶部16、学習部18、学習済モデル記憶部20、信号処理部22A及び判定部24を備えている。
学習用データ記憶部16には、車両の周辺に物体が存在する様々な状況を車載センサ12Aで各々測定することで得られた複数の測定信号と、個々の測定信号が表す状況において車両の周辺に存在する物体の分類を特定する物体特定情報(教師信号の一例)と、が対応付けられた複数の学習用データが記憶される。なお、学習用データに含まれる測定信号は、センシング装置10Aが搭載された車両とは異なる車両において、車載センサ12Aと同種のセンサによって測定された信号であってもよい。
学習部18は、学習用データ記憶部16に記憶された複数の学習用データに基づいて、測定信号から、当該測定信号が表す状況において車両の周辺に存在する物体の分類毎の確度(確からしさ)を表す確度情報を出力するためのモデルを学習させることで、学習済モデルを生成する。本実施形態では、モデルの一例として、図2に示すようなニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。なお、上記の物体の分類毎の「確度」は、物体がその分類である「らしさを示す値」を意味し、「可能性を示す値」「確率」「尤度」「likelihood」「possibility」「probability」ともいう。
確度情報の形式(フォーマット)としては、一例として下記に列挙する形式が挙げられる。第1の形式は、物体の分類毎の確度を合計すると"100"になるように値を変換する形式である。例えば出力される分類(図2に示す出力層のノード数)が3種類(例えば乗用車、トラック、軽自動車)の場合、その3つの分類の確度の総和が"100"になるように値を変換して出力する(一例として、乗用車の確度50%、トラックの確度30%、軽自動車の確度20%で確度の総和が100%になる)。第1の形式は、多層ニューラルネットワークを用いた認識システムで一般的に使用される方法であり、変換関数として一般に「ソフトマックス関数」が使用される。
第2の形式は、物体の分類毎の確度値を合計すると"1"になるように値を変換する形式である。一例として、乗用車の確度0.5、トラックの確度0.3、軽自動車の確度0.2で総和が"1"になる。第2の形式も、多層ニューラルネットワークを用いた認識システムで一般的に使用される方法であり、変換関数として一般に「ソフトマックス関数」が使用される。
第3の形式は、第1の形式や第2の形式のように形式を整えず(値を変換せず)、物体の分類毎の可能性の大小関係を表す値として、出力層の各ノードの値をそのまま出力する形式である。第4の形式は、物体の分類毎の可能性の大小関係を表す値ではあるものの、後段の信号処理や判定部で扱い易い形式に変換するものである。なお、確度情報の形式は上記の第1~第4の形式に限定されるものではなく、他の形式であってもよい。
学習済モデル記憶部20には、学習部18で生成された学習済モデルが記憶される。なお、学習済モデル記憶部20に記憶する学習済モデルは、センシング装置10Aの外部(例えば、別の車両に搭載された別のセンシング装置10Aの学習部18)で生成することも可能であり、この場合、図1に破線で示すように、学習用データ記憶部16及び学習部18は省略することも可能である。
信号処理部22Aは、車載センサ12Aから出力された測定信号と、学習済モデル記憶部20に記憶された学習済モデルと、に基づいて多層ニューラルネットワークの信号処理を行うことにより、前述の確度情報を出力する。図4では、確度情報の一例として、車両の周辺に存在する物体について「乗用車」「トラック」「軽自動車」の各分類毎の確度が出力される場合を示す。
判定部24は、信号処理部22Aから出力された確度情報に基づいて、車両の周辺に存在する物体を識別し、物体識別結果を出力すると共に、確度情報に基づいて、物体の識別精度が向上するように車載センサ12Aの測定パラメータを変更する。なお、判定部24から出力された物体識別結果は、例えばコンピュータ14が実行する所定のアプリケーション(例えば白線検出アプリケーションや歩行者検出アプリケーション、障害物検出アプリケーション、車両検出アプリケーション、プリクラッシュ制御アプリケーション等)に引き渡される。
次に第1実施形態の作用として、図3を参照し、判定部24で実行される制御・識別処理を説明する。ステップ48において、判定部24は、変更対象とする車載センサ12Aの測定パラメータを設定する。ステップ50において、判定部24は、信号処理部22Aから確度情報を取得する。ステップ52において、判定部24は、ステップ50で取得した確度情報に基づいて、車載センサ12Aの測定パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。この制御終了条件には幾つかのバリエーションがある。
第1の制御終了条件は、「物体の分類毎の確度の最大値が判定閾値を超えたか否か」という条件である。一例として図4の左上に示す図では、物体の分類毎の確度が最大値を示している分類は「乗用車」であるが、「乗用車」の確度は判定閾値を超えていない。この場合、車載センサ12Aの測定パラメータが物体識別にとって不適切な設定になっている可能性がある。一例として図4の右上に示す図は、このことを、車載センサ12Aがカメラであり、測定信号として露出が過大な画像が入力された場合として示している。
このため、ステップ52で第1の制御終了条件を判定した結果、条件を満たさなかった場合、一例として図4の左下に示す図のように、物体の分類毎の確度の最大値が判定閾値を超えることを制御目標として、後述するように車載センサ12Aの測定パラメータを変更する。これにより、車載センサ12Aの測定パラメータが物体識別にとって適切な設定となるように制御される。一例として図4の右下に示す図は、このことを、車載センサ12Aがカメラであり、測定信号として露出が適正な画像が入力された場合として示している。
なお、第1の制御終了条件を用いる際に、判定閾値は確度100%、或いは、到達するのが難しい(到達しえない)と想定される高い値に設定することも可能である。この場合、第1の制御終了条件が満たされることはないので、事実上、車載センサ12Aの測定パラメータに対する制御が常に実行されることになる。また、このように繰り返し制御をかけ続ける方法は、確度ができるかぎり最大になるように常に制御がかけ続けられるので、一種の確度のピーク探索モードともいえる。
また第2の制御終了条件は、「物体の分類毎の確度の最大値が第1判定閾値と第2判定閾値の間の値か否か」という条件である。一例として図5の左に示す図では、物体の分類毎の確度が最大値を示している分類は「乗用車」であるが、「乗用車」の確度は第2判定閾値を超えており、第1判定閾値と第2判定閾値の間の範囲から外れている。このため、ステップ52で第2の制御終了条件を判定した結果、条件を満たさなかった場合、一例として図5の右に示す図のように、物体の分類毎の確度の最大値が第1判定閾値と第2判定閾値の間の値になることを制御目標として、後述するように車載センサ12Aの測定パラメータを変更する。
これにより、物体の分類毎の確度の最大値が非常に高い値である場合に、或る測定パラメータに対応する車載センサ12Aの性能をあえて少し低下させることで、別の測定パラメータに対応する車載センサ12Aの性能を向上させることが可能になる。このような例としては、車載センサ12Aがカメラであるときに、露光時間を短く(シャッタ速度を速く)する代わりにフレームレートを高くする場合や、車載センサ12Aがライダであるときに、1測定点当たりの測定回数を減らす代わりに、空間解像度(測定点数)を増やす場合が挙げられる。
また第3の制御終了条件は、「物体の分類毎の確度の最大値と第2位の値との差が所定値以上か否か」という条件である。一例として図6の左に示す図では、物体の分類毎の確度が最大値を示している分類「乗用車」と、確度が第2位の分類「トラック」と、の確度の差が所定値未満となっている。このため、ステップ52で第3の制御終了条件を判定した結果、条件を満たさなかった場合、一例として図6の右に示す図のように、物体の分類毎の確度の最大値と第2位の値との差が所定値以上になることを制御目標として、後述するように車載センサ12Aの測定パラメータを変更する。このように、物体の分類毎の確度の最大値が判定閾値を超えていない場合であっても、確度の最大値と第2位の値との差が所定値以上であれば、確度情報の信頼性が高いと判断して制御を終了するようにしてもよい。この制御終了条件の処理方法は、各分類における確度の出力値の出力(バランスや差)に応じて、閾値を変更する方法ともいえる。
ステップ52において、制御終了条件を満足した場合には、ステップ52からステップ62へ移行するが、制御終了条件を満足しなかった場合には、ステップ52からステップ54へ移行する。そしてステップ54において、判定部24は、確度情報を制御目標に近づけるための測定パラメータの変更方向(制御方向)を判定する制御方向判定処理を行う。この制御方向判定処理にも幾つかのバリエーションがある。
第1の制御方向判定処理は、車載センサ12Aの測定パラメータを任意の方向(第1方向)へ変更し、信号処理部22Aから確度情報を取得し、取得した確度情報を前回の確度情報と比較し、確度情報が表す確度の変化を評価する。確度情報が表す確度が前回よりも向上していれば、測定パラメータの制御方向として第1方向を設定する。また、確度情報が表す確度が前回よりも悪化していれば、測定パラメータの制御方向として第1方向と逆の第2方向を設定する。なお、制御方向を設定する迄に、測定パラメータの変更、確度情報の取得及び評価を複数回行ってもよい。
第2の制御方向判定処理は、車載センサ12Aの測定パラメータを初期値から第1方向へ所定量変更し、信号処理部22Aから確度情報を取得した後に、車載センサ12Aの測定パラメータを初期値から第2方向へ所定量変更し、信号処理部22Aから確度情報を取得する。そして、測定パラメータが初期値のときを含む3つの確度情報を相互に比較し、測定パラメータの制御方向を設定する。
例えば図7に示すように、車載センサ12Aがカメラで、測定パラメータの1つである露光時間の初期値が100ms、確度が45%であるとする。ここで、露光時間を50msへ変更したところ確度60%になり、露光時間を200msへ変更したところ確度20%になったとすると、測定パラメータの制御方向は露光時間を初期値よりも短くする方向であると判断することができる。
第3の制御方向判定処理は、車載センサ12Aから出力された測定信号を取得し、測定信号の平均強度(例えば車載センサ12Aがカメラであれば画像全体の平均輝度、車載センサ12Aがレーザレーダであればレーザの反射光強度)を算出する。そして、算出した平均強度が設定値よりも高ければ平均強度が低下するように測定パラメータの制御方向を設定し、平均強度が設定値よりも低ければ平均強度が増加するように測定パラメータの制御方向を設定する。
なお、第3の制御方向判定処理において、測定信号の平均強度等の特徴量と比較する設定値は、固定的に定めた値であってもよいが、車両信号に基づいて値を変更設定してもよい。例えば、車両信号の一例として照度センサから得られた照度情報を設定値とし、当該設定値を測定信号の平均輝度等と比較してもよい。但し、照度と輝度は単位が異なるので、例えば所定の係数を乗ずることで、両者を比較できる値に変換した後に比較を行う。一例として、照度センサから得られた照度情報が表す照度値が100のとき、測定信号の平均輝度が150であれば、測定パラメータの制御方向を、測定信号の平均輝度が低下する方向に決定する(一例として測定パラメータがシャッタ速度であれば、制御方向をシャッタ速度が低下する方向に決定する)。
第4の制御方向判定処理は、車載センサ12Aと検知範囲が重なっている別センサの測定信号と車載センサ12Aの測定パラメータの制御方向との関係を予め定めておき、前記別センサの測定信号を取得し、取得した測定信号に基づいて車載センサ12Aの測定パラメータの制御方向を設定する。一例として、車載センサ12Aがカメラ、別センサが照度センサであるとすると、例えば照度センサによって検出される照度が基準値以上の場合には、カメラの露光時間を短くしたり、カメラのゲインを低くするように制御方向を定め、例えば照度センサによって検出される照度が基準値未満の場合には、カメラの露光時間を長くしたり、カメラのゲインを高くするように制御方向を定めることができる。
また、第1の制御方向判定処理又は第2の制御方向判定処理と、第3の制御方向判定処理と、第4の制御方向判定処理(第3判定)と、のうちの複数の判定処理を行って、測定パラメータの制御方向を判定するようにしてもよい。この場合、複数の判定処理で判定した制御方向が一致していた場合、判定した制御方向の確からしさが高いと判断できるので、測定パラメータの同方向への変更量を増加させるようにしてもよい。
車載センサ12Aの測定パラメータの制御方向を判定するとステップ56へ移行し、ステップ56において、判定部24は、判定した制御方向へ車載センサ12Aの測定パラメータを変更する。ステップ58において、判定部24は、信号処理部22Aから確度情報を取得する。ステップ60において、判定部24は、ステップ58で取得した確度情報に基づいて、車載センサ12Aの測定パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。
ステップ60の判定が否定された場合はステップ56に戻り、ステップ60の判定が肯定される迄、ステップ56~ステップ60を繰り返す。この間、確度情報が制御目標に達するように測定パラメータの変更が繰り返される。なお、ステップ56~ステップ60を繰り返している間、並行して前述の第1の制御方向判定処理を行ない、必要に応じて制御方向の切り替えを行うようにしてもよい。
ステップ52又はステップ60の判定が肯定されるとステップ62へ移行し、ステップ62において、判定部24は、信号処理部22Aから取得した確度情報に基づいて物体識別を行ない、物体識別の結果を出力し、ステップ48に戻る。
図8には、車載センサ12Aの測定パラメータが画角である場合の制御の一例を示す。図8の左側は、車載センサ12Aの検知範囲が広い(画角が広い)ために、物体の分類毎の確度の最大値が低く、第3の制御方向判定処理における測定信号の特徴量の一例である物体の検出サイズも設定値より小さい(一例として30%)場合を示している。これに対し、物体の検出サイズが大きくなる方向へ画角が制御されることで、図8の右側に示すように、車載センサ12Aの検知範囲が狭くされ(画角が狭くされ)ることで、物体の検出サイズが設定値より大きく(一例として90%)なり、物体の分類毎の確度の最大値が高くなる。なお、この例における車載センサ12Aは、カメラ、ライダ、ミリ波レーダ、超音波センサの何れでもよい。
図9(A)には、学習用データ記憶部16に記憶された学習用データにおける測定パラメータの集合、すなわち学習用データに含まれる複数の測定信号が各々測定されたときの測定パラメータの集合の一例を示す。図9(A)において、学習用データにおける測定パラメータの集合は、2つのパラメータA,Bの各々を座標軸とするパラメータ空間上で、或る広がりをもって分布している。前述のように、学習部18は上記の学習用データに基づいて学習済モデルを生成し、信号処理部22Aは車載センサ12Aから出力された測定信号と学習済モデル記憶部20に記憶された学習済モデルとに基づき信号処理を行って確度情報を出力する。
ここで、車載センサ12Aから信号処理部22Aに入力される測定信号に対応する測定パラメータが、学習用データにおける測定パラメータの集合の分布に含まれる場合は、対応する測定パラメータが類似する測定信号が学習部18の学習に用いられているので、信号処理部22Aにおける信号処理で高い精度が得られ、判定部24における物体識別でも高い精度が得られる。一方、車載センサ12Aから信号処理部22Aに入力される測定信号に対応する測定パラメータが、学習用データにおける測定パラメータの集合の分布から外れている場合は、対応する測定パラメータが類似する測定信号が学習用データに含まれておらず、学習部18の学習に用いられていないので、信号処理部22Aにおける信号処理の精度が低下し、判定部24における物体識別の精度も低下する。
これに対し、物体識別の精度を向上させる一案として、学習用データにおける測定パラメータの集合の分布を、パラメータ空間上で更に広げることが考えられる。これにより、入力された測定信号に対応する測定パラメータが多様であっても、個々の測定パラメータが学習用データにおける測定パラメータの集合の分布に含まれる確率が増加する。しかしながら、学習用データに含まれる測定信号に対しては、車両の周辺に物体が存在する様々な状況を表す測定信号を含むことが要請されており、その上、対応する測定パラメータが様々な測定信号を含むようにすると、学習用データとして用いる測定信号の取得に膨大な手間が掛かり、学習にも時間が掛かることになるので、現実的ではない。
一方、本実施形態のように、確度情報に基づいて測定パラメータを制御することは、車載センサ12Aから信号処理部22Aに入力される測定信号を、図9(A)に矢印として示すように、対応する測定パラメータが学習用データにおける測定パラメータの集合の分布に近づくように制御することに相当する。これにより、信号処理部22Aにおける信号処理で高い精度が得られ、判定部24における物体識別でも高い精度が得られる。また、図9(B)に示すように、学習用データ(に含まれる測定信号)の数を削減することで、学習用データにおける測定パラメータの集合のパラメータ空間上での分布を狭くしたとしても、信号処理部22Aにおける信号処理の精度低下を抑制し、判定部24における物体識別の精度低下を抑制することができる。
〔第2実施形態〕
次に本発明の第2実施形態について説明する。なお、第1実施形態と同一の部分には同一の符号を付し、説明を省略する。図10に示すように、第2実施形態に係るセンシング装置10Bのコンピュータ14は、判定信号生成部26を更に備えている。判定信号生成部26は、車両の状態を表す車両信号(車両情報)が入力される。
車両信号としては、例えば、車速センサによって検出される車両の車速、GPS(Global Positioning System)センサによって検出される車両の位置、照度センサによって検出される車両の周囲の照度(明るさ)、ブレーキセンサによって検出される車両の制動の有無、操舵角センサによって検出される車両の操舵角、ヘッドライトスイッチによって検出される車両のヘッドライトの点灯の有無、ウインカスイッチによって検出される車両のウインカの点滅の有無及び方向、車両のハザードスイッチによって検出される車両のハザードランプの点滅の有無、スロットルセンサによって検出される車両のスロットル開度、温度センサによって検出される車室内及び車外の少なくとも一方の温度、傾きセンサによって検出される車両の傾き、レインセンサによって検出される雨滴の有無、ワイパスイッチによって検出される車両のワイパの動作状態、無線通信部によって送受される車車間通信及び路車間通信の少なくとも一方の信号、コンピュータ14によって検出される動作中のアプリケーション(例えば白線検出アプリケーションや歩行者検出アプリケーション、障害物検出アプリケーション、車両検出アプリケーション等)が挙げられる。
判定信号生成部26は、入力された車両信号に基づいて判定信号を生成して判定部24へ出力する。一例として、判定信号生成部26は、動作中のアプリケーションが歩行者検出アプリケーションである場合、物体の分類毎の確度が最大値を示している分類が歩行者以外であるときには、図11に矢印Aで示すように判定閾値を低下させるようにしてもよい。歩行者検出アプリケーションが動作中の場合、車両は歩行者の検出を優先する状態であり、上記のように判定閾値を低下させることで、分類が歩行者以外の物体の確度を上げる制御が早めに終了されることになる。
なお、判定信号生成部26は、判定閾値を低下させる処理を行うことに限定されるものではなく、車両信号が表す車両の状態に応じて、図11に矢印Bで示すように判定閾値を増加させてもよい。判定信号生成部26が、車両信号に基づいて判定閾値を切り替えることは、物体を識別する処理の条件を切り替えることの一例である。
また、第2実施形態では、車両信号が判定部24にも入力され、判定部24は車両信号に応じて測定パラメータの変更量を切り替えたり、変更対象の測定パラメータの種類を切り替える処理を行う。一例として、判定部24は、車速が第1所定値以上の場合に、車速が第1所定値未満の場合よりも測定パラメータの変更量を大きくしてもよい。これにより、車速が第1所定値以上であることに対応して、確度情報を短時間で制御目標に到達させることができる。また、車速が第1所定値よりも小さい第2所定値未満の場合、判定部24は、車速が第2所定値以上の場合よりも測定パラメータの変更量を小さくしてもよい。
また、一例として、レインセンサによって検出される雨滴の有無、或いはワイパスイッチによって検出される車両のワイパの動作状態に基づいて現在の天候を判断し、判断した現在の天候に応じて測定パラメータの変更量及び判定閾値の少なくとも一方を変更するようにしてもよい。レーザレーダで使用される光や、ミリ波レーダで使用される電波は、雨や霧、雪などの悪天候では吸収や散乱が生じて減衰する。このため、レインセンサやワイパスイッチの検出結果に基づき現在の天候を悪天候と判断した場合に、光や電波の減衰の発生を見込んで測定パラメータの変更量を大きくしたり、確度低下を見込んで判定閾値を下げるようにすれば、天候の悪化を原因として物体の検出精度が低下することを抑制することができる。
また、一例として、車載センサ12Aの温度が上昇すると、基本的には測定信号のノイズが増加して測定信号の品質が低下するので、確度が低下する要因になる。そこで、車載センサ12Aにファンやヒータなどの温度調節機能が付随する場合であって、温度センサによって検出される温度信号に基づき、例えば車載センサ12Aの温度が上昇しかつ確度が低下した場合は、車載センサ12Aのファンを稼働させてノイズを抑制し、確度を向上させるようにしてもよい。また、温度上昇に伴うノイズ増加による確度低下を見込んで、判定閾値を下げるようにしてもよい。これにより、車載センサ12Aの温度上昇を原因として物体の検出精度が低下することを抑制することができる。
また、一例として、傾きセンサによって検出される車両の傾きが大きくなると、物体に対する照射信号(レーザ光、ミリ波、音波など)の照射角度が垂直からずれ、物体に反射して帰ってくる反射信号の信号強度が弱まる。このため、傾きセンサによって検出される車両の傾きに応じて、照射信号の信号強度の変更方向を増加方向に設定すると共に、照射信号の信号強度の変更量を変更したり、確度低下を見込んで判定閾値を下げるようにしてもよい。これにより、車両の傾きを原因として物体の検出精度が低下することを抑制することができる。
また、一例として、判定部24は、車載センサ12Aがカメラで、カメラの測定パラメータであるシャッタ速度及びゲインを制御する場合に、車速が所定値以上のときにはゲインの制御を優先し、車速が所定値未満のときにはシャッタ速度の制御を優先するようにしてもよい。例えば、車速が速い場合にシャッタ速度を遅くするとカメラで撮影される画像にぶれが生ずるが、車速が所定値以上のときにゲインの制御を優先すれば、画像にぶれが生ずることを抑制することができる。この例は、変更対象の測定パラメータの種類を切り替えることの一例である。
上述した、各種の車両信号に応じた制御処理の一例を、図12に纏めて示す。
なお、上記では信号処理部22Aが、測定信号取得時の検知範囲全体を対象として、検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する態様を説明したが、これに限定されるものではない。例えば、信号処理部22Aを、測定信号取得時の検知範囲を複数の領域に分割したときの個々の領域を対象として、検知範囲内に存在する物体の分類毎の確度を表す確度情報を各々出力するように構成してもよい。この場合、検出対象に対応する検知範囲から複数の物体領域が抽出され、個々の物体領域毎に確度情報が得られることになる。一例として図13は、確度最大の物体の種類が「自動車」の物体領域が3個(確度xx%,yy%,zz%)、確度最大の物体の種類が「白線」の物体領域が一対(確度ss%)、確度最大の物体の種類が「信号機」の物体領域(確度ww%)が1個抽出された場合を示す。
この態様において、判定部24は、車両信号に応じて優先制御対象の物体領域を選択し、優先制御対象の物体領域の確度情報に基づいて測定パラメータを制御するようにしてもよい。例えば、動作中のアプリケーションが前方衝突検出アプリケーションであれば、優先制御対象として自車両の正面に位置している物体領域を選択し、選択した物体領域の確度情報に基づいて測定パラメータを制御してもよい。また、例えば、動作中のアプリケーションが信号機検出アプリケーションであれば、優先制御対象として「信号機」の物体領域を選択し、「信号機」の物体領域の確度情報に基づいて測定パラメータを制御してもよい。更に、例えば、動作中のアプリケーションが歩行者検出アプリケーションであれば、優先制御対象として「歩行者」の物体領域を選択し、「歩行者」の物体領域の確度情報に基づいて測定パラメータを制御してもよい。また、例えば、動作中のアプリケーションが白線検出アプリケーションであれば、優先制御対象として「白線」の物体領域を選択し、「白線」の物体領域の確度情報に基づいて測定パラメータを制御してもよい。
また、例えば、操舵角センサによって検出される車両の操舵角、或いは車両のウインカの点滅方向に応じて、優先制御対象の物体領域を選択するようにしてもよい。一例として、車両の操舵角、或いはウインカの方向が「左」の場合には、車両の左方向に位置する物体領域を優先制御対象の物体領域として選択するようにしてもよい。この例における車載センサ12Aは、カメラ、ライダ、ミリ波レーダ、超音波センサの何れでもよい。
〔第3実施形態〕
次に本発明の第3実施形態について説明する。なお、第1実施形態及び第2実施形態と同一の部分には同一の符号を付し、説明を省略する。
図14に示すように、第3実施形態に係るセンシング装置10Cは、コンピュータ14に複数の車載センサ12A,12Bが接続されている。第3実施形態において、車載センサ12A,12Bは、測定範囲が重なっており、種類の異なるセンサ(例えばカメラとレーザレーダ等)である。車載センサ12A,12Bは第1センサ及び第2センサの一例である。
車載センサ12Bには信号処理部22B、判定部24が順に接続されている。判定部24は、信号処理部22Aから出力された確度情報に基づいて物体を識別し、かつ車載センサ12Aの測定パラメータを制御すると共に、信号処理部22Bから出力された確度情報に基づいて物体を識別し、かつ車載センサ12Bの測定パラメータを制御する。なお、図14は図面の錯綜を避けるため、学習用データ記憶部16、学習部18及び学習済モデル記憶部20の図示を省略している。
第3実施形態において、判定部24は、信号処理部22Aから出力された確度情報(第1確度情報)に基づいて物体を識別することで得られた物体識別結果Aと、信号処理部22Bから出力された確度情報(第2確度情報)に基づいて物体を識別することで得られた物体識別結果Bと、を照合する。そして判定部24は、物体識別結果Aと物体識別結果Bとに差が有る場合に、物体識別結果Aと物体識別結果Bとに差に応じて、両者が一致するように車載センサ12A,12Bの少なくとも一方の測定パラメータを制御する。
一例として、図15(A)にはレーザレーダから出力された測定信号(距離画像)から物体識別を行った結果を示し、図15(B)にはカメラから出力された測定信号(グレイ画像)から物体識別を行った結果を示す。図15(A)に示す物体識別結果では歩行者領域が3個検出されているのに対し、図15(B)に示す物体識別結果では歩行者領域が2個検出されており、両者には差がある。
この場合、判定部24は、図15(A)に示す物体識別結果では検出され、図15(B)に示す物体識別結果では未検出の歩行者領域に対応する領域(図15(B)に示すグレイ画像内の左側の領域)を抽出し、抽出した領域に注目して測定パラメータを制御する。例えば図15(B)に示すグレイ画像については、歩行者領域が未検出の左側の領域が暗いため、当該領域が明るくなるようにカメラの測定パラメータが制御される。
また、物体識別結果A,Bで同じ位置に物体領域が各々抽出されたものの、両者の物体領域の分類が相違している場合(例えば一方が歩行者、他方が自転車と識別された場合)には、判定部24は、両者の分類が一致するように車載センサ12A,12Bの少なくとも一方の測定パラメータを制御する。
〔第4実施形態〕
次に本発明の第4実施形態について説明する。なお、第1実施形態と同一の部分には同一の符号を付し、説明を省略する。
<第4実施形態の概要>
上述した各実施形態は、測定パラメータの変更で、測定信号を学習時の測定信号に近づけて確度を向上させることができる。しかし、学習時と実運用時でセンサの仕様や性能等が、測定パラメータ変更で吸収できないほど変わってしまった場合は対応が困難である。
また、学習時と比較して解像度の高いカメラに変更された場合は、測定パラメータ制御で解像度を下げて測定信号を出力させ、学習時のデータ条件に合わせることは可能である。しかし、例えば、カメラの低コスト化のため、解像度の低いカメラに変更となってしまった場合は、測定パラメータの制御だけで学習時のような高解像度な画像を復元して出力させることは難しい。また、白黒画像カメラがカラーカメラになってしまった場合、レンズ等の光学系パラメータが画角の変更などにより変わってしまった場合、カメラのレンズが汚れた場合、及びレンズ素材の経年劣化で画像がボケてしまった場合等も、測定パラメータの変更だけでは対応が難しい。
また、理想はセンサの仕様や性能が変わるたびに、またその他の理由で得られる測定信号の性質が測定パラメータ変更で対応できないほど変わるたびに、信号処理部のモデルを再学習させるのが良いが、非常に時間とコストがかかるため、完成された信号処理部のモデルは、できるだけ変更したくない。
また、上記各実施形態は、ハードウェア的なパラメータ変更を主とした構成である。例えばカメラに内蔵されるイメージセンサのシャッタ制御や、LIDARに内蔵されるレーザの出力や検出器の感度などを変更する。これらは、ソフトウェア処理に比べて変更自由度が非常に狭い。
そこで、本実施形態では、前処理部で、測定信号が識別性能が向上するような信号に変更されるように、前処理部の処理パラメータを変更する。これにより、処理パラメータが変更された後の測定信号を信号処理部に入力することにより、物体の識別精度を向上させる。
<システム構成>
図16に示すように、第4実施形態に係るセンシング装置10Dのコンピュータ14は、前処理部28を更に備えている。前処理部28は、車載センサ12Aから出力された測定信号が入力される。
前処理部28は、車載センサ12Aから出力された測定信号に対して前処理を行い、前処理後の測定信号を出力する。
前処理部28は、前処理として、信号処理部22Aの識別性能が向上するように変更(加工、編集等)する処理を行う。
また、前処理部28は、前処理の処理パラメータが変更できるように構成されており、判定部24により前処理の処理パラメータを変更するように制御される。また、前処理部28には複数の処理アルゴリズムが搭載され、処理パラメータの変更に応じて、処理アルゴリズムも切り替えられる。
例えば、前処理部28は、測定信号としてのカメラ出力画像が学習時画像よりボケてしまった場合、前処理として鮮明化処理を行う。処理パラメータとして、シャープ化フィルタ、エッジ強調フィルタ等の係数を、識別精度が向上するように変更可能とされる。また、鮮明化のための複数のフィルタやアルゴリズムを用意しておき、処理パラメータの変更に応じて、それらを切り替えることが可能とされる。
また、前処理部28は、車載センサ12Aとしてのカメラが、学習時で使用した白黒(グレイスケール)カメラからカラーカメラに変わってしまった場合、前処理として、カラー画像をグレイ画像へ変換する処理を行う。このとき、処理パラメータとして、変換係数を、識別精度が向上するように変更可能とされる。また、複数の変換アルゴリズムを用意し、処理パラメータの変更に応じて、それらを切り替えることが可能とされる。
また、車載センサ12Aがカメラの場合、測定信号(画像データ)に対して、エッジ(輪郭)強調、エッジ検出、ぼかし、ガンマ補正、ノイズ除去、膨張・収縮、ホワイトバランス調整、コントラスト調整、レンズ歪み補正、彩度調整、明るさ(ゲイン)調整、カラー画像から白黒画像への変換、白黒画像からカラー画像への変換、低解像度化、高解像度化、周波数空間変換、など多種の処理を、前処理として行うように構成してもよい。処理パラメータの変更により、これらの前処理の設定パラメータを変更すると共に、処理(アルゴリズム)を切り替えるようにしてもよい。また、例えば輪郭強調処理のアルゴリズムとして、複数のアルゴリズムを用意しておき、それらを選択・切り替えるようにしてもよい。
学習用データ記憶部16には、車両の周辺に物体が存在する様々な状況を車載センサ12Aで各々測定することで得られた複数の測定信号に対して、前処理部28により前処理を行った結果得られる、複数の前処理後の測定信号と、個々の測定信号が表す状況において車両の周辺に存在する物体の分類を特定する物体特定情報(教師信号の一例)と、が対応付けられた複数の学習用データが記憶される。
学習部18は、学習用データ記憶部16に記憶された複数の学習用データに基づいて、前処理後の測定信号から、当該測定信号が表す状況において車両の周辺に存在する物体の分類毎の確度(確からしさ)を表す確度情報を出力するためのモデルを学習させることで、学習済モデルを生成する。
信号処理部22Aは、前処理部28から出力された前処理後の測定信号と、学習済モデル記憶部20に記憶された学習済モデルと、に基づいて多層ニューラルネットワークの信号処理を行うことにより、前述の確度情報を出力する。
判定部24は、信号処理部22Aから出力された確度情報に基づいて、車両の周辺に存在する物体を識別し、物体識別結果を出力すると共に、確度情報と、車載センサ12Aから出力された測定信号とに基づいて、物体の識別精度が向上するように前処理部28の処理パラメータを変更する。
例えば、確度が「高い・低い」だけの情報では、前処理部28のどの処理パラメータをどう変更して良いか判断するのが難しい。そこで、本実施形態では、得られた測定信号の情報を用いて、変更する処理パラメータの種類や、処理パラメータの変更量、どのアルゴリズムを使用するかを決定する。
例えば、判定部24は、測定信号の平均信号レベルを算出し、平均信号レベルが基準より高い場合、平均信号レベル(例えばゲイン)を調整する処理アルゴリズムを選択するように、処理パラメータを変更し、更に、平均信号レベルが下がるように、その処理アルゴリズムの処理パラメータを変更する。また、平均信号レベルが基準より低い場合、平均信号レベルを調整する処理アルゴリズムを選択するように、処理パラメータを変更し、更に、平均信号レベルが上がるように、その処理アルゴリズムの処理パラメータを変更する。また、平均信号レベルの高さや低さの程度に応じて、調整の増減幅を変更するように、処理パラメータを変更してもよい。
他の例としては、判定部24は、測定信号のノイズレベル(ノイズ量)を算出し、ノイズが基準より多ければ、ノイズ低減アルゴリズム(メディアンフィルター処理等)を選択するように、処理パラメータを変更し、ノイズを低減する。また、ノイズの形状(出かた)や程度に応じて、処理パラメータとして、フィルタの形状やフィルタの係数を変更してもよい。
更に他の例として、判定部24は、測定信号の周波数成分を解析し、高周波成分が基準より低いようであれば、測定信号(もしくは前処理後の測定信号)の周波数成分を調整するアルゴリズム(エッジ強調、FFT処理等)を選択するように、処理パラメータを変更し、更に、高周波成分が強調されるように処理パラメータを変更する。また、周波数成分の程度に応じて、処理パラメータとして、強調するための係数等を変更してもよい。
<センシング装置の作用>
次に第4実施形態の作用として、図17を参照し、判定部24で実行される制御・識別処理を説明する。なお、第1実施形態と同様の処理については同一符号を付して詳細な説明を省略する。
ステップ48Aにおいて、判定部24は、前処理部28の処理パラメータを設定する。ステップ50において、判定部24は、前処理部28による前処理後の測定信号が入力された信号処理部22Aから確度情報を取得する。ステップ52Aにおいて、判定部24は、ステップ50で取得した確度情報に基づいて、前処理部28の処理パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。この制御終了条件としては、上記第1実施形態と同様に、第1制御終了条件~第3制御終了条件の少なくとも一つを用いればよい。
ステップ52Aにおいて、制御終了条件を満足した場合には、ステップ52Aからステップ62へ移行するが、制御終了条件を満足しなかった場合には、ステップ52Aからステップ54Aへ移行する。そしてステップ54Aにおいて、判定部24は、確度情報を制御目標に近づけるための変更対象となる処理パラメータの種類及び当該処理パラメータの変更方向(制御方向)を判定する制御方向判定処理を行う。
変更対象となる前処理部28の処理パラメータの種類及び当該処理パラメータの制御方向を判定するとステップ56Aへ移行し、ステップ56Aにおいて、判定部24は、判定した制御方向へ、変更対象として判定された処理パラメータを変更する。ステップ58において、判定部24は、前処理部28による前処理後の測定信号が入力された信号処理部22Aから確度情報を取得する。ステップ60Aにおいて、判定部24は、ステップ58で取得した確度情報に基づいて、前処理部28の処理パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。
ステップ60Aの判定が否定された場合はステップ56Aに戻り、ステップ60Aの判定が肯定される迄、ステップ56A~ステップ60Aを繰り返す。この間、確度情報が制御目標に達するように処理パラメータの変更が繰り返される。なお、ステップ56A~ステップ60Aを繰り返している間、並行して前述の制御方向判定処理を行ない、必要に応じて変更対象となる処理パラメータの種類及び当該処理パラメータの制御方向の切り替えを行うようにしてもよい。
ステップ52A又はステップ60Aの判定が肯定されるとステップ62へ移行し、ステップ62において、判定部24は、前処理部28による前処理後の測定信号が入力された信号処理部22Aから取得した確度情報に基づいて物体識別を行ない、物体識別の結果を出力し、ステップ48Aに戻る。
以上説明したように、第4実施形態に係るセンシング装置の前処理部はソフトウェア的な処理が実行できるため、車載センサの測定信号の変更(加工等)が高い自由度で行える。前処理部で測定信号が識別性能が向上するような信号に変更され、そのような適切に変更された後の測定信号を信号処理部に入力することができる。前述のように車載センサがセンサAからセンサBに変わってしまった例では、センサBで得られた測定信号が、前処理部でセンサAで得られたような測定信号に変更されることになる。従って、得られる測定信号が、車載センサの測定パラメータの変更で対応できないレベルに変わってしまった場合でも、信号処理部の識別性能(確度)を最大化させることができる。また、学習時と運用時で車載センサが変わってしまった場合でも、コストと時間のかかる信号処理部のモデルの再学習等を省く、もしくは省力化することができる。
〔第5実施形態〕
次に本発明の第5実施形態について説明する。なお、第5実施形態と同一の部分には同一の符号を付し、説明を省略する。図18に示すように、第5実施形態に係るセンシング装置10Eのコンピュータ14の判定部24には、複数の学習用データが入力される。
判定部24は、信号処理部22Aから出力された確度情報に基づいて、車両の周辺に存在する物体を識別し、物体識別結果を出力すると共に、確度情報と、車載センサ12Aから出力された測定信号と、学習用データの測定信号とに基づいて、物体の識別精度が向上するように前処理部28の処理パラメータを変更する。
具体的には、学習用データの測定信号から、測定信号の基準を決定し、決定した測定信号の基準と、車載センサ12Aから出力された測定信号とを比較して、物体の識別精度が向上するように前処理部28の処理パラメータを変更する。
例えば、車載センサ12Aから出力された測定信号の平均信号レベルと、学習用データの平均信号レベルとを比較し、車載センサ12Aから出力された測定信号の平均信号レベルが、学習用データの平均信号レベルよりも高ければ、信号レベルを下げる方向に、処理パラメータを変更し、一方、学習用データの平均信号レベルよりも低ければ、信号レベルを上げる方向に、処理パラメータを変更する。また、車載センサ12Aから出力された測定信号の平均信号レベルと、学習用データの平均信号レベルの乖離具合に応じて、処理パラメータを一気に変更してもよい。
また、学習用データのデータ数が膨大である場合には、学習用データをいくつかランダムに抜き出して、測定信号の基準を決定してもよい。また、現在が昼であれば昼に取得された学習用データ、夜であれば夜に取得された学習用データといったように、現在の状況と可能な限り類似する学習用データを抜き出すと効果が高くなる。
なお、第5実施形態のセンシング装置10Eの他の構成及び作用は、第4実施形態と同様であるため、説明を省略する。
〔第6実施形態〕
次に本発明の第6実施形態について説明する。なお、第5実施形態と同一の部分には同一の符号を付し、説明を省略する。図19に示すように、第6実施形態に係るセンシング装置10Fのコンピュータ14の判定部24は、確度情報と、車載センサ12Aから出力された測定信号と、学習用データの測定信号とに基づいて、物体の識別精度が向上するように車載センサ12Aの測定パラメータを変更すると共に、確度情報と、車載センサ12Aから出力された測定信号と、学習用データの測定信号とに基づいて、物体の識別精度が向上するように前処理部28の処理パラメータを変更する。
車載センサ12Aの測定パラメータを変更する際には、車載センサ12Aから出力された測定信号を取得し、例えば、測定信号の平均強度(例えば車載センサ12Aがカメラである場合には、画像全体の平均輝度、車載センサ12Aがレーザレーダである場合には、レーザの反射光強度)を算出する。そして、算出した平均強度が、学習用データの平均強度よりも高ければ平均強度が低下するように測定パラメータの制御方向を設定し、算出した平均強度が、学習用データの平均強度よりも低ければ平均強度が増加するように測定パラメータの制御方向を設定する。
次に第6実施形態の作用として、上記図3、図17を参照し、判定部24で実行される制御・識別処理を説明する。
まず、判定部24は、上記図3に示す制御・識別処理と同様の処理を実行する。次に、判定部24は、上記図17に示す制御・識別処理と同様の処理を実行する。
なお、図20に示すように、前処理部28が、車載センサ12Aと一体に構成され、前処理部28が、センシング装置10Gのコンピュータ14外に設けられるように構成してもよい。
〔第7実施形態〕
次に本発明の第7実施形態について説明する。なお、第1実施形態と同一の部分には同一の符号を付し、説明を省略する。図21に示すように、第7実施形態に係るセンシング装置10Hのコンピュータ14の判定部24には、車載センサ12Aから出力された測定信号が入力される。
判定部24は、確度情報と、車載センサ12Aから出力された測定信号とに基づいて、変更する測定パラメータの種類や、当該測定パラメータの変更量を決定し、物体の識別精度が向上するように車載センサ12Aの測定パラメータを変更する。
例えば、判定部24は、測定信号の平均信号レベルを算出し、平均信号レベルが基準より高い場合、平均信号レベルが下がるように、測定パラメータを変更する。また、平均信号レベルが基準より低い場合、平均信号レベルが上がるように、測定パラメータを変更する。また、平均信号レベルの高さや低さの程度に応じて、調整の増減幅を変更するように、測定パラメータを変更してもよい。
他の例としては、判定部24は、測定信号のノイズレベル(ノイズ量)を算出し、ノイズが基準より多ければ、ノイズを低減するように、測定パラメータを変更する。また、ノイズの形状(出かた)や程度に応じて、変更する測定パラメータの種類を変更してもよい。
更に他の例として、判定部24は、測定信号の周波数成分を解析し、高周波成分が基準より低いようであれば、高周波成分が強調されるように測定パラメータを変更する。また、周波数成分の程度に応じて、変更する測定パラメータの種類を変更してもよい。
なお、第7実施形態に係るセンシング装置10Hの他の構成及び作用については、第1実施形態と同様であるため、説明を省略する。
〔第8実施形態〕
次に本発明の第8実施形態について説明する。なお、第7実施形態と同一の部分には同一の符号を付し、説明を省略する。図22に示すように、第8実施形態に係るセンシング装置10Iのコンピュータ14の判定部24には、車載センサ12Aから出力された測定信号と、複数の学習用データとが入力される。
判定部24は、確度情報と、車載センサ12Aから出力された測定信号と、学習用データの測定信号とに基づいて、変更する測定パラメータの種類や、当該測定パラメータの変更量を決定し、物体の識別精度が向上するように車載センサ12Aの測定パラメータを変更する。
例えば、判定部24は、測定信号の平均信号レベルを算出し、平均信号レベルが学習用データの平均信号レベルより高い場合、平均信号レベルが下がるように、測定パラメータを変更する。また、平均信号レベルが学習用データの平均信号レベルより低い場合、平均信号レベルが上がるように、測定パラメータを変更する。
他の例としては、判定部24は、測定信号のノイズレベル(ノイズ量)を算出し、ノイズが学習用データの平均ノイズより多ければ、ノイズを低減するように、測定パラメータを変更する。
更に他の例として、判定部24は、測定信号の周波数成分を解析し、高周波成分が学習用データの高周波成分の平均より低いようであれば、高周波成分が強調されるように測定パラメータを変更する。
なお、第8実施形態に係るセンシング装置10Hの他の構成及び作用については、第1実施形態と同様であるため、説明を省略する。
〔第9実施形態〕
次に本発明の第9実施形態について説明する。なお、第4実施形態と同一の部分には同一の符号を付し、説明を省略する。図23に示すように、第9実施形態に係るセンシング装置10Jのコンピュータ14は、機能的には、第1処理群30と、第2処理群40とを備えている。
第1処理群30は、学習用データ記憶部16、学習部18、学習済モデル記憶部20A、前処理部28、信号処理部22C、判定部24A、及び出力切換部34を備えている。
第2処理群40は、学習済モデル記憶部20、信号処理部22A、及び判定部24Bを備えている。
第1処理群30は、第2処理群40で測定信号から識別処理をする前に、第2処理群40が精度よく識別できるように、予め測定信号を処理(加工、修正、補正)する。
具体的には、学習部18は、学習用データ記憶部16に記憶された複数の学習用データに基づいて、測定信号から、当該測定信号が表す状況において車両の周辺に存在する物体の分類毎の確度(確からしさ)を表す確度情報を出力するための第1モデル及び第2モデルを学習させることで、学習済第1モデル及び学習済第2モデルを生成する。本実施形態では、第1モデル及び第2モデルの一例として、図2に示すようなニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。
ここで、第1モデルは、第2モデルよりも軽量(例えば層数の少ない)なネットワークで構成されることが好ましい。これは、第1処理群30の方が処理スピードが求められるためである。例えば、この装置全体を100ms周期(10Hz)で動作させる必要があり、精度が高いが計算コストの大きい第2処理群40の処理時間が60msとすると、第1処理群30で使える時間は40msである。このとき、第1処理群30で10msで処理が行えれば、約4回の繰り返し処理を行って、よりよい前処理後の測定信号を出力できる。基本的には繰り返し回数が増えれば測定信号も良くなるが、第1モデルを用いた信号処理部20Cの高速化は一般的に分類精度とトレードオフの関係になるため、信号処理部20Cの高速化と分類精度とのバランスを考慮して、繰り返し回数を決定すればよい。
また、第1モデルは、第2モデルと同じ学習用データで学習されていることが望ましい。これは、異なる学習用データで学習した場合、第1処理群30が出力する前処理後の測定信号が、第2処理群40にとって必ずしも適切になるとは言えなくなるためである。
学習済モデル記憶部20Aには、学習部18で生成された学習済第1モデルが記憶される。
信号処理部22Cは、前処理部28から出力された前処理後の測定信号と、学習済モデル記憶部20Aに記憶された学習済第1モデルと、に基づいて多層ニューラルネットワークの信号処理を行うことにより、前述の確度情報を出力する。
判定部24Aは、信号処理部22Cから出力された確度情報に基づいて、物体の識別精度が向上するように前処理部28の処理パラメータを変更する。
判定部24Aは、予め定められた制御終了条件を満たすまで、前処理部28から出力された前処理後の測定信号の出力先を、信号処理部22Cとするように、出力切換部34を制御し、制御終了条件を満たした場合に、前処理部28から出力された前処理後の測定信号の出力先を、信号処理部22Aとするように、出力切換部34を制御する。
制御終了条件とは、例えば、繰り返し回数が、予め決められた回数になったことである。もしくは、制御終了条件とは、各分類のいずれかの確度が閾値を上回ったことである
なお、第1処理群30で繰り返し処理が行われる際、前処理部28は毎回測定信号を取得して処理してもよいし、初めに1回取得した測定信号に対して繰り返し処理をかけるようにしてもよい。
以上のように、第1処理群30で繰り返し処理が行われることにより、各分類のいずれかの確度が、閾値を上回る、もしくは閾値に近づくように処理パラメータが変更され、あるタイミングで前処理後の測定信号が第2処理群40に出力される。
出力切換部34は、前処理部28から出力された前処理後の測定信号の出力先を、信号処理部22C及び信号処理部22Aの何れか一方に切り換える。もしくは、測定信号を信号処理部22Aにも出力するようにする。なお、出力切換部34は、前処理部28から出力された前処理後の測定信号の出力先を、信号処理部22C及び外部の何れか一方に切り換えるようにしてもよい。
第2処理群30は、第1処理群30で繰り返し処理が行われた後に、分類精度が高くなるように前処理が行われた測定信号を用いて、識別処理を行う。
具体的には、学習済モデル記憶部20には、学習部18で生成された学習済第2モデルが記憶される。
信号処理部22Aは、前処理部28から出力された前処理後の測定信号と、学習済モデル記憶部20に記憶された学習済第2モデルと、に基づいて多層ニューラルネットワークの信号処理を行うことにより、前述の確度情報を出力する。
判定部24Bは、信号処理部22Aから出力された確度情報に基づいて、車両の周辺に存在する物体を識別し、物体識別結果を出力する。
<センシング装置の作用>
次に第9実施形態の作用として、図24を参照し、判定部24A、24Bで実行される制御・識別処理を説明する。なお、第4実施形態と同様の処理については同一符号を付して詳細な説明を省略する。
ステップ68において、判定部24Aは、出力切換部34により、前処理部28から出力された前処理後の測定信号の出力先を、信号処理部22Cに切り換える。
ステップ48Aにおいて、判定部24Aは、前処理部28の処理パラメータを設定する。ステップ50において、判定部24Aは、前処理部28による前処理後の測定信号が入力された信号処理部22Cから確度情報を取得する。ステップ52Aにおいて、判定部24は、ステップ50で取得した確度情報に基づいて、前処理部28の処理パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。
ステップ52Aにおいて、制御終了条件を満足した場合には、ステップ52Aからステップ70へ移行するが、制御終了条件を満足しなかった場合には、ステップ52Aからステップ54Aへ移行する。そしてステップ54Aにおいて、判定部24Aは、確度情報を制御目標に近づけるための変更対象となる処理パラメータの種類及び当該処理パラメータの変更方向(制御方向)を判定する制御方向判定処理を行う。
変更対象となる前処理部28の処理パラメータの種類及び当該処理パラメータの制御方向を判定するとステップ56Aへ移行し、ステップ56Aにおいて、判定部24Aは、判定した制御方向へ、変更対象として判定された処理パラメータを変更する。ステップ58において、判定部24Aは、前処理部28による前処理後の測定信号が入力された信号処理部22Cから確度情報を取得する。ステップ60Aにおいて、判定部24Aは、ステップ58で取得した確度情報に基づいて、前処理部28の処理パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。
ステップ60Aの判定が否定された場合はステップ56Aに戻り、ステップ60Aの判定が肯定される迄、ステップ56A~ステップ60Aを繰り返す。この間、確度情報が制御目標に達するように処理パラメータの変更が繰り返される。なお、ステップ56A~ステップ60Aを繰り返している間、並行して前述の制御方向判定処理を行ない、必要に応じて変更対象となる処理パラメータの種類及び当該処理パラメータの制御方向の切り替えを行うようにしてもよい。
ステップ52A又はステップ60Aの判定が肯定されるとステップ70へ移行し、ステップ70において、判定部24Aは、出力切換部34により、前処理部28から出力された前処理後の測定信号の出力先を、信号処理部22Aに切り換える。
ステップ72において、判定部24Bは、前処理部28による前処理後の測定信号が入力された信号処理部22Aから確度情報を取得する。
ステップ62において、判定部24Bは、前処理部28による前処理後の測定信号が入力された信号処理部22Aから取得した確度情報に基づいて物体識別を行ない、物体識別の結果を出力し、ステップ68に戻る。
〔第10実施形態〕
次に本発明の第10実施形態について説明する。なお、第1実施形態及び第9実施形態と同一の部分には同一の符号を付し、説明を省略する。図25に示すように、第10実施形態に係るセンシング装置10Kのコンピュータ14は、機能的には、第1処理群30と、第2処理群40とを備えている。
第1処理群30は、学習用データ記憶部16、学習部18、学習済モデル記憶部20A、信号処理部22C、判定部24A、及び出力切換部34を備えている。
第2処理群40は、学習済モデル記憶部20、信号処理部22A、及び判定部24Bを備えている。
第1処理群30は、第2処理群40で測定信号から識別処理をする前に、第2処理群40が精度よく識別できるように、予め、車載センサ12Aの測定パラメータを調整する。
信号処理部22Cは、車載センサ12Aから出力された測定信号と、学習済モデル記憶部20Aに記憶された学習済第1モデルと、に基づいて多層ニューラルネットワークの信号処理を行うことにより、前述の確度情報を出力する。
判定部24Aは、信号処理部22Cから出力された確度情報に基づいて、物体の識別精度が向上するように車載センサ12Aの測定パラメータを変更する。
判定部24Aは、予め定められた制御終了条件を満たすまで、車載センサ12Aから出力された測定信号の出力先を、信号処理部22Cとするように、出力切換部34を制御し、制御終了条件を満たした場合に、車載センサ12Aから出力された測定信号の出力先を、信号処理部22Aとするように、出力切換部34を制御する。
出力切換部34は、車載センサ12Aから出力された測定信号の出力先を、信号処理部22C及び信号処理部22Aの何れか一方に切り換える。もしくは、測定信号を信号処理部22Aにも出力するようにする。なお、出力切換部34は、車載センサ12Aから出力された測定信号の出力先を、信号処理部22C及び外部の何れか一方に切り換えるようにしてもよい。
第2処理群30は、第1処理群30で繰り返し処理が行われた後に、分類精度が高くなるように測定パラメータが調整された車載センサ12Aから出力された測定信号を用いて、識別処理を行う。
信号処理部22Aは、車載センサ12Aから出力された測定信号と、学習済モデル記憶部20に記憶された学習済第2モデルと、に基づいて多層ニューラルネットワークの信号処理を行うことにより、前述の確度情報を出力する。
判定部24Bは、信号処理部22Aから出力された確度情報に基づいて、車両の周辺に存在する物体を識別し、物体識別結果を出力する。
<センシング装置の作用>
次に第10実施形態の作用として、図26を参照し、判定部24A、24Bで実行される制御・識別処理を説明する。なお、第1実施形態及び第9実施形態と同様の処理については同一符号を付して詳細な説明を省略する。
ステップ68において、判定部24Aは、出力切換部34により、車載センサ12Aから出力された測定信号の出力先を、信号処理部22Cに切り換える。
ステップ48において、判定部24は、車載センサ12Aの測定パラメータを設定する。ステップ50において、判定部24Aは、車載センサ12Aから出力された測定信号が入力された信号処理部22Cから確度情報を取得する。ステップ52において、判定部24は、ステップ50で取得した確度情報に基づいて、車載センサ12Aの測定パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。
ステップ52において、制御終了条件を満足した場合には、ステップ52からステップ70へ移行するが、制御終了条件を満足しなかった場合には、ステップ52からステップ54へ移行する。そしてステップ54において、判定部24は、確度情報を制御目標に近づけるための変更対象となる測定パラメータの種類及び当該測定パラメータの変更方向(制御方向)を判定する制御方向判定処理を行う。
変更対象となる車載センサ12Aの測定パラメータの種類及び当該測定パラメータの制御方向を判定するとステップ56へ移行し、ステップ56において、判定部24Aは、判定した制御方向へ、変更対象として判定された測定パラメータを変更する。ステップ58において、判定部24Aは、車載センサ12Aの測定信号が入力された信号処理部22Cから確度情報を取得する。ステップ60において、判定部24Aは、ステップ58で取得した確度情報に基づいて、車載センサ12Aの測定パラメータを変更する制御を終了する制御終了条件を満足したか否か判定する。
ステップ60の判定が否定された場合はステップ56に戻り、ステップ60の判定が肯定される迄、ステップ56~ステップ60を繰り返す。この間、確度情報が制御目標に達するように測定パラメータの変更が繰り返される。なお、ステップ56~ステップ60を繰り返している間、並行して前述の制御方向判定処理を行ない、必要に応じて変更対象となる測定パラメータ及び当該測定パラメータの制御方向の切り替えを行うようにしてもよい。
ステップ52又はステップ60の判定が肯定されるとステップ70へ移行し、ステップ70において、判定部24Aは、出力切換部34により、車載センサ12Aから出力された測定信号の出力先を、信号処理部22Aに切り換える。
ステップ72において、判定部24Bは、車載センサ12Aの測定信号が入力された信号処理部22Aから確度情報を取得する。
ステップ62において、判定部24Bは、車載センサ12Aの測定信号が入力された信号処理部22Aから取得した確度情報に基づいて物体識別を行ない、物体識別の結果を出力し、ステップ68に戻る。
<実施例>
車載センサ12Aは、カメラ、LIDAR(レーザレーダ)、ミリ波レーダ、テラヘルツレーダ、又は超音波センサなどが代表例である。
以下に制御パラメータおよび処理パラメータで変更する項目例を列挙する。概ね、制御パラメータはセンサのハードウェア・デバイス的な機能や性能、仕様、特性を変更し、処理パラメータはソフトウェア処理の機能や性能、仕様、特性を変更するものである。ただし、近年、ソフトウェア的な処理をハードウェアに組み込んだり、また、その逆もあることから、以下に示すパラメータを一概に”測定”パラメータと”処理”パラメータで区別できない場合がある。
例えば、カメラのホワイトバランス処理やゲイン処理、ノイズ低減処理は、イメージセンサの外部のICやPC等で行う場合もあるし、イメージセンサ外部から制御信号を与えて、イメージセンサ内部で実行する場合もある。また、ズームも、レンズで光学的にズームする方式もあるし、高解像度の画像から一部を切り出して出力するデジタルズーム方式もある。
車載センサ12Aが、カメラ、又はカメラおよびカメラに取り付けられたレンズの組み合わせである場合には、シャッタ速度(露出時間)、イメージセンサの画素のバイアス電圧、アンプのゲイン、空間解像度(読出し画素数)、フレームレート、撮影方位、画角、絞り、フォーカス(焦点)、ズーム倍率、ホワイトバランス、シャープネス、彩度、明度、コントラスト、γ(ガンマ)補正係数、逆光補正係数、2値化閾値、フィルタリング処理(フィルタの係数、サイズ、形状など)、周波数変換および逆変換処理係数(例:高速フーリエ変換)、解像度変換処理(低解像度化または高解像度化)、光学的パラメータ(例:レンズ開口、焦点距離、フォーカス、光量透過率、透過波長など)、その他、カメラが出力する信号に何らかの影響(修正、加工、編集など)を与えるハードウェア的、デバイス的、ソフトウェア的パラメータが、測定パラメータ又は処理パラメータの一例である。
車載センサ12Aが、LIDARである場合には、受光デバイスの感度、受光信号アンプのゲイン、レーザ出力強度、レーザの発光パルス幅、1測定点当たりの測定回数(測定時間)、測定方位、測定方位角(画角)、空間分解能(空間解像度、測定点数)、測定周期(フレームレート)、距離分解能、信号処理フィルタパラメータ(例:係数、サイズ、形状など)、光学的パラメータ(例:レンズ開口、焦点距離、フォーカス、光量透過率、透過波長など)、その他、LIDARが出力する信号に何らかの影響(修正、加工、編集など)を与えるハードウェア的、デバイス的、ソフトウェア的パラメータが、測定パラメータ又は処理パラメータの一例である。
車載センサ12Aが、ミリ波レーダ又はテラヘルツレーダである場合には、受信アンテナの感度、送信アンテナの出力強度、送信信号の周波数、受信信号アンプのゲイン、1測定点当たりの測定回数(測定時間)、測定方位、測定方位角(画角)、空間分解能(空間解像度、測定点数)、測定周期(フレームレート)、距離分解能、信号処理フィルタパラメータ(例:係数、サイズ、形状など)、その他、レーダが出力する信号に何らかの影響(修正、加工、編集など)を与えるハードウェア的、デバイス的、ソフトウェア的パラメータが、測定パラメータ又は処理パラメータの一例である。
車載センサ12Aが、超音波センサである場合には、受信機の感度、送信機の出力強度、送信音波の周波数、受信信号アンプのゲイン、1測定点当たりの測定回数(測定時間)、測定方位、測定方位角(画角)、空間分解能(空間解像度、測定点数)、測定周期(フレームレート)、距離分解能、信号処理フィルタパラメータ(例:係数、サイズ、形状など)、その他、超音波センサが出力する信号に何らかの影響(修正、加工、編集など)を与えるハードウェア的、デバイス的、ソフトウェア的パラメータが、測定パラメータ又は処理パラメータの一例である。なお、複数の超音波センサで構成された超音波センサアレイであれば、測定方位などのスキャンニングが可能である。
また、車載センサ12Aの種類に限定されず、各種センサのカバー等に取り付けられた防汚装置や洗浄装置の可動レベル、温度調節機能の調節量(例:冷却ファンの回転数など)、その他、センサに対して外部から作用することで、センサが出力する信号に何らかの影響(修正、加工、編集など)を与えるハードウェア的、デバイス的、ソフトウェア的パラメータが、測定パラメータ又は処理パラメータの一例である。
〔変形例〕
上記第4実施形態において、第2実施形態と同様に、車両信号が判定部24にも入力され、判定部24は車両信号に応じて処理パラメータの変更量を切り替えたり、変更対象の処理パラメータの種類を切り替える処理を行うようにしてもよい。
また、上記第4実施形態において、第3実施形態と同様に、判定部24は、信号処理部22Aから出力された確度情報(第1確度情報)に基づいて物体を識別することで得られた物体識別結果Aと、信号処理部22Bから出力された確度情報(第2確度情報)に基づいて物体を識別することで得られた物体識別結果Bと、を照合し、判定部24は、物体識別結果Aと物体識別結果Bとに差が有る場合に、物体識別結果Aと物体識別結果Bとに差に応じて、両者が一致するように車載センサ12A,12Bの少なくとも一方に対する前処理の処理パラメータを制御するようにしてもよい。
また、上記第4実施形態、第5実施形態、第6実施形態、及び第9実施形態において、学習用データとして、前処理後の測定信号を用いている場合を例に説明したが、これに限定されるものではなく、前処理以外の加工が行われた測定信号を学習用データとして用いてもよいし、前処理などの加工が行われていない、車載センサ12Aから出力された測定信号を学習用データとして用いてもよいし、前処理などの加工が行われた測定信号と、前処理などの加工が行われていない、車載センサ12Aから出力された測定信号との双方を学習用データとして用いてもよい。
また、上記第4実施形態、第5実施形態、第6実施形態、及び第9実施形態において、確度情報と、車載センサ12Aから出力された測定信号とに基づいて、前処理部28の処理パラメータを変更する場合を例に説明したが、これに限定されるものではなく、確度情報と、前処理部28から出力された前処理後の測定信号とに基づいて、前処理部28の処理パラメータを変更してもよい。あるいは、確度情報と、車載センサ12Aから出力された測定信号と、前処理部28から出力された前処理後の測定信号と、に基づいて、前処理部28の処理パラメータを変更してもよい。
上記では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる態様を説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。
また、上記ではセンサが車両に搭載され、車両の周辺を検知範囲とする態様を説明したが、これに限定されるものではない。例えば、監視システムにおける監視対象のエリアをセンサの検知範囲とし、センサ(例えばカメラ又はレーザレーダ)と、信号処理部22A及び判定部24などとして機能するコンピュータ14と、によって監視システムを構成するようにしてもよい。この場合、例えば、検知範囲内に人物らしい物体が検出された場合に、確度が低ければ、その確度を上げるようにセンサ(例えばカメラ又はレーザレーダ)の測定パラメータを変更するように構成することができる。また、車載装置以外のセンシング装置に、本発明を適用してもよい。
また、例えば、飛行体検出システムにおける観測対象のエリアを、センサ(例えば電波レーダ)の検知範囲とし、センサと、信号処理部22A及び判定部24などとして機能するコンピュータ14と、によって飛行体検出システムを構成するようにしてもよい。この場合、例えば、検知範囲内に航空機らしい物体が検出された場合に、確度が低ければ、その確度を上げるようにセンサの制御パラメータを変更するように構成することができる。
また、顕微鏡は焦点(フォーカス)が合う範囲が非常に狭く合わせにくいことから、本発明を顕微鏡システムに適用し、予め顕微鏡で捉える試料を学習しておき、実際の観測時に、出力される確度の値が最も高くなるように焦点(フォーカス)を自動で調整するようにしてもよい。
10A,10B,10C,10D,10E,10F,10G,10H,10I,10J,10K センシング装置
12A,12B 車載センサ
14 コンピュータ
22A,22B,22C 信号処理部
24,24A,24B 判定部
26 判定信号生成部28 前処理部
30 第1処理群
34 出力切換部
40 第2処理群

Claims (23)

  1. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記測定パラメータを変更した場合の前記確度情報の変化方向、前記測定パラメータを変更した場合の前記センサから出力された測定信号の特徴量と設定値との大小関係、及び、前記検知範囲内の異なる物理量を測定する別のセンサの測定信号に基づいて、前記確度情報を所定方向に変化させるための前記測定パラメータの変更方向を決定するセンシング装置。
  2. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記センサは車両の周辺を前記検知範囲とし、
    前記判定部は、前記車両の状態を表す車両信号に応じて、前記確度情報に基づいて前記物体を識別する処理の条件を切り替えること、前記測定パラメータの変更量を切り替えること、及び、変更対象の前記測定パラメータの種類を切り替えること、の少なくとも1つを行うセンシング装置。
  3. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記センサとして第1センサ及び第2センサを含み、
    前記判定部は、前記第1センサから出力された第1測定信号から得られる第1確度情報と、前記第2センサから出力された第2測定信号から得られる第2確度情報と、の差に応じて、前記第1センサ及び前記第2センサの少なくとも一方の前記測定パラメータを変更するセンシング装置。
  4. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号に基づいて、前記確度情報を所定方向に変化させるための前記測定パラメータの変更方向、又は前記センサで行われる処理のアルゴリズムを選択するための前記測定パラメータの値を決定するセンシング装置。
  5. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号と前記学習用の測定信号とを比較して、前記確度情報を所定方向に変化させるための前記測定パラメータの変更方向、又は前記センサで行われる処理のアルゴリズムを選択するための前記測定パラメータの値を決定するセンシング装置。
  6. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記信号処理部は、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第1信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第1信号処理部と、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第2信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第2信号処理部と、
    を含み、
    前記判定部は、
    前記第1信号処理部から出力された前記確度情報に基づいて前記測定パラメータを変更する第1判定部と、
    前記第2信号処理部から出力された前記確度情報に基づいて前記物体を識別する第2判定部と、を含むセンシング装置。
  7. 前記第1信号処理は、前記第2信号処理より処理速度が速い処理である請求項記載のセンシング装置。
  8. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号に基づいて、前記測定パラメータの変更量を切り替えること、及び、変更対象の前記測定パラメータの種類を切り替えること、の少なくとも1つを行うセンシング装置。
  9. 設定された測定パラメータに従って検知範囲内の物理量を測定すると共に、前記測定パラメータが外部から変更可能なセンサと、
    前記センサから出力された測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記測定パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号と前記学習用の測定信号とを比較して、前記測定パラメータの変更量を切り替えること、及び、変更対象の前記測定パラメータの種類を切り替えること、の少なくとも1つを行うセンシング装置。
  10. 前記判定部は、前記確度情報が表す確度が予め設定された条件を満たさない場合に、次の検出の際に前記信号処理部から出力される前記確度情報が表す確度が前記条件を満たすように、前記測定パラメータを変更する請求項1~請求項9の何れか1項記載のセンシング装置。
  11. 所定の条件を満たすまで、前記信号処理部及び前記判定部の各々による処理を繰り返し、前記所定の条件を満たしたときに、前記測定信号を出力する請求項1~請求項10の何れか1項記載のセンシング装置。
  12. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記処理パラメータを変更した場合の前記確度情報の変化方向、前記処理パラメータを変更した場合の前記前処理が行われた測定信号の特徴量と設定値との大小関係、及び、前記検知範囲内の異なる物理量を測定する別のセンサの測定信号に基づいて、前記確度情報を所定方向に変化させるための前記処理パラメータの変更方向を決定するセンシング装置。
  13. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記センサは車両の周辺を前記検知範囲とし、
    前記判定部は、前記車両の状態を表す車両信号に応じて、前記確度情報に基づいて前記物体を識別する処理の条件を切り替えること、前記処理パラメータの変更量を切り替えること、及び、変更対象の前記処理パラメータの種類を切り替えること、の少なくとも1つを行うセンシング装置。
  14. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記センサとして第1センサ及び第2センサを含み、
    前記判定部は、前記第1センサから出力された第1測定信号から得られる第1確度情報と、前記第2センサから出力された第2測定信号から得られる第2確度情報と、の差に応じて、前記第1センサ及び前記第2センサの少なくとも一方の前記処理パラメータを変更するセンシング装置。
  15. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方に基づいて、前記確度情報を所定方向に変化させるための前記処理パラメータの変更方向、又は前記前処理のアルゴリズムを選択するための前記処理パラメータの値を決定するセンシング装置。
  16. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方と前記学習用の測定信号とを比較して、前記確度情報を所定方向に変化させるための前記処理パラメータの変更方向、又は前記前処理のアルゴリズムを選択するための前記処理パラメータの値を決定するセンシング装置。
  17. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記信号処理部は、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第1信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第1信号処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく第2信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する第2信号処理部と、
    を含み、
    前記判定部は、
    前記第1信号処理部から出力された前記確度情報に基づいて前記処理パラメータを変更する第1判定部と、
    前記第2信号処理部から出力された前記確度情報に基づいて前記物体を識別する第2判定部と、を含むセンシング装置。
  18. 前記第1信号処理は、前記第2信号処理より処理速度が速い処理である請求項17記載のセンシング装置。
  19. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方に基づいて、前記処理パラメータの変更量を切り替えること、及び、変更対象の前記処理パラメータの種類を切り替えること、の少なくとも1つを行うセンシング装置。
  20. 検知範囲内の物理量を測定するセンサと、
    設定された処理パラメータに従って、前記センサから出力された測定信号に対して前処理を行うと共に、前記処理パラメータが変更可能な前処理部と、
    前記前処理が行われた測定信号に対し、学習用の測定信号を用いて予め学習された結果に基づく信号処理を行うことにより、前記センサの検知範囲内に存在する物体の分類毎の確度を表す確度情報を出力する信号処理部と、
    前記信号処理部から出力された前記確度情報に基づいて前記物体を識別すると共に、前記確度情報に基づいて前記処理パラメータを変更する判定部と、
    を含み、
    前記判定部は、前記センサから出力された前記測定信号及び前記前処理が行われた測定信号の少なくとも一方と前記学習用の測定信号とを比較して、前記処理パラメータの変更量を切り替えること、及び、変更対象の前記処理パラメータの種類を切り替えること、の少なくとも1つを行うセンシング装置。
  21. 前記判定部は、前記確度情報が表す確度が予め設定された条件を満たさない場合に、次の検出の際に前記信号処理部から出力される前記確度情報が表す確度が前記条件を満たすように、前記処理パラメータを変更する請求項12~請求項20の何れか1項記載のセンシング装置。
  22. 所定の条件を満たすまで、前記前処理部、前記信号処理部、及び前記判定部の各々による処理を繰り返し、前記所定の条件を満たしたときに、前記前処理が行われた測定信号を出力する請求項12~請求項21の何れか1項記載のセンシング装置。
  23. 前記信号処理部は、前記学習用の測定信号及び前記学習用の測定信号の検知範囲内に存在する物体の分類を含む学習用データから予め学習された学習済モデルに基づいて前記信号処理を行う多層ニューラルネットワークを含む請求項1~請求項22の何れか1項記載のセンシング装置。
JP2019152856A 2018-08-24 2019-08-23 センシング装置 Active JP7351139B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018157008 2018-08-24
JP2018157008 2018-08-24

Publications (2)

Publication Number Publication Date
JP2020035443A JP2020035443A (ja) 2020-03-05
JP7351139B2 true JP7351139B2 (ja) 2023-09-27

Family

ID=69668408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019152856A Active JP7351139B2 (ja) 2018-08-24 2019-08-23 センシング装置

Country Status (1)

Country Link
JP (1) JP7351139B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100787933B1 (ko) * 2006-04-12 2007-12-24 김혜중 훌라후프
JP2020140644A (ja) * 2019-03-01 2020-09-03 株式会社日立製作所 学習装置および学習方法
JP7413935B2 (ja) * 2020-06-16 2024-01-16 トヨタ自動車株式会社 車載センサシステム
US11582414B2 (en) 2020-09-24 2023-02-14 Canon Kabushiki Kaisha Signal processing apparatus, photoelectric conversion apparatus, photoelectric conversion system, control method of signal processing apparatus, and non-transitory computer-readable storage medium
JP2022054916A (ja) * 2020-09-28 2022-04-07 LeapMind株式会社 認識処理実行プログラム及び認識処理実行装置
CN113313650B (zh) * 2021-06-09 2023-10-13 北京百度网讯科技有限公司 图像画质增强方法、装置、设备和介质
CN118339584A (zh) * 2021-11-30 2024-07-12 松下电器(美国)知识产权公司 训练方法、训练系统以及训练程序
WO2023106252A1 (ja) * 2021-12-09 2023-06-15 パナソニックIpマネジメント株式会社 情報処理方法、情報処理システム、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体
JP7154459B1 (ja) * 2021-12-14 2022-10-17 三菱電機株式会社 センサシステム
WO2023145599A1 (ja) * 2022-01-25 2023-08-03 株式会社Preferred Networks 画像処理装置、画像処理方法、画像処理プログラム及びロボット制御システム
KR102622569B1 (ko) 2022-12-20 2024-01-09 (주)위세아이텍 지능형 제조 설비 제어 장치 및 그의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312036A (ja) 2007-06-15 2008-12-25 Toyota Central R&D Labs Inc 顔検出装置、方法及びプログラム
JP2016072964A (ja) 2014-09-30 2016-05-09 キヤノン株式会社 被写体再識別のためのシステム及び方法
WO2017073344A1 (ja) 2015-10-27 2017-05-04 富士フイルム株式会社 撮像システム、並びにオブジェクト検出装置及びその作動方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101907086B1 (ko) * 2017-01-11 2018-10-11 주식회사 만도 차량용 카메라 조절 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312036A (ja) 2007-06-15 2008-12-25 Toyota Central R&D Labs Inc 顔検出装置、方法及びプログラム
JP2016072964A (ja) 2014-09-30 2016-05-09 キヤノン株式会社 被写体再識別のためのシステム及び方法
WO2017073344A1 (ja) 2015-10-27 2017-05-04 富士フイルム株式会社 撮像システム、並びにオブジェクト検出装置及びその作動方法

Also Published As

Publication number Publication date
JP2020035443A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7351139B2 (ja) センシング装置
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP4598653B2 (ja) 衝突予知装置
US9384401B2 (en) Method for fog detection
US9418287B2 (en) Object detection apparatus
US8786697B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
US8077921B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
JP4708124B2 (ja) 画像処理装置
EP1767960A1 (en) Front image taking device
EP1837803A2 (en) Headlight, taillight and streetlight detection
EP2889641A1 (en) Image processing apparatus, image processing method, program and image processing system
US9269006B2 (en) Imaging apparatus, vehicle system, and image-processing method for image magnification and expansion
EP2482250A1 (en) Object detection device
JP2014215877A (ja) 物体検出装置
US9508015B2 (en) Method for evaluating image data of a vehicle camera taking into account information about rain
JP6289681B2 (ja) 撮像装置及び方法、並びにプログラム及び記録媒体
US11436839B2 (en) Systems and methods of detecting moving obstacles
JP6569280B2 (ja) 路面標示検出装置及び路面標示検出方法
CN114868148A (zh) 信息处理装置、信息处理系统、信息处理程序及信息处理方法
Mori et al. Recognition of foggy conditions by in-vehicle camera and millimeter wave radar
US20230245414A1 (en) Vehicle control system using a scanning system
JP4969359B2 (ja) 移動物認識装置
JP6847709B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体
US11858518B2 (en) Radar device for vehicle and method of controlling radar for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R150 Certificate of patent or registration of utility model

Ref document number: 7351139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150