JP7505530B2 - 異常判定装置、異常判定方法、及び異常判定プログラム - Google Patents

異常判定装置、異常判定方法、及び異常判定プログラム Download PDF

Info

Publication number
JP7505530B2
JP7505530B2 JP2022162553A JP2022162553A JP7505530B2 JP 7505530 B2 JP7505530 B2 JP 7505530B2 JP 2022162553 A JP2022162553 A JP 2022162553A JP 2022162553 A JP2022162553 A JP 2022162553A JP 7505530 B2 JP7505530 B2 JP 7505530B2
Authority
JP
Japan
Prior art keywords
change
light
reflected light
image
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022162553A
Other languages
English (en)
Other versions
JP2023082659A (ja
Inventor
駿一 赤松
智之 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2022/041384 priority Critical patent/WO2023100598A1/ja
Publication of JP2023082659A publication Critical patent/JP2023082659A/ja
Application granted granted Critical
Publication of JP7505530B2 publication Critical patent/JP7505530B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は、測距装置の異常を検出する異常判定装置、異常判定方法、及び異常判定プログラムに関するものである。
特許文献1には、レーザ光を用いて物体を検出する測距装置としてのLiDAR装置が開示されている。特許文献1には、受光対象領域における入射光強度の特性と受光非対象領域における入射光強度の特性との相違に応じてLiDAR装置の受光部及び発光部の少なくともいずれか一方に関する異常を判定する技術が開示されている。特許文献1には、LiDAR装置の受光部及び発光部の少なくともいずれか一方に関する異常として、発光素子、受光素子アレイ、カバーガラス、走査機構の異常が挙げられている。
特開2020-153751号公報
しかしながら、特許文献1に開示の技術では、LiDAR装置の受光部及び発光部の少なくともいずれか一方に関する異常を判定するものの、その詳細を区別して判定することができなかった。
この開示のひとつの目的は、LiDAR装置の異常をより詳細に判定することを可能にする異常判定装置、異常判定方法、及び異常判定プログラムを提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、開示の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
上記目的を達成するために、本開示の異常判定装置は、検出エリアに発光部によって照射した光の反射光をLiDAR装置(3,3b)の受光素子(321)にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子(321,811)にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部(401,401b)と、画像取得部で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化である反射光強度変化の有無と、所定時間における背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定部(403,403a,403c)と、変化特定部で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、LiDAR装置の異常の種類を区別して判定する異常判定部(405,405c)とを備える。
上記目的を達成するために、本開示の異常判定方法は、少なくとも1つのプロセッサにより実行される、検出エリアに発光部によって照射した光の反射光をLiDAR装置(3,3b)の受光素子(321)にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子(321,811)にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、画像取得工程で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化である反射光強度変化の有無と、所定時間における背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、変化特定工程で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、LiDAR装置の異常の種類を区別して判定する異常判定工程とを含む。
上記目的を達成するために、本開示の異常判定プログラムは、少なくとも1つのプロセッサに、検出エリアに発光部によって照射した光の反射光をLiDAR装置(3,3b)の受光素子(321)にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子(321,811)にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、画像取得工程で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化である反射光強度変化の有無と、所定時間における背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、変化特定工程で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、LiDAR装置の異常の種類を区別して判定する異常判定工程とを含む処理を実行させる。
これによれば、検出エリアについての背景光画像と反射光画像とのそれぞれの光強度の所定時間における変化(背景光強度変化,反射光強度変化)の有無を用いて、LiDAR装置の異常の種類を区別して判定することになる。背景光強度変化,反射光強度変化は、所定時間における背景光画像,反射光画像の光強度の変化なので、この変化の有無で背景光画像,反射光画像を得るのに用いる部材の異常の有無を判定することが可能になる。また、背景光画像は環境光の強度分布を表す一方、反射光画像は発光部によって照射した光の反射光の強度分布を表すものである。よって、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、LiDAR装置のうちの、背景光画像を得るのと反射光画像を得るのとで異なる部材の異常なのか共通の部材の異常なのかを区別して異常を判定することが可能になる。その結果、LiDAR装置の異常をより詳細に判定することが可能になる。
車両用システム1の概略的な構成の一例を示す図である。 画像処理装置4の概略的な構成の一例を示す図である。 処理部41での異常判定関連処理の流れの一例を示すフローチャートである。 処理部41での両方変化無し時処理の流れの一例を示すフローチャートである。 車両用システム1aの概略的な構成の一例を示す図である。 画像処理装置4aの概略的な構成の一例を示す図である。 処理部41aでの異常判定関連処理の流れの一例を示すフローチャートである。 車両用システム1bの概略的な構成の一例を示す図である。 画像処理装置4bの概略的な構成の一例を示す図である。 車両用システム1cの概略的な構成の一例を示す図である。 画像処理装置4cの概略的な構成の一例を示す図である。 処理部41cでの異常判定関連処理の流れの一例を示すフローチャートである。 処理部41cでの両方変化無し時処理の流れの一例を示すフローチャートである。
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
<車両用システム1の概略構成>
車両用システム1は、車両で用いることが可能なものである。車両用システム1は、図1に示すように、センサユニット2、車速センサ5、HCU(Human Machine Interface Control Unit)6、及び提示装置7を含む。例えば、センサユニット2、車速センサ5、及びHCU6は車内LAN(図1のLAN参照)と接続される構成とすればよい。車両用システム1を用いる車両は、必ずしも自動車に限るものではないが、以下では自動車に用いる場合を例に挙げて説明を行う。車両用システム1を用いる車両を以下では自車と呼ぶ。
車速センサ5は、自車の速度を検出する。HCU6は、プロセッサ、揮発性メモリ、不揮発性メモリ、I/O、これらを接続するバスを備えるコンピュータを主体として構成される。HCU6は、不揮発性メモリに記憶された制御プログラムを実行することにより、乗員と自車のシステムとのやり取りに関する各種の処理を実行する。
提示装置7は、自車に設けられて、自車の室内に向けて情報提示を行う。提示装置7は、HCU6の指示に従って情報提示を行う。提示装置7は、少なくとも運転者に向けて情報提示を行えばよい。提示装置7は、運転者以外の同乗者にも情報提示を行っても構わない。提示装置7としては、表示器,音声出力装置等が挙げられる。
表示器は、情報を表示することで情報提示を行う。表示器としては、例えばメータMID(Multi Information Display),CID(Center Information Display),HUD(Head-Up Display)を用いることができる。メータMIDは、車室内のうちの運転席の正面に設けられる表示装置である。一例として、メータMIDは、メータパネルに設けられる構成とすればよい。CIDは、自車のインスツルメントパネルの中央に配置される表示装置である。HUDは、車室内のうちの例えばインスツルメントパネルに設けられる。HUDは、プロジェクタによって形成される表示像を、投影部材としてのフロントウインドシールドに既定された投影領域に投影する。フロントウインドシールドによって車室内側に反射された画像の光は、運転席に着座するドライバによって知覚される。これにより、ドライバは、フロントウインドシールドの前方にて結像される表示像の虚像を、前景の一部と重ねて視認可能となる。HUDは、フロントウインドシールドの代わりに、運転席の正面に設けられるコンバイナに表示像を投影する構成としてもよい。音声出力装置は、音声を出力することで情報提示を行う。音声出力装置としては、スピーカ等が挙げられる。
センサユニット2は、図1に示すように、LiDAR装置3及び画像処理装置4を含む。センサユニットは、センサパッケージと言い換えることもできる。LiDAR装置3は、自車周辺の所定の範囲に光を照射し、その光が物標によって反射された反射光を検出する光学センサである。この所定の範囲は、任意に設定可能である。以下では、LiDAR装置3の測定対象とする範囲を検出エリアと呼ぶ。LiDAR装置3は、SPAD(Single Photon Avalanche Diode) LiDARとすればよい。LiDAR装置3の概略構成については後述する。
画像処理装置4は、LiDAR装置3と接続される。画像処理装置4は、LiDAR装置3から出力される後述の反射光画像及び背景光画像といった画像データを取得し、これらの画像データから物標を検出する。また、画像処理装置4は、これらの画像データからLiDAR装置3の異常の種類を区別して判定する。以下では、画像処理装置4でLiDAR装置3の異常の種類を区別して判定する構成について説明を行う。画像処理装置4の概略構成については後述する。
<LiDAR装置3の概略構成>
ここで、図1を用いて、LiDAR装置3の概略構成について説明する。図1に示すように、LiDAR装置3は、発光部31、受光部32、及び制御ユニット33を備える。
発光部31は、光源から発光された光ビームを、可動光学部材を用いて走査することにより、検出エリアへ向けて照射する。可動光学部材としては、例えばポリゴンミラーが挙げられる。光源としては、例えば半導体レーザを用いればよい。なお、LiDAR装置3は、機械的回転式に限らず、MEMSミラー式であってもよい。発光部31は、制御ユニット33からの電気信号に応じて、例えば可視外領域の光ビームをパルス状に照射する。可視外領域とは、人間から視認不能な波長域である。一例として、発光部31は、可視外領域の光ビームとして近赤外域の光ビームを照射すればよい。
受光部32は、受光素子321を有している。なお、受光部32は、集光レンズも有する構成とすればよい。集光レンズは、検出エリア内の物標によって反射された光ビームの反射光、及び反射光に対する背景光を集光し、受光素子321に入射させる。受光素子321は、光電変換により光を電気信号に変換する素子である。受光素子321は、可視外領域に感度を持つものとする。受光素子321としては、光ビームの反射光を効率的に検出するため、可視域に対して近赤外域の感度が高く設定されたCMOSセンサを用いればよい。受光素子321の各波長域に対する感度は、光学フィルタによって調整されてもよい。受光素子321は、1次元方向又は2次元方向にアレイ状に配列された複数の受光画素を有しているものとすればよい。個々の受光画素は、SPADを用いた構成とすればよい。この受光画素は、フォトンの入射で発生した電子をアバランシェ倍増によって増幅することにより、高感度な光検出を可能にしているものとすればよい。
制御ユニット33は、発光部31及び受光部32を制御する。制御ユニット33は、例えば受光素子321と共通の基板上に配置すればよい。制御ユニット33は、例えばマイクロコントローラ(以下、マイコン)又はFPGA(Field-Programmable Gate Array)等の広義のプロセッサを主体に構成されている。制御ユニット33は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。
走査制御機能は、発光部31による光ビームの走査を制御する機能である。制御ユニット33は、LiDAR装置3に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させる。加えて制御ユニット33は、光ビームの照射に同期させて、可動光学部材を動作させる。
反射光測定機能は、光ビームの走査のタイミングに合わせて、個々の受光画素にて受光された反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。制御ユニット33は、受光素子321の出力パルスにおけるピークの発生タイミングにより、反射光の到来時刻を感知する。制御ユニット33は、光源からの光ビームの射出時刻と反射光の到来時刻との時間差を計測することにより、光の飛行時間(Time of Flight)を測定する。
以上の走査制御機能及び反射光測定機能の連携により、画像状のデータである反射光画像が生成される。制御ユニット33は、ローリングシャッター方式で反射光を測定し、反射光画像を生成すればよい。詳しくは、以下の通りである。制御ユニット33は、例えば水平方向への光ビームの走査に合わせて、検出エリアに対応した画像平面上にて横方向に並ぶ画素群の情報を、一行又は複数行ずつ生成する。制御ユニット33は、行ごとに順次生成した画素情報を縦方向に合成し、1つの反射光画像を生成する。
反射光画像は、発光部31からの光照射に応じた反射光を受光素子321が検出することによって得られる距離情報を含む画像データである。反射光画像の各画素には、光の飛行時間を示す値が含まれている。光の飛行時間を示す値は、LiDAR装置3から検出エリアに位置する物体の反射点までの距離を示す距離値と言い換えることもできる。また、反射光画像の各画素には、反射光の強度を示す値が含まれている。反射光の強度分布は、諧調値化によって輝度分布としてデータ化されるものとすればよい。つまり、反射光画像は、反射光の輝度分布を表す画像データとなる。反射光画像は、物標からの反射光の強度を画素値化した画像と言い換えることもできる。
背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した環境光に基づく電圧値を読み出し、環境光の強度を測定する機能である。ここで言うところの環境光とは、反射光を実質的に含まない、検出エリアから受光素子321へ入射する入射光を意味する。入射光は、自然光、外界の表示等から入射する表示光等が含まれる。以下では、環境光を背景光と呼ぶ。背景光画像は、物標表面の明るさを画素値化した画像と言い換えることもできる。
制御ユニット33は、反射光画像と同様に、ローリングシャッター方式で背景光を測定し、背景光画像を生成する。背景光の強度分布は、諧調値化によって輝度分布としてデータ化されるものとすればよい。背景光画像は、光照射前での背景光の輝度分布を表す画像データであり、反射光画像と同一の受光素子321により検出される背景光の輝度情報を含んでいる。つまり、背景光画像において2次元状に並ぶ各画素の値は、検出エリアの対応する箇所における背景光の強度を示す輝度値である。
反射光画像及び背景光画像は、共通の受光素子321により感知され、受光素子321を含む共通の光学系から取得される。従って、反射光画像の座標系と背景光画像の座標系とは、互いに一致する同座標系とみなすことができる。加えて、反射光画像と背景光画像との間には、測定タイミングのずれが殆どないものとする。よって、連続的に取得された一組の反射光画像と背景光画像とは、時刻同期もとれているとみなし得る。また、反射光画像及び背景光画像は、個々の画素同士の対応を一義的に取ることが可能となっている。制御ユニット33は、反射光画像及び背景光画像を、各画素に対応して、反射光の強度、物体までの距離、及び背景光の強度の3チャンネルのデータを含む一体的な画像データとして、画像処理装置4へ逐次出力する。なお、反射光画像に用いる反射光の強度分布は、背景光による外乱を除くため、背景光の強度分布を差し引いたものとすることがより好ましい。本実施形態では、反射光画像に用いる反射光の強度分布が、背景光の強度分布を差し引いたものである場合を例に挙げて説明する。
<画像処理装置4の概略構成>
続いて、図1及び図2を用いて、画像処理装置4の概略構成を説明する。図1に示すように、画像処理装置4は、処理部41、RAM42、記憶部43、及び入出力インターフェース(以下、I/О)44を備えた演算回路を主体として含む電子制御装置である。処理部41、RAM42、記憶部43、及びI/О44は、バスで接続される構成とすればよい。
処理部41は、RAM42と結合された、演算処理のためのハードウェアである。処理部41は、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA等の演算コアを少なくとも1つ含んでいる。処理部41は、他の専用機能を備えたIPコア等をさらに含んでなる画像処理チップとして構成可能である。こうした画像処理チップは、自動運転用途専用に設計されたASIC(Application Specific Integrated Circuit)であってよい。処理部41は、RAM42へのアクセスにより、後述する各機能ブロックの機能を実現するための種々の処理を実行する。
記憶部43は、不揮発性の記憶媒体を含む構成である。この記憶媒体は、コンピュータによって読み取り可能なプログラム及びデータを非一時的に格納する非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。また、非遷移的実体的記憶媒体は、半導体メモリ又は磁気ディスク等によって実現される。記憶部43には、処理部41によって実行される異常判定プログラム等の種々のプログラムが格納されている。
図2に示すように、画像処理装置4は、LiDAR装置3の異常の判定について、画像取得部401、走行特定部402、変化特定部403、輝度特定部404、及び異常判定部405を機能ブロックとして備える。この画像処理装置4が異常判定装置に相当する。また、コンピュータによって画像処理装置4の各機能ブロックの処理が実行されることが、異常判定方法が実行されることに相当する。なお、画像処理装置4が実行する機能の一部又は全部を、1つ或いは複数のIC等によりハードウェア的に構成してもよい。また、画像処理装置4が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材の組み合わせによって実現されてもよい。
画像取得部401は、LiDAR装置3から出力されてくる反射光画像及び背景光画像を逐次取得する。つまり、画像取得部401は、検出エリアに照射した光の反射光を受光素子321にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子321にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する。この画像取得部401での処理が画像取得工程に相当する。
本実施形態では、画像取得部401は、検出エリアに照射した光の反射光を可視外領域に感度を持つ受光素子321にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光をその受光素子321にて反射光の検出と異なるタイミングで検出することにより得られる環境光の強度分布を表す背景光画像とを取得することになる。ここで言うところの異なるタイミングとは、時刻が反射光を測定するタイミングと完全一致はしないが反射光画像と背景光画像との時刻同期がとれているとみなせる程度に僅かにずれたタイミングである。つまり、画像取得部401は、前述の時刻同期がとれている反射光画像及び背景光画像を互いに紐付けて取得するものとする。
走行特定部402は、自車が走行中か否かを特定する。この走行特定部402が移動特定部に相当する。走行特定部402は、車速センサ5で検出した車速から、自車が走行中か否かを特定すればよい。なお、走行特定部402は、車速センサで検出した車速以外から、自車が走行中か否かを特定してもよい。例えば、エンジン回転速度,走行駆動用のモータの回転数等から、自車が走行中か否かを特定してもよい。
変化特定部403は、画像取得部401で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化(以下、反射光強度変化)の有無と、その所定時間における背景光画像の光強度の変化(以下、背景光強度変化)の有無とを特定する。この変化特定部403での処理が変化特定工程に相当する。ここで言うところの所定時間は、任意に設定可能な値とすればよい。反射光強度変化及び背景光強度変化を特定する単位は、画素単位であってもよいし、複数画素からなる領域単位であってもよい。反射光強度変化及び背景光強度変化の特定は、互いに紐付けられた画素,領域についてそれぞれ行うものとする。反射光強度変化及び背景光強度変化の特定は、画素のちらつきによる影響を抑えてロバスト性を高めるために、領域単位で行うことが好ましい。なお、領域単位は、画素数個単位とすればよい。変化特定部403では、反射光強度変化の有無として、反射光画像の光強度から背景光画像の光強度を差し引いた光強度の変化の有無を特定する。
変化特定部403は、光強度の変化の有無の特定を、光強度の変化量が閾値以上か否かによって行えばよい。この閾値は、光強度の変化がほぼない誤差範囲の値と誤差範囲以上の値とを区分する値とすればよい。なお、反射光強度変化の有無を特定するための閾値と、背景光強度変化の有無を特定するための閾値とは、異なる値とすればよい。
変化特定部403は、走行特定部402で自車が走行中と特定している期間の所定時間における反射光強度変化の有無と背景光強度変化の有無とを特定することが好ましい。これによれば、反射光強度変化の有無と背景光強度変化の有無とを特定する精度がより高くなる。詳しくは、以下の通りである。自車が走行中の場合には、LiDAR装置3の検出エリア内の物標が移動する。よって、反射光画像,背景光画像の光強度の変化がある場合には、より変化が大きく特定される。従って、自車が走行中の場合には、光強度の変化の有無の差が拡大しやすく、光強度の変化の有無をより精度良く特定することが可能になる。
輝度特定部404は、画像取得部401で取得する反射光画像及び背景光画像のそれぞれの輝度の高低を特定する。輝度特定部404は、変化特定部403で反射光強度変化及び背景光強度変化を特定するのに用いた反射光画像及び背景光画像のそれぞれの輝度の高低を特定すればよい。
例えば、変化特定部403で反射光強度変化を特定するのに用いた反射光画像の時系列データをもとに、反射光強度変化を特定した単位で輝度の平均値を算出する。画素単位であれば画素ごとの平均値を算出する。領域単位であれば領域ごとの平均値を算出する。そして、算出した平均値が閾値以上の場合に、反射光画像の輝度が高いと特定する。一方、算出した平均値が閾値未満の場合に、反射光画像の輝度が低いと特定する。また、変化特定部403で背景光強度変化を特定するのに用いた背景光画像の時系列データをもとに、背景光強度変化を特定した単位で輝度の平均値を算出する。そして、算出した平均値が閾値以上の場合に、背景光画像の輝度が高いと特定する。一方、算出した平均値が閾値未満の場合に、背景光画像の輝度が低いと特定する。反射光画像の輝度の高低の特定に用いる閾値と、背景光画像の輝度の高低の特定に用いる閾値とは異なっているものとする。これらの閾値は任意に設定可能とすればよい。
輝度特定部404は、画素単位で反射光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部404は、輝度が高いと特定した画素が、輝度が低いと特定した画素以上だった場合に、反射光画像の輝度が高いと特定すればよい。一方、輝度特定部404は、輝度が高いと特定した画素が、輝度が低いと特定した画素未満だった場合に、反射光画像の輝度が低いと特定すればよい。輝度特定部404は、領域単位で反射光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部404は、輝度が高いと特定した領域が、輝度が低いと特定した領域以上だった場合に、反射光画像の輝度が高いと特定すればよい。一方、輝度特定部404は、輝度が高いと特定した領域が、輝度が低いと特定した領域未満だった場合に、反射光画像の輝度が低いと特定すればよい。
輝度特定部404は、画素単位で背景光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部404は、輝度が高いと特定した画素が、輝度が低いと特定した画素以上だった場合に、背景光画像の輝度が高いと特定すればよい。一方、輝度特定部404は、輝度が高いと特定した画素が、輝度が低いと特定した画素未満だった場合に、背景光画像の輝度が低いと特定すればよい。輝度特定部404は、領域単位で背景光画像の輝度の高低を特定した場合には、以下のようにすればよい。輝度特定部404は、輝度が高いと特定した領域が、輝度が低いと特定した領域以上だった場合に、背景光画像の輝度が高いと特定すればよい。一方、輝度特定部404は、輝度が高いと特定した領域が、輝度が低いと特定した領域未満だった場合に、背景光画像の輝度が低いと特定すればよい。
なお、輝度特定部404は、変化特定部403で反射光強度変化及び背景光強度変化を特定するのに用いた反射光画像及び背景光画像のうちの一部の反射光画像及び背景光画像から、反射光画像及び背景光画像のそれぞれの輝度の高低を特定してもよい。
異常判定部405は、変化特定部403で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いて、LiDAR装置3の異常の種類を区別して判定する。これによれば、検出エリアについての背景光画像と反射光画像とのそれぞれの光強度の所定時間における変化の有無を用いて、LiDAR装置3の異常の種類を区別して判定することになる。背景光強度変化,反射光強度変化は、所定時間における背景光画像,反射光画像の光強度の変化なので、この変化の有無で背景光画像,反射光画像を得るのに用いる部材の異常の有無を判定することが可能になる。また、背景光画像は環境光の強度分布を表す一方、反射光画像は発光部によって照射した光の反射光の強度分布を表すものである。よって、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、LiDAR装置3のうちの、背景光画像を得るのと反射光画像を得るのとで異なる部材の異常なのか共通の部材の異常なのかを区別して異常を判定することが可能になる。その結果、LiDAR装置3の異常をより詳細に判定することが可能になる。異常判定部405での処理が異常判定工程に相当する。
異常判定部405は、変化特定部403で反射光強度変化を無しと特定する一方、背景光強度変化を有りと特定した場合には、異常の種類を、発光部31の故障と判定すればよい。これは、環境光の変化があるにもかかわらず、反射光の変化がない場合は、発光部31からの光照射が行われていないと推定されるためである。
異常判定部405は、変化特定部403で特定する反射光強度変化の有無と背景光強度変化の有無との組み合わせに加え、輝度特定部404で特定する反射光画像の輝度の高低と背景光画像の輝度の高低との組み合わせも用いて、LiDAR装置3の異常の種類を区別して判定することが好ましい。これによれば、反射光強度変化の有無と背景光強度変化の有無との組み合わせだけでは区別して判定することが難しかった異常も、区別して判定することが可能になる。
異常判定部405は、変化特定部403で反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部404で反射光画像の輝度が高いと特定するが背景光画像の輝度は低いと特定する場合には、異常の種類を、検出エリアとLiDAR装置3の受光素子321との間に位置するLiDAR装置3の光学窓の汚れと判定すればよい。これは、環境光及び反射光の変化がなく、環境光の輝度が低いのにもかかわらず、反射光の輝度が高い場合には、光学窓の汚れによって照射光が反射されていると推定されるためである。光学窓は、LiDAR装置3に設けられるものである。光学窓は、発光部31からの照射光及びその照射光の反射光を透光する透光部材により形成されている。
なお、異常判定部405は、輝度特定部404で反射光画像の輝度の高低を画素若しくは領域単位で特定し、反射光画像の輝度が高いと特定された画素若しくは領域の分布から、光学窓の汚れの種別までを区別して判定してもよい。例えば、点々とした分布の場合に汚れの種類を砂ぼこりと判定する等すればよい。
異常判定部405は、変化特定部403で反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部404で反射光画像及び背景光画像のいずれの輝度も高い若しくは低いと特定する場合には、異常の種類を、LiDAR装置3の受光素子321の異常と判定すればよい。これは、環境光及び反射光の変化がなく、環境光と反射光との輝度の高低の傾向に差がない場合には、受光素子321自体に異常があると推定されるためである。
異常判定部405は、変化特定部403で反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部404で反射光画像の輝度が低いと特定するが背景光画像の輝度は高いと特定する場合には、LiDAR装置3の前面の明る過ぎる光源の存在と判定すればよい。これは、環境光及び反射光の変化がなく、反射光の輝度が低いのにもかかわらず、背景光の輝度が高い場合には、LiDAR装置3の前面に明る過ぎる光源が存在すると推定されるためである。ここで言うところの明る過ぎるとは、例えば背景光画像を物標の検出に用いるのに適していないと推定される輝度とすればよい。異常判定部405は、LiDAR装置3の前面の明る過ぎる光源の存在を、異常の種類として特定してもよいし、異常以外の状況として特定してもよい。
異常判定部405は、変化特定部403で背景光強度変化を無しと特定する一方、反射光強度変化を有りと特定した場合には、暗所若しくは夜間であると判定してもよい。これは、反射光の変化があるにもかかわらず、背景光の変化がない場合は、暗所若しくは夜間である状況と推定されるためである。異常判定部405は、暗所若しくは夜間であることを、異常の種類として特定してもよいし、異常以外の状況として特定してもよい。
異常判定部405は、変化特定部403で反射光強度変化及び背景光強度変化のいずれも有りと特定する場合には、異常なしと判定すればよい。これは、環境光及び反射光のいずれも変化する場合には、LiDAR装置3に異常がない可能性が高いためである。
異常判定部405で異常を判定した場合には、HCU6に異常の判定結果を送り、異常についての警告を行わせればよい。HCU6は、提示装置7から情報提示を行わせることで警告を行わせればよい。警告については、アイコンの表示,テキストの表示,音声出力等で行わせればよい。警告については、異常判定部405で区別して判定した異常に種類に応じた警告を行わせればよい。また、異常判定部405で光学窓の汚れの種類までを異常として判定した場合に、光学窓の汚れの種類に応じた警告を行わせればよい。なお、異常判定部405でLiDAR装置3の異常に該当しない状況を判定した場合には、その判定した状況についての情報を提示させたりしてもよい。他にも、LiDAR装置3での物標の検出の信頼度の判断等に利用してもよい。
<処理部41での異常判定関連処理>
ここで、処理部41でのLiDAR装置3の異常の判定に関連する処理(以下、異常判定関連処理)の一例について、図3のフローチャートを用いて説明を行う。図3のフローチャートは、例えば自車の内燃機関又はモータジェネレータを始動させるためのスイッチ(以下、パワースイッチ)がオンになった状態において開始される構成とすればよい。なお、パワースイッチがオンになった状態において定期的に開始される構成としてもよい。
まず、ステップS1では、走行特定部402で自車が走行中と特定した場合(S1でYES)には、ステップS3に移る。一方、走行特定部402で自車が停止中と特定した場合(S1でNO)には、ステップS2に移る。
ステップS2では、異常判定関連処理の終了タイミングであった場合(S2でYES)には、異常判定関連処理を終了する。一方、異常判定関連処理の終了タイミングでなかった場合(S2でNO)には、S1に戻って処理を繰り返す。異常判定関連処理の終了タイミングの一例としては、自車のパワースイッチがオフになったこと等が挙げられる。
ステップS3では、画像取得部401が、LiDAR装置3から出力されてくる反射光画像及び背景光画像を取得する。図中では、背景光画像をBliと示し、反射光画像をRliと示す。
ステップS4では、変化特定部403が、S3で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化(つまり、反射光強度変化)の有無と、その所定時間における背景光画像の光強度の変化(つまり、背景光強度変化)の有無を特定する。ステップS5では、輝度特定部404が、S4で光強度の変化の有無を特定した反射光画像及び背景光画像を用いて、それぞれの輝度の高低を特定する。
ステップS6では、S4で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合(S6でYES)には、ステップS7に移る。一方、S4で反射光強度変化及び背景光強度変化のいずれかでも無しと特定した場合(S6でNO)には、ステップS8に移る。ステップS7では、異常判定部405が、異常なしと判定し、異常判定関連処理を終了する。
ステップS8では、S4で反射光強度変化及び背景光強度変化のいずれも無しと特定した場合(S8でYES)には、ステップS12に移る。一方、S4で反射光強度変化及び背景光強度変化の一方のみが無しと特定した場合(S8でNO)には、ステップS9に移る。
ステップS9では、S4で背景光強度変化及び反射光強度変化のうちの背景光強度変化のみ有りと特定した場合(S9でYES)には、ステップS10に移る。一方、S4で背景光強度変化及び反射光強度変化のうちの反射光強度変化のみ有りと特定した場合(S9でNO)には、ステップS11に移る。
ステップS10では、異常判定部405が、発光部31の故障と判定し、異常判定関連処理を終了する。一方、ステップS11では、異常判定部405が、暗所若しくは夜間と判定し、異常判定関連処理を終了する。S11では、異常判定部405が、異常なしと判定し、異常判定関連処理を終了する構成としてもよい。
ステップS12では、両方変化無し時処理を行って、異常判定関連処理を終了する。ここで、図4のフローチャートを用いて、両方変化無し時処理の流れの一例について説明する。
まず、ステップS121では、輝度特定部404で反射光画像及び背景光画像のいずれの輝度も高い若しくは低いと特定した場合(S121でYES)には、ステップS122に移る。一方、輝度特定部404で特定した反射光画像及び背景光画像の輝度の高低が、反射光画像と背景光画像とで食い違っていた場合(S121でNO)には、ステップS123に移る。ステップS122では、異常判定部405が、受光素子321の異常と判定し、異常判定関連処理を終了する。
ステップS123では、輝度特定部404で反射光画像の輝度が高いと特定したが背景光画像の輝度は低いと特定した場合(S123でYES)には、ステップS124に移る。一方、輝度特定部404で反射光画像の輝度が低いと特定したが背景光画像の輝度は高いと特定した場合(S123でNO)には、ステップS125に移る。
ステップS124では、異常判定部405が、異常の種類を、LiDAR装置3の光学窓の汚れと判定し、異常判定関連処理を終了する。一方、ステップS125では、異常判定部405が、LiDAR装置3の前面に明る過ぎる光源が存在すると判定し、異常判定関連処理を終了する。S125では、異常判定部405が、異常なしと判定し、異常判定関連処理を終了する構成としてもよい。
なお、S5の処理よりも前にS6の処理を行い、S4で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合には、輝度特定部404での処理を省略する構成としてもよい。これによれば、輝度特定部404での無駄な処理を軽減することが可能になる。
<実施形態1のまとめ>
実施形態1の構成によれば、前述したように、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、LiDAR装置3の異常をより詳細に判定することが可能になる。
また、実施形態1の構成によれば、受光素子321にSPADを用いるので、反射光画像が得られるのと共通の受光素子321によって、背景光画像も得ることが可能になる。また、実施形態1の構成によれば、反射光画像と背景光画像が共通の受光素子321で得られるので、反射光画像と背景光画像との時刻同期,キャリブレーションの手間を抑えることが可能になる。
(実施形態2)
前述の実施形態では、走行特定部402で自車が走行中と特定している場合に限って変化特定部403で反射光強度変化及び背景光強度変化の有無を特定する構成を示したが、必ずしもこれに限らない。例えば、走行特定部402で自車が走行中か否かに応じて、反射光強度変化及び背景光強度変化を特定する際の所定時間の長さを切り替える構成(以下、実施形態2)としてもよい。
<車両用システム1aの概略構成>
車両用システム1aは、車両で用いることが可能なものである。車両用システム1aは、図5に示すように、センサユニット2a、車速センサ5、HCU6、及び提示装置7を含む。車両用システム1aは、センサユニット2の代わりにセンサユニット2aを含む点を除けば、実施形態1の車両用システム1と同様である。センサユニット2aは、図5に示すように、LiDAR装置3、画像処理装置4a、及び外界カメラ8を含む。
<画像処理装置4aの概略構成>
続いて、図5を用いて、画像処理装置4aの概略構成を説明する。図5に示すように、画像処理装置4aは、処理部41a、RAM42、記憶部43、及びI/О44を備えた演算回路を主体として含む電子制御装置である。画像処理装置4aは、処理部41の代わりに処理部41aを備える点を除けば、実施形態1の画像処理装置4と同様である。
図6に示すように、画像処理装置4aは、画像取得部401、走行特定部402、変化特定部403a、輝度特定部404、及び異常判定部405を機能ブロックとして備える。この画像処理装置4aも異常判定装置に相当する。また、コンピュータによって画像処理装置4aの各機能ブロックの処理が実行されることも、異常判定方法が実行されることに相当する。画像処理装置4aの機能ブロックは、変化特定部403の代わりに変化特定部403aを備える点を除けば、実施形態1の画像処理装置4と同様である。
変化特定部403aは、走行特定部402で自車が走行中と特定している場合には、所定時間を、走行特定部402で自車が停止中と特定している場合に比べて短く切り替えて、反射光強度変化の有無と背景光強度変化の有無とを特定する。以上の構成でも、反射光強度変化の有無と背景光強度変化の有無とを特定する精度がより高くなる。詳しくは、以下の通りである。自車が走行中の場合には、LiDAR装置3の検出エリア内の物標が移動する。よって、反射光画像,背景光画像の光強度の変化がある場合には、より短時間であっても、より変化が大きく特定される。従って、自車が走行中の場合には、所定時間を自車が停止中の場合よりも短く切り替えても、光強度の変化の有無の差が拡大しやすく、光強度の変化の有無をより精度良く特定することが可能になる。
なお、変化特定部403aは、走行特定部402で自車が停止中と特定している場合には、所定時間を、走行特定部402で自車が走行中と特定している場合に比べて長く切り替えて、反射光強度変化の有無と背景光強度変化の有無とを特定する構成とすればよい。本実施形態では、変化特定部403aが、反射光強度変化の有無と背景光強度変化の有無とを特定するために用いる所定時間(以下、監視時間)として、短めの監視時間と長めの監視時間とを、自車が走行中か否かに応じて設定するものとする。短めの監視時間と長めの監視時間とは、短めの監視時間が長めの監視時間よりも短い時間であればよく、任意に設定可能とすればよい。
<処理部41aでの異常判定関連処理>
ここで、処理部41aでの異常判定関連処理の一例について、図7のフローチャートを用いて説明を行う。図7のフローチャートも、例えば自車のパワースイッチがオンになった状態において開始される構成とすればよい。なお、パワースイッチがオンになった状態において定期的に開始される構成としてもよい。
まず、ステップS21では、走行特定部402で自車が走行中と特定した場合(S21でYES)には、ステップS22に移る。一方、走行特定部402で自車が停止中と特定した場合(S21でNO)には、ステップS23に移る。
ステップS22では、変化特定部403aが、監視時間を短めに設定し、ステップS24に移る。一方、ステップS23では、変化特定部403aが、監視時間を長めに設定し、ステップS24に移る。ステップS24では、S3と同様にして、画像取得部401が、LiDAR装置3から出力されてくる反射光画像及び背景光画像を取得する。
ステップS25では、変化特定部403aが、S24で逐次取得する反射光画像及び背景光画像から、所定時間における反射光画像の光強度の変化(つまり、反射光強度変化)の有無と、その所定時間における背景光画像の光強度の変化(つまり、背景光強度変化)の有無を特定する。S25では、この所定時間として、S22若しくはS23で設定された所定時間を用いる。
ステップS26~ステップS33では、S5~S12と同様の処理を行う。なお、S33の両方変化無し時処理としては、S12と同様の両方変化無し時処理を行う。
なお、図7のフローチャートでも、S26の処理よりも前にS27の処理を行い、S25で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合には、輝度特定部404での処理を省略する構成としてもよい。
<実施形態2のまとめ>
実施形態2の構成は、自車が停止中の場合も反射光強度変化及び背景光強度変化の有無を特定する点を除けば、実施形態1の構成と同様である。よって、実施形態1と同様に、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、LiDAR装置3の異常をより詳細に判定することが可能になる。
(実施形態3)
前述の実施形態では、反射光画像と背景光画像が共通の受光素子321で得られる構成を示したが、必ずしもこれに限らない。例えば、反射光画像と背景光画像とが異なる受光素子で得られる構成(以下、実施形態3)としてもよい。以下、実施形態3の構成について説明する。
<車両用システム1bの概略構成>
車両用システム1bは、車両で用いることが可能なものである。車両用システム1bは、図8に示すように、センサユニット2b、車速センサ5、HCU6、及び提示装置7を含む。車両用システム1bは、センサユニット2の代わりにセンサユニット2bを含む点を除けば、実施形態1の車両用システム1と同様である。センサユニット2bは、図8に示すように、LiDAR装置3b、画像処理装置4b、及び外界カメラ8を含む。
<LiDAR装置3bの概略構成>
LiDAR装置3bは、図8に示すように、発光部31、受光部32、及び制御ユニット33bを備える。LiDAR装置3bは、制御ユニット33の代わりに制御ユニット33bを備える点を除けば、実施形態1のLiDAR装置3と同様である。
制御ユニット33bは、背景光測定機能を有していない点を除けば、実施形態1の制御ユニット33と同様である。LiDAR装置3bの受光素子321は、SPADを用いてもよいし、SPADを用いなくてもよい。
<外界カメラ8の概略構成>
外界カメラ8は、自車の外界の所定範囲を撮像する。外界カメラ8は、例えば自車のフロントウインドシールドの車室内側に配置される等すればよい。外界カメラ8の撮像範囲は、LiDAR装置3bの測定範囲と少なくとも一部が重複しているものとする。
外界カメラ8は、図8に示すように、受光部81及び制御ユニット82を含む。受光部81は、撮像範囲から入射する入射光を、例えば受光レンズにより集光して、受光素子811へ入射させる。この入射光が背景光にあたる。受光素子811は、カメラ素子と言い換えることもできる。受光素子811は、光電変換により光を電気信号に変換する素子であり、例えばCCDセンサ又はCMOSセンサを採用することが可能である。受光素子811では、可視域の自然光等を効率的に受光するために、近赤外域に対して可視域の感度が高く設定されている。受光素子811は、複数の受光画素を2次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色のカラーフィルタが配置されている。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色の強度、緑色の強度、青色の強度がそれぞれ測定されることによって、外界カメラ8が撮影するカメラ画像は、可視域のカラー画像となる。よって、外界カメラ8は、カラーカメラと言い換えることもできる。外界カメラ8で得られるカメラ画像も背景光画像にあたる。
制御ユニット82は、受光部81を制御するユニットである。制御ユニット82は、例えば受光素子811と共通の基板上に配置すればよい。制御ユニット82は、例えばマイコン又はFPGA等の広義のプロセッサを主体に構成されている。制御ユニット82は、撮影機能を実現している。
撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット82は、外界カメラ8に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。制御ユニット82は、撮像範囲に対応した画像平面上の2次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、画像処理装置4bへ逐次出力される。
<画像処理装置4bの概略構成>
続いて、図8及び図9を用いて、画像処理装置4bの概略構成を説明する。図8に示すように、画像処理装置4bは、処理部41b、RAM42、記憶部43、及びI/О44を備えた演算回路を主体として含む電子制御装置である。画像処理装置4bは、処理部41の代わりに処理部41bを備える点を除けば、実施形態1の画像処理装置4と同様である。
図9に示すように、画像処理装置4bは、画像取得部401b、走行特定部402、変化特定部403、輝度特定部404、及び異常判定部405を機能ブロックとして備える。この画像処理装置4bも異常判定装置に相当する。また、コンピュータによって画像処理装置4bの各機能ブロックの処理が実行されることも、異常判定方法が実行されることに相当する。画像処理装置4bの機能ブロックは、画像取得部401の代わりに画像取得部401bを備える点を除けば、実施形態1の画像処理装置4と同様である。
画像取得部401bは、LiDAR装置3bから出力されてくる反射光画像を逐次取得する。画像取得部401bは、外界カメラ8から出力されてくる背景光画像としてのカメラ画像を逐次取得する。LiDAR装置3bで反射光画像が得られる測定範囲と、外界カメラ8で背景光画像が得られる撮像範囲とは一部が重複している。この重複した範囲を検出エリアとする。よって、画像取得部401bは、検出エリアに照射した光の反射光を可視外領域に感度を持つ受光素子321にて検出することにより得られる反射光の強度分布を表す反射光画像と、反射光を含まない検出エリアの環境光を受光素子321とは異なる可視領域に感度を持つ受光素子811にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する。この画像取得部401bでの処理も画像取得工程に相当する。
なお、画像処理装置4bでは、LiDAR装置3bから出力されてくる反射光画像と、外界カメラ8から出力されてくる背景光画像とは、タイムスタンプ等を利用して時刻同期させればよい。また、画像処理装置4bでは、LiDAR装置3bの測定の基点と外界カメラ8の撮像の基点とのずれに応じたキャリブレーションも行う。これによって、反射光画像の座標系と背景光画像の座標系とを、互いに一致する同座標系として扱うことを可能にする。
<実施形態3のまとめ>
実施形態3の構成は、背景光画像がLiDAR装置3で得られるか外界カメラ8で得られるかに関する構成を除けば、実施形態1の構成と同様である。よって、実施形態1と同様に、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、LiDAR装置3の異常をより詳細に判定することが可能になる。なお、実施形態2と実施形態3とを組み合わせてもよい。
(実施形態4)
前述の実施形態では、反射光画像に用いる反射光の強度分布が、背景光の強度分布を差し引いたものである構成を示したが、必ずしもこれに限らない。例えば、反射光画像に用いる反射光の強度分布が、背景光の強度分布を差し引かないものである構成(以下、実施形態4)としてもよい。以下、実施形態4の構成について説明する。
<車両用システム1cの概略構成>
車両用システム1cは、車両で用いることが可能なものである。車両用システム1cは、図10に示すように、センサユニット2c、車速センサ5、HCU6、及び提示装置7を含む。車両用システム1cは、センサユニット2の代わりにセンサユニット2cを含む点を除けば、実施形態1の車両用システム1と同様である。センサユニット2cは、図10に示すように、LiDAR装置3、画像処理装置4c、及び外界カメラ8を含む。
<画像処理装置4cの概略構成>
続いて、図10を用いて、画像処理装置4cの概略構成を説明する。図10に示すように、画像処理装置4cは、処理部41c、RAM42、記憶部43、及びI/О44を備えた演算回路を主体として含む電子制御装置である。画像処理装置4cは、処理部41の代わりに処理部41cを備える点を除けば、実施形態1の画像処理装置4と同様である。
図11に示すように、画像処理装置4cは、画像取得部401、走行特定部402、変化特定部403c、輝度特定部404c、異常判定部405c、及び比較部406を機能ブロックとして備える。画像処理装置4cの機能ブロックは、変化特定部403の代わりに変化特定部403cを備える。画像処理装置4cの機能ブロックは、輝度特定部404の代わりに輝度特定部404cを備える。画像処理装置4cの機能ブロックは、異常判定部405の代わりに異常判定部405cを備える。画像処理装置4cの機能ブロックは、比較部406を備える。画像処理装置4cは、これらの点を除けば、実施形態1の画像処理装置4と同様である。この画像処理装置4cも異常判定装置に相当する。また、コンピュータによって画像処理装置4cの各機能ブロックの処理が実行されることも、異常判定方法が実行されることに相当する。
変化特定部403cは、一部の処理が異なる点を除けば、実施形態1の変化特定部403と同様である。以下では、この異なる点について説明する。変化特定部403cは、反射光強度変化の有無として、反射光画像の光強度から背景光画像の光強度を差し引かない光強度の変化の有無を特定する。つまり、変化特定部403cで用いる反射光画像は、背景光の輝度情報も含んでいる。これによれば、反射光画像から背景光の輝度情報を差し引く処理を省略しつつ、LiDAR装置3の異常をより詳細に判定することが可能になる。この変化特定部403cでの処理も変化特定工程に相当する。
輝度特定部404cは、一部の処理が異なる点を除けば、実施形態1の輝度特定部404と同様である。以下では、この異なる点について説明する。輝度特定部404cは、反射光画像及び背景光画像のそれぞれの輝度の高低として、背景光画像の光強度を差し引かない反射光画像と、背景光画像との輝度の高低を特定する。つまり、輝度特定部404cで用いる反射光画像も、背景光の輝度情報も含んでいる。これによれば、反射光画像から背景光の輝度情報を差し引く処理を省略しつつ、LiDAR装置3の異常をより詳細に判定することが可能になる。
比較部406は、変化特定部403cで光強度の変化の有無を特定するのに用いる、背景光画像の光強度を差し引かない反射光画像の光強度と、背景光画像の光強度とが同一か否かを判定する。比較部406は、同一か否かを、光強度が実質的に同一か否かで判定すればよい。例えば、誤差程度のずれを含んでいてもよい。例えば、比較部406で同一か否かの判定に用いる光強度は、光強度の変化の有無を特定するのに用いた光強度の平均値とすればよい。他にも、比較部406で同一か否かの判定に用いる光強度は、光強度の変化の有無を特定するのに用いた光強度の数値群としてもよい。この場合、光強度の数値群の個々の数値同士を逐次比較し、実質的に同一でない組み合わせが存在しなかった場合に、光強度が同一と判定してもよい。
異常判定部405cは、一部の処理が異なる点を除けば、実施形態1の異常判定部405と同様である。以下では、この異なる点について説明する。異常判定部405cでの処理も異常判定工程に相当する。実施形態4では、反射光画像に背景光の輝度情報も含んでいる。よって、実施形態4では、変化特定部403cで反射光強度変化を無しと特定する一方、背景光強度変化を有りと特定する組み合わせはないものとする。
異常判定部405cは、変化特定部403cで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部404cで反射光画像の輝度は低い一方、背景光画像の輝度は高いと特定する場合には、異常の種類を、LiDAR装置3の受光素子321の異常と判定すればよい。これは、環境光及び反射光の変化がない場合において、背景光の輝度情報も含んでいる反射光の輝度が低いにもかかわらず、背景光の輝度が高くなることは、受光素子321自体に異常がなければ起こり得ないためである。
異常判定部405cは、変化特定部403cで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部404cで反射光画像及び背景光画像のいずれの輝度も高いと特定する場合には、異常の種類を、LiDAR装置3の受光素子321の異常、若しくは検出エリアに輝度の高い光源が存在することによる異常と判定すればよい。これは、環境光及び反射光の変化がなく、環境光と反射光との輝度がともに高い場合には、以下の2つの理由が推定されるためである。1つ目の理由は、受光素子321自体に異常があると推定されるためである。2つ目の理由は、検出エリアに存在する輝度の高い光源によって、背景光画像の光強度、及び背景光の輝度情報も含む反射光画像の光強度の両方が、飽和してしまっていると推定されるためである。検出エリアに輝度の高い光源が存在するとは、実施形態1で述べた、LiDAR装置3の前面に明る過ぎる光源が存在することに相当する。
なお、異常判定部405cは、変化特定部403cで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、輝度特定部404cで反射光画像及び背景光画像のいずれの輝度も高いと特定する場合に、異常の種類を、上述した2種類のうちの、LiDAR装置3の受光素子321の異常のみと判定する構成としてもよい。つまり、実施形態1の異常判定部405と同様にしてもよい。これは、ここで述べたような場合において、検出エリアに輝度の高い光源が存在することによる異常が原因である可能性が非常に低いためである。この傾向は、自車が移動中により顕著となる。詳しくは、自車が移動中の場合、LiDAR装置3の前面に明る過ぎる光源が常に存在し続ける可能性が特に低くなるためである。よって、異常判定部405cは、変化特定部403cで反射光強度変化及び背景光強度変化のいずれも無しと特定する場合であって、走行特定部402で自車が走行中と特定している場合であって、且つ、輝度特定部404cで反射光画像及び背景光画像のいずれの輝度も高いと特定する場合に、異常の種類を、上述した2種類のうちの、LiDAR装置3の受光素子321の異常のみと判定する構成としてもよい。
異常判定部405cは、変化特定部403cで反射光強度変化及び背景光強度変化のいずれも有りと特定する場合であって、且つ、比較部406で反射光画像と背景光画像との光強度が同一でないと特定する場合には、異常なしと判定すればよい。これは、環境光及び環境光の輝度情報も含む反射光のいずれも変化する場合であって、それらの光強度が同一でない場合には、LiDAR装置3に異常がない可能性が高いためである。
異常判定部405cは、変化特定部403cで反射光強度変化及び背景光強度変化のいずれも有りと特定した場合であって、且つ、比較部406で反射光画像と背景光画像との光強度が同一と特定する場合には、異常の種類を、発光部31の故障と判定すればよい。これは、環境光及び環境光の輝度情報も含む反射光のいずれも変化する場合であって、それらの光強度が同一である場合には、発光部31が発光していないと推定されるためである。
<処理部41cでの異常判定関連処理>
続いて、処理部41cでの異常判定関連処理の一例について、図12のフローチャートを用いて説明を行う。図12のフローチャートは、例えば自車のパワースイッチがオンになった状態において開始される構成とすればよい。なお、パワースイッチがオンになった状態において定期的に開始される構成としてもよい。
まず、ステップS41では、走行特定部402で自車が走行中と特定した場合(S41でYES)には、ステップS43に移る。一方、走行特定部402で自車が停止中と特定した場合(S41でNO)には、ステップS42に移る。
ステップS42では、S2と同様に、異常判定関連処理の終了タイミングであった場合(S42でYES)には、異常判定関連処理を終了する。一方、異常判定関連処理の終了タイミングでなかった場合(S42でNO)には、S41に戻って処理を繰り返す。
ステップS43では、画像取得部401が、LiDAR装置3から出力されてくる反射光画像及び背景光画像を取得する。図中では、背景光画像をBliと示し、反射光画像をRliと示す。
ステップS44では、変化特定部403cが、S3で逐次取得する反射光画像及び背景光画像から、所定時間における反射光強度変化の有無と、その所定時間における背景光強度変化の有無を特定する。前述したように、実施形態4では、変化特定部403cで用いる反射光画像は、背景光の輝度情報も含んでいる。ステップS45では、輝度特定部404cが、S44で光強度の変化の有無を特定した反射光画像及び背景光画像を用いて、それぞれの輝度の高低を特定する。前述したように、実施形態4では、輝度特定部404cで用いる反射光画像も、背景光の輝度情報を含んでいる。
ステップS46では、比較部406が、S44で光強度の変化の有無を特定した反射光画像及び背景光画像を用いて、背景光画像の光強度を差し引かない反射光画像の光強度と、背景光画像の光強度とが同一か否かを判定する。
ステップS47では、S44で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合(S47でYES)には、ステップS48に移る。一方、S44で反射光強度変化及び背景光強度変化のいずれかでも無しと特定した場合(S47でNO)には、ステップS51に移る。
ステップS48では、S46で同一と判定した場合(S48でYES)には、ステップS49に移る。一方、S46で同一でないと判定した場合(S48でNO)には、ステップS50に移る。ステップS49では、異常判定部405cが、発光部31の故障と判定し、異常判定関連処理を終了する。ステップS50では、異常判定部405cが、異常なしと判定し、異常判定関連処理を終了する。
ステップS51では、S44で反射光強度変化及び背景光強度変化のいずれも無しと特定した場合(S51でYES)には、ステップS53に移る。一方、S44で反射光強度変化及び背景光強度変化の一方のみが無しと特定した場合(S51でNO)には、ステップS51に移る。
ステップS52では、異常判定部405cが、暗所若しくは夜間と判定し、異常判定関連処理を終了する。実施形態4では、前述したように、変化特定部403cで反射光強度変化を無しと特定する一方、背景光強度変化を有りと特定する組み合わせはないものとする。
ステップS53では、両方変化無し時処理を行って、異常判定関連処理を終了する。ここで、図13のフローチャートを用いて、両方変化無し時処理の流れの一例について説明する。
まず、ステップS531では、輝度特定部404cで反射光画像及び背景光画像のいずれの輝度も高いと特定した場合(S531でYES)には、ステップS532に移る。一方、輝度特定部404cで反射光画像及び背景光画像の少なくともいずれかの輝度が低いと特定した場合(S531でNO)には、ステップS533に移る。
ステップS532では、異常判定部405cが、異常の種類を、LiDAR装置3の受光素子321の異常、若しくは検出エリアに輝度の高い光源が存在することによる異常と判定し、異常判定関連処理を終了する。
ステップS533では、輝度特定部404cで反射光画像及び背景光画像のいずれの輝度も低いと特定した場合(S533でYES)には、ステップS534に移る。一方、輝度特定部404cで特定した反射光画像及び背景光画像の輝度の高低が、反射光画像と背景光画像とで食い違っていた場合(S533でNO)には、ステップS535に移る。ステップS534では、異常判定部405cが、受光素子321の異常と判定し、異常判定関連処理を終了する。
ステップS535では、輝度特定部404cで反射光画像の輝度が高いと特定したが背景光画像の輝度は低いと特定した場合(S535でYES)には、ステップS536に移る。一方、輝度特定部404cで反射光画像の輝度が低いと特定したが背景光画像の輝度は高いと特定した場合(S535でNO)には、ステップS534に移る。つまり、異常判定部405cが、受光素子321の異常と判定し、異常判定関連処理を終了する。
ステップS536では、異常判定部405cが、異常の種類を、LiDAR装置3の光学窓の汚れと判定し、異常判定関連処理を終了する。なお、S45の処理よりも前にS47の処理を行い、S44で反射光強度変化及び背景光強度変化のいずれも有りと特定した場合には、輝度特定部404cでの処理を省略する構成としてもよい。これによれば、輝度特定部404cでの無駄な処理を軽減することが可能になる。また、S46の処理よりも前にS47の処理を行い、S44で反射光強度変化及び背景光強度変化のいずれかでも無しと特定した場合には、比較部406での処理を省略する構成としてもよい。これによれば、比較部406での無駄な処理を軽減することが可能になる。他にも、S45とS46との処理を、順序を入れ替えて行ってもよいし、並行して行ってもよい。
<実施形態4のまとめ>
実施形態4の構成によっても、前述したように、反射光強度変化の有無と背景光強度変化の有無との組み合わせを用いることで、LiDAR装置3の異常をより詳細に判定することが可能になる。また、実施形態4の構成と実施形態2,3との構成とを組み合わせてもよい。
(実施形態5)
前述の実施形態では、センサユニット2,2a,2b,2cが走行特定部402を備える構成を示したが、必ずしもこれに限らない。例えば、センサユニット2,2a,2b,2cが走行特定部402を備えない構成としてもよい。つまり、自車が走行中か否かに応じて処理を異ならせない構成としてもよい。
(実施形態6)
前述の実施形態では、センサユニット2,2a,2b,2cが車両で用いられる場合を例に挙げて説明したが、必ずしもこれに限らない。例えば、センサユニット2,2a,2b,2cが車両以外の移動体で用いられる構成としてもよい。車両以外の移動体としては、例えばドローン等が挙げられる。ドローン等の車両以外の移動体でセンサユニット2,2a,2b,2cを用いる場合には、車速センサ5の検出結果から走行中か否かを特定する代わりに、加速度センサの検出結果から移動体が移動中か否かを特定すればよい。また、センサユニット2,2a,2b,2cが移動体以外の静止物体で用いられる構成としてもよい。静止物体としては、例えば路側機等が挙げられる。静止物体でセンサユニット2,2a,2b,2cを用いる場合には、センサユニット2,2a,2b,2cを用いる物体が移動中か否かを特定する機能をセンサユニット2,2a,2b,2cが備えない構成とすればよい。
なお、本開示は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された1つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと1つ以上のハードウェア論理回路との組み合わせにより構成された1つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
(開示されている技術的思想)
この明細書は、以下に列挙された複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式(a multiple dependent form)により記載されている場合がある。さらに、いくつかの項は、他の多項従属形式の項を引用する多項従属形式(a multiple dependent form referring to another multiple dependent form)により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。
(技術的思想1)
検出エリアに発光部によって照射した光の反射光をLiDAR装置(3,3b)の受光素子(321)にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子(321,811)にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部(401,401b)と、
前記画像取得部で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定部(403,403a,403c)と、
前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記LiDAR装置の異常の種類を区別して判定する異常判定部(405,405c)とを備える異常判定装置。
(技術的思想2)
技術的思想1に記載の異常判定装置であって、
移動体で用いることが可能なものであって、
前記移動体が移動中か否かを特定する移動特定部(402)を備え、
前記変化特定部(403,403c)は、前記移動特定部で前記移動体が移動中と特定している期間の前記所定時間における、前記反射光画像の光強度の変化である反射光強度変化の有無と前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。
(技術的思想3)
技術的思想1に記載の異常判定装置であって、
移動体で用いることが可能なものであって、
前記移動体が移動中か否かを特定する移動特定部(402)を備え、
前記変化特定部(403a)は、前記移動特定部で前記移動体が移動中と特定している場合には、前記所定時間を、前記移動特定部で前記移動体が停止中と特定している場合に比べて短く切り替えて、前記所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。
(技術的思想4)
技術的思想1~3のいずれか1項に記載の異常判定装置であって、
前記変化特定部(403)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引いた光強度の変化の有無を特定するものであり、
前記異常判定部は、前記変化特定部で前記反射光強度変化を無しと特定する一方、前記背景光強度変化を有りと特定した場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。
(技術的思想5)
技術的思想1~3のいずれか1項に記載の異常判定装置であって、
前記変化特定部(403c)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記変化特定部で前記光強度の変化の有無を特定するのに用いる、前記背景光画像の光強度を差し引かない前記反射光画像の光強度と、前記背景光画像の光強度とが同一か否かを判定する比較部(406)を備え、
前記異常判定部(405c)は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも有りと特定する場合であって、且つ、前記比較部で前記反射光画像と前記背景光画像との光強度が同一と特定する場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。
(技術的思想6)
技術的思想1~5のいずれか1項に記載の異常判定装置であって、
前記画像取得部で取得する前記反射光画像及び前記背景光画像のそれぞれの輝度の高低を特定する輝度特定部(404,404c)を備え、
前記異常判定部は、前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせに加え、前記輝度特定部で特定する前記反射光画像の輝度の高低と前記背景光画像の輝度の高低との組み合わせも用いて、前記LiDAR装置の異常の種類を区別して判定する異常判定装置。
(技術的思想7)
技術的思想6に記載の異常判定装置であって、
前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像の輝度が高いと特定するが前記背景光画像の輝度は低いと特定する場合には、前記異常の種類を、前記検出エリアと前記LiDAR装置の受光素子との間に位置する前記LiDAR装置の光学窓の汚れと判定する異常判定装置。
(技術的思想8)
技術的思想6又は7に記載の異常判定装置であって、
前記変化特定部(403c)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記輝度特定部(404c)は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
前記異常判定部(405c)は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高いと特定する場合には、前記異常の種類を、前記LiDAR装置の受光素子の異常若しくは前記検出エリアに輝度の高い光源が存在することによる異常と判定する異常判定装置。
(技術的思想9)
技術的思想6~8のいずれか1項に記載の異常判定装置であって、
前記変化特定部(403c)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
前記輝度特定部(404c)は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
前記異常判定部(405c)は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も低いと特定する場合には、前記異常の種類を、前記LiDAR装置の受光素子の異常と判定する異常判定装置。
(技術的思想10)
技術的思想6又は7に記載の異常判定装置であって、
前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高い若しくは低いと特定する場合には、前記異常の種類を、前記LiDAR装置の受光素子の異常と判定する異常判定装置。
(技術的思想11)
技術的思想1~10のいずれか1項に記載の異常判定装置であって、
前記画像取得部(401)は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ受光素子(321)にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子(321)にて前記反射光の検出と異なるタイミングで検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。
(技術的思想12)
技術的思想1~10のいずれか1項に記載の異常判定装置であって、
前記画像取得部(401b)は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ前記LiDAR装置の受光素子(321)にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子とは異なる、可視領域に感度を持つ受光素子(811)にて検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。
1,1a,1b,1c 車両用システム、2,2a,2b,2c センサユニット、3,3b LiDAR装置、4,4a,4b,4c 画像処理装置(異常判定装置)、8 外界カメラ、321 受光素子、401,401b 画像取得部、402 走行特定部(移動特定部)、403,403a,403c 変化特定部、404,404c 輝度特定部、405,405c 異常判定部、406 比較部、811 受光素子

Claims (14)

  1. 検出エリアに発光部によって照射した光の反射光をLiDAR装置(3,3b)の受光素子(321)にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子(321,811)にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得部(401,401b)と、
    前記画像取得部で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定部(403,403a,403c)と、
    前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記LiDAR装置の異常の種類を区別して判定する異常判定部(405,405c)とを備える異常判定装置。
  2. 請求項1に記載の異常判定装置であって、
    移動体で用いることが可能なものであって、
    前記移動体が移動中か否かを特定する移動特定部(402)を備え、
    前記変化特定部(403,403c)は、前記移動特定部で前記移動体が移動中と特定している期間の前記所定時間における、前記反射光画像の光強度の変化である反射光強度変化の有無と前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。
  3. 請求項1に記載の異常判定装置であって、
    移動体で用いることが可能なものであって、
    前記移動体が移動中か否かを特定する移動特定部(402)を備え、
    前記変化特定部(403a)は、前記移動特定部で前記移動体が移動中と特定している場合には、前記所定時間を、前記移動特定部で前記移動体が停止中と特定している場合に比べて短く切り替えて、前記所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する異常判定装置。
  4. 請求項1に記載の異常判定装置であって、
    前記変化特定部(403)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引いた光強度の変化の有無を特定するものであり、
    前記異常判定部は、前記変化特定部で前記反射光強度変化を無しと特定する一方、前記背景光強度変化を有りと特定した場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。
  5. 請求項1に記載の異常判定装置であって、
    前記変化特定部(403c)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
    前記変化特定部で前記光強度の変化の有無を特定するのに用いる、前記背景光画像の光強度を差し引かない前記反射光画像の光強度と、前記背景光画像の光強度とが同一か否かを判定する比較部(406)を備え、
    前記異常判定部(405c)は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも有りと特定する場合であって、且つ、前記比較部で前記反射光画像と前記背景光画像との光強度が同一と特定する場合には、前記異常の種類を、前記発光部の故障と判定する異常判定装置。
  6. 請求項1に記載の異常判定装置であって、
    前記画像取得部で取得する前記反射光画像及び前記背景光画像のそれぞれの輝度の高低を特定する輝度特定部(404,404c)を備え、
    前記異常判定部は、前記変化特定部で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせに加え、前記輝度特定部で特定する前記反射光画像の輝度の高低と前記背景光画像の輝度の高低との組み合わせも用いて、前記LiDAR装置の異常の種類を区別して判定する異常判定装置。
  7. 請求項6に記載の異常判定装置であって、
    前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像の輝度が高いと特定するが前記背景光画像の輝度は低いと特定する場合には、前記異常の種類を、前記検出エリアと前記LiDAR装置の受光素子との間に位置する前記LiDAR装置の光学窓の汚れと判定する異常判定装置。
  8. 請求項6に記載の異常判定装置であって、
    前記変化特定部(403c)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
    前記輝度特定部(404c)は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
    前記異常判定部(405c)は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高いと特定する場合には、前記異常の種類を、前記LiDAR装置の受光素子の異常若しくは前記検出エリアに輝度の高い光源が存在することによる異常と判定する異常判定装置。
  9. 請求項6に記載の異常判定装置であって、
    前記変化特定部(403c)は、前記反射光強度変化の有無として、前記反射光画像の光強度から前記背景光画像の光強度を差し引かない光強度の変化の有無を特定するものであり、
    前記輝度特定部(404c)は、前記反射光画像及び前記背景光画像のそれぞれの輝度の高低として、前記背景光画像の光強度を差し引かない前記反射光画像と、前記背景光画像との輝度の高低を特定するものであり、
    前記異常判定部(405c)は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像の輝度は低いと特定するが前記背景光画像の輝度は高いと特定する場合には、前記異常の種類を、前記LiDAR装置の受光素子の異常と判定する異常判定装置。
  10. 請求項6に記載の異常判定装置であって、
    前記異常判定部は、前記変化特定部で前記反射光強度変化及び前記背景光強度変化のいずれも無しと特定する場合であって、前記輝度特定部で前記反射光画像及び前記背景光画像のいずれの輝度も高い若しくは低いと特定する場合には、前記異常の種類を、前記LiDAR装置の受光素子の異常と判定する異常判定装置。
  11. 請求項1~10のいずれか1項に記載の異常判定装置であって、
    前記画像取得部(401)は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ受光素子(321)にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子(321)にて前記反射光の検出と異なるタイミングで検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。
  12. 請求項1~10のいずれか1項に記載の異常判定装置であって、
    前記画像取得部(401b)は、前記検出エリアに照射した光の反射光を、可視外領域に感度を持つ前記LiDAR装置の受光素子(321)にて検出することにより得られる、反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を、その受光素子とは異なる、可視領域に感度を持つ受光素子(811)にて検出することにより得られる、環境光の強度分布を表す背景光画像とを取得する異常判定装置。
  13. 少なくとも1つのプロセッサにより実行される、
    検出エリアに発光部によって照射した光の反射光をLiDAR装置(3,3b)の受光素子(321)にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子(321,811)にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、
    前記画像取得工程で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、
    前記変化特定工程で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記LiDAR装置の異常の種類を区別して判定する異常判定工程とを含む異常判定方法。
  14. 少なくとも1つのプロセッサに、
    検出エリアに発光部によって照射した光の反射光をLiDAR装置(3,3b)の受光素子(321)にて検出することにより得られる反射光の強度分布を表す反射光画像と、前記反射光を含まない前記検出エリアの環境光を受光素子(321,811)にて検出することにより得られる環境光の強度分布を表す背景光画像とを取得する画像取得工程と、
    前記画像取得工程で逐次取得する前記反射光画像及び前記背景光画像から、所定時間における前記反射光画像の光強度の変化である反射光強度変化の有無と、前記所定時間における前記背景光画像の光強度の変化である背景光強度変化の有無とを特定する変化特定工程と、
    前記変化特定工程で特定する前記反射光強度変化の有無と前記背景光強度変化の有無との組み合わせを用いて、前記LiDAR装置の異常の種類を区別して判定する異常判定工程とを含む処理を実行させる異常判定プログラム。
JP2022162553A 2021-12-02 2022-10-07 異常判定装置、異常判定方法、及び異常判定プログラム Active JP7505530B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041384 WO2023100598A1 (ja) 2021-12-02 2022-11-07 異常判定装置、異常判定方法、及び異常判定プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021196331 2021-12-02
JP2021196331 2021-12-02

Publications (2)

Publication Number Publication Date
JP2023082659A JP2023082659A (ja) 2023-06-14
JP7505530B2 true JP7505530B2 (ja) 2024-06-25

Family

ID=86728329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022162553A Active JP7505530B2 (ja) 2021-12-02 2022-10-07 異常判定装置、異常判定方法、及び異常判定プログラム

Country Status (1)

Country Link
JP (1) JP7505530B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210003711A1 (en) 2019-07-03 2021-01-07 Uatc, Llc Lidar fault detection system
US20210041539A1 (en) 2019-08-07 2021-02-11 Infineon Technologies Ag Method and apparatus for determining malfunction, and sensor system
WO2021075404A1 (ja) 2019-10-16 2021-04-22 株式会社デンソー 車載の異常検出装置
JP7063856B2 (ja) 2019-07-30 2022-05-09 株式会社Soken 表示制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210003711A1 (en) 2019-07-03 2021-01-07 Uatc, Llc Lidar fault detection system
JP7063856B2 (ja) 2019-07-30 2022-05-09 株式会社Soken 表示制御装置
US20210041539A1 (en) 2019-08-07 2021-02-11 Infineon Technologies Ag Method and apparatus for determining malfunction, and sensor system
WO2021075404A1 (ja) 2019-10-16 2021-04-22 株式会社デンソー 車載の異常検出装置

Also Published As

Publication number Publication date
JP2023082659A (ja) 2023-06-14

Similar Documents

Publication Publication Date Title
US7580545B2 (en) Method and system for determining gaze direction in a pupil detection system
JP6586239B2 (ja) 撮影装置及び撮影方法
JP5983575B2 (ja) 操作入力装置、操作入力方法およびプログラム
US20190293791A1 (en) Image capture control device, image capture control method, and recording medium
JP2014171214A (ja) 画像処理装置
US11662443B2 (en) Method and apparatus for determining malfunction, and sensor system
KR20190098242A (ko) 차량 주변 환경을 특성화하기 위한 시스템
US20200213499A1 (en) Active sensor, object identification system, vehicle and vehicle lamp
JP7505530B2 (ja) 異常判定装置、異常判定方法、及び異常判定プログラム
JP2008232837A (ja) 欠陥強調・欠陥検出の方法および装置、プログラム
WO2018105476A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
KR102122275B1 (ko) 배광 특성 측정 장치 및 배광 특성 측정 방법
WO2023100598A1 (ja) 異常判定装置、異常判定方法、及び異常判定プログラム
CN118339475A (zh) 异常判定装置、异常判定方法、以及异常判定程序
CN114599999A (zh) 移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计系统
WO2023286542A1 (ja) 物体検知装置および物体検知方法
WO2023047886A1 (ja) 車両検出装置、車両検出方法、及び車両検出プログラム
JP6252657B2 (ja) 調整装置、調整方法およびプログラム
US20240221399A1 (en) Vehicle detection device, vehicle detection method, and non transitory computer-readable medium
US20150116500A1 (en) Image pickup apparatus
JP6222306B2 (ja) 調整装置、およびプログラム
JP6712886B2 (ja) 撮像装置、撮像方法、および車両
WO2017134918A1 (ja) 視線検出装置
WO2023085403A1 (ja) センシングシステム
CN112351270B (zh) 确定故障的方法和装置以及传感器系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240527