JP7235308B2 - 物体識別装置、及び物体識別プログラム - Google Patents

Description

本発明は、物体識別装置、及び物体識別プログラムに関する。

移動体に搭載されたカメラ等の撮影部によって撮影された撮影画像に基づいて、道路等に配置されている物体を識別する技術が提案されている。

例えば、物体を識別する技術として、ステレオカメラによって撮影された画像を領域毎に分割して、物体を識別し、物体までの距離を導出する技術がある（特許文献１参照）。この技術では、画像を領域毎に分割して補正した物体画像と、距離を算出するための距離画像とを取得し、物体画像、及び距離画像を比較することで、物体を識別し、物体までの距離を導出している。

特開２０１９－０２７８８２号公報

しかしながら、特許文献１に記載の技術では、太陽及び街灯等の環境光による物体画像の変化が考慮されていない。これでは、環境光及び反射光等の環境条件が変動することによって、物体の識別性能が低下してしまう可能性がある。そのため、特許文献１の技術では、必ずしも安定して物体を識別できるとは限らなかった。

本開示は、以上の事情を鑑みて成されたものであり、多くの再帰反射体及び発光体が含まれる道路環境において、環境条件が変動した場合であっても、安定して物体を識別することができる物体識別装置、及び物体識別プログラムを提供することを目的とする。

上記目的を達成するために、物体識別装置において、移動体が走行する道路を含む対象物に光を照射する照射部と、照射部から照射された光に照らされた対象物の画像である第一の輝度画像、照射部から照射された光に照らされていない対象物の画像である第二の輝度画像、及び各画素が対象物までの距離を表す画像である距離画像を取得する取得部と、取得部によって取得された第一の輝度画像、第二の輝度画像、及び距離画像を用いて、対象物を識別する識別部と、を備えている。

また、物体識別装置において、識別部は、対象物のうち、道路を示す道路領域、道路領域に存在する物である路上物体、及び道路領域以外の領域の少なくとも１つを識別する。

また、物体識別装置において、識別部は、照射部から照射された光を反射する再帰反射体、及び自ら発光する発光体の少なくとも一方を識別する。

また、物体識別装置において、識別部は、対象物を識別した結果に応じて、又は一定時刻毎に、第一の輝度画像、第二の輝度画像、及び距離画像の少なくとも１つを組み合わせて、又は選択して、対象物を識別する。

また、物体識別装置において、識別部は、予め学習させたニューラルネットワークを用いて、対象物を識別する。

また、物体識別装置において、ニューラルネットワークは、画像の特徴を特徴量として抽出した特徴量マップの解像度を小さくしない畳み込み構造を有する。

また、物体識別装置において、ニューラルネットワークは、解像度が異なる複数の特徴量マップを統合する畳み込み構造を有する。

一方、上記目的を達成するために、物体識別プログラムは、移動体が走行する道路を含む対象物に光を照射する照射ステップと、照射部から照射された光に照らされた対象物を含む画像である第一の輝度画像、照射部から照射された光に照らされていない対象物を含む画像である第二の輝度画像、及び対象物までの距離を測定するための画像である距離画像を取得する取得ステップと、前記取得ステップで取得した第一の輝度画像、第二の輝度画像、及び距離画像を用いて、対象物を識別する識別手段を有する識別ステップと、をコンピュータに実行させる。

第１の態様及び第８の態様の物体識別装置によれば、多くの再帰反射体及び発光体が含まれる道路環境において、環境条件が変動した場合であっても、安定して物体を識別することができる。

また、第２の態様の物体識別装置によれば、道路領域、路上物体及び道路領域以外の領域を識別する場合、物体を識別する性能を向上させることができる。

また、第３の態様の物体識別装置によれば、再帰反射体及び発光体を識別する場合、物体を識別する性能を向上させることができる。

また、第４の態様の物体識別装置によれば、日照条件等の環境条件が動的に変化する場合であっても、安定して物体を識別することができる。

また、第５の態様の物体識別装置によれば、ニューラルネットワークを用いて、物体を識別することで、物体を識別する性能を向上させることができる。

また、第６の態様の物体識別装置によれば、特徴量マップの解像度を小さくしないため、小さい物体を高い性能で識別することができる。

また、第７の態様の物体識別装置によれば、異なる解像度の特徴量マップを用いることで、異なる大きさの物体を高い性能で識別することができる。

各実施形態に係る物体識別装置の構成の一例を示すブロック図である。 各実施形態に係る物体識別装置の機能的な構成の一例を示すブロック図である。 各実施形態に係る識別処理の説明に供するニューラルネットワークの処理の流れの一例を示すブロック図である。 各実施形態に係る識別処理の説明に供する入力データの一例を示す概略図である。 各実施形態に係る識別処理の説明に供する出力データの一例を示す概略図である。 第１実施形態に係る物体識別処理の一例を示すフローチャートである。 第１実施形態の変形例に係る物体識別装置のハードウェア構成の一例を示すブロック図である。 第１実施形態の変形例に係る物体識別装置の照射部の構成の一例を示す模式図である。 第１実施形態の変形例に係る物体識別装置の受光ＬＳＩの構成の一例を示す模式図である。 第１実施形態の変形例に係る検出位置の説明に供する照射器の一例を示す模式図である。 第２実施形態に係る識別処理の切り替えの説明に供する物体識別装置入出力の一例を示すブロック図である。 第２実施形態に係る物体識別処理の一例を示すフローチャートである。 第３実施形態に係る物体識別処理の一例を示すフローチャートである。

［第１実施形態］
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態は、移動体に搭載されたカメラによって、撮影された画像を用いて、物体を識別する物体識別装置について詳細に説明する。また、本実施形態に係る移動体は、車両である形態について説明する。しかし、これに限定されない。移動体は、撮影対象に道路を含めば、飛行する物体であってもよい。以下、車両に搭載された物体識別装置について詳細に説明する。

図１は、各実施形態に係る物体識別装置１の構成の一例を示すブロック図である。図１に示すように、本実施形態に係る物体識別装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ストレージ１４、カメラ１５、照射器１６、及び通信インターフェース（通信Ｉ／Ｆ）１７を含んで構成されている。ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ストレージ１４、カメラ１５、照射器１６、及び通信Ｉ／Ｆ１７の各々はバス１８により相互に接続されている。

ＣＰＵ１１は、物体識別装置１の全体を統括、制御する。ＲＡＭ１２は、各種プログラムの実行時のワークエリアとして用いられるメモリである。ＲＯＭ１３は、本実施形態で用いる物体を識別する物体識別プログラムを含む各種プログラムやデータ等を記憶している。ＣＰＵ１１は、ＲＯＭ１３に記憶されたプログラムをＲＡＭ１２に展開して実行することにより、画像の撮影や、物体の識別を行う。

ストレージ１４には、本実施形態に係る撮影した画像、物体識別処理を行った出力結果、及び出力結果と比較するためのラベルデータ等を格納している。ストレージ１４は、一例としてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等である。なお、ストレージ１４には撮影した画像、物体識別処理を行った出力結果、及びラベルデータの他に、物体識別プログラム等を記憶してもよい。

カメラ１５は、一例として、車両のフロントガラス上部等に設けられ、車両の前方を撮影する。カメラ１５は、例えば、車幅方向の略中央部付近に設けられ、かつカメラ１５の光軸が水平方向を向くように配置されている。なお、本実施形態では、カメラ１５を車両の前方を撮影するように設ける形態を例示して説明する。しかし、これに限定されない。物体識別プログラム等のアプリケーションの処理に応じて、例えば、車両の後方及び側方を撮影するようにカメラ１５を設置してもよい。また、本実施形態では、カメラ１５としてステレオカメラを例示して説明する。

照射器１６は、ヘッドライトのように、車両が走行する前方のバンパー上部等に設けられ、カメラ１５のシャッターに同期して、車両の前方に照明光を照射する。なお、本実施形態に係る照射器１６は、照明光を照射するものであれば、特に限定されるものではなく、任意の構成としてよい。例えば、照射器１６は、車両にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ライトが搭載されてもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ライトが搭載されてもよい。また、本実施形態に係る照射器１６が照射する方向は、物体識別プログラム等のアプリケーションの処理に応じて、後方及び側方に照明光を照射してもよい。

通信Ｉ／Ｆ１７は、データの送受信を行う。なお、本実施形態では、カメラ１５を備えた物体識別装置１が車両に搭載されている形態について説明する。しかし、これに限定されない。車両に搭載されたカメラ１５によって撮影された画像を、通信Ｉ／Ｆ１７を通して別の場所に設置されている物体識別装置１に送信して物体を識別する処理を行ってもよい。

次に、図２を参照して、物体識別装置１の機能構成について説明する。図２は、各実施形態に係る物体識別装置１の機能的な構成の一例を示すブロック図である。

図２に示すように、物体識別装置１は、照射部２１、取得部２２、及び識別部２３を有する。ＣＰＵ１１が物体識別プログラムを実行することで、照射部２１、取得部２２、及び識別部２３として機能する。

照射部２１は、照射器１６を含み、車両が走行する道路を含む対象物に光を照射する。

取得部２２は、カメラ１５によって撮影され、照射部２１から照射された光に照らされた対象物の画像（以下。「第一の輝度画像」という。）、及び照射部２１から照らされた光に照らされていない対象物の画像（以下、「第二の輝度画像」という。）を取得する。また、取得部２２は、対象物までの距離を測定した画像（以下、「距離画像」という。）を取得する。

第一の輝度画像は、照射部２１により光が照射されている期間に撮影され、照射部２１の光を反射した状態の対象物の画像である。第二の輝度画像は、照射部２１により光が照射されていない期間に撮影され、照射部２１の光を反射していない状態の対象物の画像である。また、距離画像は、複数のカメラ１５を用いて撮影した画像の視差を利用して、対象物までの距離を測定した画像である。

識別部２３は、取得部２２によって取得された第一の輝度画像、第二の輝度画像、及び距離画像を用いて、対象物を識別する。具体的には、例えば、識別部２３は、対象物のうち、道路を示す道路領域、道路領域に存在する路上物体、及び道路領域以外の対象物を識別する。更に、識別部２３は、照射部２１から照射された光を照射部２１の方向に反射する対象物（以下、「再帰反射体」という。）、及び自ら発光する対象物（以下、「発光体」という。）を識別してもよい。この場合、識別部２３は、第一の輝度画像及び第二の輝度画像を用いて、再帰反射体及び発光体の識別を行う。再帰反射体に光を照射すると照射部２１の方向、すなわちカメラ１５の方向に反射光が返ってくるため、再帰反射体は、照射部２１から照射された光に照らされていない第二の輝度画像と比較して、第一の輝度画像では、照射部２１から照射された光を反射して、大きく検出される性質がある。また、第一の輝度画像及び第二の輝度画像を比較すると、発光体は、第一の輝度画像及び第二の輝度画像共に検出される。しかし、再帰反射体は、照射した光を反射するため、対象物が照射された光に照らされている第一の輝度画像にのみ、明確に検出される性質がある。これらの性質により、再帰反射体及び発光体の識別することができる。

識別部２３は、予め学習させたニューラルネットワークを用いて、対象物を識別する。

なお、本実施形態に係るニューラルネットワークは、一例として、画像データの特徴を特徴量として抽出した特徴量マップを作成する畳み込み構造を有する。また、本実施形態に係るニューラルネットワークは、特徴量マップの解像度を小さくしない畳み込み構造、及び解像度が異なる複数の特徴量マップを統合する畳み込み構造も有する。

次に、物体識別装置１の作用について説明する前に、図３から図５を参照して、予め学習させたニューラルネットワークを用いて、物体を識別する手法について説明する。図３は、各実施形態に係る識別処理の説明に供するニューラルネットワークの処理の流れの一例を示すブロック図である。本実施形態に係るニューラルネットワークは、一例として、中間層において、畳み込み処理、及びプーリング処理を行う畳み込みニューラルネットワークについて、説明する。また、入力層では、幅２５６画素、高さ２５６画素の第一の輝度画像、第二の輝度画像、及び距離画像の３種類の画像データが入力された例について説明する。

図３に示すように、本実施形態に係る畳み込みニューラルネットワークには、入力層、出力層、及び中間層があり、中間層には、エンコード層と、デコード層と、統合層とが含まれる。

エンコード層では、畳み込み処理、拡張畳み込み処理、及びプーリング処理を行い、入力された特徴マップの圧縮を行う。畳み込み処理は、フィルタを用いて入力された画像データから特徴量を抽出し、抽出した特徴量を配置した特徴量マップを作成する。

拡張畳み込み処理は、畳み込み処理を行う際に、フィルタを施す間隔を広げ、フィルタを適用する箇所を調整する畳み込み処理である。拡張畳み込み処理を適用すると、大きな特徴量マップであっても隅々まで特徴量を抽出でき、かつ入力された特徴量マップと、出力する特徴量マップとを同じ大きさにすることができる。

プーリング処理は、入力された特徴量マップを圧縮する処理である。具体的には、プーリング処理は、入力された特徴量マップをいくつかの領域に分割し、分割した領域内において、最も大きい特徴量を抽出し、抽出した特徴量を配置して特徴量マップを作成する処理である。

従来の畳み込みニューラルネットワークでは、畳み込み処理と、プーリング処理とを組み合わせて処理を行う畳み込み構造を有し、特徴量マップの圧縮を行っている。しかし、本実施形態では、畳み込み処理と、拡張畳み込み処理とを組み合わせて処理を行う特徴量を小さくしない畳み込み構造を有している。これにより、特徴量マップの解像度を維持し、かつ異なる解像度の特徴量マップを作成することができる。

デコード層では、入力された特徴量マップを拡大して、畳み込みを行う逆畳み込み処理を行う。本実施形態では、一例として、それぞれ入力された特徴量マップを幅２５６画素、高さ２５６画素まで拡張する。具体的には、特徴量マップの特徴量の間に所定の特徴量を挿入（例えば０を挿入）して特徴量を拡大し、畳み込み処理を行うことで、入力データと比較して、解像度が拡大して、データサイズが大きくなった出力データを出力することができる。

統合層では、拡張した各々の解像度の出力データを統合し、統合した特徴量マップに畳み込み処理を行い、特徴量マップを作成する。畳み込み処理及びプーリング処理を行うと、特徴量マップの解像度が小さくなるため、詳細な情報が得られなくなり、小さな対象物を識別できないことがある。しかし、異なる解像度の出力データを統合することで、画像データの全体的な特徴を捉えながら、かつ小さな対象物等の詳細な特徴を捉えることができる。

出力層では、統合層で作成された出力データと、ストレージ１４に記憶されているラベルデータとを比較し、対象物の識別を行う。

なお、本実施形態では、拡張畳み込み処理を行うことで、入力した特徴量マップと、出力する特徴量マップを同じ大きさにする形態について説明した。しかし、これに限定されない。畳み込み処理を行う際に、特徴量マップの周囲に所定の特徴量を配置（例えば０を配置）し、畳み込み処理を行い、入力した特徴量マップと、出力する特徴量マップを同じ大きさにしてもよい。また、本実施形態に係るプーリング処理では、特徴量マップの分割された領域内において、最も大きい特徴量を抽出する形態について説明した。しかし、これに限定されない。プーリング処理は、分割された領域内の特徴量の平均値を算出して抽出する形態としてもよい。

次に、図４を参照して、本実施形態に係るニューラルネットワークに入力される入力データについて、説明する。図４は、各実施形態に係る識別処理の説明に供する入力データの一例を示す概略図である。

図４の左図は、第一の輝度画像、図４の中央図は、第二の輝度画像、図４の右図は、距離画像を示している。図４に示す画像を入力データとして、ニューラルネットワークに識別処理させることで、出力データを出力する。

次に、図５を参照して、本実施形態に係るニューラルネットワークから出力される出力データについて、説明する。図５は、各実施形態に係る識別処理の説明に供する出力データの一例を示す概略図である。

図５に示す画像は、本実施形態に係るニューラルネットワークに入力データとして、第一の輝度画像、第二の輝度画像、及び距離画像が入力され、識別処理を行った結果、出力される画像データである。図５に示すように、画像データは、識別する対象物として、車両が走行する道路である道路領域５３、道路領域以外の領域５４、及び道路領域５３に設置されている対象物である路上物体５５の識別を可能にして表示することができる。

次に、図６を参照して、本実施形態に係る物体識別プログラムの作用について説明する。まず、図６は、第１実施形態に係る物体識別処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１３又はストレージ１４から物体識別プログラムを読み出し、実行することによって、図６に示す物体識別処理が実行される。図６に示す物体識別処理は、例えば、ユーザにより車両が起動された場合、物体識別装置１に物体識別処理の実行指示が入力され、実行される。

ステップＳ１０１において、ＣＰＵ１１は、識別を開始するか否かの判定を行う。識別を開始する場合（ステップＳ１０１：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０２に移行する。一方、識別を開始しない場合（ステップＳ１０１：ＮＯ）、ＣＰＵ２１は、識別を開始するまで待機する。

ステップＳ１０２において、ＣＰＵ１１は、対象物に対して光を照射する。

ステップＳ１０３において、ＣＰＵ２１は、カメラ１５を用いて、第一の輝度画像、第二の輝度画像、及び距離画像を取得する。

ステップＳ１０４において、ＣＰＵ２１は、取得した第一の輝度画像、第二の輝度画像、及び距離画像を物体識別の入力データに設定する。

ステップＳ１０５において、ＣＰＵ２１は、設定した入力データを畳み込みニューラルネットワークに入力し、物体の識別を行う。

ステップＳ１０６において、ＣＰＵ２１は、物体を識別した結果を出力する。

ステップＳ１０７において、ＣＰＵ２１は、 識別処理を終了するか否かの判定を行う。識別処理を終了する場合（ステップＳ１０７：ＹＥＳ）、ＣＰＵ２１は、識別処理を終了する。一方、識別処理を終了しない場合（ステップＳ１０７：ＮＯ）、ＣＰＵ２１は、ステップＳ１０２に移行する。

以上説明したように、本実施形態によれば、第一の輝度画像、第二の輝度画像、及び距離画像を用いて、物体を識別することができる。従って、環境条件が変動した場合であっても、安定して物体を識別することができる。

［第１実施形態の変形例］
本実施形態では、車両の前方に照明光を照射する照射器１６、及び車両の前方を撮影するカメラ１５を用いて、第一の輝度画像、第二の輝度画像、及び距離画像を取得する形態について説明した。しかし、これに限定されない。車両の前方にレーザ光を照射する照射器１６ｂ、及びレーザ光を受光するセンサを備え、輝度画像及び対象物までの距離画像（対象物を検出した点群データ）を取得するＬｉＤＡＲ（Ｌａｓｅｒ ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）を用いてもよい。図７から図１０を参照して、第１実施形態の変形例について説明する。

図７は、第１実施形態の変形例に係る物体識別装置１のハードウェア構成の一例を示すブロック図である。なお、図７における図１に示す物体識別装置１のハードウェア構成と同一の構成要素については、図１と同一の符号を付して、その説明を省略する。

図７に示すように、本実施形態に係る物体識別装置１は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ストレージ１４、照射器１６ｂ、通信Ｉ／Ｆ１７、及びセンサ１９を含んで構成されている。ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ストレージ１４、カメラ１５、照射器１６、通信Ｉ／Ｆ１７、及びセンサ１９の各々はバス１８により相互に接続されている。以下、照射器１６ｂ及びセンサ１９について、説明する。

照射器１６ｂは、車両の前方にレーザ光を照射する。なお、本実施形態に係る照射器１６ｂには、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）が搭載されている形態について説明する。

センサ１９は、照射器１６ｂと一体となるように設けられ、車両の前方に照射され反射して返ってきたレーザ光を検出する。

照射器１６ｂ及びセンサ１９は、例えば、車幅方向の略中央部付近に設けられ、かつ照射器１６ｂ及びセンサ１９の光軸が水平方向を向くように配置されている。なお、本実施形態では、照射器１６ｂ及びセンサ１９は、車両の前方からの光を検出するように設ける形態を例示して説明する。しかし、これに限定されない。物体識別プログラム等のアプリケーションの処理によっては、車両の後方及び側方に設置して、車両の後方及び側方からの光を検出してもよい。

次に、図２を参照して、物体識別装置１の機能構成について説明する。第１実施形態の変形例においては、取得部２２が、第１実施形態と異なる。従って、取得部２２についてのみ説明する。

取得部２２は、照射部２１から照射（走査）されて対象物に反射したレーザ光をセンサ１９により検出して得たレーザ画像である第一の輝度画像を取得する。更に、取得部２２は、照射部２１により照射されておらず環境光によって照らされた画像である第二の輝度画像をセンサ１９により取得する。また、取得部２２は、対象物までの距離を測定した距離画像を取得する。

第一の輝度画像は、照射部２１により照射したレーザ光を対象物に反射させて得た画像である。第二の輝度画像は、対象物で反射したレーザ光を含まない画像である。距離画像は、レーザ光を照射してから反射光が返ってくるまでの時間を計測して、対象物までの距離を算出するＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式を用いて、距離を測定した画像（対象物までの距離を示した距離画像）である。

次に、図８から図１０を参照して、画像を取得する手法について説明する。まず、図８を参照して、レーザ光を照射する手法について説明する。図８は、第１実施形態の変形例に係る物体識別装置１の照射部２１と取得部２２との構成の一例を示す模式図である。

図８に示すように、照射器１６ｂは、ＬＤ３１、ポリゴンミラー３２、及び双曲面ミラー３３を備えている。センサ１９は、受光ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）３４を備えている。

照射器１６ｂは、ＬＤ３１から照射したレーザ光４１を図示しないコリメートレンズで平行にしたのち、ポリゴンミラー３２で反射させ、対象物にレーザ光４１を照射する。また、照射器１６ｂは、対象物に照射されたレーザ光４１が反射した光、又は対象物が反射した環境光の光である反射光４２をポリゴンミラー３２、及び双曲面ミラー３３で反射して、受光ＬＳＩ３４で受光する。

ポリゴンミラー３２は、光を反射する反射面を６面備えており、ポリゴンミラー３２が鉛直軸を中心に回転することで、レーザ光４１及び反射光４２を水平方向に走査させることができる。またポリゴンミラー３２の各面の俯角を変えることで、レーザ光４１及び反射光４２を垂直方向に走査させることができる。

双曲面ミラー３３は、ポリゴンミラー３２から反射された反射光４２を受光ＬＳＩ３４が配置されている位置に像を結ぶように反射する。

また、ＬＤ３１は、繰り返しレーザ光４１を照射し、ＬＤ３１がレーザ光４１を照射した時刻と、受光ＬＳＩ３４が反射光４２を受光した時刻とを比較することで、反射光４２が返ってくるまでの時間が算出される。算出された時間を用いて、反射光４２を反射した対象物までの距離が測定される。

次に、図９、１０を参照して、照射器１６ｂから照射されたレーザ光４１を検出する手法について説明する。図９は、第１実施形態の変形例に係る物体識別装置の受光ＬＳＩ３４の構成の一例を示す模式図である。図９は、受光ＬＳＩ３４が備えている環境光検出器３５及びレーザ光検出器３６を拡大した様子を上部に図示している。

環境光検出器３５は、対象物が反射した光又は対象物自身が発行して照射した光を受光する。以下では、太陽及び発光体から照射された光を対象物が反射した光と、対象物自身が発光した光とを、何れも環境光と呼ぶ。

図９に示すように、環境光検出器３５及びレーザ光検出器３６は、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）３７を縦４個、横６個配列して１つのシリコンフォトマルチプライヤを構成する。また、環境光検出器３５及びレーザ光検出器３６は、垂直方向にそれぞれ、１６個ずつアレイ状に配列されて構成される。また、受光ＬＳＩ３４おいて、環境光検出器３５は、レーザ光を含まない環境光が結像する焦点位置に設けられる。同様に受光ＬＳＩにおいて、レーザ光検出器３６は、レーザ光が結像する焦点位置に設けられる。環境光検出器３５及びレーザ光検出器３６は、並列に配置されるため、同一時刻において、それぞれ異なる検出位置から入射した光を検出する。検出位置については、後述する。

次に、図１０を参照して、受光ＬＳＩ３４が光を検出する検出位置について説明する。図１０は、第１実施形態の変形例に係る検出位置の説明に供する照射器１６ｂの一例を示す模式図である。

レーザ光が照射される位置及び間隔は、レーザ光の照射する入射角、レーザ光の照射する照射時間、及びポリゴンミラー３２の回転する角速度によって決まる。

例えば、図１０に示すように、照射器１６ｂから照射されたレーザ光が対象物に照射される位置を、現在の検出位置５０とする。そして、次の照射タイミングにおいて、照射器１６ｂから照射されたレーザ光が対象物に照射される別の位置を次回の検出位置５１とする。

レーザ光検出器３６が現在の検出位置５０で反射されたレーザ光を検出している時、環境光検出器３５は、レーザ光検出器３６と並列に配置されており、次回の検出位置５１の環境光を検出するように配置されている。その後、レーザ光検出器３６は、次回の検出位置５１で反射されたレーザ光を検出する。これにより、同じ検出位置５１から反射された環境光及びレーザ光が、それぞれ環境光検出器３５及びレーザ光検出器３６により検出されることになる。レーザ光検出器３６がレーザ光を受光する場合、環境光も含んでいる。従って、レーザ光検出器３６の検出結果から環境光検出器３５の検出結果を除くことにより、同じ検出位置５１のレーザ光のみの検出結果が測定できる。

なお、本実施形態では、環境光検出器３５及びレーザ光検出器３６を配置して、同一の位置の環境光とレーザ光とを検出する形態について説明した。しかし、これに限定されない。レーザ光検出器３６のみを配置してもよい。この場合、照射器１６ｂは、レーザ光を間欠的に規則的に照射する。そして、照射器１６ｂによりレーザ光が照射されている期間の受光は、レーザ光の検出として判定し、レーザ光が照射されていない期間の受光は、環境光の検出として判定してもよい。

以上説明したように、本実施形態の変形例によれば、照射部２１によって照射されて得た第一の輝度画像、環境光のみによって照らされた第二の輝度画像、及び距離画像を取得することができる。取得した第一の輝度画像、第二の輝度画像、及び距離画像を入力データとして、畳み込みニューラルネットワークに入力することで、物体を識別することができる。従って、第一実施形態と同様の効果を得ることができる。

［第２実施形態］
第１実施形態では、取得した第一の輝度画像、第二の輝度画像、及び距離画像を用いて、物体を識別する形態について説明した。本実施形態では、取得した第一の輝度画像、第二の輝度画像、及び距離画像のうち使用する画像又は使用する画像の組み合わせを切り替えて、対象物を識別する形態について説明する。なお、本実施形態に係る物体識別装置のハードウェア構成（図１及び図７参照）、及びニューラルネットワークの処理の流れ（図３参照）は、第１実施形態と同様であるため、省略する。また、本実施形態に係る識別処理の説明に供する入力する画像データの概略図（図４参照）、及び本実施形態に係る識別処理の説明に供する出力される画像データの概略図（図５参照）は、第１実施形態と同様であるため、省略する。また、本実施形態に係る物体識別装置の照射部２１の構成（図８参照）物体識別装置の受光ＬＳＩ３４の構成（図９参照）、及び検出位置の説明に供する物体識別装置の照射器１６の模式図（図１０参照）は、第１実施形態と同様であるため、省略する。

まず、図２を参照して、物体識別装置１の機能構成について説明する。第２実施形態においては、識別部２３の機能が、第１実施形態と異なる。従って、識別部２３についてのみ説明する。

識別部２３は、取得部２２によって取得された第一の輝度画像、第二の輝度画像、及び距離画像を用いて、対象物を識別する。対象物を識別した結果に応じて、又は一定時刻毎に、第一の輝度画像、第二の輝度画像、及び距離画像の少なくとも１つを組み合わせて、又は選択して、対象物を識別する。また、識別部２３は、予め学習させたニューラルネットワークを用いて、対象物を識別する。

次に、図１１を参照して、識別手段を切り替える手法について説明する。図１０は、第２実施形態に係る識別手段の切り替えの説明に供する物体識別装置１の入出力の一例を示すブロック図である。

識別部２３は、識別手段として、取得部２２によって取得された第一の輝度画像、第二の輝度画像、及び距離画像を入力データとして用いて、車両が走行する道路を含む対象物を識別し、距離を導出して、出力結果として出力する。識別部２３は、識別処理を行った結果に応じて、切り替え手段として、識別処理に用いた画像の組み合わせを変更し、改めて、識別手段による識別処理を行う。例えば、識別部２３は、第一の輝度画像、第二の輝度画像、及び距離画像を用いて、識別処理を行った結果、対象物を識別できなかった場合、第一の輝度画像、及び距離画像を用いて、改めて識別処理を行う。識別部２３は、変更した識別処理によって、対象物を識別できなかった場合、再度、識別処理に用いた画像の組み合わせを変更する。なお、本実施形態では、対象物が識別できなかった場合、識別処理に用いた画像の組み合わせを変更する形態について説明した。しかし、これに限定されない。一定時間が経過する毎、又は所定の時刻になった場合に、画像の組み合わせを変更してもよい。また、本実施形態に係る識別部２３は、第一の輝度画像、第二の輝度画像、及び距離画像の少なくとも２つを組み合わせて、識別処理を行う形態について説明する。しかし、これに限定されない。識別部２３は、第一の輝度画像、第二の輝度画像、及び距離画像の１つを選択して、識別処理を行ってもよい。また、本実施形態では、対象物を識別できなかった場合、識別手段に用いた画像の組み合わせを変更する形態について説明した。しかし、これに限定されない。発光体等の特定の路上物体５５を識別した場合、画像の組み合わせを変更してもよい。

次に、図１２を参照して、本実施形態に係る物体識別プログラムの作用について説明する。まず、図１２は、第２実施形態に係る物体識別処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１３又はストレージ１４から物体識別プログラムを読み出し、実行することによって、図１２に示す物体識別処理が実行される。図１２に示す物体識別処理は、例えば、ユーザにより車両が起動された場合、物体識別装置１に物体識別処理の実行指示が入力され、実行される。なお、図１２における図６に示す識別処理と同一のステップについては、図６と同一の符号を付して、その説明を省略する。

ステップＳ１１１において、ＣＰＵ１１は、処理番号に１を設定する。

ステップＳ１１２において、ＣＰＵ２１は、処理番号が１か否かの判定を行う。処理番号が１である場合（ステップＳ１１２：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０４に移行する。一方、処理番号が１ではない場合（ステップＳ１１２：ＮＯ）、ＣＰＵ２１は、ステップＳ１１３に移行する。

ステップＳ１１３において、ＣＰＵ２１は、処理番号が２か否かの判定を行う。処理番号が２である場合（ステップＳ１１３：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１４に移行する。一方、処理番号が２ではない場合（ステップＳ１１３：ＮＯ）、ＣＰＵ２１は、ステップＳ１１５に移行する。

ステップＳ１１４において、ＣＰＵ２１は、取得した第一の輝度画像、及び距離画像を物体識別の入力データに設定する。

ステップＳ１１５において、ＣＰＵ２１は、第二の輝度画像、及び距離画像を物体識別の入力データに設定する。

ステップＳ１１６において、ＣＰＵ２１は、物体を識別した結果、対象物を識別できたか否かの判定を行う。対象物を識別できた場合（ステップＳ１１６：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０６に移行する。一方、対象物を識別できない場合（ステップＳ１１６：ＮＯ）、ＣＰＵ２１は、ステップＳ１１７に移行する。

ステップＳ１１７において、ＣＰＵ２１は、処理番号が３か否かの判定を行う。処理番号が３である場合（ステップＳ１１７：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１８に移行する。一方、処理番号が３ではない場合（ステップＳ１１７：ＮＯ）、ＣＰＵ２１は、ステップＳ１１９に移行する。

ステップＳ１１８において、ＣＰＵ２１は、処理番号に１を設定する。

ステップＳ１１９において、ＣＰＵ２１は、処理番号に１を加算する。

以上説明したように、本実施形態によれば、取得した第一の輝度画像、第二の輝度画像、及び距離画像を用いて、対象物を識別できない場合、第一の輝度画像、第二の輝度画像、及び距離画像を切り替えて、識別することができる。以上説明したように本実施形態によれば、第１実施形態と同様の効果を奏することができる。

［第３実施形態］
第２実施形態では、識別した結果に応じて、取得した第一の輝度画像、第二の輝度画像、及び距離画像の組み合わせを切り替えて、対象物を識別する形態について説明した。本実施形態では、一定時間が経過する毎に、取得した第一の輝度画像、第二の輝度画像、及び距離画像のうち使用する画像又は使用する画像の組み合わせを切り替えて、対象物を識別する形態について説明する。なお、本実施形態に係る物体識別装置のハードウェア構成（図１及び図７参照）、及びニューラルネットワークの処理の流れ（図３参照）は、第１実施形態と同様であるため、省略する。また、本実施形態に係る識別処理の説明に供する入力する画像データの概略図（図４参照）、及び本実施形態に係る識別処理の説明に供する出力される画像データの概略図（図５参照）は、第１実施形態と同様であるため、省略する。また、本実施形態に係る物体識別装置の照射部２１の構成（図８参照）物体識別装置の受光ＬＳＩ３４の構成（図９参照）、及び検出位置の説明に供する物体識別装置の照射器１６の模式図（図１０参照）は、第１実施形態と同様であるため、省略する。また、本実施形態に係る識別処理の切り替えの説明に供する物体識別装置入出力の一例を示すブロック図（図１１参照）は、第２実施形態と同様であるため、省略する。

図１３を参照して、本実施形態に係る物体識別プログラムの作用について説明する。まず、図１３は、第３実施形態に係る物体識別処理の一例を示すフローチャートである。ＣＰＵ１１がＲＯＭ１３又はストレージ１４から物体識別プログラムを読み出し、実行することによって、図１３に示す物体識別処理が実行される。図１３に示す物体識別処理は、例えば、ユーザにより車両が起動された場合、物体識別装置１に物体識別処理の実行指示が入力され、実行される。なお、図１３における図１２に示す識別処理と同一のステップについては、図１２と同一の符号を付して、その説明を省略する。

ステップＳ１２０において、ＣＰＵ２１は、一定時間が経過したか否かの判定を行う。一定時間が経過した場合（ステップＳ１２０：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１７に移行する。一方、一定時間が経過していない場合（ステップＳ１２０：ＮＯ）、ＣＰＵ２１は、ステップＳ１０６に移行する。

以上説明したように、本実施形態によれば、一定時間が経過した場合、第一の輝度画像、第二の輝度画像、及び距離画像の組み合わせを切り替えて、識別することができる。以上説明したように本実施形態によれば、第１実施形態及び第２実施形態と同様の効果を奏することができる。

道路環境は、デリニエータ、道路鋲、及び車両のリフレクタ等の再帰反射体と、ヘッドライト、街灯、及び看板等の発光体と、昼夜及び影日向等の環境光とによって照明条件が動的に大きく変化する。

本発明は、照射器１６によって照らされた第一の輝度画像、照射器１６に照らされておらず、環境光によって照らされた第二の輝度画像、及び距離画像によって取得できる性質及び情報の違いに着目した。例えば、第一の輝度画像では、再帰反射体の輝度が大きくなり、第二の輝度画像では、発光体の輝度が大きくなる性質がある。また、距離画像により物体の大きさを取得することができる。道路環境には、再帰反射体及び発光体を多く含むため、上記の画像の性質及び情報が物体を識別するための有用な手掛かりとなり、上記の画像を用いて、識別性能を向上することができる。

また、例えば、晴天昼間では、太陽光による照明が大きいため、第一の輝度画像特有の性質が小さくなり、夜間では、第二の輝度画像の視認性が下がり、ＳＮ比が低下する性質がある。しかし、照明条件の変化により識別に用いる情報の有用性が動的に変化する場合においても、本発明は、一定時刻毎又は画像領域分割手段の結果により入力画像の種類を切り替える手段を有するため、識別性能を高く保つことができる。

その他、上記実施形態で説明した物体識別装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した物体識別処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、物体を撮影する処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、物体識別処理のプログラムがＲＯＭ１３又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１ 物体識別装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ ストレージ
１５ カメラ
１６、１６ｂ 照射器
１７ 通信Ｉ／Ｆ
１８ バス
２１ 照射部
２２ 取得部
２３ 識別部
３１ ＬＤ
３２ ポリゴンミラー
３３ 双曲面ミラー
３４ 受光ＬＳＩ
３５ 環境光検出器
３６ レーザ光検出器
３７ ＳＰＡＤ
４１ レーザ光
４２ 反射光
５０ 現在の検出位置
５１ 次回の検出位置
５３ 道路領域
５４ 道路領域以外の領域
５５ 路上物体

Claims (7)

1. 移動体が走行する道路を含む対象物に光を照射する照射部と、
   前記照射部から照射された前記光に照らされた前記対象物の画像である第一の輝度画像、前記照射部から照射された前記光に照らされていない前記対象物の画像である第二の輝度画像、及び前記対象物までの距離を測定するための画像である距離画像を取得する取得部と、
   前記取得部によって取得された前記第一の輝度画像、前記第二の輝度画像、及び前記距離画像を用いて、前記対象物として前記照射部から照射された前記光を反射する再帰反射体、及び自ら発光する発光体の少なくとも一方を識別する識別部と、
   を備える物体識別装置。
2. 移動体が走行する道路を含む対象物に光を照射する照射部と、
   前記照射部から照射された前記光に照らされた前記対象物の画像である第一の輝度画像、前記照射部から照射された前記光に照らされていない前記対象物の画像である第二の輝度画像、及び前記対象物までの距離を測定するための画像である距離画像を取得する取得部と、
   前記取得部によって取得された前記第一の輝度画像、前記第二の輝度画像、及び前記距離画像を用いて、前記対象物を識別した結果に応じて、又は一定時刻毎に、前記第一の輝度画像、第二の輝度画像、及び前記距離画像の少なくとも１つを組み合わせて、又は選択して、前記対象物を識別する識別部と、
   を備える物体識別装置。
3. 前記識別部は、予め学習させたニューラルネットワークを用いて、前記対象物を識別する請求項１又は請求項２に記載の物体識別装置。
4. 前記ニューラルネットワークは、画像の特徴を特徴量として抽出した特徴量マップの解像度を小さくしない畳み込み構造を有する請求項３に記載の物体識別装置。
5. 前記ニューラルネットワークは、解像度が異なる複数の前記特徴量マップを統合する畳み込み構造を有する請求項４に記載の物体識別装置。
6. 移動体が走行する道路を含む対象物に光を照射する照射ステップと、
   前記照射ステップで照射された前記光に照らされた前記対象物の画像である第一の輝度画像、前記照射ステップで照射された前記光に照らされていない前記対象物の画像である第二の輝度画像、及び前記対象物までの距離を測定するための画像である距離画像を取得する取得ステップと、
   前記取得ステップで取得された前記第一の輝度画像、前記第二の輝度画像、及び前記距離画像を用いて、前記対象物として前記照射ステップで照射された前記光を反射する再帰反射体、及び自ら発光する発光体の少なくとも一方を識別する識別ステップと、
   をコンピュータに実行させる物体識別プログラム。
7. 移動体が走行する道路を含む対象物に光を照射する照射ステップと、
   前記照射ステップで照射された前記光に照らされた前記対象物の画像である第一の輝度画像、前記照射ステップで照射された前記光に照らされていない前記対象物の画像である第二の輝度画像、及び前記対象物までの距離を測定するための画像である距離画像を取得する取得ステップと、
   前記取得ステップで取得された前記第一の輝度画像、前記第二の輝度画像、及び前記距離画像を用いて、前記対象物を識別した結果に応じて、又は一定時刻毎に、前記第一の輝度画像、第二の輝度画像、及び前記距離画像の少なくとも１つを組み合わせて、又は選択して、前記対象物を識別する識別ステップと、
   をコンピュータに実行させる物体識別プログラム。

Images