JP7151676B2 - 物体認識装置及び物体認識プログラム - Google Patents

Description

この明細書による開示は、物体認識装置及び物体認識プログラムに関する。

特許文献１は、道路シーンの画像に映り込む物体を認識する装置、すなわち車両の部周辺の物体を認識する物体認識装置を開示している。

特開２０１７－１６２４５６号公報

さて、道路脇の草木等の植物が生い茂り、道路上に侵入しているシーンは、車両の走行時等においてしばしば遭遇し得る。物体認識において、道路に侵入している物体が、単なる植物か、他の衝突回避すべき障害物かによって、車両の走行への影響（例えば車両の自動運転において選択される行動）が異なってくる場合がある。

特許文献１において、実際の走行時に物体認識に用いられる画像は、外界からの可視光をカメラ素子が感知することによるカメラ画像であると考えられる。こうしたカメラ画像が示す可視光の強度では、植物と、他の回避すべき障害物との識別が高精度に実施できないことが懸念されている。

この明細書の開示による目的のひとつは、植物を高精度に識別可能な物体認識装置及び物体認識プログラムを提供することにある。

ここに開示された態様のひとつは、車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、反射光に対する近赤外の背景光を受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、車両の周辺の物体を認識する物体認識装置であって、
測距センサの画像情報及び外界カメラの画像情報を取得する画像情報取得部（４１）と、
カメラ画像の強度とセンサ画像の強度との相違を考慮して、車両の周辺の植物を識別する識別部（４３，２４３）と、を備え、
識別部は、
カメラ画像及びセンサ画像に基づき、相違が反映された植物判別用画像を取得し、
カメラ画像と植物判別用画像とに基づき、カメラ画像に映り込む物体を、複数のクラスに分類し、複数のクラスへの分類においては、植物が単独のクラスに分類されるようになっており、
植物判別用画像は、２次元座標データの各座標に、植物を判別するための判別値の情報を付加した画像である。
また、開示された態様の他のひとつは、車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、反射光に対する近赤外の背景光を受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、車両の周辺の物体を認識する物体認識装置であって、
測距センサの画像情報及び外界カメラの画像情報を取得する画像情報取得部（４１）と、
カメラ画像の強度とセンサ画像の強度との相違を考慮して、車両の周辺の植物を識別する識別部（４３，２４３）と、を備え、
識別部は、相違が反映された物理量としての判別値であって、カメラ画像とセンサ画像との強度比率に準じた植物判別式（４６）により算出された判別値に基づき、植物を識別し、
画像情報取得部は、カメラ素子の感度の波長特性情報を含むカメラ画像の画像情報を取得し、
識別部は、波長特性情報に応じて、植物判別式を変更する。

また、開示された態様の他のひとつは、車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、反射光に対する近赤外の背景光を受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、車両の周辺の物体を認識する物体認識プログラムであって、
少なくとも１つの処理部（３１）に、
測距センサの画像情報及び外界カメラの画像情報を取得する処理と、
カメラ画像の強度とセンサ画像の強度との相違を考慮して、車両の周辺の植物を識別する処理と、を実行させ、
識別する処理は、
カメラ画像及びセンサ画像に基づき、相違が反映された植物判別用画像を取得することと、
カメラ画像と植物判別用画像とに基づき、カメラ画像に映り込む物体を、複数のクラスに分類することと、を含み、
複数のクラスへの分類においては、植物が単独のクラスに分類されるようになっており、
植物判別用画像は、２次元座標データの各座標に、植物を判別するための判別値の情報を付加した画像である。
また、開示された態様の他のひとつは、車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、反射光に対する近赤外の背景光を受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、車両の周辺の物体を認識する物体認識プログラムであって、
少なくとも１つの処理部（３１）に、
測距センサの画像情報及び外界カメラの画像情報を取得する処理と、
カメラ画像の強度とセンサ画像の強度との相違を考慮して、車両の周辺の植物を識別する処理と、を実行させ、
識別する処理は、相違が反映された物理量としての判別値であって、カメラ画像とセンサ画像との強度比率に準じた植物判別式（４６）により算出された判別値に基づき、植物を識別することを含み、
画像情報を取得する処理は、カメラ素子の感度の波長特性情報を含むカメラ画像の画像情報を取得することを含み、
識別する処理は、波長特性情報に応じて、植物判別式を変更することを含む。

これら態様によると、植物が映り込む植物領域の識別においては、カメラ画像の強度とセンサ画像の強度の相違が考慮される。すなわちカメラ画像における可視光を感知した情報と、測距センサの画像における近赤外光を感知した情報との違いが参照される。このことによって、可視域と近赤外域とで大きく傾向が異なる分光特性を有する植物と、可視域と近赤外域との間で植物程の傾向の違いがない他の回避すべき物体とを、容易に判別することができる。故に、植物を高精度に識別可能な物体認識を実現することができる。

なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。

第１実施形態の物体認識システム及び運転支援ＥＣＵの全体像を示す図である。 第１実施形態の測距センサ及び外界カメラの車両への搭載状態を示す図である。 第１実施形態の物体認識ＥＣＵの構成を示す構成図である。 第１実施形態の物体認識途中画像及び当該画像での物体の分類状況の一例を説明するための図である。 第１実施形態の物体認識済画像及び当該画像での物体の分類状況の一例であって、図４に対応する例を説明するための図である。 第１実施形態の外界カメラに用いられ得るカラーフィルタの透過率の波長特性の一例を模式的に示す図である。 第１実施形態の外界カメラに用いられ得るカラーフィルタの透過率の波長特性の別の一例を模式的に示す図である。 ４種類の植物の反射率の波長特性を模式的に示す図である。 第１実施形態の物体認識ＥＣＵの処理を説明するためのフローチャートである。 第２実施形態の物体認識ＥＣＵの構成を示す構成図である。 第２実施形態の物体認識ＥＣＵの処理を説明するためのフローチャートである。

以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。

（第１実施形態）
図１に示すように、本開示の第１実施形態による物体認識装置は、車両１の周辺の物体認識に用いられ、車両１に搭載されるように構成された物体認識ＥＣＵ（Electronic Control Unit）３０となっている。物体認識ＥＣＵ３０は、物体認識システム１００を、測距センサ１０及び外界カメラ２０と共に構成している。本実施形態の物体認識システム１００は、測距センサ１０の画像情報及び外界カメラ２０の画像情報に基づき、物体を認識し、当該物体の認識結果を、運転支援ＥＣＵ５０等に提供することが可能である。

物体認識ＥＣＵ３０は、車両１に搭載された車載ネットワークの通信バスに通信可能に接続されている。物体認識ＥＣＵ３０は、車載ネットワークに設けられたノードのうちの１つである。車載ネットワークには、測距センサ１０、外界カメラ２０の他、運転支援ＥＣＵ５０等がそれぞれノードとして接続されている。

運転支援ＥＣＵ５０は、プロセッサ、ＲＡＭ（Random Access Memory）、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。運転支援ＥＣＵ５０は、車両１においてドライバの運転操作を支援する運転支援機能、及びドライバの運転操作を代行可能な運転代行機能の少なくとも一方を有している。運転支援ＥＣＵ５０は、記憶部に記憶されたプログラムをプロセッサによって実行する。これにより、運転支援ＥＣＵ５０は、物体認識システム１００により提供される車両１の周辺の物体認識結果に応じた車両１の自動運転又は高度運転支援を実現する。物体認識結果に応じた車両１の自動運転又は高度運転支援としては、例えば植物として認識された物体よりも、歩行者又は他車両として認識された物体に対して最優先に衝突回避すること等が挙げられる。

次に、物体認識システム１００に含まれる測距センサ１０、外界カメラ２０及び物体認識ＥＣＵ３０の各詳細を、順に説明する。

測距センサ１０は、例えば車両１の前方、又は車両１のルーフに配置された、ＳＰＡＤＲｉＤＡＲ（Single Photon Avalanche Diode Light Detection And Ranging）となっている。測距センサ１０は、車両１の周辺のうち少なくとも前方の測定範囲ＭＡ１を測定可能となっている。

測距センサ１０は、発光部１１、受光部１２、制御ユニット１３等を含む構成である。発光部１１は、光源から発光された光ビームを、可動光学部材（例えばポリゴンミラー）を用いて走査することにより、図２に示す測定範囲ＭＡ１へ向けて照射する。光源は、例えば半導体レーザ（Laser diode）であり、制御ユニット１３からの電気信号に応じて、乗員（ドライバ等）及び外界の人間から視認不能な近赤外域の光ビームを発光する。

受光部１２は、照射された光ビームが測定範囲ＭＡ１内の物体から反射される反射光又は反射光に対する背景光を例えば集光レンズにより集光して、受光素子１２ａへ入射させる。

受光素子１２ａは、光電変換により光を電気信号に変換する素子であり、検出電圧を増幅することにより、高感度を実現したＳＰＡＤ受光素子である。受光素子１２ａには、例えば近赤外域の反射光を検出するために、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサが採用されている。この感度は、受光部１２に光学フィルタを設けることによっても調整できる。受光素子１２ａは、複数の受光画素を１次元方向又は２次元方向に並ぶようにアレイ状に有する。

制御ユニット１３は、発光部１１及び受光部１２を制御するユニットである。制御ユニット１３は、例えば受光素子１２ａと共通の基板上に配置され、例えばマイコンないしＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体として構成されている。制御ユニット１３は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。

走査制御機能は、光ビーム走査を制御する機能である。制御ユニット１３は、測距センサ１０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させると共に、可動光学部材を動作させる。

反射光測定機能は、光ビーム走査のタイミングに合わせて、例えばローリングシャッタ方式を用いて各受光画素が受光した反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。反射光の測定においては、光ビームの発光タイミングと反射光の受光タイミングとの時間差を検出することにより、測距センサ１０から反射光を反射した物体までの距離を測定することができる。反射光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した２次元座標に反射光の強度及び反射光を反射した物体の距離情報が関連付けられた画像状のデータである反射光画像を、生成することができる。

背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲ＭＡ１から受光素子１２ａへ入射する入射光を意味する。入射光には、自然光、外界の表示等から発光される表示光が含まれる。背景光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した２次元座標に背景光の強度が関連付けられた画像状のデータである背景光画像を、生成することができる。

反射光画像及び背景光画像は、共通の受光素子１２ａにより感知され、当該受光素子１２ａを含む共通の光学系から取得される。したがって、反射光画像及び背景光画像は、共通の波長域である近赤外域の測定結果を主体とした画像である。そして、反射光画像の座標系と背景光画像の座標系とは、互いに一致する座標系とみなすことができる。さらには、反射光画像と背景光画像との間にて、測定タイミングのずれも殆どない（例えば１ｎｓ未満）といえる。したがって、反射光画像と背景光画像とは、同期もとれているとみなすことができる。

例えば本実施形態では、各画素に対応して、反射光の強度、物体の距離、及び背景光の強度の３チャンネルのデータが格納された画像データが、センサ画像として、物体認識ＥＣＵ３０へと逐次出力される。

外界カメラ２０は、例えば車両１のフロントウインドシールドの車室内側に配置されているカメラである。外界カメラ２０は、車両１の外界のうち少なくとも前方の測定範囲ＭＡ２、より詳細には測距センサ１０の測定範囲ＭＡ１と少なくとも一部を重複させた測定範囲ＭＡ２を、測定可能となっている。

外界カメラ２０は、受光部２２及び制御ユニット２３を含む構成である。受光部２２は、カメラ外部の測定範囲ＭＡ２から入射する入射光（背景光）を例えば受光レンズにより集光して、カメラ素子２２ａへ入射させる。

カメラ素子２２ａは、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤセンサ又はＣＭＯＳセンサを採用することが可能である。カメラ素子２２ａでは、可視域の自然光を効率的に受光するために、近赤外域に対して可視域の感度が高く設定されている。カメラ素子２２ａは、複数の受光画素（いわゆるサブ画素に相当する）を２次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色の互いに異なる色のカラーフィルタが配置されている。このカラーフィルタによって、カメラ素子２２ａ全体及びカメラ素子２２ａの各受光画素の感度の波長特性が調整される。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色光の強度、緑色光の強度、青色光の強度がそれぞれ個別に測定されることによって、外界カメラ２０が撮影するカメラ画像は、反射光画像及び背景光画像よりも高解像の画像であって、可視域のカラー画像となり得る。

制御ユニット２３は、受光部２２を制御するユニットである。制御ユニット２３は、例えばカメラ素子２２ａと共通の基板上に配置され、マイコンないしＦＰＧＡ等の広義のプロセッサを主体として構成されている。制御ユニット２３は、撮影機能を実現している。

撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット２３は、外界カメラ２０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。制御ユニット２３は、測定範囲ＭＡ２に対応した２次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、物体認識ＥＣＵ３０へ逐次出力される。

物体認識ＥＣＵ３０は、測距センサ１０の画像情報及び外界カメラ２０の画像情報を用いて、車両１の周辺の物体を認識する電子制御装置である。物体認識ＥＣＵ３０は、図１に示すように、処理部３１、ＲＡＭ３２、記憶部３３、入出力インターフェース３４、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。処理部３１は、ＲＡＭ３２と結合された演算処理のためのハードウェアである。処理部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＲＩＳＣ（Reduced Instruction Set Computer）等の演算コアを少なくとも１つ含む構成である。処理部３１は、ＦＰＧＡ及び他の専用機能を備えたＩＰコア等をさらに含む構成であってもよい。処理部３１は、ＲＡＭ３２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部３３は、不揮発性の記憶媒体を含む構成である。記憶部３３には、処理部３１によって実行される種々のプログラム（イメージレジストレーションプログラム、物体認識プログラム等）が格納されている。

物体認識ＥＣＵ３０は、記憶部３３に記憶されたプログラムを処理部３１によって実行することで、複数の機能部を有する。具体的に図３に示すように、画像情報取得部４１、イメージレジストレーション部４２、領域識別部４３等の機能部が構築される。

画像情報取得部４１は、測距センサ１０から反射光画像及び背景光画像を含む画像情報を取得すると共に、外界カメラ２０からカメラ画像を含む画像情報を逐次取得する。画像情報取得部４１は、画像情報として、さらに、カメラ素子２２ａの感度の波長特性に関する情報（以下、波長特性情報）を取得する。波長特性情報は、カメラ画像から都度取得される必要はなく、例えば外界カメラ２０から初期設定時等にて取得された際に記憶部３３に記憶され、以後、記憶部３３へのアクセスにより取得されてよい。画像情報取得部４１は、最新の反射光画像、背景光画像及びカメラ画像の組を、イメージレジストレーション部４２に提供する。

イメージレジストレーション部４２は、反射光画像、背景光画像の座標系とカメラ画像の座標系との対応関係の特定、すなわちイメージレジストレーション（Image Registration）を実施する。そして、イメージレジストレーション部４２は、イメージレジストレーション済みの反射光画像、背景光画像及びカメラ画像を、領域識別部４３に提供する。

領域識別部４３は、車両１の周辺の物体を含む空間領域を識別する。領域識別部４３は、特に、カメラ画像の強度と背景光画像の強度との相違を考慮して、カメラ画像に映り込む植物を識別することが可能である。領域識別部４３は、可視物体識別機能、周辺空間地図生成機能、及び植物判別機能を実現する。

可視物体識別機能は、可視光の強度分布情報を有するカメラ画像に対し、セマンティックセグメンテーション（Semantic Segmentation）によって、画素単位での物体の識別を実施する機能である。記憶部３３には、物体認識プログラムの一構成要素としてニューラルネットワークを主体とした物体識別モデル４４が構築されている。物体識別モデル４４は、学習済みのＡＩ（人工知能）モデルであり、カメラ画像が入力されると、物体識別途中画像を出力する。

詳細に、ニューラルネットワークには、全層畳み込みニューラルネットワーク（ＦＣＮ）、エンコーダとデコーダとを結合したエンコーダ・デコーダネットワーク（例えばＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ）等を採用することができる。

一例として、エンコーダ・デコーダネットワークが採用された場合を説明する。エンコーダは、入力されるカメラ画像に対して畳み込み演算及びプーリング演算を実行する。エンコーダは、カメラ画像をダウンサンプリングすると共に、当該カメラ画像の特徴を抽出する。エンコーダは、例えば特徴マップないし物体を分類したクラスの確率をデコーダに出力する。

デコーダは、エンコーダからの入力データを用いて、逆プーリング演算及び逆畳み込み演算を実行する。デコーダは、エンコーダにてダウンサンプリングされたカメラ画像を再びアップサンプリングすることで、カメラ画像の部分的な領域であって、映り込む物体に応じて区分された領域毎又は画素単位にて、クラスの分類情報が付加された物体識別途中画像（図４参照）を出力することができる。なお、図４では、植物分類の説明に関連する一部のクラスの分類状況のみが示されている。

第１実施形態においてクラスには、例えば歩行者、他車両、道路等の車両１の走行において分類必要性が極めて高いクラスが設定されているが、草木等の植物に相当するクラスは設定されていない。セマンティックセグメンテーションにおいて、植物は、他の特定困難な物体及び分類必要性の低い物体と共に、例えば「静止物」「障害物」等の上位概念化されたクラスに分類される。

そもそも、可視光のカラー画像であるカメラ画像を用いたセマンティックセグメンテーションにおいて、植物を精度良く区別することは困難である。例えば、緑色の植物は、実質的に、カラー画像における緑色光の強度の情報を主体として、区別され得る。このため、緑色の植物と、ペンキ等の塗料で緑色に着色された物体又は青信号等とが、誤認され易い。物体識別モデル４４による出力結果の精度を担保する、すなわち誤分類の発生を抑制するため、緑色の植物、ペンキ等の塗料で緑色に着色された物体、青信号等が共通のクラスに分類されるようになっている。

第１実施形態の物体識別モデル４４の学習方法としては、例えば教師あり学習を採用することが可能である。この機械学習における教師データは、入力データであるカメラ画像と、出力データ（正解データ）である物体識別済画像とのデータセットである。

周辺空間地図生成機能は、ＯＧＭ生成器４５に反射光画像及び背景光画像を入力して、車両１の周辺空間に、物体の占有状態情報を付加した地図を生成する機能である。領域識別部４３は、例えばＯＧＭ（Occupancy Grid Map）の生成方法によって、周辺空間の地図（以下、ＯＧＭという）を生成する。このＯＧＭは、好ましくは、車両１を上空から俯瞰した座標系で表される。

具体的に、ＯＧＭにおいて、測距センサ１０の位置から距離情報により特定された反射光画像に映り込む物体の位置の直前までの領域は、物体に占有されていない非占有領域に設定される。反射光画像に映り込む物体の位置は、物体に占有された占有領域に設定される。反射光画像に映り込む物体の位置よりも奥側は、占有状態が判別不能な判別不能領域に設定される。

植物判別機能は、上述の共通のクラスの情報が付加された物体識別途中画像の各判別対象領域を、図５に示すように、植物が映り込む植物領域と、非植物が映り込む非植物領域とに分類する機能である。領域識別部４３は、カメラ画像の強度と反射光画像の強度との差異及びカメラ画像の強度と背景光画像の強度との差異のうち少なくとも一方を考慮して、植物領域を識別する。特に本実施形態では、カメラ画像の強度と背景光画像の強度との差異を考慮して、植物領域が識別される。

領域識別部４３は、植物判別式４６を用いて、各判別対象領域について、イメージレジストレーションによって同じ位置を表す座標として対応付けられたカメラ画像の対応画素の強度と、背景光画像の対応画素の強度とから、下記植物判別式４６に基づく判別値を算出する。領域識別部４３は、画像情報取得部４１が取得したカメラ素子２２ａの感度の波長特性に応じて、植物判別式４６の形態を変更する。

植物判別式４６のうち１つの形態は、図６に示すような、カメラ素子２２ａの受光画素における赤色のカラーフィルタが近赤外光を略遮断する場合に選択される。この式は、Ｑ＝Ｉｂ／（１－Ｉｃ）で表される。ここで、Ｑは判別値、Ｉｂは背景光画像の対応画素の強度、Ｉｃは、カメラ画像の対応画素の強度であって、赤色光の強度、緑色光の強度及び青色光の強度の合計である。

植物判別式４６のうち他の１つの形態は、図７に示すような、カメラ素子２２ａの受光画素における赤色のカラーフィルタが近赤外光を一部透過させる、すなわち十分に遮断しない場合に選択される。この式は、Ｑ＝Ｉｂ／（１－Ｉｇｂ）で表される。ここで、Ｉｇｂは、カメラ画像の対応画素の強度であって、緑色光の強度及び青色光の強度の合計である。なお、セマンティックセグメンテーションの対象となるカメラ画像が、Ｒ画像（赤色の強度に基づく画像）とＧＢ画像（緑色及び青色の強度に基づく画像）の２チャンネルにて構成される場合には、Ｉｇｂは、カメラ画像の対応画素の強度であって、ＧＢ画像の強度であってもよい。

なお、Ｉｃ，Ｉｇｂは、０以上１以下の範囲をとる値となるように規格化された強度である。規格化された強度における０は、強度が最小である（カメラ素子２２ａが入射光を感知しなかった）ことを意味し、１は、強度が最大である（カメラ素子２２ａが入射光を最大量感知した）ことを意味する。また、Ｉｂも、Ｉｃ，Ｉｇｂと同様に、０以上１以下の範囲をとる値となるように規格化されてもよい。

判別値Ｑは、カメラ画像の強度と背景光画像の強度との相違が反映された物理量としての判別値であって、カメラ画像と背景光画像との強度比率に準じた植物判別式４６により算出されていることとなる。

植物を判別する１つの例を説明する。算出された判別値Ｑの１つの判別対象領域における平均値が、植物が映り込んでいる可能性が所定確率（例えば５０％）以上となる基準値以上である場合、領域識別部４３は、判別対象領域を、植物領域に設定する。平均値が基準値未満である場合、領域識別部４３は、判別対象領域を、非植物領域に設定する。

すなわち、図８に示すように植物の分光特性においては、可視域の反射率に対して近赤外域の反射率が顕著に大きくなる傾向がある。一方、ペンキ等の塗料で緑色に着色された物体又は青信号の分光特性においては、可視域の反射率と近赤外域の反射率とがそれほど変わらない傾向がある。この傾向の違いを利用して、植物領域と非植物領域との分類は可能である。具体的に、可視域の反射率に対して近赤外域の反射率が顕著に大きくなる植物では、可視光を感知したカメラ画像の強度に対し、赤外光を感知した背景光画像の強度が顕著に大きくなり得る。したがって、カメラ画像に映り込む物体が植物である場合、判別値Ｑは、可視域の反射率と近赤外域の反射率との比率に応じて、蓋然的に高い値となるのである。

こうして領域識別部４３は、物体識別途中画像に植物領域の判別情報が付加された物体識別済画像を、出力する。さらに領域識別部４３は、植物領域を判別した結果を、ＯＧＭに反映させてもよい。例えば、領域識別部４３は、カメラ画像上の植物領域に対応するＯＧＭ上の占有領域を、車両１の侵入可能な侵入可能領域に設定し、カメラ画像上の非植物領域に対応するＯＧＭ上の占有領域を、車両１の侵入不可能な侵入不可領域に設定してもよい。

以上により、領域識別部４３は、可視物体識別機能により、カメラ画像に基づき、カメラ画像に映り込む物体を、複数のクラスに分類する。複数のクラスへの分類においては、植物は、他の物体と共に、植物よりも上位概念化された共通のクラスに含まれるように分類される。その後、領域識別部４３は、植物判別機能により、この共通のクラスに含まれた物体を、カメラ画像の強度と背景光画像の強度との相違を考慮して、植物か否か判別する。このように得られた物体識別済画像とＯＧＭとを含む物体認識情報は、運転支援ＥＣＵ５０に提供されることとなる。

次に、第１実施形態の物体認識プログラムに基づき、車両１の周辺の物体を認識する物体認識方法を、図９のフローチャートを用いて説明する。各ステップで構成されるこのフローチャートによる処理は、例えば所定時間毎に繰返し実施される。

まず、Ｓ１１では、画像情報取得部４１は、測距センサ１０から反射光画像及び背景光画像を含む画像情報を取得し、外界カメラ２０からカメラ画像を含む画像情報を取得する。Ｓ１１の処理後、Ｓ１２へ移る。

Ｓ１２では、イメージレジストレーション部４２は、反射光画像及び背景光画像とカメラ画像との間にて、イメージレジストレーションを実施する。Ｓ１２の処理後、Ｓ１３へ移る。

Ｓ１３では、領域識別部４３は、カメラ画像に対してセマンティックセグメンテーションを実施する。緑色の植物、ペンキ等の塗料で緑色に着色された物体、青信号等が共通のクラスに分類される。これと同時又はこれに前後して、領域識別部４３は、反射光画像及び背景光画像からＯＧＭを生成する。Ｓ１３の処理後、Ｓ１４へ移る。

Ｓ１４では、領域識別部４３は、カメラ画像から、共通のクラスの情報が付加された判別対象領域を特定する。この判別対象領域は、０つでもよく、１つでもよく、複数でもよい。Ｓ１４の処理後、Ｓ１５へ移る。

Ｓ１５では、領域識別部４３は、判別対象領域毎に、植物判別式４６を用いて、当該判別対象領域が植物領域であるか非植物領域であるかを判別する。Ｓ１５を以って一連の処理を終了する。

なお第１実施形態では、領域識別部４３が、車両１の周辺の植物を識別する「識別部」に相当する。

（作用効果）
以上説明した第１実施形態の作用効果を以下に改めて説明する。

第１実施形態によると、植物が映り込む植物領域の識別においては、カメラ画像の強度とセンサ画像の強度の相違が考慮される。すなわち外界カメラ２０のカメラ画像における可視光を感知した情報と、測距センサ１０の画像における近赤外光を感知した情報との違いが参照される。このことによって、可視域と近赤外域とで大きく傾向が異なる分光特性を有する植物と、可視域と近赤外域との間で植物程の傾向の違いがない他の回避すべき物体とを、容易に判別することができる。故に、植物を高精度に識別可能な物体認識装置としての物体認識ＥＣＵ３０を提供することができる。

また、第１実施形態によると、カメラ画像に映り込む物体は、当該カメラ画像に基づき、複数のクラスに分類される。可視光をカメラ素子２２ａが感知することによるカメラ画像に基づくこの分類では、植物が他の物体と共に、植物よりも上位概念化された共通のクラスに含まれるように分類されるので、誤分類の発生は抑制される。その後、共通のクラスに含まれた物体は、カメラ画像の強度とセンサ画像の強度の相違を考慮して、植物か否か判別される。すなわち、誤分類の発生を抑制しつつ、分類できる物体を分類し、その後、共通のクラスに含まれた物体から植物を高精度に判別する。故に、すべての物体に対して測距センサ１０の近赤外光を感知した情報を適用することが抑制されるため、物体認識のための処理量ないし処理速度への負担を軽減しつつ、植物を高精度に認識することができる。

特に車両１の走行時等、リアルタイムに物体認識が求められる場面においては、処理量ないし処理速度への負担軽減と、植物の高精度認識とを両立した物体認識は、極めて有用である。

また、第１実施形態によると、複数のクラスへの分類は、ニューラルネットワークを有する物体識別モデル４４でのセマンティックセグメンテーションにより実施される。セマンティックセグメンテーションにより、カメラ画像の画素毎に、映り込む物体を分類できるので、物体が位置する空間領域を、高精度に認識することができる。

また、第１実施形態によると、カメラ画像とセンサ画像との強度比率に準じた植物判別式４６により算出された判別値に基づき、植物が識別される。こうした植物判別式４６では、植物の分光特性傾向が顕著に表され、植物の存在が浮き彫りになるので、植物の識別精度を飛躍的に向上させることができる。

また、第１実施形態によると、カメラ素子２２ａの感度の波長特性情報に応じて、植物判別式４６が変更される。故に、カメラ素子２２ａの感度の波長特性情報、例えば近赤外域の感度に合わせて、植物判別式４６により算出される判別値を、植物の分光特性傾向がより顕著に表すものに変更することができる。

（第２実施形態）
図１０，１１に示すように、第２実施形態は第１実施形態の変形例である。第２実施形態について、第１実施形態とは異なる点を中心に説明する。

図１０に示す第２実施形態の領域識別部２４３は、植物判別用画像取得機能及び物体識別機能を有する。

植物判別用画像取得機能は、植物判別用画像を取得する機能である。領域識別部２４３は、第１実施形態と同様の植物判別式４６を用いて、植物判別用画像を生成することにより取得する。領域識別部２４３は、例えばカメラ画像と同座標系の２次元座標データを用意する。領域識別部２４３は、２次元座標データの各座標に対して、イメージレジストレーションによって同じ位置を表す座標として対応付けられたカメラ画像の対応画素の強度と、背景光画像の対応画素の強度とから、植物判別式４６に基づく判別値Ｑを算出する。

この結果、２次元座標データの各座標に、判別値Ｑの情報を付加した植物判別用画像が生成される。植物判別用画像は、カメラ画像と同座標系の画像データであって、判別値Ｑの分布が画像化されたものである。植物判別用画像においては、第１実施形態中に説明した植物の分光特性により、植物が映り込む部分の判別値Ｑが高い傾向にはあるものの、植物に似た分光特性をもつ植物以外の物体が映り込む部分の判別値Ｑも、高くなり得る。したがって、植物判別精度は、植物判別用画像だけで判別した場合よりも、後述する物体識別モデル２４４をさらに用いた方が飛躍的に高まることとなる。

物体識別機能は、可視光の強度分布情報を有するカメラ画像に対し、可視光及び赤外光に基づく判別値分布情報を有する植物判別用画像をも用いつつ、セマンティックセグメンテーション（Semantic Segmentation）によって、画素単位での物体の識別を実施する機能である。記憶部３３には、物体認識プログラムの一構成要素としてニューラルネットワークを主体とした物体識別モデル２４４が構築されている。第２実施形態の物体識別モデル２４４は、学習済みのＡＩモデルであり、カメラ画像及び植物判別用画像が入力されると、クラスの分類情報が付加された物体識別済画像を出力する。

ニューラルネットワークには、基本的には、第１実施形態と同様の構造を有するネットワークを採用することができる。但し、植物判別用画像という入力パラメータの増加に対応して、例えばエンコーダにおいて畳み込み層のチャンネル数を増加させる等の変更が必要である。

第２実施形態においてクラスには、例えば歩行者、他車両、道路等の他、草木等の植物に相当するクラスが設定されている。セマンティックセグメンテーションにおいて、植物は、他の特定困難な物体及び分類必要性の低い物体とは別の「植物」というクラスに分類される。したがって、物体識別モデル２４４から出力された物体認識済画像は、既に植物が高精度に識別された状態となっている。

第２実施形態の物体識別モデル２４４の学習方法としては、例えば教師あり学習を採用することが可能である。この機械学習における教師データは、入力データであるカメラ画像及び植物判別用画像と、出力データ（正解データ）である物体識別済画像とのデータセットである。

以上のように、領域識別部２４３は、植物判別用画像生成機能により、カメラ画像の強度と背景光画像の強度との相違が反映された植物判別用画像を生成する。その後、領域識別部２４３は、物体認識機能により、カメラ画像と植物判別用画像とに基づき、カメラ画像に映り込む物体を、複数のクラスに分類する。複数のクラスへの分類においては、植物は、単独のクラスに分類されるようになっている。

次に、第２実施形態の物体認識プログラムに基づき、車両１の周辺の物体を認識する物体認識方法を、図１１のフローチャートを用いて説明する。このフローチャートによる処理は、例えば所定時間毎に繰返し実施される。

まず、Ｓ２１～Ｓ２２は、第１実施形態のＳ１１～Ｓ１２と同様である。Ｓ１２の処理後、Ｓ２３へ移る。

Ｓ２３では、領域識別部２４３は、カメラ画像及び背景光画像から、植物判別式４６を用いて、植物判別用画像を生成する。Ｓ２３の処理後、Ｓ２４へ移る。

Ｓ２４では、領域識別部２４３は、カメラ画像と植物判別用画像とを物体識別モデル２４４に入力し、セマンティックセグメンテーションを実施する。緑色の植物と、ペンキ等の塗料で緑色に着色された物体、青信号等とが別々のクラスに分類される。Ｓ２４を以って一連の処理を終了する。

以上説明した第２実施形態によると、カメラ画像及びセンサ画像に基づき、カメラ画像の強度とセンサ画像の強度の相違が反映された植物判別用画像が得られる。そして、カメラ画像と植物判別用画像とに基づき、カメラ画像に映り込む物体は、複数のクラスに分類される。複数のクラスへの分類においては、植物が単独のクラスに分類されるようになっている。こうした処理では、カメラ画像及び植物判別用画像の両方を用いた総合的な判断により、植物を識別することができるので、植物の認識精度を高めることができる。

なお第２実施形態では、領域識別部２４３が、車両１の周辺の植物を識別する「識別部」に相当する。

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

具体的に変形例１としては、領域識別部４３，２４３は、カメラ画像の強度と反射光画像の強度との相違を考慮して、植物を識別してもよい。すなわち、植物判別式４６におけるＩｂは、反射光画像の強度であってもよい。さらに領域識別部４３は、反射光画像の強度と背景光画像の強度を両方加味した複合画像を生成し、カメラ画像の強度と当該復号画像の強度との相違を考慮して、植物を識別してもよい。

変形例２としては、領域識別部４３，２４３は、カメラ画像の強度とセンサ画像の強度との相違が反映された物理量として、植物判別式４６により算出された判別値Ｑを用いなくてもよい。例えば、カメラ画像の強度とセンサ画像の強度との相違が反映された物理量は、カメラ画像の強度とセンサ画像の強度との差分であってもよい。この場合に、第２実施形態にて用いた植物判別用画像は、カメラ画像の強度とセンサ画像の強度との差分により得られた差分画像であってもよい。

第２実施形態に関する変形例３としては、植物判別用画像は、領域識別部２４３が生成しなくてもよい。例えば、イメージレジストレーション部４２がイメージレジストレーションを実施する際に、植物判別用画像を生成しても良い。領域識別部２４３は、イメージレジストレーション部４２から植物判別用画像を提供されることにより取得しても良い。

第２実施形態に関する変形例４としては、物体識別モデル２４４に入力されるデータは、カメラ画像とは別に設けられた植物判別用画像でなくてもよい。例えば、カメラ画像にＲＧＢとは別の追加のチャンネルが用意され、当該チャンネルに算出した判別値Ｑが格納されてもよい。そして、物体識別モデル２４４に入力されるデータは、判別値Ｑの情報が付加されたカメラ画像であってもよい。

変形例５としては、領域識別部４３，２４３は、カメラ画像の強度とセンサ画像の強度との相違を考慮して、植物を識別するものであれば、セマンティックセグメンテーションを用いる代わりに、例えばバウンディングボックス（Bounding Box）による物体認識を用いてもよい。

変形例６としては、識別部は、カメラ画像の強度とセンサ画像の強度との相違を考慮して、植物を識別するものであれば、車両１の周辺の物体を含む空間領域を識別する領域識別部４３，２４３でなくてもよい。例えば識別部は、植物を空間領域に厳密に関連付けて識別せずに、カメラ画像の測定範囲ＭＡ２に植物が写り込んでいるか否かを判別するものであってもよい。

変形例７としては、カメラ画像は、カラー画像でなく、グレースケール画像であってもよい。

変形例８としては、物体認識ＥＣＵ３０及び運転支援ＥＣＵ５０のうち少なくとも１つは、車両１に搭載されずに、車両１外の路上等に固定設置されていてもよく、他車両に搭載されていてもよい。この場合には、インターネット、路車間通信、車車間通信等の通信によって、物体認識処理、運転操作等が遠隔操作されてもよい。

変形例９としては、物体認識ＥＣＵ３０と、運転支援ＥＣＵ５０とが、１つに統合され、例えば１つの複合的な機能を実現する電子制御装置を構成していてもよい。また、測距センサ１０と外界カメラ２０とが一体型のセンサユニットを構成していてもよい。さらに、第１実施形態の物体認識ＥＣＵ３０のような物体認識装置が、このセンサユニットの構成要素として含まれていてもよい。

変形例１０としては、物体認識ＥＣＵ３０は、イメージレジストレーション部４２を備えていなくてもよい。物体認識ＥＣＵ３０は、イメージレジストレーション済みの反射光画像、背景光画像及びカメラ画像を含む画像情報を取得してもよい。

変形例１１としては、物体認識ＥＣＵ３０によって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。

変形例１２としては、上記の物体認識方法を実現可能な物体認識プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、物体認識ＥＣＵ３０の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、物体認識ＥＣＵ３０のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１：車両、１０：測距センサ、１２ａ：受光素子、２０：外界カメラ、２２ａ：カメラ素子、３０：物体認識ＥＣＵ（物体認識装置）、３１：処理部、４１：画像情報取得部、４３，２４３：識別部（領域識別部）

Claims (6)

1. 車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、前記車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、前記反射光に対する近赤外の背景光を前記受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、前記車両の周辺の物体を認識する物体認識装置であって、
   前記測距センサの画像情報及び前記外界カメラの画像情報を取得する画像情報取得部（４１）と、
   前記カメラ画像の強度と前記センサ画像の強度との相違を考慮して、前記車両の周辺の植物を識別する識別部（４３，２４３）と、を備え、
   前記識別部は、
   前記カメラ画像及び前記センサ画像に基づき、前記相違が反映された植物判別用画像を取得し、
   前記カメラ画像と前記植物判別用画像とに基づき、前記カメラ画像に映り込む物体を、複数のクラスに分類し、前記複数のクラスへの分類においては、植物が単独のクラスに分類されるようになっており、
   前記植物判別用画像は、２次元座標データの各座標に、植物を判別するための判別値の情報を付加した画像である物体認識装置。
2. 車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、前記車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、前記反射光に対する近赤外の背景光を前記受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、前記車両の周辺の物体を認識する物体認識装置であって、
   前記測距センサの画像情報及び前記外界カメラの画像情報を取得する画像情報取得部（４１）と、
   前記カメラ画像の強度と前記センサ画像の強度との相違を考慮して、前記車両の周辺の植物を識別する識別部（４３，２４３）と、を備え、
   前記識別部は、前記相違が反映された物理量としての判別値であって、前記カメラ画像と前記センサ画像との強度比率に準じた植物判別式（４６）により算出された判別値に基づき、植物を識別し、
   前記画像情報取得部は、前記カメラ素子の感度の波長特性情報を含む前記カメラ画像の画像情報を取得し、
   前記識別部は、前記波長特性情報に応じて、前記植物判別式を変更する物体認識装置。
3. 前記識別部は、
   前記カメラ画像に基づき、前記カメラ画像に映り込む物体を、複数のクラスに分類し、前記複数のクラスへの分類においては、植物が他の物体と共に、植物よりも上位概念化された共通のクラスに含まれるように分類し、
   その後、前記共通のクラスに含まれた物体を、前記相違を考慮して、植物か否か判別する請求項２に記載の物体認識装置。
4. 前記複数のクラスへの分類は、ニューラルネットワークを有する物体識別モデル（４４，２４４）でのセマンティックセグメンテーションにより実施される請求項１又は３に記載の物体認識装置。
5. 車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、前記車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、前記反射光に対する近赤外の背景光を前記受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、前記車両の周辺の物体を認識する物体認識プログラムであって、
   少なくとも１つの処理部（３１）に、
   前記測距センサの画像情報及び前記外界カメラの画像情報を取得する処理と、
   前記カメラ画像の強度と前記センサ画像の強度との相違を考慮して、前記車両の周辺の植物を識別する処理と、を実行させ、
   前記識別する処理は、
   前記カメラ画像及び前記センサ画像に基づき、前記相違が反映された植物判別用画像を取得することと、
   前記カメラ画像と前記植物判別用画像とに基づき、前記カメラ画像に映り込む物体を、複数のクラスに分類することと、を含み、
   前記複数のクラスへの分類においては、植物が単独のクラスに分類されるようになっており、
   前記植物判別用画像は、２次元座標データの各座標に、植物を判別するための判別値の情報を付加した画像である物体認識プログラム。
6. 車両（１）に搭載された外界カメラ（２０）の画像情報であって、外界からの可視光をカメラ素子（２２ａ）が感知することによるカメラ画像を含む画像情報を用いることに加えて、前記車両に搭載された測距センサ（１０）の画像情報であって、光照射に応じた近赤外の反射光を受光素子（１２ａ）が感知することによる反射光画像と、前記反射光に対する近赤外の背景光を前記受光素子が感知することによる背景光画像と、を含むセンサ画像の画像情報を用いて、前記車両の周辺の物体を認識する物体認識プログラムであって、
   少なくとも１つの処理部（３１）に、
   前記測距センサの画像情報及び前記外界カメラの画像情報を取得する処理と、
   前記カメラ画像の強度と前記センサ画像の強度との相違を考慮して、前記車両の周辺の植物を識別する処理と、を実行させ、
   前記識別する処理は、前記相違が反映された物理量としての判別値であって、前記カメラ画像と前記センサ画像との強度比率に準じた植物判別式（４６）により算出された判別値に基づき、植物を識別することを含み、
   前記画像情報を取得する処理は、前記カメラ素子の感度の波長特性情報を含む前記カメラ画像の画像情報を取得することを含み、
   前記識別する処理は、前記波長特性情報に応じて、前記植物判別式を変更することを含む物体認識プログラム。

Images