JP6858002B2

JP6858002B2 - 物体検出装置、物体検出方法及び物体検出プログラム

Info

Publication number: JP6858002B2
Application number: JP2016219460A
Authority: JP
Inventors: 高橋　正樹; 正樹高橋; 育規石井; 和紀小塚
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2016-03-24
Filing date: 2016-11-10
Publication date: 2021-04-14
Anticipated expiration: 2036-11-10
Also published as: JP2017182771A

Description

本開示は、物体を検出する物体検出装置、物体検出方法及び物体検出プログラムに関し、例えば、画像等の情報から物体をフェイルセーフに検出する物体検出装置、物体検出方法及び物体検出プログラムに関するものである。

近年、運転手の代わりに機械が運転する自動運転車（ロボットカー）の研究や商品化が多数行われている。この自動運転車における要素機能の１つとして、一般物体を検出する物体検出装置（一般物体検出装置）が用いられ、一般物体検出装置は、カメラ装置もしくは、レーダーやステレオカメラ等の測距センサ装置等から転送される画像等の情報から一般物体を検出する。一般物体は、歩行者、車両、道路標識、建物、及び道路の領域等を含み、自動運転車の一般物体検出装置は、こられの物体を検出し、自動運転車の走行制御装置は、一般物体検出装置からの検出情報に基づき、自動運転車本体を制御し、目的の場所へ安全に移動することが必須要件となる。

よって、一般物体検出装置は、異常発生時にも安全に対応できる設計が必須となる。このような設計構成は、フェイルセーフと呼ばれ、フェイルセーフな設計とは、装置に異常が発生した場合、常に安全側に制御すること、又は、そうなるような設計手法であり、信頼性設計の１つである。つまり、装置やシステムは必ず故障するということを前提にしたものである。

上記のような物体検出装置として、特許文献１には、レーダー装置による物体の前後方向の位置判定が困難になった場合であっても、物体の前後方向の位置を推定することができる物体位置検知装置が開示されている。この物体位置検知装置では、レーダー故障判定部によりレーダー装置が故障したと判定された場合、カメラ装置により物体の移動方向を推定し、この推定された移動方向に基づいて、物体の前後方向位置を推定することを特徴としている。つまり、ビート信号を物体検出部に入力するレーダーセンサ装置が故障した場合に、別の装置（カメラ装置）に切り替えて運用を継続させることを主眼にしたフェイルセーフ技術である。

また、特許文献２には、監視対象領域の環境が変化するような場合においても、環境に適した物体検出方法を使用して物体検出の性能を向上させることができる画像処理装置が開示されている。この画像処理装置では、撮像装置とは別のセンサにより検出された環境に関する情報に基づいて、複数具備された物体検出部の中から、環境に適した物体検出部を使用している。

特開２０１４−２１７０９号公報特開２００８−４７９９１号公報

しかしながら、上記従来の技術では、レーダー装置等の物体の情報を取得する装置における不具合に対するフェイルセーフ技術のみが開示され、物体を検出する物体検出処理を実行する物体検出器に対するフェイルセーフ技術は何ら検討されておらず、物体検出器に対するフェイルセーフ技術に関して、更なる改善が必要とされていた。

本開示は、上記の課題を解決するためになされたもので、複数の物体検出器のうちの一つの物体検出器が異常状態になっても、追加の構成要素を最小限に抑えながら、フェイルセーフな物体検出を行うことができる物体検出装置、物体検出方法及び物体検出プログラムを提供することを目的とするものである。

本開示の一態様に係る物体検出装置は、物体を検出する物体検出装置であって、前記物体に関する物体情報を取得する取得部と、前記物体情報を用いて、各々が所定の物体検出処理を実行する複数の物体検出器を含む物体検出部と、前記複数の物体検出器の各々の異常状態を検知する異常検知部と、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態を検知した場合、異常状態が検知されていない物体検出器の物体検出処理を変更する変更部と、を備える。

本開示によれば、複数の物体検出器のうちの一つの物体検出器が異常状態になっても、追加の構成要素を最小限に抑えながら、フェイルセーフな物体検出を行うことができる。

本開示の実施の形態１における物体検出装置を搭載した車両の主要な構成の一例を示すブロック図である。図１に示す物体検出装置の構成の一例を示すブロック図である。図２に示す物体検出装置の起動時物体検出処理の一例を示すフローチャートである。図２に示す検出器切替部が用いる検出処理割当票の一例を示す図である。図２に示す物体検出器が物体検出処理に使用する画像情報が表す画像の一例を示す図である。図５に示す画像から物体検出器が検出した物体の一例を説明するための図である。図１に示す表示装置に表示される自動運転状態を示す計器画像の一例を示す図である。図２に示す物体検出装置の物体検出器の１つに異常が発生した場合の異常時物体検出処理の一例を示すフローチャートである。図２に示す物体検出器の一つに異常が発生した場合に検出器切替部が用いる検出処理割当票の一例を示す図である。図２に示す物体検出装置の物体検出器の一つに異常が発生した場合のフェイルセーフ動作の一例を説明するためのブロック図である。図２に示す物体検出器の一つに異常が発生した場合に表示装置に表示される計器画像の一例を示す図である。図２に示す物体検出器の一つに異常が発生した場合に検出器切替部が用いる検出処理割当票の他の一例を示す図である。本開示の実施の形態２における物体検出装置の構成の一例を示すブロック図である。図１３に示す物体検出装置の起動時物体検出処理の一例を示すフローチャートである。図１３に示す物体検出装置の物体検出器が参照するＮＮ格納部の一例を示す図である。図１３に示す物体検出装置の物体検出器の１つに異常が発生した場合の異常時物体検出処理の一例を示すフローチャートである。図１３に示す物体検出装置の物体検出器の１つに異常が発生した場合に物体検出器が参照するＮＮ格納部の一例を示す図である。

（本発明の基礎となった知見）
上記のように、特許文献１には、レーダー装置等の物体の情報を取得する装置における不具合に対するフェイルセーフ技術は開示されているが、物体を検出する物体検出処理を実行する物体検出器に関するフェイルセーフ技術は何ら開示されていない。

また、特許文献２では、複数の物体検出部を具備しているため、物体検出部が故障した場合にフェイルセーフ用の物体検出部が対応する運用も想定できるが、この場合は、フェイルセーフ用の物体検出部が別途必要になるという課題がある。

また、自動運転車の分野において、カメラ装置や測距センサ装置が故障した場合のフェイルセーフ技術に関しては、様々な提案がなされてきた。しかしながら、カメラ装置等から情報を受け取り、一般物体を検出する物体検出装置も故障するが、物体検出装置におけるフェイルセーフを考慮した設計や技術的な解決策に関して、何ら検討されていなかった。

このような課題を解決するために、本開示の一態様に係る物体検出装置は、物体を検出する物体検出装置であって、前記物体に関する物体情報を取得する取得部と、前記物体情報を用いて、各々が所定の物体検出処理を実行する複数の物体検出器を含む物体検出部と、前記複数の物体検出器の各々の異常状態を検知する異常検知部と、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記複数の物体検出器のうち異常状態が検知された異常物体検出器の物体検出処理を停止し、異常状態が検知されていない正常物体検出器の物体検出処理を変更する変更部と、を備える。

このような構成により、複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、異常状態が検知された異常物体検出器の物体検出処理を停止し、異常状態が検知されていない正常物体検出器の物体検出処理を変更しているので、フェイルセーフ用の物体検出器を新たに設けることなく、異常物体検出器の物体検出処理を、正常物体検出器に代行させることができる。この結果、複数の物体検出器のうちの一つの物体検出器が異常状態になっても、追加の構成要素を最小限に抑えながら、フェイルセーフな物体検出を行うことができる。

前記物体検出処理は、処理の優先度を有し、前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器のうち最も優先度が低い物体検出処理を実行する正常物体検出器の物体検出処理を前記異常物体検出器の物体検出処理に変更するようにしてもよい。

このような構成により、複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、正常物体検出器のうち最も優先度が低い物体検出処理を実行する正常物体検出器の物体検出処理を異常物体検出器の物体検出処理に変更しているので、異常物体検出器の物体検出処理を、最も優先度が低い物体検出処理を実行する正常物体検出器に代行させることができ、物体検出部の性能低下を必要最小限に抑えながら、優先度が高い物体検出処理を継続して実行することができる。

前記複数の物体検出器は、少なくとも３つ以上の物体検出器を含み、前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に次に優先度が高い物体検出処理を実行させるようにしてもよい。

このような構成により、複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に次に優先度が高い物体検出処理を実行させているので、優先度が高い物体検出処理を確実に継続して実行することができる。

前記複数の物体検出器は、少なくとも３つ以上の物体検出器を含み、前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に既に実行している物体検出処理に加えて前記異常物体検出器の物体検出処理を実行させるようにしてもよい。

このような構成により、複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に既に実行している物体検出処理に加えて異常物体検出器の物体検出処理を実行させているので、すべての物体検出処理を継続して実行することができる。

前記物体検出部は、前記異常物体検出器が物体検出処理を停止しているときに、前記異常物体検出器を正常状態に復帰させる復旧処理を実行するようにしてもよい。

このような構成により、異常物体検出器が物体検出処理を停止しているときに、異常物体検出器を正常状態に復帰させる復旧処理を実行しているので、異常物体検出器を早期に正常状態に復帰させることができる。

前記複数の物体検出器の各々は、ニューラルネットワークを使用する物体検出器を含み、前記物体検出部は、前記物体を検出するためのニューラルネットワークを生成するためのデータ群を用いて、前記複数の物体検出器の各々が使用するニューラルネットワークを生成し、生成した各ニューラルネットワークを前記複数の物体検出器の各々に割り当て、前記複数の物体検出器の各々は、割り当てられたニューラルネットワークを使用して前記物体を検出し、前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器が使用するニューラルネットワークを変更するようにしてもよい。

このような構成により、物体を検出するためのニューラルネットワークを生成するためのデータ群を用いて、複数の物体検出器の各々が使用するニューラルネットワークを生成し、生成した各ニューラルネットワークを複数の物体検出器の各々に割り当て、複数の物体検出器の各々は、割り当てられたニューラルネットワークを使用して物体を検出する。この状態で、複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、異常状態が検知されていない正常物体検出器が使用するニューラルネットワークを変更しているので、複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合に、ニューラルネットワークの新規生成に費やす時間を無くし、物体検出処理の空白期間を防止することができる。

前記物体検出部は、生成した複数のニューラルネットワークの各々を個別領域に記憶する記憶部をさらに含み、前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器が参照する前記記憶部の個別領域を変更させることにより、前記正常物体検出器が使用するニューラルネットワークを変更するようにしてもよい。

このような構成により、複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、正常物体検出器が参照する記憶部の個別領域を変更させることにより、正常物体検出器が使用するニューラルネットワークを変更しているので、正常物体検出器が使用するニューラルネットワークを瞬時に変更することができ、ニューラルネットワークを用いた物体検出処理を確実に継続して実行することができる。

前記複数の物体検出器の各々は、同性能の物体検出器であってもよい。

このような構成により、異常物体検出器の物体検出処理を正常物体検出器に容易に代行させることができるとともに、物体検出装置のコストを低減することができる。

前記物体情報は、所定のカメラ装置により前記物体を撮影した画像情報を含むようにしてもよい。

このような構成により、カメラ装置により物体を撮影した画像情報を用いて、歩行者、車両、道路標識、建物、及び道路の領域等を含む一般物体を検出することができる。

前記物体検出装置は、走行状態を制御する走行制御装置を備える車両に搭載され、前記物体検出部が前記複数の物体検出器の検出結果を統合した統合検出結果に基づいて、前記走行制御装置に制御信号を出力する運転制御信号発信部をさらに備えるようにしてもよい。

このような構成により、物体検出装置が車両に搭載され、物体検出部が複数の物体検出器の検出結果を統合した統合検出結果に基づいて、車両の走行状態を制御する走行制御装置に制御信号を出力しているので、物体検出器の異常発生時にも、車両の走行制御に必要な、歩行者、他の車両、道路標識、建物、及び道路の領域等を含む一般物体を検出することができ、この検出結果を統合した統合検出結果を用いて、自動運転車のフェイルセーフな自動運転制御を実現することができる。

前記物体は、前記車両に最も近い範囲の第１の距離範囲に位置する第１の物体と、前記車両から前記第１の距離範囲より遠い第２の距離範囲に位置する第２の物体と、前記車両から前記第２の距離範囲より遠い第３の距離範囲に位置する第３の物体とを含み、前記複数の物体検出器は、前記第１の物体を検出する第１の物体検出器と、前記第２の物体を検出する第２の物体検出器と、前記第３の物体を検出する第３の物体検出器とを含み、前記変更部は、前記異常検知部により前記第１の物体検出器の異常状態が検知された場合、前記第１の物体検出器の物体検出処理を停止し、前記第３の物体検出器が前記第１の物体を検出するように前記第３の物体検出器の物体検出処理を変更するようにしてもよい。

このような構成により、第１の物体検出器の異常状態が検知された場合、第１の物体検出器の物体検出処理を停止し、第３の物体検出器が第１の物体を検出するように第３の物体検出器の物体検出処理を変更しているので、第１の物体検出器の異常発生時にも、車両に最も近い範囲の第１の距離範囲に位置する第１の物体、例えば、歩行者、他の車両、道路標識、建物、及び道路の領域等を検出することができ、自動運転車の自動運転を継続することができる。

また、本開示は、以上のような特徴的な構成を備える物体検出装置として実現することができるだけでなく、物体検出装置が備える特徴的な構成に対応する特徴的な処理を実行する物体検出方法などとして実現することもできる。また、このような物体検出方法に含まれる特徴的な処理をコンピュータに実行させる物体検出プログラムとして実現することもできる。したがって、以下の他の態様でも、上記の物体検出装置と同様の効果を奏することができる。

本開示の他の態様に係る物体検出方法は、物体を検出する物体検出装置の物体検出方法であって、前記物体に関する物体情報を取得し、前記物体情報を用いて複数の物体検出処理を実行し、前記複数の物体検出処理の各々の異常状態を検知し、前記複数の物体検出処理のうちの一つの物体検出処理の異常状態が検知された場合、前記複数の物体検出処理のうち異常状態が検知された異常物体検出処理を停止し、異常状態が検知されていない正常物体検出処理の処理内容を変更する。

本開示の他の態様に係る物体検出プログラムは、物体を検出する物体検出装置として、コンピュータを機能させるための物体検出プログラムであって、前記コンピュータに、前記物体に関する物体情報を取得し、前記物体情報を用いて複数の物体検出処理を実行し、前記複数の物体検出処理の各々の異常状態を検知し、前記複数の物体検出処理のうちの一つの物体検出処理の異常状態が検知された場合、前記複数の物体検出処理のうち異常状態が検知された異常物体検出処理を停止し、異常状態が検知されていない正常物体検出処理の処理内容を変更する。

そして、上記のような物体検出プログラムを、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

また、本開示の一実施の形態に係る物体検出装置の構成要素の一部とそれ以外の構成要素とを複数のコンピュータに分散させたシステムとして構成してもよい。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すためのものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。

以下、本開示の各実施の形態に係る物体検出装置システムについて、図面を参照しながら説明する。

（実施の形態１）
図１は、本開示の実施の形態１における物体検出装置を搭載した車両の主要な構成の一例を示すブロック図である。図１に示すように、車両１は、カメラ装置１１、測距センサ装置１２、走行制御装置１３、表示装置１４、及び物体検出装置１０１を備える。車両１は、走行状態を制御する走行制御装置１３及び物体を検出する物体検出装置１０１を用い、自動運転を行う自動運転車である。なお、車両１は、自動運転車に特に限定されず、運転者が運転を行う通常の車両であってもよい。

カメラ装置１１は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）イメージセンサ等から構成され、車両１の前方に位置する種々の物体（一般物体）を含む画像を撮影し、物体を撮影した画像情報を物体検出装置１０１に出力する。なお、カメラ装置１１の構成は、この例に特に限定されず、複数のカメラ装置により、車両１の後方、右側方、左側方等の物体を撮影するようにしてもよい。

測距センサ装置１２は、レーダー装置等から構成され、車両１の前方に位置する種々の物体（一般物体）までの距離を測定し、測定した距離を示す距離情報を物体検出装置１０１に出力する。なお、測距センサ装置１２の構成は、この例に特に限定されず、複数の測距センサ装置により、車両１の後方、右側方、左側方等に位置する物体までの距離を測定するようにしたり、ステレオカメラ等を用いて、物体までの距離を示す距離情報を画像化した画像情報等を出力するようにしてもよい。

物体検出装置１０１は、自動運転車の場合、一般物体として、歩行者、車両、道路標識、建物、及び道路の領域等の物体を検出し、物体検出結果に基づく制御信号（運転制御信号）を走行制御装置１３に出力する。

走行制御装置１３は、エンジンコントロールユニット等から構成され、物体検出装置１０１の物体検出結果を含む種々の情報を基に、車両１の走行状態を制御し、アクセル操作、ブレーキ操作及びハンドル操作等を自動的に制御する。

表示装置１４は、車両１のインストルメントパネルに設置された液晶ディスプレイ等から構成され、走行制御装置１３から出力される種々の情報、例えば、自動運転の状態や物体検出装置１０１の動作状態等を表示する。

図２は、図１に示す物体検出装置の構成の一例を示すブロック図である。図２に示すように、物体検出装置１０１は、情報取得部１０２、物体検出部１０３、検出器異常検知部１０４、検出器切替部１０５、及び運転制御信号発信部１０６を備える。物体検出部１０３は、３つの物体検出器１１３、１２３、１３３を備える。

情報取得部１０２は、物体に関する物体情報として、物体を撮影した画像情報をカメラ装置１１から取得するとともに、物体までの距離を示す距離情報を測距センサ装置１２から取得し、取得した画像情報及び距離情報を物体検出部１０３に出力する。なお、物体情報は、上記の例に特に限定されず、検出対象となる物体に関する他の種々の情報を用いてもよい。

物体検出部１０３は、物体検出器１１３、１２３、１３３の動作を管理し、情報取得部１０２から出力された画像情報及び距離情報を物体検出器１１３、１２３、１３３に与え、物体検出器１１３、１２３、１３３に物体検出処理を実行させる。物体検出器１１３、１２３、１３３の各々は、画像情報及び距離情報を用いて、所定の物体検出処理を実行する。物体検出器１１３、１２３、１３３の各々は、同性能の物体検出器であり、同一構成の物体検出器であることが好ましい。なお、物体検出器の数及び構成は、上記の例に特に限定されず、２つ又は４つ以上の物体検出器を用いたり、異なる性能の物体検出器を用いたり、種々の変更が可能である。また、物体検出器が処理する情報は、上記の画像情報等に特に限定されず、電波、熱、音、赤外線等に対応する各種センサ装置の検出信号に対応する情報等から一般物体を検出してもかまわない。

また、物体検出器１２３、１３３は、物体検出処理により検出した物体の検出結果を物体検出器１１３に出力し、物体検出器１１３は、自身の検出結果と、物体検出器１２３、１３３の検出結果とを統合し、統合検出結果を運転制御信号発信部１０６に出力する。

検出器異常検知部１０４は、物体検出器１１３、１２３、１３３の各々の異常状態を検知し、異常状態を検知した物体検出器を知らせる検出器異常情報を検出器切替部１０５及び運転制御信号発信部１０６に通知する。例えば、検出器異常検知部１０４は、ハードウェア的には、物体検出器１１３、１２３、１３３の温度や電力消費量の変化を監視したり、ソフトウェア的には、物体検出器１１３、１２３、１３３の検出結果の出力頻度を監視したりすることにより、物体検出器１１３、１２３、１３３の異常状態を検知する。なお、検出器異常検知部１０４は、物体検出器１１３、１２３、１３３が正常に動作している場合、すべての物体検出器１１３、１２３、１３３が正常である旨の検出器正常情報を運転制御信号発信部１０６に送信してもよい。

検出器切替部１０５は、物体検出部１０３を制御して物体検出器１１３、１２３、１３３の処理内容を切り替えることにより、検出器異常検知部１０４により物体検出器１１３、１２３、１３３のうちの一つの物体検出器の異常状態が検知された場合、異常状態が検知された異常物体検出器の物体検出処理を停止し、異常状態が検知されていない正常物体検出器の物体検出処理を変更する。物体検出部１０３は、異常物体検出器が物体検出処理を停止しているときに、異常物体検出器を正常状態に復帰させる復旧処理を実行する。

また、物体検出器１１３、１２３、１３３の各々の物体検出処理は、処理の優先度を有しており、検出器切替部１０５は、検出器異常検知部１０４により物体検出器１１３、１２３、１３３のうちの一つの物体検出器の異常状態が検知された場合、物体検出部１０３を制御して、異常状態が検知されていない正常物体検出器のうち最も優先度が低い物体検出処理を実行する正常物体検出器の物体検出処理を、異常状態が検知された異常物体検出器の物体検出処理に変更する。

また、検出器切替部１０５は、検出器異常検知部１０４により物体検出器１１３、１２３、１３３のうちの一つの物体検出器の異常状態が検知された場合、物体検出部１０３を制御して、異常状態が検知されていない正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に次に優先度が高い物体検出処理を実行させる。

また、物体検出装置１０１が検出する物体は、車両１に最も近い範囲の第１の距離範囲に位置する第１の物体と、車両１から第１の距離範囲より遠い第２の距離範囲に位置する第２の物体と、車両１から前記第２の距離範囲より遠い第３の距離範囲に位置する第３の物体とを含む。物体検出器１１３は、第１の距離範囲に位置する第１の物体を検出し、物体検出器１２３は、第２の距離範囲に位置する第２の物体を検出し、物体検出器１３３は、第３の距離範囲に位置する第３の物体を検出する。

また、検出器切替部１０５は、検出器異常検知部１０４により物体検出器１１３の異常状態が検知された場合、物体検出部１０３を制御して、物体検出器１１３の物体検出処理を停止し、物体検出器１３３が第１の距離範囲に位置する第１の物体を検出するように物体検出器１３３の物体検出処理を変更する。

また、検出器切替部１０５は、検出器異常検知部１０４により物体検出器１１３、１２３、１３３のうちの一つの物体検出器の異常状態が検知された場合、物体検出部１０３を制御して、異常状態が検知されていない正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に既に実行している物体検出処理に加えて異常状態が検知された異常物体検出器の物体検出処理を実行させるようにしてもよい。

運転制御信号発信部１０６は、物体検出器１１３、１２３、１３３の検出結果を統合した統合検出結果に基づいて、走行制御装置１３に運転制御信号を出力する。

次に、図２に示す物体検出装置１０１の動作について説明する。図３は、図２に示す物体検出装置１０１の起動時物体検出処理の一例を示すフローチャートである。図３に示す起動時物体検出処理は、物体検出装置１０１が車両１（自動運転車）に搭載され、自動運転機能の開始時に実行される処理である。

まず、検出器切替部１０５は、内部のメモリ（図示省略）に記憶している検出処理割当票に基づいて、物体検出器１１３、１２３、１３３が実施する物体検出処理の処理内容を、物体検出器１１３、１２３、１３３を管理する物体検出部１０３に通知する（ステップＳ１１）。

ここで、検出器切替部１０５は、物体検出器を識別する検出器ＩＤ（識別番号）と、処理内容と、優先度とを対応づけた検出処理割当票をテーブル形式で内部のメモリに記憶している。図４は、図２に示す検出器切替部１０５が用いる検出処理割当票の一例を示す図である。図４に示すように、検出処理割当票Ｔ１は、各物体検出器１１３、１２３、１３３に紐付けられた識別子である検出器ＩＤＴ２と、その処理内容Ｔ３と、その優先度Ｔ４とから構成される。

図４に示す例では、検出器ＩＤＴ２として、説明を容易にするため、「物体検出器１１３」、「物体検出器１２３」、及び「物体検出器１３３」を用い、処理内容Ｔ３として、「近距離」、「中距離」、「遠距離」、及び「検出結果統合」を用い、優先度Ｔ４として、「１」、「２」、及び「３」を用いている。また、「近距離」は、車両１に対して近い距離（第１の距離範囲）の一般物体を検出する処理内容を示し、「中距離」、「遠距離」も同じく車両１に対して中間の距離（第２の距離範囲）、遠い距離（第３の距離範囲）の一般物体を検出する処理内容を示し、「検出結果統合」は、各物体検出器１１３、１２３、１３３の検出結果を統合する処理を示す。優先度Ｔ４は、数値が小さいほど優先度が高い処理を示す。

例えば、検出器切替部１０５は、図４に示す検出処理割当票Ｔ１に基づいて、物体検出器１１３の処理内容を優先度「１」で「近距離」及び「検出結果統合」に、物体検出器１２３の処理内容を優先度「２」で「中距離」に、物体検出器１３３の処理内容を優先度「３」で「遠距離」に設定するように物体検出部１０３に通知する。

なお、検出処理割当票の保管方法として、検出器切替部１０５が保管する例を説明したが、この例に特に限定されず、物体検出装置１０１以外の装置が検出処理割当票を保管してもよい。また、物体検出部１０３が処理内容Ｔ３と優先度Ｔ４とのペア情報を記憶し、検出器切替部１０５が検出器ＩＤＴ２と優先度Ｔ４とのペア情報を物体検出部１０３に通知するようにしてもよい。また、優先度Ｔ４は、車両１から一般物体までの距離を基準に決定したが、この例に特に限定されず、処理内容Ｔ３における検出対象の一般物体の種類（人物、道路標識、障害物、動物等）に応じて優先度の値を変更する（例えば、人物、道路標識、障害物、動物の順に優先度を低くする）ようにしてもよい。

ここで、物体検出器１１３、１２３、１３３は、同性能の物体検出器であり、検出対象の一般物体が遠い距離になる程、検出対象となる一般物体がカメラ装置１１により撮影された画像内で相対的に小さくなるので、物体検出器１１３の計算量より物体検出器１２３の計算量が増大し、物体検出器１２３の計算量より物体検出器１３３の計算量が増大する。

したがって、本実施の形態では、物体検出器１３３の１画像（１フレーム）における物体検出処理の時間は、物体検出器１１３、１２３と比較して長くなる。このため、本実施の形態では、一例として、情報取得部１０２は、物体検出部１０３に６０ＦＰＳ（ＦｒａｍｅｓＰｅｒＳｅｃｏｎｄ）で画像を転送し、検出頻度として、物体検出器１１３は６０ＦＰＳ、物体検出器１２３は３０ＦＰＳ、物体検出器１３３は１５ＦＰＳで一般物体を検出している。また、物体検出器１１３は、各物体検出器１１３、１２３、１３３の検出結果を検出頻度６０ＦＰＳで統合する。

つまり、物体検出器１１３の検出結果は１フレーム毎に更新されるが、物体検出器１２３の検出結果は２フレーム毎、物体検出器１３３の検出結果は４フレーム毎に更新されることになる。また、一般物体に対する距離は、測距センサ装置１２からの距離情報で決定する。なお、測距センサ装置１２を用いない場合は、一般物体に対する距離を、各物体検出器１１３、１２３、１３３が検出対象とする一般物体の１フレームに対する画像面積の大きさから決定するようにしてもよい。

次に、物体検出部１０３は、情報取得部１０２からの画像情報等を物体検出器１１３、１２３、１３３に入力し、検出器切替部１０５からの通知すなわち検出処理割当票に従って、物体検出器１１３、１２３、１３３の各々に、通知された処理内容及び優先度で物体検出処理を実行させ、物体検出器１１３、１２３、１３３の動作を開始させる（ステップＳ１２）。このとき、情報取得部１０２は、カメラ装置１１の画像情報を取得するとともに、測距センサ装置１２による一般物体との距離情報を画像化して取得するようにしてもよい。また、物体検出部１０３は、物体検出器１１３、１２３、１３３からの一般物体の検出結果を運転制御信号発信部１０６に転送する。

図５は、図２に示す物体検出器１１３、１２３、１３３が物体検出処理に使用する画像情報が表す画像の一例を示す図であり、図６は、図５に示す画像から物体検出器１１３、１２３、１３３が検出した物体の一例を説明するための図である。

図５に示す１フレームの画像Ｐ１を表す画像情報が情報取得部１０２に入力され、物体検出器１１３、１２３、１３３が情報取得部１０２から転送された画像Ｐ１に対して物体検出処理を実行すると、図６に示す検出結果画像Ｐ２と等価の画像を表す画像情報が運転制御信号発信部１０６に転送される。

図６に示す例では、検出処理割当票Ｔ１に基づき、物体検出器１１３は、近距離の物体として、道路の通行可能領域Ｎ１と他の車両Ｎ２とを検出し、物体検出器１２３は、中距離の物体として、道路の通行可能領域Ｍ１と人物Ｍ２とを検出し、物体検出器１３３は、遠距離の物体として、道路の通行可能領域Ｆ１と道路標識Ｆ２とを検出する。物体検出器１１３は、これらの検出結果を統合して運転制御信号発信部１０６に転送する。このように、車両１からの距離を基準に各処理内容が割り当てられた物体検出器１１３、１２３、１３３が、各距離範囲に存在する可能性がある一般物体を検出する。

次に、物体検出部１０３が動作を開始すると、検出器異常検知部１０４は、各物体検出器１１３、１２３、１３３の監視を開始する（ステップＳ１３）。このとき、検出器異常検知部１０４は、物体検出器１１３、１２３、１３３の各々の異常状態を検知し、異常状態を検知した物体検出器を検出器切替部１０５及び運転制御信号発信部１０６に通知する。

次に、運転制御信号発信部１０６は、物体検出部１０３からの検出結果に基づき、走行制御装置１３に運転制御信号を出力し、走行制御装置１３は、運転制御信号に基づき、車両１の自動運転を開始する（ステップＳ１４）。

図７は、図１に示す表示装置１４に表示される自動運転状態を示す計器画像の一例を示す図である。物体検出器１１３、１２３、１３３が正常状態に動作している場合、例えば、図７に示す計器画像が車両１のインストルメントパネルに設けられた表示装置１４に表示される。本例は、車両１が電気自動車である場合の例であり、計器画像として、例えば、バッテリ残量メータＢＭ、スピードメータＳＭ、及びパワーメータＰＭが表示される。

また、スピードメータＳＭの中央下部に、運転モードとして、正常に自動運転が行われていることを示す「ＣｒｕｉｓｅＭｏｄｅ」Ｍ１が表示される。また、その上に物体検出器１１３の動作状態（１００％の処理能力で近距離の物体検出処理を実行している状態）を示す「１００％Ｓｈｏｒｔ」Ｄ１が表示され、その上に物体検出器１２３の動作状態（１００％の処理能力で中距離の物体検出処理を実行している状態）を示す「１００％Ｍｉｄｄｌｅ」Ｄ２が表示され、その上に物体検出器１３３の動作状態（１００％の処理能力で遠距離の物体検出処理を実行している状態）を示す「１００％Ｌｏｎｇ」Ｄ３が表示されている。

上記のような計器画像を表示装置１４に表示させることにより、自動運転であること及び各物体検出器１１３、１２３、１３３の状態を搭乗者に示すことができる。

以上が、本実施の形態における物体検出装置１０１の自動運転車の起動時（自動運転機能の起動時）における処理内容となる。

次に、物体検出装置１０１のフェイルセーフ動作の一例として、自動運転開始後に、物体検出器１１３、１２３、１３３の一つに異常が発生した場合を説明する。図８は、図２に示す物体検出装置１０１の物体検出器１１３、１２３、１３３の１つに異常が発生した場合の異常時物体検出処理の一例を示すフローチャートである。

まず、検出器異常検知部１０４は、物体検出器１１３、１２３、１３３の一つの動作異常を検知した場合、検出器切替部１０５及び運転制御信号発信部１０６に、どの物体検出器が異常状態であるかを示す検出器異常情報を通知する（ステップＳ２１）。例えば、物体検出器１１３に異常が発生した場合、検出器異常検知部１０４は、検出器切替部１０５及び運転制御信号発信部１０６に、物体検出器１１３が異常状態であることを示す検出器異常情報を通知する。

次に、検出器異常情報を受信した検出器切替部１０５は、使用する検出処理割当票を、図４に示した検出処理割当票Ｔ１から物体検出器１１３、１２３、１３３の一つが異常の場合の検出処理割当票に変更し、この検出処理割当票に即したフェイルセーフ動作を行うように物体検出器１１３、１２３、１３３の処理内容を切り替えることを物体検出部１０３に通知する（ステップＳ２２）。ここで、物体検出器１１３、１２３、１３３の一つが異常の場合の検出処理割当票は、図４に示した検出処理割当票Ｔ１と同様に、異常状態の物体検出器毎に検出器切替部１０５の内部のメモリに記憶されており、検出器切替部１０５は、内部のメモリから異常状態の物体検出器用の検出処理割当票を読み出して使用する。なお、異常状態の物体検出器用の検出処理割当票は、上記の内部メモリに記憶する例に特に限定されず、例えば、検出器切替部１０５等が、物体検出器１１３、１２３、１３３の処理能力を基に、適切なフェイルセーフ動作が行える検出処理割当票を作成するようにしてもよい。

図９は、図２に示す物体検出器１１３に異常が発生した場合に検出器切替部１０５が用いる検出処理割当票の一例を示す図である。図９に示す検出処理割当票Ｔ１ａでは、処理内容Ｔ３ａ及び優先度Ｔ４ａが変更され、物体検出器１１３の処理内容及び優先度が「復旧処理」及び「−」（優先度無）に変更され、物体検出器１３３の処理内容及び優先度が「近距離、検出結果統合」及び「１」に変更され、物体検出器１２３の処理内容及び優先度は維持されている。ここで、「復旧処理」は、異常状態が検知された異常物体検出器の動作を停止し、異常物体検出器を正常状態に復帰させる処理を示す。

例えば、物体検出器１１３に異常が発生した場合、検出器切替部１０５は、図９に示す検出処理割当票Ｔ１ａに基づいて、物体検出器１１３の処理内容を優先度「−」で「復旧処理」に、物体検出器１２３の処理内容を優先度「２」で「中距離」に、物体検出器１３３の処理内容を優先度「１」で「近距離」及び「検出結果統合」に設定するように物体検出部１０３に通知する。

次に、物体検出部１０３は、物体検出器１１３、１２３、１３３の一つが異常の場合の検出処理割当票に基づき、物体検出器１１３、１２３、１３３の処理を変更し、変更後の統合検出結果を運転制御信号発信部１０６に出力する（ステップＳ２３）。例えば、物体検出器１１３に異常が発生した場合、物体検出部１０３は、処理内容Ｔ３ａに基づき、物体検出器１１３を正常な状態に戻すための「復旧処理」を行わせ、処理内容Ｔ３ａ及び優先度Ｔ４ａに基づき物体検出器１３３の物体検出処理を「近距離、検出結果統合」及び「優先度１」に変更する。

図１０は、図２に示す物体検出装置１０１の物体検出器１１３に異常が発生した場合のフェイルセーフ動作の一例を説明するためのブロック図である。図１０に示すように、物体検出器１１３に異常が発生した場合、物体検出部１０３は、物体検出器１１３を正常な状態に戻すための復旧処理を実行し、また、物体検出器１２３は、優先度２で中距離の物体検出処理を実行し、検出結果を物体検出器１３３に出力し、物体検出器１３３は、優先度１で近距離の物体検出処理及び検出結果の統合処理を行い、統合検出結果を運転制御信号発信部１０６に出力する。

そして、運転制御信号発信部１０６は、検出器異常情報や物体検出部１０３の統合検出結果に基づき、車両１の走行制御装置１３に、車両１の走行速度を落としたり、安全な場所で停止させたりする等のフェイルセーフな運転を行うための運転制御信号を発信する（ステップＳ２４）。

図１１は、図２に示す物体検出器１１３、１２３、１３３の一つに異常が発生した場合に表示装置１４に表示される計器画像の一例を示す図である。例えば、物体検出器１１３に異常が発生し、図８に示す異常時物体検出処理が実施された場合、図１１に示す計器画像が車両１のインストルメントパネルに設けられた表示装置１４に表示される。本例でも、計器画像として、図７に示す計器画像と同様にバッテリ残量メータＢＭ及びパワーメータＰＭが表示されるが、スピードメータＳＭａの表示内容は変更される。

すなわち、スピードメータＳＭａの中央下部に、運転モードとして、フェイルセーフな運転が行われていることを示す「ＦａｉｌＳａｆｅＭｏｄｅ」Ｍ２が表示される。また、その上に物体検出器１１３が異常状態にあり、物体検出処理が停止され、復旧処理が行われていることを示す「０％Ｒｅｃｏｖｅｒｙ」Ｄ１ａが表示され、その上に物体検出器１２３の動作状態（１００％の処理能力で中距離の物体検出処理を実行している状態）を示す「１００％Ｍｉｄｄｌｅ」Ｄ２が表示され、その上に物体検出器１３３の動作状態（１００％の処理能力で近距離の物体検出処理を実行している状態）を示す「１００％Ｓｈｏｒｔ」Ｄ３ａが表示されている。

上記のような計器画像を表示装置１４に表示させることにより、物体検出器１１３が復旧状態にあり、危険回避のためのフェイルセーフ運転状態になったことを搭乗者に示すことができる。

上記の処理により、本実施の形態では、複数の物体検出器１１３、１２３、１３３のうちの一つの物体検出器の異常状態が検知された場合、異常状態が検知された異常物体検出器の物体検出処理を停止し、異常状態が検知されていない正常物体検出器の物体検出処理を変更しているので、フェイルセーフ用の物体検出器を新たに設けることなく、異常物体検出器の物体検出処理を、正常物体検出器に代行させることができる。この結果、複数の物体検出器１１３、１２３、１３３のうちの一つの物体検出器が異常状態になっても、追加の構成要素を最小限に抑えながら、フェイルセーフな物体検出を行うことができる。

なお、複数の物体検出器１１３、１２３、１３３のうちの一つの物体検出器の異常状態が検知された場合に、異常状態が検知されていない正常物体検出器の物体検出処理の変更内容は、図９に示す例に特に限定されず、種々の変更が可能である。例えば、車両１の状態や外部環境によっては、図１２に示すような検出処理割当票に基づいて、正常物体検出器の物体検出処理を変更してもよい。

図１２は、図２に示す物体検出器１１３に異常が発生した場合に検出器切替部１０５が用いる検出処理割当票の他の一例を示す図である。図１２に示す検出処理割当票Ｔ１ｂでは、物体検出器１１３、１３３の処理内容及び優先度並びに物体検出器１２３の優先度は図９に示す検出処理割当票Ｔ１ａと同様であるが、物体検出器１２３の処理内容Ｔ３ｂが「遠距離及び中距離、検出頻度５０％」に変更されている。

本実施の形態では、通常状態における検出頻度として、近距離の物体検出処理が６０ＦＰＳ、中距離の物体検出処理が３０ＦＰＳ、遠距離の物体検出処理が１５ＦＰＳであったが、図１２に示す例では、物体検出器１１３に異常が発生した際には、検出処理割当票Ｔ１ｂの処理内容Ｔ３ｂに基づき、物体検出器１２３は、演算リソースの半分を中距離の物体検出処理に、もう半分を遠距離の物体検出処理に振り分けて一般物体を検出する。つまり、この場合において、検出頻度は、近距離の物体検出処理が６０ＦＰＳ、中距離の物体検出処理が１５ＦＰＳ、遠距離の物体検出処理が７ＦＰＳに変更される。

したがって、物体検出器１１３の異常状態が検知された場合、物体検出器１３３に最も優先度が高い近距離の物体検出処理及び検出結果統合処理を実行させるとともに、物体検出器１２３に既に実行している中距離の物体検出処理に加えて遠距離の物体検出処理を実行させているので、すべての物体検出処理を継続して実行することができる。

（実施の形態２）
図１３は、本開示の実施の形態２における物体検出装置の構成の一例を示すブロック図である。本実施の形態では、自動運転車におけるニューラルネットワーク（以降、「ＮＮ」と称する）を用いた物体検出装置１０１ａについて、図１３を用いて説明する。なお、図１３に示す物体検出装置１０１ａは、以下に説明するニューラルネットワークを用いて物体検出処理を行う点以外は、基本的に、図２に示す物体検出装置１０１と同様であるので、同一部分には同一符号を付し、再度の説明を省略する。

図１３に示すように、物体検出装置１０１ａは、情報取得部１０２、物体検出部１０３ａ、検出器異常検知部１０４、検出器切替部１０５、運転制御信号発信部１０６、ＮＮ（ニューラルネットワーク）保管部２０１を備える。物体検出部１０３ａは、３つの物体検出器１１３ａ、１２３ａ、１３３ａ、及びＮＮ（ニューラルネットワーク）記憶部２０２を備える。ＮＮ記憶部２０２は、個別の記憶領域として、３つのＮＮ（ニューラルネットワーク）格納部２１３、２２３、２３３を有している。

ＮＮを用いた一般物体検出として、近年、「ＤｅｅｐＬｅａｒｎｉｎｇ」（深層学習）と呼ばれる手法で学習が実施されたＮＮを用いることにより、高い検出性能を得ることが可能となり、手動で設計した特徴量を用いた従来の物体検出器の代わりを務めるようになってきている。本実施の形態では、以下のようにして、深層学習を用いて学習が実施されたニューラルネットワークを使用して物体検出処理を実行している。

ＮＮ保管部２０１は、物体を検出するためのニューラルネットワークを生成するためのデータ群として、ＮＮ（ニューラルネットワーク）生成データを記憶している。ＮＮ生成データとは、ＤｅｅｐＬｅａｒｎｉｎｇ手法で目的別に学習されたＮＮを生成するために必要なノードに関するパラメータや、ノード間のネットワーク構成などが規定されたデータである。なお、ＮＮ生成データの取得方法は、この例に特に限定されず、例えば、ＮＮ保管部２０１を省略し、所定のネットワークを介して所定のサーバ等から取得してもよい。

物体検出部１０３ａは、ＮＮ保管部２０１からＮＮ生成データを読み出し、ＮＮ生成データを用いて、物体検出器１１３ａ、１２３ａ、１３３ａの各々が使用するニューラルネットワークを生成し、生成した各ニューラルネットワークをＮＮ記憶部２０２の格納部２１３、２２３、２３３にそれぞれ格納する。なお、ＮＮ記憶部２０２の構成は、上記の例に特に限定されず、例えば、個別の記憶部に各ニューラルネットワークを記憶するようにしてもよい。また、生成された各ニューラルネットワークが記憶されるメモリ領域（格納部２１３、２２３、２３３）は、耐故障性を高めるために多重化し、物体検出器１１３ａ、１２３ａ、１３３ａが参照できる場所に複製するようにしてもよい。

また、物体検出部１０３ａは、物体検出器１１３ａ、１２３ａ、１３３ａの動作を管理し、情報取得部１０２から出力された画像情報及び距離情報を物体検出器１１３ａ、１２３ａ、１３３ａに与え、また、検出器切替部１０５からの検出処理割当票に基づく物体検出器１１３ａ、１２３ａ、１３３ａの処理内容に従い、ＮＮ格納部２１３、２２３、２３３のニューラルネットワークを物体検出器１１３ａ、１２３ａ、１３３ａに割り当てる。

物体検出器１１３ａ、１２３ａ、１３３ａの各々は、情報取得部１０２からの画像情報及び距離情報を用いて、割り当てられたニューラルネットワークを用いた物体検出処理を実行する。物体検出器１１３ａ、１２３ａ、１３３ａの各々は、同性能の物体検出器であり、同一構成の物体検出器であることが好ましい。

また、物体検出器１２３ａ、１３３ａは、割り当てられたニューラルネットワークを用いた物体検出処理により検出した物体の検出結果を物体検出器１１３ａに出力し、物体検出器１１３ａは、自身の検出結果と、物体検出器１２３ａ、１３３ａの検出結果とを統合し、統合検出結果を運転制御信号発信部１０６に出力する。

検出器異常検知部１０４は、物体検出器１１３ａ、１２３ａ、１３３ａの各々の異常状態を検知し、異常状態を検知した物体検出器を知らせる検出器異常情報を検出器切替部１０５及び運転制御信号発信部１０６に通知する。

検出器切替部１０５は、物体検出部１０３ａを制御して物体検出器１１３ａ、１２３ａ、１３３ａの処理内容を切り替えることにより、検出器異常検知部１０４により物体検出器１１３ａ、１２３ａ、１３３ａのうちの一つの物体検出器の異常状態が検知された場合、異常状態が検知された異常物体検出器の物体検出処理を停止し、異常状態が検知されていない正常物体検出器の物体検出処理を変更する。物体検出部１０３ａは、異常物体検出器が物体検出処理を停止しているときに、異常物体検出器を正常状態に復帰させる復旧処理を実行する。

また、検出器切替部１０５は、検出器異常検知部１０４により物体検出器１１３ａ、１２３ａ、１３３ａのうちの一つの物体検出器の異常状態が検知された場合、正常物体検出器が参照するＮＮ記憶部２０２のＮＮ格納部２１３、２２３、２３３を変更させることにより、正常物体検出器が使用するニューラルネットワークを変更する。

次に、図１３に示す物体検出装置１０１ａの動作について説明する。図１４は、図１３に示す物体検出装置１０１ａの起動時物体検出処理の一例を示すフローチャートである。図１４に示す物体検出処理は、物体検出装置１０１ａが車両１（自動運転車）（図１参照）に搭載され、自動運転機能の開始時に実行される処理である。

まず、検出器切替部１０５は、内部のメモリに記憶している検出処理割当票（例えば、図４に示す検出処理割当票）に基づいて、物体検出器１１３ａ、１２３ａ、１３３ａが実施する物体検出処理の処理内容を、物体検出器１１３ａ、１２３ａ、１３３ａを管理する物体検出部１０３ａに通知する（ステップＳ３１）。

次に、物体検出部１０３ａは、検出器切替部１０５から通知された情報に基づき、ＮＮ保管部２０１からＮＮ生成データを読み出し、各物体検出器１１３ａ、１２３ａ、１３３ａ用のニューラルネットワークを生成してＮＮ格納部２１３、２２３、２３３にそれぞれ格納し、ＮＮ格納部２１３、２２３、２３３のニューラルネットワークを物体検出器１１３ａ、１２３ａ、１３３ａに割り当てる（ステップＳ３２）。

図１５は、図１３に示す物体検出装置１０１ａの物体検出器１１３ａ、１２３ａ、１３３ａが参照するＮＮ格納部２１３、２２３、２３３の一例を示す図である。図１５に示す例では、ＮＮ記憶部２０２のＮＮ格納部２１３に近距離の物体検出処理用のニューラルネットワークが記憶され、ＮＮ格納部２２３に中距離の物体検出処理用のニューラルネットワークが記憶され、ＮＮ格納部２３３に遠距離の物体検出処理用のニューラルネットワークが記憶されている。

このとき、物体検出部１０３ａは、物体検出器１１３ａにＮＮ格納部２１３を、物体検出器１２３ａにＮＮ格納部２２３を、物体検出器１３３ａにＮＮ格納部２３３をそれぞれ割り当てる。したがって、物体検出器１１３ａは、ＮＮ格納部２１３を参照して、近距離の物体検出処理用のニューラルネットワークを使用し、物体検出器１２３ａは、ＮＮ格納部２２３を参照して、中距離の物体検出処理用のニューラルネットワークを使用し、物体検出器１３３ａは、ＮＮ格納部２３３を参照して、遠距離の物体検出処理用のニューラルネットワークを使用する。

次に、物体検出部１０３ａは、情報取得部１０２からの画像情報等を物体検出器１１３ａ、１２３ａ、１３３ａに入力し、検出器切替部１０５からの通知すなわち検出処理割当票に従って、物体検出器１１３ａ、１２３ａ、１３３ａの各々に、通知された処理内容及び優先度で、ＮＮ格納部２１３、２２３、２３３のニューラルネットワークを使用した物体検出処理を実行させ、物体検出器１１３ａ、１２３ａ、１３３ａの動作を開始させる（ステップＳ３３）。

次に、物体検出部１０３ａが動作を開始すると、検出器異常検知部１０４は、各物体検出器１１３ａ、１２３ａ、１３３ａの監視を開始する（ステップＳ３４）。

次に、運転制御信号発信部１０６は、物体検出部１０３ａからの検出結果に基づき、走行制御装置１３に運転制御信号を出力し、走行制御装置１３は、運転制御信号に基づき、車両１の自動運転を開始する（ステップＳ３５）。

以上が、本実施の形態における物体検出装置１０１ａの自動運転車の起動時（自動運転機能の起動時）における処理内容となる。

次に、物体検出装置１０１ａのフェイルセーフ動作の一例として、自動運転開始後に、物体検出器１１３ａ、１２３ａ、１３３ａの一つに異常が発生した場合を説明する。図１６は、図１３に示す物体検出装置１０１ａの物体検出器１１３ａ、１２３ａ、１３３ａの１つに異常が発生した場合の異常時物体検出処理の一例を示すフローチャートである。

まず、検出器異常検知部１０４は、物体検出器１１３ａ、１２３ａ、１３３ａの一つの動作異常を検知した場合、検出器切替部１０５及び運転制御信号発信部１０６に、どの物体検出器が異常状態であるかを示す検出器異常情報を通知する（ステップＳ４１）。例えば、物体検出器１１３ａに異常が発生した場合、検出器異常検知部１０４は、検出器切替部１０５及び運転制御信号発信部１０６に、物体検出器１１３ａが異常状態であることを示す検出器異常情報を通知する。

次に、検出器異常情報を受信した検出器切替部１０５は、使用する検出処理割当票を、図４に示した検出処理割当票Ｔ１から物体検出器１１３ａ、１２３ａ、１３３ａの一つが異常の場合の検出処理割当票（例えば、図９に示す検出処理割当票Ｔ１ａ）に変更し、この検出処理割当票に即したフェイルセーフ動作を行うように物体検出器１１３ａ、１２３ａ、１３３ａの処理内容を切り替えることを物体検出部１０３ａに通知する（ステップＳ４２）。

次に、物体検出部１０３ａは、物体検出器１１３ａ、１２３ａ、１３３ａの一つが異常の場合の検出処理割当票に基づき、ＮＮ格納部２１３、２２３、２３３のニューラルネットワークの物体検出器１１３ａ、１２３ａ、１３３ａへの割り当てを変更し、物体検出器１１３ａ、１２３ａ、１３３ａが参照するＮＮ格納部２１３、２２３、２３３を切り替えることにより、物体検出器１１３ａ、１２３ａ、１３３ａの処理を変更し、変更後の統合検出結果を運転制御信号発信部１０６に出力する（ステップＳ４３）。例えば、物体検出器１１３ａに異常が発生した場合、物体検出部１０３ａは、処理内容Ｔ３ａに基づき、物体検出器１１３ａを正常な状態に戻すための「復旧処理」を行わせ、処理内容Ｔ３ａ及び優先度Ｔ４ａに基づき物体検出器１３３ａの物体検出処理を「近距離、検出結果統合」及び「優先度１」に変更する。

図１７は、図１３に示す物体検出装置１０１ａの物体検出器１１３ａ、１２３ａ、１３３ａの１つに異常が発生した場合に物体検出器１１３ａ、１２３ａ、１３３ａが参照するＮＮ格納部２１３、２２３、２３３の一例を示す図である。図１７に示す例は、物体検出器１１３ａに異常が発生した場合の例であり、物体検出部１０３ａは、物体検出器１１３ａを停止し、物体検出器１２３ａにＮＮ格納部２２３を、物体検出器１３３ａにＮＮ格納部２１３をそれぞれ割り当てる。

したがって、物体検出器１３３ａは、ＮＮ格納部２１３を参照して、近距離の物体検出処理用のニューラルネットワークを使用し、物体検出器１２３ａは、ＮＮ格納部２２３を参照して、中距離の物体検出処理用のニューラルネットワークを使用する。

そして、運転制御信号発信部１０６は、検出器異常情報や物体検出部１０３ａの統合検出結果に基づき、車両１の走行制御装置１３に、車両１の走行速度を落としたり、安全な場所で停止させたりする等のフェイルセーフな運転を行うための運転制御信号を発信する（ステップＳ４４）。

上記の処理により、本実施の形態では、実施の形態１の効果に加えて、複数の物体検出器１１３ａ、１２３ａ、１３３ａのうちの一つの物体検出器の異常状態が検知された場合、正常物体検出器が参照するＮＮ格納部２１３、２２３、２３３を変更することにより、異常状態が検知されていない正常物体検出器が使用するニューラルネットワークを変更しているので、複数の物体検出器１１３ａ、１２３ａ、１３３ａのうちの一つの物体検出器の異常状態が検知された場合に、ニューラルネットワークの新規生成に費やす時間を無くし、物体検出処理の空白期間を防止することができる。この結果、複数の物体検出器１１３ａ、１２３ａ、１３３ａのうちの一つの物体検出器の異常状態が検知された場合でも、正常物体検出器が使用するニューラルネットワークを瞬時に変更することができ、ニューラルネットワークを用いた物体検出処理を確実に継続して実行することができるので、自動運転の空白を防止することができる。

なお、上記の説明では、自動運転車に本開示の物体検出装置を適用した例について説明したが、この例に特に限定されず、ロボットやドローン（無人飛行体）などの異なる製品分野にも適用できる。

また、各実施の形態で説明した各構成要素は、ソフトウェアとして実現されてもよい。この場合、ソフトウェアは一つ又は複数のＲＯＭ（Ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（Ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置及び周辺装置によって実行される。

また、各実施の形態で説明した各構成要素は、典型的には、集積回路であるＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（半導体集積回路）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅｇａｔｅＡｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。

本開示に係る物体検出装置は、フェイルセーフな物体検出装置に対して、追加の構成要素を最小限に抑え、さらなる改善を実現でき、物体を検出する物体検出装置として有用である。

１車両
１１カメラ装置
１２測距センサ装置
１３走行制御装置
１４表示装置
１０１、１０１ａ物体検出装置
１０２情報取得部
１０３、１０３ａ物体検出部
１０４検出器異常検知部
１０５検出器切替部
１０６運転制御信号発信部
１１３、１１３ａ、１２３、１２３ａ、１３３，１３３ａ物体検出器
２０１ＮＮ保管部
２０２ＮＮ記憶部
２１３、２２３、２３３ＮＮ格納部

Claims

物体を検出する物体検出装置であって、
前記物体に関する物体情報を取得する取得部と、
前記物体情報を用いて、各々が所定の物体検出処理を実行する複数の物体検出器を含む物体検出部と、
前記複数の物体検出器の各々の異常状態を検知する異常検知部と、
前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記複数の物体検出器のうち異常状態が検知された異常物体検出器の物体検出処理を停止し、異常状態が検知されていない正常物体検出器の物体検出処理を変更する変更部と、
を備え、
前記物体検出処理の検出頻度は、検出対象の前記物体までの距離が遠くなるほど低下するように決まっており、
前記変更部は、前記正常物体検出器の前記検出頻度を変更することを含み、
前記物体検出装置は、車両に搭載されており、
前記変更部は、前記車両の状態又は外部環境に基づいて、前記正常物体検出器の物体検出処理の変更内容を決定する、
物体検出装置。
前記物体検出処理は、処理の優先度を有し、
前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器のうち最も優先度が低い物体検出処理を実行する正常物体検出器の物体検出処理を前記異常物体検出器の物体検出処理に変更する、
請求項１記載の物体検出装置。
前記複数の物体検出器は、少なくとも３つ以上の物体検出器を含み、
前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に次に優先度が高い物体検出処理を実行させる、
請求項２記載の物体検出装置。
前記複数の物体検出器は、少なくとも３つ以上の物体検出器を含み、
前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器のうちの一つの正常物体検出器に最も優先度が高い物体検出処理を実行させるとともに、残りの正常物体検出器に既に実行している物体検出処理に加えて前記異常物体検出器の物体検出処理を実行させる、
請求項２記載の物体検出装置。
前記変更部は、前記物体検出器が検出した検出対象の前記物体の種類に基づいて前記優先度を決定することを特徴とする、
請求項２〜４のいずれかに記載の物体検出装置。
前記物体検出部は、前記異常物体検出器が物体検出処理を停止しているときに、前記異常物体検出器を正常状態に復帰させる復旧処理を実行する、
請求項１〜５のいずれかに記載の物体検出装置。
前記複数の物体検出器の各々は、ニューラルネットワークを使用する物体検出器を含み、
前記物体検出部は、前記物体を検出するためのニューラルネットワークを生成するためのデータ群を用いて、前記複数の物体検出器の各々が使用するニューラルネットワークを生成し、生成した各ニューラルネットワークを前記複数の物体検出器の各々に割り当て、
前記複数の物体検出器の各々は、割り当てられたニューラルネットワークを使用して前記物体を検出し、
前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器が使用するニューラルネットワークを変更する、
請求項１〜６のいずれかに記載の物体検出装置。
前記物体検出部は、生成した複数のニューラルネットワークの各々を個別領域に記憶する記憶部をさらに含み、
前記変更部は、前記異常検知部により前記複数の物体検出器のうちの一つの物体検出器の異常状態が検知された場合、前記正常物体検出器が参照する前記記憶部の個別領域を変更させることにより、前記正常物体検出器が使用するニューラルネットワークを変更する、
請求項７記載の物体検出装置。
前記複数の物体検出器の各々は、同性能の物体検出器である、
請求項１〜８のいずれかに記載の物体検出装置。
前記物体情報は、所定のカメラ装置により前記物体を撮影した画像情報を含む、
請求項１〜９のいずれかに記載の物体検出装置。
前記物体検出装置は、走行状態を制御する走行制御装置を備える車両に搭載され、
前記物体検出部が前記複数の物体検出器の検出結果を統合した統合検出結果に基づいて、前記走行制御装置に制御信号を出力する運転制御信号発信部をさらに備える、
請求項１〜１０のいずれかに記載の物体検出装置。
前記物体検出装置は、車両に搭載され、
前記物体は、
前記車両に最も近い範囲の第１の距離範囲に位置する第１の物体と、
前記車両から前記第１の距離範囲より遠い第２の距離範囲に位置する第２の物体と、
前記車両から前記第２の距離範囲より遠い第３の距離範囲に位置する第３の物体とを含み、
前記複数の物体検出器は、
前記第１の物体を検出する第１の物体検出器と、
前記第２の物体を検出する第２の物体検出器と、
前記第３の物体を検出する第３の物体検出器とを含み、
前記変更部は、前記異常検知部により前記第１の物体検出器の異常状態が検知された場合、前記第１の物体検出器の物体検出処理を停止し、前記第３の物体検出器が前記第１の物体を検出するように前記第３の物体検出器の物体検出処理を変更する、
請求項１０記載の物体検出装置。
前記複数の物体検出器それぞれの動作状態を表す表示部を備え、
前記動作状態は、前記複数の物体検出器それぞれにおける処理能力及び前記物体検出処理を実行している状態かどうかを示す、
請求項１〜１２のいずれかに記載の物体検出装置。
物体を検出する物体検出装置の物体検出方法であって、
前記物体に関する物体情報を取得し、
前記物体情報を用いて複数の物体検出処理を実行し、
前記複数の物体検出処理の各々の異常状態を検知し、
前記複数の物体検出処理のうちの一つの物体検出処理の異常状態が検知された場合、前記複数の物体検出処理のうち異常状態が検知された異常物体検出処理を停止し、異常状態が検知されていない正常物体検出処理の処理内容を変更し、
前記物体検出処理の検出頻度は、検出対象の前記物体までの距離が遠くなるほど低下するように決まっており、
前記変更は、前記正常物体検出処理の前記検出頻度を変更することを含み、
前記物体検出装置は、車両に搭載されており、
前記変更は、前記車両の状態又は外部環境に基づいて、前記正常物体検出器の物体検出処理の変更内容を決定する、
物体検出方法。
物体を検出する物体検出装置として、コンピュータを機能させるための物体検出プログラムであって、
前記コンピュータに、
前記物体に関する物体情報を取得し、
前記物体情報を用いて複数の物体検出処理を実行し、
前記複数の物体検出処理の各々の異常状態を検知し、
前記複数の物体検出処理のうちの一つの物体検出処理の異常状態が検知された場合、前記複数の物体検出処理のうち異常状態が検知された異常物体検出処理を停止し、異常状態が検知されていない正常物体検出処理の処理内容を変更し、
前記物体検出処理の検出頻度は、検出対象の前記物体までの距離が遠くなるほど低下するように決まっており、
前記変更は、前記正常物体検出処理の前記検出頻度を変更することを含み、
前記物体検出装置は、車両に搭載されており、
前記変更は、前記車両の状態又は外部環境に基づいて、前記正常物体検出器の物体検出処理の変更内容を決定する、
処理を実行させる物体検出プログラム。