JP7236556B2 - 物体検知装置および物体検知プログラム - Google Patents

Description

関連出願への相互参照

本出願は、２０１９年１０月１４日に出願された日本特許出願番号２０１９－１８８２７８号に基づくもので、ここにその記載内容が参照により組み入れられる。

本開示は、自車両に搭載されることで当該自車両の周囲に存在する物体を検知するように構成された、物体検知装置に関する。また、本開示は、かかる物体検知装置により実行される物体検知プログラムに関する。

例えば、特許文献１に記載の障害物検出システムが知られている。かかる障害物検出システムは、移動する車両に装着され、撮像部により撮像された画像を用いて車両の後方にある障害物を検出する。移動検出部は、撮像部が第１の画像を撮像した位置から、車両が一定量の移動を行ったことを検出する。画像取得部は、第１の画像と、移動検出部において車両が一定量の移動を行ったと検出されたときの画像としての第２の画像とを取得し、障害物検出部に供給する。障害物検出部は、第１の画像と第２の画像とを用いて、移動ステレオ方式により物体までの距離を計測する。移動ステレオ方式は、１つのカメラで異なる時間に異なる位置で撮像された２枚の画像を用いて、三角測量の原理により画像中の物体の三次元位置を検出し、障害物か否かを検出する。

特開２００９－１８０５３６号公報

特許文献１に記載の障害物検出システムは、移動ステレオ方式における三角測量の原理により画像中の物体の三次元位置を検出するに際し、検出対象の物体が静止物体であることを前提としている。このため、検出対象の物体が移動物体である場合、物体の三次元位置の誤差が大きくなる。誤差が大きな三次元位置を含む物体検出結果は、車両制御に良好に用いることができない。
本開示は、上記に例示した事情等に鑑みてなされたものである。すなわち、本開示は、例えば、車両制御に良好に用いることが可能な物体検知結果を提供する。

請求項１に記載の物体検知装置は、自車両に搭載されることで、当該自車両の周囲の障害物である物体の存在を検知するように構成されている。
この物体検知装置は、
前記自車両に搭載された１つの撮像部によって、前記自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、前記物体に対応する検知点の位置座標を取得する、座標取得部と、
移動中の前記物体である移動物体に対応する前記検知点である移動点の位置座標を除く、前記移動点とは異なる前記検知点である停止点の位置座標に基づいて、前記物体を認識する、物体認識部と、
を備えている。
請求項９に記載の物体検知プログラムは、自車両に搭載されることで当該自車両の周囲の障害物である物体の存在を検知するように構成された物体検知装置により実行されるプログラムであって、
前記物体検知装置により実行される処理は、
前記自車両に搭載された１つの撮像部によって、前記自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、前記物体に対応する検知点の位置座標を取得する処理と、
移動中の前記物体である移動物体に対応する前記検知点である移動点の位置座標を除く、前記移動点とは異なる前記検知点である停止点の位置座標に基づいて、前記物体を認識する処理と、
を含む。

なお、出願書類中の各欄において、各要素に括弧付きの参照符号が付されている場合がある。この場合、参照符号は、単に、同要素と後述する実施形態に記載の具体的構成との対応関係の一例を示すものである。よって、本開示は、参照符号の記載によって、何ら限定されるものではない。

実施形態に係る物体検知装置を搭載した車両の概略構成を示す平面図である。 図１に示された物体検知装置の一実施形態における概略的な機能構成を示すブロック図である。 図２に示された物体検知装置の動作例を示す概念図である。 図２に示された物体検知装置の動作例を示すフローチャートである。

（実施形態）
以下、本開示の実施形態を、図面に基づいて説明する。なお、一つの実施形態に対して適用可能な各種の変形例については、当該実施形態に関する一連の説明の途中に挿入されると、当該実施形態の理解が妨げられるおそれがある。このため、変形例については、当該実施形態に関する一連の説明の途中ではなく、その後にまとめて説明する。

（車両全体構成）
図１を参照すると、車両１０は、いわゆる四輪自動車であって、平面視にて略矩形状の車体１１を備えている。以下、車両１０の車幅方向における中心を通り、且つ車両１０における車両全長方向と平行な仮想直線を、車両中心軸線ＬＣと称する。図１において、車幅方向は図中左右方向である。車両全長方向は、車幅方向と直交し且つ車高方向と直交する方向である。車高方向は、車両１０の車高を規定する方向であって、車両１０を水平面に走行可能な状態で安定的に載置した場合の重力作用方向と平行な方向である。さらに、走行により車両１０が移動する、車高方向と直交する任意の方向を、車両１０の「並進方向」と称することがある。

説明の便宜上、車両１０における「前」「後」「左」「右」を、図１中にて矢印で示された通りに定義する。すなわち、車両全長方向は、前後方向と同義である。また、車幅方向は、左右方向と同義である。なお、車高方向は、車両１０の載置条件または走行条件により、重力作用方向と平行とはならない場合があり得る。もっとも、車高方向は多くの場合に重力作用方向に沿った方向となる。このため、車高方向と直交する「並進方向」は、「水平方向」、「面内方向」、「進入方向」、「進行方向」あるいは「進路方向」とも称され得る。

車体１１における前側の端部である前面部１２には、フロントバンパー１３が装着されている。車体１１における後側の端部である後面部１４には、リアバンパー１５が装着されている。車体１１における側面部１６には、ドアパネル１７が装着されている。図１に示す具体例においては、左右にそれぞれ２枚ずつ、合計４枚のドアパネル１７が設けられている。前側の左右一対のドアパネル１７のそれぞれには、ドアミラー１８が装着されている。

（物体検知装置）
車両１０には、物体検知装置２０が搭載されている。物体検知装置２０は、車両１０に搭載されることで、当該車両１０の外側且つその周囲に存在する物体Ｂを検知するように構成されている。以下、物体検知装置２０を搭載した車両１０を、「自車両１０」と略称することがある。

本実施形態においては、物体検知装置２０は、撮像部２１と、ソナーセンサ２２と、レーダーセンサ２３と、車速センサ２４と、シフトポジションセンサ２５と、舵角センサ２６と、物体検知ＥＣＵ２７と、表示部２８と、音声出力部２９とを備えている。ＥＣＵはElectronic Control Unitの略である。以下、物体検知装置２０を構成する各部の詳細について、図１および図２を参照しつつ説明する。なお、図示の簡略化のため、物体検知装置２０を構成する各部の間の電気接続関係は、図１においては省略されている。

撮像部２１は、自車両１０の周囲の画像を撮影しつつ当該自車両１０の移動に伴って移動するように、当該自車両１０に搭載されている。撮像部２１は、自車両１０の周囲の撮影画像に対応する画像情報を生成するように構成されている。本実施形態においては、撮像部２１は、デジタルカメラ装置であって、ＣＣＤあるいはＣＭＯＳ等のイメージセンサを備えている。ＣＣＤはCharge Coupled Deviceの略である。ＣＭＯＳはComplementary MOSの略である。

本実施形態においては、車両１０には、複数の撮像部２１、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲが搭載されている。フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲのうちの、いずれかであることを特定しない場合に、以下、「撮像部２１」という単数形の表現、または「複数の撮像部２１」という表現が用いられることがある。

フロントカメラＣＦは、自車両１０の前方の画像に対応する画像情報を取得するように、車体１１の前面部１２に装着されている。リアカメラＣＢは、自車両１０の後方の画像に対応する画像情報を取得するように、車体１１の後面部１４に装着されている。

左側カメラＣＬは、自車両１０の左方の画像に対応する画像情報を取得するように、左側のドアミラー１８に装着されている。右側カメラＣＲは、自車両１０の右方の画像に対応する画像情報を取得するように、右側のドアミラー１８に装着されている。

複数の撮像部２１の各々は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。すなわち、複数の撮像部２１の各々は、取得すなわち生成した画像情報を、物体検知ＥＣＵ２７にて受信可能に出力するようになっている。

ソナーセンサ２２は、物体Ｂまでの距離を検出する測距センサであって、車体１１に装着されている。本実施形態においては、ソナーセンサ２２は、いわゆる超音波センサであって、超音波である探査波を自車両１０の外側に向けて発信するとともに、超音波を含む受信波を受信可能に構成されている。すなわち、ソナーセンサ２２は、探査波の物体Ｂによる反射波を含む受信波を受信することで、物体Ｂ上の測距点との距離の検出結果である測距情報を出力するように設けられている。「測距点」は、物体Ｂの表面上における、ソナーセンサ２２から発信された探査波を反射したと推定される点であって、レーダーセンサ２３における「反射点」に対応する点である。

物体検知装置２０は、少なくとも１つのソナーセンサ２２を備えている。具体的には、本実施形態においては、複数のソナーセンサ２２が設けられている。複数のソナーセンサ２２は、それぞれ、車両中心軸線ＬＣから車幅方向におけるいずれか一方側にシフトして配置されている。また、複数のソナーセンサ２２のうちの少なくとも一部は、車両中心軸線ＬＣと交差する方向に沿って探査波を発信するように設けられている。

具体的には、フロントバンパー１３には、ソナーセンサ２２としての、第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、および第四フロントソナーＳＦ４が装着されている。同様に、リアバンパー１５には、ソナーセンサ２２としての、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、および第四リアソナーＳＲ４が装着されている。また、車体１１の側面部１６には、ソナーセンサ２２としての、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４が装着されている。

第一フロントソナーＳＦ１、第二フロントソナーＳＦ２、第三フロントソナーＳＦ３、第四フロントソナーＳＦ４、第一リアソナーＳＲ１、第二リアソナーＳＲ２、第三リアソナーＳＲ３、第四リアソナーＳＲ４、第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４のうちの、いずれかであることを特定しない場合に、以下、「ソナーセンサ２２」という単数形の表現、または「複数のソナーセンサ２２」という表現が用いられることがある。

或る１つのソナーセンサ２２を「第一ソナーセンサ」と称し、別の１つのソナーセンサ２２を「第二ソナーセンサ」と称して、「直接波」および「間接波」を、以下のように定義する。第一ソナーセンサに受信される受信波であって、第一ソナーセンサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「直接波」と称する。すなわち、直接波は、探査波を送信したソナーセンサ２２と、当該探査波の物体Ｂによる反射波を受信波として検知したソナーセンサ２２とが、同一である場合の、当該受信波である。これに対し、第二ソナーセンサに受信される受信波であって、第一ソナーセンサから発信された探査波の物体Ｂによる反射波に起因する受信波を、「間接波」と称する。すなわち、間接波とは、探査波を送信したソナーセンサ２２と、当該探査波の物体Ｂによる反射波を受信波として検知したソナーセンサ２２とが、異なる場合の、当該受信波である。

第一フロントソナーＳＦ１は、自車両１０の左前方に探査波を発信するように、フロントバンパー１３の前側表面における左端部に設けられている。第二フロントソナーＳＦ２は、自車両１０の右前方に探査波を発信するように、フロントバンパー１３の前側表面における右端部に設けられている。第一フロントソナーＳＦ１と第二フロントソナーＳＦ２とは、車両中心軸線ＬＣを挟んで対称に配置されている。

第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、フロントバンパー１３の前側表面における中央寄りの位置にて、車幅方向に配列されている。第三フロントソナーＳＦ３は、自車両１０の略前方に探査波を発信するように、車幅方向について第一フロントソナーＳＦ１と車両中心軸線ＬＣとの間に配置されている。第四フロントソナーＳＦ４は、自車両１０の略前方に探査波を発信するように、車幅方向について第二フロントソナーＳＦ２と車両中心軸線ＬＣとの間に配置されている。第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、車両中心軸線ＬＣを挟んで対称に配置されている。

上記の通り、車体１１の左側に装着された第一フロントソナーＳＦ１および第三フロントソナーＳＦ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一フロントソナーＳＦ１と第三フロントソナーＳＦ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

すなわち、第一フロントソナーＳＦ１は、自己が発信した探査波に対応する直接波と、第三フロントソナーＳＦ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三フロントソナーＳＦ３は、自己が発信した探査波に対応する直接波と、第一フロントソナーＳＦ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。

同様に、車体１１の車幅方向における中央寄りに装着された第三フロントソナーＳＦ３および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三フロントソナーＳＦ３と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

同様に、車体１１の右側に装着された第二フロントソナーＳＦ２および第四フロントソナーＳＦ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二フロントソナーＳＦ２と第四フロントソナーＳＦ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

第一リアソナーＳＲ１は、自車両１０の左後方に探査波を発信するように、リアバンパー１５の後側表面における左端部に設けられている。第二リアソナーＳＲ２は、自車両１０の右後方に探査波を発信するように、リアバンパー１５の後側表面における右端部に設けられている。第一リアソナーＳＲ１と第二リアソナーＳＲ２とは、車両中心軸線ＬＣを挟んで対称に配置されている。

第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、リアバンパー１５の後側表面における中央寄りの位置にて、車幅方向に配列されている。第三リアソナーＳＲ３は、自車両１０の略後方に探査波を発信するように、車幅方向について第一リアソナーＳＲ１と車両中心軸線ＬＣとの間に配置されている。第四リアソナーＳＲ４は、自車両１０の略後方に探査波を発信するように、車幅方向について第二リアソナーＳＲ２と車両中心軸線ＬＣとの間に配置されている。第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、車両中心軸線ＬＣを挟んで対称に配置されている。

上記の通り、車体１１の左側に装着された第一リアソナーＳＲ１および第三リアソナーＳＲ３は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第一リアソナーＳＲ１と第三リアソナーＳＲ３とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

すなわち、第一リアソナーＳＲ１は、自己が発信した探査波に対応する直接波と、第三リアソナーＳＲ３が発信した探査波に対応する間接波との双方を受信可能に配置されている。同様に、第三リアソナーＳＲ３は、自己が発信した探査波に対応する直接波と、第一リアソナーＳＲ１が発信した探査波に対応する間接波との双方を受信可能に配置されている。

同様に、車体１１の車幅方向における中央寄りに装着された第三リアソナーＳＲ３および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第三リアソナーＳＲ３と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

同様に、車体１１の右側に装着された第二リアソナーＳＲ２および第四リアソナーＳＲ４は、平面視にて互いに異なる位置に配置されている。また、車幅方向について互いに隣接する第二リアソナーＳＲ２と第四リアソナーＳＲ４とは、相互に、一方が発信した探査波の物体Ｂによる反射波が他方における受信波として受信可能な位置関係に設けられている。

第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、側面部１６の外側表面である車両側面から探査波を自車両１０の側方に発信するように設けられている。第一サイドソナーＳＳ１、第二サイドソナーＳＳ２、第三サイドソナーＳＳ３、および第四サイドソナーＳＳ４は、それぞれ、直接波のみを受信可能に設けられている。

第一サイドソナーＳＳ１は、自車両１０の左方に探査波を発信するように、前後方向について左側のドアミラー１８と第一フロントソナーＳＦ１との間に配置されている。第二サイドソナーＳＳ２は、自車両１０の右方に探査波を発信するように、前後方向について右側のドアミラー１８と第二フロントソナーＳＦ２との間に配置されている。第一サイドソナーＳＳ１と第二サイドソナーＳＳ２とは、車両中心軸線ＬＣを挟んで対称に設けられている。

第三サイドソナーＳＳ３は、自車両１０の左方に探査波を発信するように、前後方向について左後側のドアパネル１７と第一リアソナーＳＲ１との間に配置されている。第四サイドソナーＳＳ４は、自車両１０の右方に探査波を発信するように、前後方向について右後側のドアパネル１７と第二リアソナーＳＲ２との間に配置されている。第三サイドソナーＳＳ３と第四サイドソナーＳＳ４とは、車両中心軸線ＬＣを挟んで対称に設けられている。

複数のソナーセンサ２２の各々は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。複数のソナーセンサ２２の各々は、物体検知ＥＣＵ２７の制御下で探査波を発信するとともに、受信波の受信結果に対応する信号を発生して物体検知ＥＣＵ２７にて受信可能に出力するようになっている。受信波の受信結果に対応する信号に含まれる情報を、以下「測距情報」と称する。測距情報には、受信波の受信強度に関連する情報、および、距離情報が含まれる。「距離情報」は、複数のソナーセンサ２２の各々と物体Ｂとの距離に関連する情報である。具体的には、例えば、距離情報には、探査波の発信から受信波の受信までの時間差に関連する情報が含まれる。

レーダーセンサ２３は、レーダー波を送受信するレーザーレーダーセンサまたはミリ波レーダーセンサであって、車体１１の前面部１２に装着されている。レーダーセンサ２３は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。レーダーセンサ２３は、反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように構成されている。「反射点」は、物体Ｂの表面上における、レーダー波を反射したと推定される点である。「相対速度」は、反射点すなわちレーダー波を反射した物体Ｂの、自車両１０に対する相対速度である。

車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。車速センサ２４は、自車両１０の走行速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。自車両１０の走行速度を、以下単に「車速」と称する。シフトポジションセンサ２５は、自車両１０のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。舵角センサ２６は、自車両１０の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力するように設けられている。

物体検知ＥＣＵ２７は、車体１１の内側に配置されている。物体検知ＥＣＵ２７は、いわゆる車載マイクロコンピュータであって、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性リライタブルメモリ、等を備えている。不揮発性リライタブルメモリは、例えば、ＥＥＰＲＯＭ、フラッシュＲＯＭ、ハードディスク、等である。ＥＥＰＲＯＭはElectronically Erasable and Programmable Read Only Memoryの略である。物体検知ＥＣＵ２７のＣＰＵ、ＲＯＭ、ＲＡＭおよび不揮発性リライタブルメモリを、以下単に「ＣＰＵ」、「ＲＯＭ」、「ＲＡＭ」および「不揮発記憶媒体」と略称する。ＲＯＭおよび不揮発記憶媒体は、コンピュータ読み取り可能な非遷移的実体的記憶媒体に相当するものである。

物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭまたは不揮発記憶媒体からプログラムを読み出して実行することで、各種の制御動作を実現可能に構成されている。このプログラムには、後述のフローチャートあるいはルーチンに対応するものが含まれている。また、ＲＡＭおよび不揮発記憶媒体は、ＣＰＵがプログラムを実行する際の処理データを一時的に格納可能に構成されている。さらに、ＲＯＭおよび／または不揮発記憶媒体には、プログラムの実行の際に用いられる各種のデータが、あらかじめ格納されている。各種のデータには、例えば、初期値、ルックアップテーブル、マップ、等が含まれている。

物体検知ＥＣＵ２７は、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作を実行するように構成されている。また、物体検知ＥＣＵ２７は、表示部２８および音声出力部２９の動作を制御することで、物体検知状態に伴う報知動作を行うようになっている。

表示部２８および音声出力部２９は、車両１０における車室内に配置されている。また、表示部２８および音声出力部２９は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。すなわち、表示部２８は、物体検知結果およびこれを用いた各種動作に伴う報知動作を、表示画面またはインジケータを用いた表示により行うように構成されている。また、音声出力部２９は、物体検知結果およびこれを用いた各種動作に伴う報知動作を、スピーカを用いた音声出力により行うように構成されている。

本実施形態においては、物体検知ＥＣＵ２７は、駐車支援機能および衝突回避機能を含む運転支援機能を奏するように構成されている。具体的には、例えば、物体検知ＥＣＵ２７は、撮像部２１を用いて駐車スペースを検出するとともに、検出した駐車スペースへの自車両１０の移動を、ソナーセンサ２２等による障害物検知結果に基づいて支援するようになっている。「障害物」とは、自車両１０の周囲に存在する物体Ｂのうち、高さが所定の閾値よりも高いために乗り越え走行が困難または不可能なものをいう。また、物体検知ＥＣＵ２７は、撮像部２１を用いて検知した障害物を回避しつつ所定の算出経路を走行するために必要な、自車両１０の加減速制御量および操舵制御量を算出するようになっている。

すなわち、物体検知装置２０は、運転支援装置５０の一部を構成するように設けられている。運転支援装置５０は、物体検知装置２０に加えて、入力操作部５１と、動力制御ＥＣＵ５２と、制動制御ＥＣＵ５３と、操舵制御ＥＣＵ５４とを備えている。入力操作部５１、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４は、車載通信回線を介して、物体検知ＥＣＵ２７と情報通信可能に接続されている。

入力操作部５１は、車両１０における車室内に配置されている。入力操作部５１は、車両１０の乗員である操作者による入力操作を受け付けるための、スイッチ類および／または音声入力部を備えている。

動力制御ＥＣＵ５２は、不図示の走行用モータおよび／またはエンジンの動作を制御して、車両１０の走行出力を制御するように設けられている。制動制御ＥＣＵ５３は、不図示のブレーキアクチュエータ等の駆動を制御して、車両１０の制動力を制御するように設けられている。操舵制御ＥＣＵ５４は、不図示の操舵用モータの駆動を制御して、車両１０の操舵量を制御するように設けられている。

（物体検知ＥＣＵ）
図２を参照すると、物体検知ＥＣＵ２７は、マイクロコンピュータ上にて実現される、以下の機能構成を有している。すなわち、物体検知ＥＣＵ２７は、画像情報取得部２７０と、特徴点抽出部２７１と、座標取得部２７２とを有している。また、物体検知ＥＣＵ２７は、移動状態量取得部２７３と、移動物体判定部２７４と、移動点特定部２７５と、停止点特定部２７６とを有している。また、物体検知ＥＣＵ２７は、測距情報取得部２７７と、物体認識部２７８と、制御内容判定部２７９とを有している。以下、本実施形態における、物体検知ＥＣＵ２７の機能構成の詳細について説明する。

画像情報取得部２７０は、自車両１０の周囲の撮影画像に対応する画像情報を取得するように設けられている。具体的には、画像情報取得部２７０は、撮像部２１により生成された画像情報を撮像部２１から受信するとともに、受信した画像情報を、不揮発記憶媒体を用いて時系列で所定容量分保持するようになっている。

特徴点抽出部２７１は、画像情報取得部２７０にて取得した画像情報に基づいて、撮影画像における特徴点を抽出するように設けられている。特徴点は、撮影画像中の物体Ｂの形状を特徴付ける点であって、「検知点」に相当する。具体的には、特徴点は、撮影画像の画角内における、特徴的な点すなわち画素である。例えば、特徴点は、隣接する画素との間での輝度変化が大きな画素である。なお、特徴点およびその抽出手法は、本願の出願時点にて周知である。特徴点の検出手法として、周知の手法（例えば、Sobelフィルタ、Laplacianフィルタ、Canny法、等。）を用いることが可能である。したがって、本明細書においては、特徴点抽出部２７１による特徴点の抽出手法の詳細については、説明を省略する。なお、特徴点の「抽出」は、「検出」とも表現され得る。

座標取得部２７２は、自車両１０に搭載された１つの撮像部２１により異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体Ｂに対応する検知点の位置座標を取得するように設けられている。「１つの撮像部２１」は、例えば、自車両１０の前方に存在する物体Ｂを検知する場合は、フロントカメラＣＦである。

具体的には、座標取得部２７２は、同一の撮像部２１により異なる自車両位置および時刻にて撮像された複数の撮影画像に基づいて、移動ステレオの手法により、物体Ｂに対応する特徴点の三次元位置座標を算出するようになっている。移動ステレオは、単眼移動ステレオあるいはＳＦＭとも称される。ＳＦＭはStructure from Motionの略である。なお、移動ステレオあるいはＳＦＭについては、本願の出願時点において、すでに公知あるいは周知となっている。したがって、本明細書においては、移動ステレオあるいはＳＦＭの詳細については、説明を省略する。

座標取得部２７２により位置座標が算出される、物体Ｂに対応する「検知点」は、特徴点抽出部２７１により抽出された特徴点のうち、異なる自車両位置および時刻にて撮像された複数の撮影画像間での対応付けがなされたものである。よって、「検知点」は、「特徴点」とも言い換えられ得る。

移動状態量取得部２７３は、物体Ｂの移動速度または移動量である移動状態量を取得するように設けられている。本実施形態においては、移動状態量取得部２７３は、異なる自車両位置にて撮影された複数の撮影画像に基づいて算出したオプティカルフローを用いて、移動状態量を取得するようになっている。

移動物体判定部２７４は、移動状態量取得部２７３による移動状態量の取得結果に基づいて、移動中の物体Ｂである移動物体の存否と、移動物体が存在する場合の自車両１０との相対位置関係とを判定するように設けられている。具体的には、移動物体判定部２７４は、移動状態量が閾値を超える検知点の検知状態および分布状態に基づいて、移動物体の存否を判定するようになっている。また、移動物体判定部２７４は、ノイズではなく移動物体に対応するものであると判定された検知点の、三次元位置または画角内位置に基づいて、自車両１０を基準として移動物体が存在する方向を判定するようになっている。なお、オプティカルフローを用いた移動物体の検知および移動状態量の算出については、本願の出願時点において、すでに公知あるいは周知となっている。したがって、本明細書においては、オプティカルフローを用いた移動物体の検知および移動状態量の算出の詳細については、説明を省略する。

移動点特定部２７５は、移動物体に対応する検知点を移動点として特定するように設けられている。図１および図２に加えて図３を参照すると、本実施形態においては、移動点特定部２７５は、移動物体の自車両１０との相対位置関係に応じて設定される所定範囲である移動点特定範囲ＲＭ内に存在する検知点を、移動点として特定するようになっている。具体的には、移動点特定部２７５は、自車両１０を基準として移動物体が存在する方向に、移動点特定範囲ＲＭを設定するようになっている。

また、移動点特定部２７５は、移動状態量に応じて移動点特定範囲ＲＭの形状を可変に設定するようになっている。具体的には、移動点特定部２７５は、移動物体の移動速度ＶＢ、あるいは、前回撮影時点と今回撮影時点との間の移動物体の移動量ＤＢに応じて、移動点特定範囲ＲＭの大きさを変更するようになっている。移動点特定範囲ＲＭの設定態様の詳細については、後述の動作概要の説明欄において説明する。

停止点特定部２７６は、移動点とは異なる検知点である停止点を特定するように設けられている。停止点は、静止中の物体Ｂである静止物体に対応する検知点である。停止点特定部２７６は、複数取得された検知点から移動点を除くことで、停止点を特定するようになっている。具体的には、本実施形態においては、停止点特定部２７６は、座標取得部２７２により位置座標が取得された複数の検知点から、移動点を除くことで、停止点を特定するようになっている。

測距情報取得部２７７は、ソナーセンサ２２による距離検出結果である測距情報を取得するように設けられている。また、測距情報取得部２７７は、複数のソナーセンサ２２を用いて取得した測距情報に基づく三角測量により、物体Ｂの自車両１０に対する並進方向についての相対位置情報を取得するように設けられている。さらに、測距情報取得部２７７は、測距情報および相対位置情報の取得結果を、不揮発記憶媒体を用いて時系列で所定時間分保持するようになっている。

物体認識部２７８は、座標取得部２７２によって取得された、検知点の位置座標に基づいて、物体Ｂを認識するように設けられている。具体的には、物体認識部２７８は、物体Ｂに対応する検知点の、所定の原点を基準に設定されたＸＹＺ三次元座標系における位置に基づいて、物体Ｂの自車両１０に対する相対位置と物体Ｂの三次元形状とを認識するようになっている。「所定の原点」は、例えば、所定の基準時点における、フロントカメラＣＦの位置である。「所定の基準時点」は、例えば、物体検知装置２０による物体検知動作が開始された時点である。ＸＹＺ三次元座標系は、例えば、所定の基準時点における所定の原点を基準として、前方をＸ軸正方向とし、Ｙ軸正方向を車幅方向と平行とし、Ｚ軸正方向を車高方向と平行として設定した直交座標系である。

本実施形態においては、物体認識部２７８は、移動点の位置座標を用いず、停止点の位置座標を用いて、物体Ｂを認識するように設けられている。具体的には、物体認識部２７８は、座標取得部２７２により取得された複数の検知点の位置座標の中から、移動点の位置座標を除く停止点の位置座標に基づいて、物体Ｂを認識するようになっている。

物体認識部２７８は、座標取得部２７２による位置座標の算出結果と、測距情報取得部２７７にて取得した測距情報および相対位置情報とに基づいて、物体Ｂを認識するように設けられている。すなわち、本実施形態においては、物体認識部２７８は、画像認識結果と測距結果とを融合させる、いわゆる「センサフュージョン」技術を用いて、障害物としての物体Ｂを検知するようになっている。具体的には、物体認識部２７８は、座標取得部２７２による位置座標の算出結果を、測距情報取得部２７７にて取得した測距情報および相対位置情報に基づいて補正することで、物体ＢのＸＹＺ三次元座標系における位置および形状を認識するようになっている。

制御内容判定部２７９は、測距情報取得部２７７による測距情報および相対位置情報の取得結果と、物体認識部２７８による物体Ｂの認識結果とに基づいて、制御内容を判定するようになっている。「制御内容」とは、物体Ｂの検知結果に応じて、当該物体Ｂを回避しつつ所定の算出経路を走行するために必要な、自車両１０の加減速制御量および操舵制御量である。また、制御内容判定部２７９は、判定した制御内容を、車載通信回線を介して、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４に送信するようになっている。

（動作概要）
以下、本実施形態に係る、物体検知装置２０すなわち物体検知ＥＣＵ２７における動作概要について、本実施形態の構成により奏される効果とともに説明する。

複数の撮像部２１の各々、すなわち、フロントカメラＣＦ、リアカメラＣＢ、左側カメラＣＬ、および右側カメラＣＲは、自車両１０の周囲の画像を撮影して、撮影画像に対応する画像情報を生成する。また、複数の撮像部２１の各々は、生成した画像情報を、物体検知ＥＣＵ２７にて受信可能に出力する。

複数のソナーセンサ２２の各々は、自車両１０の外側に向けて発信された探査波の反射波を含む受信波を受信することで、自車両１０の周囲に存在する物体Ｂ上の点との距離を測定する。また、複数のソナーセンサ２２の各々は、取得した測距情報を、物体検知ＥＣＵ２７にて受信可能に出力する。

レーダーセンサ２３は、物体Ｂ上の反射点の位置および相対速度に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。車速センサ２４は、車速に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。シフトポジションセンサ２５は、自車両１０のシフトポジションに対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。舵角センサ２６は、自車両１０の操舵角に対応する信号を発生して、物体検知ＥＣＵ２７にて受信可能に出力する。

物体検知ＥＣＵ２７は、複数の撮像部２１の各々から、画像情報を受信する。また、物体検知ＥＣＵ２７は、複数のソナーセンサ２２の各々から、測距情報を受信する。また、物体検知ＥＣＵ２７は、レーダーセンサ２３、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６からの出力信号を受信する。物体検知ＥＣＵ２７は、複数のソナーセンサ２２の各々、複数の撮像部２１の各々、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等から受信した信号および情報に基づいて、物体検知動作および運転支援動作を実行する。

画像情報取得部２７０は、自車両１０の周囲の撮影画像に対応する画像情報を、複数の撮像部２１の各々から取得する。取得された画像情報は、時系列で不揮発記憶媒体に格納される。特徴点抽出部２７１は、画像情報取得部２７０にて取得した画像情報に基づいて、撮影画像における特徴点を抽出する。座標取得部２７２は、１つの撮像部２１によって自車両１０の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、物体Ｂに対応する検知点の位置座標を取得する。

具体的には、例えば、自車両１０の前方に存在する物体Ｂを検知する例においては、画像情報取得部２７０は、フロントカメラＣＦの撮影画像に対応する画像情報をするとともに、受信した画像情報を時系列で所定容量分保持する。座標取得部２７２は、フロントカメラＣＦの撮影画像から抽出された特徴点を用いて、移動ステレオの手法により、物体Ｂに対応する特徴点の位置座標すなわち三次元座標を算出する。

移動状態量取得部２７３は、物体Ｂの移動状態量を取得する。具体的には、上記の例においては、移動状態量取得部２７３は、フロントカメラＣＦにより撮影された複数の撮影画像に基づいて算出したオプティカルフローを用いて、自車両１０の前方の物体Ｂに対応する移動状態量を取得する。

移動物体判定部２７４は、移動状態量取得部２７３による移動状態量の取得結果に基づいて、移動中の物体Ｂである移動物体の存否と、移動物体が存在する場合の自車両１０との相対位置関係とを判定する。具体的には、移動物体判定部２７４は、ノイズではなく移動物体に対応するものであると判定された検知点の、三次元位置または画角内位置に基づいて、自車両１０を基準として移動物体が存在する方向を判定する。

移動点特定部２７５は、移動物体に対応する検知点を移動点として特定する。具体的には、図３を参照すると、まず、移動点特定部２７５は、前回自車両位置ＶＰ１にて検知した、物体Ｂ上の第一特徴点ＤＰ１を、移動点特定範囲ＲＭの基準点として設定する。前回自車両位置ＶＰ１は、今回自車両位置ＶＰ２の直前に、フロントカメラＣＦにより自車両１０の前方画像を撮影した時点である。次に、移動点特定部２７５は、かかる基準点を基準として、移動点特定範囲ＲＭを設定する。なお、図３では、移動点特定範囲ＲＭは、基準点を中心として矩形に設定しているが、これに限らず、物体Ｂの進行方向および自車両側の領域が大きくなるように設定してもよい。具体的には、後述するように、算出誤差が発生する領域は、物体Ｂの進行方向および自車両側に発生し易いため、そのような領域をカバーできるように移動点特定範囲ＲＭを設定するようにすれば良い。そして、移動点特定部２７５は、移動点特定範囲ＲＭ内に存在する検知点を、移動点として特定する。また、基準点の設定としては、上記に限らず、例えば、前回自車両位置ＶＰ１にてフロントカメラＣＦにて検知した物体Ｂの領域の重心（あるいは中心）を用いても良い。

物体Ｂが静止物体である場合、前回自車両位置ＶＰ１および今回自車両位置ＶＰ２の双方において、第一特徴点ＤＰ１の位置は不変である。しかしながら、物体Ｂが移動速度ＶＢにて移動することで、第一特徴点ＤＰ１は第二特徴点ＤＰ２まで移動する。

ここで、ＳＦＭ等の移動ステレオによる位置座標算出は、算出対象となる物体Ｂが静止物体であることが前提となっている。このため、移動物体について、移動ステレオによる位置座標算出を行うと、算出誤差が大きくなる。特に、検知点すなわち特徴点がエピポーラ線に沿って移動した場合、算出誤差が、かなり大きくなる。また、移動物体の移動速度ＶＢあるいは移動量ＤＢが大きくなるほど、算出誤差が大きくなる。図３に示された例においては、位置座標の算出結果は、誤検知候補点ＤＰＥを中心とした、図中楕円の一点鎖線で囲まれた範囲で生じる。誤検知候補点ＤＰＥは、前回自車両位置ＶＰ１におけるフロントカメラＣＦの位置と第一特徴点ＤＰ１とを結ぶ仮想線Ｌ１上に生じる。

そこで、移動点特定部２７５は、移動物体の移動速度ＶＢまたは移動量ＤＢに応じて、移動点特定範囲ＲＭの大きさを決定する。具体的には、移動点特定部２７５は、移動物体の移動速度ＶＢまたは移動量ＤＢが大きくなるほど、移動点特定範囲ＲＭの大きさを大きくなるように設定する。続いて、移動点特定部２７５は、自車両１０と移動物体との相対速度に応じて、移動点特定範囲ＲＭの基準点に対する相対位置を決定する。これにより、移動点特定部２７５は、自車両１０を基準として移動物体が存在する方向に、移動点特定範囲ＲＭを設定することができる。

再び図２を参照すると、停止点特定部２７６は、移動点とは異なる検知点である停止点を特定する。具体的には、停止点特定部２７６は、特徴点抽出部２７１および座標取得部２７２により複数取得された検知点から移動点を除くことで、停止点を特定する。より詳細には、停止点特定部２７６は、座標取得部２７２により位置座標が取得された複数の検知点から、移動点を除くことで、停止点を特定する。

測距情報取得部２７７は、複数のソナーセンサ２２の各々から、物体Ｂに対応する測距情報を取得する。また、測距情報取得部２７７は、測距情報に基づいて、物体Ｂの自車両１０に対する相対位置情報を取得する。測距情報取得部２７７は、測距情報および相対位置情報の取得結果を、時系列で所定時間分保持する。

物体認識部２７８は、座標取得部２７２による位置座標の算出結果と、測距情報取得部２７７にて取得した測距情報および相対位置情報とに基づいて、物体Ｂを認識する。制御内容判定部２７９は、測距情報取得部２７７による測距情報および相対位置情報の取得結果と、物体認識部２７８による物体Ｂの認識結果とに基づいて、制御内容を判定する。また、制御内容判定部２７９は、判定した制御内容を、車載通信回線を介して、動力制御ＥＣＵ５２、制動制御ＥＣＵ５３、および操舵制御ＥＣＵ５４に送信する。

本実施形態に係る物体検知装置２０、ならびに、これによって実行される物体検知方法および物体検知プログラムによれば、以下のような効果が奏され得る。以下、本実施形態に係る物体検知装置２０、ならびに、これによって実行される物体検知方法および物体検知プログラムを総称して、単に「本実施形態」と称する。

本実施形態においては、物体認識部２７８は、移動物体に対応する検知点である移動点の位置座標を用いず、停止点の位置座標を用いて、自車両１０の周囲に存在する物体Ｂを移動ステレオ技術により認識する。具体的には、物体認識部２７８は、複数取得された検知点から移動点を除くことで特定される停止点の、位置座標に基づいて、自車両１０の周囲に存在する物体Ｂを認識する。より詳細には、物体認識部２７８は、座標取得部２７２により取得された複数の検知点の位置座標のうち、移動点の位置座標を除いた、停止点の位置座標に基づいて、物体Ｂを認識する。

本実施形態によれば、移動ステレオ技術を用いた物体Ｂの検知において、物体Ｂの移動を起因とする誤検知に伴う自車両１０の不必要な車両制御が、良好に回避され得る。例えば、自車両１０の駐車支援あるいは衝突回避の場面において、自車両１０と安全にすれ違うことが可能な対向車である移動物体が、衝突可能性が高い障害物と誤検知されると、無用な回避制御あるいは制動制御が行われる。しかしながら、本実施形態によれば、このような無用な回避制御あるいは制動制御の介入が、良好に回避され得る。したがって、本実施形態によれば、車両制御に良好に用いることが可能な物体検知結果が提供され得る。

本実施形態においては、物体認識部２７８は、座標取得部２７２による位置座標の算出結果と、測距情報取得部２７７にて取得した測距情報および相対位置情報とに基づいて、物体Ｂを認識する。このため、仮に、位置座標の算出結果が削除すなわち消去された移動物体が自車両１０に接近してきても、衝突が発生する前に、測距情報取得部２７７にて取得した測距情報等を用いて、警報あるいは衝突回避動作制御が可能である。したがって、本実施形態によれば、良好な車両運転支援制御が可能となる。

本実施形態においては、移動点特定部２７５は、移動中の物体Ｂの移動状態量に応じた形状に設定された移動点特定範囲ＲＭを、自車両１０を基準として移動物体が存在する方向に設定する。そして、物体認識部２７８は、移動点特定範囲ＲＭを用いて移動点特定部２７５により特定された移動点を除くことで特定される停止点の、位置座標に基づいて、自車両１０の周囲に存在する物体Ｂを認識する。したがって、本実施形態によれば、物体Ｂの移動状態量に応じた移動点および停止点の特定が、良好な精度で行われ得る。

（動作例）
以下、本実施形態による、上記の動作概要に対応する具体的な動作例について、図４に示したフローチャートを用いて説明する。なお、図面中において、「ステップ」を単に「Ｓ」と略記する。

物体検知装置２０、すなわち、物体検知ＥＣＵ２７のＣＰＵは、所定の起動条件成立中に、図４に示されたルーチンを、所定時間間隔で繰り返し起動する。かかるルーチンが起動されると、まず、物体検知装置２０は、ステップ４０１～ステップ４０７の処理を順に実行する。

ステップ４０１にて、物体検知装置２０は、撮像部２１を用いて、画像情報を取得する。ステップ４０２にて、物体検知装置２０は、取得した画像情報に基づいて、特徴点を抽出する。ステップ４０３にて、物体検知装置２０は、ステップ４０２にて抽出した特徴点に対応する位置座標すなわち三次元座標を取得する。

ステップ４０４にて、物体検知装置２０は、異なる自車両位置にて撮影された複数の撮影画像に基づいて、オプティカルフローを算出する。ステップ４０５にて、物体検知装置２０は、ステップ４０４にて算出したオプティカルフローに基づいて、各特徴点に対応する移動状態量を取得する。ステップ４０６にて、物体検知装置２０は、ステップ４０５にて取得した移動状態量に基づいて、移動物体の存否と、移動物体が存在する場合の自車両１０との相対位置関係とを判定する。

ステップ４０７にて、物体検知装置２０は、移動物体が存在するか否かを判定する。移動物体が存在する場合（すなわちステップ４０７＝ＹＥＳ）、物体検知装置２０は、ステップ４０８およびステップ４０９の処理を実行した後、処理をステップ４１０以降に進行させる。

ステップ４０８にて、物体検知装置２０は、移動点特定範囲ＲＭを設定する。ステップ４０９にて、物体検知装置２０は、設定した移動点特定範囲ＲＭを用いて、移動点を特定する。ステップ４１０にて、物体検知装置２０は、停止点を特定する。この場合、停止点の特定は、複数取得された検知点から移動点を除くことによって行われる。

移動物体が存在しない場合（すなわちステップ４０７＝ＮＯ）、物体検知装置２０は、ステップ４０８およびステップ４０９の処理をスキップして、処理をステップ４１０以降に進行させる。ステップ４１０にて、物体検知装置２０は、停止点を特定する。この場合、停止点の特定は、複数取得された検知点のほぼ全てを停止点とすることによって行われる。

ステップ４１１にて、物体検知装置２０は、ソナーセンサ２２による距離検出結果である測距情報を取得する。また、ステップ４１１にて、物体検知装置２０は、複数のソナーセンサ２２を用いて取得した測距情報に基づく三角測量により、物体Ｂの自車両１０に対する並進方向についての相対位置情報を取得する。

ステップ４１２にて、物体検知装置２０は、ステップ４０３における位置座標の取得結果と、ステップ４１１における測距情報および相対位置情報の取得結果とに基づいて、物体Ｂを認識する。ステップ４１３にて、物体検知装置２０は、ステップ４１２における物体Ｂの認識結果に基づいて、制御内容を判定する。

（変形例）
本開示は、上記実施形態に限定されるものではない。故に、上記実施形態に対しては、適宜変更が可能である。以下、代表的な変形例について説明する。以下の変形例の説明においては、上記実施形態との相違点を主として説明する。また、上記実施形態と変形例とにおいて、相互に同一または均等である部分には、同一符号が付されている。したがって、以下の変形例の説明において、上記実施形態と同一の符号を有する構成要素に関しては、技術的矛盾または特段の追加説明なき限り、上記実施形態における説明が適宜援用され得る。

本開示は、上記実施形態にて示された具体的な装置構成に限定されない。すなわち、例えば、物体検知装置２０を搭載する車両１０は、四輪自動車に限定されない。具体的には、車両１０は、三輪自動車であってもよいし、貨物トラック等の六輪または八輪自動車であってもよい。車両１０の種類は、内燃機関のみを備えた自動車であってもよいし、内燃機関を備えない電気自動車または燃料電池車であってもよいし、いわゆるハイブリッド自動車であってもよい。車体１１の形状および構造も、箱状すなわち平面視における略矩形状に限定されない。ドアパネル１７の数も、特段の限定はない。

物体検知装置２０の適用対象についても、特段の限定はない。すなわち、例えば、物体検知装置２０は、運転支援装置５０に限定されない。具体的には、例えば、物体検知装置２０は、自動運転の定義におけるレベル２～レベル５に相当する、半自動運転あるいは自動運転に対しても、好適に適用可能である。

撮像部２１の配置および個数は、上記の例に限定されない。すなわち、例えば、フロントカメラＣＦは、車室内に配置され得る。具体的には、例えば、フロントカメラＣＦは、車両１０における車室内に配置された不図示のルームミラーに装着され得る。左側カメラＣＬおよび右側カメラＣＲは、ドアミラー１８とは異なる位置に配置され得る。あるいは、左側カメラＣＬおよび右側カメラＣＲは、省略され得る。

ソナーセンサ２２の配置および個数は、上記の具体例に限定されない。すなわち、例えば、図１を参照すると、第三フロントソナーＳＦ３が車幅方向における中央位置に配置される場合、第四フロントソナーＳＦ４は省略される。同様に、第三リアソナーＳＲ３が車幅方向における中央位置に配置される場合、第四リアソナーＳＲ４は省略される。第三サイドソナーＳＳ３および第四サイドソナーＳＳ４は、省略され得る。

物体検知装置２０に用いられる各種センサ類は、車速センサ２４、シフトポジションセンサ２５、舵角センサ２６、等に限定されない。すなわち、例えば、車速センサ２４、シフトポジションセンサ２５、および舵角センサ２６のうちの少なくとも１つは、省略されたり、他のセンサに代替されたりしてもよい。

上記実施形態においては、物体検知ＥＣＵ２７は、ＣＰＵがＲＯＭ等からプログラムを読み出して起動する構成であった。しかしながら、本開示は、かかる構成に限定されない。すなわち、例えば、物体検知ＥＣＵ２７は、上記のような動作を可能に構成されたデジタル回路、例えばＡＳＩＣあるいはＦＰＧＡを備えた構成であってもよい。ＡＳＩＣはApplication Specific Integrated Circuitの略である。ＦＰＧＡはField Programmable Gate Arrayの略である。

上記実施形態において、物体検知ＥＣＵ２７は、物体検知装置２０の主要部を構成する。このため、撮像部２１～舵角センサ２６、表示部２８、および音声出力部２９は、上記実施形態において、物体検知装置２０の主要な構成要素ではなく、物体検知装置２０の付随的要素であるものと把握され得る。あるいは、例えば、少なくとも撮像部２１は、物体検知ＥＣＵ２７とともに、物体検知装置２０の主要な構成要素であるものと把握され得る。

本開示は、上記実施形態にて示された具体的な機能構成および動作例に限定されない。例えば、撮像部２１およびソナーセンサ２２は、それぞれ、画像情報取得部２７０および測距情報取得部２７７を構成するものとして、物体検知装置２０の主要な構成要素としても把握され得る。あるいは、画像情報取得部２７０～制御内容判定部２７９のうちの一部または全部が、撮像部２１に設けられていてもよい。

座標取得部２７２における処理内容は、単眼移動ステレオに限定されない。具体的には、例えば、複眼ステレオ、あるいは、単眼移動ステレオと複眼ステレオとの統合処理が用いられ得る。単眼移動ステレオと複眼ステレオとの統合処理については、本願の出願時において、すでに公知または周知となっている。したがって、本明細書においては、複眼ステレオ処理、および、単眼移動ステレオと複眼ステレオとの統合処理についての詳細については、説明を省略する。

移動状態量取得部２７３は、オプティカルフローに代えて、あるいはこれとともに、ソナーセンサ２２および／またはレーダーセンサ２３による検知結果を用いて、移動状態量を取得してもよい。

移動点特定部２７５は、座標取得部２７２による位置座標の算出前の特徴点から移動点を特定するようになっていてもよい。同様に、停止点特定部２７６は、座標取得部２７２による位置座標の算出前の特徴点から停止点を特定するようになっていてもよい。この場合、座標取得部２７２は、抽出済みの特徴点のうち、移動物体に対応する特徴点である移動点を除いたものに対して、移動ステレオの手法により位置座標を算出する。すなわち、座標取得部２７２は、複数取得された検知点すなわち特徴点から移動点を除いた停止点の、位置座標を取得する。そして、物体認識部２７８は、停止点の位置座標に基づいて、物体Ｂを認識する。具体的には、図４のフローチャートにおいて、ステップ４０３の処理は、ステップ４１０の後に行われる。これにより、計算負荷を効果的に軽減しつつ、精度良い位置座標算出が実現され得る。

測距情報取得部２７７は、ソナーセンサ２２の出力に代えて、あるいはこれとともに、レーダーセンサ２３の出力に基づいて、測距情報を取得してもよい。すなわち、探査波として、超音波または電磁波が用いられ得る。また、測距点として、レーダーセンサ２３により取得された反射点が用いられ得る。この場合、反射点に関する相対位置情報は、ソナーセンサ２２により取得された測距点の代替として用いられ得る。あるいは、反射点に関する相対位置情報は、ソナーセンサ２２により取得された測距点の補正要素として用いられ得る。

物体認識部２７８にて物体認識に用いられない、移動点に対応する特徴点および／または位置座標のデータは、削除すなわち消去されてもよい。あるいは、移動点に対応する特徴点および／または位置座標のデータは、他の用途または他のＥＣＵによる利用に供するために、削除されずに保持されていてもよい。

上記の具体例においては、フロントカメラＣＦによる撮影画像を用いた物体Ｂの検知動作について説明した。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、本開示は、リアカメラＣＢによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。同様に、本開示は、左側カメラＣＬおよび右側カメラＣＲによる撮影画像を用いた物体Ｂの検知動作に対しても、好適に適用され得る。

上記実施形態においては、位置座標として三次元座標を用いた例を示した。かかる例においては、「位置座標」は、「三次元位置座標」あるいは「三次元座標」とも称され得るものである。しかしながら、本開示は、かかる態様に限定されない。すなわち、例えば、位置座標として二次元座標が用いられてもよい。具体的には、例えば、座標取得部２７２は、自車両１０の重心を原点とし、車幅方向をＸ軸とし、車長方向をＹ軸とした、ＸＹ二次元座標系における位置座標を、移動ステレオの手法による三角測量の原理で検出してもよい。同様に、移動状態量取得部２７３～制御内容判定部２７９は、二次元位置座標に基づいて機能あるいは動作するようになっていてもよい。

「取得」という表現と、「推定」「検出」「検知」「算出」等の類似の表現とは、技術的に矛盾しない範囲内において、適宜置換可能である。「検出」と「抽出」とも、技術的に矛盾しない範囲内において、適宜置換可能である。各判定処理における不等号は、等号付きであってもよいし、等号無しであってもよい。すなわち、例えば、「閾値未満」と「閾値以下」とは、技術的に矛盾しない範囲内において、互いに置換され得る。

上記実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、構成要素の個数、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数値に限定される場合等を除き、その特定の数値に本開示が限定されることはない。同様に、構成要素等の形状、方向、位置関係等が言及されている場合、特に必須であると明示した場合および原理的に特定の形状、方向、位置関係等に限定される場合等を除き、その形状、方向、位置関係等に本開示が限定されることはない。

上記の各機能構成および方法は、コンピュータプログラムにより具体化された一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、上記の各機能構成および方法は、一つあるいは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移的実体的記憶媒体に記憶されていてもよい。すなわち、本開示に係る装置あるいは方法は、上記の各機能あるいは方法を実現するための手順を含むコンピュータプログラム、あるいは、当該プログラムを記憶した非遷移的実体的記憶媒体としても表現可能である。

変形例も、上記の例示に限定されない。また、複数の変形例が、互いに組み合わされ得る。さらに、上記実施形態の全部または一部と、変形例の全部または一部とが、互いに組み合わされ得る。

Claims (16)

1. 自車両（１０）に搭載されることで当該自車両の周囲の障害物である物体（Ｂ）の存在を検知するように構成された、物体検知装置（２０）であって、
   前記自車両に搭載された１つの撮像部（２１）によって、前記自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、前記物体に対応する検知点の位置座標を取得する、座標取得部（２７２）と、
   移動中の前記物体である移動物体に対応する前記検知点である移動点の位置座標を除く、前記移動点とは異なる前記検知点である停止点の位置座標に基づいて、前記物体を認識する、物体認識部（２７８）と、
   を備え、
   前記物体認識部は、前記物体の前記自車両に対する相対位置と三次元形状とを認識する、
   物体検知装置。
2. 前記座標取得部は、複数取得された前記検知点から前記移動点を除いた前記停止点の位置座標を取得し、
   前記物体認識部は、前記停止点の位置座標に基づいて、前記物体を認識する、
   請求項１に記載の物体検知装置。
3. 前記物体認識部は、前記座標取得部により取得された複数の前記検知点の位置座標の中から、前記移動点の位置座標を除く前記停止点の位置座標に基づいて、前記物体を認識する、
   請求項１に記載の物体検知装置。
4. 前記物体の移動速度または移動量である移動状態量を取得する、移動状態量取得部（２７３）と、
   前記移動状態量が閾値を超える前記移動物体に対応する前記検知点を前記移動点として特定する、移動点特定部（２７５）と、
   をさらに備えた、
   請求項１～３のいずれか１つに記載の物体検知装置。
5. 前記移動点特定部は、前記移動物体と前記自車両との相対位置関係に応じて設定される所定範囲内に存在する前記検知点を、前記移動点として特定する、
   請求項４に記載の物体検知装置。
6. 前記移動点特定部は、前記自車両を基準として前記移動物体が存在する方向に、前記所定範囲を設定する、
   請求項５に記載の物体検知装置。
7. 前記移動点特定部は、前記移動状態量に応じて前記所定範囲の形状を可変に設定する、
   請求項５または６に記載の物体検知装置。
8. 前記移動状態量取得部は、異なる自車両位置にて撮影された複数の前記撮影画像に基づいて算出したオプティカルフローを用いて前記移動状態量を取得する、
   請求項４～７のいずれか１つに記載の物体検知装置。
9. 自車両（１０）に搭載されることで当該自車両の周囲の障害物である物体（Ｂ）の存在を検知するように構成された物体検知装置（２０）により実行される、物体検知プログラムであって、
   前記物体検知装置により実行される処理は、
   前記自車両に搭載された１つの撮像部（２１）によって、前記自車両の移動に伴い異なる自車両位置にて撮影された複数の撮影画像に基づいて、前記物体に対応する検知点の位置座標を取得する処理と、
   移動中の前記物体である移動物体に対応する前記検知点である移動点の位置座標を除く、前記移動点とは異なる前記検知点である停止点の位置座標に基づいて、前記物体を認識する処理と、
   を含み、
   前記物体を認識する処理は、前記物体の前記自車両に対する相対位置と三次元形状とを認識する、
   物体検知プログラム。
10. 前記検知点の位置座標を取得する処理は、複数取得された前記検知点から前記移動点を除いた前記停止点の位置座標を取得し、
    前記物体を認識する処理は、前記停止点の位置座標に基づいて、前記物体を認識する、
    請求項９に記載の物体検知プログラム。
11. 前記物体を認識する処理は、取得された複数の前記検知点の位置座標の中から、前記移動点の位置座標を除く前記停止点の位置座標に基づいて、前記物体を認識する、
    請求項９に記載の物体検知プログラム。
12. 前記物体の移動速度または移動量である移動状態量を取得する処理と、
    前記移動状態量が閾値を超える前記移動物体に対応する前記検知点を前記移動点として特定する処理と、
    をさらに含む、
    請求項９～１１のいずれか１つに記載の物体検知プログラム。
13. 前記移動物体と前記自車両との相対位置関係に応じて設定される所定範囲内に存在する前記検知点を、前記移動点として特定する、
    請求項１２に記載の物体検知プログラム。
14. 前記自車両を基準として前記移動物体が存在する方向に、前記所定範囲を設定する、
    請求項１３に記載の物体検知プログラム。
15. 前記移動状態量に応じて前記所定範囲の形状を可変に設定する、
    請求項１３または１４に記載の物体検知プログラム。
16. 前記移動状態量を取得する処理は、異なる自車両位置にて撮影された複数の前記撮影画像に基づいて算出したオプティカルフローを用いて前記移動状態量を取得する、
    請求項１２～１５のいずれか１つに記載の物体検知プログラム。

Images