JP7108856B2 - 運転制御システムおよび運転制御方法 - Google Patents

Description

本開示は、車両または飛行体などの移動体の運転を支援する、運転制御システムおよび運転制御方法に関する。

近年、車両走行制御を支援する様々な走行支援システムが提案されている。走行支援システムは、加速、制動および操舵を制御するために、例えば車両速度および障害物までの距離など情報を必要とする。車両速度は、一般に、車輪の回転数（ｒｐｍ）に基づいて測定され得る。

特許文献１は、ステレオ撮像によって障害物までの距離を測定することが可能な撮像システムを開示する。その撮像システムは、被写体照度に応じて異なる光電変換特性を有する撮像素子を含む複数の撮像装置を備える。複数の撮像装置の間で撮像タイミングなどを合わせ込むことにより、高速かつ正確にステレオ画像を処理することが可能になる。

特開２００７－８１８０６号公報

近年、走行支援システムは飛躍的に進化している。そのシステムは、人による自動車の運転操作を補助するシステムから、自動車自らが情報を取得して判断し、運転操作を行う、自動車主体のシステムに変貌しつつある。そのようなシステムへの期待は大きく、さらなるシステムの改善を求める要望が多く寄せられている。

従来の技術において、車両走行制御に必要な情報が高い精度で取得されていたとは必ずしも言えなかった。そのため、より正確にその情報を取得することが求められていた。

本開示は、移動体の運動状態、例えば速度または進行方向を検出することが可能な移動体制御システムを提供することを目的とし、主として、車両の運動状態、例えば速度または進行方向を検出することが可能な車両走行制御システムを提供することを目的とする。

本開示の一態様による運転制御システムは、移動体に設置され、第１のフレーム期間に対象物を複数回撮像して、第１の撮像データおよび第２の撮像データを含む多重露光撮像データを生成する撮像装置と、前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する検出装置と、を備え、前記撮像装置は、前記第１のフレーム期間内の第１露光期間に第１の感度で前記対象物を撮像して前記第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して前記第２の撮像データを生成する。

本開示の例示的な実施形態は、移動体の運動状態、例えば速度または進行方向を検出することが可能な移動体制御システム、当該移動体の制御方法、車両の運動状態、例えば速度または進行方向を検出することが可能な車両走行制御システムおよび当該車両走行の制御方法を提供する。

図１は、検出装置１を備える車両走行制御システム１０００のブロック構成例を示すブロック図である。 図２は、検出装置１の他のブロック構成例を示すブロック図である。 図３は、撮像装置１００の構成例を示す模式図である。 図４Ａは、単位画素１０１の構成例を示す回路図である。 図４Ｂは、単位画素１０１の他の構成例を示す回路図である。 図５は、単位画素１０１の、半導体基板１０９Ｄの法線方向に沿った断面図である。 図６Ａは、単位フレーム期間における多重露光の典型的な動作タイミングを示すタイミング図である。 図６Ｂは、多重露光撮像データの一例を示す模式図である。 図７Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示すタイミング図である。 図７Ｂは、応用例による多重露光撮像データの一例を示す模式図である。 図７Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示すタイミング図である。 図７Ｄは、応用例による多重露光撮像データの他の一例を示す模式図である。 図８Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示すタイミング図である。 図８Ｂは、応用例による多重露光撮像データの一例を示す模式図である。 図８Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示すタイミング図である。 図８Ｄは、応用例による多重露光撮像データの他の一例を示す模式図である。 図９Ａは、撮像シーケンスの典型例を示すシーケンス図である。 図９Ｂは、撮像シーケンスの典型例を示すシーケンス図である。 図９Ｃは、撮像シーケンスの典型例を示すシーケンス図である。 図９Ｄは、撮像シーケンスの典型例を示すシーケンス図である。 図１０は、進行方向を検出するための処理フローの一例を示すフローチャートである。 図１１Ａは、検出装置１を搭載した自車両Ｖが、前方の車両Ｗに追従して走行している様子を示す模式図である。 図１１Ｂは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１１Ｃは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１２Ａは、検出装置１を搭載した自車両Ｖが、前方の車両Ｗに追従して走行している様子を示す模式図である。 図１２Ｂは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１２Ｃは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１３Ａは、検出装置１を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を示す模式図である。 図１３Ｂは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１３Ｃは、取得される多重露光撮像データの測定イメージを示す模式図である。 図１４は、車両の進行方向および相対速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図１５は、車両の進行方向、相対速度および加速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図１６Ａは、参考例のコントローラの機能ブロックを示す機能ブロック図である。 図１６Ｂは、フレームｔ－１の画像を示す模式図である。 図１６Ｃは、フレームｔの画像を示す模式図である。 図１６Ｄは、特定対象物の移動方向を模式的に示す図である。 図１６Ｅは、速度を検出するための参考例のアルゴリズムの処理フローを例示するフローチャートである。 図１７は、多重露光撮像データを用いて速度および加速度を検出するコントローラ５００の機能ブロックを示す機能ブロック図である。 図１８は、速度および加速度を検出するための、コントローラ５００に実装されるアルゴリズムの処理フローを示すフローチャートである。 図１９Ａは、多重露光撮像データが示す画像の一例を示す模式図である。 図１９Ｂは、一連の車両の像を含む多重露光画像の一例を示す模式図である。 図１９Ｃは、車両のある点におけるベクトルｖ_ｄ（ｉ，ｊ）の総和を表す移動量ベクトルｖ（ｉ，ｊ）を示す模式図である。 図２０は、多重露光撮像データを用いて速度および加速度を検出するコントローラ５００の機能ブロックのバリエーションを示す機能ブロック図である。 図２１Ａは、検出装置１を搭載したドローンＤが飛行している様子を示す模式図である。 図２１Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２１Ｃは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２２Ａは、検出装置２を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を示す模式図である。 図２２Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２２Ｃは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２２Ｄは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２３Ａは、検出装置２を搭載した自車両が、道路の白線を撮像しながら走行している様子を示す模式図である。 図２３Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２４Ａは、検出装置２を搭載した自車両が、電柱に貼り付けられた測定用専用マーカを撮像しながら走行している様子を示す模式図である。 図２４Ｂは、取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２５は、多重露光撮像データに基づいて絶対速度を検出し、絶対速度に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図２６Ａは、図２４Ａにおいて道路標識Ｓにより近い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２６Ｂは、図２４Ａにおいて道路標識Ｓからより遠い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を示す模式図である。 図２７は、多重露光撮像データに基づいて絶対速度および加速度を検出し、絶対速度および加速度に基づいて車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図２８は、ＥＣＵ８００によって測定された車両速度をさらに用いて、車両の制動および加速を制御する処理フローの一例を示すフローチャートである。 図２９は、多重露光撮像データに基づいて速度を検出し、さらに進行方向を検出して制動および加速の制御を行う処理フローの一例を示すフローチャートである。 図３０Ａは、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３０Ｂは、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３０Ｃは、前方を走行する車両と自車両の距離が小さい場合の、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３０Ｄは、前方を走行する車両と自車両の距離が大きい場合の、通常の多重露光により取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３１は、多重露光撮像データに基づいて相対速度および加速度を検出し、さらに進行方向を検出して制動・加速の制御を行う処理フローの一例を示すフローチャートである。 図３２は、ＥＣＵ８００によって測定される車両速度を用いて、制動・加速の制御を行う処理フローの一例を示すフローチャートである。 図３３Ａは、車両がカーブ路に進入したときの様子を示す模式図である。 図３３Ｂは、車両がカーブ路に進入したときにカーブ路の外側を撮像して取得される多重露光撮像データが示す画像の一例を示す模式図である。 図３３Ｃは、カーブ路の内側を撮像して取得される多重露光撮像データが示す画像の一例を示す模式図である。

まず、本願発明者が考察した従来技術の問題点を説明する。

従来、車両の速度は、一般に車輪の回転数に比例したパルス信号に基づいて測定される。しかし、車輪のタイヤの摩耗や測定環境により、その測定誤差または不確かさは一定ではなかった。例えば、凍結路を右折または左折するときにタイヤがスリップしたり、ブレーキ制動時に車輪がロックしたりする可能性がある。そのような状態において、パルス信号に基づいて車両速度を正確に測定することは困難である。今後、より一層の進展が望まれる先進運転支援システム（ＡＤＡＳ）および自動運転車などにおいては、走行制御に必要な情報を正しく取得してその制御を瞬時に行うことが要求される。

このような課題に鑑み、本願発明者は、新規な検出装置に想到した。本開示の一態様の概要は以下の項目に記載のとおりである。

〔項目１〕
移動体に設置され、第１のフレーム期間に対象物を複数回撮像して、第１の撮像データおよび第２の撮像データを含む多重露光撮像データを生成する撮像装置と、
前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する検出装置と、
を備え、
前記撮像装置は、前記第１のフレーム期間内の第１露光期間に第１の感度で前記対象物を撮像して前記第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して前記第２の撮像データを生成する、
運転制御システム。

〔項目２〕
第１の制御装置を備え、
前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。

〔項目３〕
第２の制御装置を備え、
前記第２の制御装置は、前記信号に基づいて前記移動体の運動状態を変化させる、項目２に記載の運転制御システム。

〔項目４〕
第１の制御装置を備え、
前記対象物は、他の移動体に固定されており、
前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記他の移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。

〔項目５〕
第２の制御装置を備え、
前記第２の制御装置は、前記信号に基づいて前記他の移動体の運動状態を変化させる、項目４に記載の運転制御システム。

〔項目６〕
前記移動体は車両である、項目１から５のいずれか１項に記載の運転制御システム。

〔項目７〕
前記対象物は地面に対して静止しており、
前記検出装置は、前記移動体の絶対速度を検出する、項目１から６のいずれか１項に記載の運転制御システム。

〔項目８〕
前記対象物は地面に対して静止しており、
前記検出装置は、前記第１の撮像データに基づいて前記移動体と前記対象物との距離を検出し、前記対象物の位置情報と検出された前記距離とに基づいて、前記移動体の位置情報を生成する、項目１に記載の運転制御システム。

〔項目９〕
前記第１の撮像データは、前記第１のフレーム期間内の最初の撮像により生成され、
前記第２の撮像データは、前記第１のフレーム期間内の最後の撮像により生成される、項目１から８のいずれか１項に記載の運転制御システム。

〔項目１０〕
前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第２の撮像データを除く他の撮像データは、前記第１の感度で前記対象物を撮像することにより生成される、項目１から９のいずれか１項に記載の運転制御システム。

〔項目１１〕
前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第１の撮像データを除く他の撮像データは、前記第２の感度で前記対象物を撮像することにより生成される、項目１から９のいずれか１項に記載の運転制御システム。

〔項目１２〕
前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する、項目１から１１のいずれか１項に記載の運転制御システム。

〔項目１３〕
前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対速度を検出する、項目１から１２のいずれか１項に記載の運転制御システム。

〔項目１４〕
前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の加速度を検出する、項目１から１３のいずれか１項に記載の運転制御システム。

〔項目１５〕
前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する第１モードと、前記対象物を基準とした前記移動体の相対速度を検出する第１モードとを、所定の期間毎に切り替える、項目１から１４のいずれか１項に記載の運転制御システム。

〔項目１６〕
制御装置を備え、
前記対象物は他の移動体に固定されており、
前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
前記制御装置は、前記距離が所定の値よりも小さくなっていることが検出された場合、
前記距離が大きくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。

〔項目１７〕
制御装置を備え、
前記対象物は他の移動体に固定されており、
前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
前記距離が所定の値よりも大きくなっていることが検出された場合、前記距離が小さくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、項目１に記載の運転制御システム。

〔項目１８〕
前記検出装置は、前記第１の撮像データおよび前記第２の撮像データが示す前記対象物の各像の特徴点に基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する、項目１から１７のいずれか１項に記載の運転制御システム。

〔項目１９〕
前記第１の制御装置と前記第２の制御装置とは、共通の制御装置である、項目３または項目５に記載の運転制御システム。

〔項目２０〕
移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で対象物を撮像して第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出し、
検出した前記移動体の相対的な運動状態に基づいて、移動体または前記対象物の運動状態を変化させるための信号を生成し、
生成した前記信号に基づいて前記移動体の運動状態を変化させる、
運転制御方法。

〔項目２１〕
移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で他の移動体に固定された対象物を撮像して第１の撮像データを生成し、前記第１期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出し、
検出した前記移動体の相対的な運動状態に基づいて、移動体または前記対象物の運動状態を変化させるための信号を生成し、
生成した前記信号に基づいて前記他の移動体の運動状態を変化させる、
運転制御方法。

本開示の一態様によれば、移動体、例えば車両または飛行体の運動状態または周辺状態を把握するために、１つのフレーム期間に複数回撮像して得られる多重露光撮像データを用いる。そのため、フレーム期間毎に１つの撮像データを取得し、得られた複数の撮像データを用いて運動状態を検出する場合に比べて、例えば車両の速度および進行方向を決定するために行う演算量を大幅に削減することができる。

複数の撮像データを用いて対象物の運動状態を検出する場合、検出間隔はイメージセンサの読み出し速度に律速される。これに対し多重露光撮像データは、複数の撮像データを重畳して含む。そのため、本開示では、対象物の検出間隔は、多重露光の露光間隔によって規定される。よって、本開示によれば、測定速度を大幅に向上でき、かつ、測定精度を改善することができる。また、本開示によれば、検出間隔が小さいためその間の対象物の移動量も小さく、対象物の運動状態をより細かく検出することができる。よって、対象物の運動状態を検出結果から予測する場合、予測確率の向上が期待できる、さらに、１つの多重露光撮像データを用いて運動状態を検出するため、画像上において検出に必要な演算領域を絞り込むことができ、演算量を削減できる。

以下、図面を参照しながら、本開示の実施形態を詳細に説明する。なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本明細書において説明される種々の態様は、矛盾が生じない限り互いに組み合わせることが可能である。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。以下の説明において、実質的に同じ機能を有する構成要素は共通の参照符号で示し、説明を省略することがある。

本開示は、移動体の相対的な進行方向、移動体の速度または加速度を主として検出する技術に関する。移動体の相対的な進行方向とは、例えば、他の移動体を基準とした移動体の相対的な進行方向または静止体を基準とした移動体の進行方向を意味する。また、移動体の相対的な速度および加速度は、他の移動体を基準とした移動体の相対的な速度および加速度を意味する。

本開示は、さらに、移動体の絶対的な進行方向、移動体の速度および加速度を主として検出する技術に関する。移動体の絶対的な進行方向とは、例えば、移動体自身の絶対的な進行方向を意味する。また、移動体の絶対的な速度および加速度は、移動体自身の絶対的な速度および加速度を意味する。

本明細書では、上記した進行方向、速度、および加速度を含む移動体の運動の状態を総称して、移動体の運動状態と呼ぶことがある。

本明細書において、移動体は、移動するあらゆる物体を指す。例えば、移動体は、人、車両、産業制御機器、自立ロボットおよび飛行体を含む。車両は、例えば自動車、自動二輪車、および電車である。飛行体は、例えば飛行船およびマルチコプターである。マルチコプターは、例えばドローンであり、有人であるか無人であるかを問わない。

（第１の実施形態）
＜１．１．車両走行制御システム１０００および検出装置１の構成＞
図１は、検出装置１を備える車両走行制御システム１０００のブロック構成例を示す。

本実施形態による検出装置１は、車両に搭載される装置であり、車両の相対的な進行方向を主に検出する。車両は、例えば自動車である。検出装置１は、例えば車両の前方および後方の少なくとも一方に配置され得る。これにより、車両の前方および後方の少なくとも一方の広範囲にわたって対象物を撮像することが可能になる。

検出装置１は、バスを介して、例えば距離測定部６００、進行方向測定部７００および電子制御ユニット８００と通信可能に接続され得る。以下、電子制御ユニットを「ＥＣＵ」と表記する。構成要素間の通信は、有線または無線で行われる。例えば、車載ネットワークであるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信が可能である。これにより、ＥＣＵ８００を核とした車両走行制御システム１０００が構築される。車両走行制御システム１０００は、例えば自動車に好適に搭載される。さらに、車両走行制御システム１０００は、自車両およびその周辺を走行する周辺車両を含む複数の車両によって構築され得る。なお、車両走行制御システム１０００において、後述するように、距離測定部６００および進行方向測定部７００は必須ではない。

検出装置１は、撮像装置１００、光学系２００、イメージシグナルプロセッサ３００、画像送信インタフェース４００、および、制御装置５００を備える。以下、制御装置をコントローラと表記し、イメージシグナルプロセッサを「ＩＳＰ」と表記する。

撮像装置１００は、例えばＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサである。撮像装置１００は被写体の多重露光撮像データを取得することができる。撮像装置１００の詳細は後述する。撮像装置１００は、典型的には自車両に搭載される。

光学系２００は、フォーカスレンズおよびズームレンズなどから構成される周知のレンズ群を有する。レンズ群において、例えばフォーカスレンズは光軸方向に移動する。これにより、撮像装置１００における被写体像の合焦位置を調整することが可能となる。

ＩＳＰ３００は、撮像装置１００から出力される撮像データを画像処理するためのプロセッサである。ＩＳＰ３００は、まず、撮像装置１００からの出力データを受け取る。撮像装置１００からの出力データは、例えば未圧縮・未加工のＲＡＷデータである。ＩＳＰ３００は、撮像装置１００からの出力データに対して、例えばガンマ補正、色補間処理、空間補間処理、およびオートホワイトバランスの処理を行うことができる。

画像送信インタフェース４００は、多重露光撮像データ等を外部に出力するためのインタフェース（ＩＦ）である。画像送信インタフェース４００の外部とは、例えばＥＣＵ８００である。例えば、画像送信インタフェース４００は、ＣＡＮを介してＥＣＵ８００と通信することができる。なお、多重露光撮像データ等は、ＲＡＷデータのまま出力されてもよいし、画像圧縮または所定の画像処理を行った上で規定のフォーマットに従い出力されてもよい。

コントローラ５００は、検出装置１全体を制御する制御回路であり、かつ、演算処理装置として機能する。コントローラ５００は、ＩＳＰ３００からの多重露光撮像データを処理することができる。コントローラ５００は、例えば、多重露光撮像データに基づいて車両の相対的な進行方向および相対速度を検出することができる。コントローラ５００は、自車両またはその周辺を走行する周辺車両に搭載され得る。

コントローラ５００は例えば、電圧制御回路５１１を有する出力インタフェース５１０、入力インタフェース５２０、プログラムメモリ５３０、ワーキングメモリ５４０およびマイクロコントローラ５５０を備える。

入力インタフェース５２０は、ＩＳＰ３００から出力される多重露光撮像データを受け取るインタフェースである。

マイクロコントローラ５５０は、プログラムメモリに予め格納されたプログラムを一旦ワーキングメモリに展開し、その命令群に従って各種の動作を行う。プログラムメモリは、例えばＲＯＭであり、ワーキングメモリは、例えばＲＡＭである。プログラムメモリに格納されたプログラムは、例えば撮像装置１００を制御するための命令群を有する。

出力インタフェース５１０は、撮像装置１００に制御信号を出力するためのインタフェースである。出力インタフェース５１０は電圧制御回路５１１を含む。例えば、電圧制御回路５１１は、撮像装置１００の画素内の光電変換層に印加する所望の電圧を生成する。電圧制御回路５１１は、後に図５を用いて説明する透明電極１０９Ａに、その電圧を供給する。電圧制御回路５１１は、例えば、撮像装置１００のグローバルシャッタを制御することが可能である。なお、本開示は、電圧制御回路５１１以外に、撮像装置１００のグローバルシャッタを実現し得る他のあらゆる構成を採用し得る。

なお、コントローラ５００の構成等は、本開示の本質的部分ではないので、その詳細な説明は省略することとする。

図２は、検出装置１の他のブロック構成例を示す。

図１の構成例では、ＩＳＰ３００は撮像装置１００とは別チップであり、撮像装置１００に外付けされる。一方、図２の構成例では、撮像装置１００およびＩＳＰ３００は同一のチップ内に実装される。本構成例によれば、撮像データをより高速に処理することができ、かつ、ハードウェアのコストを下げることができる。

図３は、撮像装置１００の構成例を示す。

撮像装置１００は、２次元に配列された複数の単位画素１０１から構成される画素アレイを備える。なお、実際には、数百万個の単位画素１０１が２次元に配列され得るが、図３は、そのうちの２×２の行列状に配置された単位画素１０１に着目してその様子を示す。

撮像装置１００は、複数の単位画素１０１と、行走査回路１０２と、列走査回路１０３と、列毎に設けられた電流源１０４と、ＡＤ（アナログデジタル）変換回路１０５と、を含む。水平信号線１０７が行毎に設けられ、垂直信号線１０８が列毎に設けられている。各単位画素１０１は、水平信号線１０７を介して行走査回路１０２に電気的に接続され、垂直信号線１０８を介して列走査回路１０３に電気的に接続される。

全ての単位画素１０１には、例えば共通の電源線１０６が接続される。共通の電源線１０６を介して全ての単位画素１０１に共通の電圧が供給される。単位画素１０１において光電変換された光信号に基づく画素信号はアナログ信号であり、ＡＤ変換回路１０５によってデジタル信号に変換される。デジタル信号に変換された信号は、列走査回路１０３から出力信号として出力される。この構成において、複数の単位画素１０１の間で露光の開始および終了のタイミングが共通する場合には、グローバルシャッタ機能が実現される。ただし、本開示において、複数の単位画素１０１のうちの少なくとも２つの単位画素１０１における露光の開始および終了のタイミングが共通していればよい。ＡＤ変換回路１０５は列毎に設ける必要はなく、画素信号をアナログ信号のまま出力しても構わない。複数の単位画素１０１からの画素信号は、加算または減算されて、演算後の値が列走査回路１０３から出力され得る。または、複数の単位画素１０１からの画素信号はそのまま、列走査回路１０３から出力され得る。

図４Ａは、単位画素１０１の構成例を示す。図５は、半導体基板１０９Ｄの法線方向に沿った、単位画素１０１の断面を模式的に示す。

図４Ａに示される単位画素１０１は、光電変換部１０９と、フローティングディフュージョンと、増幅トランジスタＭ１と、選択トランジスタＭ２と、リセットトランジスタＭ３と、を備える。以下、フローティングディフュージョンを「ＦＤ」と表記する。光電変換部１０９は、入射光を光電変換する。ＦＤは、電荷を蓄積する。増幅トランジスタＭ１は、ＦＤに蓄積された電荷を増幅する。選択トランジスタＭ２は、増幅した信号を垂直信号線１０８に出力するかどうかを選択する。リセットトランジスタＭ３は、ＦＤを所望のリセット電位Ｖｒｓｔにリセットする。本明細書において、増幅トランジスタＭ１、選択トランジスタＭ２およびリセットトランジスタＭ３などで構成される回路を「信号処理回路」と呼ぶ。信号処理回路は、光電変換部１０９に電気的に接続され、電気信号を検出する。

単位画素１０１の光電変換部１０９は、透明電極１０９Ａと、画素電極１０９Ｂと、透明電極１０９Ａと画素電極１０９Ｂとの間に配置される光電変換膜１０９Ｃと、を有する。画素電極１０９Ｂは、信号処理回路に電気的に接続される。ＦＤは半導体基板１０９Ｄ中に設けられており、コンタクトプラグ１０９Ｅを介して画素電極１０９Ｂに電気的に接続される。光電変換膜１０９Ｃの透明電極１０９Ａ側から光が光電変換膜１０９Ｃに入射する。透明電極１０９Ａと画素電極１０９Ｂとの間にバイアス電圧が印加されると、電界が生じる。光電変換によって生じる正および負の電荷のうちの一方が画素電極１０９Ｂによって収集されてＦＤに蓄積される。

透明電極１０９Ａと画素電極１０９Ｂとの間の電位差は、上述の電源線１０６を介して制御される。例えば、透明電極１０９Ａと画素電極１０９Ｂとの電位差が大きい状態から小さい状態に変化させることで、光電変換膜１０９Ｃで光電変換される電荷の量を減少させることができる。あるいは電位差を調整することにより、光電変換膜１０９Ｃで光電変換される電荷の量をゼロにすることもできる。

本構成の場合、光電変換膜１０９Ｃに印加するバイアス電圧の大きさを制御するだけで、単位画素１０１における電荷の発生および蓄積を制御することができる。すなわち、従来のように各単位画素に、電荷転送トランジスタおよび転送された電荷を蓄積するための容量などの素子を追加しなくてもよい。バイアス電圧の制御は、例えばコントローラ５００の電圧制御回路５１１によってなされる。複数の単位画素１０１のうち、２つ以上において、バイアス電圧の制御を同時に行うことにより、それら２つ以上の単位画素の間においてシャッタを同時に切ることが可能である。つまり、それらの単位画素の間でグローバルシャッタが実現される。全ての単位画素１０１の間でグローバルシャッタを実現してもよい。あるいは、特定の撮像領域にある単位画素１０１の間でまたは特定の単位画素１０１の間でグローバルシャッタを実現してもよい。さらに、何段階かに分けてシャッタを切っても構わない。

ＦＤに既に信号電荷が蓄積された状態で、透明電極１０９Ａおよび画素電極１０９Ｂ間の電圧を小さくすると、ＦＤへの電荷の蓄積が停止する。その後、透明電極１０９Ａおよび画素電極１０９Ｂ間の電圧を大きくすると、ＦＤに信号電荷をさらに蓄積することが可能になる。これにより、１フレーム期間内において異なる複数のタイミングでバイアス電圧を制御することによって、１フレーム期間において複数の撮像データを取得することができる。すなわち、複数の撮像データが多重化された多重露光撮像データを、１つのフレーム期間で取得することが可能である。

従来の撮像素子であれば、複数の撮像データは、異なるフレーム期間毎に取得される複数のデータ群として取り扱う必要があった。本開示によれば、多重露光撮像データを１つのデータとして取り扱うことができる。そのため、本開示は、データ量を削減することができる点、および、後段回路におけるデータ処理の負荷を低減させることができる点で優位性を持つ。

さらに、撮像装置１００が多重露光撮像データを生成するとき、１つのフレーム期間内の複数のタイミングのそれぞれにおいて、互いに異なるバイアス電圧を電極間に印加してもよい。これにより、互いに感度の異なる複数の撮像データを含む多重露光撮像データを取得することができる。本明細書において、このような多重露光を「感度変調による多重露光」と呼ぶことがある。

従来の撮像素子では、単位画素に印加する電圧を制御して感度を変調させることは不可能であった。本開示は、バイアス電圧の大きさを制御することにより感度を変調させることができる点で優位性を持つ。なお、上述した、感度変調による多重露光の詳細な説明は、本出願人による例えば特開２００７－１０４１１３号公報に記載されているので、本明細書では省略することとする。これらの開示内容の全てを参考のために本明細書に援用する。

図４Ｂは、単位画素１０１の他の構成例を示す。

図４Ｂの単位画素１０１は、光電変換部としてフォトダイオード（以下、ＰＤと呼ぶ）を備える。本構成例の単位画素１０１は、典型的には、ＰＤで発生した電荷をＦＤに転送するための電荷転送トランジスタＭ４をさらに備える。このように、ＰＤを有する単位画素から構成されたイメージセンサを撮像装置１００として利用してもよい。図４Ｂでは電荷転送トランジスタＭ４を設ける構成を示したが、電荷転送トランジスタＭ４を設けない構成としてもよい。

再度、図１および２を参照する。

ＩＳＰ３００または撮像装置１００’で処理されたデータは、多重露光撮像データとして読み出され、画像送信インタフェース４００およびコントローラ５００に出力される。なお、撮像装置１００は、多重露光撮像データに加え、当然ながら、単一露光による撮像データを生成してもよい。

距離測定部６００は、自車両と対象物との間の距離を測定することができる。距離測定部６００は、例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ、レーザーレーダーおよびソナーなどの装置によって実現され得る。

進行方向測定部７００は、対象物に対する自車両の相対的な進行方向を測定することができる。対象物に対する自車両の相対的な進行方向とは、例えば対象物に対する自車両の位置関係およびその変化の向きである。進行方向測定部７００は、例えばＴＯＦ、レーザーレーダーおよびソナーなどの装置によって実現され得る。対象物は移動体であってもよく、静止体であってもよい。

上述したとおり、距離測定部６００および進行方向測定部７００は必須ではない。後述するように、多重露光撮像データを解析することにより、距離および相対的な進行方向といった情報を取得することができる。データ解析によってこれらの情報を取得することより、車両走行制御システム１０００のハードウェアの数を低減することができる。その結果、車両走行制御システム１０００は、簡素化および最適化され得る。当然ながら、制御の種類に応じて、装置およびデータ解析による距離の検出を使い分けるようにしてもよい。

ＥＣＵ８００は、車載ネットワークの核をなし、エンジン制御、並びに、制動、操舵および加速などの様々な車両の制御を行うユニットである。例えば、ＥＣＵ８００は、検出装置１からの出力に基づいて、車両の制動および加速を制御することができる。また、ＥＣＵ８００は、検出装置１の各種の演算を行うことができる。

＜１．２．撮像装置１００の基本的動作＞
先ず、図６Ａおよび図６Ｂを参照して、撮像装置１００の基本的動作を説明する。

図６Ａは、単位フレーム期間における多重露光の典型的な動作タイミングを示す。図６Ｂは、多重露光撮像データが示す画像の一例を示す。図６Ａにおいて、ＶＤは、単位フレーム期間の開始パルスを示す。２つの開始パルスの間の期間が単位フレーム期間に相当する。制御信号Ｖ２は単位画素１０１の光電変換膜１０９Ｃに印加されるバイアス電圧を示す。

１フレーム期間の多重露光によって取得される複数の撮像データは、電圧制御回路５１１で生成される制御信号Ｖ２のレベルに応じて取得される。制御信号Ｖ２がＨｉである期間は、露光期間であり、制御信号Ｖ２がＬｏｗである期間は、非露光期間である。露光期間においては、光電変換膜１０９Ｃにおいて光電変換によって生成した電荷が、画素電極１０９Ｂに移動する。一方、非露光期間においては、光電変換膜１０９Ｃにおいて光電変換によって生成した電荷が再結合し、消滅する。

本実施形態による撮像装置１００は、露光期間、露光回数および感度を変えることができる。具体的に、電圧制御回路５１１は、単位フレーム期間における、制御信号Ｖ２のパルス幅およびパルスの振幅を変えることにより露光を制御することができる。

図６Ａには、単位フレーム期間に４回以上の露光を、感度を変えずに実施する例を示している。ただし、単位フレーム期間における露光の回数は２回以上であればよい。撮像装置１００は、各露光により取得された複数の撮像データ（第１、第２、・・・、第ｎの撮像データ、ｎは２以上の整数）を含む多重露光撮像データを生成する。従って、多重露光撮像データは、少なくとも第１および第２の撮像データを含む。第１の撮像データは第１の露光期間に取得され、第２の撮像データは第２の露光期間に取得される。本明細書において、各露光期間の間で画素の感度を変えずに行う多重露光を「通常の多重露光」と呼ぶ場合がある。通常の多重露光によれば、例えば静止体を撮像した場合、被写体は、各露光期間において、例えば図３に示される画素アレイにおける同一の複数の単位画素１０１によって撮像されることとなる。これに対し、移動体を撮像した場合、その被写体は、各露光期間において異なる複数の単位画素１０１によって撮像されることとなる。ここで、「各露光期間において異なる複数の単位画素１０１によって撮像される」とは、例えば、第１の露光期間において被写体を撮像した複数の単位画素１０１と、第２の露光期間において被写体を撮像した複数の単位画素１０１とが、一部あるいは全部が一致しないことを指す。その結果、例えば４回以上の露光によって取得された撮像データは、独立な、または一部が重なり合う４つ以上の像として１つの多重露光撮像データに含まれる。図６Ｂには、自車両の前方を走行している車両のナンバープレートを、単位フレーム期間に互いに異なるタイミングで４回撮像して得られる多重露光撮像データが示す画像の一例を示している。

次に、図７Ａから図７Ｄを参照して、撮像装置１００の応用的な動作を説明する。

図７Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示す。図７Ｂは、応用例による多重露光撮像データが示す画像の一例を示す。図７Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示す。図７Ｄは、応用例による多重露光撮像データが示す画像の他の一例を示す。

この応用例では、各露光の間で制御信号Ｖ２のレベルを変更することにより、感度変調による多重露光が実施される。そのため、２つの露光期間の間で感度および露光量が異なる。制御信号Ｖ２のレベルの変更は、例えばパルスの振幅を変更することにより行われる。図７Ａには、単位フレーム期間に感度がそれぞれ異なる４回以上の多重露光を実施する例を示している。制御信号Ｖ２は、露光毎にレベルが異なる電圧に設定される。制御信号Ｖ２のレベルは、図７Ａに示されるような単調増加であってもよい。あるいは、制御信号Ｖ２のレベルは、図７Ｃに示されるような単調減少であってもよい。制御信号Ｖ２のレベルの変化が、例えば図７Ａに示されるような単調増加であった場合、第１の露光期間に取得された第１の撮像データの明度が最も低く、第４の露光期間に取得された第４の撮像データの明度が最も高い。撮像装置１００は、各露光により取得された感度の異なる複数の撮像データを含む多重露光撮像データを生成する。制御信号Ｖ２は任意に設定可能であり、検出目的に応じて様々なパターンを取り得る。例えば、制御信号Ｖ２のレベルは単調増加または単調減少である必要はなく、任意のパターンで増減させてもよい。

図７Ｂおよび図７Ｄは、自車両の前方を走行している車両のナンバープレートを、単位フレーム期間に４回撮像して得られる多重露光撮像データが示す画像の一例を示している。

本応用例では、多重露光撮像データにおいて、動きのある被写体を撮像した４つの像の間で明度が異なる。そのため、被写体の動きを時系列で確認することができる。本明細書では、明度は「共通の表示属性の程度」の一例である。共通の表示属性の程度は、明度以外に、例えば彩度および色相の程度であり得る。

図６Ｂ、図７Ｂおよび図７Ｄは、動きのある同じ被写体を撮像して得られた多重露光撮像データが示す画像の一例を示している。各露光の間で共通の表示属性の程度が全て同じである場合、図６Ｂに示される撮像データが取得される。各露光の間で共通の表示属性の程度が異なる場合、図７Ｂまたは図７Ｄに示される撮像データが取得される。図７Ｂでは、明度が高い像ほど、時系列で後に取得された被写体像であることを示している。また、図７Ｄでは明度が低い像ほど、時系列で後に取得された被写体像であることを示している。これは、後述するように、前方の走行車両を基準とした自車両の相対的な進行方向および相対的な速度を、多重露光撮像データに基づいて検出することが可能であることを意味する。自車両は、第１移動体の一例であり、前方の走行車両は第２移動体の一例である。

例えば図７Ｂでは、明度の高いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。同様に、例えば図７Ｄでは、明度の低いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。

また別の一例として、各露光の間で露光期間を異ならせることにより、感度を変調することできる。以下、その一例を説明する。

図８Ａは、単位フレーム期間における多重露光の応用的な動作タイミングの例を示す。図８Ｂは、応用例による多重露光撮像データが示す画像の一例を示す。図８Ｃは、単位フレーム期間における多重露光の応用的な動作タイミングの他の例を示す。図８Ｄは、応用例による多重露光撮像データが示す画像の他の一例を示す。

この応用例では、第１の露光期間から第４の露光期間までの間で露光の長さが異なる。この応用例ではすべての露光期間の間で露光の長さが異なっているが、少なくとも２つの露光期間の長さが異なっていればよい。各露光の間で露光期間、すなわち、制御信号Ｖ２のパルス幅を変更することにより、感度が変調される。図８Ｂでは明度が高い像ほど、時系列で後に取得された像であることを示している。また、図８Ｄでは明度が低い像ほど、系列で後に取得された像であることを示している。

例えば図８Ｂでは、明度の高いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。同様に、例えば図８Ｄでは、明度の低いナンバープレートの像ほど小さく表示されている。つまり、時系列で後に取得された像ほど小さくなっている。したがって、前方の走行車両に対し自車両は相対的に後進している、または、相対的に減速していると検出できる。

次に、図９Ａから図９Ｄを参照して、幾つかの撮像シーケンスの典型例を説明する。

図９Ａから図９Ｄは、撮像シーケンスの典型例を示す。

図９Ａおよび図９Ｂに示されるように、ある撮像シーケンスにおいて、進行方向を検知するためのフレーム期間にだけ感度変調を適用し、その期間に取得された多重露光撮像データに基づいて進行方向を検出してもよい。さらに、残りのフレーム期間においては、通常の多重露光撮像を行ってもよい。以下、進行方向を検知するためのフレームを「方向検知用フレーム」と表記する。

図９Ｃに示されるように、ある撮像シーケンスの各フレーム期間において感度変調を常に適用させて、各フレーム期間に取得された多重露光撮像データに基づいて進行方向を常に検出してもよい。また、図９Ｄに示されるように、ある撮像シーケンス中の複数のフレーム期間の中から、方向検知用フレーム期間を定期的に設定し、そのフレーム期間にだけ感度変調を適用し、その期間に取得された多重露光撮像データに基づいて進行方向を検出してもよい。また、上述した幾つかの撮像シーケンスの構成をコントローラ５００の制御に従い、走行条件によって切替えながら撮像装置１００を動作させても構わない。

ある撮像シーケンスにおいて、走行状態を検知するためのフレーム期間を設定し、その期間に取得された多重露光撮像データに基づいて速度を検出し、その速度に基づいて、残りのフレーム期間における多重露光撮像での露光間隔を制御してもよい。以下、走行状態を検知するためのフレームを「走行状態検知用フレーム」と表記する。走行状態検知用フレームは、ある撮像シーケンス中の複数のフレーム期間中に、定期的に設定されてもよい。車速に対し取得データが少なすぎると、検出装置１は、速度変化に正確に追従することが難しい。また、取得データが多すぎると計算量の増加、および、チップの消費電力の増加に繋がる。その結果、高速処理が困難になる。一方、上記のように撮像シーケンスにおいて走行状態検知用フレームを設定し、その測定結果をもとに以降の撮像の露光間隔を制御することで、取得するデータ量を適切な範囲に収めることができ、検出精度を維持できる。

＜１．３．検出装置１の動作の具体例１＞
図１０から図１２Ｃを参照して、検出装置１の動作の具体例１を説明する。

本実施形態による撮像装置１００は、自車両のエンジンが始動すると同時に、撮像を開始する。撮像装置１００は、他車両に含まれる特定対象物を撮像する。コントローラ５００は、感度変調により撮像された特定対象物の第１の撮像データおよび第２の撮像データに基づいて、他車両を基準とした自車両の相対的な進行方向を検出することができる。特定対象物は、規格で寸法が定められている物体である。特定対象物は、例えば他車両のナンバープレート、または、他車両のヘッドライトおよびブレーキライトなどのランプである。

図１０は、進行方向を検出するための処理フローの一例を示す。本明細書では、コントローラ５００が各処理を実行して、自車両の相対的な進行方向若しくは相対速度またはその両方を検出する例を説明する。各処理の主体は、ＥＣＵ８００であってもよい。換言すると、ＥＣＵ８００が、検出装置１からの出力データに基づいて自車両の相対的な進行方向若しくは相対速度またはその両方を検出してもよい。

コントローラ５００は、例えば公知の物体認識のアルゴリズムを用いて特定対象物の特徴を検出することができる。コントローラ５００は、その特徴を検出すると、車両進行方向を検出するためのプログラムのブートを開始する。これにより、相対的な進行方向を検出するための処理に移行する（図１０のスタートおよびステップＳ１００）。

コントローラ５００は、相対的な進行方向の検出を開始する（ステップＳ１１０）。コントローラ５００は、例えば図９Ａに示される撮像シーケンスにおいて、方向検知用フレームを設定する。

ここで、図６Ａを参照して説明した通常の多重露光に従って多重露光撮像データを取得することを考える。例えば図６Ｂに示される多重露光撮像データにおいて、任意の２つの撮像データの間で、どちらが最初に取得された撮像データであるかの区別は付かない。これは、２つの撮像データの間で共通の表示属性の程度が同じことに起因している。図６Ｂに示される多重露光撮像データにおいて、共通の表示属性は明度である。すなわち、この多重露光撮像データに基づいて、前方の車両を基準とした自車両の相対的な進行方向を検出することは困難である。より具体的には、自車両が相対的に加速して前方車両までの距離が縮まっているのか、あるいは自車両が相対的に減速して他車両までの距離が広がっているのかを明確に判別することはできない。

撮像装置１００は、例えば図７Ａまたは図７Ｃに示されるように、単位フレーム期間内の複数の露光の間で制御信号Ｖ２のレベルを変えることにより、単位時間当たりの感度を異ならせて複数の撮像を行う。その結果共通の表示属性の程度が異なる複数の撮像データを含む多重露光撮像データを取得することができる。コントローラ５００は、撮像装置１００から出力される多重露光撮像データを受信する。コントローラ５００は、その多重露光撮像データに基づいて共通の表示属性の程度の違いを測定し、２つの撮像データの間で、どちらが先に取得された撮像データであるかを判別することができる。このように、コントローラ５００は、第１および第２の撮像データの各ナンバープレートの像の明度に基づいて相対的な進行方向を検出することができる（ステップＳ１２０）。

その後、コントローラ５００は、撮像および進行方向検出を継続するかどうかを判定する（ステップＳ１３０）。撮像および進行方向検出を継続する場合、コントローラ５００は、上述のフローを繰り返す。一方、撮像および進行方向検出を終了する場合、コントローラ５００はフローを終了する。

図１１Ａおよび図１２Ａは、検出装置１を搭載した自車両Ｖが、前方の車両Ｗに追従して走行している様子を模式的に示す。図１１Ｂ、図１１Ｃ、図１２Ｂおよび図１２Ｃは、取得される多重露光撮像データが示す画像の一例を模式的に示す。

図１１Ａは、特定対象物がナンバープレートである例を示す。図７Ａに示される駆動に従って、撮像装置１００が車両Ｗのナンバープレートを撮像すると、図１１Ｂに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は高くなる。図１１Ｂに示される多重露光撮像データにおいて、ナンバープレートの像は時系列で徐々に小さくなっている。コントローラ５００は、ナンバープレートの像の明度および大きさの変化に基づいて相対的な進行方向を検出する。この例では、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。これから、自車両Ｖの相対速度は減少していることがさらに分かる。

図１１Ｃは、特定対象物がナンバープレートである別の例を示す。図７Ｃに示される駆動に従って、撮像装置１００がナンバープレートを撮像すると、図１１Ｃに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は低くなる。図１１Ｃに示される多重露光撮像データにおいて、ナンバープレートの像は時系列で徐々に小さくなっている。この例では、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。これから、自車両Ｖの相対速度は減少していることがさらに分かる。

図１２Ａは、特定対象物がブレーキライトである例を示す。図７Ａに示される駆動に従って、撮像装置１００が車両Ｗのブレーキライトを撮像すると、図１２Ｂに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は高くなる。図１２Ｂに示される多重露光撮像データにおいて、ブレーキライトの像は時系列に徐々に小さくなっている。このことから、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。また、これから、自車両Ｖの相対速度は減少していることがさらに分かる。

図１２Ｃは、特定対象物がブレーキライトである別の例を示す。図７Ｃに示される駆動に従って、撮像装置１００がナンバープレートを撮像すると、図１２Ｃに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は低くなる。図１２Ｃに示される多重露光撮像データにおいて、ブレーキライトの像は時系列で徐々に小さくなっている。このことから、車両Ｗを基準とした自車両Ｖの相対的な進行方向は後方であることが分かる。また、これから、自車両Ｖの相対速度は減少していることがさらに分かる。また、特定対象物としてブレーキライトを用いる場合には、多重露光撮像データにおける左右のブレーキライト間の間隔の大小を用いて、相対的な進行方向および相対速度を検出してもよい。

上述した例において、コントローラ５００は、特定対象物の特徴を検出すると、進行方向の検出を開始したが、本開示はこれに限定されない。例えば、コントローラ５００は、車両のエンジンがかかっている間は常に進行方向の検出を行ってもよい。または、コントローラ５００は、ある一定の間隔で進行方向を検出してもよいし、高速道路への進入を起点にして進行方向の検出を開始してもよい。さらに、コントローラ５００は、ギアが変更された等の内部制御情報の変化を起点にして進行方向を検出してもよい。

ナンバープレートおよびブレーキランプは特定対象物の一例である。特定対象物は、規格で寸法が決まっているあらゆる対象物であり得る。特定対象物は、例えば車両の速度を測定するために用いられる専用マーカであり得る。撮像装置１００は、相対的な進行方向および相対速度を測定する場合、車両の前方または後方に設置することが好ましい。これにより、測定時の誤差を抑制することができる。また、撮像範囲の広い撮像装置１００を、例えば車両のサイドミラーまたはヘッドライトに設置することにより、その配置が車両の形状およびデザインに与える影響を最小限に抑えることができる。撮像範囲が広いとは、例えば画角が広いことを意味する。

＜１．４．検出装置の動作の具体例２＞
図１３Ａから図１３Ｃを参照して、検出装置１の動作の具体例２を説明する。

図１３Ａは、検出装置１を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を模式的に示す。図１３Ｂおよび図１３Ｃは、取得される多重露光撮像データに含まれる各撮像データが示す画像を模式的に示す。

本具体例では、検出装置１は、静止体を撮像して自車両の絶対的な進行方向を検出する。静止体は、例えば、道路に設置された道路標識Ｓである。道路標識Ｓは特定対象物として機能する。図７Ａに示される駆動に従って、撮像装置１００が道路標識Ｓを撮像すると、図１３Ｂまたは図１３Ｃに示される多重露光撮像データが取得される。この駆動によると、後に取得された撮像データほど、像の明度は高くなる。図１３Ｂに示される多重露光撮像データにおいて、画像の右端、つまり車両の最後方の道路標識Ｓの像の明度が最も明るく、最前方の像が最も暗い。これは、自車両が前方方向に走行していることを意味する。

一方、図１３Ｃに示される多重露光撮像データでは、画像の左端、つまり、車両の最前方の道路標識Ｓの像の明度が最も明るく、最後方の像が最も暗い。これは、自車両が後方に走行していることを意味する。

このように、検出装置１は、道路標識Ｓの多重露光撮像データに基づいて自車両の絶対的な進行方向を検出することができる。なお、この例において、道路標識Ｓの設置場所を考慮すると、撮像装置１００は、車両側面に設置されることが望ましい。

＜１．５．検出装置の動作の具体例３＞
図１４を参照して、検出装置１の動作の具体例３を説明する。

図１４は、車両の相対的または絶対的な進行方向および速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示す。

コントローラ５００は、上述したような特定対象物の特徴を検出すると（ステップＳ２００）、進行方向および速度を検出するための処理に移行する。

コントローラ５００は、進行方向および速度の検出を開始する（ステップＳ２１０）。

コントローラ５００は、例えば方向検知用フレームにおいて多重露光撮像データを取得する。コントローラ５００は、図１０に示される処理フローのステップＳ１２０と同様に、多重露光撮像データ中の第１および第２の撮像データのそれぞれの表示属性の程度を測定して進行方向を検出する（ステップＳ２２０）。

距離測定部６００、例えばＴＯＦは、例えばコントローラ５００からの開始指示に応答して、自車両から特定対象物までの距離ｄを測定する。コントローラ５００は、距離測定部６００から距離ｄを受け取る（ステップ２３０）。

コントローラ５００は、多重露光撮像データに含まれる第１および第２の撮像データが示す各特定対象物像の間隔ｍ、自車両から他車両までの距離ｄ、および、第１露光期間と第２露光期間との間の露光間隔ｔを用いて、速度を検出する（ステップＳ２４０）。特定対象物は、例えばナンバープレートである。自車両から他車両までの距離ｄは、正確には距離測定部６００から他車両のナンバープレートまでの距離である。速度は、周辺を走行する車両を基準とした自車両の速度である。

多重露光撮像データに含まれる第１および第２の撮像データが示す各特定対象物像の間隔は、例えば各特定対象物像の特徴点の間隔で表わすことができる。特徴点は、例えば特定対象物のエッジである。コントローラ５００は、例えば公知のエッジ検出手法を用いて特定対象物のエッジを検出することができる。コントローラ５００は、撮像データ間における特定対象物のエッジの間隔ｌを演算する。

第１露光期間と第２露光期間との間の露光間隔ｔは、例えば図７Ａに示される。図７Ａにおける露光間隔ｔは、第１の露光期間の終了から第２の露光期間の終了までの期間に相当する。言い換えると、制御信号Ｖ２がＨｉｇｈからＬｏｗになる各タイミングの間隔に相当する。

例えば、通常の多重露光でナンバープレートを撮像した場合、ナンバープレートの像は車両の進行方向に沿って多重化される。そのため、その情報だけでは、自車両が周辺車両に近づいているのか、または、周辺車両から遠のいているのかを判別することができない。本具体例では、ステップＳ２２０において、自車両の進行方向を示す情報が得られる。したがって検出装置１は、自車両の速度の大きさおよびその向きを含む情報を得ることができる。すなわち、検出装置１は、自車両の正確な速度ベクトルを得ることが可能となる。

検出装置１は、進行方向および速度を示す情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。

ＥＣＵ８００は、検出装置１から受信した進行方向および速度を示す情報に基づいて、車両の制動および加速を制御する（ステップＳ２５０）。例えば自動運転のレベル０、１に相当する走行補助を想定した場合、ＥＣＵ８００は、例えば、周辺車両との間隔（距離ｄ）が所定の閾値未満になると、または、速度が所定の閾値を超えると、制動の制御を行う。具体的には、例えば、前方を走行する他車両との距離が所定の値よりも小さくなっていることが検出された場合には、他車両との距離を広げるように自車両のブレーキを作動させてもよく、あるいは他車両のアクセルを作動させるように制御してもよい。また、例えば、前方を走行する他車両との距離が所定の値よりも大きくなっていることが検出された場合には、他車両との距離を縮めるように自車両のアクセルを作動させてもよく、あるいは他車両のブレーキを作動させるように制御してもよい。なお、自動運転のレベルは、日本政府によって定められた、レベル０からレベル４までの自動化の基準を意味する。例えば自動運転のレベル２から４に相当する自動運転または完全自動運転を想定した場合、ＥＣＵ８００は、例えば、自車両と周辺車両との距離ｄ、撮像した道路標識の情報、道路交通情報および地図情報に基づいて制動の制御を行う。地図情報は、例えばＧＰＳ情報である。

車両走行制御システム１０００によれば、進行方向および速度の検出結果に基づいて、自車両または他車両の走行を制御することができる。例えば、自車両において取得した検出結果を自車両の走行制御に用いることができる。または、自車両において取得した検出結果を他車両の走行制御に用いることができる。なお、ＥＣＵ８００は、検出装置１から受信した進行方向および速度を示す情報に基づいて、車両の制動および加速を制御するための信号を生成し外部に出力するようにしてもよい。この場合には、例えば自車両または他車両の自動運転制御装置がこの信号を受信して自車両または他車両の運転を制御してもよい。

コントローラ５００は、撮像を継続するか否かを決定する（ステップＳ２６０）。例えば、コントローラ５００は、エンジンがかかっている場合、撮像を継続すると決定し、エンジンが停止している場合、撮像の停止を決定する。コントローラ５００が撮像を継続すると決定すると、処理は再びステップ２００に戻る。

以上のように、検出装置１およびＥＣＵ８００を備える車両走行制御システム１０００によれば、走行補助、自動運転および完全自動運転に対応した車両走行制御システムおよび当該車両走行制御システムを搭載した車両が提供される。

ステップＳ２３０において、距離測定部６００が、自車両から対象物までの距離ｄを測定する例を説明したが、本開示はこの限りではない。コントローラ５００は、多重露光撮像データを解析することによっても、距離ｄを算出することが可能である。

コントローラ５００は、特定対象物の実際の大きさと、多重露光撮像データ中の特定対象物の大きさと、の比較結果に基づいて、自車両から他車両までの距離ｄを算出することができる。特定対象物の実際の大きさは、規格で予め決まっている。距離ｄにおける多重露光撮像データ中の特定対象物の大きさｓは、規格、ならびに、撮像装置１００および光学系２００に関する各種パラメータに基づいて決定される。距離ｄと特定対象物の大きさｓとの対応関係は、例えばプログラムメモリ５３０に予め格納され得る。コントローラ５００は、例えばこの対応関係に基づいて自車両から他車両までの距離ｄを演算することができる。この構成によれば、距離測定部６００は不要になるので、車両走行制御システム１０００を簡素化でき、かつ、システムコストを下げることができる。また、本明細書ではすべての処理を時系列で行ったが、各々の処理の順番を変えたり、各々の処理を並列に行ったりすることも可能である。例えば、連続撮像と並行して、進行方向検出や速度検出を行うことが可能である。この時、撮像したデータはすべて利用されても構わないし、演算に必要な分のみ間引いて利用されても構わない。

＜１．６．検出装置の動作の具体例４＞
図１５を参照して、検出装置１の動作の具体例４を説明する。

図１５は、車両の進行方向、速度および加速度を検出し、その検出結果に基づいて車両の制動および加速を制御する処理フローの一例を示す。

図１５に示される処理フローは、加速度を検出する処理を含む点で、図１４に示される処理フローとは異なる。以下、その差異点を主として説明する。

コントローラ５００は、図１０に示される処理フローのステップＳ１２０と同様に、第１および第２の撮像データが示す対象物の像の表示属性の程度を測定して進行方向を検出する。さらに、コントローラ５００は、第２および第３の撮像データが示す対象物の像の表示属性の程度を測定して進行方向を検出する（ステップＳ３２０）。第１から第３の撮像データは、時系列で連続した撮像データ群である。第１および第２の撮像データは典型的には、露光期間が隣り合う隣接した２つの撮像データの組であり、第２および第３の撮像データは典型的には、露光期間が隣り合う隣接した２つの撮像データの組である。ただし、２つの撮像データは、時系列で連続した２つの撮像データの組でなくてもよい。例えば、第１から第４の連続した撮像データのうちの、第１および第２の撮像データの組と、第２および第４の撮像データの組とを選択してもよい。

コントローラ５００は、第１および第２の撮像データの組に基づいて、大きさおよび向きの情報を含む速度１を得る。ここで、速度は、速度ベクトルで表される。コントローラ５００は、さらに、第２および第３の撮像データの組に基づいて速度２を得る。コントローラ５００は、速度１および速度２の単位時間当たりの変化量を測定することにより加速度を演算する（ステップ３４０）。

検出装置１は、進行方向、速度１、２および加速度を示す情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。

ＥＣＵ８００は、検出装置１から受信した、進行方向、速度１、２および加速度を示す情報のうちの少なくとも１つに基づいて、車両の制動および加速を制御することが可能である。

本具体例によれば、測定された速度および加速度を用いて車両の制動および加速を制御することができる。そのため、自車両の走行状態を連続的に把握することができ、その結果、より安全な制御が可能となる。

図１６Ａから図２０を参照して、車両の速度および加速度を検出するためのより詳細なアルゴリズムを説明する。本開示のアルゴリズムを説明する前に、参考例のアルゴリズムを説明する。

図１６Ａは、参考例におけるコントローラの機能ブロックを示す。図１６Ｂは、フレームｔ－１の画像を模式的に示す。図１６Ｃは、フレームｔ－１に続くフレームｔの画像を模式的に示す。図１６Ｄは、フレームｔ－１およびフレームｔの各撮像データから求められる特定対象物の動きを模式的に示す。

参考例のコントローラは、少なくとも２つのフレームメモリ５１Ａ、５１Ｂ、動きベクトル検出部５２、オブジェクト検出部５３、および速度検出部５４を備える。速度を検出するためのアルゴリズムは、例えば、マイクロコントローラおよびソフトウェアの組み合わせによって実現される。図１６Ａに示す機能ブロックにおける各ブロックは、ハードウェア単位ではなく機能ブロック単位で示している。フレームｔ－１およびフレームｔのそれぞれに対応する撮像データが撮像装置５０から出力される。フレームｔ－１に対応する撮像データは、フレームメモリ５１Ａに一旦保持される。フレームｔに対応する撮像データは、５１Ｂに一旦保持される。

動きベクトル検出部５２は、フレームｔに対応する撮像データをフレームメモリ５１Ａから読み出し、フレームｔ－１に対応する撮像データをフレームメモリ５１Ｂから読み出す。また、動きベクトル検出部５２は、各撮像データの値を画素ごとに比較し、各撮像データの値に差がある画素群を特定する。さらに、動きベクトル検出部５２は、特定した画素群に基づいて、特定対象物の動きを示す動きベクトル信号を生成する。

具体的には図１６Ｄに示すように、２つの撮像データを比較することにより、画像上における特定対象物の移動方向および移動量を検出する。

オブジェクト検出部５３は、フレームｔに対応する撮像データをフレームメモリ５１Ａから読み出し、公知の物体認識のアルゴリズムを用いて特定対象物の特徴部を検出する。特定対象物は、速度検知のための画像解析に用いる対象物である。既に説明したように、特定対象物は、例えば、白線、標識などの路上マーク情報または他車のナンバープレートを指す。本明細書において、静止している特定対象物を固定物体と呼び、動いている特定対象物を運動物体と呼ぶことがある。オブジェクト検出部５３は、形状検出またはエッジ検出などの一般的な検知手法を用いて、特定対象物の特徴部を検出する。

速度検出部５４は、動きベクトル検出部５２から出力される動きベクトル信号およびオブジェクト検出部５３から出力される検出結果に基づいて、自車速度、他車速度および相対速度の少なくとも１つを算出する。動きベクトル信号が示す動きのある部分に特定対象物が存在する場合、速度検出部５４は、その移動量を速度として検出する。例えば、速度検出部５４は、先ず、画像における路上マーク情報の大きさおよびその移動量に基づいて自車の速度を算出する。次に、速度検出部５４は、自車の速度、他車のナンバープレートの大きさおよびその移動量に基づいて自車の相対速度または他車の相対速度を算出する。

図１６Ｅは、速度を検出するための参考例のアルゴリズムの処理フローを例示する。動きベクトル検出部５２は、フレームｔの撮像データとフレームｔ－１の撮像データとを用いて、フレームｔの撮像データの予め設定した領域Ｒの全ての画素Ｐ（ｉ，ｊ）における動きベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１０１０、１０１１）。オブジェクト検出部５３は、フレームｔの撮像データの領域Ｒにおいて、指定した特定対象物が存在するか否かを判定する（ステップＳ１０１２、１０１３）。検出した特定対象物の中に固定物体が存在する場合（ステップ１０１４においてＹｅｓ）、速度検出部５４は、固定物体の画像上の大きさおよび動きベクトルｖ（ｉ、ｊ）に基づいて自車の速度Ｖ_１を算出する（ステップＳ１０１５）。自車の速度Ｖ_１が算出された後、検出した特定対象物の中に運動物体が存在する場合（ステップ１０１６においてＹｅｓ）、速度検出部５４は、自車の速度Ｖ_１、運動物体の画像上の大きさおよび動きベクトルｖ（ｉ、ｊ）に基づいて、全ての運動物体の速度Ｖ_２ｉを算出する（ステップＳ１０１７、１０１８）。

本参考例によれば、先ず、自車の速度Ｖ_１を決定してから、運動物体の速度Ｖ_２ｉを決定する。その後、自車の速度Ｖ_１および運動物体の速度Ｖ_２ｉに基づいて自車の相対速度または他車の相対速度を決定する。

次に、多重露光撮像データを用いて速度および加速度を検出するためのアルゴリズムを説明する。図１７は、コントローラ５００の機能ブロックを示す。図１８は、速度および加速度を検出するためのアルゴリズムの処理フローを示す。図１９Ａは、多重露光撮像データの画像の一例である。

コントローラ５００は、フレームメモリ９１０、双方向ベクトル算出部９２０、オブジェクト検出部９３０、および速度・加速度決定部９４０を備える。速度および加速度を検出するためのアルゴリズムは、例えば、図１に示すマイクロコントローラ５５０およびソフトウェアの組み合わせによって実現される。図１７に示す機能ブロックにおける各ブロックは、ハードウェア単位ではなく機能ブロック単位で示している。ソフトウェアは、例えば、各機能ブロックに対応した特定の処理を実行させるためのコンピュータプログラムを構成するモジュールであり得る。そのようなコンピュータプログラムは、図１に示すプログラムメモリ５３０に格納され得る。マイクロコントローラ５５０は、プログラムメモリ５３０から命令を読み出して各処理を逐次実行することができる。

フレームメモリ９１０は、図１または図２に示すワーキングメモリ５４０に相当する。フレームメモリ９１０は、１フレーム分の画像データを保持できる容量を有していればよい。フレームメモリ９１０は、多重露光撮像データであるフレームｔの撮像データを保持する。

双方向ベクトル算出部９２０は、フレームメモリ９１０からフレームｔの撮像データを読み出す。また、双方向ベクトル算出部９２０は、フレームｔの撮像データから特定対象物の特徴部を検出する。特定対象物がフレームｔの期間内に動いている場合、フレームｔの撮像データにおいて特定対象物の特徴部が複数個所で検出される。双方向ベクトル算出部９２０は、画像上における複数個所の特徴部の位置から特定対象物の動きを検出する。

図１９Ａは、双方向ベクトル算出部９２０によって算出された動きベクトルを示す。図１９Ａに示す動きベクトルは、方向が一意に定まらない。本明細書において、方向が一意に定まらない動きベクトルを「双方向ベクトルｖ_ｂｄ（ｉ，ｊ）」と表記する。

図１６Ｄに示すように、参考例によれば、時刻の異なる２つのフレームの撮像データを比較するため、特定対象物の特徴部は異なるフレームに存在し、動きベクトルの方向は一意に決定することができる。これに対し多重露光撮像データを用いた場合には、異なる時刻で取得された特定対象物の特徴部は同じ一つのフレーム内に存在する。そのため、動きベクトルの方向は一意に決定することができない。

図１９Ａに示す画像において、車両のある部分に着目すると、その部分に類似する像が近傍に２つ現れる。一連の像の位置から車両の移動軌跡を認識することはできるが、その両端の像が取得された時間の前後関係を決定することはできない。

多重露光撮像データを用いる場合には、一連の像の始点および終点を特定するために、撮像条件を異ならせる必要がある。例えば、最初の像を取得する時の露光時間をより長くしてもよい。これにより、最初の像の輝度を大きくすることができ、一連の像の始点を特定することができる。最終的に、双方向ベクトルｖ_ｂｄ（ｉ，ｊ）およびその向きを取得することができる。

双方向ベクトル算出部９２０は、フレームｔを用いて画素Ｐ（ｉ，ｊ）に対する双方向ベクトルｖ_ｂｄ（ｉ，ｊ）を算出する（ステップＳ１１１０）。双方向ベクトル算出部９２０は、予め設定された領域Ｒ内の全ての画素Ｐ（ｉ，ｊ）について双方向ベクトルｖ_ｂｄ（ｉ，ｊ）を算出する（ステップＳ１１１１）。オブジェクト検出部９３０は、フレームｔの予め設定された領域Ｒに特定対象物が存在するか否かを例えばエッジ検出を用いて判定する（ステップＳ１１２０）。オブジェクト検出部９３０は、フレームｔの撮像データをフレームメモリ９１０から読み出す。オブジェクト検出部９３０は、形状検出またはエッジ検出などの一般的な検知手法を用いて特定対象物の特徴部を検出する。

図１９Ｂは、多重露光の最後の露光のみ感度を高くして撮像した多重露光画像データが示す画像である。図１９Ｂにおいて、最後に取得された車両の像がＮＩである。最後に取得された車両の像の特徴部のエッジの輝度は、他の像の特徴部のエッジの輝度よりも高い。オブジェクト検出部９３０は、車両の像の特徴部のエッジの輝度を検知する。オブジェクト検出部９３０は、領域Ｒの全てにおいて特定対象物が存在するか否かを判定する（ステップＳ１１２１）。この判定において、固定物体および運動物体が領域Ｒに存在する場合、オブジェクト検出部９３０は、両方の存在を特定してもよい。また、複数の運動物体が領域Ｒに存在する場合、オブジェクト検出部９３０は、複数の運動物体の存在を特定してもよい。

オブジェクト検出部９３０が固定物体を検出した場合（ステップＳ１１２２のＹｅｓ）、双方向ベクトル算出部９２０は、オブジェクト検出部９３０によって検出された特定対象物の特徴部の位置に基づいて、双方向ベクトルｖ_ｂｄ（ｉ，ｊ）を算出する。さらに、双方向ベクトル算出部９２０は、特定対象物の特徴部のエッジの輝度を比較して、最後に取得された像を特定し、双方向ベクトルｖ_ｂｄ（ｉ，ｊ）の向きを決定する。向きが一意に定まった双方向ベクトルｖ_ｂｄ（ｉ，ｊ）をベクトルｖ_ｄ（ｉ，ｊ）と表記する。

図１９Ｃは、車両のナンバープレート上の１点に着目したときの動きベクトルを示す。破線のベクトルは、フレームにおける総移動量である全移動量ベクトルｖ（ｉ，ｊ）を表す。実線の各ベクトルは、多重露光における各露光間の移動量であるベクトルｖ_ｄ（ｉ，ｊ）を表している。双方向ベクトル算出部９２０は、ベクトルｖ_ｄ（ｉ，ｊ）の総和に基づいて全移動量ベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１１３０）。双方向ベクトル算出部９２０は、全ての双方向ベクトルｖ_ｂｄ（ｉ，ｊ）に対し全移動量ベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１１３１）。双方向ベクトル算出部９２０は、固定物体の全移動量ベクトルｖ（ｉ，ｊ）を含む双方向ベクトル信号を速度・加速度決定部９４０に出力する。

速度・加速度決定部９４０は、双方向ベクトル算出部９２０からの双方向ベクトル信号およびオブジェクト検出部９３０からの検出結果に基づいて、車両の速度および加速度を算出する。速度・加速度決定部９４０は、画像内の固定物体の大きさおよび固定物体の全移動量ベクトルｖ（ｉ，ｊ）に基づいて自車速度Ｖ_１を算出する。さらに、速度・加速度決定部９４０は、全移動量ベクトルｖ（ｉ，ｊ）に属するベクトルｖ_ｄ（ｉ，ｊ）の変化量に基づいて自車加速度Ａ１を算出する（ステップＳ１１４０）。

オブジェクト検出部９３０によって運動物体が検出された場合（ステップＳ１１５０においてＹｅｓ）、双方向ベクトル算出部９２０は、オブジェクト検出部９３０による運動物体の検出結果に基づいて、検出した運動物体上の双方向ベクトルｖ_ｂｄ（ｉ，ｊ）を辿り、それらの方向を決定したベクトルｖ_ｄ（ｉ，ｊ）を算出する。さらに、双方向ベクトル算出部９２０は、ベクトルｖ_ｄ（ｉ，ｊ）の総和から全移動量ベクトルｖ（ｉ，ｊ）を運動物体の動きベクトルとして算出する（ステップＳ１１６０）。双方向ベクトル算出部９２０は、全ての双方向ベクトルｖ_ｂｄ（ｉ，ｊ）に対し全移動量ベクトルｖ（ｉ，ｊ）を算出する（ステップＳ１１６１）。双方向ベクトル算出部９２０は、運動物体の全移動量ベクトルｖ（ｉ，ｊ）をさらに含む双方向ベクトル信号を速度・加速度決定部９４０に出力する。

速度・加速度決定部９４０は、運動物体の動きの量に基づいて速度を検出する。より具体的には、速度・加速度決定部９４０は、双方向ベクトル算出部９２０からの双方向ベクトル信号およびオブジェクト検出部９３０からの検出結果に基づいて決定される運動物体の動きの量を用いて、車両の速度および加速度を算出する。速度・加速度決定部９４０は、自車加速度Ａ１、画像内の運動物体の大きさおよび運動物体の全移動量ベクトルｖ（ｉ，ｊ）に基づいて運動物体速度Ｖ_２ｉ、つまり、他車の速度を算出する。さらに、速度・加速度決定部９４０は、運動物体の全移動量ベクトルｖ（ｉ，ｊ）に属するベクトルｖ_ｄ（ｉ，ｊ）の変化量に基づいて他車の加速度Ａ_２ｉを算出する（ステップＳ１１７０）。速度・加速度決定部９４０は、オブジェクト検出部９３０によって検出された全ての運動物体に対し、運動物体速度Ｖ_２ｉおよび移動体加速度Ａ_２ｉを算出する（ステップＳ１１７１）。

速度・加速度決定部９４０は、算出した自車速度Ｖ_１および他車速度Ｖ_２ｉに基づいて自車または他車の相対速度を求めることができる。また、速度・加速度決定部９４０は、算出した自車加速度Ａ１、他車加速度Ａ_２ｉに基づいて自車または他車の相対加速度を求めることができる。

図２０は、多重露光撮像データを用いて速度および加速度を検出するコントローラ５００の機能ブロックの他の例を示す。図示するように、オブジェクト検出部９３０が特定対象物を検知する処理の後、双方向ベクトル算出部９２０が双方向ベクトル信号を生成する処理を実行してもよい。

このように、多重露光撮像データを用いて特定対象物の速度および加速度を検出することが可能となる。これにより、例えば、車両の制動や加速などの運転制御において、制御内容を決定するための演算量を大幅に削減できることが期待される。また、使用するフレームメモリの数を削減することができる。

参考例では、特定対象物の測定間隔は、イメージセンサの読み出し速度によって律速されていた。多重露光撮像データを用いた場合には、特定対象物の測定間隔は多重露光の各露光の間隔によって規定される。その結果、測定精度を向上させることが可能となる。また、特定対象物の移動量が小さいことからも測定精度の向上が期待される。さらに、速度検知に必要な演算領域を絞り込むことが可能となり、演算量を削減することができる。

また、本説明では、ベクトルｖ_ｄ（ｉ，ｊ）の総和から全移動量ベクトルｖ（ｉ，ｊ）を運動物体の動きベクトルとして算出して速度を求めた。しかし、例えば、右左折、旋回をしている場合には、速度が著しく変化する。このような場合には、各々のベクトルｖ_ｄ（ｉ，ｊ）から速度、加速度を算出してもよい。また、算出した速度、加速度に基づいてその後の動作を予測したり、自車両または他車両の運転制御を行ってもよい。

なお、上記実施形態では、多重露光の最後の露光の感度を高くして撮像したが、これには限定されない。例えば、多重露光の最後の露光の感度を低くして撮像してもよく、多重露光の最初の露光の感度を異ならせて撮像してもよい。さらに、多重露光のうちの所定の順番の露光、例えば２番目の露光の感度を異ならせて撮像してもよい。また、感度を異ならせる露光は１つである必要はなく、複数の露光の感度を他の露光の感度と異ならせてもよい。一部の露光の感度を他の露光の感度と異ならせることにより、多重露光画像において各露光に対応する像の前後関係を認識することができる。さらに、他の露光の感度を一定に揃えることにより各露光に対応する像の明度もほぼ同じとなるため、各像の特徴点を検出し易くなる。

＜１．７．検出装置の動作の具体例５＞
図２１Ａから図２１Ｃを参照して、検出装置１の動作の具体例５を説明する。

図２１Ａは、検出装置１を搭載したドローンＤが飛行している様子を模式的に示す。図２１Ｂおよび図２１Ｃは、取得される多重露光撮像データが示す画像の一例を模式的に示す。

検出装置１は、車両のみならず飛行体にも好適に搭載され得る。検出装置１は、あらゆる移動体の速度検知装置として用いられる。以下、検出装置１をドローンＤに搭載する例を説明する。

ドローンＤは検出装置１を備える。検出装置１の撮像装置１００は、電柱に貼り付けられた測定用の専用マーカを撮像する。検出装置１は、専用マーカを含む多重露光撮像データを取得し、それを解析することにより例えば速度情報を得る。図２１Ｂ、２１Ｃは、多重露光撮像データが示す画像の一例を示す。

図７Ａに示す駆動に従って、撮像装置１００が専用マーカを撮像すると、例えば、図２１Ｂまたは図２１Ｃに示す画像が取得される。図７Ａに示す駆動によると、後に取得された像ほど、その明度は高くなる。図２１Ｂに示す画像では、右端の専用マーカ、つまりドローンＤの最後方の専用マーカの像の明度が最も明るく、最前方の専用マーカの像の明度が最も暗い。ドローンＤの前方とは、ドローンＤの正面方向を意味する。図２１Ｂに示す画像は、ドローンＤが前方に向かって飛行していることを意味する。図２１Ｃに示す画像では、左端、つまりドローンＤの最前方の専用マーカの像の明度が最も明るく、最後方の専用マーカの像の明度が最も暗い。こ図２１Ｂに示す画像は、ドローンＤが後方に向かって飛行していることを意味する。

ドローンＤの飛行は、検出された速度情報に基づいて制御されてもよい。例えば、ドローンＤは、検出装置１および人工知能（ＡＩ）を搭載することにより、無人の自律飛行が可能になる。

また、ここでは、ドローンＤを例に飛行体における進行方向検出の例を示したが、人や産業制御機器、自律ロボットなど、様々な移動体において、同様の手法における進行方向検出や速度検出が可能である。

（第２の実施形態）
本実施形態では、速度を検出するための動作例を主として説明する。

本実施形態による検出装置２は、例えば図１または図２に示されるハードウェア構成を備えることができる。よって、検出装置２のブロックの説明は省略する。

＜２．１．検出装置１の動作の具体例１＞
図２２Ａから図２５を参照して、検出装置２の動作の具体例１を説明する。

図２２Ａは、検出装置２を搭載した自車両が、道路標識Ｓを撮像しながら走行している様子を模式的に示す。図２２Ｂから図２２Ｄは、取得される多重露光撮像データの画像の一例を模式的に示す。

図２２Ａに示さるように、移動体である自車両に搭載された検出装置２は、静止体である道路標識Ｓを撮像する。検出装置２は、取得した多重露光撮像データに基づいて車両の絶対速度を検出する。撮像装置１００が、図６Ａに示される駆動に従って通常の多重露光撮像をした場合、例えば図２２Ｂに示される画像が取得される。

撮像装置１００が、図７Ａまたは図８Ａに示される駆動に従って、感度変調を行いながら多重露光撮像をした場合、例えば図２２Ｃに示される画像が取得される。撮像装置１００が、図７Ｃまたは図８Ｃに示される駆動に従って、感度変調を行いながら多重露光撮像をした場合、例えば図２２Ｄに示される画像が取得される。

本具体例において、自車両の絶対速度の検出は、通常の多重露光によって実現され得る。本具体例においては、自車両の進行方向の検出は行わないので、感度を変調して多重露光する必要はない。

図２３Ａは、検出装置２を搭載した自車両が、道路の白線を撮像しながら走行している様子を模式的に示す。図２３Ｂは、取得される画像の一例を模式的に示す。図２４Ａは、検出装置２を搭載した自車両が、電柱に貼り付けられた測定用の専用マーカを撮像しながら走行している様子を模式的に示す。図２４Ｂは、取得される多重露光撮像データが示す画像の一例を模式的に示す。

図２３Ｂおよび図２４Ｂには、撮像装置１００が、図６Ａに示される駆動に従って通常の多重露光撮像をした場合に取得される多重露光撮像データが示す画像の一例を示している。速度測定を行うための特定対象物は、大きさが規格化された路上設置物であってもよい。特定対象物は、例えば道路標識Ｓ、白線、電柱標識板または信号機であってもよい。特定対象物は、上述したような車両のナンバープレートまたはランプであってもよい。さらに、特定対象物は、大きさが規格化された専用マーカであってもよい。専用マーカとして、複数のマーカが垂直方向に並べられたマーカを用いてもよい。このような専用マーカを用いることにより、車両が前方に移動した場合にも画像における歪みが少なく、測定誤差を生じにくい。

図２５は、多重露光撮像データに基づいて絶対速度を検出し、絶対速度に基づいて車両の制動および加速を制御する処理フローの一例を示す。

絶対速度を検出するための処理フローは、図１４に示される処理フローと基本的に同じである。ただし、進行方向を検出するためのステップＳ２２０は省略される。

第１の実施形態で説明したように、ステップＳ２３０において、自車両から道路標識Ｓまでの距離ｄは、距離測定部６００によって取得されてもよく、コントローラ５００による多重露光撮像データの解析によって取得されてもよい。距離測定部６００は、例えばＴＯＦセンサである。

図２６Ａは、図２４Ａにおいて道路標識Ｓにより近い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を模式的に示す。図２６Ｂは、図２４Ａにおいて道路標識Ｓからより遠い側を走行する車両によって取得される多重露光撮像データが示す画像の一例を模式的に示す。

多重露光撮像データ中の道路標識Ｓの大きさは、車両から道路標識Ｓまでの距離ｄに応じて変化する。上述したように、特定対象物の実際の大きさは、規格で予め決まっている。距離ｄにおける多重露光撮像データ中の特定対象物の大きさｓは、規格、ならびに、撮像装置１００および光学系２００に関する各種パラメータに基づいて決定される。コントローラ５００は、道路標識Ｓの実際の大きさと、多重露光撮像データ中の道路標識Ｓの大きさとを比較した結果に基づいて、自車両から道路標識Ｓまでの距離を演算することができる。

再び図２５を参照する。

コントローラ５００は、通常の多重露光撮像によって多重露光撮像データを取得する。コントローラ５００は、例えば図２２Ｂに示される多重露光撮像データを取得し、距離ｄ、道路標識Ｓのエッジの間の間隔ｍ、および、隣接する２つの制御信号Ｖ２の間隔ｔから、車両の絶対速度を検出する（ステップＳ２４０）。

その後、検出装置２は、絶対速度を示す情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。

ＥＣＵ８００は、検出装置２から受信した絶対速度を示す情報に基づいて、車両の制動および加速を制御することができる。ＥＣＵ８００は、第１の実施形態と同様に、例えば自動運転のレベル０から４に対応する制御を行うことができる。

上述した例では、コントローラ５００は、特定対象物の特徴を検出すると、車両速度の検出を開始したが、本開示はこれに限定されない。例えば、コントローラ５００は、車両のエンジンがかかっている間は常に車両速度を検出してもよい。または、コントローラ５００は、ある一定の間隔設定される期間においてのみ車両速度を検出してもよい。例えば、コントローラ５００は、図９Ｄに示される方向検知用フレーム期間中にのみ車両速度を検出してもよい。あるいは、コントローラ５００は、高速道路への進入を起点にして車両速度を検出してもよく、ギアが変更された等の内部制御情報の変化を起点にして車両速度を検出してもよい。

検出装置２によって絶対速度を測定する場合、車両の側面に撮像装置１００を設置してもよい。これにより、測定時の誤差を抑制することができる。

＜２．２．検出装置２の動作の具体例２＞
図２７を参照して、検出装置２の動作の具体例２を説明する。

図２７は、多重露光撮像データに基づいて絶対速度および加速度を検出し、絶対速度および加速度に基づいて車両の制動および加速を制御する処理フローの一例を示す。

速度および加速度を検出するための処理フローは、図１５に示される処理フローと基本的に同じである。ただし、進行方向を検出するためのステップＳ３２０は省略される。

本具体例において、コントローラ５００は、多重露光撮像データに基づいて車両の絶対速度および加速度を演算する（ステップＳ３４０）。なお、本具体例による絶対速度および加速度は、図１５に示されるステップＳ３４０で取得される速度および加速度にそれぞれ対応する。

ＥＣＵ８００は、検出装置２から受信した、絶対速度および加速度の少なくとも１つの情報に基づいて、車両の制動および加速を制御することができる。ＥＣＵ８００は、第１の実施形態と同様に、例えば自動運転のレベル０から４に対応する制御を行うことができる。

本具体例によれば、測定された絶対速度および加速度を用いて車両の制動および加速を制御することができる。そのため、自車両の走行状態を連続的に把握することができる。その結果、より安全な制御が可能となる。

＜２．３．検出装置２の動作の具体例３＞
図２８を参照して、検出装置２の動作の具体例３を説明する。

図２８は、ＥＣＵ８００によって測定された車両速度をさらに用いて、車両の制動および加速を制御する処理フローの一例を示す。

図２８に示される処理フローは、図２７に示される処理フローと同様のステップを含む。その処理フローは、ＥＣＵ８００により測定された車両速度を、絶対速度を検出する初期値としてフィードバックするステップＳ３７０、および、ＥＣＵ８００の測定速度と比較して、コントローラ５００の検出速度を補正するステップＳ３８０の少なくとも１つをさらに含む。

ＥＣＵ８００は、検出装置２とは独立して、例えば車輪の回転数に基づいて車両速度を測定することが可能である。ＥＣＵ８００は、測定した車両速度を検出装置２のコントローラ５００に送信する。ＥＣＵ８００により測定された車両速度は、絶対速度を検出するための初期値としてコントローラ５００に、例えばＣＡＮを介してフィードバックされる。ただし、ＣＡＮとは異なる規格、または独自の規格によってもフィードバック制御は実現され得る。

コントローラ５００は、ＥＣＵ８００によって測定された速度情報に基づいて決定される初期値を用いて、多重露光撮像データに基づく速度検出を行うことができる（ステップＳ３７０）。

コントローラ５００は、ＥＣＵ８００によって測定された速度情報を用いて、多重露光撮像データに基づいて検出した車両の速度情報を補正することができる。換言すると、ＥＣＵ８００によって測定された車両速度を用いて、検出装置２を較正することが可能である（ステップＳ３８０）。コントローラ５００によって検出された絶対速度と、ＥＣＵ８００によって測定された車両速度とが比較される。車両の絶対速度は、ＥＣＵ８００によって測定された車両速度に基づいて、その比較結果に応じて補正される。なお、上述したフィードバックの制御および較正の両方が適用されてもよく、一方だけが適用されてもよい。

本具体例によれば、ＥＣＵ８００と検出装置２との密な連携により、制御における各機構間のオフセットを低減できる。さらに、速度制御におけるフィードバックを高速に実現することができる。

＜２．４．検出装置２の動作の具体例４＞
図２９から図３０Ｄを参照して、検出装置２の動作の具体例４を説明する。

図２９は、多重露光撮像データに基づいて速度を検出し、さらに進行方向を検出して制動および加速の制御を行う処理フローの一例を示す。図３０Ａ、図３０Ｂおよび図３０Ｃは、通常の多重露光により取得される多重露光撮像データが示す画像の一例を模式的に示す。

図３０Ｃには、前方を走行する車両と自車両が近いときに取得されるナンバープレートの多重露光撮像データが示す画像の一例を示している。図３０Ｄには、前方を走行する車両と自車両が遠いときに取得されるナンバープレートの画像を示している。

ステップＳ２３０において、距離測定部６００が前方を走行する車両までの距離ｄを測定してもよい。または、コントローラ５００が、例えば図３０Ｃに示される多重露光撮像データを上述した手法で解析することにより、距離ｄを測定してもよい。

本具体例による検出装置２は、通常の多重露光撮像により取得された多重露光撮像データを解析して車両の速度を取得する（ステップＳ２４０）。具体的には、コントローラ５００は、例えば図３０Ａおよび図３０Ｂに示される多重露光撮像データを取得し、距離ｄ、特定対象物のエッジの間の間隔ｍ、および、隣接する２つの制御信号Ｖ２の間隔ｔから、車両の速度を検出する。

図３０Ａには、通常の多重露光撮像による取得されるナンバープレートの像の一例を示し、図３０Ｂには、通常の多重露光撮像による取得されるブレーキランプの像の一例を示している。通常の多重露光撮像によると、対象物が車両の進行方向に重畳される。そのため、自車両が加速して前方車両までの距離が縮まっているのか、または、自車両が減速してその距離が遠のいているのかどうかを判別することはできない。

本具体例によるコントローラ５００は、車両の速度を取得した後、車両の進行方向を検出する（ステップＳ２２０）。例えば、進行方向測定部７００を用いて、車両の進行方向を示す情報を取得することが可能である。進行方向測定部は、例えばＴＯＦセンサである。取得した情報は、コントローラ５００に送信される。進行方向を検出することにより、車両の速度を取得することが可能となる。なお、速度検出用の特定対象物は、ナンバープレートおよびランプに限られず、例えば、車両に貼り付けることが可能な速度検出用マーカであってもよい。

このように、本実施形態では、撮像の対象物が静止体である場合、コントローラ５００は、自車両の絶対速度を検出することができる。静止体は、例えば道路標識Ｓである。または、撮像の対象物が他の移動体に設けられている場合、コントローラ５００は、他の移動体を基準とした自車両の相対速度を検出することができる。他の移動体は、例えば走行車両であり、撮像の対象物はナンバープレートである。

相対的な進行方向および相対速度は、自車両または測定対象の車両の制動、加速に用いることができる。一方、絶対的な進行方向および絶対速度は、自車両または測定対象の車両の制動、加速に用いることに加え、その絶対速度の値を用いて、例えば、自車両の制動モードの制御または故障検出に用いることができる。さらに、絶対的な進行方向および絶対速度は、交通規制への違反の判定などに用いることができる。

検出装置２は、感度変調による多重露光撮像を行い、図１１Ｂまたは図１２Ｂに示される多重露光撮像データを取得してもよい。検出装置２は、その多重露光撮像データを解析することにより進行方向を検出してもよい。

車両の速度を検出するための多重露光撮像データと、進行方向を検出するための多重露光撮像データとは、異なるフレームにおいて取得されてもよい。具体的には、図２９に示されるように、あるフレームで取得された多重露光撮像データに基づいて速度を検出する（ステップＳ２４０）。その後、別のフレームで取得された多重露光撮像データに基づいて進行方向を検出してもよい（ステップＳ２２０）。または、あるフレームで取得された多重露光撮像データに基づいて速度および進行方向を検出してもよい（ステップＳ２２０）。さらに、処理の順番を入れ替えて、進行方向を検出（ステップＳ２２０）した後で、速度を検出するように変更してもよい（ステップＳ２４０）。速度検出と進行方向の検出を交互に行ってもよい。処理の順序は、車両走行制御システム１０００に最適である限り、あらゆる態様で選択され得る。

検出装置２は、進行方向および速度に関する情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。ＥＣＵ８００は、検出装置２から受信した進行方向および速度に関する情報に基づいて、車両の制動および加速を制御することができる（ステップＳ２５０）。ＥＣＵ８００は、第１の実施形態と同様に、例えば自動運転のレベル０から４に対応する制御を行うことができる。

図３１は、多重露光撮像データに基づいて速度および加速度を検出し、さらに進行方向を検出して制動・加速の制御を行う処理フローの一例を示す。

図３１に示される処理フローは、図２７に示される処理ステップを含み、進行方向を検出するステップＳ３２０をさらに含む。この処理フローによると、ＥＣＵ８００は、進行方向、速度および加速度の少なくとも１つの情報に基づいて車両の制動および加速を制御することができる。自車両の走行状態を連続的に把握することができ、その結果、より安全な制御が可能となる。

上述したように、感度変調による多重露光は、車両速度の検出に必ずしも必要とされない。また、例えば、検出装置２は、多重露光撮像データ中の複数の輝度情報を用いて周辺車両の進行方向を検出する第１モードと、複数の輝度情報を用いて自車両に対する周辺車両の相対速度を算出する第２モードと、を有していてもよい。検出装置２は、第１および第２モードを所定の期間毎に交互に切替えるようにしてもよい。所定の期間は、例えば、ある一定のフレーム周期であってもよい。また、速度や加速度情報が変化した時、または制動やハンドル動作が行われた時に、第１モードと第２モードとを切り替えるようにしてもよい。

図３２は、ＥＣＵ８００によって測定される車両速度を用いて、制動・加速の制御を行う処理フローの一例を示す。

図３２に示されるように、図２８に示される速度および加速度を検出するための処理フローに、進行方向を検出するためのステップＳ３２０を付加することができる。この処理フローによると、ＥＣＵ８００は、進行方向、速度および加速度の少なくとも１つの情報に基づいて車両の制動および加速を制御することができる。ＥＣＵ８００と検出装置２との密な連携により、制御における各機構間のオフセットを低減でき、さらに、速度制御におけるフィードバックを高速に実現することができる。

＜２．５．検出装置２の動作の具体例５＞
図３３Ａから図３３Ｃを参照して、検出装置２の動作の具体例５を説明する。

車両がカーブ路に進入したとき、検出装置２は、多重露光撮像データに基づいて、カーブの内周に対する速度変化および外周に対する速度変化を演算し、内周および外周に対する速度変化に基づいて車両の進入角度を演算することができる。

図３３Ａは、車両がカーブ路に進入したときの様子を模式的に示す。図３３Ｂは、車両がカーブ路に進入したときにカーブ路の外側を撮像して取得される多重露光撮像データが示す画像の一例を模式的に示し、図３３Ｃは、カーブ路の内側を撮像して取得される多重露光撮像データが示す画像の一例を模式的に示す。

本具体例による車両走行制御システム１０００は、例えば図２５に示される処理フローに従って、車両の制動・加速および操舵を制御することができる。図３３Ａに示されるように、例えば、カーブ路の内側および外側の路肩に、車両の進入角度を測定するための専用ポールが所定の間隔で設置されているとする。専用ポールには、図２４に示されたマーカと同様の測定用の専用マーカが設置されていてもよい。

コントローラ５００は、ハンドルの制御、道路交通情報または地図情報よりカーブに車両が進入したことを検知することができる。コントローラ５００は、その検知をトリガーに車両の進入角度を測定することを開始する（ステップＳ２１０）。コントローラ５００は、具体的に、カーブ路の内周に対する速度、および、カーブ路の外周に対する速度を検出するための演算を開始する。以下、カーブ路の内周に対する速度を「内周速度」と表記し、カーブ路の外周に対する速度を「外周速度」と表記する。

例えば距離測定部６００は、自車両から内側および外側の専用ポールまでの距離ｄ＿ｉｎ、ｄ＿ｏｕｔをそれぞれ測定する。コントローラ５００は、距離測定部６００から距離ｄ＿ｉｎ、ｄ＿ｏｕｔを取得する（ステップＳ２３０）。

コントローラ５００は、内側のポールを多重露光撮像して取得される多重露光撮像データを取得する。コントローラ５００は、多重露光撮像データ中の第１および第２撮像データの専用ポールの間の間隔ｍ＿ｉｎ、第１露光期間と第２露光期間との間の間隔ｔ＿ｉｎ、および、距離ｄ＿ｉｎを用いて、自車両の内周速度を検出する。これと同様に、コントローラ５００は、外側のポールを多重露光撮像して取得される多重露光撮像データを取得する。コントローラ５００は、多重露光撮像データ中の第１および第２撮像データの専用ポールの間の間隔ｍ＿ｏｕｔ、第１露光期間と第２露光期間との間の間隔ｔ＿ｏｕｔ、および、距離ｄ＿ｏｕｔを用いて、自車両の外周速度を検出する。さらに、コントローラ５００は、自車両の外周速度および内周速度に基づいてカーブへの進入角度を演算する（ステップＳ２４０）。

検出装置２は、外周および内周速度、または、進入角度の情報を、画像送信ＩＦを介してＥＣＵ８００に送信する。ＥＣＵ８００は、検出装置２から受信したそれらの情報、および、道路交通情報、地図情報などのその他の情報に基づいて、車両の制動、加速および操舵を制御することができる（ステップＳ２５０）。

上述したように、ＥＣＵ８００で測定された車両速度の情報を、検出装置２の較正に用いてもよく、検出装置２が内周および外周速度を演算するときの初期値として設定してもよく、それらの両方を適用してもよい。さらに、車両走行制御システムにおいて一般に用いられる各種センサで得られる車両速度以外の情報を、ＥＣＵ８００からの車両速度とともにＣＡＮを介して検出装置２にフィードバックしてもよい。各種センサは、例えば操舵角センサや、ヨーレートセンサである。車両速度以外の情報は、例えば操舵角、ヨーレートあるいは加速度である。

本具体例では、車両の側面に撮像装置１００を設置してもよい。これにより、測定時の誤差を抑制することができる。

本具体例によれば、ＥＣＵ８００と検出装置２との密な連携により、制御における各機構間のオフセットを低減でき、さらに、制動、加速および操舵などの車両制御におけるフィードバックを高速に実現することができる。

＜２．６．検出装置２を用いた自己位置推定・自己経路予測の例＞
具体例１から５において、検出装置２によって検出された速度情報は、自車両の制御にのみ用いられることを説明した。本開示はこれに限らず、検出された速度情報は、例えば、正確な自己位置推定および自己経路予測に好適に用いることができる。

自己位置推定および自己経路予測には、検出装置２によって取得することが可能な速度、加速度、対象物までの距離などの情報、車両走行制御システム１０００において用いられる各種のセンサからの情報、地図情報、車両間通信データ、および、車両と静止体の間、例えば車両と道路標識の間の通信データなどが活用され得る。

自己位置推定については、例えば、道路標識などの対象物までの距離を測定し、地図情報の中における対象物の位置情報と、測定した対象物と自車との間の距離情報とを用いることで地図上での自己位置を推定できる。またその後の自己位置の推定は、対象物の位置情報、および、測定した対象物と自車との間の距離情報を基準に行ってもよいし、ある時点で推定された自己位置を基準に、その後に検出した自車の進行方向或いは速度情報を地図情報の中に反映させることで自己位置の推定を継続してもよい。さらに、他の対象物までの距離を測定し、他の対象物の位置情報と、他の対象物と自車との間の距離情報とを用いることで自己位置の推定結果に補正をかけてもよい。なお、生成された地図情報が、例えば、車室内に設けられたディスプレイ或いはユーザの携帯端末に表示されてもよい。また、他の実施の形態として、自己位置の情報と、上述の方法で測定した速度情報或いは加速度情報とを用いて、一定時間経過後の自車の運動状態を予測することができる。この予測結果と、地図情報から得られる周辺の交通情報や目的地に合わせて自車を制御することも可能である。双方の車両が相互に経路予測をできれば、クラウドサーバの活用により、複数台の車両の円滑な走行制御が可能となる。

車両の速度情報は、周りを走行する周辺車両に発信され得る。検出装置２によって検出された速度情報を周辺車両に発信することにより、車両間の相互制御も可能である。両車両を同時に制御することにより、例えば制動時間および距離などを短縮させることができる。

例えば、認識ヘッダが付加されたパルス信号を用いて車両間の通信は実現され得る。ただし、通信方式はこれに限られず、周辺車両が送信データを受信できる仕組みであれば方式を問わない。通信は単方向であっても、双方向であってもよい。また、通信方式は、例えば、時分割または波長多重であってもよい。

例えば、通信にはヘッドライト光が利用され得る。周辺への照射に影響を及ぼさない周波数でヘッドライトをパルス駆動し、他車両がヘッドライトの光をセンシングすることにより、通信が可能となる。この通信方式によれば、通信専用の新たなハードウェアなどを増設する必要がないので、システム規模、コストなどを最小限に抑えることができる。

また、自己位置推定および自己経路予測に本開示を用いる場合、１つの検出装置２を用いてもよいし、複数の検出装置２を用いてもよい。例えば、前後左右に設けた検出装置２を用いてもよい。また、撮像装置１００のみ複数設け、画像処理、演算は１チップで行ってもよい。

本実施形態による検出装置２は、第１の実施形態による検出装置１と同様に、ドローンなどの飛行体に好適に搭載され得る。

（その他）
撮像装置１００およびＩＳＰ３００を同一のチップに実装し得ることを既に説明したが、撮像装置１００、ＩＳＰ３００およびコントローラ５００を同一のチップに実装することも可能である。このようなチップを用いると、速度および加速度などの演算処理までを１チップで実現できる。近年、データ処理の高速化、低消費電力化、チップサイズの縮小およびコスト低下といったことが要求されている。こういった観点において、１チップ化した構成は最適であると言える。

本明細書では、光電変換膜を含む複数の単位画素を有する撮像装置の動作例を主として説明したが、例えば従来のシリコンＰＤを用いた撮像装置を用いて撮像することも可能である。その場合、複数の露光の間で露光の長さを変えて感度変調を行うことにより、多重露光撮像データを取得してもよい。

光電変換膜に印加するバイアス電圧を制御することによりグローバルシャッタを実現する例を説明したが、本開示はこれに限られない。例えば、構成要素は増えるものの、電荷転送トランジスタおよび電荷蓄積容量を設けることにより、バイアス電圧の制御と同様な効果が得られる。また、多重露光に関しても、電荷転送トランジスタおよび電荷蓄積容量を設けることにより、バイアス電圧の制御と同様な効果が得られる。

本明細書では、検出装置２を主に移動体に搭載して移動体の速度を検出する例を説明した。しかし、検出装置２を静止体に搭載し、静止体が移動体を撮像することによって、移動体の絶対速度を検出することも可能である。例えば、検出装置２を信号機に設置することにより、走行車両の速度違反を取り締まることができる。

走行制御システム１０００により取得された周辺車両の進行方向の検出結果は、例えば、自車両の加速および減速を制御する自動走行制御に用いることができる。または、運転操作を補助するシステムにおいて、自車両のドライバが、その検出結果に従ってブレーキとアクセルを操作することにより、自車両を加速または減速させてもよい。例えば、前方を走る車両のナンバープレートの像の大きさに基づいて前方車両との距離を検出し、その距離が所定の値よりも小さくなっていることが検出された場合、自車両のブレーキを作動させてもよい。あるいは、減速するように自車両の運転者に警告を出しても良い。また、前方車両との距離が所定の値よりも大きくなっていることが検出された場合、自車両のアクセルを作動させてもよい。あるいは、加速するように自車両の運転者に警告を出しても良い。

本開示の検出装置、検出装置、および車両走行制御システム、相対的な進行方向、相対速度、および、絶対的な進行方向、絶対速度を検出する能力が求められるあらゆる移動体または静止体に好適に利用される。

１ 検出装置、検出装置
１００ 撮像装置
１０１ 単位画素
１０２ 垂直走査回路
１０３ 水平走査回路
１０４ 電流源
１０５ ＡＤ変換回路
１０６ 画素電源
１０７ 水平信号線
１０８ 垂直信号線
１０９ 光電変換部
２００ 光学系
３００ ＩＳＰ
４００ 画像送信ＩＦ
５００ コントローラ
５１０ 出力ＩＦ
５１１ 電圧制御回路
５２０ 入力ＩＦ
５３０ プルグラムメモリ
５４０ ワーキングメモリ
５５０ マイクロコントローラ
６００ 距離測定部
７００ 進行方向測定部
８００ ＥＣＵ
１０００ 車両走行制御システム

Claims (21)

1. 移動体に設置され、第１のフレーム期間に対象物を複数回撮像して、第１の撮像データおよび第２の撮像データを含む多重露光撮像データを生成する撮像装置と、
   前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する検出装置と、
   を備え、
   前記撮像装置は、前記第１のフレーム期間内の第１露光期間に第１の感度で前記対象物を撮像して前記第１の撮像データを生成し、前記第１露光期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して前記第２の撮像データを生成する、
   運転制御システム。
2. 第１の制御装置を備え
   前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
3. 第２の制御装置を備え、
   前記第２の制御装置は、前記信号に基づいて前記移動体の運動状態を変化させる、請求項２に記載の運転制御システム。
4. 第１の制御装置を備え、
   前記対象物は、他の移動体に固定されており、
   前記第１の制御装置は、検出した前記移動体の相対的な運動状態に基づいて、前記他の移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
5. 第２の制御装置を備え、
   前記第２の制御装置は、前記信号に基づいて前記他の移動体の運動状態を変化させる、請求項４に記載の運転制御システム。
6. 前記移動体は車両である、請求項１から５のいずれか１項に記載の運転制御システム。
7. 前記対象物は地面に対して静止しており、
   前記検出装置は、前記移動体の絶対速度を検出する、請求項１から６のいずれか１項に記載の運転制御システム。
8. 前記対象物は地面に対して静止しており、
   前記検出装置は、前記第１の撮像データに基づいて前記移動体と前記対象物との距離を検出し、前記対象物の位置情報と検出された前記距離とに基づいて、前記移動体の位置情報を生成する、請求項１に記載の運転制御システム。
9. 前記第１の撮像データは、前記第１のフレーム期間内の最初の撮像により生成され、
   前記第２の撮像データは、前記第１のフレーム期間内の最後の撮像により生成される、請求項１から８のいずれか１項に記載の運転制御システム。
10. 前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第２の撮像データを除く他の撮像データは、前記第１の感度で前記対象物を撮像することにより生成される、請求項１から９のいずれか１項に記載の運転制御システム。
11. 前記多重露光撮像データに含まれる複数の撮像データのうち、少なくとも前記第１の撮像データを除く他の撮像データは、前記第２の感度で前記対象物を撮像することにより生成される、請求項１から９のいずれか１項に記載の運転制御システム。
12. 前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する、請求項１から１１のいずれか１項に記載の運転制御システム。
13. 前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対速度を検出する、請求項１から１２のいずれか１項に記載の運転制御システム。
14. 前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の加速度を検出する、請求項１から１３のいずれか１項に記載の運転制御システム。
15. 前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の進行方向を検出する第１モードと、前記対象物を基準とした前記移動体の相対速度を検出する第１モードとを、所定の期間毎に切り替える、請求項１から１４のいずれか１項に記載の運転制御システム。
16. 制御装置を備え、
    前記対象物は他の移動体に固定されており、
    前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
    前記制御装置は、前記距離が所定の値よりも小さくなっていることが検出された場合、
    前記距離が大きくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
17. 制御装置を備え、
    前記対象物は他の移動体に固定されており、
    前記検出装置は、前記第１の撮像データおよび前記第２の撮像データに基づいて、前記移動体と前記対象物との距離の変化を検出し、
    前記距離が所定の値よりも大きくなっていることが検出された場合、前記距離が小さくなるように前記移動体または前記他の移動体の運動状態を変化させるための信号を生成する、請求項１に記載の運転制御システム。
18. 前記検出装置は、前記第１の撮像データおよび前記第２の撮像データが示す前記対象物の各像の特徴点に基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出する、請求項１から１７のいずれか１項に記載の運転制御システム。
19. 前記第１の制御装置と前記第２の制御装置とは、共通の制御装置である、請求項３または請求項５に記載の運転制御システム。
20. 移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で対象物を撮像して第１の撮像データを生成し、前記第１露光期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
    前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を算出し、
    算出した前記移動体の相対的な運動状態に基づいて、前記移動体の運動状態を変化させるための信号を生成し、
    生成した前記信号に基づいて前記移動体の運動状態を変化させる、
    運転制御方法。
21. 移動体に設置された撮像装置を用いて、第１のフレーム期間内の第１露光期間に第１の感度で他の移動体に固定された対象物を撮像して第１の撮像データを生成し、前記第１露光期間とは異なる前記第１のフレーム期間内の第２露光期間に、前記第１の感度とは異なる第２の感度で前記対象物を撮像して第２の撮像データを生成することにより、前記第１の撮像データと前記第２の撮像データとを含む多重露光撮像データを生成し、
    前記多重露光撮像データに含まれる前記第１の撮像データおよび前記第２の撮像データに基づいて、前記対象物を基準とした前記移動体の相対的な運動状態を検出し、
    検出した前記移動体の相対的な運動状態に基づいて、前記他の移動体の運動状態を変化させるための信号を生成し、
    生成した前記信号に基づいて前記他の移動体の運動状態を変化させる、
    運転制御方法。

Images