JP6898873B2 - 隊列走行制御装置、隊列走行制御システム、隊列走行制御方法 - Google Patents

Description

本発明は、前を走行する車両に追従するように車両の動作を制御する隊列走行制御装置に関する。

下記特許文献１は、先行車を追従する技術を記載している。同文献は、『先行車の後部に設けられたマーカを撮影することで、先行車との車間距離及び姿勢角を検出する。』ことを課題として、『自車１００の前方を走行する先行車２００の後部にマーカ２０を設け、自車１００のカメラで撮影する。マーカ２０は、水平方向及び鉛直方向に配置された４個のマーカ要素から構成され、得られた画像の水平方向配置及び鉛直方向配置から車間距離及びヨー角などの姿勢角を検出する。マーカ要素は、同一鉛直線上に配置しないことにより、ＣＣＤカメラのスミアの影響をなくすことができる。マーカ要素を４個配置することで、そのうちの１個が検出不可となっても車間距離及び姿勢角を検出することができる。』という技術を開示している（要約参照）。

下記特許文献２は、隊列走行装置について記載している。同文献は、『隊列走行を行う場合、専用の通信システムやレーザ、超音波を用いて前方を走行する車両との距離や方位を計測するため、装置構成が複雑で高価となる。』ことを課題として、『前方を走行する前方車両に追随して隊列走行を行う後方車両に搭載される隊列走行装置であって、前方車両の後部ナンバープレートを撮像する撮像部と、撮像部が撮像した画像から前記後部ナンバープレートを認識し、ナンバープレートの文字等を取得するナンバー認識部と、後部ナンバープレートの画像中の位置と文字等の大きさに基づいて前方車両が走行する方位と距離を算出する方位、距離演算部と、方位と距離に基づき後方車両が前方車両を追随するように後方車両の走行動作を制御する制御部からなる。』という技術を開示している（要約参照）。

特開２００１−２０２４９７号公報 特開２０１５−０８７９６９号公報

特許文献１においては、発光するマーカを先行車の後方に複数取り付ける必要があり、そのためのコストが掛かる。またマーカを取り付けた先行車を追従することが前提になっているので、隊列走行することができる車両は限定される。

特許文献２においては、天候と時間帯によって環境条件が変わると、カメラが撮影したナンバープレートの画像が明る過ぎたり暗過ぎたりして、ナンバープレートの形状を正確に検出できなくなり、それにより隊列走行ができなくなる恐れがある。

本発明は、上記のような課題に鑑みてなされたものであり、環境条件が変化することによりカメラが撮像する画像が変化しても、先行車を追従することができる隊列走行制御装置を提供することを目的とする。

本発明に係る隊列走行制御装置は、撮像部の露光条件を変更しながら画像データを複数回取得し、その複数回取得した画像データを用いて、先行車を追従する。

本発明に係る隊列走行制御装置によれば、天候や時間帯によって環境条件が変化したとしても、先行車が搭載しているマーカを精度よく検出することができる。これにより、環境条件によらず先行車を追従することができる、

実施形態１に係る隊列走行制御装置１００の構成図である。 隊列走行制御装置１００が先行車のマーカを検出する手順を説明するフローチャートである。 先行車に取り付ける専用マーカの濃淡パターンを示す１例である。 撮像部１１１の撮像センサ上の画素アレイを例示する図である。 図２のフローチャートの後に露光条件を変更する手順を説明するフローチャートである。 露光条件ごとのヒストグラム例である。 隊列走行時における先行車と後続車の挙動を例示するグラフである。 波長選択性のエッジ画像を生成する方法を示す図である。

＜実施の形態１：隊列走行について＞
本発明に係る隊列走行制御装置は、車両に取り付けられ、自動的に先行車を追従するように車両を制御することにより隊列走行を実現するものである。隊列走行は、２台以上の自動車が連結されたかのように、先頭の先行車を２台目以降の後続車が追従走行することを指す。本発明の隊列走行制御装置を取り付けられた後続車は、隊列走行の間は運転手の操作無しで先行車を自動追従する。以降の説明では２台の隊列走行を例として説明するが、３台以上の隊列走行であっても、２台目以降の後続車は一台前の車両を先行車として自動追従することにより、隊列走行することができる。

本発明に係る隊列走行制御装置は、カメラを内蔵して先行車を撮影することにより、先行車との間の相対距離／相対ヨー角度／相対ピッチ角度を検出する。隊列走行制御装置は、相対距離を一定に保つように、後続車のアクセルとブレーキを制御する。例えば相対距離１ｍで先行車に後続車が追従する場合、後続車は相対距離１ｍよりも遠くなると加速し、近くなると減速する。

隊列走行制御装置は、相対ヨー角度に基づき先行車の旋回角度を割り出し、同じ進行路を維持するように、後続車のステアリングを制御する。例えば、相対ヨー角度が生じた場合は、先行車が後続車とは異なる方向に旋回しているので、後続車は、車間距離と自速度と先行車の大きさにしたがって、旋回開始の遅延を加味した上で、相対ヨー角度を維持するようにステアリングを制御する。

相対ピッチ角が検出された場合は、路面凹凸や坂があることが想定される。隊列走行制御装置はこの場合、例えば短時間に相対ピッチ角度が変化する場合は、減速して衝撃を和らげる。カメラが撮影した画像の複数フレームの間、連続して相対ピッチ角度が一定となった場合は、先行車が坂に進入したことが想定される。隊列走行制御装置はこの場合、例えば下り坂方向の相対ピッチ角度であれば減速または減速準備する。減速準備としては、ブレーキの与圧を与えることにより、減速開始されるまでのタイムラグを軽減させることが考えられる。

本発明に係る隊列走行制御装置は、先行車と通信する車車間通信部を備える。車車間通信部は、先行車内部における制御内容を受信し、あるいは先行車から後続車に対する制御命令を受信することができる。隊列走行制御装置は、先行車内部における制御内容と同じ内容で、車間距離と先行車の車両長を加味して制御タイミングを遅延させた上で、後続車を制御してもよい。これにより先行車を追従できる。ただし、風圧や車両の挙動の違いなどの影響により、同じ制御を実施しても完全には追従できない。そこで本発明に係る隊列走行制御装置は、先行車内部における制御内容／後続車に対する制御命令／相対距離／相対ヨー角／相対ピッチ角を用いて、先行車を追従するように後続車を制御する。

＜実施の形態１：装置構成＞
図１は、本発明の実施形態１に係る隊列走行制御装置１００の構成図である。隊列走行制御装置１００は、車両に搭載され、当該車両を隊列走行させるように制御する装置である。隊列走行制御装置１００は、カメラ筐体１１０、ＥＣＵ筐体１２０、通信筐体１３０、アンテナ１４０を備える。カメラ筐体１１０／ＥＣＵ筐体１２０／通信筐体１３０／アンテナ１４０の全てまたは一部を同じ筐体にまとめてもよいし、複数の筐体に分割してもよい。

カメラ筐体１１０は、撮像部１１１を備える。撮像部１１１は、撮像センサ（例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））、光学レンズ、撮像センサ制御ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を備える。撮像部１１１は、先行車両の後方に取り付けられているマーカを撮影し、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）やＲＣ（Ｒｅｄ Ｃｌｅａｒ）などのカラー画像データ、または輝度のデジタル値によって表現されるモノクロ画像データに変換する。

撮像センサは、グローバルシャッタまたはローリングシャッタなどの電子シャッタを備え、露光時間を任意の時間に設定して撮影することができる。露光時間とは、受光すると電荷が蓄積されるフォトダイオードの蓄積電荷をリセットしてから、輝度情報を読み出すために電荷を取り出すまでの時間を指す。露光時間を長くすると電荷が多く蓄積されるので、読み出される輝度が高くなる。露光時間を短くすると蓄えられる電荷が少なくなるので、読み出される輝度が低くなる。すなわち、露光時間に相関して、撮像センサから得られる画像の明るさが変化する。

撮像センサは、フォトダイオードから取り出される電荷量を電圧に変換し、さらにＡ／Ｄ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換によりデジタル値にする。Ａ／Ｄ変換時における増幅器のゲイン設定に応じて、読み出される輝度が変化する。ゲインを高くすれば輝度は高くなり、ゲインを低くすれば輝度は低くなる。

露光時間やゲインに起因して読み出す輝度が低くなると、その輝度値はデジタル値により表現するので、例えば暗い対象物やコントラスト比が低い対象物の輝度値が０になったり、複数画素間の輝度差である階調が乏しく複数画素の輝度値が同値になったりする場合がある。この場合、撮影した対象物の輪郭や対象物の濃淡が画像データ上で判別できない可能性がある。一方で輝度が高くなると、その輝度値はデジタル値により表現するので、明るい対象物の輝度値が最大値となり、対象物の輪郭や対象物の濃淡が判別できなくなる可能性がある。したがって、撮影する対象物の明るさに応じて露光時間やゲインを設定する必要がある。以降では露光時間とゲインの設定を露光条件と呼ぶ。

カメラ筐体１１０は、時系列的に繰り返し電子シャッタを切り、シャッタを切る毎の画像データを出力することにより、動画を撮影する。電子シャッタを切り画像データを出力する単位時間あたりの回数をフレームレートと呼び、１秒あたりのフレームレートをＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）の単位で表す。

カメラ筐体１１０は、撮像センサの２次元に配列された画素のうち任意の行列範囲を選択して撮像することができる。撮像センサから各画素の輝度値を取り出し、制御ＩＣを介して画像データを出力するためには、輝度値を取り出す経路の通信速度帯域に応じた時間がかかり、画素数が多ければ多いほど時間が長くなる。撮像する画素範囲を狭く設定すると転送時間が短くなり、フレームレートを高くすることができる。

ＥＣＵ筐体１２０は、撮像制御部１２１、車両制御部１２２、車車間通信部１２３、領域検出部１２４、形状検出部１２５を備える。

撮像制御部１２１は撮像部１１１と接続され、撮像部１１１からの画像データを受信し、撮像部１１１の露光時間／ゲイン／受信する画素範囲などを調整する。

車両制御部１２２は、撮像制御部１２１、車車間通信部１２３、形状検出部１２５、車両に接続され、車両の動作を制御する。車体制御部１１３は、先行車の送信した先行車の制御情報や後続車に対する制御指令を車車間通信部１２３から取得し、先行車との間の相対距離／相対ヨー角度／相対ピッチ角度を形状検出部１２５から取得する。車両制御部１２２は、取得したこれら情報を用いて、先行車に追従するように車両を制御する。

先行車の制御情報は、先行車の加減速制御や旋回舵角制御の指令を含む。隊列走行においては、風圧などの外環境や車両自体の条件が車両間で共通していれば、先行車と同一の制御を所定遅延時間後に後続車が実施することにより、後続車は先行車を追従することができる。実際には、同じ制御によって同じ挙動をする車両とは限らないので、相対距離や相対ヨー角度に応じて後続車の制御を補正することにより、先行車を追従し続けられるようにする。

車両制御部１２２は、車間距離があらかじめ定められた値になるように、車両を制御する。例えば、先行車と同じ制御を実施しても車間距離が徐々に離れていく場合は、車両を現在速度よりも加速する。

車車間通信部１２３は、先行車内における制御命令として、例えば隊列走行が維持できない緊急時に先行車を停止させる制御命令を受け取る場合がある。停車のため必要な減速制御が、先行車にとっては十分停止できるものであったとしても、後続車が停止するには不十分な場合がある。したがって車両制御部１２２は、車車間通信部１２３を介して、先行車から後続車に対する制御命令として緊急停止命令を受け取り、先行車内部における制御命令から独立して、後続車を充分に急停止できるように制御する。

領域検出部１２４は、撮像制御部１２１が撮像部１１１から受信した画像データのなかから、先行車のマーカが存在している領域を検出する。検出するマーカ領域は、マーカの中心座標と幅と高さを画像データ内の座標によって特定するものである。例えばマーカの左上と右下のＸＹ座標である。領域検出部１２４は、画像データの濃淡に基づきマーカを認識する。例えばハフ変換により画像データ内の直線成分を抽出することによりマーカらしい矩形形状を検知し、検知した矩形内の輝度画像やエッジ画像に対してテンプレートマッチングを実施することにより、その矩形がマーカであるか否かを識別する。

領域検出部１２４は、以下の手順によりテンプレートマッチングを実施する。まずあらかじめ定められた画像変換方式により対象画像から特徴量を抽出し、同様にあらかじめ定められた特徴量のひな型であるテンプレートと抽出した特徴量を比較し、特徴量間の距離などにしたがって、対象画像とテンプレートとの間の類似度を求める。類似度が所定閾値以上であれば、その対象画像はマーカであると判定する。

形状検出部１２５は、領域検出部１２４が検出したマーカ領域において、マーカ形状を検出する。形状検出部１２５は、あらかじめ定められているマーカのサイズや形状にしたがって、先行車と自車との間の相対距離／相対ヨー角／相対ピッチ角を計算する。マーカとしては、ナンバープレートまたは専用マーカを用いることができる。

マーカとしてナンバープレートを用いる場合は、走行する地域のナンバープレートのサイズや形状を、あらかじめ形状検出部１２５が保持しておく。走行する地域内に異なる種類のナンバープレートが存在する場合は、種類ごとのマーカを識別できるように、領域検出部１２４と形状検出部１２５はその種類に対応したテンプレートや機械学習辞書をあらかじめ保持しておく。識別するために用いる特徴は、濃淡だけではなく、色や文字を用いてもよい。地域を特定するために、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いてもよい。マーカとして専用マーカを用いる場合は、先行車に取り付けられたマーカのサイズや形状と特徴量をあらかじめ領域検出部１２４と形状検出部１２５が保持しておく。

通信筐体１３０は、無線通信部１３１を備える。無線通信部１３１は、アンテナ１４０と車車間通信部１２３に接続されている。無線通信部１３１はアンテナ１４０を介して、電波や光通信を用いて先行車と無線通信する。無線通信部１３１は、先行車から受け取った情報を車車間通信部１２３へ出力し、車車間通信部１２３から先行車に対して送信する情報をアンテナ１４０経由で先行車に対して出力する。

図２は、隊列走行制御装置１００が先行車のマーカを検出する手順を説明するフローチャートである。隊列走行制御装置１００は、本フローチャートにしたがってマーカを検出することができた露光条件と撮像範囲を用いて、隊列走行を実施する。すなわちその露光条件と撮像範囲を用いて、隊列走行時における先行車のマーカを撮像する。以下図２の各ステップについて説明する。

（図２：ステップＳ２００）
撮像制御部１２１は、撮像部１１１の撮像センサの露光時間とゲインを設定する。本ステップを最初に実施する際には、あらかじめ定められた初期値を設定する。ステップＳ２０９を経た２回目以降においては、初期値とは異なる値を設定する。例えば、撮像制御部１２１は露光時間とゲインの組み合わせをリストしたテーブルをあらかじめ備えておき、その組み合わせを順番に用いることができる。

（図２：ステップＳ２００：補足その１）
露光時間は、時間帯／ヘッドライトの状態／ワイパ作動状態／ＧＰＳ情報などに応じて切り替えてもよい。例えば撮像箇所の光量が乏しいと想定される条件（例：夜間）においては、露光時間を長めにセットするとともにゲインを高めにセットし、光量が充分だと想定される条件においては、露光時間を短めにセットするとともにゲインを低めにセットする。

（図２：ステップＳ２００：補足その２）
撮影した画像の画素値に応じて、露光時間とゲインを設定してもよい。例えば、１回目に撮像した画像が全体的に明るめであれば、露光時間を短めにセットするとともにゲインを低めにセットし、画像が全体的に暗めであれば、露光時間を長めにするとともにゲインを低めにセットする。補足その１で述べたテーブルの組み合わせパラメータの１つとして画像の明るさを用いてもよい。

（図２：ステップＳ２０１）
撮像制御部１２１は、撮像部１１１の撮像センサの撮像範囲を設定する。撮像範囲は、撮像センサの有効画素の範囲であり、例えば長方形の左上と右下のＸＹ座標によって指定することができる。撮像制御部１２１はさらに、撮像範囲内の有効画素をどのように間引くのかについても設定する。具体例については図４で説明する。撮像制御部１２１は、本ステップを最初に実施する際にはあらかじめ定められた撮像範囲の初期値をセットし、ステップＳ２０８を経た２回目以降においてはこれまでとは異なる撮像範囲をセットする。このとき、撮像範囲間で一部の画素が重複してもよい。

（図２：ステップＳ２０２）
撮像部１１１は、ステップＳ２０１〜Ｓ２０２においてセットされた条件にしたがって画像を撮像する。撮像制御部１２１は、その画像データを撮像部１１１から取得する。

（図２：ステップＳ２０３）
撮像制御部１２１は、取得した画像データのうち一部または全部の画素を、マーカを探索する箇所として切り出す。本ステップを実施するごとに、切り出す範囲を任意個数の画素ずつずらす。切り出す画素範囲の縦横比としては、例えばマーカ形状の縦横比と同じものとする。撮像制御部１２１はさらに、本ステップを実施するごとに、切り出す画素のサイズを規定の最小値から最大値まで変化させてもよい。切り出す画素のサイズは、例えば既定サイズに対する倍率によって表すことができる。以下ではこの倍率のことを探索倍率と呼ぶ。

（図２：ステップＳ２０４）
撮像制御部１２１は、ステップＳ２０３において切り出した画像がマーカであるか否かを識別する。例えばマーカの特徴量をあらかじめ保持しておき、そのマーカ特徴量と画像の特徴量を比較することにより、マーカであるか否かを識別する。

（図２：ステップＳ２０４：補足）
本ステップにおいて用いる特徴量としては、例えば輝度画像のＨａａｒ ｌｉｋｅ特徴量を用いることができる。マーカのＨａａｒ ｌｉｋｅ特徴量をあらかじめ機械学習により学習し、マーカではない画像とマーカ画像を識別できるようにしておく。撮像した画像を学習済みの学習器に対して投入することにより、その画像がマーカであるか否かを識別することができる。本ステップにおいて用いる特徴量はＨａａｒ ｌｉｋｅに限るものではなく、異なるものであってもよい。例えば、撮像部１１１が撮像する画像にとって、ＩＣＦ（Ｉｎｆｏｒｍｅｄ Ｃｈａｎｎｅｌ Ｆｅａｔｕｒｅ）の識別率がより高いのであれば、ＩＣＦを用いてもよい。機械学習に用いる学習アルゴリズムとしては、例えばｒｅａｌ ａｄａｂｏｏｓｔを用いることができる。学習アルゴリズムはこれに限るものではなく、例えば離散ａｄａｂｏｏｓｔを用いてもよい。これにより、特徴量の辞書テーブルの容量を小さくすることができる。

（図２：ステップＳ２０５）
ステップＳ２０４において画像がマーカであると識別された場合は、本フローチャートを終了する。撮像制御部１２１（および撮像部１１１）は、以上の処理によって定めた撮像条件を用いて、隊列走行時における先行車のマーカを撮像する。ステップＳ２０４において画像がマーカではないと識別された場合は、ステップＳ２０６へ進む。

（図２：ステップＳ２０６）
撮像制御部１２１は、ステップＳ２０２において取得した画像内に、探索箇所としてステップＳ２０３によって切り出していない箇所があるか否かを判断する。探索箇所として切り出していない箇所がある場合はステップＳ２０３へ戻り、切り出す画素サイズを変えずに別の箇所を切り出す。全ての箇所を切り出し済みである場合はステップＳ２０７へ進む。

（図２：ステップＳ２０７）
撮像制御部１２１は、ステップＳ２０２において取得した画像内に、ステップＳ２０３によって用いられていない探索倍率があるか否かを判断する。探索倍率として用いられていない倍率がある場合はステップＳ２０３へ戻り、マーカ検出処理を開始してから切り出されていない探索倍率で画像を切り出す。全ての探索倍率を使用済である場合はステップＳ２０８へ進む。

（図２：ステップＳ２０８）
撮像制御部１２１は、取得した画像データのうちステップＳ２０１において指定されていない撮像範囲が残っているか否かを判断する。残りの撮像範囲がある場合はステップＳ２０１へ戻り、その残りの撮像範囲を指定する。残っている撮像範囲がない場合はステップＳ２０９へ進む。

（図２：ステップＳ２０９）
撮像制御部１２１は、ステップＳ２００において指定していない残りの露光条件があるか否かを判断する。残りの露光条件がある場合はステップＳ２００に戻り、その残りの露光条件を指定する。残っている露光条件がない場合は本フローチャートを終了する。

図３は、先行車に取り付ける専用マーカの濃淡パターンを示す１例である。専用マーカは、撮像部１１１が撮像した画像に基づき、先行車と後続車との間の相対距離／相対ヨー角／相対ピッチ角を検出することができる形状や模様を有する。図３においては、正方形のなかに円と文字を含むパターンを例示した。他の形状や模様と区別することができればその他の形状や模様を用いることもできる。

専用マーカの色は、濃淡やエッジが画像上ではっきり表せるように、例えば白黒などの画像上の輝度差が大きいものが望ましい。専用マーカの外周部分（図３においては正方形部分）は、取り付けられる車体の色との間でコントラストが大きい色を選択することが望ましい。例えば、白い車体の先行車には濃色（例えば黒色）の線を用いる。

専用マーカの素材としては、光が反射して黒色が白色に見えるような素材は避け、光をあまり反射しないものを用いることが望ましい。先行車の車体の多くは光を反射し易いので、黒い車体の先行車であれば外周線を白色とすると、車体と外周線のエッジを区別しにくくなり、マーカを検出することが難しくなる。そこで、先行車の車体が濃色である場合は、外周線の色として、比較的濃い有色のものを選択することが望ましい。

先行車の車体色が彩度の高い色（例えば赤／青／黄色／緑）である場合は、外周線として車体とは異なる波長の色を用いることが望ましい。この場合は、画像の色差（光の波長差）を特徴量としてマーカを検出すればよい。

撮像部１１１の撮像センサが、ＲＧＢの全色の画素を備えておらず（例えばＲＣＣＣの場合）、かつ先行車の車体色の彩度が高い場合は、外周線の色としてセンサ画素上で見分けられる色を選択する。例えば画素色がＲＣＣＣの場合は、赤とそれ以外の波長の色を区別できるが、その他の色組み合わせを区別できない。そこでこの場合は、赤以外の車体色については外周線として赤を用い、赤い車体については外周線として赤以外を用いる。

図４は、撮像部１１１の撮像センサ上の画素アレイを例示する図である。撮像制御部１２１は、図４のような画素アレイのうちいずれを有効にするかを設定することにより、撮像範囲を指定することができる。撮像制御部１２１は、有効な画素からのみ画像データを取得する。図４は、５行目から１３行目の奇数行の画素を有効とした例を示す。画素数に比例して画像データ容量が増えるので、広い領域の画素を有効にする場合は、図４のように１行おきまたは１列おきに間引いたり、任意パターンで間引いたり、数行に１行のみ有効にしたりして、有効な画素数を抑制しつつ一定の画素数を維持する。これにより、撮像範囲を確保しつつ画像データ容量を抑えることができる。画像データ容量を抑えることにより、撮像部１１１から撮像制御部１２１までの転送経路の通信帯域範囲内で一定のフレームレートを維持できる。また、画像データ容量を抑えることにより、撮像制御部１２１や領域検出部１２４や形状検出部１２５の画像処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の処理性能の範囲内で一定のフレームレートを維持できる。

図５は、図２のフローチャートの後に露光条件を変更する手順を説明するフローチャートである。隊列走行制御装置１００は、図２のフローチャートにしたがって設定した露光条件を用いて隊列走行を実施するが、例えば撮像環境や先行車と後続車との間の相対位置が変化するのに応じて、露光条件を変更してもよい。その他、マーカを見失ったとき、露光条件を変更して再検出を試みてもよい。図５はそのための手順を説明するものである。隊列走行制御装置１００は、図２のフローチャートを実施した後、隊列走行開始後などの適当なタイミングで、本フローチャートを例えば所定周期ごとに実施する。以下図５の各ステップについて説明する。

（図５：ステップＳ５００）
撮像制御部１２１は、撮像部１１１の撮像センサの露光時間とゲインを設定する。本ステップを最初に実施する際には、例えば図２のフローチャートによってセットされた露光条件に対して、あらかじめ定められたオフセットを加えた範囲内の露光条件を設定する。ステップＳ５０４を経た２回目以降においては、１回目とは異なる露光条件を設定する。例えば図２のフローチャートによって定めた露光時間が１０ｍｓであり、規定のオフセット値が±５ｍｓであるものとする。この場合、本ステップを最初に実施する際には５ｍｓをセットし、２回目以降は１ｍｓずつ露光時間を増やして６ｍｓ、７ｍｓとし、最終的には１５ｍｓを設定する。

（図５：ステップＳ５０１〜Ｓ５０２）
撮像部１１１は、ステップＳ５００においてセットされた条件にしたがって画像を撮像し、撮像制御部１２１は、その画像データを撮像部１１１から取得する（Ｓ５０１）。撮像制御部１２１は、図２のフローチャートにより検出したマーカ位置の画像を切り出す（Ｓ５０２）。切り出す範囲は、マーカの外形に対して多少余白を持たせる。

（図５：ステップＳ５０３）
撮像制御部１２１は、ステップＳ５０２において切り出した各画素の輝度値のヒストグラムを作成する。ヒストグラムの例については図６を用いて説明する。

（図５：ステップＳ５０４）
撮像制御部１２１は、ステップＳ５００において指定していない残りの露光条件があるか否かを判断する。残りの露光条件がある場合はステップＳ５００に戻り、その残りの露光条件を指定する。残っている露光条件がない場合はステップＳ５０５へ進む。

（図５：ステップＳ５０５）
撮像制御部１２１は、ステップＳ５０３において作成したヒストグラムのなかから、後述のヒストグラム基準に合致するものを選択する。撮像制御部１２１は、その選択したヒストグラムに対応する露光条件を、以後の隊列走行時に用いる露光条件として決定する。

図６は、露光条件ごとのヒストグラム例である。ステップＳ５０５においては、以下の基準を満たすヒストグラムを選択する：（ａ）ヒストグラムのピークが２つある；（ｂ）２つのピークいずれも所定頻度以上である；（ｃ）２つのピークが略同頻度である；（ｄ）２つのピークが互いから離れている；（ｅ）ヒストグラムの両端がピーク値ではない。

露光条件１は、頻度が３０以上のピークが２つあるので基準（ａ）（ｂ）に合致する。露光条件１〜３を比較すると、露光条件３が最もピーク間の距離が離れているので、基準（ｄ）に最も適合する。露光条件４は、ピークが輝度３０付近と２５０付近に２か所あるが、一方の頻度は３００を超えるのに対して他方の頻度は５０程度であり、頻度に６倍の差があるので基準（ｃ）を満たさない。露光条件５は、露光時間が長過ぎ、ゲインも高過ぎる状態であり、輝度が最大値のものが多数を占めている。したがって露光条件５においては画像の白飛び状態が発生し、隊列走行の露光条件には適さない。具体的には基準（ａ）と（ｅ）を満たさない。

以上の検討によれば、基準（ａ）〜（ｄ）に最も適合するのは、露光条件３である。したがって撮像制御部１２１は、ステップＳ５０５において、以後の隊列走行時に用いる露光条件として露光条件３を用いることを決定する。ヒストグラムの評価基準については、例えば基準（ａ）〜（ｄ）ごとに重み付けした評価式を用いるなど、適当な手法により定めることができる。

図７は、隊列走行時における先行車と後続車の挙動を例示するグラフである。図７上図は、進行路が直線＝＞カーブ＝＞直線の順に変化する場合における、先行車と後続車の進行角度を示す。ここでいう進行角度は、車両の旋回方向のことである。グラフの左端において先行車と後続車ともに直線走行しているので、旋回角度は一定値Ａである。時刻Ｔ１において先行車の旋回が始まり、進行角度がＡからＢに変化し始める。先行車は、時刻Ｔ２において進行角度がＢになる。後続車は、時刻Ｔ３から旋回が始まり、進行角度がＡからＢに変化し始める。後続車は、時刻Ｔ４において進行角度がＢになる。

図７下図は、先行車と後続車との間の相対ヨー角を示すグラフである。先行車と先行車は旋回開始のタイミングが違うので、先行車の旋回が始まってから後続車の旋回が終わるまでの間は、相対ヨー角度が発生する。グラフに示すように、後続車の旋回終了時に相対ヨー角度が０度になる場合は、正しく隊列走行できているといえる。旋回終了時に相対ヨー角度が０度にならない場合は、形状検出部１２５が検出したマーカ形状に基づき、車両制御部１２２はその相対ヨー角度が０度になるように後続車を制御する。

＜実施の形態１：まとめ＞
本実施形態１に係る隊列走行制御装置１００は、図２で説明したフローチャートにしたがって、露光条件と撮像範囲を変更しながら車両の前方の画像を複数回取得し、その画像データからマーカを識別する。隊列走行制御装置１００は、マーカを識別することができた露光条件と撮像範囲を用いて、隊列走行を実施する。これにより、環境条件によらずマーカを正確に識別し、隊列走行を確実に実施することができる。

隊列走行実施中に車間距離を短くしようとすると、画像データを取得するサンプリング周期も短くする必要がある。サンプリング周期を短くすると、マーカ画像の時間単位の形状変化量が小さくなるので、マーカ画像の解像度を高くする必要がある。そうすると、高解像度な画像を短いサンプリング周期で取得することになるので、画像データの転送経路の通信帯域を充分に確保する必要があり、撮像部１１１や撮像制御部１２１のコストが増加してしまう。撮像範囲を限定しながらマーカ画像を取得することにより、解像度を維持しつつ短いサンプリング周期でマーカ画像を撮像することができる。

本実施形態１に係る隊列走行制御装置１００は、図２のフローチャートを実施した後においても、図５のフローチャートにしたがって、露光条件を変更しながら車両の前方の画像を複数回取得し、その画像データからマーカを識別する。隊列走行制御装置１００は、マーカを識別することができた露光条件を用いて、隊列走行を実施する。これにより、隊列走行開始後に環境条件が変化したとしても、マーカを正確に識別し、隊列走行を確実に実施することができる。

＜実施の形態２＞
本発明の実施形態２では、形状検出部１２５がマーカ形状を検出する具体的手法について説明する。その他の構成は実施形態１と同様であるので、以下では主に形状検出手法について説明する。本実施形態２において、先行車の後部に張り付けるマーカは、先行車後部のボディ色と異なる波長の色を外周線として用いるものとする。

領域検出部１２４は、波長選択性のエッジ画像を用いたハフ変換を用いてマーカ外形の矩形を見つけることにより、画像データのうちマーカが存在する領域を特定する。波長選択性のエッジ画像とは、あらかじめ設定されたボディ色とマーカ外形色のそれぞれによって輝度値をフィルタリングし、その輝度値の差分にしたがって、エッジ強度とエッジ角度を算出したものである。

図８は、波長選択性のエッジ画像を生成する方法を示す図である。８０１はＸ方向のソベルカーネル、８０２はＹ方向のソベルカーネルである。８０３はＸ方向の差分、８０４はＹ方向の差分である。Ｙ_Ｂは、先行車のボディ色によってフィルタリングした輝度値である。Ｙ_Ｍは、マーカの外形色によってフィルタリングした輝度値である。Ｘ方向の差分は、ボディ色でフィルタリングした輝度値に対してＸ方向のソベルカーネルを掛けたものと、マーカの外形色でフィルタリングした輝度値に対してＸ方向のソベルカーネルを掛けたものとの間の差分である。Ｙ方向の差分は、ボディ色でフィルタリングした輝度値に対してＹ方向のソベルカーネルを掛けたものと、マーカの外形色でフィルタリングした輝度値に対してＹ方向のソベルカーネルを掛けたものとの間の差分である。８０５は波長選択性のエッジ画像のエッジ強度の算出式である。８０６は波長選択性のエッジ画像のエッジ角度の算出式である。

波長選択性のエッジ画像用いることにより、先行車のマーカ以外のマーカ形状を検知しにくくなるので、より確実に先行車のマーカを検出することができる。マーカの外形色として、先行車後部のボディ色と異なる色を用いることとしたが、マーカを照らす照明としてその異なる色を用いてもよい。これにより夜間におけるマーカ検知を確実にすることができる。

＜実施の形態３＞
本発明の実施形態３では、以上の実施形態における各要素の変形例または具体例について説明する。その他の構成は以上の実施形態と同様である。

図２と図５のフローチャートは、マーカの位置や最適な露光条件が分からなくなる、または変化するタイミングで実施することができる。例えば、（ａ）後続車がイグニッションオンしたタイミング、（ｂ）後続車を先行車の後方に配置して隊列走行を開始しようとするタイミング、（ｃ）トンネルに突入したタイミング、（ｄ）日没や日の出等の環境光が大きく変わる時刻、（ｅ）センサ全体の平均露出力が大きく変わったタイミング、（ｆ）後続車または先行車のヘッドライトの消灯・点灯・上向き下向きの切り替えのタイミング、（ｇ）停車したタイミング、（ｈ）自車進行路上の赤信号を検出したタイミング、（ｉ）先行車の運転者が操作したタイミング、などが考えられる。マーカを見失ったとき以外にも、マーカを見失いやすい、または最適な露光条件が変化しやすいタイミングで改めて各フローチャートを実施することにより、未然にマーカを見失うことを防ぎ、隊列走行を維持しやすくなる。

ステップＳ２００においては、撮像センサのレンズ中心付近の露出量に応じて、露光条件を設定する。レンズ中心付近の露出量を、撮像センサの当該領域の輝度値から推定し、露出量が大きい場合は撮像センサの露光時間を短めにしたりゲインを低めに設定し、露出量が小さい場合は撮像センサの露光時間を長めにしたりゲインを高めに設定する。これにより、マーカが最も存在する可能性の高いレンズ中心付近の露出量に応じた露光条件を設定することができる。したがって、図２のループ回数を減らし、調整時間を短縮することができる。

自車のステアリングの舵角やヨーレートがわかる場合は、レンズ中心付近に代えて、舵角やヨーレートに応じてレンズ中心付近から左右にずらした領域の露出量に応じて露光時間を設定してもよい。例えば、舵角を右に切っている場合は、先行車に自車を向けている可能性が高いので、レンズ中心から右側にずらした領域付近の露出量に応じて露光時間やゲインを設定する。さらに、舵角やヨーレートに応じて、基準領域の幅を変更させてもよい。例えば舵角やヨーレートが大きく旋回する場合は、先行車のマーカ位置が左右にずれる可能性が高いので、基準領域を広めにセットし、その基準領域の露出量に応じて露光条件を設定する。これにより、最適な露光条件に近づける時間を短縮することができる。

ステップＳ２０３においては、レンズ中心の位置に近いところから順番に切り出す。自車の舵角やヨーレートに応じて、切り出し開始位置を左右にずらしてもよい。例えば自車の舵角やヨーレートが右に旋回している場合は、レンズ中心から右にずらしたところから順番に切り出す。これにより、先行車のマーカが有りそうな付近から切り出すことになるので、調整時間を短縮することができる。

マーカを見失って再調整する際にステップＳ２０３を実施する場合は、最後にマーカを認識していた位置から切り出してもよい。マーカを見失った際、高フレームレートで撮影しているので、大きくマーカが移動する可能性は低い。偶然にカメラの視界が遮られたり、日光が差し込んだなどの外乱によりマーカを一時的に見失ったりした場合は、最後にマーカを認識した位置付近でマーカを再認識できる可能性が高い。これにより、調整時間を短くすることができる。

マーカを見失った後に再度マーカを認識する際には、最後にマーカを認識した位置付近を探索する。探索する領域の幅は、自車や先行車のヨーレートや舵角に応じて変更する。例えば先行車が旋回し始めた場合は、旋回方向にマーカが移動する可能性が高いので、幅を広くしたり、位置を左右にずらしたりする。これにより、直進中は探索領域を絞って探索時間を短くしつつ、旋回中でもマーカを見失いにくくなる。

探索する領域の広さは、自車や先行車の加減速に応じて変更してもよい。例えば先行車が減速した場合は、車間距離が縮まりマーカが大きく見えるようになるので、領域を広くする。例えば先行車が加速した場合は、車間距離が広がりマーカが小さく見えるようになる可能性があるので、探索領域を狭くする。加減速に応じて領域の大きさを変えることにより、加減速が無い場合は探索時間を最小限に抑えつつ、加減速中にマーカを見失いにくくなる。

同様に、自車や先行車の加減速に応じて撮像範囲を変更してもよい。例えば先行車が減速した場合は撮像範囲を広くするとともに、画素の一部を無効化することによりデータ量を抑制する。先行車が加速した場合は、撮像範囲を狭くするとともに、小さく見えるマーカを正確に認識できるように、無効化している画素の少なくとも一部を有効化して解像度を上げる。

加減速に応じてマーカの探索領域の大きさを変える際に、マーカの想定サイズも同様に変更する。例えばテンプレートマッチングを用いてマーカを検出する場合、探索領域の一部の領域を切り出してテンプレートのサイズに正規化する。この切り出すサイズは、マーカの想定サイズに相当するので、想定サイズに応じて切り出すサイズも変更する。加減速に応じて切り出すサイズを変更することにより、マーカの大きさが変わったとしても、変わった後の大きさに近い大きさで切り出すことになるので、テンプレートマッチングの精度を確保できる。

隊列走行制御装置１００は、マーカを検出した後、図６のフローチャートによって露光条件を調整した上で、マーカをトラッキングする。マーカをトラッキングしている間は、検出したマーカ位置の画素値に応じて、次以降のフレームの露光条件を変更する。例えば徐々に日が暮れてきた場合、マーカ画像は同じ露光条件だと照度が落ちてきて徐々に暗くなるので、マーカ付近の画素の輝度値が下がり、マーカを明確に検出しにくくなる。マーカ位置の画素値に応じて、輝度値が下がる場合は、露光時間を長め、ゲインを高めに設定し直す。輝度値が上がる場合は、露光時間を短め、ゲインを高めに設定する。これにより、次以降のフレームでもマーカを検出しやすくなる。

撮像制御部１２１は、マーカをトラッキングすることにより、画像データ内におけるマーカ位置の経時変化を取得することができる。撮像制御部１２１は、その経時変化にしたがって撮像範囲を変更してもよい。例えばマーカが撮像範囲から逸脱しそうになっているのであれば、画像データ内においてマーカが移動する向きに撮像範囲を移動させることにより、マーカを撮像範囲内に収めることができる。

以上の実施形態においては、ハフ変換により矩形を検知し、テンプレートマッチングによりマーカを識別することを説明したが、マーカらしさを判断できるのであればその他任意の識別手法を用いてもよい。例えば画像データを任意の特徴量に変換して機械学習しておき、その学習済辞書と撮像画像を比較することによりマーカを識別してもよい。機械学習した辞書に対する識別においては、マーカの矩形を検知せず、画像内をラスタースキャンして識別スコアを算出する。あらかじめ定められた閾値以上のスコアが得られた箇所をマーカとして判断する。

＜本発明のその他の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

以上の実施形態において、説明の便宜上、隊列走行制御装置１００は、カメラ筐体１１０／ＥＣＵ筐体１２０／通信筐体１３０を備えることとしたが、カメラ筐体１１０と通信筐体１３０は、隊列走行制御装置１００とは別の装置として構成し、隊列走行制御装置１００はこれら装置と通信することにより、隊列走行制御システムとして同様の機能を実装してもよい。

１００：隊列走行制御装置
１１０：カメラ筐体
１１１：撮像部
１２０：ＥＣＵ筐体
１２１：撮像制御部
１２２：車両制御部
１２３：車車間通信部
１２４：領域検出部
１２５：形状検出部
１３０：通信筐体
１３１：無線通信部
１４０：アンテナ

Claims (10)

1. マーカを搭載した先行車を追従するように車両の動作を制御する隊列走行制御装置であって、
   前記車両の前方を撮像する撮像部が撮像する撮像範囲のうち少なくとも一部の画像データを取得する撮像制御部、
   前記画像データのなかにおける所定のマーカを検出するマーカ検出部、
   前記マーカの検出結果にしたがって前記先行車を追従するように前記車両を制御する追従制御を実施する車両制御部、
   を備え、
   前記撮像制御部は、前記追従制御を前記車両制御部が実施している間において、前記撮像部の露光条件を変更しながら前記車両の前方の画像データを前記撮像部から複数回取得し、
   前記撮像制御部は、前記画像データの輝度値の度数分布を求め、
   前記撮像制御部は、前記度数分布における輝度ピークが２つあり、前記輝度ピークが前記度数分布における最高輝度値と最低輝度値のいずれでもない前記画像データを撮像したときの前記露光条件を、他の前記露光条件よりも評価が高い好適露光条件として評価し、
   前記撮像制御部は、前記好適露光条件のなかで前記２つの輝度ピーク間の間隔が広いものほどより高く評価し、
   前記撮像制御部は、前記評価の結果にしたがって前記露光条件を調整し、
   前記マーカ検出部は、前記露光条件ごとに前記マーカを検出する
   ことを特徴とする隊列走行制御装置。
2. 前記撮像制御部は、前記撮像部の撮像範囲を変更しながら前記車両の前方の画像データを前記撮像部から複数回取得し、
   前記マーカ検出部は、前記撮像範囲ごとに前記マーカを検出し、
   前記撮像制御部は、前記マーカ検出部による前記マーカの検出結果にしたがって、前記追従制御を前記車両制御部が実施するときにおける前記撮像範囲を決定する
   ことを特徴とする請求項１記載の隊列走行制御装置。
3. 前記撮像制御部は、前記撮像部の撮像範囲のサイズに応じて、前記撮像部の各画素を有効にするか否かを切り替えることにより、前記撮像部から前記撮像制御部に対して送信するデータ量を抑制する
   ことを特徴とする請求項１記載の隊列走行制御装置。
4. 前記撮像制御部は、前記画像データのなかにおける前記マーカの位置を時系列に沿ってトラッキングするとともに、前記トラッキングの結果にしたがって、前記画像データのなかにおける前記マーカの位置の経時変化を推定し、
   前記撮像制御部は、前記推定の結果にしたがって、前記画像データのなかに前記マーカが収まるように、前記撮像範囲を変更する
   ことを特徴とする請求項２記載の隊列走行制御装置。
5. 前記隊列走行制御装置はさらに、前記先行車の動作を指示する制御指令を前記先行車から受信する車車間通信部を備え、
   前記撮像制御部は、前記制御指令にしたがって前記先行車の動作を予測するとともに、前記予測した前記先行車の動作により前記画像データのなかで前記マーカが移動する位置を予測し、
   前記撮像制御部は、前記予測した前記画像データのなかにおける前記マーカの位置を撮像するように、前記撮像部の撮像範囲を変更する
   ことを特徴とする請求項１記載の隊列走行制御装置。
6. 前記隊列走行制御装置はさらに、前記先行車の動作を指示する制御指令を前記先行車から受信する車車間通信部を備え、
   前記撮像制御部は、前記先行車がブレーキをかけたことを前記制御指令が示している場合は、前記撮像部の撮像範囲を拡大するとともに、前記撮像部の画素の一部を無効化することにより前記画像データのデータサイズを縮小し、
   前記撮像制御部は、前記先行車が加速したことを前記制御指令が示している場合は、前記撮像部の撮像範囲を縮小するとともに、前記撮像部の画素の一部が無効化されている場合はその無効化されている画素のうち少なくとも一部を有効化する
   ことを特徴とする請求項１記載の隊列走行制御装置。
7. 前記撮像制御部は、前記車両制御部が前記追従制御を開始する前に、前記露光条件を変更しながら前記車両の前方の画像データを前記撮像部から複数回取得し、
   前記撮像制御部は、前記車両制御部が前記追従制御を開始する前に、前記追従制御を前記車両制御部が実施するときにおける前記露光条件を決定する
   ことを特徴とする請求項１記載の隊列走行制御装置。
8. 請求項１から７のいずれか１項記載の隊列走行制御装置、
   前記撮像制御部に対して前記画像データを出力する撮像部、
   を備えることを特徴とする隊列走行制御システム。
9. マーカを搭載した先行車を追従するように車両の動作を制御する隊列走行制御方法であって、
   前記車両の前方を撮像する撮像部が撮像する撮像範囲のうち少なくとも一部の画像データを取得する撮像制御ステップ、
   前記画像データのなかにおける所定のマーカを検出するマーカ検出ステップ、
   前記マーカの検出結果にしたがって前記先行車を追従するように前記車両を制御する追従制御を実施する車両制御ステップ、
   を有し、
   前記撮像制御ステップにおいては、前記追従制御を前記車両制御ステップにおいて実施している間において、前記撮像部の露光条件を変更しながら前記車両の前方の画像データを前記撮像部から複数回取得し、
   前記撮像制御ステップにおいては、前記画像データの輝度値の度数分布を求め、
   前記撮像制御ステップにおいては、前記度数分布における輝度ピークが２つあり、前記輝度ピークが前記度数分布における最高輝度値と最低輝度値のいずれでもない前記画像データを撮像したときの前記露光条件を、他の前記露光条件よりも評価が高い好適露光条件として評価し、
   前記撮像制御ステップにおいては、前記好適露光条件のなかで前記２つの輝度ピーク間の間隔が広いものほどより高く評価し、
   前記撮像制御ステップにおいては、前記評価の結果にしたがって前記露光条件を調整し、
   前記マーカ検出ステップにおいては、前記露光条件ごとに前記マーカを検出する
   ことを特徴とする隊列走行制御方法。
10. マーカを搭載した先行車を追従するように車両の動作を制御する隊列走行制御装置であって、
    撮像部より画像データを取得する撮像制御部、
    前記画像データのなかにおける所定のマーカを検出するマーカ検出部、
    を備え、
    前記撮像制御部は、前記撮像部の露光条件を変更しながら前記車両の前方の画像データを前記撮像部から複数回取得し、
    前記撮像制御部は、前記画像データの輝度値の度数分布を求め、
    前記撮像制御部は、前記度数分布における輝度ピークが２つあり、前記輝度ピークが前記度数分布における最高輝度値と最低輝度値のいずれでもない前記画像データを撮像したときの前記露光条件を、他の前記露光条件よりも評価が高い好適露光条件として評価し、
    前記撮像制御部は、前記好適露光条件のなかで前記２つの輝度ピーク間の間隔が広いものほどより高く評価し、
    前記撮像制御部は、前記評価の結果にしたがって前記露光条件を調整し、
    前記マーカ検出部は、前記露光条件ごとに前記マーカを検出する
    ことを特徴とする隊列走行制御装置。

Images