JP7048465B2 - 移動体制御装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、移動体制御装置、方法及びプログラムに関する。

近年、自動車業界では先進運転支援システム（ＡＤＡＳ:Advanced driver-assistance system）の開発が進んでいる。例えば、自車両の停止中に緊急車両を検知したときに、動力制御を行って自車両を移動させるなどの方法が考えられている。

特開２００６－５７４５６号公報

一般に、緊急車両の検知には、カメラによる画像認識や、レーダ波による車両検知などの方法が用いられる。しかし、これらの方法は緊急車両が他車両や遮蔽物などで見えない場合や、自車両と緊急車両との距離が離れている場合には利用できない。

また、自動運転では、緊急車両の接近に対する制御だけではなく、緊急車両の離脱に対する制御も望まれる。例えば、走行中に緊急車両が後方から来た場合には車線の端に寄せて止まり、緊急車両の通過後に速やかに元の走行車線に戻って走行するというような、スムーズな自動運転が望まれる。

本発明が解決しようとする課題は、移動体と対象物との相対的な状況を考慮して、移動体のスムーズな自動運転を実現できる移動体制御装置、方法及びプログラムを提供することである。

一実施形態に係る移動体制御装置は、取得部と、状況推定部と、運転制御部とを備える。上記取得部は、対象物が発する音信号を取得する。上記状況推定部は、上記取得部によって得られた上記対象物の音信号に基づいて、制御対象である移動体と上記対象物との相対的な状況を推定する。上記運転制御部は、上記状況推定部によって推定された状況に基づいて、上記移動体の運転を制御する。
上記構成の移動体制御装置において、上記運転制御部は、上記移動体の移動経路上における上記移動体と上記対象物との相対的な状況を想定した入力群と、各状況に対する上記移動体の理想的な運転制御を行うための正解データ群との関係をペアで有する学習部によって学習された辞書情報に基づいて、上記対象物の接近と離脱に対して上記移動体の運転を制御する。

図１は第１の実施形態に係る移動体制御装置の概略構成を示すブロック図である。 図２は上記移動体制御装置の各部の機能構成を示すブロック図である。 図３は自車と緊急車両との相対的な状況を説明するための図である。 図４は自車と緊急車両との相対的な状況を説明するための図であり、図３の状態から時間が経過した状態を示す。 図５は緊急車両と自車との位置関係の変移（例１）を模式的に示す図であり、図５（ａ）と同図（ｂ）は緊急車両が自車に接近している状態、図５（ｃ）と同図（ｄ）は緊急車両が自車から離れていく状態を示す。 図６は図５に示した自車と緊急車両との相対的な状況の変化を表した図であり、図６（ａ）は音の大きさ、同図（ｂ）は距離（相対距離）、同図（ｃ）は速さ（他速度）、同図（ｄ）は方向（相対方向）を表す。 図７は緊急車両と自車との位置関係の変移（例２）を模式的に示す図であり、図７（ａ）と同図（ｂ）は緊急車両が自車に接近している状態、図７（ｃ）と同図（ｄ）は緊急車両が自車から離れていく状態を示す。 図８は緊急車両と自車との位置関係の変移（例３）を模式的に示す図であり、図８（ａ）と同図（ｂ）は緊急車両が自車に接近している状態、図８（ｃ）は緊急車両が自車から離れていく状態を示す。 図９は図８に示した自車と緊急車両との相対的な状況の変化を表した図であり、図９（ａ）は音の大きさ、同図（ｂ）は距離（相対距離）、同図（ｃ）は速さ（他速度）、同図（ｄ）は方向（相対方向）を表す。 図１０は第２の実施形態における線路の踏切と自車との位置関係の変移を模式的に示す図であり、図１０（ａ）は線路の踏切に自車が向かっている状態、同図（ｂ）は線路の手前で自車が停止している状態、同図（ｃ）は線路の踏切を自車が通過する場合の状態を示す。 図１１は図１０に示した自車と警報機との相対的な状況の変化を表した図であり、図１１（ａ）は音の大きさ、同図（ｂ）は距離（相対距離）、同図（ｃ）は速さ（他速度）、同図（ｄ）は方向（相対方向）を表す。 図１２は上記第１および第２の実施形態における制御装置のハードウェア構成の一例を示す図である。 図１３は上記制御装置の処理動作を示すフローチャートである。 図１４は変形例として自走型のロボットの一例を示す図である。 図１５は変形例として飛行体の一例を示す図である。

以下、図面を参照して実施形態を説明する。
（第１の実施形態）
図１は第１の実施形態に係る移動体制御装置の概略構成を示すブロック図である。本実施形態における移動体制御装置は、移動体を制御対象とし、その移動体の運転を制御するものである。移動体には、例えば道路等の地面を移動する自動車、空を移動する飛行体、水上を移動する船舶などを含む。

以下では、移動体として自動車を例にして説明する。
制御対象である自動車（以下、自車と称す）に制御装置１が備えられる。制御装置１は、緊急車両を対象物として検知し、自車の運転を制御する機能を有する。緊急車両の種類としては、例えば「救急車」、「消防車」、「パトロールカー（以下、パトカーと略す）」などがある。これらの緊急車両は、それぞれに特定の周波数帯を有する複数パターンの音信号（警報音）を所定の音量で出力する、つまり所定の音量で発する。

図１に示すように、制御装置１は、取得部１０と、状況推定部２０と、運転制御部３０とを備える。

取得部１０は、マイクロフォン（以下、マイクと略す）から入力された自車の周囲の音を取得し、ＡＤ変換によりディジタル信号である音信号を状況推定部２０に出力する。例えば、ＡＤ変換時のサンプリング周波数は１６ｋＨｚとする。

状況推定部２０は、音信号から自車の対象物である緊急車両の警報音を検知する。状況推定部２０は、その検知された警報音に基づいて自車（移動体）と緊急車両（対象物）との相対的な状況を推定し、運転制御部３０に出力する。相対的な状況には、移動体に対する対象物の相対的な方向、速度、距離の少なくとも一つ以上を含む。

運転制御部３０は、状況推定部２０によって推定された相対的な状況の変化から緊急車両に対する自車の運転を制御する。被制御部２は、運転制御部３０から出力される制御信号に基づいて、自車の動力（エンジン）やハンドルなどの制御を行う。

図２は移動体制御装置の各部の機能構成を示すブロック図である。
上述したように、制御装置１には、取得部１０、状況推定部２０、運転制御部３０が備えられている。

［取得部］
取得部１０は、マイク部１１、センサ部１２、自状況取得部１３を含む。

マイク部１１は、Ｎ個のマイクを有する。Ｎは自然数である。Ｎ個のマイクは、それぞれにＡＤ変換を備え、自車の周囲の音を集音して、Ｎチャネルの時間同期が取れた音信号（ディジタル信号）を状況推定部２０に出力する。なお、マイクは、少なくとも１つ以上あれば良い。また、マイクは、自車の任意の箇所に設置されていても良いし、自車の運転中に周囲の音を集音可能であれば、自車に設置されていなくても良い。

センサ部１２は、自車の状況を検出するための各種センサを有する。具体的には、センサ部１２は、自車の速度を検出するためのセンサとして、例えばスピードメータ、加速度センサ、タイヤの回転数をセンシングする機構のいずれか１つ以上を備える。

また、センサ部１２は、自車の移動方向を検出するためのセンサとして、例えばステアリングホイール（ハンドル）、ジャイロセンサのいずれか１つ以上を備える。さらに、センサ部１２は、自車の位置情報を検出するためのセンサとして、例えばＧＰＳ（Global Positioning System）センサを備える。

自状況取得部１３は、センサ部１２を通じて自車の状況に関する情報（以下、自状況情報と称す）を入力する。自状況情報には、自車の速度、移動方向、現在位置の少なくとも一つ以上が含まれる。

詳しくは、自状況取得部１３は、例えばスピードメータまたは加速度センサまたはタイヤの回転数をセンシングする機構の検出信号から自車の速度（自速度）を得て、状況推定部２０に出力する。また、自状況取得部１３は、例えばステアリングホイール（ハンドル）またはジャイロセンサの検出信号から自車の移動方向を得て、状況推定部２０に出力する。さらに、自状況取得部１３は、ＧＰＳセンサから自車の位置情報を得る。その際、自状況取得部１３は、自車の位置情報に図示せぬカーナビゲーションシステムに設定された目的地の位置情報と地図情報を組み合わせることで、自車の現在位置から目的地までの経路情報を状況推定部２０に出力する。

［状況推定部］
状況推定部２０は、検知部２１と状況推定処理部２２とを含む。

検知部２１は、マイク部１１から出力された音信号から緊急車両の警報音が到来しているか否かを判定する。このとき、緊急車両の警報音を複数登録しておき、どの警報音であるのか音源の種別を認識しても良い。

例えば、「救急車」，「消防車」，「パトカー」の３種類の警報音の特徴パターンが登録された辞書を事前に用意しておく。音信号から特徴量を抽出し、ＤＮＮ（Deep Neural Network）などのパターン認識処理によって得られる特徴パターンと上記辞書に登録された各特徴パターンと比較して、警報音の種別を認識する。

緊急車両の警報音が到来している場合、検知部２１は、音信号から警報音の大きさを算出し、その警報音の大きさから自車と緊急車両との相対距離を推定する。さらに、検知部２１は、マルチチャネルの音信号からＭＵＳＩＣ(Multiple Signal Classification)法などの方向推定処理を行い、自車から見た場合の緊急車両の方向、つまり、自車と緊急車両との相対方向を算出する。また、検知部２１は、ドップラー効果による音信号の周波数変化を検知可能な機能を有する。

ここで、緊急車両から自車に向かう向きを正とする。自車で観測される緊急車両の警報音の周波数ｆ［Ｈｚ］は、ドップラー効果による周波数変化から下記（１）式のように表される。

ｆ＝ｆ０×（Ｖ－ｖ０）÷（Ｖ－ｖｓ） ……（１）
Ｖは音速であり、１５℃のときに約３４０［ｍ／ｓ］である。
ｆ０は緊急車両の警報音の周波数［Ｈｚ］であり、事前に既知であるとする。
ｖ０は緊急車両から自車に向かう向きでの自車の速度［ｍ／ｓ］である。
ｖｓは緊急車両から自車に向かう向きでの緊急車両の速度（以下、他速度と称す）［ｍ／ｓ］である。

検知部２１は、自状況取得部１３から得た自車の移動方向と、自車と緊急車両との相対方向とに基づいて、ｖ０を算出する。また、検知部２１は、緊急車両の警報音の周波数ｆ０を用いて、上記（１）式によりｖｓを算出する。

このように、検知部２１は、音源の種別、相対距離、相対方向、相対速度の少なくとも１つ以上を算出し、それを緊急車両の警報音の音源属性として、状況推定処理部２２に出力する。

このとき、緊急車両の警報音を検知したことを、その警報音の音源属性と共に出力部４から出力することで、ユーザに視覚的あるいは聴覚的に認識させても良い。出力部４は、例えばディスプレイ、スピーカのいずれか１つ以上を含む。ディスプレイ、スピーカは、例えば自車内の任意の箇所に設置される。

状況推定処理部２２は、検知部２１から得られる警報音の音源属性と、自状況取得部１３から得られる自車の移動方向とに基づいて、相対速度ベクトル（到来方向と速さ）の変化を求める。状況推定処理部２２は、この相対速度ベクトルの変化から今後の自車と緊急車両の位置関係を予測し、今後（近い将来）の状況情報を運転制御部３０に出力する。

詳しくは、状況推定処理部２２は、相対距離、相対方向、他速度、自車の移動方向、自速度を用いて、下記のような状況を推定する。

「緊急車両が、前から／後ろから／右から／左から、接近してくる／離れていく」
「緊急車両が、前方／後方／右方／左方に存在するが停止した」
「緊急車両が、前方／後方／右方／左方で停止しているが走行し、接近してくる／離れていく」
このとき、自状況取得部１３から得られる自車の経路情報を考慮することで、自車と緊急車両の位置関係および状況情報の予測精度を上げることができる。

状況推定部２０の処理について、具体例を挙げて説明する。
図３および図４は自車と緊急車両との相対的な状況を説明するための図である。図中の５が自車、６が緊急車両を示す。自車５の移動方向を０°とし、右回りに方向を角度で表現する。例えば、緊急車両６を救急車とし、その救急車の警報音が８００［Ｈｚ］と１０００［Ｈｚ］の周波数の繰り返しであるとする。

図３は、自速度４０［ｋｍ／ｈ］、自車５と緊急車両６との相対方向は３１５°、相対距離１００［ｍ］とした例である。

緊急車両６から自車５に向かう向きでの自車５の速度ｖ０は、以下のように算出される。

ｖ０＝４０×ｃｏｓ（３６０°－３１５°）［ｋｍ／ｈ］
≒７．８６［ｍ／ｓ］
また、観測された緊急車両６の警報音が７６０［Ｈｚ］と９５０［Ｈｚ］であったとき、他速度ｖｓは約－９．６２［ｍ／ｓ］となる。したがって、３４．６［ｋｍ／ｈ］で走行する緊急車両６が自車５に近づいて来ていると推定できる。

図４は、図３の状態から時間が経過した状態を示す。自速度は４０［ｋｍ／ｈ］のままで、自車５と緊急車両６との相対距離が５０［ｍ］になり、自車５と緊急車両６との相対方向が３３０°となった例である。

緊急車両６が一定速度で走行しているものとすると、ｔ秒後に緊急車両６が自車５のほぼ正面（０°方向）から接近してくることが予測できる。

ｔ＝５０［ｍ］÷（７．８６＋９．６２）［ｍ／ｓ］
≒２．８［ｓ］
検知部２１は、周囲車両の走行音や周囲車両の警報クラクションを検知しても良い。周囲車両の走行音を検知した場合には、状況推定処理部２２では、映像・ミリ波も併用して、相対的な位置情報、周囲車両の相対速度ベクトル、周囲車両との距離などを推定する。このとき、ユーザに視覚的に分かるように、周囲車両の接近状況を自車５に設けられた図示せぬディスプレイに表示しても良い。さらに、周囲車両の接近状況を自車５に設けられた図示せぬスピーカから音声出力しても良い。

周囲車両の警報クラクションを検知した場合には、状況推定処理部２２では、相対速度ベクトルから自車が関係あるか否かを判定する。この場合も、周囲車両と自車の関係を表示あるいは音声アナウンスして、ユーザに通知しても良い。

［運転制御部］
運転制御部３０は、判断部３１、制御処理部３２、辞書３３を含む。辞書３３には、後述する学習部３によって学習された判断アルゴリズムのパラメータセットが格納されている。

ここで、学習部３について説明する。
学習部３は、制御装置１とは独立して設けられる。学習部３は、予め自車の移動経路上における自車と緊急車両との相対的な状況と自車の理想的な運転制御との関係を学習している。

詳しくは、学習部３は、予め地図情報から自車が移動する経路上の様々な道路の情報を取得し、これらの道路における自車と緊急車両との相対的な状況を想定した入力データ群と、各状況に対して理想的な自車の運転制御を行うための正解データ群とをペアで有する。

学習部３は、入力データ群に対する判断部３１の出力データ群と、当該入力データ群に対する正解データ群との誤差が最小になるように、判断部３１で用いられる判断アルゴリズムのパラメータセットを学習する。辞書３３には、この学習された判断アルゴリズムのパラメータセットが格納されている。

例えば、入力データ群をＸ、正解データ群をＹとし、判断アルゴリズムを関数ｆとすると、誤差｜Ｙ－ｆ（Ｘ）｜^２を最小化する判断アルゴリズムの関数ｆを表現するパラメータセットλが辞書３３に格納される。これにより、入力データ群Ｘに属する状況情報ｘ０が判断部３１に入力された際に、判断部３１は、辞書３３を参照してパラメータセットλから判断情報（理想的な運転制御を行うための情報）ｆ（ｘ０）を制御処理部３２に出力できる。

なお、入力データ群に音信号を含めて学習しても良い。例えば、様々なパターンにおける自車と緊急車両との位置関係・相対速度ベクトル（到来方向と速さ）の変化・マイク入力音を入力データ群に含める。この入力データ群に対する理想的な自車の運転制御を正解データ群として時系列で関連付けて学習する。後述するように、自車の運転制御とは、ハンドルによる方向決めや、動力エンジンの起動・停止などである。

また、緊急車両の接近による運転制御の開始と、緊急車両の離脱による運転制御の終了を関連付けて学習しても良い。この場合、緊急車両を模擬した車両を走らせ、各地域の道路で色々な方向から自車の近傍を通過させたときの待機の開始・終了の最適な運転制御を人間の運転操作によって導き出し、これを正解データとして学習することでも良い。

さらに、天候情報を加えて、例えば晴天の場合、雨天の場合、雪の場合といったように、天候に応じた自車の運転制御に関する正解データを学習することでも良い。

判断部３１は、状況推定処理部２２によって得られる状況情報を入力とする。判断部３１は、辞書３３から読み込んだパラメータセットに基づいて、当該状況情報に対応した判断情報を求め、制御処理部３２に出力する。

具体的には、判断部３１は、緊急車両の警報音から推定された状況情報を入力とする。判断部３１は、この状況情報から得られる緊急車両の接近や離脱と自車との対応関係を学習部３の学習結果から特定することで、自車の運転制御の開始や終了のタイミングを判断する。

この場合、緊急車両の警報音が大きくなったら、緊急車両が接近している状況と推定して自車の走行を停止する。その後、緊急車両の警報音が小さくなったら、緊急車両が離脱している状況と推定して、走行停止を終了して、通常走行に戻るといった制御が容易に想定される。このように、緊急車両の接近／離脱に伴う、自車の運転制御の開始や終了を機械学習することで、より理想的でスムーズな自動運転を実現できる。

制御処理部３２は、判断部３１によって得られた判断情報を入力とし、その判断情報に基づいて、被制御部２の駆動を制御するための制御信号を出力する。

被制御部２は、自車の運転制御に関わる部分であり、動力２ａ、ハンドル２ｂ、運転モード２ｃを含む。動力２ａ、ハンドル２ｂ、運転モード２ｃは、制御装置１から出力される制御信号によって制御される。

動力２ａに対する制御信号は、停止・減速・加速といった速度の度合いを含む。

ハンドル２ｂに対する制御信号は、左向き・右向きといった方向の度合いを含む。

運転モード２ｃに対する制御信号は、緊急車両検知モードのＯＮ・ＯＦＦを含む。

緊急車両検知モードがＯＦＦの場合は、通常の運転モードになる。この場合、例えば車道の両側にある白線を跨がないように、映像やミリ波等のセンサ情報を加味して自車の運転が制御される。緊急車両検知モードがＯＮの場合は、緊急車両の接近／離脱を考慮した自動運転モードになる。例えば、緊急車両の接近に伴い、自車を路肩の左側に停止させるなど、車道の両側にある白線を跨ぐことを許可した運転制御が行われる。

なお、状況に対する判断と制御は連続性を有する。例えば、緊急車両が自車の後ろから接近してきた場合には、ハンドル２ｂを左に向けて、自車の路肩の左側に停止して動力２ａを停止する。緊急車両が自車近傍を通り過ぎると、動力２ａの停止を解除して、ハンドル２ｂを右に向けて走行を開始するなど、状況に対する連続的な判断と制御が行われる。

以下に、具体例を用いて、運転制御部３０によって制御される自車５の動きについて説明する。

（例１）緊急車両が自車の後方から接近する場合
図５は緊急車両と自車との位置関係の変移（例１）を模式的に示す図である。図５（ａ）と同図（ｂ）は緊急車両が自車に接近している状態、図５（ｃ）と同図（ｄ）は緊急車両が自車から離れていく状態を示している。

図５（ａ）に示すように、二車線の道路の左側を自車５が走行している。自車５には、図１および図２で説明した制御装置１が備えられている。

ここで、緊急車両６が警報音を発しながら、自車５の後方から接近して来たとする。制御装置１は、緊急車両６の警報音を検知すると、図５（ｂ）に示すように、自車５を車道の端に寄せて停止させる。

なお、図５（ｂ）の例では、自車５を車道の左端（２７０°方向）に寄せているが、車道の右端（９０°方向）に寄せることもある。要は、緊急車両６の走行を妨げない場所に自車５を停止させれば良い。自車５を車道のどの場所に寄せるのかは、道幅、対向車等の周囲の状況に応じて決定される。

図５（ｃ）に示すように、緊急車両６が自車５の前方に（接近してきた方向と異なる方向に）に通り過ぎるまでの間、自車５は一時停止状態にある。そして、図５（ｄ）に示すように、緊急車両６が完全に通り過ぎると、自車５は元の走行車線に戻って走行を再開する。

図６は、図５に示した自車５と緊急車両６との相対的な状況の変化を表した図である。図６（ａ）はマイク部１１に入力された音の大きさの時間的な変化を表している。図６（ｂ）は検知部２１で推定された距離（相対距離）の時間的な変化を表している。図６（ｃ）は検知部２１で推定された緊急車両６の速さ（他速度）の時間的な変化を表している。図６（ｄ）は検知部２１で推定された緊急車両６の方向（相対方向）の時間的な変化を表している。

まず、緊急車両６が自車５に接近すると、緊急車両６が発する警報音の方向から緊急車両６が自車５に対する相対方向で後方（１８０°）から近づいているものと推定される（図５（ａ）の状態）。このとき、緊急車両６の警報音の大きさの変化から、自車５と緊急車両６との相対距離が推定され、さらにドップラー効果を考慮して緊急車両６の速さ（他速度）が推定される。

ここで、自車５と緊急車両６との相対距離が短くなり、状況推定処理部２２によって緊急車両６が自車５に追いつく状況にあると推定された場合、運転制御部３０から被制御部２に対して一時停止用の制御信号が出力される。これにより、自車５が車道の端で停止する（図５（ｂ）の状態）。

緊急車両６が自車５の後方（１８０°）から前方（０°）に通り過ぎるまでの間、自車５は一時停止状態にある（図５（ｃ）の状態）。緊急車両６が自車５の前方に完全に通り過ぎたら、運転制御部３０から被制御部２に対して運転再開用の制御信号が出力される。これにより、自車５は元の走行車線に戻って走行を再開する（図５（ｄ）の状態）。なお、この例では、相対速度ベクトルの変化を特徴として捉えて、自車５の運転開始と終了を制御している。

（例２）緊急車両が自車の後方から接近する場合（他車が存在）
図７は緊急車両と自車との位置関係の変移（例２）を模式的に示す図である。図７（ａ）と同図（ｂ）は緊急車両が自車に接近している状態、図７（ｃ）と同図（ｄ）は緊急車両が自車から離れていく状態を示している。

図５の例との違いは、自車５の前後に他車７ａ，７ｂが存在する点である。他車７ａは自車５の後方（１８０°）、他車７ｂは自車５の前方（０°）に位置している。図７（ａ）～（ｄ）は、それぞれ図５（ａ）～（ｄ）に対応する。

例えば、カメラを用いた検知システムでは、自車５の前後に他車７ａ，７ｂが存在すると、緊急車両６の接近／離脱を検知できない可能性が高い。これに対し、本システムでは、緊急車両６に特有の音信号（警告音）を検知することで、自車５と緊急車両６との相対的な状況を推定しているので、自車５の前後に他車７ａ，７ｂが存在しても緊急車両６の接近／離脱を高精度に検知できる。

なお、自車５の前後に存在する他車７ａ，７ｂと衝突しないように、例えば映像やミリ波等のセンサ情報を加味して自車５の運転が制御される。

（例３）緊急車両が自車の左側から接近する場合（他車が存在）
図８は緊急車両と自車との位置関係の変移（例３）を模式的に示す図である。図８（ａ）と同図（ｂ）は緊急車両が自車に接近している状態、図８（ｃ）は緊急車両が自車から離れていく状態を示している。

図８（ａ）に示すように、例えばＴ字路の交差点に向かって自車５と他車７ａ，７ｂが走行しているものとする。自車５には、図１および図２で説明した制御装置１が備えられている。他車７ａ，７ｂは、自車５の前方（０°）を先行して走行中である。

ここで、緊急車両６が警報音を発しながら、交差点の左側から自車５の前方に接近したとする。制御装置１は、緊急車両６の警報音を検知すると、図８（ｂ）に示すように、自車５を車道の端に寄せて停止させる。上述したように、自車５を車道のどの場所に寄せるのかは、道幅、対向車等の周囲の状況に応じて決定される。

緊急車両６が前方右・前方・後方のいずれか（接近方向と異なる方向）に通り過ぎるまの間、自車５は一時停止状態にある。そして、図８（ｃ）に示すように、緊急車両６が完全に通り過ぎると、自車５は元の走行車線に戻って走行を再開する。

図９は、図８に示した自車５と緊急車両６との相対的な状況の変化を表した図である。図９（ａ）はマイク部１１に入力された音の大きさの時間的な変化を表している。図９（ｂ）は検知部２１で推定された距離（相対距離）の時間的な変化を表している。図９（ｃ）は検知部２１で推定された緊急車両６の速さ（他速度）の時間的な変化を表している。図９（ｄ）は検知部２１で推定された緊急車両６の方向（相対方向）の時間的な変化を表している。

まず、緊急車両６が自車５に接近すると、緊急車両６が発する警報音の方向から緊急車両６が自車５に対する相対方向で前方左（２７０°）から近づいているものと推定される（図８（ａ）の状態）。このとき、緊急車両６の警報音の大きさの変化から、自車５と緊急車両６との相対距離が推定され、さらにドップラー効果を考慮して緊急車両６の速さ（他速度）が推定される。

ここで、自車５と緊急車両６との相対距離が短くなり、状況推定処理部２２によって緊急車両６が自車５の近傍に到来する状況になると推定された場合は、運転制御部３０から被制御部２に対して一時停止用の制御信号が出力される。これにより、自車５が車道の端で停止する（図８（ｂ）の状態）。この場合、前方を走行している他車７ｂに衝突しないように、運転制御部３０は、例えば映像やミリ波等のセンサ情報を加味して自車５の運転を制御する。

緊急車両６が自車５の前方（０°）から前方右（１５°）に通り過ぎるまでの間、自車５は一時停止状態にある。緊急車両６が自車５の前方右方向に完全に通り過ぎたら、運転制御部３０から被制御部２に対して運転再開用の制御信号が出力される。これにより、自車５は元の走行車線に戻って走行を再開する（図８（ｃ）の状態）。

このように第１の実施形態によれば、取得部１０、状況推定部２０、運転制御部３０を備えた制御装置１により、緊急車両６に特有の音信号（警報音）に着目した状況推定処理が行われる。つまり、音信号を用いて自車５と緊急車両６との相対的な状況（方向、速度、距離）が推定され、この推定された相対的な状況に基づいて自車５の運転が制御される。これにより、例えば緊急車両６が接近した場合には自車５を車線の端に寄せ、緊急車両６に道を譲り、緊急車両６の通過後には速やかに元の走行車線に戻って走行するといったようなスムーズな自動運転を実現できる。

一般に、緊急車両の検知には、カメラによる画像認識や、レーダ波による車両検知などの方法が用いられるが、これらの方法は緊急車両６が他車両や遮蔽物などで見えない場合や、自車５と緊急車両６との距離が離れている場合には利用できない。これに対し、本実施形態では、音信号を用いて状況を推定できるので、上述したようなスムーズな自動運転を実現できる。

また、自状況取得部１３によって得られる自車５の自状況情報（速度、移動方向、現在位置など）を考慮して状況推定処理を行うことで、自車５と緊急車両６との相対的な状況をより正確に推定でき、高精度な自動運転を実現できる。

さらに、学習部３を用いて自車５と緊急車両６との相対的な状況に対応した理想的な運転制御を学習しておくことで、様々な状況に対応したより高精度な自動運転を実現できる。

（第２の実施形態）
次に、第２の実施形態について説明する。
上記第１の実施形態では、緊急車両を対象物とし、その緊急車両の音信号を取得して自車の運転を制御する場合について説明したが、対象物は緊急車両に限らず、特定の音信号を発する物体であれば、その全てに本発明の手法を適用可能である。また、対象物は、非移動体であっても良い。

以下では、第２の実施形態として、線路の踏切に設置された警報機を対象物とし、その警報機から発生される警報音を取得して自車の運転を制御する場合について説明する。

なお、制御装置１の構成は図１および図２と同様であるため、ここでは図１０および図１１を参照して、制御装置１に備えられた運転制御部３０の動きについて説明する。
図１０は第２の実施形態における線路の踏切と自車との位置関係の変移を模式的に示す図である。図１０（ａ）は線路の踏切に自車が向かっている状態、同図（ｂ）は線路の手前で自車が停止している状態、同図（ｃ）は線路の踏切を自車が通過する場合の状態を示している。

線路５１の踏切５２，５３に警報機５２ａ，５３ａが設置されている。警報機５２ａ，５３ａは、電車５４が踏切５２，５３に到達する所定時間前（例えば６０秒前）に、特定の周波数帯を有する音信号（警報音）を所定の音量で発する。警報機５２ａ，５３ａは、電車５４の接近に伴い同時に警報音を発する。

図１０（ａ）に示すように、踏切５２，５３に向かって自車５が走行しているものとする。自車５には、図１および図２で説明した制御装置１が備えられている。

自車５が踏切５２，５３に近づくと、制御装置１は、警報機５２ａ，５３ａの警告音を検知する。このときに、ユーザ（運転者）に視覚的に分かるように、警報音を検知したことを自車５に設けられた図示せぬディスプレイに表示しても良い。さらに、警報音を検知したことを自車５に設けられた図示せぬスピーカから音声出力しても良い。自車５が交差点に向かって直進している場合、相対方向で左方（２７０°）に警報音があると判断される。

ここで、図１０（ｂ）に示すように、自車５が交差点で左折した場合、相対方向で前方（０°）に警報音があると判断される。警報音の発生源である警報機５２ａ，５３ａに自車５が近づくと、制御装置１は、自車５を一時停止させて、電車５４が通過するのを待つ。図１０（ｃ）に示すように、電車５４が通過して、警報機５２ａ，５３ａの警報音が鳴り止むと、自車５の運転が再開される。

図１１は、図１０に示した自車５と警報機５２ａ，５３ａとの相対的な状況の変化を表した図である。図１１（ａ）はマイク部１１に入力された音の大きさの時間的な変化を表している。図１１（ｂ）は検知部２１で推定された距離（相対距離）の時間的な変化を表している。図１１（ｃ）は検知部２１で推定された警報機５２ａ，５３ａの速さ（他速度）の時間的な変化を表している。図１１（ｄ）は検知部２１で推定された警報機５２ａ，５３ａの相対方向の時間的な変化を表している。

まず、自車５が踏切５２，５３に近づくと、警報機５２ａ，５３ａの警告音が検知され。その警告音の大きさから相対距離が推定され、また、ドップラー効果を考慮して他速度が推定される（図１０（ａ）の状態）。この場合、警報機５２ａ，５３ａは踏切５２，５３に設置されているので、他速度は、０［ｋｍ／ｈ］である。

ここで、自車５と警報機５２ａ，５３ａとの相対距離が短くなり、状況推定処理部２２によって自車５が警報機５２ａ，５３ａのすぐに近くまで到達した状況が推定された場合は、運転制御部３０から被制御部２に対して一時停止用の制御信号が出力される。これにより、自車５が踏切５２の手前で一旦停止する（図１０（ｂ）の状態）。この場合、踏切５２の遮断棒に衝突しないように、運転制御部３０は、映像やミリ波等のセンサ情報を加味して自車５の運転を制御する。

なお、自車５のマイク部１１に入力される音には、警報機５２ａ，５３ａの警報音の他に、電車５４の走行音も含まれる。電車５４の走行音を特定できれば、その走行音の大きさから電車５４が踏切５２，５３を通過したか否かを推定できる。このとき、電車５４の到来方向を推定して、自車５に設けられた図示せぬディスプレイに表示しても良い。また、電車５４の到来方向を自車５に設けられた図示せぬスピーカから出力して音声アナウンスしても良い。

電車５４が踏切５２，５３を通過し、警報機５２ａ，５３ａの警報音が鳴り止むと、運転制御部３０から被制御部２に対して運転再開用の制御信号を出力される。これにより、自車５の運転が再開される（図１０（ｃ）の状態）。

このように第２の実施形態によれば、非移動体である警報機５２ａ，５３ａを対象物とした場合でも、その対象物の警報音を検知することにより、警報機５２ａ，５３ａの手前で自車５の運転を止め、警報音が鳴り止んだときに自車５の運転を再開させるといったスムーズな自動運転を実現できる。

また、例えば踏切５２，５３に遮断棒が無い場合に、映像やミリ波等のセンサ情報だけでは、電車５４の接近中に自車５が進入してしまう危険性がある。これに対し、警報機５２ａ，５３ａの警報音を検知する方法であれば、遮断棒の有無に関係なく、自車５を確実に停止させることができて、安全である。

（ハードウェア構成）
図１２は上記第１および第２の実施形態における制御装置１のハードウェア構成の一例を示す図である。

制御装置１は、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３、通信デバイス１０４等を備える。

ＣＰＵ１０１は、制御装置１内の様々なコンポーネントの動作を制御するハードウェアプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０２から主メモリ１０３にロードされる様々なプログラムを実行する。

ＣＰＵ１０１によって実行されるプログラムには、オペレーティングシステム（ＯＳ）の他に、図１３のフローチャートに示す処理動作を実行するためのプログラム（以下、移動体制御プログラム）等が含まれる。また、ＣＰＵ１０１は、例えばハードウェア制御のためのプログラムである基本入出力システム（ＢＩＯＳ）等も実行する。

なお、図１に示した取得部１０、状況推定部２０、運転制御部３０の一部または全ては、ＣＰＵ１０１（コンピュータ）に移動体制御プログラムを実行させることで実現される。

この移動体制御プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布されてもよいし、またはネットワークを通じて制御装置１にダウンロードされても良い。なお、取得部１０、状況推定部２０、運転制御部３０の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、当該ソフトウェア及びハードウェアの組み合わせ構成として実現されてもよい。

通信デバイス１０４は、例えば有線または無線による外部の装置との通信を実行するように構成されたデバイスである。

なお、図１２の例では、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３、通信デバイス１０４のみが示されているが、制御装置１は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）のような他の記憶装置を備えていても良い。また、制御装置１は、入力装置、表示装置、音声出力装置等を備えていても良い。

図１３は制御装置１の処理動作を示すフローチャートである。上述したように、このフローチャートで示される処理は、ハードウェアプロセッサであるＣＰＵ１０１が移動体制御プログラムを読み込むことにより実行される。

ＣＰＵ１０１は、対象物（緊急車両６）の音信号を取得する（ステップＳ１１）。対象物（緊急車両６）の音信号は、図２に示したマイク部１１を通じて得られる。また、ＣＰＵ１０１は、移動体（自車５）の自状況情報を取得する（ステップＳ１２）。移動体（自車５）の自状況情報は、図２に示したセンサ部１２を通じて得られる。

ここで、ＣＰＵ１０１は、上記ステップＳ１１で得られた音信号に基づいて、制御対象である移動体と対象物との相対的な状況を推定する（ステップＳ１３）。その際、上記ステップＳ１２で得られた移動体の自状況情報を加味して状況推定を行っても良い。

ＣＰＵ１０１は、上記ステップＳ１３で推定された移動体と対象物との相対的な状況に基づいて、移動体の運転を制御する（ステップＳ１４）。具体的には、例えば対象物が接近している場合に、ＣＰＵ１０１は、移動体を対象物の移動経路から外して停止制御し、対象物が離脱したら、運転制御を終了して通常運転に戻すなどである。

（変形例）
上記第１および第２の実施形態では、制御対象である移動体として、自動車を例にして説明したが、例えば自走型のロボットや飛行体であっても良い。

図１４に自走型のロボットの一例を示す。
ロボット６１は、例えば無人監視用のロボットである。このロボット６１には、図１および図２で説明した制御装置１が備えられる。制御装置１は、マイク部１１を通じてロボット６１の周囲の音を取得すると共に、センサ部１２を通じてロボット６１の自状況情報を取得する。

ロボット６１が工場内を自走し、マイク部１１を通じて工場内の製造装置から警告音が発報されていないか、故障や火災等による異常な音が発生していないかを監視する。ロボット６１は、警告音や異常な音を検知すると、その音の発生場所に接近するように運転制御される。ロボット６１は、音の発生場所の位置情報から製造装置の型番等の情報を取得したり、映像等で状況を取得したりする。

ここで、走行を優先する他のロボットが警報音を出して走行している場合、そのロボットとロボット６１との関係は、上述した緊急車両６と自車５との関係と同じになる。

図１５に飛行体の一例を示す。
飛行体６２は、例えばドローン（無人航空機）である。この飛行体６２には、図１および図２で説明した制御装置１が備えられる。制御装置１は、マイク部１１を通じて飛行体６２の周囲の音を取得すると共に、センサ部１２を通じて飛行体６２の自状況情報を取得する。

飛行体６２は、予め設定された音信号を発する場所に運転制御され、映像等で状況を取得する。また、飛行体６２は、他の飛行体が発する音を検知して、衝突しないように運転制御される。

このように、自走型のロボットや飛行体を制御対象とした場合でも、上記第１および第２の実施形態と同様の効果を得ることができる。

なお、対象物の音以外の要素として、例えば対象物の温度を検知することを加えても良い。これにより、対象物の接近／離脱に伴う温度の変化を加味して、制御対象である移動体の運転を制御することができる。その他、例えば対象物が発する電磁波などを検知することを加えても良い。カメラを用いた自動運転は対象物が見える場所でしか適用できないが、対象物の音の他に、温度や電磁波などを含めて検知することで、対象物が見えない場所でも高精度な自動運転を実現できる。

以上述べた少なくとも１つの実施形態によれば、移動体と対象物との相対的な状況を考慮して、移動体のスムーズな自動運転を実現できる移動体制御装置、方法及びプログラムを提供することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…制御装置、２…被制御部、２ａ…動力、２ｂ…ハンドル、２ｃ…運転モード、３…学習部、４…出力部、５…自車、６…緊急車両、７ａ，７ｂ…他車、１０…取得部、１１…マイク部、１２…センサ部、１３…自状況取得部、２０…状況推定部、２１…検知部、２２…状況推定処理部、３０…運転制御部、３１…判断部、３２…制御処理部、３３…辞書、５１…線路、５２，５３…踏切、５２ａ，５３ａ…警報機、５４…電車、６１…ロボット、６２…飛行体、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…主メモリ、１０４…通信デバイス。

Claims (13)

1. 対象物が発する音信号を取得する取得部と、
   上記取得部によって得られた上記対象物の音信号に基づいて、制御対象である移動体と上記対象物との相対的な状況を推定する状況推定部と、
   上記状況推定部によって推定された状況に基づいて、上記移動体の運転を制御する運転制御部とを具備し、
   上記運転制御部は、
   上記移動体の移動経路上における上記移動体と上記対象物との相対的な状況を想定した入力群と、各状況に対する上記移動体の理想的な運転制御を行うための正解データ群との関係をペアで有する学習部によって学習された辞書情報に基づいて、上記対象物の接近と離脱に対して上記移動体の運転を制御する、
   移動体制御装置。
2. 上記移動体と上記対象物との相対的な状況は、上記移動体に対する上記対象物の相対的な方向、速度、距離の少なくとも一つ以上を含む請求項１記載の移動体制御装置。
3. 上記取得部は、
   上記移動体の自状況情報を取得することを含み、
   上記状況推定部は、
   上記移動体の自状況情報を考慮して、上記移動体と上記対象物との相対的な状況を推定する請求項１または２に記載の移動体制御装置。
4. 上記移動体の自状況情報は、上記移動体の速度、移動方向、現在位置の少なくとも一つ以上を含む請求項３記載の移動体制御装置。
5. 上記学習部は、上記移動体と上記対象物との相対的な状況に応じた上記移動体の運転制御の開始と終了を学習している請求項１記載の移動体制御装置。
6. 上記音信号を検知したこと、または、上記移動体に対する上記音信号の相対方向を示す情報を出力する出力部を備えた請求項１または２に記載の移動体制御装置。
7. 上記移動体は、少なくとも自動車、飛行体、船舶、自走型ロボットのいずれかを含む請求項１乃至６のいずれか１つに記載の移動体制御装置。
8. 上記対象物は、少なくとも緊急車両を含む移動体である請求項１乃至６のいずれか１つに記載の移動体制御装置。
9. 上記対象物は、少なくとも踏切の警報器を含む非移動体である請求項１乃至７のいずれか１つに記載の移動体制御装置。
10. 移動体制御装置が、
    対象物が発する音信号を取得し、
    上記対象物の音信号に基づいて、制御対象である移動体と上記対象物との相対的な状況を推定し、
    上記移動体の移動経路上における上記移動体と上記対象物との相対的な状況を想定した入力群と、各状況に対する上記移動体の理想的な運転制御を行うための正解データ群との関係をペアで有する学習部によって学習された辞書情報に基づいて、上記対象物の接近と離脱に対して上記移動体の運転を制御する、
    移動体制御方法。
11. 上記移動体と上記対象物との相対的な状況は、上記移動体に対する上記対象物の相対的な方向、速度、距離の少なくとも一つ以上を含む請求項１０記載の移動体制御方法。
12. 記録媒体に記録され、コンピュータによって実行されるプログラムであって、
    上記コンピュータを
    対象物が発する音信号を取得する取得部と、
    上記取得部によって得られた上記対象物の音信号に基づいて、制御対象である移動体と上記対象物との相対的な状況を推定する状況推定部と、
    上記状況推定部によって推定された状況に基づいて、上記移動体の運転を制御する運転制御部として機能させ、
    上記運転制御部は、
    上記移動体の移動経路上における上記移動体と上記対象物との相対的な状況を想定した入力群と、各状況に対する上記移動体の理想的な運転制御を行うための正解データ群との関係をペアで有する学習部によって学習された辞書情報に基づいて、上記対象物の接近と離脱に対して上記移動体の運転を制御する、
    プログラム。
13. 上記移動体と上記対象物との相対的な状況は、上記移動体に対する上記対象物の相対的な方向、速度、距離の少なくとも一つ以上を含む請求項１２記載のプログラム。

Images