JP6946115B2

JP6946115B2 - 移動体運行支援システム

Info

Publication number: JP6946115B2
Application number: JP2017163582A
Authority: JP
Inventors: 籠嶋　岳彦; 岳彦籠嶋; 山中　紀子; 紀子山中; 達馬石原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2017-08-28
Filing date: 2017-08-28
Publication date: 2021-10-06
Anticipated expiration: 2037-08-28
Also published as: US20190061781A1; US11453411B2; JP2019040522A

Description

本発明の実施形態は、移動体運行支援システムに関する。

例えば自動車などの移動体において、自動運転技術が開発されている。自動運転の移動体に乗る人（搭乗者）は、例えば音声により、移動体に運行の指示を行う。より適切な運行が可能なことが望まれる。

特開２００６−３３９８１０号公報

本発明の実施形態は、適切な運行が可能な移動体運行支援システムを提供する。

本発明の実施形態によれば、移動体運行支援システムは、移動体の状態に関する移動体情報を入手する入手部と、前記移動体に設けられたマイクロフォンと、オペレータが用いるオペレータ用通信装置と送受信が可能な通信部と、前記マイクロフォンで取得された音に基づいて前記移動体に載っているユーザの指示に関する指示情報と、前記移動体情報と、に基づいて、第１動作及び第２動作のいずれかを実施する処理部と、を含む。前記第１動作においては、前記処理部は、前記移動体に前記指示情報に応じた動作をさせる。前記第２動作においては、前記処理部は、前記通信部と前記オペレータ用通信装置との間の前記送受信により、前記ユーザと前記オペレータとの通信を可能にする。

実施形態に係る移動体運行支援システムを例示する模式図である。実施形態に係る移動体運行支援システムを例示するブロック図である。実施形態に係る移動体運行支援システムの動作を例示するフローチャート図である。実施形態に係る移動体運行支援システムの使用例を示す模式図である。

以下に、本発明の各実施の形態について図面を参照しつつ説明する。
本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施形態に係る移動体運行支援システムを例示する模式図である。
図２は、実施形態に係る移動体運行支援システムを例示するブロック図である。
図１及び図２に示すように、実施形態に係る移動体運行支援システム１１０は、入手部１２と、マイクロフォン１０Ｍと、通信部１０Ｔと、処理部１１と、を含む。この例では、移動体運行支援システム１１０は、スピーカ１０Ｓ、撮像部１４及びセンサ１５をさらに含む。

例えば、マイクロフォン１０Ｍ、スピーカ１０Ｓ、撮像部１４及びセンサ１５は、移動体３０に設けられる。

移動体３０は、例えば車である。この場合、移動体３０は、車輪を有する。後述するように、移動体３０は、船または航空機などを含んでも良い。

移動体３０にユーザ７０が乗ることが可能である。移動体３０は、自動運転が可能である。移動体３０は、人による運転が可能でも良い。以下の例では、移動体３０にユーザ７０が乗り、移動体３０が自動運転する。移動体３０はユーザ７０の望む目的地までユーザ７０を運ぶ。

例えば、マイクロフォン１０Ｍは、音を取得する。この音は、ユーザ７０の声を含む。例えば、マイクロフォン１０Ｍにより取得されたユーザ７０の声を音声認識することで、ユーザ７０の意図（例えば目的地など）が理解できる。

スピーカ１０Ｓは、音を発生する。この音は、例えば、ユーザ７０に向けた質問を含む。質問を含む音（質問音）をユーザ７０が聞く。ユーザ７０は、質問に回答できる。回答がマイクロフォン１０Ｍで取得され、ユーザ７０の意図がさらに理解される。

撮像部１４は、例えば、移動体３０の内部を撮像できる。撮像部１４により、例えば、ユーザ７０の像が撮像できる。この像により、ユーザ７０の状態が推定できる。

入手部１２は、移動体３０の状態（例えば、移動体３０の現在位置や移動体３０の速度など）に関する移動体情報を入手可能である。移動体情報は、移動体３０に設けられるセンサ（移動体センサ３２、図２参照）で取得されても良い。移動体センサ３２で取得された移動体情報を、入手部１２が入手しても良い。または、移動体情報は、センサ１５で取得されても良い。センサ１５で取得された移動体情報を、入手部１２が入手しても良い。

移動体運行支援システム１１０に、記憶部１６（図２参照）が設けられても良い。記憶部１６は、移動体運行支援システム１１０（例えば処理部１１）で実施される動作の少なくとも一部に関するプログラムを記憶できる。記憶部１６は、移動体運行支援システム１１０（例えば処理部１１）で実施される動作で使用されるデータの少なくとも一部を記憶できる。

移動体３０は、例えば、オペレータ８０により制御されることができる。オペレータ８０は、移動体３０を遠隔操作しても良い。例えば、オペレータ８０により、例えば、移動体３０の目的地などが設定できても良い。オペレータ８０は、例えば、オペレータ用通信装置８０Ｔを介して、移動体３０の制御を行う。例えば、オペレータ８０は、オペレータ用マイクロフォン８０Ｍ及びオペレータ用スピーカ８０Ｓを有している。例えば、オペレータ８０は、移動体３０のマイクロフォン１０Ｍにより取得された音を、オペレータ用スピーカ８０Ｓで聞くことが可能である。例えば、オペレータ８０は、移動体３０のスピーカ１０Ｓを用いて、ユーザ７０に話しかけることが可能である。

このように、オペレータ８０は、移動体３０の制御の他に、ユーザ７０との通信（会話などを含む）が可能である。この通信は、例えば、オペレータ用通信装置８０Ｔと、通信部１０Ｔと、により行われる。

移動体運行支援システム１１０の通信部１０Ｔは、オペレータ８０が用いるオペレータ用通信装置８０Ｔと送受信が可能である。

移動体運行支援システム１１０の処理部１１は、第１動作及び第２動作を実施可能である。これらの動作は、ユーザ７０の指示と、移動体情報と、に基づいて、切り替えて行われる。例えば、マイクロフォン１０Ｍで取得された音に基づいて、移動体３０に乗っているユーザ７０の指示（例えば目的地など）に関する指示情報が導出できる。この導出は、例えば、音声認識などにより行われる。一方、上記の移動体情報（例えば移動体３０の現在位置や移動体３０の速度など）は、入手部１２で入手される。

処理部１１は、指示情報と移動体情報とに基づいて、第１動作及び第２動作のいずれかを実施する。第１動作においては、処理部１１は、移動体３０に、指示情報に応じた動作をさせる。一方、第２動作においては、処理部１１は、通信部１０Ｔとオペレータ用通信装置８０Ｔとの間の送受信により、ユーザ７０とオペレータ８０との通信を可能にする。

第１動作は、例えば、ユーザ７０の指示が、移動体３０の現在の状況に適合しており、ユーザ７０の指示の通りに移動体３０が運行しても問題ない場合に行われる。一方、例えば、ユーザ７０の指示が不明確な場合がある。または、ユーザ７０の指示が移動体３０の現在の状況に適合しておらず、ユーザ７０の指示の通りに移動体３０が運行すると危険な場合がある。このような場合に、処理部１１は、第１動作ではなく、第２動作を実施する。これにより、移動体３０の適切な運行が支援できる。

例えば、処理部１１から出力される信号が、移動体３０の制御部３１（図２参照）に供給される。制御部３１は、駆動部３３を制御する。駆動部３３の動作により移動体３０が運行される。これにより、例えば、上記の第１動作が実施される。

一方、第２動作において、処理部１１は、ユーザ７０とオペレータ８０との通信を可能にする。例えば、処理部１１は、通信部１０Ｔとオペレータ用通信装置８０Ｔとの間の通信により、オペレータ８０に通知を行う。処理部１１は、オペレータ８０に、ユーザ７０との通信を行うことを促す。処理部１１は、ユーザ７０の声を含むこれまでの経緯をオペレータ８０に提供しても良い。

第２動作の実施により、オペレータ８０は、ユーザ７０との通信に基づいて、ユーザ７０の望むサービスを提供できる。例えば、ユーザ７０との会話に基づいて、オペレータ８０は、ユーザ７０が望む目的地を移動体３０に設定できる。例えば、オペレータ８０は、ユーザ７０に移動体３０の状態を説明し、ユーザ７０と相談できる。その結果に基づいて、オペレータ８０は、移動体３０の運行を制御できる。オペレータ８０は、例えば、オペレータ用通信装置８０Ｔを介して、移動体３０の制御部３１にデータを送信できる。これにより、オペレータ８０は、移動体３０の運行を制御できる。

以下、移動体３０で実施される自動運転の例について説明する。
例えば、移動体３０に設けられる各種のセンサなどにより、移動体３０の周囲の状況が把握され、移動体３０の運行が、ユーザ７０の操作なしで行われる。

このような自動運転においても、目的地の設定などは、ユーザ７０により行われる。例えば、移動体３０の運行の開始時に、ユーザ７０から目的地などを含む指示が、例えば、声などにより行われる。例えば、声を含む音がマイクロフォン１０Ｍにより取得され、音声認識されて、ユーザ７０の意図が理解される。ユーザ７０の意図（例えば目的地）に従って、移動体３０の運行が開始される。

このとき、例えば、ユーザ７０の指示だけに基づいて移動体３０が運行される参考例においては、危険な状態または不都合な状態が発生することがある。例えば、ユーザ７０が声により指示した目的地が、現在の位置から異常に遠い場合がある。例えば、ユーザ７０が望む目的地の名前を正確には知らない場合がある。このような場合は、目的地が誤って設定されると、ユーザ７０に適したサービスが提供できない。例えば、移動体３０が移動中において、ユーザ７０から急に止まることが要求されることがある。この場合に、ユーザ７０の要求の通りに急に止まると、事故が発生することがある。このような要求（ユーザ７０の指示）があった場合に、ユーザ７０の指示だけに基づいて移動体３０が運行される参考例は、危険である。

または、例えば、ユーザ７０の指示の目的地に到着したときに、到着した位置が、ユーザ７０が望んでいない位置である場合がある。ユーザ７０の指示だけに基づいて移動体３０が運行される参考例においては、到着したときに、トラブルが発生する。この場合も、ユーザ７０に適切なサービスが提供できない。

例えば、音声認識及び意図理解の技術（例えば人口知能の技術）が高度である場合には、このような状況のときも、ユーザ７０にある程度適切なサービスを提供できる可能性がある。しかしながら、人口知能の技術の高度化には限界があり、結果として、ユーザ７０に適切なサービスを提供することは、実用的には困難である。

これに対して、実施形態においては、ユーザ７０の指示情報に加えて、入手部１２が入手した移動情報に基づいて、移動体３０の自動運転、または、オペレータ８０との通信が行われる。移動体３０に関する現在の状態（移動体情報）を考慮することで、危険な状態または不都合な状態の発生が抑制できる。

実施形態においては、２つの運行状態がある。１つの運行状態では、ユーザ７０の意図を移動体運行支援システム１１０の処理部１１が判断して、処理部１１の判断に基づいて、移動体３０が運行される。別の１つの運行状態では、オペレータ８０がユーザ７０と会話して、オペレータ８０がユーザ７０の意図を判断し、そして、オペレータ８０の判断に基づいて移動体３０が運行される。実施形態によれば、適切な運行が可能な移動体運行支援システムが提供できる。

実施形態によれば、例えば、ユーザ７０の指示の通りに移動体３０が運行しても良い場合（例えば安全な場合）は、第１動作が実施される。例えば、ユーザ７０の声を音声認識してユーザ７０の意図が理解され、ユーザ７０の所望の運行が実施される。オペレータ８０の制御が省略でき、便利になる。一方、ユーザ７０の指示の通りに移動体３０が運行すると不都合な場合（例えば不安全な場合）は、第２動作が実施される。例えば、オペレータ８０とユーザ７０との会話によりオペレータ８０が移動体３０を制御できる。これにより、ユーザ７０に適切なサービスを提供できる。

実施形態において、ユーザ７０は、携帯電話、スマートフォンまたは携帯型のパーソナルコンピュータなどの機器７１（図１及び図２参照）を持っていても良い。例えば、オペレータ８０とユーザ７０との通信の一部が、機器７１を介して行われても良い。

例えば、機器７１には、ユーザセンサ７５が設けられても良い。ユーザセンサ７５は、ユーザ７０の状態を検出できる。ユーザ７０の状態は、ユーザ７０の位置、ユーザ７０の移動の速度、及び、ユーザ７０の生体状態の少なくともいずれかを含む。ユーザセンサ７５は、例えば、ＧＰＳを含んでも良い。ユーザセンサ７５は、加速度センサを含んでも良い。ユーザセンサ７５は、脈拍、体温、血圧、血中酸素濃度、及び、呼気中アルコール濃度の少なくとも一部を検出可能でも良い。

例えば、機器７１と移動体運行支援システム１１０とが通信可能でも良い。機器７１のユーザセンサ７５で得られるユーザ７０に関する情報から、移動体３０の状態（移動体３０の位置または速度など）の少なくとも一部が推定されても良い。移動体情報の少なくとも一部が、ユーザセンサ７５の出力に基づいて取得されても良い。処理部１１で行われる第１動作及び第２動作の一方の動作は、ユーザセンサ７５の出力に基づいて行われても良い。

実施形態において、例えば、移動体情報は、移動体３０の速度、移動体３０の加速度、移動体３０の進行方向、移動体３０の位置、及び、移動体３０の駆動源の残量の少なくとも１つを含む。移動体３０の位置は、例えば、ＧＰＳ情報などに基づく。移動体３０の駆動源は、例えば、燃料を含む。燃料は、ガソリン及び軽油などを含む。燃料は、水素などを含んでも良い。駆動源は、燃料電池を含む。駆動源は、電池を含む。

例えば、上記の移動体情報と、上記の指示情報（ユーザ７０の指示に関する情報）と、に基づいて、第１動作及び第２動作の一方が行われる。

例えば、処理部１１は、指示情報に応じた動作を移動体３０が実施したときに安全であると判断されるときに、第１動作を実施する。一方、処理部１１は、指示情報に応じた動作を移動体３０が実施したときに不安全であると判断されるときに、第２動作を実施する。例えば、移動体３０が高速で移動中である場合、または、移動体３０の加速度が大きい場合に、指示情報の通りに移動体３０が運行すると不安全（危険）な場合がある。不安全な場合には、第２動作を実施して、オペレータ８０による制御に切り替える。

例えば、指示情報が、運行の目的地に関する情報を含む場合がある。このとき、移動体情報は、移動体３０の現在位置を含む。処理部１１は、現在位置と目的地との間の距離が所定の第１距離以下のときに、第１動作を行う。一方、処理部１１は、現在位置と目的地との間の距離がこの第１距離を超えるときに、第２動作を行う。第１距離は、移動体３０において予め設定できる。ユーザ７０の指示した目的地が、異常に遠いときに第２動作が実施される。

同様に、実施形態において、指示情報が、運行の目的地に関する情報を含む場合がある。このとき、移動体情報は、移動体３０の駆動源の現在残量を含んでもよい。処理部１１は、現在残量が、目的地までに消費すると推定される「駆動源の使用推定量」よりも多いときに、第１動作を行う。一方、処理部１１は、現在残量が使用推定量以下のときに、第２動作を行う。例えば、ユーザ７０の希望する目的地が遠く、移動体３０の駆動源の残量では到達できないと推定される場合は、第２動作が行われる。

同様に、実施形態において、指示情報が、運行の目的地に関する情報を含む場合がある。このとき、移動体情報は、移動体３０の進行方向を含んでも良い。目的地の方向が、移動体３０の現在の進行方向と大きく異なる場合がある。このような場合に、第１動作と第２動作とが切り替えて行われても良い。例えば、処理部１１は、目的地の方向と進行方向との差が、しきい値以下のときに、第１動作を行う。一方、処理部１１は、この差が、上記のしきい値を超えるときに、第２動作を行う。目的地の方向が、移動体３０の現在の進行方向と大きく異なる場合になどに、例えば、オペレータ８０とユーザ７０との通信が開始され、ユーザ７０の意図がオペレータ８０により確認できる。

同様に、実施形態において、指示情報が、運行の目的地に関する情報を含む場合がある。移動体３０がこの目的地まで移動した後で、その目的地が、ユーザ７０が意図した位置とは異なる場合がある。このような場合に、第１動作と第２動作とが切り替えて行われても良い。例えば、処理部１１が、第１動作を実施して、移動体３０に指示情報に応じた動作をさせ、移動体３０が目的地に到着する。このとき、ユーザ７０の意図がその目的地と異なると推定される場合がある。例えば、ユーザ７０の声を音声認識することで、ユーザ７０の意図がその目的地と異なると推定できる。このような場合に、処理部１１は、第２動作をさらに実施する。この第２動作により、オペレータ８０とユーザ７０との通信により、ユーザ７０の意図に応じた運行が、オペレータ８０の制御により実施される。

実施形態において、移動体情報は、移動体３０の速度及び移動体３０の加速度の少なくともいずれかを含む。このとき、処理部１１は、上記の少なくともいずれかが、しきい値以下のときに、第１動作を行う。しきい値は、例えば、安全な運行が可能な値である。処理部１１は、上記の少なくともいずれかが、このしきい値を超えるときに、第２動作を行う。安全な運行ができる。

処理部１１は、ユーザ７０の指示に関する指示情報、及び、移動体情報に加えて、ユーザ７０に関する情報にさらに基づいて、第１動作及び第２動作のいずれかを実施しても良い。例えば、ユーザ７０の年齢、性別または言語などに応じて、第１動作及び第２動作の切り替えが行われても良い。例えば、自動運転に慣れていない人がユーザ７０である場合に、第２動作が行われる。これにより、ユーザ７０は、オペレータ８０に会話で運行についての要求を伝えることができる。例えば、ユーザ７０の所有する認識情報（例えば名前または携帯電話の番号など）により、ユーザ７０が過去に自動運転の経験が有る場合には、第１動作の実施の適用の頻度を高くしても良い。

例えば、移動体３０の所有者がユーザ７０（またはその家族など）である場合がある。このような場合、第１動作の実施の適用の頻度を高くしても良い。一方、移動体３０がタクシーなどの場合がある。このような場合、ユーザ７０は、自動運転に慣れている場合と、慣れていない場合と、がある。ユーザ７０に関する情報（例えば、年齢、性別または言語など）に基づいて、ユーザ７０の慣れの程度が、推定できる。これらのユーザ７０に関する情報は、例えば、マイクロフォン１０Ｍにより取得されるユーザ７０の声、及び、撮像部１４で取得されるユーザ７０の像の少なくともいずれかから導出できる。

ユーザ７０に関する情報は、ユーザ７０の感情情報を含んでも良い。例えば、ユーザ７０の声などから、ユーザ７０が怒っていることが推定できる。このような場合には、第２動作が行われる。この感情情報は、例えば、マイクロフォン１０Ｍで取得された音に含まれるユーザ７０の声の少なくとも一部から推定することが可能である。

ユーザ７０に関する情報は、ユーザ７０の生体情報（脈拍、体温、血圧、血中酸素濃度、及び、呼気中アルコール濃度の少なくともいずれか）を含んでも良い。ユーザ７０の生体情報は、移動体３０に設けられるセンサ、及び、ユーザ７０の機器７１に設けられるユーザセンサ７５の少なくともいずれかにより取得できる。ユーザ７０の生体情報に基づいて、動作を切り替えることで、ユーザ７０により適切なサービスを提供できる。

既に説明したように、１つの例において、移動体情報は、移動体３０に設けられる移動体センサ３２（図２参照）により取得される。この場合、移動体運行支援システム１１０の入手部１２は、移動体情報を移動体センサ３２から入手する。

別の例において、移動体運行支援システム１１０は、センサ１５（図１及び図２参照）をさらに含んでも良い。この場合、入手部１２は、移動体情報をセンサ１５から入手する。

さらに別の例において、移動体情報の少なくとも一部は、ユーザ７０が所有する機器７１に設けられるユーザセンサ７５により取得されても良い。例えば、機器７１にＧＰＳが設けられる場合がある。例えば、機器７１に加速度センサなどが設けられる場合がある。このような場合には、移動体情報の少なくとも一部は、ユーザセンサ７５により取得できる。この場合、入手部１２は、移動体情報をユーザセンサ７５から入手する。

移動体運行支援システム１１０は、移動体３０に設けられたスピーカ１０Ｓをさらに含んでも良い。オペレータ８０とユーザ７０との通信は、マイクロフォン１０Ｍとスピーカ１０Ｓとにより行われる。

実施形態において、オペレータ８０とユーザ７０との通信の少なくとも一部は、ユーザ７０の携帯端末（機器７１）により行われても良い。

以下、移動体運行支援システム１１０で実施される動作の例について説明する。以下の例では、移動体３０がタクシーであり、ユーザ７０がタクシーの客である。
図３は、実施形態に係る移動体運行支援システムの動作を例示するフローチャート図である。
移動体３０にユーザ７０が乗ると、移動体運行支援システム１１０から、ユーザ７０への問いかけが行われる。例えば、「目的地はどこですか？」などの音声がスピーカ１０Ｓから発生される。このように、ユーザ７０に向けて、「サービスの要求」が促される（ステップＳ１０１）。

これに対して、ユーザ７０から声が出る。この声を音声認識する（ステップＳ１１０）。この声は、例えば目的地の指定に関する情報を含む。後述するように、ユーザ７０の指示に関する指示情報は、マイクロフォン１０Ｍで取得された音の音声認識データにより導出される。

移動体運行支援システム１１０において、音声認識の結果から、意図理解が行われる（ステップＳ１２０）。声の中から、意図情報が抽出される。

対話制御が行われる（ステップＳ１３０）。例えば、抽出された意図情報が、状況に適合しているかどうかが判断される。例えば、ステップＳ１２０で得られた意図情報が、目的地に関するものでない場合がある。または、ステップＳ１２０で得られた意図情報が、不明確である場合がある。このような場合（意図情報が適切でない場合）には、目的地を再度確認するための応答生成及び音声合成が行われ、ステップＳ１０１に戻る。一方、ステップＳ１３０において、ステップＳ１２０で得られた意図情報が、目的地に関するものであり、明確である場合がある。このような場合（意図情報が適切である場合）には、意図情報が、ユーザ７０の指示に関する指示情報となる。そして、以下のステップＳ１４０に進む。

ステップＳ１４０では、動作制御が実施される。動作制御においては、指示情報及び移動体情報に基づいて、第１動作及び第２動作の一方が選択される。例えば、指示情報の通りに運行しても良い場合（指示情報が適切な場合）には、第１動作（ステップＳ１５０）に進む。一方、指示情報の通りに運行すると不都合な場合（指示情報が不適切な場合）には、第２動作（ステップＳ１６０）に進む。

ステップＳ１５０（第１動作）では、応答生成（ステップＳ１５１）及び音声合成（ステップＳ１５２）が行われる。例えば、意図情報が適切であり、指示情報として目的地が認識された場合、「目的地はＸＸＸでよいですか？」の応答が生成され、この内容の音声が合成される。合成された音声が、スピーカ１０Ｓから出る。ユーザ７０の了解が得られたら、移動体３０の制御（ステップＳ１５５）が行われる。例えば、移動体運行支援システム１１０の処理部１１から、移動体３０の制御部３１に、信号が供給される。例えば、移動体３０が、発進する。

ステップＳ１６０（第２動作）においては、オペレータ８０との通信が行われる（ステップＳ１６１）。オペレータ８０は、ユーザ７０との通信により、ユーザ７０の要求を理解する。例えば、オペレータ８０は、目的地を理解できる。これに基づいて、オペレータ８０により移動体３０が制御される（ステップＳ１６５）。例えば、オペレータ８０により、目的地に関する情報が、移動体３０に供給され、移動体３０は、その情報に応じて運行を開始する。
このようにして、適切な運行が可能になる。

実施形態において、スピーカ１０Ｓは、ユーザ７０に向けた質問を含む質問音を出射可能である（ステップＳ１０１、及び、ステップＳ１５１などを参照）。このとき、マイクロフォン１０Ｍで取得された音は、上記の質問音に対するユーザ７０の声を含む。この場合、指示情報は、ユーザ７０の声の音声認識データにより導出される（ステップＳ１２０、ステップＳ１３０及びステップＳ１４０参照）。

スピーカ１０Ｓからの質問に対して、ユーザ７０からの回答が無い場合や、回答が不明確な場合などがある。この場合は、質問が繰り返されても良い。すなわち、質問音の出射が複数回行われる。この質問の繰り返しによっても、回答が得られない場合がある。この場合には、質問音の出射が複数回行われた後に、処理部１１は、第２動作を行う。

図４は、実施形態に係る移動体運行支援システムの使用例を示す模式図である。
図４に示すように、実施形態に係る移動体運行支援システム１１０が用いられる移動体３０は、例えば、車（四輪車、三輪車及び二輪車などを含む）、列車、船舶及び航空機（ヘリコプタを含む）の少なくともいずれかである。

移動体３０がタクシーである場合、オペレータ８０は、タクシーの事業団体などに所属する。移動体３０がレンタカーである場合、オペレータ８０は、レンタカーの事業団体などに所属する。移動体３０が個人により所有される車である場合、オペレータ８０は、車の保険事業団体などに所属しても良い。

例えば、実施形態において、移動体３０がタクシーである場合、客（ユーザ７０）が要求を発声した際に、要求の内容と、タクシーのセンサデータと、に基づいて、自動応答するか、オペレータ８０の応答にするか、を切り替える。例えば、重要である場合、または、緊急である場合に、オペレータ８０が応答する。例えば、オペレータ８０の負担を抑制できる。適切なサービスが提供される。

例えば、自動応答だけではユーザ７０の要求の全てに対応することが困難である。例えばユーザ７０の発話だけでは、緊急性を判断することが困難な場合がある。一方、オペレータ８０の対応は、コストが上昇する。実施形態によれば、例えば、コストを抑制しつつ、適切なサービスを提供できる。

例えば、要求が、目的地の設定である場合において、移動体３０の速度が一定以下（例えばゼロ）の場合は、自動応答の動作（第１動作）を行う。一方、移動体３０の速度がゼロでない場合は、オペレータ８０の応答の動作（第２動作）を行う。これにより、例えば、走り出してからの急な変更にオペレータ８０が適切に対応できる。

例えば、要求が、移動体３０の停止の場合において、移動体３０が停止できる場合は、自動応答（第１動作）が実施され、移動体３０は、停止する。一方、移動体３０が停止できない位置にある場合（例えば高速道路など）、オペレータ８０による応答（第２動作）が行われる。

例えば、ユーザ７０の応答がない場合がある。この場合に、移動体３０の位置が目的地である場合は、自動応答（第１動作）が実施され、目的地で停止する。この場合、ユーザ７０が寝ている可能性があるので、ユーザ７０を起こさない。一方、移動体３０の位置が目的地であっても、移動体３０の停止時間が一定以上に長くなった場合には、オペレータ８０の応答（第２動作）が実施される。例えば、オペレータ８０により、ユーザ７０の状況が確認される。オペレータ８０は、必要に応じて、ユーザ７０の下車を促す。

例えば、要求が目的地の設定である場合において、その目的地が所定の距離よりも遠い場合（または、所定の金額よりも高くなる場合、または、所定の予想所用時間よりも長くなる場合）、第２動作が実施される。

例えば、処理部１１は、現在位置及び目的地に関する値が第１値以下のときに、第１動作を行い、処理部１１は、現在位置及び目的地に関するその値がその第１値を超えるときに、第２動作を行っても良い。現在位置及び目的地に関する上記の値は、例えば、現在位置と目的地との間の距離、現在位置と目的地との間で発生する費用（金額）、及び、現在位置と目的地との間の移動に関する所用時間、の少なくともいずれかを含んでも良い。

例えば、移動体３０に設けられているナビゲータ装置が誤りを生じる場合がある。例えば、ユーザ７０の目的地の指示が誤りである場合がある。例えば、ユーザ７０が複数であり、ユーザの要求を理解できない場合がある。例えば、雑音などにより、ユーザの要求を理解できない場合がある。例えば、意図理解が失敗する。このような種々の状態においては、所定の時間が経過したら、第２動作を実施する。より適切なサービスを提供できる。

実施形態によれば、適切な運行が可能な移動体運行支援システムが提供できる。

以上、例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの例に限定されるものではない。例えば、移動体運行支援システムに含まれる処理部、入手部、マイクロフォン、スピーカ、センサ、撮像部、記憶部及びオペレータ通信装置などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。

各例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

本発明の実施の形態として上述した移動体運行支援システムを基にして、当業者が適宜設計変更して実施し得る全ての移動体運行支援システムも、本発明の要旨を包含する限り、本発明の範囲に属する。

本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０Ｍ…マイクロフォン、１０Ｓ…スピーカ、１０Ｔ…通信部、１１…処理部、１２…入手部、１４…撮像部、１５…センサ、１６…記憶部、３０…移動体、３１…制御部、３２…移動体センサ、３３…駆動部、７０…ユーザ、７１…機器、７５…ユーザセンサ、８０…オペレータ、８０Ｍ…オペレータ用マイクロフォン、８０Ｓ…オペレータ用スピーカ、８０Ｔ…オペレータ用通信装置、１１０…移動体運行支援システム

Claims

移動体の状態に関する移動体情報を入手する入手部と、
前記移動体に設けられたマイクロフォンと、
前記移動体に設けられたスピーカと、
オペレータが用いるオペレータ用通信装置と送受信が可能な通信部と、
前記マイクロフォンで取得された音に基づいて前記移動体に乗っているユーザの指示に関する指示情報と、前記移動体情報と、に基づいて、第１動作及び第２動作のいずれかを実施する処理部と、
を備え、
前記第１動作においては、前記処理部は、前記移動体に前記指示情報に応じた動作をさせ、
前記第２動作においては、前記処理部は、前記通信部と前記オペレータ用通信装置との間の前記送受信により、前記ユーザと前記オペレータとの通信を可能にし、
前記通信は、前記マイクロフォンと前記スピーカとにより行われ、
前記スピーカは、前記ユーザに向けた質問を含む質問音を出射し、
前記マイクロフォンで取得された前記音は、前記質問音に対する前記ユーザの声を含み、
前記処理部は、
前記声の音声認識の結果から意図理解を行うことで、前記ユーザの意図情報を抽出し、
前記意図情報が適切な場合、前記意図情報を前記指示情報とし、
前記意図情報が適切でない場合、前記質問音の前記出射を繰り返し、
前記質問音の前記出射が複数回行われた後に、前記処理部は、前記第２動作を行う、移動体運行支援システム。
前記移動体情報は、前記移動体の速度、前記移動体の加速度、前記移動体の進行方向、前記移動体の位置、及び、前記移動体の駆動源の残量の少なくとも１つを含む、請求項１記載の移動体運行支援システム。
前記処理部は、前記指示情報に応じた前記動作を前記移動体が実施したときに安全であると判断されるときに、前記第１動作を実施し、
前記処理部は、前記指示情報に応じた前記動作を前記移動体が実施したときに不安全であると判断されるときに、前記第２動作を実施する、請求項１または２に記載の移動体運行支援システム。
前記指示情報が、運行の目的地に関する情報を含み、
前記移動体情報は、前記移動体の現在位置を含み、
前記処理部は、前記現在位置及び前記目的地に関する値が第１値以下のときに、前記第１動作を行い、
前記処理部は、前記現在位置及び前記目的地に関する前記値が前記第１値を超えるときに、前記第２動作を行い、
前記現在位置及び前記目的地に関する前記値は、
前記現在位置と前記目的地との間の距離、
前記現在位置と前記目的地との間で発生する費用、及び、
前記現在位置と前記目的地との間の移動に関する所用時間、
の少なくともいずれかを含む、請求項１記載の移動体運行支援システム。
前記指示情報が、運行の目的地に関する情報を含み、
前記移動体情報は、前記移動体の駆動源の現在残量を含み、
前記処理部は、前記現在残量が、前記目的地までに消費すると推定される、前記駆動源の使用推定量よりも多いときに、前記第１動作を行い、
前記処理部は、前記現在残量が前記使用推定量以下のときに、前記第２動作を行う、請求項１記載の移動体運行支援システム。
前記移動体情報は、前記移動体の速度及び前記移動体の加速度の少なくともいずれかを含み、
前記処理部は、前記少なくともいずれかが、しきい値以下のときに、前記第１動作を行い、
前記処理部は、前記少なくともいずれかが、前記しきい値を超えるときに、前記第２動作を行う、請求項１記載の移動体運行支援システム。
前記指示情報が、運行の目的地に関する情報を含み、
前記移動体情報は、前記移動体の進行方向を含み、
前記処理部は、前記目的地の方向と前記進行方向との差が、しきい値以下のときに、前記第１動作を行い、
前記処理部は、前記差が、前記しきい値を超えるときに、前記第２動作を行う、請求項１記載の移動体運行支援システム。
前記指示情報が、運行の目的地に関する情報を含み、
前記処理部が、前記第１動作を実施して、前記移動体に前記指示情報に応じた前記動作をさせ、前記移動体が前記目的地に到着したときに、前記ユーザの意図が前記目的地と異なると推定されるときに、前記第２動作をさらに実施する、請求項１記載の移動体運行支援システム。
前記処理部は、前記ユーザに関する情報にさらに基づいて前記第１動作及び前記第２動作の前記いずれかを実施する、請求項１〜８のいずれか１つに記載の移動体運行支援システム。
前記ユーザに関する前記情報は、前記ユーザの感情情報を含む、請求項９記載の移動体運行支援システム。
前記感情情報は、前記マイクロフォンで取得された前記音に含まれる前記ユーザの声の少なくとも一部から推定される、請求項１０記載の移動体運行支援システム。
前記ユーザに関する前記情報は、前記ユーザの生体情報を含む、請求項９記載の移動体運行支援システム。
前記移動体情報は、前記移動体に設けられる移動体センサにより取得され、
前記入手部は、前記移動体情報を前記移動体センサから入手する、請求項１〜１２のいずれか１つに記載の移動体運行支援システム。
センサをさらに備え、
前記入手部は、前記移動体情報をセンサから入手する、請求項１〜１２のいずれか１つに記載の移動体運行支援システム。
前記移動体情報の少なくとも一部は、前記ユーザが所有する機器に設けられるユーザセンサにより取得され、
前記入手部は、前記移動体情報を前記ユーザセンサから入手する、請求項１〜１２のいずれか１つに記載の移動体運行支援システム。
前記指示情報は、前記マイクロフォンで取得された前記音の音声認識データにより導出される、請求項１〜１５のいずれか１つに記載の移動体運行支援システム。
前記通信の少なくとも一部は、前記ユーザの携帯端末により行われる、請求項１〜１６のいずれか１つに記載の移動体運行支援システム。