JP6506363B2

JP6506363B2 - 運転支援システム

Info

Publication number: JP6506363B2
Application number: JP2017174977A
Authority: JP
Inventors: 絢介甲斐
Original assignee: Mitsubishi Logisnext Co Ltd
Current assignee: Mitsubishi Logisnext Co Ltd
Priority date: 2017-09-12
Filing date: 2017-09-12
Publication date: 2019-04-24
Anticipated expiration: 2037-09-12
Also published as: JP2019048714A

Description

本発明は、オペレータによる荷役車両の運転を、荷役車両に搭乗していないサポータにより支援する運転支援システムに関するものである。

荷役作業を行うための荷役車両として、オペレータの手動操作により動作する有人運転モードと、手動操作によらずに自律して動作する無人運転モードとを切り替え可能な有人無人兼用車が知られている（例えば特許文献１参照）。オペレータが荷役車両である有人無人兼用車を運転できないときには、有人運転モードから無人運転モードに切り替えることによって、荷役車両に荷役作業を行わせることができる。

特開２０１０−２２２１０８号公報

ところで、手動操作によらずに自律して動作する荷役車両の普及により、オペレータが荷役車両を運転する機会が減少すると、そのオペレータの運転スキルが低下するおそれがあり、手動操作により荷役車両を運転する必要が生じたときに、荷役作業の作業効率が悪くなるおそれがある。また、荷役車両の運転経験等に応じてオペレータ毎に運転スキルは異なる。そのため、オペレータによる荷役車両の運転を段階的に支援することが求められる。

本発明は、上記事情に鑑みてなされたものであって、オペレータによる荷役車両の運転を段階的に支援することが可能な運転支援システムを提供することを課題とする。

上記課題を解決するため、請求項１に記載の本発明の運転支援システムは、オペレータによる荷役車両の運転を、当該荷役車両に搭乗していないサポータにより支援する運転支援システムであって、前記荷役車両に設けられ、当該荷役車両を動作させるための前記オペレータの操作を受け付け可能な操作受付装置と、前記荷役車両を運転している前記オペレータの生体情報を測定する生体情報測定装置と、前記オペレータに対する前記サポータからのアドバイスを受け付けるアドバイス受付装置と、前記荷役車両を動作させるための前記サポータの操作を受け付け可能な遠隔操作受付装置と、前記生体情報測定装置による前記生体情報の測定結果に基づいて、前記オペレータの状態が、所定の平常状態であるか所定の軽度の緊張状態であるか所定の重度の緊張状態であるかを判定する状態判定装置と、前記アドバイス受付装置で受け付けた前記アドバイスを、前記オペレータに対して出力可能なアドバイス出力装置と、前記荷役車両の動作を制御する車両制御装置とを備え、前記アドバイス出力装置は、前記状態判定装置により前記オペレータの状態が前記平常状態であると判定された場合は、前記アドバイスを出力しない非出力モードで動作し、前記状態判定装置により前記オペレータの状態が前記軽度の緊張状態であると判定された場合は、前記アドバイスを出力する出力モードで動作し、さらに、前記車両制御装置は、前記状態判定装置により前記オペレータの状態が前記平常状態であると判定された場合と前記軽度の緊張状態であると判定された場合は、前記操作受付装置で受け付けた操作に基づいて前記荷役車両を制御する通常制御モードで動作し、前記状態判定装置により前記オペレータの状態が前記重度の緊張状態であると判定された場合は、前記遠隔操作受付装置で受け付けた操作に基づいて前記荷役車両を制御する支援制御モードで動作することを特徴とする。

また、請求項２に記載の運転支援システムは、請求項１に記載の運転支援システムにおいて、前記生体情報測定装置は、前記生体情報として、前記オペレータの心拍数または脈拍数を測定することを特徴とする。

また、請求項３に記載の運転支援システムは、請求項２に記載の運転支援システムにおいて、前記状態判定装置は、前記心拍数または脈拍数が、所定の第１閾値よりも小さい場合は、前記オペレータの状態が前記平常状態であると判定し、前記第１閾値よりも大きく所定の第２閾値よりも小さい場合は、前記オペレータの状態が前記軽度の緊張状態であると判定し、前記第２閾値よりも大きい場合は、前記オペレータの状態が前記重度の緊張状態であると判定することを特徴とする。

また、請求項４に記載の運転支援システムは、請求項１〜３のいずれか一項に記載の運転支援システムにおいて、前記アドバイス受付装置は前記遠隔操作受付装置を兼ねていることを特徴とする。

また、請求項５に記載の運転支援システムは、請求項１〜４のいずれか一項に記載の運転支援システムにおいて、前記オペレータまたは前記荷役車両に設けられ、前記荷役車両の前方を撮影可能なカメラと、前記カメラで撮影された映像を前記サポータに対して表示する映像表示装置とを備えることを特徴とする。

本発明によれば、オペレータによる荷役車両の運転を段階的に支援することが可能な運転支援システムを提供することができる。

本発明の一実施形態に係る運転支援システムの概要図である。同実施形態に係る荷役車両の概略構成を示すブロック図である。同実施形態に係る運転支援の流れを示すフローチャートである。

図面を参照しながら、本発明の一実施形態について説明する。
図１に示すように、運転支援システムＳは、荷役車両１と、生体情報測定装置２と、カメラ３と、管理サーバ４と、サポート用端末装置５とを備えている。運転支援システムＳは、オペレータＷによる荷役車両１の運転を、荷役車両１に搭乗していないサポータＶにより支援する。

荷役車両１は、その荷役車両１に搭乗しているオペレータＷまたはサポータＶの手動操作により動作する有人運転モードと、手動操作によらずに自律して動作する無人運転モードとを切り替え可能に構成された有人無人兼用フォークリフトである。

生体情報測定装置２は、荷役車両１を運転しているオペレータＷの生体情報を測定するウェアラブルデバイスであって、オペレータＷの生体情報として所定時間当たりの脈拍数または心拍数を測定する。生体情報測定装置２は、当該生体情報測定装置２で測定したオペレータＷの生体情報を、管理サーバ４に送信する。

カメラ３は、オペレータＷの頭部に設けられたヘッドマウントカメラであって、荷役車両１の前方（進行方向）を撮影する。カメラ３は、当該カメラ３で撮影した映像を、サポート用端末装置５に送信する。

管理サーバ４は、荷役車両１、生体情報測定装置２、および、カメラ３と無線で通信可能に構成されている。管理サーバ４は、生体情報測定装置２による生体情報の測定結果に基づいて、オペレータＷの状態を判定する状態判定装置として機能する。また、管理サーバ４は、荷役車両１とサポート用端末装置５との通信、および、カメラ３とサポート用端末装置５との通信を中継する通信中継装置として機能する。

本実施形態では、管理サーバ４は、オペレータＷの脈拍数または心拍数に基づいて、オペレータＷの状態が、所定の緊張状態（支援対象状態）であるか否かを判定するとともに、軽度および重度のいずれの緊張状態であるかを判定する。管理サーバ４は、オペレータＷの状態の判定結果を、荷役車両１およびサポート用端末装置５に送信する。

サポート用端末装置５は、オペレータＷに対するサポータＶからのアドバイスを受け付けるアドバイス受付装置、荷役車両１を動作させるためのサポータＶの操作を受け付け可能な遠隔操作受付装置、および、カメラ３で撮影された映像をサポータＶに対して表示する映像表示装置として機能する。サポート用端末装置５は、管理サーバ４から送信されたオペレータＷの状態の判定結果を受信し、当該判定結果に応じてサポータＶに荷役車両１の運転の支援を促す。

本実施形態では、サポート用端末装置５は、オペレータＷの状態が緊張状態であると判定されたとき、カメラ３で撮影された映像を表示し、荷役車両１の運転に係るアドバイスをサポータＶに促し、当該アドバイスを荷役車両１に送信する。また、サポート用端末装置５は、オペレータＷの状態に応じて、荷役車両１の動作を制御するための操作をサポータＶに促し、当該操作に係る制御信号を荷役車両１に送信する。サポート用端末装置５は、荷役車両１の運転に係るアドバイスを、音声またはテキストの入力により受け付け可能に構成することができ、荷役車両１の動作を制御するための操作を、汎用または専用の入力装置により受け付け可能に構成することができる。

図２に示すように、運転支援システムＳは、荷役車両１を構成する要素として、操作受付装置１１と、無線通信装置１２と、アドバイス出力装置１３と、車両制御装置１４とを備えている。

操作受付装置１１は、荷役車両１に設けられ、荷役車両１を動作させるためのオペレータＷの操作を受け付け可能に構成されている。操作受付装置１１は、荷役車両１の走行方向を制御するステアリング装置１１Ａと、荷役車両１の走行速度を制御するアクセル装置１１Ｂと、リフトシリンダ等の荷役用の油圧機器（図示略）を制御する油圧操作受付装置１１Ｃとを備えている。

無線通信装置１２は、外部装置と無線で通信可能に構成されている。無線通信装置１２は、管理サーバ４から送信されたオペレータＷの状態の判定結果、ならびに、サポート用端末装置５から送信されたアドバイスおよび制御信号を受信する。

アドバイス出力装置１３は、サポート用端末装置５で受け付けたアドバイスを、オペレータＷに対して出力可能に構成されている。具体的には、アドバイス出力装置１３は、無線通信装置１２で受信したアドバイスを、音声または映像により出力する。また、アドバイス出力装置１３は、管理サーバ４により判定されたオペレータＷの状態に応じて、アドバイスを出力しない非出力モードと、アドバイスを出力する出力モードとに切り替わるように構成されている。具体的には、アドバイス出力装置１３は、無線通信装置１２で受信した判定結果に基づき、オペレータＷの状態が緊張状態である場合は出力モードで動作し、オペレータＷの状態が緊張状態でない場合は非出力モードで動作する。

車両制御装置１４は、荷役車両１の有人運転モードにおける通常時には、操作受付装置１１で受け付けた操作に基づいて、荷役車両１の動作を制御する。具体的には、車両制御装置１４は、荷役車両１の走行方向および走行速度と荷役用の油圧機器とを制御可能に構成されている。また、車両制御装置１４は、管理サーバ４により判定されたオペレータＷの状態に応じて、操作受付装置１１で受け付けた操作に基づいて荷役車両１を制御する通常制御モードと、サポート用端末装置５で受け付けた操作に基づいて荷役車両１を制御する支援制御モードとに切り替わるように構成されている。すなわち、車両制御装置１４は、支援制御モードでは、無線通信装置１２で受信した制御信号に基づいて、荷役車両１の動作を制御する。

具体的には、車両制御装置１４は、無線通信装置１２で受信した判定結果に基づき、オペレータＷの状態が緊張状態でない場合および軽度の緊張状態である場合は、荷役車両１の走行方向および走行速度と荷役用の油圧機器を通常制御モードで制御し、オペレータＷの状態が重度の緊張状態である場合は、荷役車両１の走行方向および走行速度と荷役用の油圧機器を支援制御モードで制御する。

図３を参照して、荷役車両１の運転を支援する際の流れを説明する。なお、図３に示すフローチャートの開始時において、アドバイス出力装置１３は、非出力モードで動作し、車両制御装置１４は、荷役車両１の走行方向および走行速度と荷役用の油圧機器とを通常制御モードで制御していることを前提とする。

まず、生体情報測定装置２が、荷役車両１を運転しているオペレータＷの生体情報（脈拍数または心拍数）を測定する（ステップＳ１）。
次いで、管理サーバ４が、ステップＳ１における生体情報の測定結果に基づいて、オペレータＷの状態が緊張状態（支援対象状態）であるか平常状態であるかを判定する（ステップＳ２）。具体的には、例えば、管理サーバ４は、オペレータＷの平常時の脈拍数または心拍数（ＢＰＭ）が６５であるとき、ステップＳ１で測定されたオペレータＷの脈拍数または心拍数が、８０（所定の第１閾値）よりも小さい場合はオペレータＷの状態が平常状態であると判定し、８０（第１閾値）よりも大きい場合はオペレータＷの状態が緊張状態であると判定する。

オペレータＷの状態が緊張状態でないと判定された場合、すなわちオペレータＷの状態が平常状態であるとステップＳ２で判定された場合は、オペレータＷが荷役車両１の運転を苦手としていない蓋然性が高いため、荷役車両１の運転を支援しない。すなわち、アドバイス出力装置１３は、非出力モードで動作し、車両制御装置１４は、荷役車両１の走行方向および走行速度と荷役用の油圧機器とを通常制御モードで制御する。

一方、オペレータＷの状態が緊張状態であるとステップＳ２で判定された場合は、アドバイス出力装置１３を非出力モードから出力モードに切り替え、アドバイス出力装置１３がサポータＶからのアドバイスを出力可能な状態とする（ステップＳ３）。こうして、オペレータＷの状態が緊張状態であるときは、サポータＶは、オペレータＷに対して荷役車両１の運転に係るアドバイスを行うことで、荷役車両１の運転を支援する。

さらに、オペレータＷの状態が緊張状態であるとステップＳ２で判定された場合は、管理サーバ４が、ステップＳ１における生体情報の測定結果に基づいて、オペレータＷの状態が重度の緊張状態であるか軽度の緊張状態であるかを判定する（ステップＳ４）具体的には、例えば、管理サーバ４は、オペレータＷの平常時の脈拍数または心拍数（ＢＰＭ）が６５であるとき、ステップＳ１で測定されたオペレータＷの脈拍数または心拍数が、８０（所定の第１閾値）よりも大きく１００（所定の第２閾値）よりも小さい場合は、オペレータＷの状態が軽度の緊張状態であると判定し、１００（第２閾値）よりも大きい場合は、オペレータＷの状態が重度の緊張状態であると判定する。

オペレータＷの状態が重度の緊張状態でないと判定された場合、すなわちオペレータＷの状態が軽度の緊張状態であるとステップＳ４で判定された場合は、通常制御モードから支援制御モードに切り替えずに、荷役車両１の運転を支援する。すなわち、アドバイス出力装置１３は、アドバイスを出力する出力モードで動作し、車両制御装置１４は、荷役車両１の走行方向および走行速度と荷役用の油圧機器とを通常制御モードで制御する。

一方、オペレータＷの状態が重度の緊張状態であるとステップＳ４で判定された場合は、車両制御装置１４は、荷役車両１の走行方向および走行速度と荷役用の油圧機器に係る制御を、通常制御モードから支援制御モードに切り替える（ステップＳ５）。すなわち、オペレータＷの状態が重度の緊張状態であると判定されたとき、アドバイス出力装置１３は、アドバイスを出力する出力モードで動作し、車両制御装置１４は、荷役車両１の走行方向および走行速度と荷役用の油圧機器を支援制御モードで制御する。こうして、オペレータＷの状態が重度の緊張状態であるときは、サポータＶは、アドバイスを行うだけでなく、オペレータＷに代わって荷役車両１の走行方向および走行速度と油圧機器とを制御するための操作を行うことで、荷役車両１の運転を支援する。

上記実施形態では以下の効果が得られる。
（１）アドバイス出力装置１３が、オペレータＷの生体情報に基づいて判定されたオペレータＷの状態に応じて、非出力モードから出力モードに切り替わることにより、サポータＶは、オペレータＷに対してアドバイスを行って、荷役車両１の運転を支援することができる。また、車両制御装置１４が、オペレータＷの生体情報に基づいて判定されたオペレータＷの状態に応じて、通常制御モードから支援制御モードに切り替わることにより、サポータＶは、オペレータＷに代わって荷役車両１を動作させるための操作を行って、荷役車両１の運転を支援することができる。したがって、これらを組み合わせることで荷役車両１の運転を段階的に支援することが可能である。

（２）車両制御装置１４は、前記通常制御モードおよび前記支援制御モードにおいて、荷役車両１の走行方向および走行速度と荷役用の油圧機器とを制御可能に構成されている。このため、車両制御装置１４が、荷役車両１の走行方向を支援制御モードで制御する場合には、オペレータＷによるステアリング装置１１Ａの操作を不要とすることができ、荷役車両１の走行速度を支援制御モードで制御する場合には、オペレータＷによるアクセル装置１１Ｂの操作を不要とすることができ、荷役用の油圧機器を支援制御モードで制御する場合には、オペレータＷによる油圧操作受付装置１１Ｃの操作を不要とすることができる。

（３）生体情報測定装置２は、オペレータＷの生体情報として、オペレータＷの心拍数または脈拍数を測定する。このため、生体情報測定装置２として、装着容易な脈拍計または心拍計を採用することができる。

（４）運転支援システムＳは、オペレータＷに設けられ、荷役車両１の前方を撮影可能なカメラ３を備え、サポート用端末装置５は、カメラ３で撮影された映像をサポータＶに対して表示する。このため、サポータＶは、オペレータＷの視点に近い位置から荷役車両１の前方を参照して、荷役車両１の運転を支援することができる。

（５）アドバイス受付装置（サポート用端末装置５）は遠隔操作受付装置を兼ねている。このため、アドバイス受付装置と遠隔操作受付装置とを異なるハードウェアにより構成する場合に比べて、運転支援システムＳを簡素化することができる。

本発明は、上記実施形態に限定されるものではなく、上記構成を適宜変更することもできる。例えば、上記実施形態を、以下のように変更して実施してもよく、以下の変更を組み合わせて実施してもよい。

・オペレータＷの状態の判定方法を適宜変更してもよい。例えば、管理サーバ４が、所定時間当たりの脈拍数または心拍数の変化量または変化率に基づいて、オペレータＷの状態を判定してもよい。

・カメラ３は、荷役車両１の前方を撮影可能なカメラであれば、配置場所等を適宜変更してもよい。例えば、カメラ３は、荷役車両１のヘッドガードに設けられた全方位カメラであってもよい。

・車両制御装置１４が、荷役車両１の走行方向および走行速度と荷役用の油圧機器を支援制御モードで制御するとき、オペレータＷに対するアドバイスは不要として、アドバイス出力装置１３が出力モードから非出力モードに切り替わってもよい。

・オペレータＷの状態が緊張状態であると判定されたとき、緊張の度合いに応じて、車両制御装置１４による、荷役車両１の動作の制御可能な範囲を適宜変更してもよい。例えば、車両制御装置１３は、オペレータＷの状態が所定の軽度の緊張状態であると判定されたとき、荷役車両１の走行方向を支援制御モードで制御し、オペレータＷの状態が所定の中程度の緊張状態であると判定されたとき、荷役車両１の走行方向および走行速度を支援制御モードで制御し、オペレータＷの状態が所定の重度の緊張状態であると判定されたとき、荷役車両１の走行方向および走行速度と荷役用の油圧機器とを支援制御モードで制御するように構成してもよい。すなわち、車両制御装置１４は、荷役車両１の走行方向、荷役車両１の走行速度、および荷役用の油圧機器のいずれか１つまたは２つを支援制御モードで制御してもよい。

・オペレータＷの生体情報として、オペレータＷの発汗量または顔色等を測定してもよい。すなわち、生体情報測定装置２によって測定されるオペレータＷの生体情報は、発汗量、顔色、これらの組み合わせ、または、これらの１つ以上と心拍数もしくは脈拍数との組み合わせであってもよい。また、生体情報の測定結果に基づいて、管理サーバ４が、オペレータＷの疲労状態または健康状態を判定してもよい。すなわち、状態判定装置は、オペレータＷの疲労状態、健康状態、これらの組み合わせ、または、これらの１つ以上と緊張状態との組み合わせを判定する構成であってもよい。

１荷役車両
２生体情報測定装置
３カメラ
４管理サーバ（状態判定装置）
５サポート用端末装置（アドバイス受付装置、遠隔操作受付装置、映像表示装置）
１１操作受付装置
１１Ａステアリング装置
１１Ｂアクセル装置
１１Ｃ油圧操作受付装置
１２無線通信装置
１３アドバイス出力装置
１４車両制御装置
Ｓ運転支援システム
Ｖサポータ
Ｗオペレータ

Claims

オペレータによる荷役車両の運転を、当該荷役車両に搭乗していないサポータにより支援する運転支援システムであって、
前記荷役車両に設けられ、当該荷役車両を動作させるための前記オペレータの操作を受け付け可能な操作受付装置と、
前記荷役車両を運転している前記オペレータの生体情報を測定する生体情報測定装置と、
前記オペレータに対する前記サポータからのアドバイスを受け付けるアドバイス受付装置と、
前記荷役車両を動作させるための前記サポータの操作を受け付け可能な遠隔操作受付装置と、
前記生体情報測定装置による前記生体情報の測定結果に基づいて、前記オペレータの状態が、所定の平常状態であるか所定の軽度の緊張状態であるか所定の重度の緊張状態であるかを判定する状態判定装置と、
前記アドバイス受付装置で受け付けた前記アドバイスを、前記オペレータに対して出力可能なアドバイス出力装置と、
前記荷役車両の動作を制御する車両制御装置とを備え、
前記アドバイス出力装置は、前記状態判定装置により前記オペレータの状態が前記平常状態であると判定された場合は、前記アドバイスを出力しない非出力モードで動作し、前記状態判定装置により前記オペレータの状態が前記軽度の緊張状態であると判定された場合は、前記アドバイスを出力する出力モードで動作し、
さらに、前記車両制御装置は、前記状態判定装置により前記オペレータの状態が前記平常状態であると判定された場合と前記軽度の緊張状態であると判定された場合は、前記操作受付装置で受け付けた操作に基づいて前記荷役車両を制御する通常制御モードで動作し、前記状態判定装置により前記オペレータの状態が前記重度の緊張状態であると判定された場合は、前記遠隔操作受付装置で受け付けた操作に基づいて前記荷役車両を制御する支援制御モードで動作する
ことを特徴とする運転支援システム。
前記生体情報測定装置は、前記生体情報として、前記オペレータの心拍数または脈拍数を測定する
ことを特徴とする請求項１に記載の運転支援システム。
前記状態判定装置は、前記心拍数または脈拍数が、所定の第１閾値よりも小さい場合は、前記オペレータの状態が前記平常状態であると判定し、前記第１閾値よりも大きく所定の第２閾値よりも小さい場合は、前記オペレータの状態が前記軽度の緊張状態であると判定し、前記第２閾値よりも大きい場合は、前記オペレータの状態が前記重度の緊張状態であると判定する
ことを特徴とする請求項２に記載の運転支援システム。
前記アドバイス受付装置は前記遠隔操作受付装置を兼ねている
ことを特徴とする請求項１〜３のいずれか一項に記載の運転支援システム。
前記オペレータまたは前記荷役車両に設けられ、前記荷役車両の前方を撮影可能なカメラと、
前記カメラで撮影された映像を前記サポータに対して表示する映像表示装置とを備える
ことを特徴とする請求項１〜４のいずれか一項に記載の運転支援システム。