JP7249879B2 - 情報処理方法、及び、情報処理システム - Google Patents

情報処理方法、及び、情報処理システム Download PDF

Info

Publication number
JP7249879B2
JP7249879B2 JP2019098794A JP2019098794A JP7249879B2 JP 7249879 B2 JP7249879 B2 JP 7249879B2 JP 2019098794 A JP2019098794 A JP 2019098794A JP 2019098794 A JP2019098794 A JP 2019098794A JP 7249879 B2 JP7249879 B2 JP 7249879B2
Authority
JP
Japan
Prior art keywords
vehicle
information
monitoring
priority
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019098794A
Other languages
English (en)
Other versions
JP2020061120A (ja
Inventor
稔也 新井
孝弘 米田
雄太 下間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to EP23217771.7A priority Critical patent/EP4319184A3/en
Priority to EP19868550.5A priority patent/EP3862990B1/en
Priority to CN201980026970.XA priority patent/CN112055873A/zh
Priority to PCT/JP2019/037776 priority patent/WO2020071222A1/ja
Publication of JP2020061120A publication Critical patent/JP2020061120A/ja
Priority to US17/078,447 priority patent/US11869279B2/en
Application granted granted Critical
Publication of JP7249879B2 publication Critical patent/JP7249879B2/ja
Priority to US18/378,336 priority patent/US20240087371A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808Diagnosing performance data

Description

本開示は、情報処理方法、及び、情報処理システムに関する。
無線LAN(Local Area Network)又は携帯電話回線等の無線通信を利用して、運転手が搭乗しない車両又は運転手が操作せず、自律的な走行が可能な車両を、遠隔地にいるオペレータが間接的に操作する遠隔操作システムがある。
このような遠隔操作システムは、車両に搭載されたミリ波レーダ、レーザーレーダ、カメラなど様々なセンサから車両周辺を観測して得られるセンシング結果を、車両(以降、被操作車両と記載)から通信手段を介してオペレータに伝える。オペレータは、伝えられたセンシング結果に基づいて、被操作車両の状態、及び、被操作車両の周辺の状態を把握し、被操作車両をどのように制御するかを判断し、車両の制御の方法を検討する。そして、オペレータは、車両の走行に関する制御信号を被操作車両に伝えることで、遠隔から被操作車両を制御する。
例えば、特許文献1は、異常による走行停止時において、停止位置において障害物の有無を確認できるかどうかを判断し、障害物の有無が判断できる場合のみ、オペレータに遠隔操作権限を与えることで、オペレータの遠隔操作負担を低減する方法を開示している。
特開2018-063615号公報
特許文献1のような従来技術では、オペレータによる被操作車両の操作に先立って、オペレータ又はオペレータとは別の操作を行わない監視者(以下、まとめて監視者とも記載)による被操作車両の監視が行われる。監視者は、いつ、どこで事故等の危険な状況が発生するかわからないため、できる限り全てのシーンを監視することが要求され、監視負担が大きい。そのため、監視者の監視負担を低減することが望まれる。しかし、特許文献1には、車両を遠隔操作するオペレータの負担を低減する発明は開示されているが、車両を遠隔監視する監視者の監視負担を低減する方法は開示されていない。
そこで、本開示は、監視者の監視負担を低減することができる情報処理方法を提供する。
本開示の一態様に係る情報処理方法は、コンピュータを用いて、監視者の監視対象である車両から得られる、前記車両の走行状態及び外部状態の少なくとも一方を示す第一車両情報を取得し、前記第一車両情報に基づく前記車両に対する前記監視者による監視を要する度合いに応じた前記車両についての監視優先度を決定し、前記監視優先度に基づいて前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる。
また、本開示の一態様に係る情報処理システムは、監視者の監視対象である車両から得られる、前記車両の走行状態及び外部状態の少なくとも一方を示す車両情報を取得する取得部と、前記車両情報に基づく前記車両に対する前記監視者による監視を要する度合いに応じた前記車両についての監視優先度を決定する決定部と、前記監視優先度に基づいて前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる提示制御部とを備える。
また、本開示の一態様に係るプログラムは、上記の情報処理方法をコンピュータに実行させるためのプログラムである。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示の情報処理方法によれば、監視者の監視負担を低減することができる。
図1は、実施の形態に係る監視システムの構成を示すブロック図である。 図2は、実施の形態に係る監視ルームの一例の概観図である。 図3は、実施の形態に係るサーバ装置の機能構成を示すブロック図である。 図4は、実施の形態に係る運行DBが記憶する第一テーブルの一例を示す図である。 図5は、実施の形態に係る運行DBが記憶する第二テーブルの一例を示す図である。 図6は、実施の形態に係る提示情報の第一例を示す説明図である。 図7は、実施の形態に係る提示情報の第二例を示す説明図である。 図8は、実施の形態に係る提示情報の第三例を示す説明図である。 図9は、実施の形態に係る提示情報の第四例を示す説明図である。 図10は、実施の形態に係る提示情報の第五例を示す説明図である。 図11は、実施の形態に係る提示情報の第六例を示す説明図である。 図12は、実施の形態に係る監視システムの処理を示すシーケンス図である。 図13は、実施の形態に係る推薦部の処理を示すフロー図である。 図14Aは、車両の車両情報の少なくとも一部が取得できなかった場合の、実施の形態に係る推薦部の処理の一例を示すフロー図である。 図14Bは、車両の車両情報の少なくとも一部が取得できなかった場合の、実施の形態に係る推薦部の処理の他の一例を示すフロー図である。 図15は、実施の形態に係る監視制御部の処理を示すフロー図である。 図16は、実施の形態の変形例に係る監視システムの処理を示すシーケンス図である。
本開示の一態様に係る情報処理方法は、コンピュータを用いて、監視者の監視対象である車両から得られる、前記車両の走行状態及び外部状態の少なくとも一方を示す第一車両情報を取得し、前記第一車両情報に基づく前記車両に対する前記監視者による監視を要する度合いに応じた前記車両についての監視優先度を決定し、前記監視優先度に基づいて前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる。
これにより、監視者は、提示装置に出力された提示情報を確認することで、車両の監視を要するか否かを判断することができる。つまり、監視者は、車両を常に監視することなく、また車両の状況を詳細に分析することなく、監視を要するか否かを判断することができる。また、車両の走行状態又は外部状態は、車両の安全な走行に影響する。そのため、走行状態又は外部状態の監視を要する度合いに応じた監視優先度に基づいて提示情報が提示されることにより、監視者は提示情報を監視の参考にすることができる。よって、本開示の一態様に係る情報処理方法によれば、監視者の監視負担を低減することができる。具体的には、全ての画像を監視することによる負担、及び、車両の監視の必要性を判断する負担を低減することができる。
また、さらに、前記第一車両情報に基づいて、前記車両に対する前記度合いを決定し、決定された前記度合いに応じて、前記車両についての前記監視優先度を決定してもよい。
これにより、本開示の一態様に係る情報処理方法を実行する装置にて第一車両情報が取得されているため、当該装置にて上記度合いを決定することにより監視優先度を決定する処理が一元化され処理効率を向上させることができる。
また、前記第一車両情報に基づく前記車両の状況を示す複数の状況情報それぞれに対応する前記度合いと、前記複数の状況情報それぞれに対応する重みとに基づいて、前記監視優先度を決定してもよい。
これにより、複数の状況情報それぞれに対応した重みに基づいて提示情報が生成される。例えば、重みが車両の事故等の危険に対応する値である場合、提示情報は、危険が考慮された情報となる。つまり、監視者は、危険が考慮された提示情報を確認することで、危険度に応じた監視対象車両の判断ができる。よって、監視者の監視負担をさらに低減することができる。
また、前記複数の状況情報は、第一状況情報、及び、当該第一状況情報と異なる第二状況情報を含み、前記第二状況情報、及び、前記第一車両情報の少なくとも一方に応じて前記第一状況情報に対応する重みを決定してもよい。
これにより、第一状況情報の重みを他の情報(第二状況情報及び第一車両情報の少なくとも一方)に応じて変更することができる。車両及び車両の周囲の状況は経時的に変化するので、第一状況情報の重みをその時点の状況に応じて適切に決定することにより、提示情報を、その時点での車両及び車両の周辺の状況に応じた情報とすることができる。よって、監視者の監視負担を低減しつつ、監視者による判断がより正確に行うことができる情報を提示することができる。
また、前記提示情報は、前記監視優先度の決定に対する、前記複数の状況情報の少なくとも1つの寄与度を示す情報を含んでもよい。
これにより、監視者に寄与度を提示することで、当該車両に対する具体的な監視作業の判断根拠を監視者に与えることができる。監視者は、例えば、提示情報から「急発進」に対する寄与度が高いことを知ることで、車両の進行方向前方の障害物、及び、車両の速度などを注力して監視する必要があると判断することができる。よって、監視者は、具体的な監視作業を素早く把握することができるので、監視負担が低減されつつも、的確かつ迅速な監視を行うことができる。
また、前記度合いは、前記第一車両情報に含まれる前記車両の位置情報と当該車両の移動経路を含む運行計画とに、さらに基づいて決定されてもよい。
これにより、車両の位置情報と運行計画とをさらに用いて提示情報が生成される。つまり、監視者は、車両の現在地から運行状況と運行計画とのずれを分析することなく、監視を要するか否かを知ることができる。よって、監視者の監視負担を運行管理の面でも低減することができる。
また、複数の前記車両のそれぞれから前記第一車両情報を取得し、前記提示情報は、複数の前記車両それぞれの監視優先度の高さに応じて特定される車両の監視のための情報であってもよい。
これにより、監視者は、提示装置に出力された提示情報を確認することで、複数の車両のうち監視を要する車両を知ることができる。つまり、監視者は、複数の車両の全てについて常時監視することなく、また複数の車両の全ての状況を詳細に分析することなく、監視を要する車両を知ることができる。よって、監視対象の車両が複数である場合に、監視者の監視負担を、効果的に低減することができる。これにより、監視者が複数の車両を監視することを支援することができ、車両の台数より少ない人数での複数の車両の監視が可能となる。
また、前記提示情報は、複数の前記車両のうち監視優先度が最も高い又は閾値より高い車両の監視のための情報を含んでもよい。
これにより、提示装置は、監視者が優先して監視すべき車両を監視するための情報を提示する。例えば、提示装置が表示装置であり提示情報が車両で撮影された画像を含む場合、複数の車両が撮影した画像のうち、監視者による監視を要する車両の画像が表示される。表示装置により表示される画像が、監視者による監視を要する車両の画像に切り替わってもよい。よって、監視者が優先して監視すべき車両を判断せずに済むので、監視者の監視負担をさらに低減することができる。
また、前記提示情報は、複数の前記車両のうち監視優先度の高さに応じて特定される車両の監視のための第一情報を前記特定される車両以外の他の車両の監視のための第二情報より強調して提示する情報を含んでもよい。
これにより、監視者は、提示装置により複数の車両についての提示情報が提示されている場合であっても、その中で注目すべき車両を把握することができる。例えば、提示情報が車両の画像を含む場合、複数の車両の画像が表示されているときは、画像の大きさを注目すべき車両とその他の車両とで変えることにより、監視者は視覚的に注目すべき車両を把握することができる。よって、複数の車両についての提示情報が提示装置により提示されている場合であっても、監視者の監視負担を低減することができる。
また、前記提示情報は、複数の前記特定される車両の監視のための情報を、複数の前記特定される車両それぞれの前記監視優先度順に示す情報を含んでもよい。
これにより、監視者は、提示装置により複数の車両についての提示情報が提示されている場合であっても、その中で注目すべき車両を把握することができる。例えば、提示情報が車両の識別情報を含む場合、識別番号を監視優先度順に提示することにより、監視者は注目すべき車両を把握することができる。よって、複数の車両についての提示情報が提示装置により提示されている場合であっても、監視者の監視負担を低減することができる。
また、前記提示情報は、前記特定される車両を示す情報と、当該特定される車両に対応する監視優先度とを対応付けて示す情報を含んでもよい。
これにより、監視者は、提示情報から複数の車両それぞれの監視優先度を確認することができ、どの車両を優先して監視すべきかを判断することができる。
また、前記提示情報は、前記特定される車両が撮影した画像又は前記特定される車両が映る画像を含んでもよい。
これにより、監視者は監視を要する車両を把握するとともに、当該車両の状況も把握することができる。したがって、監視負担を軽減しつつ、監視作業への迅速な移行が可能となる。
また、前記第一車両情報の少なくとも一部が取得されない場合、当該少なくとも一部が取得されないことによる前記監視優先度の決定における影響度に応じた前記度合いを決定してもよい。
これにより、第一車両情報の少なくとも一部が取得できない場合であっても、適切な監視優先度を決定することができる。例えば、監視優先度の高さの影響度が他の第一車両情報よりも大きい第一車両情報が取得されない場合、取得されない期間は監視優先度が下がってしまう。この場合、実際の状況に即した監視優先度に基づいて提示情報が生成されず、不正確な提示情報が提示されてしまう。それにより、監視者は優先して監視すべき車両を誤ってしまうおそれがある。しかし、上記構成によれば、第一車両情報の一部が取得されない場合であっても適切な監視優先度を決定することができる。よって、第一車両情報の少なくとも一部が取得できないことによる監視者の監視対象の誤判断を抑制することができる。なお、第一車両情報の一部が取得されていないことが提示装置を介して監視者に提示されてもよい。
また、前記第一車両情報の少なくとも一部が取得されない場合、前記第一車両情報より過去に取得された、前記少なくとも一部を含む第二車両情報に基づいて、当該少なくとも一部が取得されないことによる前記監視優先度の決定における影響度に応じた前記度合いを決定してもよい。
これにより、第一車両情報の少なくとも一部が取得できない場合であっても、過去の情報である第二車両情報と、監視優先度の決定における影響度とを用いて監視優先度を決定することができる。つまり、取得できていない第一車両情報を過去の情報に基づき補完することにより、一部が取得できていない第一車両情報に基づく監視優先度よりも実際の状況に近い監視優先度を決定することができる。よって、第一車両情報の少なくとも一部が取得できないことによる監視者の監視対象の誤判断をさらに抑制することができる。
また、前記影響度に応じた前記度合いは、前記第二車両情報を過去に取得した時点からの経過時間に応じて決定されてもよい。
これにより、当該第一車両情報の少なくとも一部が取得できていない時間が考慮された監視優先度が決定される。第一車両情報が取得されていない期間が長くなると、過去に取得した第二車両情報と現在の車両状況との乖離が大きくなるため、補完される第一車両情報すなわち監視優先度の正確性も低下する。しかし、上記構成によれば、当該期間が考慮された監視優先度が決定されるため、第一車両情報の少なくとも一部が取得できない期間の長期化による監視者の監視対象の誤判断の拡大を抑制することができる。
また、前記第一車両情報の取得では、前記第一車両情報を前記車両との通信により取得し、前記情報処理方法は、さらに前記通信の通信量を前記監視優先度に応じて制御してもよい。
これにより、監視優先度に応じて車両との通信を適正化することができる。例えば、監視を要する度合いが低い車両との間の通信量、通信回数、通信頻度、通信時間などを減らすことができる。よって、車両との間のネットワーク帯域の使用を、監視を要する度合いに応じて制御しつつ、監視者の監視負担を低減することができる。
また、本開示の一態様に係る情報処理システムは、監視者の監視対象である車両から得られる、前記車両の走行状態及び外部状態の少なくとも一方を示す車両情報を取得する取得部と、前記車両情報に基づく前記車両に対する前記監視者による監視を要する度合いに応じた前記車両についての監視優先度を決定する決定部と、前記監視優先度に基づいて前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる提示制御部とを備える。
これにより、上記情報処理方法と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
本実施の形態の情報処理方法等について、図1~図15を参照しながら説明する。
遠隔監視システム(以下、単に監視システムとも記載)は、被監視車両から通信手段を介してセンシング結果を取得し監視者に伝える。監視者は、伝えられたセンシング結果に基づいて、被監視車両の状態、及び、被監視車両の周辺の状態を把握し、被監視車両に対してオペレータによる介入が必要なのかを判断する。なお、監視者は、オペレータが間接的に操縦する方法を含めて適切な介入方法を検討してもよい。そして、監視者は、被監視車両の自律的な走行が困難と判断した場合、オペレータに遠隔操作を依頼する。オペレータは、車両の走行に関する制御信号を被監視車両(すなわち被操作車両)に伝えることで、遠隔から被監視車両を制御する。なお、オペレータが監視者である場合は、オペレータは監視からそのまま操作に移行してよい。
[監視システムの構成]
まず、本実施の形態に係る情報処理方法を実行するサーバ装置を備える監視システムについて、図1~図11を参照しながら説明する。
図1は、本実施の形態に係る監視システム1の構成を示すブロック図である。図2は、本実施の形態に係る監視ルームの一例の概観図である。
図1に示される監視システム1は、被操作車両となり得る車両M1、M2、…、MNを監視するための情報処理システムである。以降において車両M1、M2、…、MNを、「車両M1等」ともいう。図2に示される監視ルームは、監視者が車両M1等を監視するための部屋である。監視ルームにおいて、車両M1等から得られる情報及び車両M1等の監視のための情報が監視者に提示され、監視者による監視のための操作がなされ得る。なお、監視者による監視のための操作に加えて、被操作車両の遠隔操作のための操作がなされてもよい。なお、監視者は、被操作車両を操作するオペレータであってもよいし、オペレータとは別の人であってもよい。また、監視システム1は複数の車両M1等を監視する情報処理システムである例について説明するが、監視システム1が監視する車両の数は特に限定されない。例えば、監視システム1は、1つの車両を監視する情報処理システムであってもよい。
図1に示されるように監視システム1は、サーバ装置10と、入力装置20と、表示装置30とを備える。
サーバ装置10は、監視者による監視に関する決定をする処理装置である。具体的には、サーバ装置10は、入力装置20に入力される内容と、車両M1等から得られる車両情報とを用いた、コンピュータによる情報処理により、監視に関する決定をする。本開示では、サーバ装置10が車両M1等から取得した車両情報を用いて車両M1等それぞれについて監視の優先度合いを示す監視優先度を決定し、当該監視優先度に基づく車両M1等の監視のための提示情報を生成及び出力する点に特徴を有する。詳細は、後述する。
サーバ装置10は、ネットワークNに通信可能に接続され得る場所に設置され、その物理的な位置はどこであってもよい。一例として、サーバ装置10が、監視ルームの内部又は近傍に配置されていれば、入力装置20及び表示装置30との通信が短時間でなされ得る利点がある。
入力装置20は、監視者による操作が入力される入力装置である。入力装置20は、サーバ装置10に接続されたキーボード、マウス又はタッチパネルなどであってもよいし、押下又は接触などにより操作可能なボタンなどであってもよい。入力装置20は、入力された操作に関する情報をサーバ装置10に提供する。入力装置20は、監視ルームに設置されている。サーバ装置10が遠隔地に配置されている場合、入力装置20とサーバ装置10とは、ネットワークを介して接続されていてもよい。
表示装置30は、サーバ装置10から提示情報を取得し、提示情報を画像として出力する装置である。画像は、写真、イラスト又は文字等を含む。表示装置30は、液晶ディスプレイ等である。表示装置30が出力した画像は監視者によって視認され、監視者が車両を監視するか否か、監視者がどの車両を監視するか、又は、車両をどのように監視するか等を決定する際に用いられる。なお、表示装置30は、提示装置の一例である。監視システム1は、表示装置30とともに、又は、表示装置30に代えて、音を出力する装置を提示装置として備えてもよい。また、監視システム1は、プロジェクタなどの対象物(例えば、スクリーン)に提示情報を表示する装置を提示装置として備えていてもよい。表示装置30は、監視ルームに設置されている。サーバ装置10が遠隔地に配置されている場合、表示装置30とサーバ装置10とは、ネットワークを介して接続されていてもよい。
車両M1は、人が搭乗している、又は、搭乗していない、車両であり、例えば自動運転車両である。車両M1は、監視者による監視の対象となり得る車両である。車両M1は、監視ルームとは異なる外部の空間、例えば道路又は駐車場等に存在している。
車両M1は、通信インタフェースを備えており、通信によってネットワークNに接続され、ネットワークNを介してサーバ装置10に通信可能に接続されている。車両M1は、車両M1の周囲を撮影する1以上のカメラ、並びに、車両M1の速度、加速度、ジャーク(加加速度)、操舵角、燃料の残量、方向指示器の作動状態、ABS(Anti-lock Braking System)又はAEB(Automatic Emergency Braking)の作動状態、周辺物体の有無、数及び種類、周辺物体との距離、速度差、及び、加速度差などを検知する複数のセンサを備えている。車両M1は、1以上のカメラが撮影により生成した画像データ、並びに、複数のセンサが取得した車両M1の速度等及び周辺物体の有無等のセンシングデータを含む情報を通信インタフェース及びネットワークNを介してサーバ装置10に送信する。なお、車両M1が送信する上記情報を車両情報ともいう。車両情報として送信される上述した様々な情報を車両情報の種類とも称する。つまり、車両情報自体は、複数種類あってもよい。なお、車両M1は、必要に応じて、監視者によりネットワークNを介して加減速の制御、及び、操舵角の制御などがなされ得る。監視者によるこのような制御を遠隔操作ともいう。
車両情報には、複数のセンサが動作しているか否かを示す死活情報又は車両M1自体のシステムエラーに関する情報などのエラー情報、並びに、車両M1の搭乗者から監視者を呼び出す呼出情報などがさらに含まれていてもよい。また、車両M1が地図情報を記憶している場合、車両情報には、当該車両M1が走行する位置における法定速度、当該車両M1の車線に対する位置関係を示す情報、又は、当該車両M1が設定した移動経路に関する情報がさらに含まれていてもよい。
また、車両情報のうち、上述の車両M1の速度等の情報、エラー情報、呼出情報、法定速度、車線に対する位置関係を示す情報、移動経路などは、当該車両M1の走行状態を示す情報の一例であり、周辺物体の有無等の情報などは、当該車両M1の外部状態を示す情報の一例である。車両情報には、車両M1の走行状態及び外部状態の少なくとも一方を示す情報が含まれていればよい。
車両M2~MNは、それぞれ、車両M1と同様の車両であり、車両M1とは独立に移動する。また、車両M2~MNは、それぞれ、自装置が生成した画像データ及びセンシングデータを車両M1と同様にサーバ装置10に送信する。
ネットワークNは、サーバ装置10及び車両M1等それぞれが接続される通信ネットワークである。ネットワークNの通信規格又は通信方式は、例えば、携帯電話網、衛星通信網、Wi-fiなどを利用した広域通信網などであるが、これらに限定されない。車両M1等と接続する部分は無線である。
監視ルームには、入力装置20及び表示装置30が配置されている。入力装置20及び表示装置30は、それぞれ監視者による入力及び視認が容易である位置に配置されている。例えば、入力装置20及び表示装置30は、監視者が着席する椅子の前方の机の上に配置されている。また、監視ルーム全体から視認され得る位置に、車両M1等が取得した画像データ、及び、車両M1の位置などを示す地図などの画像を表示する表示装置31が配置されている。例えば、表示装置31には、被操作車両となり得る車両M1、M2、…、MNの全ての車両M1等から取得した画像データに基づく画像などが表示される。表示装置31は、例えば、サーバ装置10と接続されており、サーバ装置10から送信された全車両の分の画像を表示する。表示した画像は、監視者により視認される。
監視者は、複数人存在し得るが、監視者の人数は、車両M1等の台数より少なくてもよい。監視者は、常に車両M1等のすべてを監視しているわけではなく、監視が必要であると判断される車両だけを選択して監視しており、その他の車両を監視しないことが想定される。このようにすることで、監視のための必要人員を削減し、かつ、監視を要する車両を集中して監視者が監視できる利点がある。監視が必要であると判断されるのは、例えば、車両が危険な位置にある場合、車両が危険な状態にある場合、車両が危険な位置に近づいている、又は、車両が危険な状態になると予測される場合などである。なお、監視者は、1人であってもよいし、監視者の人数は車両M1等の台数と同じであってもよい。
監視者は、表示装置30により提示される画像を視認して、車両M1等のうちのどの車両を監視するか、又は、車両をどのように監視するか等を決定する。そして、監視者は、監視対象の車両、又は、監視方法を、入力装置20を介してサーバ装置10に入力する。例えば、表示装置30には、被操作車両となり得る車両M1、M2、…、MNのうち、監視者の監視対象である車両の画像、又は、監視する車両を選択するための画像などが提示される。
以降では、サーバ装置10が、どの車両を監視の対象とするかを監視者に推薦するための情報をサーバ装置10が生成する処理を詳しく説明する。この場合、監視者は、表示装置30により提示される情報に基づいて、どの車両を監視するかを決定する。サーバ装置10により推薦される監視の対象が適切であれば、監視者が車両M1等のうちから監視の対象を探す作業の負担が軽減され得る。
図3は、本実施の形態に係るサーバ装置10の機能構成を示すブロック図である。
図3に示されるように、サーバ装置10は、通信部11と、車両管理部12と、運行DB(データベース)13と、運行管理部14と、推薦部15と、受信部16と、監視制御部17と、映像管理部18とを備える。
通信部11は、ネットワークNに接続され、ネットワークNを介して車両M1等と通信可能に接続される通信インタフェースである。通信部11は、車両M1等から車両情報を取得する。通信部11は、取得部の一例である。
車両管理部12は、車両M1等の管理を行う処理部である。車両管理部12は、車両M1等が送信した車両情報を取得し、取得した車両情報に基づいて車両M1等のそれぞれの位置、速度、走行状態などを管理する。
運行DB13は、車両M1等の運行のための情報を記憶しているデータベースである。運行DB13は、車両M1等の運行のための情報として、地図及び運行計画の情報を保有している。運行計画とは、車両M1等の走行が予定される移動経路を示す情報、及び、走行中の各時点における車両M1等の経路上の予定される位置を示す情報を含む。また、運行DB13は、車両情報に基づく車両M1等の複数の状況情報と、当該複数の状況情報における車両M1等に対する監視者による監視を要する度合いとが関係付けられたテーブルを記憶している。また、運行DB13は、車両情報の少なくとも一部が取得されなかった場合、当該少なくとも一部に対応する監視を要する度合いを補完するためのテーブルを、さらに記憶していてもよい。
ここで、運行DB13が記憶している各種テーブルについて、図4及び図5を参照しながら説明する。なお、運行DB13は、以下に記載する優先度テーブルT1及び補完値テーブルT2のうち、少なくとも優先度テーブルT1を記憶していればよい。
図4は、本実施の形態に係る運行DB13が記憶する優先度テーブルT1の一例を示す図である。
図4に示されるように、優先度テーブルT1は、優先度と車両の状況情報とが対応付けられたテーブルである。優先度テーブルT1には、車両の状況情報が複数設定されており、当該車両の状況情報ごとに優先度が設定されている。
ここで、優先度は、車両に対する監視者による監視を要する度合いに応じた数値であり、例えば、数値が高いほど監視者による監視を要する度合いが高いことを示す。つまり、優先度は、自動運転による走行に支障がでる度合いに応じた数値であり、自動運転又は自動運転を継続することによるリスクの大きさを示す。優先度は、第一車両情報に基づく数値である。
車両の状況情報は、車両情報に基づく車両の状況を示す情報であってもよい。例えば、「自車両の事故発生」は、走行状態、画像、及び、加速度などに基づいて判定される、車両の状況を示す情報である。例えば、画像において自車両と自車両周辺の物体とが接触している場合に、「自車両の事故発生」が検知される。また、例えば、「急発進」は、画像、及び、加速度などに基づいて判定される、車両の状況を示す情報である。例えば、車両が停止している状態から動き始めたときにおける所定期間内の加速度が所定値以上である場合に、「急発進」が検出される。
また、車両の状況情報は、車両情報に加えて、車両の移動経路を含む運行計画に基づく情報であってもよい。例えば、「タイムスケジュールずれ」は、車両情報に含まれる車両の位置情報、及び、運行計画などに基づいて判定される、車両の状況を示す情報である。例えば、現在の車両の位置が運行計画に含まれる当該車両の現在の予定位置から所定距離以上経過している場合に、「タイムスケジュールずれ」が検出される。また、例えば、「踏切」は、車両情報に含まれる車両の位置情報、及び、地図情報などに基づいて判定される、車両の状況を示す情報である。例えば、現在の車両の位置が踏切から所定範囲内である場合に、「踏切」が検出される。なお、状況情報の検出は、推薦部15により行われる。
なお、車両の状況情報は、監視情報に基づく情報であってもよい。例えば、「長時間監視されていないこと」は、監視情報に含まれる監視時間などに基づいて判定される、車両の状況を示す情報である。例えば、車両の監視が終了した時点又は車両が監視候補として設定された時点からの経過時間が閾値以上である場合に「長時間監視されていないこと」が検出される。あるいは、車両の状況情報は「長時間監視されていないことにより発生するリスク」であってもよい。例えば、車両の監視が終了した時点又は車両が監視候補として設定された時点からの経過時間に応じて当該リスクが検出される。なお、上記閾値及び当該リスクは複数用意されてもよい。
図4に示される、「自車両で事故発生」から「タイムスケジュールずれ」までの5つの状況情報(以降において、危険情報ともいう)は、車両が危険な状況であることを示すための情報であり、「踏切」から「自車両に起因する渋滞発生」までの2つの状況情報(以降において、注意情報ともいう)は、車両がこれから危険な状況となる可能性があることを示すための情報である。注意情報は、車両の走行に問題が発生しているわけではなく、自動運転での走行が可能な状況である。なお、上記の「長時間監視されていないこと」又は「長時間監視されていないことにより発生するリスク」は注意情報である。
なお、図4に示される優先度は、状況情報に応じた重み(係数)で重み付けされた値であってもよい。例えば、「自車両で事故発生」は、すぐにでも監視者による監視を必要としている状況であり、重みの値が高いので、優先度が高く設定される。一方、「タイムスケジュールずれ」は、「自車両で事故発生」よりも監視を必要としていない状況であり重みの値が低いので、優先度が低く設定される。具体的には、優先度は、車両情報に基づく車両の状況を示す複数の状況情報それぞれに対応する、監視者による監視を要する度合いと、複数の状況情報それぞれに対応する重みとに基づいて設定されてもよい。重みは、例えば、複数の状況情報ごとの発生しうる事故の重大さ又は事故の発生率などに応じて決定されてもよい。なお、事故の発生率とは、車両の状況(例えば、「自車両に起因する渋滞発生」)を放置すると、監視者が対処しないといけない事象(例えば、事故など)が発生する確率である。
図5は、本実施の形態に係る運行DB13が記憶する補完値テーブルT2の一例を示す図である。
図5に示されるように、補完値テーブルT2は、補完値と車両の状況情報とが対応付けられたテーブルである。補完値テーブルT2には、車両の状況情報が複数設定されており、当該車両の状況情報ごとに補正値が設定されている。補完値テーブルT2に設定される車両の状況情報の種類は、例えば、優先度テーブルT1に設定されている車両の状況情報と同じであってもよい。なお、補完値は、車両情報及び運行情報の少なくとも一部が取得できないことによる監視優先度の決定における影響度に応じた数値であり、例えば、監視優先度への影響度が高いほど補完値の数値が高い。なお、監視優先度は、複数の状況情報のうち、検知された状況情報に対応する優先度を演算した値(例えば、足し合わせた値)に基づいて決定される。また、補完値は、優先度より高い値であってもよいし、低い値であってもよい。
なお、優先度テーブルT1及び補完値テーブルT2の少なくとも一方は、外部環境に対する優先度及び補完値を含んでいてもよい。優先度テーブルT1を例に説明すると、優先度テーブルT1は、さらに外部環境と当該外部環境に対応付けられた優先度とを含んでいてもよい。外部環境は、車両が走行する道路の渋滞情報、天候情報、事故歴情報、路面状況、道幅情報等の少なくとも1つを含む。渋滞情報は、自車両の走行経路を走行する他の車両の数を含む。天候情報は、曇り、雨、雪などを含む。路面状態は、ウェット、凍結などを含む。外部環境は、例えば、センシングデータ、画像データ、地図情報などにより検出される。
図3を再び参照して、運行管理部14は、車両M1等の運行を管理する処理部である。運行管理部14は、運行DB13から車両M1等の運行計画などの情報を取得し、車両M1等の移動経路などを含む指示情報を車両M1等に送信する。また、運行管理部14は、車両M1等の運行が運行計画に対してどの程度遅延しているか等を含む運行情報を決定する。
推薦部15は、監視者による監視の対象となる車両を監視者に推薦するための情報を生成する処理部である。推薦部15は、車両M1等が送信した車両情報を車両管理部12から取得し、車両M1等の運行に関する運行情報を運行管理部14から取得する。そして、推薦部15は、取得した車両情報、及び、運行情報に基づいて、監視者による監視の対象となる車両を監視者に推薦するための推薦情報を生成する。推薦情報は、監視の推薦対象である車両を特定する情報を含む。推薦情報は、例えば、他の車両と比較して当該車両を優先して監視すべき度合いを示す監視優先度により示される。また、推薦情報は、車両ごとに監視の対象とされることが推奨される度合いを示す監視推薦度であってもよい。なお、推薦部15は、少なくとも車両情報に基づいて、監視優先度を決定すればよい。
また、推薦部15は、監視者による監視の対象となる車両が存在しない場合(例えば、上記の監視優先度が所定の閾値以上である車両が存在しない場合)、監視不要を示す情報を生成してもよい。監視不要を示す情報は、推薦情報に含まれる。なお、推薦部15は、決定部の一例である。
受信部16は、入力装置20に入力された監視者による入力操作を示す操作情報を受信する処理部である。操作情報は、例えば、監視の対象を切り替える操作を含む。
監視制御部17は、監視の対象となる車両を決定する処理部である。監視制御部17は、推薦部15が生成した推薦情報と、受信部16が受信した操作情報とに基づいて、監視の対象となる車両を決定し、監視の対象となる車両を示す監視情報を生成する。監視制御部17は、生成した監視情報を映像管理部18に提供する。
監視制御部17により生成される監視情報には、監視の対象となる車両を特定する情報が含まれる。また、監視情報には、監視の対象となる車両であると判定された理由を示す情報が含まれてもよい。監視情報には、例えば、図4に示される複数の状況情報のうちのどの状況情報が検知されたかを示す情報が含まれる。監視情報には、さらに、監視優先度が含まれていてもよい。
監視制御部17は、監視対象車両の決定に係る動作モードとして、自動更新モードと手動更新モードとを有する。自動更新モードとは、操作情報を受信したか否か、又は、受信した操作情報の内容いかんにかかわらず、推薦情報に従って監視対象車両を決定して監視情報を生成するモードである。手動更新モードとは、推薦情報の有無、又は、推薦情報の内容いかんにかかわらず、操作情報に従って監視対象車両を決定して監視情報を生成するモードである。
映像管理部18は、表示装置30に表示するための映像を管理する処理部である。映像管理部18は、表示装置30に表示するための映像に係る画像データを含む提示情報を生成して表示装置30に出力する。映像管理部18は、監視制御部17から監視情報を取得し、監視情報が監視の対象となる車両を特定する情報を含む場合には、その監視の対象の車両から通信部11が受信した画像データを提示情報に含める。なお、映像管理部18は、提示情報を生成し、生成した提示情報を表示装置30に出力させる提示制御部の一例である。
提示情報は、具体的には、監視情報に示される監視の対象である車両を示す情報を含んでもよい。また、提示情報は、監視情報が監視の対象となりうる1以上の車両を示す情報を含んでいる場合には、監視情報に含まれる1以上の車両それぞれの監視優先度を含んでいてもよい。また、提示情報は、監視情報が監視の方向を示す情報を含んでいる場合には、車両から、監視情報に含まれる監視の方向を撮影した画像を含んでいてもよい。また、提示情報は、監視者による監視の対象となる車両が存在しない場合、監視不要を示す情報を含んでいてもよい。
次に、表示装置30が表示する提示情報の例を説明する。
図6は、本実施の形態に係る提示情報の第一例を示す説明図である。図6は、提示情報として、監視優先度が提示される例を示している。
図6に示されるように、表示装置30が表示する画像32は、車両M1等ごとの監視優先度を示す画像34を含む。つまり、映像管理部18は、車両M1等ごとと、監視優先度とを対応付けた画像32を表示装置30に提示させる。監視優先度は、車両を優先して監視すべき度合いを示す情報である。監視優先度は、例えば、A(高い)、B(中程度)及びC(低い)の3段階で示される。例えば、車両M1の監視優先度がAであり、車両M2の監視優先度がBであることが示されている。また、画像32は、車両M1等のそれぞれの監視を開始するためのボタンの画像33を含む。なお、監視優先度は、数値であってもよい。監視優先度は、例えば、複数の状況情報のうち、検知された状況情報に対応する優先度を足し合わせた値であってもよい。なお、監視優先度の初期値は、所定の値(例えば0)であってよい。監視優先度が初期値であることは、即時的な又は将来的な監視を要する状況が発生していないことを意味する。
なお、提示情報は、例えば、複数の車両M1等それぞれの監視優先度の高さに応じて特定される車両M1等の監視のための情報である。提示情報は、監視優先度が高い車両をより優先的に提示するための情報を含んでいてもよい。提示情報は、複数の車両M1等のそれぞれを示す情報を、監視優先度順に示す情報を含んでもよい。提示情報は、複数の車両M1等のうち監視優先度の高さに応じて特定される車両の監視のための情報を、複数の特定される車両それぞれの監視優先度順に示す情報を含んでいてもよい。また、提示情報は、複数の車両M1等のうち監視優先度の高さに応じて特定される車両を示す情報と、当該特定される車両に対応する監視優先度とを対応付けて示す情報を含んでいてもよい。また、提示情報は、監視優先度が高い車両又は低い車両から監視優先度順に表示するための情報を含んでいてもよい。図6では、監視優先度が高い順に表示している例を示している。
また、提示情報は、複数の車両M1等のうち監視優先度の高さに応じて特定される車両の監視のための情報(第一情報の一例)を、特定される車両以外の他の車両の監視のための情報(第二情報の一例)より強調して提示する情報を含んでもよい。例えば、提示情報は、監視優先度が最も高い車両又は閾値より高い車両を示す情報(第一情報の一例)を他の車両の情報(第二情報の一例)より強調して提示する情報(以降において強調情報ともいう)を含んでいてもよい。例えば、提示情報は、ボタンの画像33のうち、監視優先度が高い車両M1に対応するボタンの画像33を他の車両に対応するボタンの画像33と異なる態様で提示する情報を含んでいてもよい。
図7は、本実施の形態に係る提示情報の第二例を示す説明図である。図7は、提示情報として、車両M1等から取得した画像データが提示される例を示している。
図7に示されるように、表示装置30が表示する画像32aは、車両M1等ごとの画像35~37を含む。画像35は、例えば、監視優先度が高い車両M1(注目車両の一例)の1以上のカメラが撮影した画像データに基づく画像である。画像36及び37も同様であり、車両M2等の車両M1より監視優先度が低い車両(他の車両の一例)の1以上のカメラが撮影した画像データに基づく画像である。このように、提示情報は、強調情報として、監視優先度が高い車両M1の画像35を、車両M1より監視優先度が低い車両M2等の画像36及び37より大きい面積で表示する情報を含んでいてもよい。なお、画像35は第一情報に含まれる第一画像の一例であり、画像36及び37は第二情報に含まれる第二画像の一例である。
画像32aは、車両M1等のそれぞれの監視を開始するためのボタンの画像(図6に示すボタンの画像33を参照)を含んでいてもよい。
監視者は、画像32又は32aを視認し、監視の対象とする車両を選択し、選択した車両に対応するボタンの画像33を操作する。この操作は入力装置20により受け付けられ、この操作を示す操作情報が受信部16により受信される。
図6及び図7では、監視者が監視の対象である車両を選択するための画像が表示装置30に表示される、つまり提示情報に監視者が監視の対象である車両を選択するための情報が含まれる例について説明した。以下においては、提示情報が監視者による監視の対象である車両の画像を表示するための情報である例について説明する。
図8は、本実施の形態に係る提示情報の第三例を示す説明図である。図8は、提示情報として、車両M1から取得した画像データに基づく画像が提示される例を示している。
図8に示されるように、表示装置30が表示する画像38は、監視優先度が高い(例えば、最も高い)車両M1の画像である。このように、提示情報は、複数の車両M1等のうち監視優先度が最も高い又は閾値より高い車両M1の監視のための情報を含む。提示情報は、複数の車両M1等のうち監視優先度が最も高い又は閾値より高い車両M1が撮影した画像38(図8を参照)、又は、当該車両M1が映る画像を含む。言い換えると、提示情報は、表示装置30に表示される画像を車両M1が撮影した画像38、又は、当該車両が映る画像に切り替えるための情報を含んでいてもよい。これにより、監視者が監視対象を選択する作業を省くことができるので、監視者の監視負担をさらに低減することができる。
図9は、本実施の形態に係る提示情報の第四例を示す説明図である。図9は、提示情報として、図8に示す画像38に、車両M1が選択された理由が提示される例を示している。つまり、提示情報は、監視優先度に対する、複数の状況情報の少なくとも一つの寄与度を示す情報を含む。
図9に示されるように、表示装置30が表示する画像38は、車両M1が監視対象に決定された理由を示す画像39を含む。画像39は、寄与度を示す情報に含まれる。図9において、車両M1が監視対象に決定されたのは、「急発進」の寄与度が最も高かったことを示している。画像39は、寄与度を示す情報に含まれる。なお、「急発進」に対応する優先度の値が画像38に重畳して提示されてもよいし、「急発進」以外の状況情報が検知されている場合、その検知された状況情報が画像38に重畳して提示されてもよい。
なお、監視優先度が所定の閾値以上の車両が存在しない場合(例えば、監視対象車両が存在しない場合)、監視不要を示す提示情報が提示されてもよい。例えば、監視対象が存在しない旨を示す情報、監視作業の休憩を促す情報、又は監視作業とは異なる作業を促す情報などが提示情報として提示されてもよい。図10は、本実施の形態に係る提示情報の第五例を示す説明図であり、具体的には、監視不要を示す情報として監視対象が存在しない旨を示す画像40を含む画像38が表示されている例を示す。
また、監視優先度が所定の閾値以上の車両が存在しない時間すなわち監視不要の時間を記録し、監視不要の時間の統計情報が提示されてもよい。例えば、監視不要の時間の平均値、中央値もしくは最頻値、又は日、週もしくは月などの特定期間における分布などの統計情報が提示されてよい。なお、例えば、監視不要の時間を記録する処理は、例えば、監視制御部17により行われる。また、統計情報は、監視情報に含まれていてもよい。
また、監視不要の時間の統計情報から、休憩などの監視作業から離れる期間の提案が提示されてもよい。例えば、一日のうち監視不要の時間が統計的に長い時間帯において休憩を促す情報が提示されてよい。なお、例えば、休憩などの監視作業から離れる期間を提案する処理は、例えば、監視制御部17により行われる。また、当該提案(例えば、休憩を促す情報)は、監視情報に含まれていてもよい。
図11は、本実施の形態に係る提示情報の第六例を示す説明図であり、具体的には、監視不要の時間及び休憩を促す情報として、監視不要の時間の平均値及び休憩を促すことを示す画像41を含む画像38が表示されている例を示す。
[監視システムの動作]
次に、上記のように構成された監視システム1による処理を以降で説明する。
図12は、本実施の形態に係る監視システム1の処理を示すシーケンス図である。図12に示されるシーケンス図は、車両情報を用いて推薦される監視対象を決定する処理の流れを示す図である。なお、図12では、車両M1等の代表として車両M1を図示しているが、他の車両M2~MNについても同様の処理が行われる。
図12に示されるように、ステップS101において、サーバ装置10の運行管理部14は、運行DB13に格納されている車両M1の運行計画に基づいて、車両M1の移動経路を設定する。そして、運行管理部14は、設定した移動経路を含む指示情報を車両M1に送信する。なお、運行管理部14は、他の車両M2~MNについても同様に移動経路を設定し指示情報を送信する。
ステップS121において、車両M1は、ステップS101で運行管理部14が送信した指示情報を受信する。そして、車両M1は、受信した指示情報に基づいて、運行管理部14が設定した移動経路に従って走行する。
ステップS122において、車両M1は、走行中の位置、速度、加速度又は操舵角などを示す車両情報(すなわちセンシングデータ、及び、画像データ)を取得する。
ステップS123において、車両M1は、ステップS122で取得した車両情報(すなわちセンシングデータ、及び、画像データ)をサーバ装置10に送信する。なお、車両M1は、ステップS123の後にも、走行中の位置、速度、加速度又は操舵角などを示す車両情報(すなわちセンシングデータ、及び、画像データ)を取得し、サーバ装置10に送信する。
なお、ステップS121~S123の処理は、他の車両M2~MNでも同様に行われる。
ステップS102において、サーバ装置10の通信部11は、ステップS123で車両M1等が送信した車両情報(すなわちセンシングデータ、及び、画像データ)を受信する。通信部11は、受信した車両情報(すなわちセンシングデータ、及び、画像データ)を車両管理部12に提供する。なお、ステップS201において、通信部11は、監視者の監視対象となり得る車両から得られる、車両の走行状態及び外部状態の少なくとも一方を示す車両情報(すなわちセンシングデータ、及び、画像データ)を通信により取得する。
ステップS103において、サーバ装置10の運行管理部14は、ステップS102で受信した車両情報に含まれる位置情報が、運行計画に適合しているか否かを判断し、その判断の結果を示す運行情報を生成する。
ステップS104において、推薦部15は、複数の車両M1等それぞれに対して監視優先度を決定する。具体的には、推薦部15は、ステップS102で通信部11が受信した車両情報を車両管理部12から取得し、ステップS103で運行管理部14が生成した運行情報を取得する。そして、推薦部15は、取得した車両情報及び運行情報に基づく当該車両に対する監視者による監視を要する度合いに応じた当該車両についての監視優先度を決定する。具体的には、推薦部15は、取得した車両情報及び運行情報と、運行DB13に記憶されているテーブル(例えば、優先度テーブルT1)とに基づいて監視優先度を決定する。
ステップS105において、推薦部15は、ステップS102で決定した監視優先度に基づいて、監視者による監視が求められる推薦対象車両を決定する。具体的には、推薦部15は、複数の車両M1等の中から、監視優先度が最も高い車両、又は、監視優先度が所定の閾値以上である車両を推薦対象車両であると決定してもよい。なお、ステップS105において決定される推薦対象車両の数は、1つに限定されず、複数であってもよい。つまり、ステップS105において、推薦部15は、複数の車両M1等のうち、2つ以上の車両を推薦対象車両として決定してもよい。例えば、推薦部15は、監視優先度が所定の値以上である1以上の車両M1を推薦対象車両として決定してもよい。監視者による監視の負担をさらに低減する観点から、ステップS105において決定される推薦対象車両の数は少ない方がよく、例えば、1つであってもよい。
また、ステップS105において、推薦部15は、ステップS102で決定した監視優先度に基づいて、監視者による監視が求められる推薦対象車両が存在しないことを決定してもよい。例えば、推薦部15は、複数の車両M1等の中から、監視優先度が所定の閾値以上である車両が存在しない場合、監視者による監視が求められる推薦対象車両が存在しないと決定してもよい。すなわち、ステップS105において、推薦部15は、ステップS102で決定した監視優先度に基づいて、監視者による監視が求められる推薦対象車両が存在するか否かを判定してもよい。
そして、推薦対象車両を特定する情報又は推薦対象車両が存在しないことを含む推薦情報を監視制御部17に提供する。
ステップS141において、入力装置20は、監視者による監視の対象を切り替えるための操作を受け付ける。この操作は、表示装置31が表示した情報を監視者が視認し、どの車両を監視の対象とするかを監視者が検討したうえで行った判断に基づく操作であり得る。そして、入力装置20は、受け付けた操作の内容を示す操作情報をサーバ装置10に送信する。操作情報は、監視者が車両M1等のうちのどの車両を監視対象に切り替えたかを示す情報を含む。なお、監視者による操作がなされなかった場合には、操作がなかったことを示す操作情報をサーバ装置10に送信してもよいし、操作情報を送信しないことにしてもよい。
ステップS106において、サーバ装置10の受信部16は、入力装置20がステップS141で送信した操作情報を受信する。
ステップS107において、監視制御部17は、監視者による監視の対象を決定し、監視の対象を特定し得る監視情報を生成する。監視制御部17は、監視の対象を決定する際には、ステップS105で推薦部15が提供した推薦情報と、受信部16が受信した操作情報とに基づいて監視の対象を決定する。監視制御部17は、生成した監視情報を映像管理部18に提供する。
また、監視制御部17は、推薦対象車両が存在しないことを含む推薦情報を取得した場合、ステップS107において、監視不要を示す情報、監視不要の時間の統計情報、及び、監視作業から離れる期間の提案の少なくとも1つを含む監視情報を生成し、映像管理部18に提供してもよい。なお、監視制御部17は、例えば、推薦対象車両が存在しないことを示す推薦情報を取得してから、推薦対象車両を特定する情報を含む推薦情報を最初に取得するまでの時間を監視不要の時間として記録してもよい。
ステップS108において、映像管理部18は、ステップS107で監視制御部17から提供された監視情報に基づいて、監視者に提示するための提示情報を生成する。
ステップS109において、映像管理部18は、ステップS106で生成した提示情報を表示装置30に送信する。すなわち、ステップS108及びS109において、映像管理部18は、監視優先度に基づいて車両の監視のための提示情報を生成し、生成した提示情報を表示装置30に送信する。
ステップS131において、表示装置30は、ステップS109で監視制御部17が送信した提示情報を受信し、提示情報に基づいて監視対象の車両に関する情報を表示する。すなわち、映像管理部18は、表示装置30に提示情報を送信することで、提示情報を表示装置30に出力させる。
なお、監視制御部17の現時点における動作モードが手動更新モードである場合、ステップS106、及び、S141の処理は、行われなくてもよい。
図13は、本実施の形態に係る推薦部15の処理を示すフロー図である。図13に示される処理は、図12に示されるステップS104で実行される処理を詳細に示すものである。
ステップS201において、推薦部15は、車両情報及び運行情報を取得する。具体的には、推薦部15は、車両情報を車両管理部12から取得し、車両M1等の運行に関する運行情報を運行管理部14から取得する。なお、推薦部15は、ステップS201において、少なくとも車両情報を取得すればよい。
ステップS202において、推薦部15は、車両の車両情報及び運行情報に基づく、当該車両の監視の優先度を決定する。具体的には、推薦部15は、車両の車両情報及び運行情報と、優先度テーブルT1とに基づいて、監視の優先度を決定する。すなわち、推薦部15は、車両情報及び運行情報に基づいて、車両に対する監視者による監視の必要な度合いを決定する。推薦部15は、優先度テーブルT1に含まれる複数の状況情報の中から検出された状況情報に対応する優先度を、監視を要する度合いとして決定する。
推薦部15は、例えば、走行状態、カメラの画像、及び、加速度などから、車両において事故が発生していると判定すると、「自車両で事故発生」を検知して、当該車両の優先度を「23」に決定する。また、推薦部15は、車両の搭乗者からの呼出を取得すると、「コール発生」を検知して、当該車両の優先度を「18」に決定する。また、推薦部15は、車両の位置情報と地図情報とから、車両が踏切付近に位置していると判定すると、「踏切」を検知して、当該車両の優先度を「4」に決定する。
なお、優先度テーブルT1に示す優先度が重み付けされていない値である場合、ステップS202において、重みを用いて監視者による監視を要する度合いが決定されてもよい。例えば、状況情報に対応する優先度と、当該状況情報に対応する重みとを掛け合わせることで、監視者による監視を要する度合いが決定されてもよい。つまり、監視者による監視を要する度合いは、演算により算出されることで決定されてもよい。この場合、重みは、予め定められた値が用いられる。
なお、複数の状況情報それぞれに対応する重みは、車両又は当該車両の周囲の状況などに応じて逐次決定されてもよい。重みは、当該重みに対応する状況情報以外の他の情報に応じて決定されてもよい。他の情報は、例えば、当該重みに対応する状況情報(例えば、「横断歩道」)において、当該他の情報の内容(例えば、車両情報に含まれる当該車両の周辺物体の数)により監視者による監視を要する度合いが変化する情報である。つまり、他の情報は、状況情報における監視者による監視を要する度合いに影響を与える情報である。
状況情報「横断歩道」(第一状況情報の一例)は、例えば、車両の周辺物体の数に応じて監視者による監視を要する度合いが変化する。例えば、周辺物体の数(例えば、人の人数)が多いほど車両の走行の危険性が上がる(例えば、事故の発生率が高くなる)ので、監視者による監視を要する度合いが高くなると考えられる。そのため、推薦部15は、周辺物体の数が多いほど、「横断歩道」に対応する重みの値を大きくしてもよい。なお、他の情報は、周辺物体の数に示される車両情報に限定されず、複数の状況情報のうち当該状況情報以外の状況情報(第二状況情報の一例であり、例えば、「急発進」)であってもよいし、運行情報であってもよいし、それらの組み合わせであってもよい。例えば、横断歩道の近くに停止していた車両が動き出した場合、「急発進」であると横断歩道における車両の走行の危険性が上がるので、監視者による監視を要する度合いが高くなると考えられる。そのため、推薦部15は、「急発進」している場合、「急発進」していない場合に比べ、「横断歩道」に対応する重みを大きくしてもよい。
上記のように、複数の状況情報は、第一状況情報(例えば、「横断歩道」)、及び、当該第一状況情報と異なる第二状況情報(例えば、「急発進」)を含む。そして、第一状況情報に対応する重みは、第二状況情報、車両情報、及び、運行情報の少なくとも1つに応じて決定されてもよい。
また、複数の状況情報それぞれに対応する重みは、当該状況情報が検知されてから監視者が対応していない(例えば、監視していない)時間に応じて決定されてもよい。状況情報「コール発生」を例に説明すると、状況情報「コール発生」に対応する重みを決定する場合、車両の搭乗者からの呼出をサーバ装置10が取得してから監視者が当該呼出に対応しなかった時間(以降において、未対応時間ともいう)に応じて決定されてもよい。例えば、「コール発生」に対する未対応時間が長いほど、車両の走行の危険性が上がるので、監視者による監視を要する度合いが高くなると考えられる。そのため、推薦部15は、呼出に対する未対応時間が長いほど、「コール発生」に対応する重みの値を大きくしてもよい。
また、複数の状況情報それぞれに対応する重みは、当該状況情報における基準との相違に応じて決定されてもよい。状況情報「タイムスケジュールずれ」を例に説明すると、状況情報「タイムスケジュールずれ」に対応する重みを決定する場合、予め設定された運行計画(状況情報における基準の一例)からの時間差(例えば、運行計画から遅れている時間)に応じて決定されてもよい。例えば、運行計画からの時間差が大きいほど、車両の走行の危険性が上がるので、監視者による監視を要する度合いが高くなると考えられる。そのため、推薦部15は、運行計画からの時間差が大きいほど、「タイムスケジュールずれ」に対応する重みの値を大きくしてもよい。
また、状況情報における基準値との相違に応じて重みを決定する他の例として、状況情報「速度異常」(図示しない)について説明する。状況情報「速度異常」に対応する重みを決定する場合、車両が走行している道路の法定速度(状況情報における基準の一例)からの速度差に応じて決定されてもよい。例えば、法定速度からの速度差が大きいほど、車両の走行の危険性が上がるので、監視者による監視を要する度合いが高くなると考えられる。そのため、推薦部15は、法定速度からの速度差が大きいほど、「速度異常」に対応する重みの値を大きくしてもよい。なお、法定速度は、例えば、車両の位置情報及び地図情報に基づいて取得される。
ステップS203において、推薦部15は、車両の監視優先度を決定する。具体的には、推薦部15は、ステップS202で決定された優先度を当該車両の監視優先度として決定する。なお、ステップS202において、1つの車両に対して複数の状態情報が検知されている場合、つまり1つの車両に対して複数の優先度が決定されている場合、複数の優先度に所定の演算をして監視優先度を算出することで、監視優先度を決定してもよい。監視優先度は、1つの車両に対して1つ決定される。なお、演算とは、加算、減算、乗算及び除算の少なくとも1つを含む。推薦部15は、例えば、複数の優先度を加算することで、当該車両についての監視優先度を決定する。
以上のように、車両M1等の監視優先度は、少なくとも車両情報に基づいて決定される。なお、図13に示される処理は、複数の車両M1等のそれぞれについて行われる。
ここで、車両情報及び運行情報の少なくとも一部が取得できなかった場合の推薦部15の処理について、図14A及び図14Bを参照しながら説明する。なお、図14A及び図14Bでは、車両情報の少なくとも一部が取得できなかった場合について説明する。
図14Aは、車両の車両情報の少なくとも一部が取得できなかった場合の、本実施の形態に係る推薦部15の処理の一例を示すフロー図である。図14Bは、車両の車両情報の少なくとも一部が取得できなかった場合の、本実施の形態に係る推薦部15の処理の他の一例を示すフロー図である。図14A及び図14Bは、図13におけるステップS201とステップS202との間で行われる処理である。
図14Aに示されるように、ステップS301において、推薦部15は、車両からの車両情報の一部が欠けているか否かを判定する。つまり、推薦部15は、車両の車両情報の一部が取得できていないか否かを判定する。車両情報の一部が取得できていないとは、例えば、車両情報のうち予め定められた情報(例えば、速度情報など)が取得できていない、又は、複数の車両ごとで取得した車両情報に含まれる情報が異なっている場合などが想定される。
推薦部15は、車両情報の一部が欠けていると判定した場合(ステップS301でYes)にはステップS302に進み、そうでない場合(ステップS301でNo)には車両情報の一部が欠けていることに対する処理を終了する。つまり、推薦部15は、ステップS201で取得した車両の車両情報を用いて、ステップS202の処理を行う。
ステップS302において、推薦部15は、補完値テーブルT2から欠けている車両情報に対応する状況情報の優先度を取得する。具体的には、推薦部15は、図5に示される補完値テーブルT2の中から、取得できなかった車両情報に基づく車両の状況に応じた補完値を読み出し、読み出した補完値を当該状況情報に対応する優先度として決定する。補完値は、車両情報の少なくとも一部が取得されないことによる監視優先度の決定における影響度に基づいて決定される。影響度は、例えば、取得されない情報が位置情報であった場合、複数の状況情報のうち位置情報に基づく状況情報の数が多いほど高くなる。そのため、例えば、位置情報に基づく状況情報の補完値は、高く設定されてもよい。また、影響度は、取得されない情報が位置情報であった場合、複数の状況情報のうち位置情報に基づく状況情報の優先度が高いほど、高くなる。そのため、例えば、位置情報に基づく状況情報の補完値は、当該状況情報の優先度が高いほど高く設定されてもよい。
また、図14Bに示されるように、ステップS401において、推薦部15は、車両からの車両情報の一部が欠けているか否かを判定する。つまり、推薦部15は、車両の車両情報の一部が取得できていないか否かを判定する。ステップS401の処理は、図14AのステップS301と同様であり、説明を省略する。推薦部15は、車両情報の一部が欠けていると判定した場合(ステップS401でYes)にはステップS402に進み、そうでない場合(ステップS401でNo)には車両情報の一部が欠けていることに対する処理を終了する。つまり、推薦部15は、ステップS201で取得した車両の車両情報を用いて、ステップS202の処理を行う。
ステップS402において、推薦部15は、直近に取得した優先度に所定の演算を行うことで現時点の優先度を取得する。所定の演算とは、直近に取得した優先度に所定の補正係数をかけることであってもよい。運行DB13は、車両情報の少なくとも一部が取得できないことに関する影響度に基づく補正係数テーブルを記憶していてもよい。そして、推薦部15は、車両情報の少なくとも一部にも基づく状況情報における直近に取得した優先度に所定の補正係数をかけて補正することで、当該状況情報の現時点における優先度を取得してもよい。
現時点における優先度とは、ステップS201で取得された車両情報(第一車両情報の一例)に基づいて決定される優先度である。直近に取得した優先度とは、ステップS201で取得された車両情報より過去に取得された車両情報(第二車両情報の一例)に基づいて決定され優先度である。過去に取得された車両情報は、ステップS201で取得されなかった車両情報の少なくとも一部を含む情報である。なお、直近に取得した優先度は、現時点に対して最も直近に取得した優先度であってもよいし、直近に取得した複数の優先度(例えば、直近に取得した5個の優先度)の平均値、中央値、最大値、及び、最小値などの統計値であってもよい。
以上のように、推薦部15は、第一車両情報より過去に取得された、少なくとも一部を含む第二車両情報と、当該少なくとも一部が取得されないことによる監視優先度の決定における影響度とに基づいて、当該少なくとも一部における監視者による監視を要する度合いを補完する。なお、推薦部15は、第一車両情報の少なくとも一部が取得されない場合、第一車両情報より過去に取得された、少なくとも一部を含む第二車両情報に基づいて、当該少なくとも一部が取得されないことによる監視優先度の決定における影響度に応じた監視者による監視を要する度合いを決定すればよい。推薦部15は、例えば、第一車両情報を補完することで、監視者による監視を要する度合いを決定してもよい。例えば、推薦部15は、車速が取得できない場合、車速を前回の車速又はそれの経時変化を加味した車速で補完して優先度を算出してもよい。
また、ステップS402において、推薦部15は、影響度に応じた監視者による監視を要する度合いを、第二車両情報を過去に取得した時点からの経過時間に応じて決定してもよい。例えば、推薦部15は、さらに、取得できていない車両情報の一部を最も直近に取得した時点から現在までの経過時間に応じて上記の補正係数を変換してもよい。推薦部15は、例えば、経過時間が長いほど、補正係数が大きくなる(例えば、優先度が高くなる)ように当該補正係数を変換してもよい。
なお、運行DB13は、補正係数を変換する変換テーブル(図示しない)を記憶しており、推薦部15は、当該変換テーブルを読み出し、読み出した変換テーブルに基づく係数を直近に取得した優先度にかけることで、直近に取得した優先度を補正してもよい。
なお、推薦部15は、図14A及び図14Bに示される処理を行わなくてもよい。
図15は、本実施の形態に係る監視制御部17の処理を示すフロー図である。図15に示される処理は、図12に示されるステップS107で実行される処理を詳細に示すものである。
ステップS501において、監視制御部17は、受信部16が入力装置20から操作情報を受信したか否かを判定する。操作情報を受信したと判定した場合(ステップS501でYes)にはステップS502に進み、そうでない場合(ステップS501でNo)には、再びステップS501を実行する。つまり、監視制御部17は、操作情報を受信するまでステップS501で待機状態をとる。
ステップS502において、監視制御部17は、受信部16が受信した操作情報に基づいて、監視者による操作の内容を取得する。
ステップS503において、監視制御部17は、監視対象の切り替えのための操作がなされたか否かを判定する。上記操作がなされたと判定した場合(ステップS503でYes)にはステップS521に進み、上記操作がなされていないと判定した場合(ステップS503でNo)にはステップS504に進む。
ステップS504において、監視制御部17は、現時点における動作モードが自動更新モードであるか否かを判定する。自動更新モードである場合(ステップS504でYes)にはステップS505に進み、そうでない場合(ステップS504でNo)にはステップS511に進む。
ステップS505において、監視制御部17は、ステップS104で推薦部15により提供された推薦情報を取得する。
ステップS506において、監視制御部17は、推薦情報が推薦対象車両を特定する情報を含むか否かを判定する。推薦情報が推薦対象車両を特定する情報を含む場合(S506でYes)、つまり推薦部15により推薦対象車両が存在すると判定された場合にはステップS507に進み、そうでない場合(ステップS506でNo)にはステップS508に進む。
ステップS507において、監視制御部17は、推薦情報により推薦される推薦対象車両を、監視対象車両に決定する。
ステップS508において、監視制御部17は、推薦情報により監視対象車両が存在しないと決定する。
ステップS511において、監視制御部17は、現時点における監視の対象の車両を維持する決定をする。
ステップS521において、監視制御部17は、監視者による切り替え操作の切り替え先の車両を監視対象車両とする決定をする。
ステップS509において、監視制御部17は、ステップS507、S508、S511又はS521の決定に基づいて、監視の対象を示す監視情報を生成する。ステップS509の処理を終えたら図15に示される一連の処理を終了する。ステップS509で生成された監視情報は、映像管理部18に提供されステップS108の処理に用いられる。
なお、上記では、推薦部15が監視の対象となる車両を推薦する場合を説明したが、推薦部15は、さらに、当該車両をどのように監視するかを含めて推薦してもよい。「当該車両をどのように監視するか」とは、例えば、車両がどの程度の速度で走行しているかを監視すること、車両から見てどの方向を監視するかなどを含む。その場合、推薦情報には、車両を特定する情報だけでなく、車両をどのように監視するかを特定する情報を含む。そして、監視情報が、さらに車両の監視方法を特定する情報を含む場合には、その車両から通信部11が受信した画像データ及びセンシングデータのうち監視方法に該当するデータを提示情報に含め、監視者に提示する。より具体的には、車両の監視方法として、車両から見てどの方向を監視するかを推薦する場合には、車両が備えている1以上のカメラのうち監視の対象である方向のカメラが取得した画像を提示情報に含めてもよい。
(実施の形態の変形例)
本変形例の情報処理方法等について、図16を参照しながら説明する。なお、本変形例に係る監視システムの構成は、実施の形態と同様であり、説明を省略する。
図16は、本変形例に係る監視システム1の処理を示すシーケンス図である。図16では、車両M1等の代表として車両M1及びM2を図示しているが、他の車両についても同様の処理が行われる。サーバ装置10が車両M1及びM2から車両情報等を取得している例を示している。また、サーバ装置10が行うステップS601~S609は、図12に示すステップS101~S109と同様であり、説明を省略する。また、車両M1が行うステップS621~S623、及び、車両M2が行うステップS624~S626は、図12に示すステップS121~S123と同様であり、説明を省略する。また、表示装置30が行うステップS631は、図12に示すステップS131と同様であり、説明を省略する。また、入力装置20が行うステップS641は、図12に示すステップS141と同様であり、説明を省略する。なお、以降においては、車両M1等の中から、ステップS607で監視対象に車両M1が決定されたとして説明する。
ステップS610において、サーバ装置10は、車両との間の通信量を制御するための通信量制御情報を車両M2に送信する。つまり、サーバ装置10は、ステップS606で監視対象に決定されなかった車両M2に対して、通信量制御情報を送信する。ここで、通信量制御情報とは、車両M2とサーバ装置10とのの間の通信量を下げるための情報である。
車両M2とサーバ装置10との間の通信量は、監視優先度に応じて制御される。車両M2の監視優先度は、車両M1の監視優先度より低い。そのため、サーバ装置10は、車両M2とサーバ装置10との間の通信量が車両M1とサーバ装置10との通信量より小さくなるように通信量制御情報を生成してもよい。また、サーバ装置10は、車両M2とサーバ装置10との通信量を、監視対象が決定される前より監視対象が決定された後の方が小さくなるように通信量制御情報を生成してもよい。
なお、監視対象が車両M1に決定された場合、複数の車両M1等において当該車両M1以外の全ての車両(他の車両ともいう)に通信量制御情報が送信される。他の車両の送信される通信量制御情報は、当該車両の監視優先度に応じて決定されてもよい。他の車両の中で監視優先度が低い車両は、他の車両の中で監視優先度が高い車両に比べて通信量をより小さくなるように制御されてもよい。これにより、車両M1等とサーバ装置10との間の通信量を抑制しつつ、他の車両の中で以降において監視対象となる可能性が高い車両の情報をより多く送信することができる。なお、サーバ装置10は、他の車両の通信量を一律に小さくしてもよい。
ステップS627において、車両M2は、通信量制御情報を受信する。
ステップS628において、車両M2は、受信した通信量制御情報に基づいてサーバ装置10との通信量を変更する。車両M2は、車両M2から送信される画像データの画質を下げること、画像データを送信する通信速度を下げること、及び、画像データを撮影するフレームレートを小さくすることの少なくとも1つにより、通信量を小さくしてもよい。また、車両M2は、当該車両M2の周囲を撮影する2以上のカメラを備える場合、所定のカメラが撮影した画像データのみをサーバ装置10に送信することで通信量を小さくしてもよい。所定のカメラとは、例えば、車両M2の移動経路などにより決定され、例えば車両M2の進行方向を撮影しているカメラである。
なお、ステップS610の処理は、サーバ装置10が備えるどの構成要素が実施してもよい。例えば、監視制御部17、又は、映像管理部18がステップS610の処理を行ってもよい。例えば、映像管理部18は、表示装置30に提示情報を送信した後、通信部11を介して通信量制御情報を車両M2に送信してもよい。
(その他の実施の形態)
以上、本開示について実施の形態及び変形例(以降において、実施の形態等とも記載する)に基づいて説明したが、本開示は、上記実施の形態等に限定されるものではない。
例えば、上記実施の形態等では、監視者による操作により選択された車両と、推薦部の推薦対象車両とでは、監視者による操作により選択された車両が優先して監視対象車両に決定される例について説明したが、これに限定されない。監視者による操作により選択された車両より推薦対象車両が優先して、監視対象車両に決定されてもよい。監視制御部は、例えば、監視優先度が所定の値以上である場合、推薦対象車両を優先して、監視対象車両に決定してもよい。
また、上記実施の形態等において、推薦部は、複数の状況情報に対応する重みを、運行DBが記憶するテーブルから読み出しよい。つまり、運行DBは、状況情報における事故の発生率又は発生しうる事故の重大さと、重みとが対応付けられたテーブルを記憶していてもよい。
また、上記実施の形態等において、推薦部は、監視優先度が最も高い又は監視優先度が最も高い車両又は閾値より高い車両を推薦対象車両に決定する例について説明したが、これに限定されない。推薦部は、例えば、複数の状況情報のうち所定の状況情報が検知された車両を推薦対象車両に決定してもよい。例えば、「自車両で事故発生」の状況情報が検知された車両を推薦対象車両に決定してもよい。
また、上記実施の形態等において、推薦部は、監視者が複数存在する場合、監視者の状態によって優先度又は優先順位を変更してもよい。図4に示される「自車両で事故発生」を例に説明する。監視者Aは、「自車両の事故発生」における対処を過去に監視者Bよりも多く行っていたとする。この場合、監視者Aは、監視者Bよりも「自車両の事故発生」に対する対処を円滑に行うことができる。そのため、監視者Aにおける「自車両の事故発生」の優先度を監視者Bより高くしてもよい。これにより、監視者が複数いる場合、車両の状況情報に円滑に対処することができる監視者に車両の監視を行わせることができる。
また、上記実施の形態等において、優先度テーブルに示される優先度は、例えば、機械学習モデルを用いて決定されてもよい。推薦部は、取得した車両情報及び運行情報を入力データとして機械学習モデルに入力した結果として出力される状況情報ごとの優先度を取得し、取得した優先度に基づいて推薦情報を決定してもよい。
また、上記実施の形態等において、車両情報(第一車両情報)自体が複数種類あることを説明したが、複数種類の車両情報ごとに重みが対応付けられていてもよい。例えば、操舵角又は速度(第一車両情報の一例)のそれぞれに、重みが対応付けられていてもよい。そして、監視優先度は、当該重みに基づいて決定されてもよい。
また、上記実施の形態等における監視システムが備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
また、上記実施の形態等に係る監視システムの各処理部(例えば、車両管理部、運行管理部、及び、推薦部など)は典型的に集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の各実施の形態は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記実施の形態等では、サーバ装置は、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。
また、フロー図における各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
その他、上記実施の形態等に対して当業者が思い付く各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態等における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、監視者が被操作車両を監視するための情報処理方法に利用可能である。
1 監視システム(情報処理システム)
10 サーバ装置
11 通信部
12 車両管理部
13 運行DB
14 運行管理部
15 推薦部(決定部)
16 受信部
17 監視制御部
18 映像管理部(提示制御部)
20 入力装置
30、31 表示装置
32、32a、33~41 画像
M1、M2、・・・、MN 車両
N ネットワーク
T1 優先度テーブル
T2 補完値テーブル

Claims (18)

  1. コンピュータを用いて、
    監視者の監視対象である車両から得られる、前記車両の自動運転時の走行状態及び外部状態の少なくとも一方を示す第一車両情報を取得し、
    前記第一車両情報に基づく自動運転時の前記車両に対する前記監視者による監視を要する度合いに応じた前記車両についての監視優先度を決定し、
    前記監視優先度に基づいて前記車両の監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させる
    情報処理方法。
  2. さらに、前記第一車両情報に基づいて、前記車両に対する前記度合いを決定し、
    決定された前記度合いに応じて、前記車両についての前記監視優先度を決定する
    請求項1に記載の情報処理方法。
  3. 前記第一車両情報に基づく前記車両の状況を示す複数の状況情報それぞれに対応する前記度合いと、前記複数の状況情報それぞれに対応する重みとに基づいて、前記監視優先度を決定する
    請求項2に記載の情報処理方法。
  4. 前記複数の状況情報は、第一状況情報、及び、当該第一状況情報と異なる第二状況情報を含み、
    前記第二状況情報、及び、前記第一車両情報の少なくとも一方に応じて前記第一状況情報に対応する重みを決定する
    請求項3に記載の情報処理方法。
  5. 前記提示情報は、前記監視優先度の決定に対する、前記複数の状況情報の少なくとも1つの寄与度を示す情報を含む
    請求項3又は4に記載の情報処理方法。
  6. 前記度合いは、前記車両の位置情報と当該車両の移動経路を含む運行計画とに、さらに基づいて決定される
    請求項1~5のいずれか1項に記載の情報処理方法。
  7. 複数の前記車両のそれぞれから前記第一車両情報を取得し、
    前記提示情報は、複数の前記車両それぞれの監視優先度の高さに応じて特定される車両の監視のための情報である
    請求項1~6のいずれか1項に記載の情報処理方法。
  8. 前記提示情報は、複数の前記車両のうち監視優先度が最も高い又は閾値より高い車両の監視のための情報を含む
    請求項7に記載の情報処理方法。
  9. 前記提示情報は、複数の前記車両のうち監視優先度の高さに応じて特定される車両の監視のための第一情報を前記特定される車両以外の他の車両の監視のための第二情報より強調して提示する情報を含む
    請求項7又は8に記載の情報処理方法。
  10. 前記提示情報は、複数の前記特定される車両の監視のための情報を、複数の前記特定される車両それぞれの前記監視優先度順に示す情報を含む
    請求項7~9のいずれか1項に記載の情報処理方法。
  11. 前記提示情報は、前記特定される車両を示す情報と、当該特定される車両に対応する監視優先度とを対応付けて示す情報を含む
    請求項7~10のいずれか1項に記載の情報処理方法。
  12. 前記提示情報は、前記特定される車両が撮影した画像又は前記特定される車両が映る画像を含む
    請求項7~11のいずれか1項に記載の情報処理方法。
  13. 前記第一車両情報の少なくとも一部が取得されない場合、当該少なくとも一部が取得されないことによる前記監視優先度の決定における影響度に応じた前記度合いを決定する
    請求項1~12のいずれか1項に記載の情報処理方法。
  14. 前記第一車両情報の少なくとも一部が取得されない場合、前記第一車両情報より過去に取得された、前記少なくとも一部を含む第二車両情報に基づいて、当該少なくとも一部が取得されないことによる前記監視優先度の決定における影響度に応じた前記度合いを決定する
    請求項13に記載の情報処理方法。
  15. 前記影響度に応じた前記度合いは、前記第二車両情報を過去に取得した時点からの経過時間に応じて決定される
    請求項14に記載の情報処理方法。
  16. 前記第一車両情報の取得では、前記第一車両情報を前記車両との通信により取得し、
    前記情報処理方法は、さらに前記通信の通信量を前記監視優先度に応じて制御する
    請求項1~15のいずれか1項に記載の情報処理方法。
  17. 複数の前記車両のそれぞれから前記第一車両情報を取得し、
    複数の前記車両それぞれにおいて、当該車両についての前記監視優先度を決定し、
    複数の前記車両それぞれの前記監視優先度に基づいて、複数の前記車両のうち前記監視優先度が閾値より高い車両のみを監視するための前記提示情報を生成する
    請求項1~16のいずれか1項に記載の情報処理方法。
  18. 監視者の監視対象である車両から得られる、前記車両の自動運転時の走行状態及び外部状態の少なくとも一方を示す車両情報を取得する取得部と、
    前記車両情報に基づく自動運転時の前記車両に対する前記監視者による監視を要する度合いに応じた前記車両についての監視優先度を決定する決定部と、
    前記監視優先度に基づいて前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる提示制御部とを備える
    情報処理システム。
JP2019098794A 2018-10-05 2019-05-27 情報処理方法、及び、情報処理システム Active JP7249879B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP23217771.7A EP4319184A3 (en) 2018-10-05 2019-09-26 Information processing method, and information processing system
EP19868550.5A EP3862990B1 (en) 2018-10-05 2019-09-26 Information processing method, and information processing system
CN201980026970.XA CN112055873A (zh) 2018-10-05 2019-09-26 信息处理方法、以及信息处理系统
PCT/JP2019/037776 WO2020071222A1 (ja) 2018-10-05 2019-09-26 情報処理方法、及び、情報処理システム
US17/078,447 US11869279B2 (en) 2018-10-05 2020-10-23 Information processing method and information processing system
US18/378,336 US20240087371A1 (en) 2018-10-05 2023-10-10 Information processing method and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018189778 2018-10-05
JP2018189778 2018-10-05

Publications (2)

Publication Number Publication Date
JP2020061120A JP2020061120A (ja) 2020-04-16
JP7249879B2 true JP7249879B2 (ja) 2023-03-31

Family

ID=70220062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019098794A Active JP7249879B2 (ja) 2018-10-05 2019-05-27 情報処理方法、及び、情報処理システム

Country Status (4)

Country Link
US (1) US11869279B2 (ja)
EP (1) EP3862990B1 (ja)
JP (1) JP7249879B2 (ja)
CN (1) CN112055873A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080566A1 (ko) * 2018-10-17 2020-04-23 엘지전자 주식회사 전자 제어 장치 및 통신 장치
JP7351320B2 (ja) * 2021-03-09 2023-09-27 トヨタ自動車株式会社 車両制御システム及び車両制御方法
WO2023119702A1 (ja) * 2021-12-21 2023-06-29 パナソニックIpマネジメント株式会社 制御方法、制御装置及びプログラム
WO2023150234A2 (en) * 2022-02-03 2023-08-10 Nuro, Inc. Methods and apparatus for providing teleoperations support

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141687A (ja) 2001-10-31 2003-05-16 Toshiba Corp 車両運行管理装置とその制御プログラム
JP6227211B1 (ja) 2017-03-15 2017-11-08 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2018159314A1 (ja) 2017-02-28 2018-09-07 パナソニックIpマネジメント株式会社 管理装置、管理方法、及び管理プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301263B1 (en) * 1999-03-24 2001-10-09 Qualcomm Inc. Method and apparatus for providing fair access in a group communication system in which users experience differing signaling delays
US6647270B1 (en) * 1999-09-10 2003-11-11 Richard B. Himmelstein Vehicletalk
JP3332158B2 (ja) * 1999-11-08 2002-10-07 横河電機株式会社 監視システム
US6389337B1 (en) * 2000-04-24 2002-05-14 H. Brock Kolls Transacting e-commerce and conducting e-business related to identifying and procuring automotive service and vehicle replacement parts
JP2002094971A (ja) * 2000-09-14 2002-03-29 Omron Corp 表示切替装置および表示切替システム
JP3636113B2 (ja) * 2001-08-10 2005-04-06 オムロン株式会社 携帯型通信装置、監視装置、監視システム、携帯通信装置の制御プログラム、監視装置の制御プログラム、携帯通信装置の制御プログラムを記録した記録媒体、および監視装置の制御プログラムを記録した記録媒体
JP2003156358A (ja) * 2001-11-20 2003-05-30 Pioneer Electronic Corp 情報提供システム、情報提供方法、情報提供サーバ装置、情報提供用プログラム及び情報記録媒体
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US8188846B2 (en) * 2009-06-17 2012-05-29 General Electric Company System and method for displaying information to vehicle operator
CA2754159C (en) * 2009-08-11 2012-05-15 Certusview Technologies, Llc Systems and methods for complex event processing of vehicle-related information
JP5187292B2 (ja) * 2009-09-28 2013-04-24 三菱自動車工業株式会社 車両周辺監視装置
US20110106375A1 (en) * 2009-11-03 2011-05-05 Vishnu Gurusamy Sundaram Method and system for providing an integrated platform for entertainment, information, communication, control and computing applications in vehicles
US8830085B2 (en) * 2009-11-12 2014-09-09 Global Traffic Technologies, Llc Monitoring traffic signal preemption
JP5783426B2 (ja) * 2012-03-16 2015-09-24 株式会社デンソー 携帯装置
US20150153184A1 (en) * 2013-12-04 2015-06-04 GM Global Technology Operations LLC System and method for dynamically focusing vehicle sensors
US20150186991A1 (en) * 2013-12-31 2015-07-02 David M. Meyer Creditor alert when a vehicle enters an impound lot
JP5689993B1 (ja) * 2014-02-28 2015-03-25 株式会社ブリヂストン 車両走行状態監視装置
US20150371153A1 (en) * 2014-06-24 2015-12-24 General Motors Llc Vehicle Sharing System Supporting Nested Vehicle Sharing Within A Loan Period For A Primary Vehicle Borrower
US9440660B2 (en) * 2014-07-22 2016-09-13 Toyota Motor Engineering & Manufacturing North America, Inc. Method for remote communication with and through a vehicle
US9564065B2 (en) * 2015-02-27 2017-02-07 TrueLite Trace, Inc. Fuel savings training needs prediction and alert system
JP6544996B2 (ja) * 2015-05-28 2019-07-17 キヤノン株式会社 制御装置及び制御方法
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
JP6147406B1 (ja) * 2016-02-02 2017-06-14 株式会社タダノ サーバ、遠隔監視システム及び遠隔監視方法
US20170316064A1 (en) * 2016-04-27 2017-11-02 Inthinc Technology Solutions, Inc. Critical event assistant
JP6508177B2 (ja) * 2016-04-27 2019-05-08 株式会社デンソー 支援システム、携帯端末、及び車載装置
MX2018016065A (es) * 2016-06-24 2019-03-28 Crown Equip Corp Credencial electronica para autenticar y rastraer a un operador de vehiculo industrial.
US9870001B1 (en) * 2016-08-05 2018-01-16 Delphi Technologies, Inc. Automated vehicle operator skill evaluation system
JP6870270B2 (ja) 2016-10-14 2021-05-12 日産自動車株式会社 無人運転システムの遠隔操作方法と遠隔操作装置
US10705539B2 (en) * 2016-11-30 2020-07-07 Nissan North America, Inc. Tele-operation of autonomous cars to negotiate problem situations
WO2018168531A1 (ja) * 2017-03-13 2018-09-20 マクセル株式会社 ヘッドアップディスプレイ装置
CN107316463A (zh) * 2017-07-07 2017-11-03 深圳市诺龙技术股份有限公司 一种车辆监控的方法和装置
US20190027045A1 (en) * 2017-07-18 2019-01-24 Aptiv Technologies Limited Automated vehicle guidance system
US10551849B2 (en) * 2017-09-25 2020-02-04 Aptiv Technologies Limited Automated vehicle simulated lane-marking guidance system
US10642267B2 (en) * 2017-12-22 2020-05-05 Aptiv Technologies Limited Automated vehicle system and method for changing from automated-mode to manual-mode near a construction-zone
US11061399B2 (en) * 2018-01-03 2021-07-13 Samsung Electronics Co., Ltd. System and method for providing information indicative of autonomous availability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141687A (ja) 2001-10-31 2003-05-16 Toshiba Corp 車両運行管理装置とその制御プログラム
WO2018159314A1 (ja) 2017-02-28 2018-09-07 パナソニックIpマネジメント株式会社 管理装置、管理方法、及び管理プログラム
JP6227211B1 (ja) 2017-03-15 2017-11-08 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
US20210056774A1 (en) 2021-02-25
EP3862990B1 (en) 2024-02-14
EP3862990A4 (en) 2021-08-18
EP3862990A1 (en) 2021-08-11
US11869279B2 (en) 2024-01-09
JP2020061120A (ja) 2020-04-16
CN112055873A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
JP7249879B2 (ja) 情報処理方法、及び、情報処理システム
JP7253446B2 (ja) 情報処理方法、及び、情報処理システム
US11610477B2 (en) Traffic assistance system, server, and vehicle-mounted device
US20240087371A1 (en) Information processing method and information processing system
US20210396533A1 (en) Navigation with sun glare information
JP7187242B2 (ja) 情報処理方法、及び、情報処理システム
JP7428839B2 (ja) 情報処理方法
JP5634222B2 (ja) 通行車両監視システム及び車両用監視カメラ
JP7330758B2 (ja) 情報処理方法、及び、情報処理システム
JPWO2019131388A1 (ja) 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラム
US11609564B2 (en) Optimizing management of autonomous vehicles
WO2023140002A1 (ja) 情報出力制御方法、情報出力制御装置およびプログラム
JP2016207118A (ja) 交通管制処理装置、交通管制システム、方法及びプログラム
CN116802104A (zh) 控制模式选择和转变

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R150 Certificate of patent or registration of utility model

Ref document number: 7249879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150