JP7330758B2 - 情報処理方法、及び、情報処理システム - Google Patents

情報処理方法、及び、情報処理システム Download PDF

Info

Publication number
JP7330758B2
JP7330758B2 JP2019098762A JP2019098762A JP7330758B2 JP 7330758 B2 JP7330758 B2 JP 7330758B2 JP 2019098762 A JP2019098762 A JP 2019098762A JP 2019098762 A JP2019098762 A JP 2019098762A JP 7330758 B2 JP7330758 B2 JP 7330758B2
Authority
JP
Japan
Prior art keywords
information
monitoring
vehicle
situation
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019098762A
Other languages
English (en)
Other versions
JP2020061119A (ja
Inventor
稔也 新井
孝弘 米田
雄太 下間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to EP19868985.3A priority Critical patent/EP3862993B1/en
Priority to CN201980005907.8A priority patent/CN111386561A/zh
Priority to PCT/JP2019/027125 priority patent/WO2020070941A1/ja
Publication of JP2020061119A publication Critical patent/JP2020061119A/ja
Priority to US16/918,363 priority patent/US11847909B2/en
Application granted granted Critical
Publication of JP7330758B2 publication Critical patent/JP7330758B2/ja
Priority to US18/387,980 priority patent/US20240071216A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/105—Human resources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data

Description

本発明は、情報処理方法、及び、情報処理システムに関する。
無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又は携帯電話回線等の無線通信を利用して、運転手が搭乗しない車両又は運転手が操作せず、自律的な走行が可能な車両を、遠隔地にいるオペレータが間接的に操作する遠隔操作システムがある。
このような遠隔操作システムは、車両に搭載されたミリ波レーダ、レーザーレーダ、カメラなど様々なセンサから車両周辺を観測して得られるセンシング結果を、車両（以降、被操作車両と記載）から通信手段を介してオペレータに伝える。オペレータは、伝えられたセンシング結果に基づいて、被操作車両の状態、及び、被操作車両の周辺の状態を把握し、被操作車両をどのように制御するかを判断し、車両の制御の方法を検討する。そして、オペレータは、車両の走行に関する制御信号を被操作車両に伝えることで、遠隔から被操作車両を制御する。
例えば、特許文献１は、被操作車両が特定エリアへ侵入した場合に、被操作車両を遠隔操作する遠隔操作装置を決定し遠隔操作する技術を開示している。
特開２０１７－１４７６２６号公報
特許文献１のような従来技術では、オペレータによる被操作車両の操作に先立って、オペレータ又はオペレータとは別の操作を行わない監視者（以下、まとめて監視者とも記載）による被操作車両の監視が行われる。以下、監視される車両を被監視車両と記載する。監視者は、いつ、どこで事故等の危険な状況が発生するかわからないため、できる限り全てのシーンを監視することが要求され、監視負担が大きい。そのため、監視者の監視負担を低減することが望まれる。しかし、特許文献１には、車両を遠隔操作するオペレータの負担を低減する発明は開示されているが、車両を遠隔監視する監視者の監視負担を低減する方法は開示されていない。
そこで、本発明は、監視者の監視負担を低減することができる情報処理方法を提供する。
本発明の一態様に係る情報処理方法は、コンピュータを用いて、第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、決定された前記推薦内容から前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる。
なお、これらの包括的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の情報処理方法によれば、監視者の監視負担を低減することができる。
図１は、実施の形態における監視システムの構成を示すブロック図である。 図２は、実施の形態における監視ルームの一例の概観図である。 図３は、実施の形態におけるサーバ装置の機能構成を示すブロック図である。 図４は、実施の形態における推薦部の詳細な機能構成を示すブロック図である。 図５は、実施の形態における学習用データの第一例を示す説明図である。 図６は、実施の形態における学習用データの第二例を示す説明図である。 図７は、実施の形態における推薦部が出力する推薦情報の第一例を示す説明図である。 図８は、実施の形態における推薦部が出力する推薦情報の第二例を示す説明図である。 図９は、実施の形態における提示情報の第一例を示す説明図である。 図１０は、実施の形態における提示情報の第二例を示す説明図である。 図１１は、実施の形態における監視システムの処理を示す第一のシーケンス図である。 図１２は、実施の形態における監視システムの処理を示す第二のシーケンス図である。 図１３は、実施の形態における監視制御部の処理を示すフロー図である。 図１４は、実施の形態の変形例における情報処理システムの構成を示すブロック図である。 図１５は、実施の形態の変形例における情報処理方法を示すフロー図である。
本発明の一態様に係る情報処理方法は、コンピュータを用いて、第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、決定された前記推薦内容から前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる。
上記態様によれば、第１時点における状況で監視者が監視に関して判断した結果を用いた機械学習によって構築された学習モデルを用いて、第２時点における状況で推薦される監視に関する情報が出力される。つまり、監視者による過去の監視判断を反映してその後の推薦される監視に関する情報が出力される。そのため、監視者は常時車両を監視することなく、推薦される監視に関する情報を参照することにより監視作業を判断することができる。したがって、監視者の監視負担を軽減することができる。また、監視負担が軽減されることにより、被操作車両の台数より少ない人数での被操作車両の監視が可能となる。
例えば、前記学習モデルは、前記第１状況情報を入力データとし、前記第１監視結果を教師データとした機械学習により得られたニューラルネットワーク型の学習モデルである。
上記態様によれば、学習モデルがニューラルネットワーク型であるので、状況情報と監視結果との関係が複雑であっても学習モデルを生成しやすい。
例えば、前記第１監視結果は、前記第１監視者による監視の対象であった車両を示す情報を含む。
上記態様によれば、第１時点における監視の対象である車両を示す情報に基づいて、学習モデルが構築される。そのため、監視対象として選択された車両の特徴が学習されることにより、車両の特徴について学習モデルが出力する推薦内容の正確性（言い換えると適切さ）を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
例えば、前記第１監視結果は、前記第１監視者による監視の対象であった車両に対して前記第１監視者が行った操作を特定する情報を含む。
上記態様によれば、第１時点における監視の対象である車両に対して監視者が行った操作を特定する情報に基づいて、学習モデルが構築される。そのため、監視対象として選択された車両に対する操作が学習されることにより、行われた操作について学習モデルが出力する推薦内容の正確性を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
例えば、前記第１監視結果は、前記第１監視者による監視に関する時間及び時刻の少なくとも一方を特定する情報を含む。
上記態様によれば、第１時点における監視に関する時間又は時刻を特定する情報に基づいて、学習モデルが構築される。そのため、監視対象として選択された車両の監視に費やされた時間が学習されることにより、監視に費やされた時間について学習モデルが出力する推薦内容の正確性を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
例えば、前記第１監視結果は、前記第１監視者による監視の対象であった車両が、監視の対象とされた後に、監視の対象とされない状態が継続した時間を特定する情報を含む。
上記態様によれば、第１時点における監視の対象とされた後に、監視の対象とされない状態が継続している時間を特定する情報に基づいて、学習モデルが構築される。そのため、監視されてない車両及び時間が学習されることにより、監視されていない車両及び時間について学習モデルが出力する推薦内容の正確性を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
例えば、前記第１監視結果は、前記第１状況情報が提示されてから前記第１監視者が監視する車両を特定するまでの時間を特定する情報を含む。
上記態様によれば、第１時点における状況が提示されてから、監視者が監視する車両を特定するまで、すなわち監視開始までの時間を示す情報に基づいて、学習モデルが構築される。そのため、監視開始にかかる時間について学習モデルが出力する推薦内容の正確性を向上させることができる。
例えば、前記第１監視結果は、前記第１監視者の情報をさらに含み、前記学習モデルは、さらに前記第１監視者の情報を用いた機械学習により得られ、前記推薦内容は、前記学習モデルに前記第２監視者の情報をさらに入力することにより決定される。
上記態様によれば、監視結果だけでなく第１時点における監視者の情報にも基づいて、学習モデルが構築される。そのため、推薦内容の正確性をさらに向上させることができる。
例えば、前記第１監視者の情報は、前記第１監視者の識別情報、作業履歴情報、及び、属性情報の少なくとも１つを含み、前記第２監視者の情報は、前記第２監視者の識別情報、作業履歴情報、及び、属性情報の少なくとも１つを含む。
上記態様によれば、第１監視者の経験又は特性に基づいて、学習モデルが構築される。そのため、第２監視者の経験又は特性に応じた推薦内容を決定することができる。したがって、推薦内容の正確性をさらに向上させることができる。
例えば、前記第１監視者の情報は、前記第１監視者が監視に用いた端末に関する端末情報を含み、前記第２監視者の情報は、前記第２監視者が監視に用いる端末に関する端末情報を含む。
上記態様によれば、第１監視者が操作した端末の状態又は特性に基づいて、学習モデルが構築される。そのため、第２監視者が操作する端末の状態又は特性に応じた推薦内容を決定することができる。したがって、推薦内容の正確性をさらに向上させることができる。
例えば、さらに、前記第２監視者による監視の結果である第２監視結果を取得し、前記第２状況情報を入力データとし、前記第２監視結果を教師データとした機械学習により、前記学習モデルを更新する。
上記態様によれば、第２時点における監視の結果を用いて学習モデルが更新される。これにより、継続的に学習モデルを改善することができ、持続可能な監視システムを実現することができる。
例えば、前記学習モデルを更新する際には、前記第１監視者の作業履歴情報から特定される前記第２監視者に対応する前記第２状況情報及び前記第２監視結果を優先的に用いて前記学習モデルを更新する。
上記態様によれば、第１時点における監視者の作業履歴に基づいて特定される監視者の監視結果を優先的に用いて学習モデルが更新される。そのため、模範となる監視者の監視結果を用いて学習モデルが更新されることにより、学習モデルの効率的な更新が可能となる。
例えば、前記推薦内容は、監視の対象として推薦される車両を含み、前記提示情報は、前記推薦内容に含まれる前記監視の対象として推薦される車両を示す情報を含む。
上記態様によれば、第２時点における推薦される車両の監視に関する情報として、監視の対象として推薦される車両が提示装置に提示される。よって、監視者は、第２時点における監視の対象として推薦される車両を直接的に把握することができる。
例えば、前記推薦内容は、監視の対象となりうる１以上の車両及び前記１以上の車両それぞれの監視推薦度を含み、前記提示情報は、前記推薦内容に含まれる前記１以上の車両それぞれの監視推薦度を示す情報を含む。
上記態様によれば、第２時点における推薦される車両の監視に関する情報として、１以上の車両とその監視推薦度が提示装置に提示される。よって、監視者は、提示された１以上の車両のうちから第２時点における監視の対象とすべき車両を容易に把握することができる。
例えば、前記推薦内容は、監視の対象として推薦される車両から見た、監視の方向を含み、前記提示情報は、前記監視の対象として推薦される車両から、前記推薦内容に含まれる前記監視の方向を撮影した画像を含む。
上記態様によれば、第２時点における推薦される車両の監視に関する情報として、監視の方向を示す情報が提示装置に提示される。よって、監視者は、第２時点における監視すべき方向を容易に把握することができる。
例えば、前記推薦内容は、前記第２監視者に推薦する監視のポイントを含み、前記提示情報は、前記推薦内容に含まれる前記監視のポイントを示す情報を含む。
上記態様によれば、第２時点における推薦される車両の監視に関する情報として、監視のポイントを示す情報が提示装置に提示される。よって、監視者は、第２時点において状況から監視すべきポイントを判断することなく把握することができる。あるいは、監視すべきポイントの判断をサポートすることができる。
本発明の一態様に係る情報処理システムは、第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得する取得部と、前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定する決定部と、決定された前記推薦内容から前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる出力部とを備える。
これによれば、上記情報処理方法と同様の効果を奏する。
なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
本実施の形態において、監視者の監視負担を低減することができる情報処理方法などについて説明する。
遠隔監視システム（以下、単に監視システムとも記載）は、被監視車両から通信手段を介してセンシング結果を取得し監視者に伝える。監視者は、伝えられたセンシング結果に基づいて、被監視車両の状態、及び、被監視車両の周辺の状態を把握し、被監視車両に対してオペレータによる介入が必要なのかを判断する。なお、監視者は、オペレータが間接的に操縦する方法を含めて適切な介入方法を検討してもよい。そして、監視者は、被監視車両の自律的な走行が困難と判断した場合、オペレータに遠隔操作を依頼する。オペレータは、車両の走行に関する制御信号を被監視車両（すなわち被操作車両）に伝えることで、遠隔から被監視車両を制御する。なお、オペレータが監視者である場合は、オペレータは監視からそのまま操作に移行してよい。
図１は、本実施の形態における監視システム１の構成を示すブロック図である。図２は、本実施の形態における監視ルームの一例の概観図である。
図１に示される監視システム１は、被操作車両となり得る車両Ｍ１、Ｍ２、…、ＭＮを監視するための情報処理システムである。以降において車両Ｍ１、Ｍ２、…、ＭＮを、「車両Ｍ１等」ともいう。図２に示される監視ルームは、監視者が車両Ｍ１等を監視するための部屋である。監視ルームにおいて、車両Ｍ１等から得られる情報及び車両Ｍ１等の監視のための情報が監視者に提示され、監視者による監視のための操作がなされ得る。なお、監視者による監視のための操作に加えて、被操作車両の遠隔操作のための操作がなされてもよい。なお、監視者は、被操作車両を操作するオペレータであってもよいし、オペレータとは別の人であってもよい。
図１に示されるように監視システム１は、サーバ装置１０と、入力装置２０と、表示装置３０とを備える。
サーバ装置１０は、監視者による監視に関する決定をする処理装置である。具体的には、サーバ装置１０は、入力装置２０に入力される内容と、車両Ｍ１等から得られる車両情報とを用いた、コンピュータによる情報処理により、監視に関する決定をする。サーバ装置１０は、ネットワークＮに通信可能に接続され得る場所に設置され、その物理的な位置はどこであってもよい。一例として、サーバ装置１０が、監視ルームの内部又は近傍に配置されていれば、入力装置２０及び表示装置３０との通信が短時間でなされ得る利点がある。
入力装置２０は、監視者による操作が入力される入力装置である。入力装置２０は、サーバ装置１０に接続されたキーボード、マウス又はタッチパネルなどであってもよいし、押下又は接触などにより操作可能なボタンなどであってもよい。入力装置２０は、入力された操作に関する情報をサーバ装置１０に提供する。入力装置２０は、監視ルームに設置されている。サーバ装置１０が遠隔地に配置されている場合、入力装置２０とサーバ装置１０は、ネットワークを介して接続されていてもよい。
表示装置３０は、サーバ装置１０から提示情報を取得し、提示情報を画像として出力する装置である。画像は、写真、イラスト又は文字等を含む。表示装置３０は、液晶ディスプレイ等である。表示装置３０が出力した画像は監視者によって視認され、監視者がどの車両を監視するか、又は、車両をどのように監視するか等を決定する際に用いられる。なお、表示装置３０は、提示装置の一例である。監視システム１は、表示装置３０とともに、又は、表示装置３０に代えて、音を出力する装置を提示装置として備えてもよい。表示装置３０は、監視ルームに設置されている。サーバ装置１０が遠隔地に配置されている場合、表示装置３０とサーバ装置１０は、ネットワークを介して接続されていてもよい。
車両Ｍ１は、人が搭乗している、又は、搭乗していない、車両であり、例えば自動運転車両である。車両Ｍ１は、監視者による監視の対象となり得る車両である。車両Ｍ１は、監視ルームとは異なる外部の空間、例えば道路又は駐車場等に存在している。
車両Ｍ１は、通信インタフェースを備えており、通信によってネットワークＮに接続され、ネットワークＮを介してサーバ装置１０に通信可能に接続されている。車両Ｍ１は、車両Ｍ１の周囲を撮影する１以上のカメラ、並びに、車両Ｍ１の位置、速度、加速度、操舵角、燃料の残量、方向指示器の作動状態、ＡＢＳ（Ａｎｔｉ－ｌｏｃｋ Ｂｒａｋｉｎｇ Ｓｙｓｔｅｍ）又はＡＥＢ（Ａｕｔｏｍａｔｉｃ Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｉｎｇ）の作動状態、周辺物体の数及び種類、周辺物体との距離などを検知する複数のセンサを備えている。車両Ｍ１は、１以上のカメラが撮影により生成した画像データ、並びに、複数のセンサが取得した位置等の情報及びセンシングデータを含む情報を通信インタフェース及びネットワークＮを介してサーバ装置１０に送信する。なお、車両Ｍ１が送信する上記情報を車両情報ともいう。なお、車両Ｍ１は、必要に応じて、監視者によりネットワークＮを介して加減速の制御、及び、操舵角の制御などがなされ得る。監視者によるこのような制御を遠隔操作ともいう。
車両Ｍ２～ＭＮは、それぞれ、車両Ｍ１と同様の車両であり、車両Ｍ１とは独立に移動する。また、車両Ｍ２～ＭＮは、それぞれ、自装置が生成した画像データ及びセンシングデータを車両Ｍ１と同様にサーバ装置１０に送信する。
ネットワークＮは、サーバ装置１０及び車両Ｍ１等それぞれが接続される通信ネットワークである。ネットワークＮの通信規格又は通信方式は、例えば、携帯電話網、衛星通信網、Ｗｉ－ｆｉなどを利用した広域通信網などであるが、これらに限定されない。車両Ｍ１等と接続する部分は無線である。
監視ルームには、入力装置２０及び表示装置３０が配置されている。入力装置２０及び表示装置３０は、それぞれ監視者による入力及び視認が容易である位置に配置されている。例えば、入力装置２０及び表示装置３０は、監視者が着席する椅子の前方の机の上に配置されている。また、監視ルーム全体から視認され得る位置に、車両Ｍ１等が取得した画像データ、及び、車両Ｍ１の位置などを示す地図などの画像を表示する表示装置３１が配置されている。
監視者は、複数人存在し得るが、監視者の人数は、車両Ｍ１等の台数より少ない。監視者は、常に車両Ｍ１等のすべてを監視しているわけではなく、監視が必要であると判断される車両だけを選択して監視しており、その他の車両を監視しないことが想定される。このようにすることで、監視のための必要人員を削減し、かつ、監視が必要な車両を集中して監視者が監視できる利点がある。監視が必要であると判断されるのは、例えば、車両の走行に注意を要する位置にある場合、車両の走行に注意を要する状態にある場合、上記の注意を要する位置に近づいている、又は、上記の注意を要する状態になると予測される場合などである。
監視者は、表示装置３０により提示される画像を視認して、車両Ｍ１等のうちのどの車両を監視するか、又は、車両をどのように監視するか等を決定する。そして、監視者は、監視対象の車両、又は、監視方法を、入力装置２０を介してサーバ装置１０に入力する。
以降では、サーバ装置１０が、どの車両を監視の対象とするかを監視者に推薦するための情報をサーバ装置１０が生成する処理を詳しく説明する。この場合、監視者は、表示装置３０により提示される情報に基づいて、どの車両を監視するかを決定する。サーバ装置１０により推薦される監視の対象が適切であれば、監視者が車両Ｍ１等のうちから監視の対象を探す作業の負担が軽減されうる。
図３は、本実施の形態におけるサーバ装置１０の機能構成を示すブロック図である。
図３に示されるように、サーバ装置１０は、通信部１１と、車両管理部１２と、運行ＤＢ（データベース）１３と、運行管理部１４と、推薦部１５と、受信部１６と、監視制御部１７と、映像管理部１８とを備える。
通信部１１は、ネットワークＮに接続され、ネットワークＮを介して車両Ｍ１等と通信可能に接続される通信インタフェースである。通信部１１は、車両Ｍ１等から車両情報を取得する。
車両管理部１２は、車両Ｍ１等の管理を行う処理部である。車両管理部１２は、車両Ｍ１等が送信した車両情報を取得し、取得した車両情報に基づいて車両Ｍ１等のそれぞれの位置、速度、走行状態などを管理する。
運行ＤＢ１３は、車両Ｍ１等の運行のための情報を記憶しているデータベースである。運行ＤＢ１３は、車両Ｍ１等の運行のための情報として、地図及び運行計画の情報を保有している。運行計画とは、車両Ｍ１等の走行が予定される移動経路を示す情報、及び、走行中の各時点における車両Ｍ１等の経路上の予定される位置を示す情報を含む。
運行管理部１４は、車両Ｍ１等の運行を管理する処理部である。運行管理部１４は、運行ＤＢ１３から車両Ｍ１等の運行計画などの情報を取得し、車両Ｍ１等の移動経路などを含む指示情報を車両Ｍ１等に送信する。また、運行管理部１４は、車両Ｍ１等の運行が運行計画に対してどの程度遅延しているか等を含む運行情報を決定する。
推薦部１５は、監視者による監視の対象となる車両を監視者に推薦するための情報を生成する処理部である。推薦部１５は、車両Ｍ１等が送信した車両情報を車両管理部１２から取得し、車両Ｍ１等の運行に関する運行情報を運行管理部１４から取得し、また、上記車両情報及び上記運行情報に基づいて監視者が決定した監視の対象を示す監視情報を監視制御部１７から取得する。そして、推薦部１５は、取得した車両情報、運行情報及び監視情報に基づいて、監視者による監視の対象となる車両を監視者に推薦するための推薦情報を生成する。推薦情報は、例えば、監視の対象とされることが推奨される度合いを車両ごとに示す監視推薦度により示される。また、推薦情報は、他の車両と比較して当該車両を優先して監視すべき度合いを車両ごとに示す監視優先度であってもよい。
推薦部１５は、推薦情報を生成する際には、過去の時点における監視者による監視の結果を用いて構築された学習モデルを用いて推薦情報を生成する。推薦情報は、監視の対象である車両を示す情報を含む。なお、上記の車両情報、運行情報、及び、監視情報を、状況情報ともいう。
受信部１６は、入力装置２０に入力された監視者による入力操作を示す操作情報を受信する処理部である。操作情報は、例えば、監視の対象を切り替える操作を含む。
監視制御部１７は、監視の対象となる車両を決定する処理部である。監視制御部１７は、推薦部１５が生成した推薦情報と、受信部１６が受信した操作情報とに基づいて、監視の対象となる車両を決定し、監視の対象となる車両を示す監視情報を生成する。監視制御部１７は、生成した監視情報を映像管理部１８に提供するとともに、第１監視結果として推薦部１５に提供する。
監視制御部１７により生成される監視情報には、監視者による監視の対象であった車両に対して行った操作を特定する情報が含まれてもよい。また、監視情報には、車両の監視に関する時間及び時刻の少なくとも一方を特定する情報が含まれていてもよい。具体的には、車両の監視が開始された時刻、終了された時刻、継続された時間長、監視の対象とされた後に監視の対象とされない状態が継続した時間長、第１状況情報が提示されてから第１監視者が監視する車両を特定するまでの時間長が含まれていてもよい。また、監視情報には、監視者が車両の遠隔操作を行ったか否かを示す情報、監視者に関する情報（具体的には、識別情報、作業履歴情報、又は、属性情報、監視経験の履歴、習熟度又は継続勤務時間）などの情報が含まれていてもよい。また、監視情報には、監視者が監視に用いた端末（入力装置２０又は表示装置３０など）の情報が含まれていてもよい。
監視制御部１７は、監視対象車両の決定に係る動作モードとして、自動更新モードと手動更新モードとを有する。自動更新モードとは、操作情報を受信したか否か、又は、受信した操作情報の内容いかんにかかわらず、推薦情報に従って監視対象車両を決定して監視情報を生成するモードである。手動更新モードとは、推薦情報の有無、又は、推薦情報の内容いかんにかかわらず、操作情報に従って監視対象車両を決定して監視情報を生成するモードである。
映像管理部１８は、表示装置３０に表示するための映像を管理する処理部である。映像管理部１８は、表示装置３０に表示するための映像に係る画像データを含む提示情報を生成して表示装置３０に出力する。映像管理部１８は、監視制御部１７から監視情報を取得し、監視情報が監視の対象となる車両を特定する情報を含む場合には、その監視の対象の車両から通信部１１が受信した画像データを提示情報に含める。
提示情報は、具体的には、推薦内容に含まれる監視の対象として推薦される車両を示す情報を含んでもよい。また、提示情報は、推薦内容が監視の対象となりうる１以上の車両及び１以上の車両それぞれの監視推薦度を含んでいる場合には、推薦内容に含まれる１以上の車両それぞれの監視優先度を示す情報を含んでいてもよい。また、提示情報は、推薦内容が監視の対象として推薦される車両から見た、監視の方向を含んでいる場合には、監視の対象として推薦される車両から、推薦内容に含まれる監視の方向を撮影した画像を含んでいてもよい。
さらに、薦内容は、第２監視者に推薦する監視のポイントを含み、提示情報は、推薦内容に含まれる監視のポイントを示す情報を含んでいてもよい。
図４は、本実施の形態における推薦部１５の詳細な機能構成を示すブロック図である。
図４に示されるように、推薦部１５は、処理部１５１と、データ格納部１５２と、学習部１５４と、生成部１５５とを備える。
処理部１５１は、学習部１５４による学習に用いる入力データ及び教師データを取得し、取得した入力データ及び教師データを学習に適した形式に加工又は変換等する処理を実行する処理部である。処理部１５１は、入力データ及び教師データとして、車両管理部１２から車両情報を取得し、運行管理部１４から運行情報を取得し、また、監視制御部１７から監視情報を取得する。処理部１５１が取得する車両情報、運行情報及び監視情報を、状況情報ともいう。
そして、処理部１５１は、取得した状況情報に対して処理を施す。この処理は、例えば、車両情報を、所定の時間長（例えば１０秒）を有する区間の情報片に区切る処理、各区間に含まれる加速度等の平均値、最大値、最小値及び分散などの統計値を算出する処理、各区間における加速度等についての閾値との大小比較又は条件判断によりフラグ情報を生成する処理などを含む。具体的には、上記処理は、各区間における平均速度が法定速度を超えたことを示すフラグ情報を生成する処理、上記区間ごとの加速度が閾値を超えた又は下回ったことに基づいて、上記区間で急加速又は急ブレーキがなされたか否かを示すフラグ情報を生成する処理、又は、車両が停止している時間が閾値を超えたことを示すフラグ情報を生成する処理等が含まれる。また、処理部１５１は、監視情報に含まれる監視の対象となる車両を示す情報などを抽出する処理を行う。
処理部１５１は、同一の時点に取得された車両情報、運行情報及び監視情報、並びに、これらの情報から上記処理によって生成された情報を対応付けてデータ格納部１５２に学習用データ１５３として格納する。
なお、データ格納部１５２に格納されている情報が取得された時点を第１時点ともいい、第１時点における状況情報を第１状況情報ともいう。なお、所定の時間長は、例えば１０秒であり、以降ではこの場合を例として説明する。
データ格納部１５２は、処理部１５１が処理した後の各種情報が学習用データ１５３として格納される格納部である。学習用データ１５３は、現時点より過去の時点において、車両Ｍ１などから取得された情報である。学習用データ１５３は、学習部１５４により読み出される。データ格納部１５２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置などにより実現される。
学習部１５４は、機械学習により学習モデルを構築する処理部である。学習部１５４は、データ格納部１５２に格納された学習用データ１５３を用いて機械学習に係る学習処理をすることで、監視者に推薦される監視対象車両を決定するための学習モデル１５６を構築する。学習部１５４による機械学習の入力データには、学習用データ１５３に含まれる、車両情報及び運行情報、並びに、車両情報及び運行情報から処理部１５１による処理によって生成された情報が用いられる。また、学習部１５４による機械学習の教師データには、学習用データ１５３に含まれる監視情報が用いられる。学習用データ１５３に含まれる監視情報を第１監視結果ともいい、この監視情報に係る監視をした監視者を第１監視者ともいう。つまり、学習部１５４が構築する学習モデル１５６は、第１状況情報を入力データとし、第１監視結果を教師データとした機械学習により得られた学習モデルである。学習部１５４は、構築した学習モデル１５６を生成部１５５に提供する。例えば、機械学習としては、ディープラーニング等のニューラルネットワーク型の学習方法がある。なお、学習方法はこれに限られず、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、サポート・ベクター・マシン（ＳＶＭ）などの他の学習方法であってもよい。
なお、学習部１５４は、学習用データ１５３に監視者の作業履歴情報が含まれている場合には、作業履歴情報から特定される第２監視者に対応する第２状況情報及び第２監視結果を優先的に用いて学習モデルを更新してもよい。具体的には、作業履歴情報に基づいて、当該作業の経験が豊富である監視者をより優先的に推薦するように学習してもよい。
生成部１５５は、学習モデル１５６を用いて、監視の対象となる車両、又は、車両の監視方法を監視者に推薦するための推薦内容を決定し、その推薦内容を示す推薦情報を生成する。生成部１５５は、車両管理部１２から車両情報を取得し、運行管理部１４から運行情報を取得する。そして、生成部１５５は、取得した車両情報及び運行情報を学習モデル１５６に入力することで出力される出力データである、推薦内容を示す推薦情報を監視制御部１７に提供する。なお、生成部１５５が取得した車両情報及び運行情報が取得された時点を第２時点ともいい、第２時点における状況情報を第２状況情報ともいう。生成部１５５が生成する推薦情報に係る推薦の対象となる監視者を第２監視者ともいう。
次に、データ格納部１５２に格納される学習用データ１５３に含まれる入力データ及び教師データについて２つの例を説明する。
図５は、本実施の形態における学習用データ１５３の第一例を示す説明図である。図５に示される学習用データ１５３は、車両が急ブレーキにより停止した時点を含む１０秒間の車両情報であり、監視者による監視がなされた場合の学習用データ１５３の例である。
図５の（ａ）は、当該１０秒間の速度データを、横軸を時刻ｔとし、縦軸を速度として示すグラフである。横軸は、当該１０秒間の最初の時点を時刻ゼロとした相対的な時刻で示している。図５の（ａ）には、当該期間の最初の時点から約８秒を経過した時点で速度が急激に低下した様子が示されている。以降の図５の（ｂ）～（ｄ）並びに図６の（ａ）～（ｄ）においても、縦軸及び横軸の表現は図５の（ａ）と同様である。
図５の（ｂ）は、当該１０秒間の加速度データを示すグラフである。図５の（ｂ）には、当該期間の最初の時点から約８秒を経過した時点で加速度がマイナス方向に急激に変化した様子が示されている。なお、図５の（ｂ）は、車両Ｍ１が備えている加速度センサによって取得された加速度データであってもよいし、図５の（ａ）の速度データを微分することによって得られたものであってもよい。
図５の（ｃ）は、当該１０秒間の急ブレーキフラグを示すグラフである。急ブレーキフラグとは、急ブレーキがかけられた時点を「１」として示すフラグ情報である。図５の（ｃ）には、当該期間の最初の時点から約８秒を経過した時点で急ブレーキフラグが１に変化し、急ブレーキが解除された時点で急ブレーキフラグが０に変化した様子が示されている。なお、図５の（ｃ）は、車両Ｍ１が備えている、急ブレーキを検出し得るセンサ（例えば、タイヤの回転速度センサ又はブレーキスイッチ等）によって検出されたものであってもよいし、図５の（ｂ）の加速度が所定値よりマイナス方向に大きい期間を抽出することで得られたものであってもよい。
図５の（ｄ）は、当該１０秒間の監視フラグを示すグラフである。監視フラグとは、監視者により監視が開始された時点を「１」として示すフラグ情報である。図５の（ｄ）には、当該期間の最後の時点で監視フラグが１であることが示されている。これは、図５の（ａ）～（ｃ）の各データ、又は、その他のデータに基づいて監視者が当該車両を監視すると判断して、当該車両の監視を開始したことを示している。例えば、図５の（ｃ）に示される急ブレーキフラグの変化から急ブレーキの操作がなされたと監視者が判断し、当該車両の監視を開始したことに基づく。
図６は、本実施の形態における学習用データ１５３の第二例を示す説明図である。
図６に示される学習用データ１５３は、車両がほぼ等速で走行した１０秒間の車両情報であり、監視者による監視がなされなかった場合の学習用データ１５３の例である。
図６の（ａ）は、当該１０秒間の速度データを示すグラフである。図６の（ａ）には、当該期間の最初から最後まで、ほぼ等速で車両が走行したことが示されている。
図６の（ｂ）は、当該１０秒間の加速度データを示すグラフである。図６の（ｂ）には、当該期間の最初から最後まで、加速度がほぼゼロであったことが示されている。
図６の（ｃ）は、当該１０秒間の急ブレーキフラグを示すグラフである。図６の（ｃ）には、当該期間内において急ブレーキフラグがゼロであったこと、つまり急ブレーキがかけられなかったことが示されている。
図６の（ｄ）は、当該１０秒間の監視フラグを示すグラフである。図６の（ｄ）には、当該期間において監視フラグがゼロであることが示されている。これは、図６の（ａ）～（ｃ）の各データ、又は、その他のデータに基づいて監視者が当該車両を監視しないと判断したことを示している。例えば、図６の（ｃ）に示されるように急ブレーキがかけられなかったことから、当該車両の監視が必要ないと監視者が判断したことに基づく。
図５及び図６において、（ａ）、（ｂ）及び（ｃ）に示される各情報が、学習部１５４による学習の入力データとして用いられ、（ｄ）に示される監視フラグが、学習部１５４による学習の教師データとして用いられ得る。
次に、推薦部１５が出力する推薦情報について２つの例を説明する。
図７は、本実施の形態における推薦部１５が出力する推薦情報の第一例を示す説明図である。図７に示される推薦情報は、車両が急ブレーキにより停止した時点を含む１０秒間の車両情報であり、推薦情報として監視推薦度が出力される例である。図７の（ａ）～（ｃ）において、縦軸及び横軸の表現は図５の（ａ）と同様である。
図７の（ａ）は、当該１０秒間の速度データを示すグラフである。図７の（ａ）には、当該期間の最初の時点から約５秒を経過した時点で速度が急激に低下した様子が示されている。
図７の（ｂ）は、当該１０秒間の加速度データを示すグラフである。図７の（ｂ）には、当該期間の最初の時点から約５秒を経過した時点で加速度がマイナス方向に急激に変化した様子が示されている。なお、図７の（ｂ）は、車両Ｍ１が備えている加速度センサによって取得された加速度データであってもよいし、図７の（ａ）の速度データを微分することによって得られたものであってもよい。
図７の（ｃ）は、図７の（ａ）及び（ｂ）に示される速度データ及び加速度データを入力データとして学習モデル１５６に入力することで出力される監視推薦度の一例である。図７の（ｃ）に示される監視推薦度は、車両が急ブレーキにより停止するまではゼロであり、車両が急ブレーキにより停止した時点の後で徐々に増加し１に至るように変化している。これは、学習用データ１５３において、車両の急ブレーキのあと数秒程度で監視者がその車両の監視を開始したことを示す監視情報が含まれていたことに基づいて、学習モデル１５６が構築されていたことによる。
図８は、本実施の形態における推薦部１５が出力する推薦情報の第二例を示す説明図である。
図８に示される推薦情報は、車両がほぼ等速で走行した１０秒間の車両情報であり、推薦情報として監視推薦度が出力される例である。図８の（ａ）～（ｃ）において、縦軸及び横軸の表現は図５の（ａ）と同様である。
図８の（ａ）は、当該１０秒間の速度データを示すグラフである。図８の（ａ）には、当該期間の最初から最後まで、ほぼ等速で車両が走行したことが示されている。
図８の（ｂ）は、当該１０秒間の加速度データを示すグラフである。図８の（ｂ）には、当該期間の最初から最後まで、加速度がほぼゼロであったことが示されている。
図８の（ｃ）は、図８の（ａ）及び（ｂ）に示される速度データ及び加速度データを入力データとして学習モデル１５６に入力することで出力される監視推薦度の一例である。図８の（ｃ）に示される監視推薦度は、当該期間の最初から最後までゼロを維持している。これは、学習用データ１５３において、期間の最初から最後まで等速で車両が走行した場合、監視者がその車両の監視を行わなかったことを示す監視情報が含まれていたことに基づいて、学習モデル１５６が構築されていたことによる。
次に、表示装置３０が表示する提示情報の２つの例を説明する。
図９は、本実施の形態における提示情報の第一例を示す説明図である。図９は、提示情報として、監視推薦度が提示される例を示している。
図９に示されるように、表示装置３０が表示する画像３２は、車両Ｍ１等ごとに対応づけられた監視推薦度を示す画像３３を含む。画像３３における監視推薦度は、図７又は図８における監視推薦度をパーセント表示にしたものに相当する。例えば、車両Ｍ１の監視推薦度が８０％であり、車両Ｍ２の監視推薦度が０％であることが示されている。
また、画像３２は、車両Ｍ１等のそれぞれの監視を開始するためのボタンの画像３４を含む。
監視者は、画像３２を視認し、監視の対象とする車両を選択し、選択した車両に対応するボタンの画像３４を操作する。この操作は入力装置２０により受け付けられ、この操作を示す操作情報が受信部１６により受信される。
図１０は、本実施の形態における提示情報の第二例を示す説明図である。図１０は、提示情報として、監視優先度が提示される例を示している。
図１０に示されるように、表示装置３０が表示する画像３６は、車両Ｍ１等ごとの監視優先度を示す画像３７を含む。監視優先度は、図７又は図８における監視推薦度に基づいて算出される、当該車両を優先して監視すべき度合いを示す情報である。監視優先度は、例えば、Ａ（高い）、Ｂ（中程度）及びＣ（低い）の３段階で示される。例えば、車両Ｍ１の監視優先度がＡであり、車両Ｍ２の監視優先度がＢであることが示されている。
また、画像３６は、図９と同様にボタンの画像３４を含む。
監視者は、画像３６を視認し、監視の対象とする車両を選択し、選択した車両に対応するボタンの画像３４を操作する。この操作は入力装置２０により受け付けられ、この操作を示す操作情報が受信部１６により受信される。
なお、監視優先度が閾値よりも高い車両が存在しない場合、監視不要を示す提示情報が提示されてもよい。例えば、監視対象が存在しない旨を示す情報、監視作業の休憩を促す情報、又は監視作業とは異なる作業を促す情報などが提示されてよい。
また、監視優先度が閾値よりも高い車両が存在しない時間すなわち監視不要の時間を記録し、監視不要の時間の統計情報が提示されてもよい。例えば、監視不要の時間の平均値、中央値もしくは最頻値、又は日、週もしくは月などの特定期間における分布などの統計情報が提示されてよい。
また、監視不要の時間の統計情報から、休憩などの監視作業から離れる期間の提案が提示されてもよい。例えば、一日のうち監視不要の時間が統計的に長い時間帯において休憩を促す情報が提示されてよい。
以上のように構成された監視システム１による処理を以降で説明する。
図１１は、本実施の形態における監視システム１の処理を示す第一のシーケンス図である。図１１に示されるシーケンス図は、サーバ装置１０が、監視者の判断に基づいて監視対象などを決定するための学習モデル１５６を構築するときの処理の流れを示す図である。なお、図１１では、車両Ｍ１等の代表として車両Ｍ１を図示しているが、他の車両Ｍ２～ＭＮについても同様の処理が行われる。
図１１に示されるように、ステップＳ１０１において、サーバ装置１０の運行管理部１４は、運行ＤＢ１３に格納されている車両Ｍ１の運行計画に基づいて、車両Ｍ１の移動経路を設定する。そして、運行管理部１４は、設定した移動経路を含む指示情報を車両Ｍ１に送信する。なお、運行管理部１４は、他の車両Ｍ２～ＭＮについても同様に移動経路を設定し指示情報を送信する。
ステップＳ１２１において、車両Ｍ１は、ステップＳ１０１で運行管理部１４が送信した指示情報を受信する。そして、車両Ｍ１は、受信した指示情報に基づいて、運行管理部１４が設定した移動経路に従って走行する。
ステップＳ１２２において、車両Ｍ１は、車両情報（すなわちセンシングデータ及び画像データ）を取得する。
ステップＳ１２３において、車両Ｍ１は、ステップＳ１２２で取得した車両情報をサーバ装置１０に送信する。なお、車両Ｍ１は、ステップＳ１２３の後にも、車両情報を取得し、サーバ装置１０に送信する。
なお、ステップＳ１２１～Ｓ１２３の処理は、他の車両Ｍ２～ＭＮでも同様に行われる。
ステップＳ１０２において、サーバ装置１０の通信部１１は、ステップＳ１２３で車両Ｍ１等が送信した車両情報を受信する。通信部１１は、受信した車両情報を車両管理部１２に提供する。
ステップＳ１０３において、映像管理部１８は、ステップＳ１０２で受信した車両Ｍ１等それぞれの車両情報を含む提示情報を生成する。
ステップＳ１０４において、映像管理部１８は、ステップＳ１０３で生成した車両Ｍ１等それぞれの提示情報を表示装置３０に送信する。
ステップＳ１３１において、表示装置３０は、ステップＳ１０４で映像管理部１８が送信した、車両Ｍ１等それぞれの提示情報、つまり、全車両の分の提示情報を表示する。表示した提示情報は、監視者により視認される。
ステップＳ１４１において、入力装置２０は、監視者による監視の対象を切り替えるための操作を受け付ける。この操作は、ステップＳ１３１で表示装置３０が表示した提示情報を監視者が視認し、どの車両を監視の対象とするかを監視者が検討したうえで行った判断に基づく操作であり得る。そして、入力装置２０は、受け付けた操作の内容を示す操作情報をサーバ装置１０に送信する。操作情報は、監視者が車両Ｍ１等のうちのどの車両を監視対象に切り替えたかを示す情報を含む。なお、監視者による操作がなされなかった場合には、操作がなかったことを示す操作情報をサーバ装置１０に送信してもよいし、操作情報を送信しないことにしてもよい。
ステップＳ１０５において、サーバ装置１０の運行管理部１４は、ステップＳ１０２で受信した車両情報に含まれる位置情報が、運行計画に適合しているか否かを判断し、その判断の結果を示す運行情報を生成する。
ステップＳ１０６において、サーバ装置１０の受信部１６は、入力装置２０がステップＳ１４１で送信した操作情報を受信する。
ステップＳ１０７において、監視制御部１７は、ステップＳ１０６で受信した操作情報に基づいて監視対象を決定し、監視対象を示す監視情報を生成する。
ステップＳ１０８において、映像管理部１８は、ステップＳ１０７で監視制御部１７が生成した監視情報に基づいて、監視対象の車両に関する情報を含む提示情報を生成する。
ステップＳ１０９において、映像管理部１８は、ステップＳ１０８で生成した提示情報を表示装置３０に送信する。
ステップＳ１３２において、表示装置３０は、ステップＳ１０９で送信された提示情報を受信し、監視対象の車両の車両情報を表示する。
ステップＳ１１０において、推薦部１５は、学習用データ１５３を取得して蓄積する。具体的には、推薦部１５は、車両管理部１２から車両情報を取得し、運行管理部１４から運行情報を取得し、また、監視制御部１７から監視情報を取得する。推薦部１５は、取得した各種情報に対して処理部１５１による処理を施す。そして、推薦部１５は、取得した各種情報、及び、その各種情報に処理部１５１による処理が施された後のデータをデータ格納部１５２に学習用データ１５３として格納する。
ステップＳ１１１において、推薦部１５は、学習モデル１５６を構築する。具体的には、推薦部１５は、学習部１５４により学習用データ１５３を読み出し、機械学習により学習モデル１５６を構築する。構築された学習モデル１５６は、生成部１５５に提供され保持される。
図１２は、本実施の形態における監視システム１の処理を示す第二のシーケンス図である。図１２に示されるシーケンス図は、構築された学習モデル１５６を用いて推薦される監視対象を決定する処理の流れを示す図である。なお、図１２では、車両Ｍ１等の代表として車両Ｍ１を図示しているが、他の車両Ｍ２～ＭＮについても同様の処理が行われる。
図１２に示されるように、ステップＳ２０１において、サーバ装置１０の運行管理部１４は、車両Ｍ１の移動経路を設定し、設定した移動経路を含む指示情報を車両Ｍ１に送信する。ステップＳ２０１の処理は、図１１のステップＳ１０１の処理と同じである。
ステップＳ２２１～Ｓ２２３において、車両Ｍ１は、ステップＳ２０１で運行管理部１４が送信した指示情報に基づいて走行し、車両情報をサーバ装置１０に送信する。ステップＳ２２１～Ｓ２２３の処理は、図１１のステップＳ１２１～Ｓ１２３と同じである。
ステップＳ２０２において、サーバ装置１０の通信部１１は、ステップＳ２２３で車両Ｍ１等が送信した車両情報を受信する。通信部１１は、受信した車両情報を車両管理部１２に提供する。
ステップＳ２０３において、サーバ装置１０の運行管理部１４は、ステップＳ２０２で受信した車両情報に含まれる位置情報が、運行計画に適合しているか否かを判断し、その判断の結果を示す運行情報を生成する。
ステップＳ２０４において、推薦部１５の生成部１５５は、学習モデル１５６を用いて監視の推薦情報を取得する。具体的には、生成部１５５は、ステップＳ２０２で通信部１１が受信した車両情報を車両管理部１２から取得し、ステップＳ２０３で運行管理部１４が生成した運行情報を取得する。そして、生成部１５５は、取得した車両情報及び運行情報を入力データとして学習モデル１５６に入力した結果として出力される推薦情報を取得し、取得した推薦情報を監視制御部１７に提供する。
ステップＳ２０５において、監視制御部１７は、監視者による監視の対象を決定し、監視の対象を特定し得る監視情報を生成する。監視制御部１７は、監視の対象を決定する際には、ステップＳ２０４で推薦部１５が提供した推薦情報と、受信部１６が受信した操作情報とに基づいて監視の対象を決定する。監視制御部１７は、生成した監視情報を映像管理部１８に提供する。
ステップＳ２０６において、映像管理部１８は、ステップＳ２０５で監視制御部１７から提供された監視情報に基づいて、監視者に提示するための提示情報を生成する。
ステップＳ２０７において、映像管理部１８は、ステップＳ２０６で生成した提示情報を表示装置３０に送信する。
ステップＳ２３１において、表示装置３０は、ステップＳ２０７で監視制御部１７が送信した提示情報を受信し、提示情報に基づいて監視対象の車両に関する情報を表示する。
図１３は、本実施の形態における監視制御部１７の処理を示すフロー図である。図１３に示される処理は、図１２に示されるステップＳ２０５で実行される処理を詳細に示すものである。
ステップＳ３０１において、監視制御部１７は、受信部１６が入力装置２０から操作情報を受信したか否かを判定する。操作情報を受信したと判定した場合（ステップＳ３０１でＹｅｓ）にはステップＳ３０２に進み、そうでない場合（ステップＳ３０１でＮｏ）には、再びステップＳ３０１を実行する。つまり、監視制御部１７は、操作情報を受信するまでステップＳ３０１で待機状態をとる。
ステップＳ３０２において、監視制御部１７は、受信部１６が受信した操作情報に基づいて、監視者による操作の内容を取得する。
ステップＳ３０３において、監視制御部１７は、監視対象の切り替えのための操作がなされたか否かを判定する。上記操作がなされたと判定した場合（ステップＳ３０３でＹｅｓ）にはステップＳ３２１に進み、上記操作がなされていないと判定した場合（ステップＳ３０３でＮｏ）にはステップＳ３０４に進む。
ステップＳ３０４において、監視制御部１７は、現時点における動作モードが自動更新モードであるか否かを判定する。自動更新モードである場合（ステップＳ３０４でＹｅｓ）にはステップＳ３０５に進み、そうでない場合（ステップＳ３０４でＮｏ）にはステップＳ３１１に進む。
ステップＳ３０５において、監視制御部１７は、ステップＳ２０４で推薦部１５の生成部１５５により提供された推薦情報を取得する。
ステップＳ３０６において、監視制御部１７は、推薦情報により推薦される車両を、監視対象車両に決定する。
ステップＳ３１１において、監視制御部１７は、現時点における監視の対象の車両を維持する決定をする。
ステップＳ３２１において、監視制御部１７は、監視者による切り替え操作の切り替え先の車両を監視対象車両とする決定をする。
ステップＳ３０７において、監視制御部１７は、ステップＳ３０６、Ｓ３１１又はＳ３２１の決定に基づいて、監視の対象を示す監視情報を生成する。ステップＳ３０７の処理を終えたら図１３に示される一連の処理を終了する。ステップＳ３０７で生成された監視情報は、映像管理部１８に提供されステップＳ２０６の処理に用いられる。
なお、上記ステップＳ３０１で受信した操作情報を用いて、学習部１５４は学習モデル１５６を更新してもよい。すなわち、学習部１５４は、上記ステップＳ３０１で受信した操作情報を、ステップＳ１０６（図１１参照）で受信したとして、ステップＳ１０７～Ｓ１１１の処理を実行することで、学習部１５４が学習モデル１５６を構築することができ、これによって学習モデル１５６を更新する。
なお、上記では、推薦部１５が監視の対象となる車両を推薦する場合を説明したが、推薦部１５は、さらに、当該車両をどのように監視するかを含めて推薦してもよい。「当該車両をどのように監視するか」とは、例えば、車両がどの程度の速度で走行しているかを監視すること、車両から見てどの方向を監視するかなどを含む。その場合、推薦情報には、車両を特定する情報だけでなく、車両をどのように監視するかを特定する情報を含む。そして、監視情報が、さらに車両の監視方法を特定する情報を含む場合には、その車両から通信部１１が受信した画像データ及びセンシングデータのうち監視方法に該当するデータを提示情報に含め、監視者に提示する。より具体的には、車両の監視方法として、車両から見てどの方向を監視するかを推薦する場合には、車両が備えている１以上のカメラのうち監視の対象である方向のカメラが取得した画像を提示情報に含める。
なお、第１監視結果が第１監視者の情報を含んでおり、学習モデル１５６が第１監視者の情報を用いた機械学習により得られたものである場合には、推薦内容は、学習モデル１５６に第２監視者の情報をさらに入力することにより決定されてもよい。
また、第１監視者の情報が、第１監視者の識別情報、作業履歴情報、及び、属性情報の少なくとも１つを含んでいる場合には、第２監視者の情報は、第２監視者の識別情報、作業履歴情報、及び、属性情報の少なくとも１つを含んでもよい。
また、第１監視者の情報は、第１監視者が監視に用いた端末に関する端末情報を含んでいる場合には、第２監視者の情報は、第２監視者が監視に用いる端末に関する端末情報を含んでいてもよい。
（実施の形態の変形例）
本変形例において、監視者の監視負担を低減することができる情報処理方法などについて、上記実施の形態と異なる構成を説明する。
図１４は、本変形例における情報処理システム１０Ａの構成を示すブロック図である。本変形例における情報処理システム１０Ａに含まれる下記の構成は、コンピュータを用いて、より具体的には、プロセッサがメモリを用いて所定のプログラムを実行することで、なされ得る。
図１４に示されるように、情報処理システム１０Ａは、取得部５１と、決定部５２と、出力部５３とを備える。
取得部５１は、第１時点より後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得する。取得部５１は、生成部１５５のうちの状況情報を取得する機能に相当する。
決定部５２は、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定する決定部５２は、生成部１５５のうちの推薦情報を決定する機能に相当する。
出力部５３は、決定された推薦内容から車両の監視のための提示情報を生成し、提示情報を提示装置に出力させる。出力部５３は、映像管理部１８に相当する。
これにより、情報処理システム１０Ａは、監視者の監視負担を低減することができる。
図１５は、本変形例における情報処理方法を示すフロー図である。本変形例における情報処理方法に含まれる下記の処理は、コンピュータを用いてなされ得る。
図１５に示されるように、ステップＳ５０１において、第１時点より後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得する。
ステップＳ５０２において、第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定する。
ステップＳ５０３において、決定された推薦内容から車両の監視のための提示情報を生成する。
ステップＳ５０４において、提示情報を提示装置に出力させる。
これにより、監視者の監視負担を低減することができる。
以上のように、本実施の形態及び変形例に係る情報処理方法では、第１時点における状況で監視者が監視に関して判断した結果を用いた機械学習によって構築された学習モデルを用いて、第２時点における状況で推薦される監視に関する情報が出力される。つまり、監視者による過去の監視判断を反映してその後の推薦される監視に関する情報が出力される。そのため、監視者は常時車両を監視することなく、推薦される監視に関する情報を参照することにより監視作業を判断することができる。したがって、監視者の監視負担を軽減することができる。また、監視負担が軽減されることにより、被操作車両の台数より少ない人数での被操作車両の監視が可能となる。
また、学習モデルがニューラルネットワーク型であるので、状況情報と監視結果との関係が複雑であっても学習モデルを生成しやすい。
また、第１時点における監視の対象である車両を示す情報に基づいて、学習モデルが構築される。そのため、監視対象として選択された車両の特徴が学習されることにより、車両の特徴について学習モデルが出力する推薦内容の正確性（言い換えると適切さ）を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
また、第１時点における監視の対象である車両に対して監視者が行った操作を特定する情報に基づいて、学習モデルが構築される。そのため、監視対象として選択された車両に対する操作が学習されることにより、行われた操作について学習モデルが出力する推薦内容の正確性を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
また、第１時点における監視に関する時間又は時刻を特定する情報に基づいて、学習モデルが構築される。そのため、監視対象として選択された車両の監視に費やされた時間が学習されることにより、監視に費やされた時間について学習モデルが出力する推薦内容の正確性を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
また、第１時点における監視の対象とされた後に、監視の対象とされない状態が継続している時間を特定する情報に基づいて、学習モデルが構築される。そのため、監視されてない車両及び時間が学習されることにより、監視されていない車両及び時間について学習モデルが出力する推薦内容の正確性を向上させることができる。したがって、監視者の監視負担の軽減効果を向上させることができる。
また、第１時点における状況が提示されてから、監視者が監視する車両を特定するまで、すなわち監視開始までの時間を示す情報に基づいて、学習モデルが構築される。そのため、監視開始にかかる時間について学習モデルが出力する推薦内容の正確性を向上させることができる。
また、監視結果だけでなく第１時点における監視者の情報にも基づいて、学習モデルが構築される。そのため、推薦内容の正確性をさらに向上させることができる。
また、第１監視者の経験又は特性に基づいて、学習モデルが構築される。そのため、第２監視者の経験又は特性に応じた推薦内容を決定することができる。したがって、推薦内容の正確性をさらに向上させることができる。
また、第１監視者が操作した端末の状態又は特性に基づいて、学習モデルが構築される。そのため、第２監視者が操作する端末の状態又は特性に応じた推薦内容を決定することができる。したがって、推薦内容の正確性をさらに向上させることができる。
また、第２時点における監視の結果を用いて学習モデルが更新される。これにより、継続的に学習モデルを改善することができ、持続可能な監視システムを実現することができる。
また、第１時点における監視者の作業履歴に基づいて特定される監視者の監視結果を優先的に用いて学習モデルが更新される。そのため、模範となる監視者の監視結果を用いて学習モデルが更新されることにより、学習モデルの効率的な更新が可能となる。
また、第２時点における推薦される車両の監視に関する情報として、監視の対象として推薦される車両が提示装置に提示される。よって、監視者は、第２時点における監視の対象として推薦される車両を直接的に把握することができる。
また、第２時点における推薦される車両の監視に関する情報として、１以上の車両とその監視推薦度が提示装置に提示される。よって、監視者は、提示された１以上の車両のうちから第２時点における監視の対象とすべき車両を容易に把握することができる。
また、第２時点における推薦される車両の監視に関する情報として、監視の方向を示す情報が提示装置に提示される。よって、監視者は、第２時点における監視すべき方向を容易に把握することができる。
また、第２時点における推薦される車両の監視に関する情報として、監視のポイントを示す情報が提示装置に提示される。よって、監視者は、第２時点において状況から監視すべきポイントを判断することなく把握することができる。あるいは、監視すべきポイントの判断をサポートすることができる。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の情報処理方法などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、コンピュータを用いて、第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、決定された前記推薦内容から前記車両の監視のための提示情報を生成し、前記提示情報を提示装置に出力させる情報処理方法を実行させる。
以上、一つまたは複数の態様に係る情報処理方法などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、監視者の監視負担を低減することができる情報処理方法に利用可能である。
１ 監視システム
１０ サーバ装置
１０Ａ 情報処理システム
１１ 通信部
１２ 車両管理部
１３ 運行ＤＢ
１４ 運行管理部
１５ 推薦部
１６ 受信部
１７ 監視制御部
１８ 映像管理部
２０ 入力装置
３０、３１ 表示装置
３２、３３、３４、３６、３７ 画像
５１ 取得部
５２ 決定部
５３ 出力部
１５１ 処理部
１５２ データ格納部
１５３ 学習用データ
１５４ 学習部
１５５ 生成部
１５６ 学習モデル
Ｍ１、Ｍ２、・・・、ＭＮ 車両
Ｎ ネットワーク

Claims (23)

  1. コンピュータを用いて、
    第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づくネットワークを介した監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両のネットワークを介した監視に関する推薦内容を決定し、
    決定された前記推薦内容から前記車両のネットワークを介した監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させる
    情報処理方法。
  2. 前記学習モデルは、前記第１状況情報を入力データとし、前記第１監視結果を教師データとした機械学習により得られたニューラルネットワーク型の学習モデルである
    請求項１に記載の情報処理方法。
  3. 前記第１監視結果は、前記第１監視者によるネットワークを介した監視の対象であった車両を示す情報を含む
    請求項１又は２に記載の情報処理方法。
  4. 前記第１監視結果は、前記第１監視者によるネットワークを介した監視の対象であった車両に対して前記第１監視者が行った操作を特定する情報を含む
    請求項１～３のいずれか１項に記載の情報処理方法。
  5. 前記第１監視結果は、前記第１監視者によるネットワークを介した監視に関する時間及び時刻の少なくとも一方を特定する情報を含む
    請求項１～４のいずれか１項に記載の情報処理方法。
  6. 前記第１監視結果は、前記第１監視者によるネットワークを介した監視の対象であった車両が、ネットワークを介した監視の対象とされた後に、ネットワークを介した監視の対象とされない状態が継続した時間を特定する情報を含む
    請求項１～５のいずれか１項に記載の情報処理方法。
  7. 前記第１監視結果は、前記第１状況情報が提示されてから前記第１監視者がネットワークを介して監視する車両を特定するまでの時間を特定する情報を含む
    請求項１～６のいずれか１項に記載の情報処理方法。
  8. 前記第１監視結果は、前記第１監視者の情報をさらに含み、
    前記学習モデルは、さらに前記第１監視者の情報を用いた機械学習により得られ、
    前記推薦内容は、前記学習モデルに前記第２監視者の情報をさらに入力することにより決定される
    請求項１～７のいずれか１項に記載の情報処理方法。
  9. 前記第１監視者の情報は、前記第１監視者の識別情報、作業履歴情報、及び、属性情報の少なくとも１つを含み、
    前記第２監視者の情報は、前記第２監視者の識別情報、作業履歴情報、及び、属性情報の少なくとも１つを含む
    請求項８に記載の情報処理方法。
  10. 前記第１監視者の情報は、前記第１監視者がネットワークを介した監視に用いた端末に関する端末情報を含み、
    前記第２監視者の情報は、前記第２監視者がネットワークを介した監視に用いる端末に関する端末情報を含む
    請求項８又は９に記載の情報処理方法。
  11. さらに、前記第２監視者によるネットワークを介した監視の結果である第２監視結果を取得し、
    前記第２状況情報を入力データとし、前記第２監視結果を教師データとした機械学習により、前記学習モデルを更新する
    請求項１～１０のいずれか１項に記載の情報処理方法。
  12. 前記学習モデルを更新する際には、
    前記第１監視者の作業履歴情報から特定される前記第２監視者に対応する前記第２状況情報及び前記第２監視結果を優先的に用いて前記学習モデルを更新する
    請求項１１に記載の情報処理方法。
  13. 前記推薦内容は、ネットワークを介した監視の対象として推薦される車両を含み、
    前記提示情報は、前記推薦内容に含まれるネットワークを介した前記監視の対象として推薦される車両を示す情報を含む
    請求項１～１２のいずれか１項に記載の情報処理方法。
  14. 前記推薦内容は、ネットワークを介した監視の対象となりうる１以上の車両及び前記１以上の車両それぞれの監視推薦度を含み、
    前記提示情報は、前記推薦内容に含まれる前記１以上の車両それぞれの監視推薦度を示す情報を含む
    請求項１～１３のいずれか１項に記載の情報処理方法。
  15. 前記推薦内容は、ネットワークを介した監視の対象として推薦される車両から見た、ネットワークを介した監視の方向を含み、
    前記提示情報は、ネットワークを介した前記監視の対象として推薦される車両から、前記推薦内容に含まれるネットワークを介した前記監視の方向を撮影した画像を含む
    請求項１～１４のいずれか１項に記載の情報処理方法。
  16. 前記推薦内容は、前記第２監視者に推薦するネットワークを介した監視のポイントを含み、
    前記提示情報は、前記推薦内容に含まれるネットワークを介した前記監視のポイントを示す情報を含む
    請求項１～１５のいずれか１項に記載の情報処理方法。
  17. 第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得する取得部と、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づくネットワークを介した監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両のネットワークを介した監視に関する推薦内容を決定する決定部と、
    決定された前記推薦内容から前記車両のネットワークを介した監視のための提示情報を生成し、前記提示情報を提示装置に出力させる出力部とを備える
    情報処理システム。
  18. コンピュータを用いて、
    第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、
    決定された前記推薦内容から前記車両の監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させ、
    前記第１監視結果は、前記第１監視者による監視の対象であった車両が、監視の対象とされた後に、監視の対象とされない状態が継続した時間を特定する情報を含む
    情報処理方法。
  19. コンピュータを用いて、
    第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、
    決定された前記推薦内容から前記車両の監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させ、
    前記第１監視結果は、前記第１状況情報が提示されてから前記第１監視者が監視する車両を特定するまでの時間を特定する情報を含む
    情報処理方法。
  20. コンピュータを用いて、
    第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、
    決定された前記推薦内容から前記車両の監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させ、
    前記第１監視結果は、前記第１監視者の情報をさらに含み、
    前記学習モデルは、さらに前記第１監視者の情報を用いた機械学習により得られ、
    前記推薦内容は、前記学習モデルに前記第２監視者の情報をさらに入力することにより決定される
    情報処理方法。
  21. コンピュータを用いて、
    第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、
    決定された前記推薦内容から前記車両の監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させ、
    さらに、前記第２監視者による監視の結果である第２監視結果を取得し、
    前記第２状況情報を入力データとし、前記第２監視結果を教師データとした機械学習により、前記学習モデルを更新する
    情報処理方法。
  22. コンピュータを用いて、
    第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、
    決定された前記推薦内容から前記車両の監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させ、
    前記推薦内容は、監視の対象となりうる１以上の車両及び前記１以上の車両それぞれの監視推薦度を含み、
    前記提示情報は、前記推薦内容に含まれる前記１以上の車両それぞれの監視推薦度を示す情報を含む
    情報処理方法。
  23. コンピュータを用いて、
    第１時点よりも後の第２時点における、車両及び車両周辺の少なくとも一方の状況に関する第２状況情報を取得し、
    前記第１時点における、車両及び車両周辺の少なくとも一方の状況に関する第１状況情報と、第１監視者による前記第１状況情報に基づく監視の結果である第１監視結果とを用いた機械学習により得られた学習モデルに、前記第２状況情報を入力することにより、第２監視者に推薦される車両の監視に関する推薦内容を決定し、
    決定された前記推薦内容から前記車両の監視のための提示情報を生成し、
    前記提示情報を提示装置に出力させ、
    前記推薦内容は、監視の対象として推薦される車両から見た、監視の方向を含み、
    前記提示情報は、前記監視の対象として推薦される車両から、前記推薦内容に含まれる前記監視の方向を撮影した画像を含む
    情報処理方法。
JP2019098762A 2018-10-05 2019-05-27 情報処理方法、及び、情報処理システム Active JP7330758B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP19868985.3A EP3862993B1 (en) 2018-10-05 2019-07-09 Information processing method, information processing system
CN201980005907.8A CN111386561A (zh) 2018-10-05 2019-07-09 信息处理方法及信息处理系统
PCT/JP2019/027125 WO2020070941A1 (ja) 2018-10-05 2019-07-09 情報処理方法、及び、情報処理システム
US16/918,363 US11847909B2 (en) 2018-10-05 2020-07-01 Information processing method and information processing system
US18/387,980 US20240071216A1 (en) 2018-10-05 2023-11-08 Information processing method and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018189806 2018-10-05
JP2018189806 2018-10-05

Publications (2)

Publication Number Publication Date
JP2020061119A JP2020061119A (ja) 2020-04-16
JP7330758B2 true JP7330758B2 (ja) 2023-08-22

Family

ID=70220061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019098762A Active JP7330758B2 (ja) 2018-10-05 2019-05-27 情報処理方法、及び、情報処理システム

Country Status (3)

Country Link
US (1) US11847909B2 (ja)
JP (1) JP7330758B2 (ja)
CN (1) CN111386561A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7415822B2 (ja) * 2020-06-29 2024-01-17 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3199217B2 (ja) * 1995-10-30 2001-08-13 ダイハツ工業株式会社 自動車用追突防止装置
JP4074571B2 (ja) * 2003-08-29 2008-04-09 三菱電機株式会社 交通流計測装置
JP5422859B2 (ja) * 2010-03-31 2014-02-19 株式会社日立製作所 監視装置および不審行動検出方法
US9104202B2 (en) * 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
US9015093B1 (en) * 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN102724482B (zh) * 2012-06-18 2015-08-26 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
WO2014100478A2 (en) * 2012-12-19 2014-06-26 Robert Bosch Gmbh Intelligent electronic monitoring system
CN104463244A (zh) * 2014-12-04 2015-03-25 上海交通大学 基于智能移动终端的异常驾驶行为监测和识别方法及系统
US10175054B2 (en) * 2015-01-11 2019-01-08 Microsoft Technology Licensing, Llc Predicting and utilizing variability of travel times in mapping services
CN104802737B (zh) * 2015-03-25 2017-05-10 清华大学 一种基于手机的车辆异常驾驶行为检测方法
AU2016262563B2 (en) * 2015-05-13 2019-03-14 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
JP6589678B2 (ja) 2016-02-18 2019-10-16 トヨタ自動車株式会社 遠隔操作システム
CN105868691B (zh) * 2016-03-08 2019-05-21 青岛邃智信息科技有限公司 基于快速区域卷积神经网络的城市车辆追踪方法
CN107292222B (zh) * 2016-04-01 2020-02-28 杭州海康威视数字技术股份有限公司 一种车辆违章检测方法及装置
CN106340205A (zh) * 2016-09-30 2017-01-18 广东中星微电子有限公司 交通监控方法及交通监控装置
US10719900B2 (en) * 2016-10-11 2020-07-21 Motorola Solutions, Inc. Methods and apparatus to perform actions in public safety incidents based on actions performed in prior incidents
WO2018088794A2 (ko) * 2016-11-08 2018-05-17 삼성전자 주식회사 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US10705539B2 (en) * 2016-11-30 2020-07-07 Nissan North America, Inc. Tele-operation of autonomous cars to negotiate problem situations
CN106682644B (zh) * 2017-01-11 2019-08-27 同观科技（深圳）有限公司 一种基于移动摄像设备的双动态车辆监测管理系统和方法
US10248121B2 (en) * 2017-03-31 2019-04-02 Uber Technologies, Inc. Machine-learning based autonomous vehicle management system
EP3636507A1 (en) * 2018-03-20 2020-04-15 Mobileye Vision Technologies Ltd. Comfort responsibility sensitivity safety model
CN108428340B (zh) * 2018-05-11 2021-01-26 深圳市图灵奇点智能科技有限公司 道路交通状况分析方法和系统
US20200023846A1 (en) * 2018-07-23 2020-01-23 SparkCognition, Inc. Artificial intelligence-based systems and methods for vehicle operation
US10869187B1 (en) * 2018-08-07 2020-12-15 State Farm Mutual Automobile Insurance Company System and method for generating consumer mobility profile
JP7253446B2 (ja) * 2018-10-05 2023-04-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム

Also Published As

Publication number Publication date
JP2020061119A (ja) 2020-04-16
US11847909B2 (en) 2023-12-19
CN111386561A (zh) 2020-07-07
US20200365018A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US10919540B2 (en) Driving assistance method, and driving assistance device, driving control device, vehicle, and recording medium using said method
EP3862941B1 (en) Information processing method and information processing system
US10391406B2 (en) Apparatus and method for safe drive inducing game
EP2201496B1 (en) Inattentive state determination device and method of determining inattentive state
JP7253446B2 (ja) 情報処理方法、及び、情報処理システム
US11003925B2 (en) Event prediction system, event prediction method, program, and recording medium having same recorded therein
JP7249879B2 (ja) 情報処理方法、及び、情報処理システム
KR20210151802A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
US20240087371A1 (en) Information processing method and information processing system
JP6513913B2 (ja) 情報提示装置、方法及びプログラム
JP2023076554A (ja) 情報処理方法
WO2016030934A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP7330758B2 (ja) 情報処理方法、及び、情報処理システム
JP2020165688A (ja) 制御装置、制御システム、および制御方法
WO2020070941A1 (ja) 情報処理方法、及び、情報処理システム
JPWO2019131388A1 (ja) 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラム
EP4357872A1 (en) Information-generating method, information-generating device, and program
WO2022176111A1 (ja) 改善項目検出装置、改善項目検出方法、及びプログラム
CN113401071B (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
EP4357183A1 (en) Information notification system, information notification method, and information notification program
CN116802104A (zh) 控制模式选择和转变
WO2019125277A1 (en) Method and control arrangement in a transportation surveillance system
CN116250027A (zh) 信息处理系统和信息处理方法
JP2008257388A (ja) 先急ぎ運転報知システム、先急ぎ運転報知装置及び情報管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R150 Certificate of patent or registration of utility model

Ref document number: 7330758

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150