JP7276503B2 - 運行決定装置、運行決定方法およびプログラム - Google Patents

Description

本発明は、運行決定装置、運行決定方法およびプログラムに関する。

交通システムの運行に関して、特許文献１には、定員や車両性能が異なる複数の種別を用いて臨時のシャトルバスを運行させるためのダイヤグラムを作成するダイヤ生成装置が記載されている。

日本国特許第６２５１０８３号公報

交通システムを運行する際、交通事業者の利便性だけでなく、利用者の利便性に配慮した運行を行えることが好ましい。

本発明の目的の一例は、上記の問題を解決することができる運行決定装置、運行決定方法およびプログラムを提供することである。

本発明の第１の態様によれば、運行決定装置は、搬送対象を搬送する搬送装置と、前記搬送装置に対する前記搬送対象の乗降場とを含むシステムにおける、前記搬送装置の運行を模擬するシミュレータと、前記システムの部分について、その部分に実行可能な操作を示すパラメータの値を、前記パラメータの個数よりも少ない個数の入力の値に基づいて設定するモジュールと、前記モジュールへの入力に設定する値の学習を、前記シミュレータを用いて、前記搬送対象の滞留状況に関する報酬に基づく強化学習にて行い、前記搬送装置に対する前記搬送対象の乗降場における前記搬送対象の滞留状況を改善する場合の、前記搬送装置の運行計画を、学習結果を用いて求める決定手段と、を備える。

本発明の第２の態様によれば、運行決定方法は、搬送対象を搬送する搬送装置と、前記搬送装置に対する前記搬送対象の乗降場とを含むシステムの部分について、その部分に実行可能な操作を示すパラメータの値を、前記パラメータの個数よりも少ない個数の入力の値に基づいて設定するモジュールへの入力に設定する値の学習を、前記システムにおける前記搬送装置の運行を模擬するシミュレータを用いて、前記搬送対象の滞留状況に関する報酬に基づく強化学習にて行い、前記搬送装置に対する前記搬送対象の乗降場における前記搬送対象の滞留状況を改善する場合の、前記搬送装置の運行計画を、学習結果を用いて求める工程を含む。

本発明の第３の態様によれば、プログラムは、コンピュータに、搬送対象を搬送する搬送装置と、前記搬送装置に対する前記搬送対象の乗降場とを含むシステムの部分について、その部分に実行可能な操作を示すパラメータの値を、前記パラメータの個数よりも少ない個数の入力の値に基づいて設定するモジュールへの入力に設定する値の学習を、前記システムにおける前記搬送装置の運行を模擬するシミュレータを用いて、前記搬送対象の滞留状況に関する報酬に基づく強化学習にて行い、前記搬送装置に対する前記搬送対象の乗降場における前記搬送対象の滞留状況を改善する場合の、前記搬送装置の運行計画を、学習結果を用いて求める工程を実行させるためのプログラムである。

上記した運行決定装置、運行決定方法およびプログラムによれば、利用者の利便性に配慮した運行計画を求めることができる。

実施形態に係る運行決定装置の機能構成の例を示す概略ブロック図である。 実施形態に係るシミュレータにおけるデータの流れの例を示す図である。 実施形態に係る運行決定装置が搬送装置の運行計画を求める対象の交通システムにおける、路線の例を示す図である。 実施形態に係るシミュレータのシミュレーションモデルの駅における設備の構成例を示す図である。 鉄道車両を直進させる場合に、実施形態に係るモジュールが行う処理の手順の例を示す図である。 鉄道車両を折り返させる場合に、実施形態に係るモジュールが行う処理の手順の例を示す図である。 実施形態に係る運行決定装置が行う処理の手順の例を示す図である。 実施形態に係る運用決定装置の構成の例を示す図である。 実施形態に係る運行決定方法における処理の手順の例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る運行決定装置の機能構成の例を示す概略ブロック図である。図１に示す構成で、運行決定装置１００は、シミュレータ１１０と、決定部１２０と、モジュール１３０とを備える。

運行決定装置１００は、搬送装置の運行計画を求める。例えば、運行決定装置１００は、ダイヤグラムなど搬送装置の運行パターンの例を示す情報を取得して出力する。特に運行決定装置１００は、搬送装置が搬送する搬送対象について定量的に評価可能な状況を改善する場合の、搬送装置の運行計画を取得して出力する。

搬送装置および乗降場は、交通システムに含まれる。ここでいう交通システムとは、搬送装置と、その搬送装置が運行するための設備との総称である。ここでいう搬送装置の運行とは、何らかの計画に従って搬送装置が動作することである。

以下では、運行決定装置１００が、搬送装置に対する搬送対象の乗降場における搬送対象の滞留状況を改善する場合の、搬送装置の運行計画を取得する場合を例に説明する。ただし、運行決定装置１００が求める運行計画による改善の対象は、乗降場における搬送対象の滞留状況に限定されない。例えば、運行決定装置１００が、搬送装置の速度を改善する場合の、搬送装置の運行計画を取得するようにしてもよい。ここでいう、搬送装置の速度の改善は、搬送装置の速度を向上させて搬送にかかる時間を短縮することであってもよい。

以下では、運行決定装置１００が対象とする搬送装置が乗り物であり、搬送対象が人である場合を例に説明する。特に、以下では、運行決定装置１００が対象とする搬送装置が鉄道車両である場合を例に説明する。この場合の交通システムを鉄道システムと称する。鉄道システムは、鉄道車両と、鉄道車両が運行するための設備との総称である。鉄道車両は、２台以上の車両が連結された、いわゆる列車で運行していてもよいし、１台の車両が単体で運行していてもよい。
このように、運搬装置が人を運搬する場合、運搬対象である人が、搬送装置の利用者である。搬送装置の利用者を単に利用者と称する。

ただし、運行決定装置１００が対象とする運搬装置が、人ではなく荷物等の物を運ぶようにしてもよい。この場合、搬送対象である物の搬送の依頼者が、利用者に該当する。搬送装置は、生産工場や倉庫等で、製品や材料等を運搬する運搬車、ベルトコンベア、パイプライン等を表してもよい。搬送対象は、製品や材料等を表してもよい。乗降場は、製品や材料等を蓄えておくことが可能な場所やタンク等の保管場所を表していてもよい。そして、滞留状況は、各保管場所に蓄えられている材料や製品等の量や、該保管場所に格納することが可能な量に対する材料や製品等の量の割合を表していてもよい。

生産工場の場合に、滞留状況は、例えば、ある製造工程にて処理される前の仕掛品の量や、製造工程が終了したにもかかわらず次の製造工程への搬送処理が実施されていない仕掛品の量等を表す。
また、運行決定装置１００が対象とする運搬装置が人を運搬する場合、運搬装置は鉄道車両に限定されない。例えば、運搬装置が、航空機、船舶、タクシー、トラック、または、バス等の運送装置であってもよい。

ここでいう搬送対象の滞留とは、例えば、搬送対象が移動せずに同じ場所に留まることである。交通システムが鉄道システムである場合に、搬送対象の滞留の例として、利用者が駅のホームや、駅構内で鉄道車両を待つ状態が挙げられる。
搬送装置での移動を目的とする乗客にとって、滞留時間が短いことが好ましい。運行決定装置１００が、滞留状況を改善する場合の、搬送装置の運行計画を求めることで、利用者の利便性に配慮した運行計画を求めることができる。

搬送対象が物である場合、利用者にとって、物が速やかに搬送されることが好ましいと考えられる。また、生産工場や倉庫等の場合に、搬送物が、生産工場や倉庫に滞留している時間が長いほど、生産状況や出荷状況が低下していることを表す。この場合も、運行決定装置１００が、滞留状況を改善する場合の、搬送装置の運行計画を求めることで、利用者の利便性に配慮した運行計画を求めることができる。したがって、この場合にも、滞留時間が短いことが好ましい。

運行決定装置１００が、得られた運行計画に基づいて、搬送装置の運行を制御するようにしてもよい。あるいは、運行決定装置１００が、交通システムの制御装置など他の装置に運行計画を出力し、運行計画を取得した装置が、得られた運行計画に基づいて、搬送装置の運行を制御するようにしてもよい。例えば、運行決定装置１００は、得られた運行計画に従い搬送装置が動作するよう、搬送装置に指示してもよいし、搬送装置を制御してもよい。あるいは、運行決定装置１００は、得られた運行計画に従い搬送装置を制御するよう、交通システムを制御する信号機を制御してもよい。
あるいは、交通システムの管理者など人手で、運行決定装置１００が生成した運行計画を参照して、交通システムに適用する運行計画を立案するようにしてもよい。

シミュレータ１１０は、搬送装置の運行を模擬（Simulate、Simulation）する。シミュレータ１１０は、搬送装置の運行を模擬するために、搬送機器だけでなく交通システム全体の動作を模擬する。例えば、シミュレータ１１０が鉄道車両の運行を模擬する場合、分岐器および信号機などの動作も模擬する必要があり、シミュレータ１１０は、これらの動作も模擬する。
また、シミュレータ１１０は、搬送対象の動静を模擬する。交通システムが鉄道システムである場合、シミュレータ１１０は、駅のホームへの乗客の入出場、鉄道車両への乗客の乗降、および、鉄道車両による乗客の運搬を模擬する。

決定部１２０は、シミュレータ１１０を用いて、乗降場における搬送対象の滞留状況を改善する場合の、搬送装置の運行計画を求める。決定部１２０が、シミュレータ１１０が行う搬送装置の運行のシミュレーションについて、乗降場における搬送対象の滞留状況を評価することで、乗降場における搬送対象の滞留状況を改善する場合の、搬送装置の運行計画を求めることが可能になる。
決定部１２０は、決定手段の例に該当する。

以下では、決定部１２０が、搬送対象の滞留状況に関する報酬を用いる強化学習に基づいて、乗降場における搬送対象の滞留状況を改善する場合の、搬送装置の運行計画を求める場合を例に説明する。運行決定装置１００が対象とする搬送装置が鉄道車両である場合、決定部１２０が、搬送対象である利用者の、駅のホームでの滞留が少ないほど高い評価となる報酬を用いるようにしてもよい。

決定部１２０が用いる報酬は、乗客の滞留を量的に評価できるいろいろな報酬とすることができる。
例えば、決定部１２０が、駅のホームにおける乗客の滞留時間の、全ての駅のホームにいる全ての乗客についての合計を、乗客の滞留量として算出するようにしてもよい。そして、決定部１２０が、乗客の滞留量が少ないほど評価が高くなる報酬を用いて強化学習を行うようにしてもよい。

あるいは、決定部１２０が、各駅のホームにいる乗客の人数の、全ての駅のホームについての合計を、乗客の滞留量として算出するようにしてもよい。そして、決定部１２０が、乗客の滞留量が小さいほど評価が高くなる報酬を用いて強化学習を行うようにしてもよい。

決定部１２０は、強化学習にて、モジュール１３０への入力に設定する値を学習する。ここでいう、モジュール１３０への入力に設定する値を学習することは、交通システムの状態に応じて、モジュール１３０への入力にどのような値を設定するかを学習することである。
強化学習においてアクションのパターンの個数が多い場合、報酬による個々のパターンに対する評価を得られる機会がまばら（Sparse）になり、学習が進まない要因となり得る。鉄道システムにおける１つの路線全体を運行決定装置１００の対象とする場合、分岐器および信号機など操作対象の個数が多くなることが考えられる。これらの操作対象に対する操作をそのまま、強化学習におけるアクションとして用いると、アクションのパターンの個数が膨大になり、学習が進まない要因となり得る。すなわち、強化学習が効率的に実施されない可能性がある。
そこで、運行決定装置１００では、モジュール１３０を用いて操作対象に対する操作をある程度自動化する。これにより、決定部１２０が行う強化学習におけるアクションのパターンの個数が少なくなるため、学習が容易になる。

図３乃至図６を参照しながら後述するように、モジュール１３０は、交通システムの部分について、その部分に実行可能な操作を示すパラメータの値を、パラメータの個数よりも少ない個数の入力の値に基づいて設定する。ここでのパラメータは、シミュレーションモデルへの入力パラメータである。モジュール１３０または決定部１２０は、模擬対象に対する操作を、パラメータの値にてシミュレータ１１０に入力する。

交通システムが鉄道システムである場合、駅毎にモジュール１３０を設け、各駅における操作をある程度自動化するようにしてもよい。鉄道車両の折り返しが可能な駅について、決定部１２０が、モジュール１３０に対して折り返しの有無を指示するようにしてもよい。この場合、モジュール１３０は、折り返しの有無の指示、および、対象の駅への鉄道車両の進入状況に基づいて、その駅について設定可能なパラメータの値を設定する。例えば、モジュール１３０は、その駅の分岐器および信号機等に対する操作を示すパラメータの値を設定する。

モジュール１３０が、ルールベースでパラメータの値を設定するようにしてもよい。例えば、運行決定装置１００の設計者など人手で、ルールベースのルールを予め設けておく。モジュール１３０は、シミュレーションにおける鉄道システムの状態に応じてルールを選択し、選択したルールから導かれる操作を示すパラメータ値を設定する。
モジュール１３０が駅の設備の操作を設定する場合、ルールを選択するための鉄道システムの状態として、例えば、対象の駅の分岐器および信号機等の操作対象の状態、ならびに、鉄道車両の位置および速度など鉄道車両の駅への進入状況を用いることできる。

あるいは、モジュール１３０が、強化学習によってパラメータ値の設定方法を学習するようにしてもよい。この場合、モジュール１３０は、決定部１２０が用いる報酬と異なる報酬を用いて強化学習を行うことが考えられる。例えばモジュール１３０が、鉄道車両の直進または折り返しなど、決定部１２０からの入力の値が示す指示どおりの結果を得られた場合に高い評価を得られる報酬を用いるようにしてもよい。

この場合の強化学習では、シミュレータ１１０が、鉄道システムのうちモジュール１３０の操作対象の駅の部分及び鉄道車両を模擬するなど、交通システムを部分的に模擬して処理の効率化を図るようにしてもよい。
あるいは、モジュール１３０が、強化学習以外の機械学習によってパラメータ値の設定方法を学習するようにしてもよい。例えば、モジュール１３０が、遺伝的アルゴリズムによってパラメータ値の設定方法を学習するようにしてもよい。

モジュール１３０が、交通システムの運行に用いられる制約条件に基づいて、決定部１２０からの入力の値に応じたパラメータの値を設定するようにしてもよい。例えば、モジュール１３０が、鉄道の運行規則、および、保安設備の規則による操作の制約に基づいて、パラメータの値を設定するようにしてもよい。さらに例えば、モジュール１３０が、信号機の状態により、分岐器による分岐の向きが制限されるといった制約条件に従って、分岐器に対する操作を示すパラメータの値を設定するようにしてもよい。

モジュール１３０が、駅における鉄道車両の折り返しの有無を指示する入力、および、その駅への鉄道車両の進入状況に応じて、かつ、その駅の信号機の設定に関する制約条件、および、その駅の分岐器の設定に関する制約条件に基づいて、シミュレーションにおける信号機および分岐器の設定を行うようにしてもよい。

この場合の信号機の設定に関する制約条件の例として、鉄道車両が駅の直前の閉塞区間に進入した後に場内信号を青信号にする、といった制約条件が挙げられる。
分岐器の設定に関する制約条件の例として、鉄道車両を直進させる場合は１番ホームへ進入させ、鉄道車両を折り返させる場合は２番ホームへ進入させる、といった制約条件が挙げられる。

決定部１２０が強化学習法によって実現される例を用いながら、決定部１２０における処理について説明したが、運行決定装置１００は、例えば、混合整数計画法等の方法によって実現されていてもよい。例えば、運行決定装置１００は、鉄道車両を操作する乗務員、鉄道車両数、駅数等についての制約条件のもとで、搬送物の滞留量等の定量的に評価可能な状況を最小化することを目的関数とする問題を、混合整数計画法等の方法に従い処理することによって、パラメータを算出し、算出したパラメータに基づき運行計画を作成してもよい。すなわち、決定部１２０を実現する方法は、上述した例に限定されない。

図２は、シミュレータ１１０におけるデータの流れの例を示す図である。図２に示す構成で、シミュレータ１１０は、運行シミュレータ１１１と、人流シミュレータ１１２と、入出場シミュレータ１１３とを備える。
運行シミュレータ１１１は、搬送装置の運行を模擬する。そのために、運行シミュレータ１１１は、搬送装置だけでなく交通システム全体を模擬する。

運行シミュレータ１１１は、模擬対象の交通システムにおける路線の設定と、シミュレーション開始時の搬送装置の位置などの開始条件（初期条件）とを、模擬の開始前に取得しておく。そして、運行シミュレータ１１１は、交通システムに対する操作の入力を、例えばシミュレーションモデルのパラメータへの値の設定にて受け付けて、模擬を実行する。

また、運行シミュレータ１１１は、搬送装置への搬送対象の乗降を模擬する。模擬対象の交通システムが鉄道システムであり、搬送対象が人（利用者）である場合、運行シミュレータ１１１は、駅のホームにおける乗車人数の入力を受け付け、降車人数を出力する。
乗車人数および降車人数は、例えば、予め設定された計算式または算出ルールに基づいて計算される。

例えば、運行決定装置１００の管理者など人手で、実際の駅での曜日毎および時間帯毎の乗降者数の統計に基づいて、乗車人数および降車人数の計算式または算出ルールを予め設定してもよい。
あるいは、シミュレータ１１０が、ホームにいる利用者の人数の範囲内、かつ、鉄道車両の乗車定員を上回らない範囲内で、鉄道車両がホームに到着する毎に利用者が乗車するものとして乗車人数を計算するようにしてもよい。また、シミュレータ１１０が、鉄道車両に乗車している利用者の人数の範囲内で、鉄道車両がホームに到着する毎に利用者が降車するものとして降車人数を計算するようにしてもよい。
乗車人数および降車人数の計算を、シミュレータ１１０、運行シミュレータ１１１、人流シミュレータ１１２のうち何れが行うようにしてもよい。

運行シミュレータ１１１は、シミュレーションの結果として、例えば、各搬送装置の位置、および、各搬送車両の乗客数を、サンプリング時刻毎に出力する。
運行シミュレータ１１１が、交通システムの一部に支障を生じさせる運行支障シナリオを受け付けるようにしてもよい。運行決定装置１００が、例えば隣接する２つの駅間が不通になる、あるいは、駅自体が利用できなくなる等の支障が生じた場合の運行計画を予め生成しておくことで、実際に支障が生じた場合に迅速な対応が可能になる。

人流シミュレータ１１２は、駅のホームにおける利用者の動静など、乗降場における搬送対象の動静を模擬する。例えば、人流シミュレータ１１２は、駅のホームにおける滞留人数に対して、駅のホームへの入場人数および鉄道車両からの降車人数を加算し、鉄道車両のへの乗車人数および駅のホームからの出場人数を減算して、滞留人数を更新する。人流シミュレータ１１２は、例えば、各駅のホーム毎、かつ、シミュレーションのサンプリング時間毎に、滞留人数を算出し出力する。

入出場シミュレータ１１３は、対象の入場数、および、乗降場からの運搬対象の出場数を算出する。模擬対象の交通システムが鉄道システムであり、搬送対象が人（利用者）である場合、入出場シミュレータ１１３は、駅のホームへの入場人数および駅のホームからの出場人数を算出する。
入場人数および出場人数は、例えば、予め設定された計算式または算出ルールに基づいて計算される。

例えば、運行決定装置１００の管理者など人手で、実際の駅での曜日毎および時間帯毎の乗降者数の統計に基づいて、入場人数および出場人数の計算式または算出ルールを予め設定しておくようにしてもよい。
あるいは、入出場シミュレータ１１３が、ホームへの入場制限がかからない範囲内で、一定の時間毎に一定の入場人数を算出するようにしてもよい。

出場人数については、鉄道車両からの降車人数から、乗り継ぎのためにホームに留まる利用者の人数を減算した残りの利用者の人数を、出場人数として算出することができる。
乗り継ぎのためにホームに留まる利用者の人数については、例えば、運行決定装置１００の管理者など人手で、実際の駅での統計データに基づいて計算式または算出ルールを用意しておくようにしてもよい。

あるいは、入出場シミュレータ１１３が、鉄道車両の降車人数のうち、一定の割合を整数に丸めた人数を、ホームに留まる利用者の人数として算出するようにしてもよい。
「クロック命令」は、シミュレーションにおける時刻を指定された時刻にする命令である。

図３は、運行決定装置１００が搬送装置の運行計画を求める対象の交通システムにおける、路線の例を示す図である。
図３の例では、鉄道の路線が図示されている。図３の例で、駅Ａから駅Ｚまでの駅が示されている。また、線Ｌ１１は、快速電車の停車駅を示す。線Ｌ１２は、普通電車(各駅停車)の停車駅を示す。

矢印は、電車が折り返し可能な駅および折り返し可能な方向を示す。駅の上側の矢印は、駅Ｚ側から駅Ａ側へと走行する電車が、駅Ｚ側へ折り返し可能であることを示す。駅の下側の矢印は、駅Ａ側から駅Ｚ側へと走行する電車が、駅Ａ側へ折り返し可能であることを示す。

この例では、駅Ｊ、Ｎ、Ｒの各々では、駅Ａ側から来た電車の駅Ａ側への折り返し、および、駅Ｚ側から来た電車の駅Ｚ側への折り返しの何れも可能である。駅Ｈ、Ｚの各々では、駅Ａ側から来た電車の駅Ａ側への折り返しが可能である。駅Ａでは、駅Ｚ側から来た電車の駅Ｚ側への折り返しが可能である。
路線の端に位置する駅Ａおよび駅Ｚでは、全ての電車が折り返す。

図３の例のように、ある程度の規模を有する路線を鉄道システムとして模擬する場合、鉄道システムに対して可能な操作の個数が多くなる。この場合、鉄道システムに対する操作をそのまま、決定部１２０の強化学習の対象とすると、上述したように、実質的に強化学習を行うことが出来ない。

例えば、図３に示される路線と同等の規模の、ある実際の路線では、分岐器の個数が８８個であり、分岐器に対する操作のパターンの個数は２の８８条通りとなる。これらの分岐器に対する操作をそのまま決定部１２０の強化学習の対象とすると、強化学習が効率的に実施されない可能性がある。

これに対し、モジュール１３０が、電車を直進させる場合の操作、電車を折り返させる場合の操作の各々を自動化することで、決定部１２０は、モジュール１３０に対して、電車を直進させるか折り返させるかを指示すればよい。駅Ａおよび駅Ｚでは、電車が必ず折り返すので、決定部１２０は、駅Ｈ、Ｊ，Ｎ、Ｒにおける折り返しの有無をモジュール１３０に指示すればよい。駅Ｈでは、１方向の折り返しか可能であり、駅Ｊ、Ｎ、Ｒでは両方向の折り返しか可能なので、決定部１２０は、モジュール１３０に対して、１＋２×３＝７個の指示を行えばよい。したがって、決定部１２０からモジュール１３０への指示のパターンの個数は、２の７条通りとなる。

このように、モジュール１３０がシミュレーションにおける操作をある程度自動化することで、決定部１２０の強化学習におけるアクションのパターンの個数が比較的少なくて済み、強化学習を効率的に実行することが可能である。
かつ、シミュレータ１１０のシミュレーションモデルでは、個々の操作が模擬されるので、ある特定の分岐器が動かないといった詳細な支障の設定が可能である。

図４は、シミュレータ１１０のシミュレーションモデルの駅における設備の構成例を示す図である。
図４に示される駅は、１番ホーム、２番ホームおよび３番ホームを有している。線路Ｒ１３１、Ｒ１３２、Ｒ１３３が、それぞれ１番ホーム、２番ホーム、３番ホームに対応する。鉄道車両が、これらの線路に停止することで、利用者は、対応するホームから鉄道車両への乗車および鉄道車両から対応するホームへの降車が可能である。

線路Ｒ１１１から駅へ進入する鉄道車両は、線路Ｒ１２１を経由して、１番ホームに対応する線路Ｒ１３１に到達可能である。あるいは、線路Ｒ１１１から駅へ進入する鉄道車両は、線路Ｒ１２２および線路Ｒ１２３を経由して、２番ホームに対応する線路Ｒ１３２に到達可能である。あるいは、線路Ｒ１１１から駅へ進入する鉄道車両は、線路Ｒ１２４を経由して、３番ホームに対応する線路Ｒ１３３に到達可能である。

また、線路Ｒ１５２から駅へ進入する鉄道車両は、線路Ｒ１４３を経由して、２番ホームに対応する線路Ｒ１３２に到達可能である。あるいは、線路Ｒ１５２から駅へ進入する鉄道車両は、線路Ｒ１４４を経由して、３番ホームに対応する線路Ｒ１３３に到達可能である。

線路Ｒ１３１からは、線路Ｒ１５１側へ出発可能である。線路Ｒ１３１に位置する鉄道車両は、線路Ｒ１４１を経由して線路Ｒ１５１へ到達可能である。
一方、線路Ｒ１３２およびＲ１３３からは、線路Ｒ１１２側および線路Ｒ１５１側の何れにも出発可能である。
線路Ｒ１３２に位置する鉄道車両は、線路Ｒ１２３を経由して線路Ｒ１１２へ到達可能である。あるいは、線路Ｒ１３２に位置する鉄道車両は、線路Ｒ１４３および線路Ｒ１４２を経由して線路Ｒ１５１へ到達可能である。
線路Ｒ１３３に位置する鉄道車両は、線路Ｒ１２４を経由して線路Ｒ１１２へ到達可能である。あるいは、線路Ｒ１３３に位置する鉄道車両は、線路Ｒ１４４および線路Ｒ１４２を経由して線路Ｒ１５１へ到達可能である。

信号機Ｇ１１１は、線路Ｒ１１１からこの駅へ進入する鉄道車両に対して、駅への進入の可否を示す場内信号として機能する。信号機Ｇ１４２は、線路Ｒ１５２からこの駅へ進入する鉄道車両に対して、駅への進入の可否を示す場内信号として機能する。

信号機Ｇ１３１は、線路Ｒ１３１に位置する鉄道車両に対して、線路Ｒ１５１側への出発の可否を示す出発信号として機能する。
信号機Ｇ１２２は、線路Ｒ１３２に位置する鉄道車両に対して、線路Ｒ１１２側への出発の可否を示す出発信号として機能する。信号機Ｇ１３２は、線路Ｒ１３２に位置する鉄道車両に対して、線路Ｒ１５１側への出発の可否を示す出発信号として機能する。
信号機Ｇ１２３は、線路Ｒ１３３に位置する鉄道車両に対して、線路Ｒ１１２側への出発の可否を示す出発信号として機能する。信号機Ｇ１３３は、線路Ｒ１３３に位置する鉄道車両に対して、線路Ｒ１５１側への出発の可否を示す出発信号として機能する。

Ｂ１１１、Ｂ１１２、Ｂ１２１、Ｂ１３１、Ｂ１３２、Ｂ１３３、Ｂ１４１、Ｂ１５１、Ｂ１５２は、それぞれ閉塞区間を示す。
モジュール１３０は、分岐器の切り替えによって鉄道車両の進路を制御し、また、信号機の表示の切り替えによって鉄道車両の進行、停止を制御する。

図５は、鉄道車両を直進させる場合にモジュール１３０が行う処理の手順の例を示す図である。図５は、図４の例でモジュール１３０が、線路Ｒ１１１から駅へ進入する鉄道車両を、線路Ｒ１３１に一旦停止させた後、線路Ｒ１５１へ直進させる場合の処理手順の例を示している。
図５の処理で、鉄道車両が線路Ｒ１１１（閉塞区間Ｂ１１１）に到達すると、モジュール１３０は、信号機Ｇ１１１を青信号に設定する（ステップＳ１１）。これにより、鉄道車両は閉塞区間Ｂ１２１へ進入可能となる。

また、モジュール１３０は、分岐器の向きを予め操作しておくことで、鉄道車両を線路Ｒ１１１からＲ１２１へ誘導する（ステップＳ１２）。
モジュール１３０は、信号機Ｇ１３１を赤信号のままとしておくことで、鉄道車両を線路Ｒ１３１に停止させる（ステップＳ１３）。これにより、鉄道車両は１番ホームに停車し、１番ホームと鉄道車両との間の利用者の乗降が模擬される。

例えば、鉄道車両がホームに停車してから２０秒が経過するなど、鉄道車両の出発条件として設定されている条件が成立すると、モジュール１３０は、信号機Ｇ１３１を青信号に設定する（ステップＳ１４）。これにより、鉄道車両は閉塞区間Ｂ１４１へ進入可能となる。
また、モジュール１３０は、鉄道車両を線路Ｒ１４１からＲ１５１へと誘導する（ステップＳ１５）。具体的には、モジュール１３０は、鉄道車両が線路Ｒ１４１からＲ１５１へ進む際に支障が生じないように分岐器の向きを予め操作しておく。
ステップＳ１５の後、モジュール１３０は、図５の処理を終了する。鉄道車両は、線路Ｒ１５１から駅の外へ進行する。

図６は、鉄道車両を折り返させる場合にモジュール１３０が行う処理の手順の例を示す図である。図６は、図４の例でモジュール１３０が、線路Ｒ１１１から駅へ進入する鉄道車両を、線路Ｒ１３２に一旦停止させた後、線路Ｒ１１１へ折り返させる場合の処理手順の例を示している。
図６のステップＳ２１は、図５のステップＳ１１と同様である。

ステップＳ２１の後、モジュール１３０は、分岐器の向きを予め操作しておくことで、鉄道車両を線路Ｒ１１１からＲ１２２へ誘導し（ステップＳ２２）、さらに線路Ｒ１２２からＲ１２３へ誘導する（ステップＳ２３）。
モジュール１３０は、信号機Ｇ１２２およびＧ１３２を何れも赤信号のままとしておくことで、鉄道車両を線路Ｒ１２２からＲ１３２へ誘導し、線路Ｒ１３２に停止させる（ステップＳ２４）。これにより、鉄道車両は２番ホームに停車し、２番ホームと鉄道車両との間の利用者の乗降が模擬される。

例えば、鉄道車両がホームに停車してから２０秒が経過するなど、鉄道車両の出発条件として設定されている条件が成立すると、モジュール１３０は、信号機Ｇ１２２を青信号に設定する（ステップＳ２５）。これにより、鉄道車両は閉塞区間Ｂ１２１へ進入可能となる。
また、モジュール１３０は、分岐器の向きを予め操作しておくことで、鉄道車両を線路Ｒ１２３からＲ１１２へと誘導する（ステップＳ２６）。
ステップＳ２６の後、モジュール１３０は、図６の処理を終了する。鉄道車両は、線路Ｒ１１２から駅の外へ進行する。

このように、モジュール１３０が、鉄道車両の直進の処理、鉄道車両の折り返しの処理それぞれを自律的に行うことで、上記のように、決定部１２０はモジュール１３０に対して鉄道車両を直進させるか折り返させるかを指示すればよい。これにより、決定部１２０が行うアクションのパターンの個数が比較的少なくて済み、決定部１２０は、強化学習を実行することができる。

図７は、運行決定装置１００が行う処理の手順の例を示す図である。図７は、決定部１２０が、モジュール１３０への入力の値を学習するための、運行決定装置１００の処理の手順の例を示している。運行決定装置１００は、決定部１２０の強化学習を行う際、図７の処理を、例えばシミュレーションのサンプリング時間毎に繰り返し行う。
図７の処理で、決定部１２０は、モジュール１３０への入力の値を設定する（ステップＳ３１）。モジュール１３０は、設定された値に基づいて、交通モデルへの操作を示すパラメータの値を設定する（ステップＳ３２）。

シミュレータ１１０は、モジュール１３０が設定するパラメータの値を用いて、交通モデルのシミュレーションを実行する（ステップＳ３３）。そして、シミュレータ１１０は、シミュレーションの結果を出力する（ステップＳ３４）。特に、シミュレータ１１０は、決定部１２０が報酬を算出するための情報として、各駅の各ホームにおける滞留人数を決定部１２０へ送信する。

決定部１２０は、モジュール１３０への入力の値を学習する（ステップＳ３５）。具体的には、決定部１２０は、シミュレーションの結果に基づいて報酬を算出する。そして、決定部１２０は、ステップＳ３１で設定した値、および、報酬が示す評価に基づいて、学習中の、モジュール１３０への入力の値の設定規則を更新する。
ステップＳ３５の後、運行決定装置１００は、図７の処理を終了する。

以上のように、決定部１２０は、搬送対象を搬送する搬送装置と、搬送装置に対する搬送対象の乗降場とを含む交通システムについて、搬送装置の運行を模擬するシミュレータを用いて、乗降場における搬送対象の滞留状況を改善する場合の、搬送装置の運行計画を求める。
このように、決定部１２０が、搬送対象の滞留を改善する場合の運行計画を求める点で、利用者の利便性に配慮した運行計画を求めることができる。

また、決定部１２０は、搬送対象の滞留状況に関する報酬を用いる強化学習に基づいて、運行計画を求める。決定部１２０は、当該報酬に基づき搬送対象の滞留状況が改善する場合の運行計画を探索し、該滞留状況が改善する場合の運行計画を出力する。
これにより、決定部１２０は、搬送対象の滞留がなるべく少なくなる運行計画を生成することができる。運行決定装置１００によれば、この点で、利用者の利便性に配慮した運行計画を求めることができる。

また、モジュール１３０は、交通システムの部分について、その部分に実行可能な操作を示すパラメータの値を、パラメータの個数よりも少ない個数の入力の値に基づいて設定する。決定部１２０は、モジュール１３０への入力に設定する値を強化学習によって学習する。
これにより、決定部１２０は、交通システムに対して可能な操作の個数が多い場合でも、強化学習を行うことができる。

また、モジュール１３０は、交通システムの運行に用いられる制約条件に基づいて、入力の値に応じたパラメータの値を設定する。
これにより、モジュール１３０は、交通システムの運用における制約条件を用いてより高精度にシミュレーションを行うことができる。また、モジュール１３０が行う処理の自由度が低下する点で、モジュール１３０の処理の自動化を進めることができる。

また、決定部１２０は、駅のホームでの搬送対象の滞留が少ないほど高い評価となる報酬を用いる。
これにより、決定部１２０は、駅のホームでの搬送対象の滞留がなるべく少なくなるように、モジュール１３０への入力に設定する値を学習する。運行決定装置１００によれば、この点で、利用者の利便性に配慮した運行計画を求めることができる。

また、モジュール１３０は、駅における鉄道車両の折り返しの有無を指示する入力、および、その駅への鉄道車両の進入状況に基づいて、その駅について設定可能な前記パラメータの値を設定する。
これにより、決定部１２０は、モジュール１３０に対して駅における鉄道車両の折り返しの有無を指示すればよく、決定部１２０の設定のパターンを個数が比較的少なくて済む。これにより、決定部１２０は、交通システムに対して可能な操作の個数が多い場合でも、強化学習を行うことができる。

また、モジュール１３０は、駅における鉄道車両の折り返しの有無を指示する入力、および、その駅への鉄道車両の進入状況に応じて、かつ、その駅の信号機の設定に関する制約条件、および、その駅の分岐器の設定に関する制約条件に基づいて、シミュレーションにおける信号機および分岐器の設定を行う。
これにより、モジュール１３０は、信号機の設定に関する制約条件および分岐器の設定に関する制約条件を反映させてより高精度に模擬を行うことができる。

また、運行決定装置１００は、搬送対象（例えば、乗客）を搬送する搬送装置（例えば、鉄道車両）と、該搬送装置の運行に関する設備とを含むシステムについて、以下のような処理を実行するということもできる。
運行決定装置１００は、搬送装置に対する操作を入力し（図７におけるステップＳ３２）、入力した操作に従い該システムのシミュレーションを実行する（ステップＳ３３）。図２を参照しながら上述したように、該シミュレーションにおいて、運行決定装置１００は、乗降場における搬送装置への搬送対象の乗車数、及び、該乗降場における搬送装置からの搬送対象の降車数を求める。そして、運行決定装置１００は、該乗降場への入力数と、該乗降場からの出力数と、求めた乗車数と、求めた降車数とに基づき、該乗降場における該搬送対象の滞留状況を求める。これらの処理は、運行決定装置１００が搬送対象について定量的に評価可能な状況を求める処理であるともいうことができる。
そして、運行決定装置１００は、求めた滞留状況が改善する場合の、該搬送装置に対する操作を求める（図７におけるステップＳ３５）。この処理は、運行決定装置１００が、該定量的に評価可能な状況が改善する場合の、該搬送装置に対する操作を求める処理であるともいうことができる。

上記の処理をまとめると、運行決定装置１００における処理を以下のようにも言い換えることができる。
運行決定装置１００は、搬送対象を搬送する搬送装置と、該搬送装置に対する該搬送対象の運行に関する設備とを含むシステムについて、操作に従い該搬送装置を運行した場合における該搬送装置に対する該搬送対象の乗降数を求める。運行決定装置１００は、該乗降場への入力数、該乗降場からの出力数、及び、求めた該乗降数に基づき、該乗降場における該搬送対象の滞留状況を求める。言い換えると、運行決定装置１００は、搬送対象について定量的に評価可能な状況を求める。そして、運行決定装置１００は、求めた該滞留状況が改善する場合の該操作を求める。言い換えると、運行決定装置１００は、滞留状況等の定量的に評価可能な状況が改善する場合の、該搬送装置に対する操作を求める。
運行決定装置１００は、求めた操作に基づき、さらに、該搬送対象について定量的に評価可能な状況を求める処理を実行してもよい。

図８は、実施形態に係る運用決定装置の構成の例を示す図である。
図８に示す構成で、運行決定装置２００は、決定部２０１を備える。
決定部２０１は、決定手段の例に該当する。
かかる構成で、決定部２０１は、搬送対象を搬送する搬送装置と、搬送装置に対する搬送対象の乗降場とを含む交通システムについて、搬送装置の運行を模擬するシミュレータを用いて、乗降場における搬送対象の滞留状況を改善する場合の、搬送装置の運行計画を求める。
このように、決定部２０１が、搬送対象の滞留を改善する場合の運行計画を求める点で、利用者の利便性に配慮した運行計画を求めることができる。

図９は、実施形態に係る運行決定方法における処理の手順の例を示す図である。
図９に示す処理は、運行計画取得工程（ステップＳ１１１）を含む。
運行計画取得工程（ステップＳ１１１）では、搬送対象を搬送する搬送装置と、搬送装置に対する搬送対象の乗降場とを含む交通システムについて、搬送装置の運行を模擬するシミュレータを用いて、乗降場における搬送対象の滞留状況を改善する場合の、搬送装置の運行計画を求める。
この運行決定方法によれば、搬送対象の滞留を改善する場合の運行計画を求める点で、利用者の利便性に配慮した運行計画を求めることができる。

図１０は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図１０に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
上記の運行決定装置１００、および、運行決定装置２００のうち何れか１つ以上が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。

運行決定装置１００がコンピュータ７００に実装される場合、シミュレータ１１０、決定部１２０およびモジュール１３０の各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、運行決定装置１００の処理に必要な記憶領域を主記憶装置７２０に確保する。シミュレーションモデルの入力および運行計画の出力など、運行決定装置１００が行う入出力は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。

運行決定装置２００がコンピュータ７００に実装される場合、決定部２０１の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、運行決定装置２００の処理に必要な記憶領域を主記憶装置７２０に確保する。シミュレーションモデルの入力および運行計画の出力など、運行決定装置２００が行う入出力は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。

なお、運行決定装置１００、および、運行決定装置２００の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、ＯＳ（オペレーティングシステム）や周辺機器等のハードウェアを含む。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の実施形態は、運行決定装置、運行決定方法および記録媒体に適用してもよい。

１００、２００ 運行決定装置
１１０ シミュレータ
１１１ 運行シミュレータ
１１２ 人流シミュレータ
１１３ 入出場シミュレータ
１２０、２０１ 決定部
１３０ モジュール

Claims (7)

1. 搬送対象を搬送する搬送装置と、前記搬送装置に対する前記搬送対象の乗降場とを含むシステムにおける、前記搬送装置の運行を模擬するシミュレータと、
   前記システムの部分について、その部分に実行可能な操作を示すパラメータの値を、前記パラメータの個数よりも少ない個数の入力の値に基づいて設定するモジュールと、
   前記モジュールへの入力に設定する値の学習を、前記シミュレータを用いて、前記搬送対象の滞留状況に関する報酬に基づく強化学習にて行い、前記搬送装置に対する前記搬送対象の乗降場における前記搬送対象の滞留状況を改善する場合の、前記搬送装置の運行計画を、学習結果を用いて求める決定手段と、
   を備える運行決定装置。
2. 前記モジュールは、前記システムの運行に用いられる制約条件に基づいて、前記入力の値に応じた前記パラメータの値を設定する、
   請求項１に記載の運行決定装置。
3. 前記システムは鉄道システムであり、
   前記決定手段は、駅のホームでの搬送対象の滞留が少ないほど高い評価となる前記報酬を用いる、
   請求項１または請求項２に記載の運行決定装置。
4. 前記モジュールは、駅における鉄道車両の折り返しの有無を指示する入力、および、その駅への鉄道車両の進入状況に基づいて、その駅について設定可能な前記パラメータの値を設定する、
   請求項３に記載の運行決定装置。
5. 前記モジュールは、駅における鉄道車両の折り返しの有無を指示する入力、および、その駅への鉄道車両の進入状況に応じて、かつ、その駅の信号機の設定に関する制約条件、および、その駅の分岐器の設定に関する制約条件に基づいて、シミュレーションにおける信号機および分岐器の設定を行う、
   請求項４に記載の運行決定装置。
6. 搬送対象を搬送する搬送装置と、前記搬送装置に対する前記搬送対象の乗降場とを含むシステムの部分について、その部分に実行可能な操作を示すパラメータの値を、前記パラメータの個数よりも少ない個数の入力の値に基づいて設定するモジュールへの入力に設定する値の学習を、前記システムにおける前記搬送装置の運行を模擬するシミュレータを用いて、前記搬送対象の滞留状況に関する報酬に基づく強化学習にて行い、前記搬送装置に対する前記搬送対象の乗降場における前記搬送対象の滞留状況を改善する場合の、前記搬送装置の運行計画を、学習結果を用いて求める工程
   を含む運行決定方法。
7. コンピュータに、
   搬送対象を搬送する搬送装置と、前記搬送装置に対する前記搬送対象の乗降場とを含むシステムの部分について、その部分に実行可能な操作を示すパラメータの値を、前記パラメータの個数よりも少ない個数の入力の値に基づいて設定するモジュールへの入力に設定する値の学習を、前記システムにおける前記搬送装置の運行を模擬するシミュレータを用いて、前記搬送対象の滞留状況に関する報酬に基づく強化学習にて行い、前記搬送装置に対する前記搬送対象の乗降場における前記搬送対象の滞留状況を改善する場合の、前記搬送装置の運行計画を、学習結果を用いて求める工程
   を実行させるためのプログラム。

Images