WO2025069331A1 - 経路探索装置、方法およびプログラム - Google Patents

経路探索装置、方法およびプログラム Download PDF

Info

Publication number
WO2025069331A1
WO2025069331A1 PCT/JP2023/035487 JP2023035487W WO2025069331A1 WO 2025069331 A1 WO2025069331 A1 WO 2025069331A1 JP 2023035487 W JP2023035487 W JP 2023035487W WO 2025069331 A1 WO2025069331 A1 WO 2025069331A1
Authority
WO
WIPO (PCT)
Prior art keywords
route search
processing unit
route
station
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/035487
Other languages
English (en)
French (fr)
Inventor
展和 福田
和陽 明石
俊介 金井
健一 田山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2023/035487 priority Critical patent/WO2025069331A1/ja
Publication of WO2025069331A1 publication Critical patent/WO2025069331A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance

Definitions

  • One aspect of the present invention relates to a route search device, method, and program that are used in the task of visiting communication buildings to restore power to communication equipment and restore network services when network services are stopped, for example, during a disaster.
  • telecommunications carriers are considering measures to dispatch power supply vehicles to multiple telecommunications buildings in the affected area to restore power to each building.
  • an important issue to be considered is how to determine the route for the power supply vehicles to minimize the time that telecommunications services are interrupted.
  • Non-Patent Documents 1 and 2 propose a method for solving a route generation problem using deep reinforcement learning.
  • TSP traveling salesperson problem
  • VRP vehicle routing problem
  • This invention was made with the above in mind, and aims to provide technology that enables route searches that take into account the degree of impact on the network.
  • a vehicle to be moved and a station to which the vehicle will be moved are first selected from the plurality of vehicles and the plurality of stations, after excluding events that have been previously selected.
  • a station whose operating status is expected to change during the travel period in which the selected vehicle to be moved travels to the station is selected, and the degree of impact of the change in the operating status of this station on the network is calculated.
  • the calculated degree of impact is then reflected in the reward for the corresponding route candidate searched by the machine learning model, and the model parameters of the machine learning model are updated so that the machine learning model selects a route candidate with a large reward based on the reward.
  • FIG. 1 is a diagram showing an example of a system to which a route search device according to an embodiment of the present invention is applied.
  • FIG. 2 is a block diagram showing an example of a functional configuration of a route search device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of a hardware configuration of a route search device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing an example of the software configuration of the route search device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart showing an example of a series of processing steps and processing contents including the route search processing executed by the control unit of the route search device shown in FIG. FIG.
  • FIG. 6 is a flowchart showing an example of the processing procedure and processing contents of the route search processing of the processing procedure shown in FIG.
  • FIG. 7 is a flowchart showing an example of the procedure and content of the reward calculation process of the route search process shown in FIG.
  • FIG. 8 is a diagram for explaining an example of the operation of the route search processing unit shown in FIG.
  • FIG. 9 is a diagram for explaining an example of the operation of the action selection process in the route search process shown in FIG.
  • FIG. 10 is a diagram for explaining an example of the operation of the remuneration calculation process shown in FIG.
  • FIG. 11 is a diagram showing an example of the effect of the route search method according to the embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a system to which a route search device SV according to an embodiment of the present invention is applied.
  • BS1 to BSn are stations (hereafter referred to as "stations") deployed by telecommunications carriers to configure their networks, and these stations BS1 to BSn provide communication services to users who subscribe to the above-mentioned networks.
  • MS1 to MSk are power supply vehicles that, for example, in the event of an earthquake disaster causing a power outage in the commercial power sources used by the stations BS1 to BSn, will travel around the stations BS1 to BSn and charge the emergency power sources of each station, thereby maintaining the functionality of the communications equipment at the stations, i.e., communications services.
  • FIG. 2 shows an example of functions of a route search device SV according to an embodiment of the present invention.
  • the route search device SV has, as main functions, a network information management function 100, a geographic information encoder 200, a current information encoder 300, a GAT (Graph Attention Network) encoder 400, and a route search function unit 500.
  • a network information management function 100 a geographic information encoder 200
  • a current information encoder 300 a current information encoder 300
  • GAT Graph Attention Network
  • the network information management function 100 manages information related to the configuration and status of the network (hereafter referred to as network information).
  • the network information includes, for example, topology information that indicates the installation locations and connection relationships of the stations BS1 to BSn, information that indicates the operating status of each station BS1 to BSn, and information that indicates the movement status of the power supply vehicles MS1 to MSk.
  • the geographic information encoder 200 inputs geographic information from the network information management function 100, encodes it, and outputs its features.
  • the input geographic information includes information indicating the installation locations of the stations BS1 to BSn and the travel time of the power supply vehicles MS1 to MSk when moving between the stations BS1 to BSn.
  • the current information encoder 300 receives information (current information) representing the current state of the network from the network information management function 100, encodes it, and outputs its features.
  • the current information includes, for example, information representing the operating status of the stations BS1 to BSn, the predicted time until the emergency power supplies of the stations BS1 to BSn are shut off, and the travel time for the power supply vehicles MS1 to MSk to travel between the stations BS1 to BSn.
  • the travel time also includes the stay time of the power supply vehicles MS1 to MSk at the stations BS1 to BSn.
  • the GAT encoder 400 inputs the network topology information from the network information management function 100, encodes it, and outputs its features.
  • the topology information is represented, for example, by a graph in which the stations BS1 to BSn are nodes and the connections between the stations BS1 to BSn are edges.
  • the route search function unit 500 inputs the feature amounts output from the geographic information encoder 200, the current information encoder 300, and the GAT encoder 400 into a machine learning model to search for the route that the power supply vehicles MS1 to MSk will take to travel between the stations BS1 to BSn.
  • the power supply vehicle to be moved and the station to which it will be moved are selected after eliminating any previously selected events.
  • the degree of impact on the network of changes in the status of stations BS1 to BSn during the movement period of the selected power supply vehicle is calculated, and this impact is reflected in the reward for the machine learning model.
  • the machine learning model then updates the model parameters based on the reward, allowing the system to search for a route with the smallest impact.
  • the route search device SV is configured, for example, by a personal computer and is installed, for example, in a management center operated by a telecommunications carrier. Note that the route search device SV may be configured, for example, by a server computer located on the Web or the cloud.
  • FIGS. 3 and 4 are block diagrams showing an example of the hardware and software configurations of a route search device SV according to an embodiment of the present invention.
  • the route search device SV has a control unit 1 that uses a hardware processor such as a central processing unit (CPU).
  • a storage unit having a program storage unit 2 and a data storage unit 3, and a communication interface unit (hereinafter referred to as the communication I/F unit) 4 are connected to this control unit 1 via a bus 5.
  • the communication I/F unit 4 uses a communication protocol defined by a network (not shown) including the Internet, for example, to send and receive information data between the management terminals installed in the station buildings BS1 to BSn and the on-board terminals installed in the power supply vehicles MS1 to MSk.
  • a network not shown
  • the Internet for example, to send and receive information data between the management terminals installed in the station buildings BS1 to BSn and the on-board terminals installed in the power supply vehicles MS1 to MSk.
  • the program storage unit 2 is configured, for example, by combining a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) as a storage medium that can be written to and read from at any time, with a non-volatile memory such as a ROM (Read Only Memory), and stores application programs necessary for executing various control processes according to one embodiment of the present invention, in addition to middleware such as an OS (Operating System).
  • a non-volatile memory such as a HDD (Hard Disk Drive) or SSD (Solid State Drive) as a storage medium that can be written to and read from at any time
  • a non-volatile memory such as a ROM (Read Only Memory)
  • middleware such as an OS (Operating System).
  • the data storage unit 3 is, for example, a combination of a non-volatile memory such as a HDD or SSD as a storage medium that can be written to and read from at any time, and a volatile memory such as a RAM (Random Access Memory), and the storage area includes a network information storage unit 31 and a route search model storage unit 32.
  • a non-volatile memory such as a HDD or SSD as a storage medium that can be written to and read from at any time
  • a volatile memory such as a RAM (Random Access Memory)
  • the storage area includes a network information storage unit 31 and a route search model storage unit 32.
  • the network information storage unit 31 is used to store network information acquired from the stations BS1 to BSn and the power supply vehicles MS1 to MSk.
  • the network information includes topology information that indicates the installation locations of the stations BS1 to BSn and the connection relationships between the stations BS1 to BSn, information that indicates the operating status of each station BS1 to BSn, and information that indicates the current movement status of the power supply vehicles MS1 to MSk.
  • the path search model storage unit 32 stores data related to a machine learning model that employs multi-agent deep reinforcement learning. This data includes model parameters.
  • the control unit 1 includes, as processing units according to one embodiment of the present invention, a network information acquisition processing unit 11, a geographic information encoding processing unit 12, a GAT encoding processing unit 13, a current information encoding processing unit 14, a route search processing unit 15, and a route information output processing unit 16.
  • the above processing units 11 to 16 are all realized by having the hardware processor of the control unit 1 execute application programs stored in the program storage unit 2. Note that some or all of the above processing units 11 to 16 may be realized using hardware such as an LSI (Large Scale Integration) or an ASIC (Application Specific Integrated Circuit).
  • the network information acquisition processing unit 11 acquires topology information indicating the installation locations and connection relationships of the stations BS1 to BSn, information indicating the current operating status of each station BS1 to BSn, and information indicating the current movement status of the power supply vehicles MS1 to MSk via the communication I/F unit 4. The network information acquisition processing unit 11 then stores the above acquired information as network information in the network information storage unit 31.
  • the geographic information encoding processing unit 12 reads information representing the installation locations of the stations BS1 to BSn and the travel times of the power supply vehicles MS1 to MSk between the stations BS1 to BSn from the network information storage unit 31, encodes each of the above read information, and outputs its features.
  • the GAT encoding processing unit 13 reads the topology information from the network information storage unit 31, encodes the topology information, and outputs its features.
  • the topology information is represented by a graph in which the stations BS1 to BSn are nodes and the connections between the stations BS1 to BSn are edges.
  • the current information encoding processing unit 14 reads current information that is expected to change while the power supply vehicles MS1 to MSk are moving from the network information storage unit 31, encodes each piece of information that has been read, and outputs its feature values.
  • the current information includes information that represents the current operating status of the stations BS1 to BSn, and information that represents the travel time of the power supply vehicles MS1 to MSk between the stations BS1 to BSn.
  • the information that represents the operating status of the stations BS1 to BSn includes the predicted time until the emergency power supply is stopped, and the travel time of the power supply vehicles MS1 to MSk includes the stay time at the stations BS1 to BSn.
  • the route search processing unit 15 uses, for example, a machine learning model that employs multi-agent deep reinforcement learning as a tool for route search.
  • the route search processing unit 15 inputs each feature output from the geographic information encoding processing unit 12, the GAT encoding processing unit 13, and the current information encoding processing unit 14 to the machine learning model stored as a route search model in the route search model storage unit 32, and searches for a route with the least impact on the network using this machine learning model.
  • An example of the route search process by the route search processing unit 15 will be explained in detail in the operation example.
  • the route information output processing unit 16 generates route information to be notified to the power supply vehicles MS1 to MSk based on the route search results by the route search processing unit 15. The generated route information is then sent from the communication I/F unit 4 to the on-board terminals of the power supply vehicles MS1 to MSk that are the notification destinations.
  • the route search device SV executes the process of searching for a route for the regular visits as follows.
  • FIG. 5 is a flowchart showing an example of a series of processing steps and processing contents including the route search processing executed by the control unit 1 of the route search device SV.
  • step S10 the control unit 1 of the route search device SV acquires topology information indicating the installation locations of the stations BS1 to BSn and their connection relationships from, for example, a management database of a telecommunications carrier, via the communication I/F unit 4, and stores the acquired topology information in the network information storage unit 31.
  • the installation locations and topology information of the stations BS1 to BSn may be acquired in normal times and stored in the network information storage unit 31.
  • the network information acquisition processing unit 11 periodically acquires information indicating the operating status from each station BS1 to BSn via the communication I/F unit 4. Furthermore, the network information acquisition processing unit 11 acquires information indicating the travel time, including the stay time of the power supply vehicles MS1 to MSk at the stations BS1 to BSn. The network information acquisition processing unit 11 then stores the acquired information indicating the operating status and travel time in the network information storage unit 31.
  • step S11 under the control of the geographical information encoding processing unit 12, the control unit 1 of the route search device SV reads information indicating the installation locations of the stations BS1 to BSn and the travel times of the power supply vehicles MS1 to MSk between the stations BS1 to BSn from the network information storage unit 31. Then, the control unit 1 encodes each piece of the read information and outputs its feature amount.
  • step S12 the control unit 1 of the route search device SV reads the topology information from the network information storage unit 31 under the control of the GAT encoding processing unit 13.
  • the topology information is represented by a graph in which the stations BS1 to BSn are nodes and the connections between the stations BS1 to BSn are edges so that the topology information can be handled by the GAT.
  • the GAT encoding processing unit 13 encodes the read topology information and outputs its feature amount.
  • step S13 the control unit 1 of the route search device SV reads, under the control of the current information encoding processing unit 14, information representing the current operating status of the stations BS1 to BSn and information representing the travel time of the power supply vehicles MS1 to MSk between the stations BS1 to BSn from the network information storage unit 31.
  • the information representing the operating status of the stations BS1 to BSn includes a predicted time until the emergency power supply is stopped.
  • the travel time of the power supply vehicles MS1 to MSk includes the stay time at the stations BS1 to BSn.
  • the current information encoding processing unit 14 then encodes each of the read information and outputs its feature amount.
  • step S14 the control unit 1 of the route search device SV, under the control of the route search processing unit 15, executes a route search process as follows.
  • FIG. 8 is a diagram for explaining an outline of the operation of the route search processing executed by the route search processing unit 15. As shown in FIG.
  • the route search processing unit 15 inputs the feature amounts output from the geographic information encoding processing unit 12, the GAT encoding processing unit 13, and the current information encoding processing unit 14 to the route search model stored in the route search model storage unit 32.
  • the route search model performs deep reinforcement learning according to the model parameters to generate a route or a part of a route.
  • the route search model when generating the above route, the route search model simultaneously searches for routes for multiple agents, i.e., multiple power supply vehicles MS1 to MSk. To achieve this, the route search model evaluates actions corresponding to multiple candidate routes for each step of each power supply vehicle MS1 to MSk. However, at this time, the model parameters are initialized with random numbers.
  • the route search processing unit 15 selects the power supply vehicle corresponding to the action with the highest evaluation value and the station to which it will move, based on the evaluation results from the route search model. However, any actions selected in the past are excluded at this time.
  • the route search processing unit 15 calculates the impact on the network of changes in the operating status of stations BS1 to BSn that are expected to occur during the movement period of the selected power supply vehicle, such as the shutdown of emergency power supplies. Then, for each action, a reward is calculated that reflects the calculated impact. At this time, the reward is calculated so that the smaller the impact, the larger the value.
  • the route search processing unit 15 updates the model parameter ⁇ based on the calculated reward value so that the route search model selects a route with a large reward. Thereafter, the route search processing unit 15 repeats the above update process until a route with an influence level equal to or lower than a preset value is selected, or until a predetermined number of repetitions is reached. Through the above process, the route search model learns to generate routes with a low influence on the network.
  • step S15 determines that the above judgment conditions are met, the route search processing unit 15 ends the route search process.
  • FIG. 6 is a flowchart showing an example of the processing procedure and processing content of the route search processing executed by the route search processing unit 15. As shown in FIG.
  • the route search processing unit 15 In order to simultaneously search for routes for multiple power supply vehicles MS1 to MSk, the route search processing unit 15 first selects a power supply vehicle to be moved and a station building to be the next destination (visit destination) for each step in step S141. However, in order to calculate the reward for each step, the process executes the following to limit the time at which a power supply vehicle arrives at its next destination so that it is later than the arrival time of another power supply vehicle that moved last.
  • Figure 9 is a diagram to explain an example of the operation for selecting power supply vehicles MS1 to MSk and the station building to which they will next move.
  • the route search processing unit 15 inputs features that represent the network state, such as the operating status of the stations BS1 to BSn, the connection relationships between the stations BS1 to BSn, and the remaining time of the emergency power supply, into the route search model.
  • the route search model calculates the probability of each action according to each input feature and internal model parameters. Then, in step S144, the route search processing unit 15 selects the action with the highest calculated probability from among the above actions.
  • step S143 the route search processing unit 15 restricts, for each step, the time at which a power supply vehicle arrives at the next destination to be later than the time at which the last power supply vehicle arrived at the destination. In other words, among the actions, actions that correspond to past events are excluded from the selection candidates.
  • FIG. 7 is a flowchart showing an example of the processing procedure and processing contents of the reward calculation process
  • FIG. 10 is a diagram for explaining the operation example.
  • step S1451 the route search processing unit 15 calculates the travel period of the power supply vehicle in the above action.
  • the travel period is calculated as the period from time tA when the power supply vehicle MS1 moves to the station BS4 to time tA + t4 ⁇ 2 when the power supply vehicle MS1 moves to the next station BS2.
  • step S1452 the route search processing unit 15 selects all stations whose emergency power supply is predicted to stop during the movement period of the power supply vehicle, based on the information indicating the operation status of stations BS1 to BSn. For example, in the example of FIG. 10, station BS5 is selected as the station whose emergency power supply is predicted to stop. Note that if there is a station whose emergency power supply is predicted to be restored during the movement period, for example by receiving power from another power supply vehicle, this station is also selected.
  • step S1453 the route search processing unit 15 divides the state of the network during the above-mentioned movement period into a state "045" in the period (t A to t') from the time t A when the power supply vehicle MS1 moves to the station BS4 until the emergency power supply of the station BS5 stops, and a state "04" in the period (t' to t A + t 4 ⁇ 2 ) from the time t' when the emergency power supply stops until the time t A + t 4 ⁇ 2 when the power supply vehicle MS1 moves to the station BS2. Then, for each of these states, the degree of influence that each state has on the network is calculated. The degree of influence is calculated as a value quantified based on, for example, the number of subscribers who will be unable to communicate, but is not limited to this.
  • the route search processing unit 15 calculates the overall influence for the entire movement period in step S1454 based on the influence calculated for each state.
  • the overall influence is calculated, for example, as a time-integrated value of the influence calculated for each state.
  • the route search processing unit 15 then calculates a reward value that reflects the calculated overall influence in step S1455. For example, the negative number of the overall influence is set as the reward. In other words, the route search processing unit 15 calculates the reward so that the greater the calculated influence, the smaller the reward.
  • the route search processing unit 15 then performs a process in step S146 to update the model parameter ⁇ based on the reward value so that the route search model selects a route with a large reward.
  • step S16 under the control of the route information output processing unit 16, the control unit 1 of the route search device SV generates route information to be notified to the power supply vehicles MS1 to MSk based on the route search results obtained by the route search processing unit 15, and transmits the generated route information to the on-board terminals of the corresponding power supply vehicles MS1 to MSk from the communication I/F unit 4.
  • the route information for example, information in which the identification information of the destination station is displayed on map data is used.
  • effect when searching for a route for the power supply vehicles MS1 to MSk to visit on a patrol using a route search model, first, for each step, the power supply vehicle to be moved and the station that will be the next destination are selected after excluding events selected in the previous step. Next, the degree of impact on the network of changes in the operating status of the stations BS1 to BSn that occur during the period when the selected power supply vehicle moves to the destination station is calculated, and a reward that reflects the calculated degree of impact is calculated. Then, based on the calculated reward, a process of updating the model parameter ⁇ is repeatedly executed so that the route search model selects a route with a large reward.
  • the route search device SV can take into account the impact that changes in the operating status of stations BS1 to BSn have on the network, and can search for a route that will have the least impact on the network.
  • FIG. 11 shows an example of the effect of one embodiment of the present invention, which is compared through experiments with the MA method described in Non-Patent Document 1, which is a conventional technique, and the PPT method described in Non-Patent Document 2.
  • the network state during the period when the power supply vehicle is in motion is divided into multiple states with the station where the emergency power supply has stopped as the boundary, and a partial degree of impact is calculated for each of these states.
  • Each calculated partial degree of impact is then integrated over time to calculate the overall degree of impact for the entire period of motion. This makes it possible to accurately calculate the degree of impact on the network during the period when the power supply vehicle is in motion.
  • the topology information is represented by a graph in which the stations BS1 to BSn are nodes and the connections between the stations BS1 to BSn are edges, and this topology information is encoded by a GAT encoder to obtain the feature quantities of the topology information. Therefore, in the route search model, a route search can be performed in which the connection relationships between the stations are appropriately reflected.
  • the functional configuration of the route search device SV, the hardware and software configurations for realizing it, the series of processing procedures and processing contents in the route search process, the type of neural network that constitutes the route search model and its operating algorithms, etc. can be modified and implemented in various ways without departing from the gist of this invention.
  • this invention is not limited to the above-described embodiment as it is, and in the implementation stage, the components can be modified and embodied without departing from the gist of the invention.
  • various inventions can be formed by appropriately combining multiple components disclosed in the above-described embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, components from different embodiments may be appropriately combined.
  • SV...Route search device BS1 to BSn...Branch MS1 to MSk...Power supply vehicle 100...Network information management function 200...Geographic information encoder 300...Current information encoder 400...GAT encoder 500...Route search function section 1...Control section 2...Program memory section 3...Data memory section 4...Communication I/F section 5...Bus 11...Network information acquisition processing section 12...Geographic information encoding processing section 13...GAT encoding processing section 14...Current information encoding processing section 15...Route search processing section 16...Route information output processing section 31...Network information storage section 32...Route search model storage section

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

この発明の一態様は、ネットワークを構成する複数の局舎を複数の車両により巡回訪問するための経路を機械学習モデルを用いて探索する際に、先ず前記複数の車両および前記複数の局舎の中から、移動対象の車両とその移動先となる局舎を、過去に選択済みの事象を除外した上で選択する。次に、選択された前記移動対象の車両が前記局舎に移動する移動期間に、前記稼働状態の変化が想定される前記局舎を選択して、この局舎の稼働状態の変化が前記ネットワークに与える影響度を算出する。そして、算出した前記影響度を前記機械学習モデルにより探索される対応する経路候補の報酬に反映し、前記報酬に基づいて前記報酬が大きい経路候補を前記機械学習モデルが選択するように、前記機械学習モデルのモデルパラメータを更新する。

Description

経路探索装置、方法およびプログラム
　この発明の一態様は、例えば災害発生時にネットワークサービスが停止した場合に、通信ビルを巡回して通信設備の電源を修復し、ネットワークサービスを復旧させる業務で使用される経路探索装置、方法およびプログラムに関する。
　例えば、地震等による災害の発生に伴い広域停電が発生し、通信事業者が運用する通信ビルにおいて通信設備の電力が枯渇すると、この通信設備を使用するユーザは通信不能な状態に陥る。この状態は、特に役所等の公共性の高い建物に通信サービスを提供している通信ビルで発生すると、災害対応業務に重大な支障を及ぼすため非常に好ましくない。
　そこで、このような場合に備え、通信事業者では被災エリアの複数の通信ビルに対し電源車を派遣して各通信ビルの電源を復旧させる対策が検討されている。この場合、検討課題の重要な事項として、通信サービスが遮断している時間を可能な限り短くするために、電源車の巡回経路をどのように決定するかという事項がある。
　巡回経路を探索する手法として、非特許文献１および非特許文献２では、深層強化学習を用いて経路生成問題を解く手法が提案されている。これらの技術を用いることで、例えば電源車の巡回問題を、巡回セールスマン問題（ＴＳＰ：Traveling Salesperson Problem）もしくは運搬経路問題（ＶＲＰ：Vehicle Routing Problem）として捉え、収容局の非常用電源の枯渇時間を考慮しながら電源車の移動距離を最小化する経路を生成することが可能となる。
Wouter Kool et al. Attention, learn to solve routing problems! ICLR, 2018. Zhao Wang et al. A method of delivering fuel to telecommunication exchange buildings in disaster response. ICAIIC, 2021.
　ところで、巡回経路を探索する場合には、ネットワークが提供する通信サービスへの影響度を考慮する必要がある。通信サービスへの影響度は、各収容局の訪問に要した時間や訪問の順序、ネットワークにおける収容局同士の接続関係に応じて算出される。
　しかし、従来の経路探索手法では、生成された経路に沿って電源車を巡回させたときのネットワークへの影響が考慮されていない。具体的には、電源車が経路を移動している最中に収容局の稼働状態が変化することがあるが、この状態変化によるネットワークへの影響が定量的に評価されていないため、影響度を最小化する経路を探索できない。また、ネットワークのトポロジーすなわち収容局間の接続関係が考慮されていないため、より影響度の小さい経路を探索することができない。
　この発明は上記事情に着目してなされたもので、ネットワークへの影響度を考慮した経路探索を可能にする技術を提供しようとするものである。
　上記課題を解決するためにこの発明に係る経路探索装置または経路探索方法の一態様は、ネットワークを構成する複数の局舎を複数の車両により巡回訪問するための経路を機械学習モデルを用いて探索する際に、先ず前記複数の車両および前記複数の局舎の中から、移動対象の車両とその移動先となる局舎を、過去に選択済みの事象を除外した上で選択する。次に、選択された前記移動対象の車両が前記局舎に移動する移動期間に、前記稼働状態の変化が想定される前記局舎を選択して、この局舎の稼働状態の変化が前記ネットワークに与える影響度を算出する。そして、算出した前記影響度を前記機械学習モデルにより探索される対応する経路候補の報酬に反映し、前記報酬に基づいて前記報酬が大きい経路候補を前記機械学習モデルが選択するように、前記機械学習モデルのモデルパラメータを更新するようにしたものである。
　この発明の一態様によれば、局舎の稼働状態の変化がネットワークに与える影響度を考慮して、このネットワークへの影響度が最も小さくなる経路を探索することを可能にした技術を提供することができる。
図１は、この発明の一実施形態に係る経路探索装置が適用されるシステムの一例を示す図である。 図２は、この発明の一実施形態に係る経路探索装置の機能構成の一例を示すブロック図である。 図３は、この発明の一実施形態に係る経路探索装置のハードウェア構成の一例を示すブロック図である。 図４は、この発明の一実施形態に係る経路探索装置のソフトウェア構成の一例を示すブロック図である。 図５は、図４に示した経路探索装置の制御部が実行する経路探索処理を含む一連の処理手順と処理内容の一例を示すフローチャートである。 図６は、図５に示した処理手順のうち経路探索処理の処理手順と処理内容の一例を示すフローチャートである。 図７は、図６に示した経路探索処理手順のうち報酬計算処理の処理手順と処理内容の一例を示すフローチャートである。 図８は、図４に示した経路探索処理部の動作例を説明するための図である。 図９は、図６に示した経路探索処理のうちアクション選択処理の動作例を説明するための図である。 図１０は、図７に示した報酬計算処理の動作例を説明するための図である。 図１１は、この発明の一実施形態に係る経路探索方法の効果の一例を示す図である。
　以下、図面を参照してこの発明に係わる実施形態を説明する。
　［一実施形態］
　（構成例）
　（１）システム
　図１はこの発明の一実施形態に係る経路探索装置ＳＶが適用されるシステムの一例を示す図である。
　図１において、ＢＳ１～ＢＳｎは通信事業者がネットワークを構成するために配置した収容局（以後局舎と云う）であり、これらの局舎ＢＳ１～ＢＳｎにより上記ネットワークに加入するユーザに対し通信サービスが提供される。
　また、ＭＳ１～ＭＳｋは電源車であり、例えば地震災害の発生により局舎ＢＳ１～ＢＳｎが利用している商用電源が停電となった場合に、局舎ＢＳ１～ＢＳｎを巡回してそれぞれの非常用電源を充電することにより、局舎が備える通信設備の機能、つまり通信サービスを維持するものである。
　（２）経路探索装置ＳＶ
　（２－１）機能の概要
　図２は、この発明の一実施形態に係る経路探索装置ＳＶが備える機能の一例を示すものである。経路探索装置ＳＶは、主たる機能として、ネットワーク情報管理機能１００と、地理情報エンコーダ２００と、現在情報エンコーダ３００と、ＧＡＴ（Graph Attention Network）エンコーダ４００と、経路探索機能部５００とを備えている。
　ネットワーク情報管理機能１００は、ネットワークの構成や状態に関する情報（以後ネットワーク情報と云う）を管理するもので、ネットワーク情報には、例えば局舎ＢＳ１～ＢＳｎの設置位置およびその接続関係を表すトポロジー情報、各局舎ＢＳ１～ＢＳｎの稼働状態を表す情報、および電源車ＭＳ１～ＭＳｋの移動状態を表す情報が含まれる。
　地理情報エンコーダ２００は、上記ネットワーク情報管理機能１００から地理情報を入力してエンコードし、その特徴量を出力する。入力される地理情報は、局舎ＢＳ１～ＢＳｎの設置位置と、局舎ＢＳ１～ＢＳｎ間を電源車ＭＳ１～ＭＳｋが移動するときの移動時間を表す情報を含む。
　現在情報エンコーダ３００は、上記ネットワーク情報管理機能１００からネットワークの現在の状況を表す情報（現在情報）を入力してエンコードし、その特徴量を出力する。現在情報には、例えば、局舎ＢＳ１～ＢＳｎの稼働状態を表す情報と局舎ＢＳ１～ＢＳｎの非常用電源が停止するまでの予測時間、および電源車ＭＳ１～ＭＳｋが局舎ＢＳ１～ＢＳｎ間を移動するための移動時間が含まれる。なお、移動時間には、局舎ＢＳ１～ＢＳｎにおける電源車ＭＳ１～ＭＳｋの滞在時間も含まれる。
　ＧＡＴエンコーダ４００は、上記ネットワーク情報管理機能１００からネットワークのトポロジー情報を入力してエンコードし、その特徴量を出力する。トポロジー情報は、例えば、局舎ＢＳ１～ＢＳｎをノードとし、局舎ＢＳ１～ＢＳｎ間の接続をエッジとするグラフにより表される。
　経路探索機能部５００は、上記地理情報エンコーダ２００、現在情報エンコーダ３００およびＧＡＴエンコーダ４００からそれぞれ出力される各特徴量を機械学習モデルに入力して、電源車ＭＳ１～ＭＳｋが局舎ＢＳ１～ＢＳｎを巡回する経路を探索する。
　より具体的には、先ず移動対象となる電源車とその移動先となる局舎を、過去に選択された事象を排除した上で選択する。次に、選択した電源車の移動期間中における局舎ＢＳ１～ＢＳｎの状態変化がネットワークに与える影響度を算出して、この影響度を上記機械学習モデルの報酬に反映する。そして、機械学習モデルが上記報酬に基づいてモデルパラメータを更新することにより、上記影響度が最も小さい経路が探索されるようにする。
　（２－２）ハードウェアおよびソフトウェアの構成
　経路探索装置ＳＶは、例えばパーソナルコンピュータにより構成され、例えば通信事業者が運用する管理センタに設置される。なお、経路探索装置ＳＶは、例えばＷｅｂまたはクラウド上に配置されるサーバコンピュータにより構成されてもよい。
　図３および図４は、この発明の一実施形態に係る経路探索装置ＳＶのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
　経路探索装置ＳＶは、例えば中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１を備える。そして、この制御部１に対し、バス５を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、通信インタフェース部（以後通信Ｉ／Ｆ部と記載する）４を接続したものとなっている。
　通信Ｉ／Ｆ部４は、制御部１の制御の下、例えばインターネットを含むネットワーク（図示省略）により定義される通信プロトコルを使用して、局舎ＢＳ１～ＢＳｎに設けられた管理端末との間、および電源車ＭＳ１～ＭＳｋに搭載された車載端末との間で、それぞれ情報データの送受信を行う。
　プログラム記憶部２は、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。
　データ記憶部３は、例えば、記憶媒体としてＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリとＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、その記憶領域には、ネットワーク情報記憶部３１と、経路探索モデル記憶部３２とが設けられる。
　ネットワーク情報記憶部３１は、局舎ＢＳ１～ＢＳｎおよび電源車ＭＳ１～ＭＳｋから取得されたネットワーク情報を記憶するために使用される。ネットワーク情報には、先に述べたように、局舎ＢＳ１～ＢＳｎの設置位置および局舎ＢＳ１～ＢＳｎ間の接続関係を表すトポロジー情報と、各局舎ＢＳ１～ＢＳｎの稼働状態を表す情報と、電源車ＭＳ１～ＭＳｋの現在の移動状況を表す情報が含まれる。
　経路探索モデル記憶部３２は、マルチエージェント深層強化学習を採用した機械学習モデルに関するデータを記憶する。このデータには、モデルパラメータが含まれる。
　制御部１は、この発明の一実施形態に係る処理部として、ネットワーク情報取得処理部１１と、地理情報エンコード処理部１２と、ＧＡＴエンコード処理部１３と、現在情報エンコード処理部１４と、経路探索処理部１５と、経路情報出力処理部１６とを備える。
　上記処理部１１～１６は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。なお、上記処理部１１～１６の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。
　ネットワーク情報取得処理部１１は、局舎ＢＳ１～ＢＳｎの設置位置およびその接続関係を表すトポロジー情報と、各局舎ＢＳ１～ＢＳｎの現在の稼働状態を表す情報と、電源車ＭＳ１～ＭＳｋの現在の移動状況を表す情報とを、通信Ｉ／Ｆ部４を介して取得する。そしてネットワーク情報取得処理部１１は、取得した上記各情報をネットワーク情報としてネットワーク情報記憶部３１に記憶する。
　地理情報エンコード処理部１２は、上記ネットワーク情報記憶部３１から、局舎ＢＳ１～ＢＳｎの設置位置と、局舎ＢＳ１～ＢＳｎ間における電源車ＭＳ１～ＭＳｋの移動時間を表す情報を読み込み、読み込んだ上記各情報をエンコードしてその特徴量を出力する。
　ＧＡＴエンコード処理部１３は、上記ネットワーク情報記憶部３１からトポロジー情報を読み込み、読み込んだ上記トポロジー情報をエンコードしてその特徴量を出力する。トポロジー情報は、局舎ＢＳ１～ＢＳｎをノードとし局舎ＢＳ１～ＢＳｎ間の接続をエッジとするグラフにより表される。
　現在情報エンコード処理部１４は、上記ネットワーク情報記憶部３１から、電源車ＭＳ１～ＭＳｋの移動中に変化が想定される現在情報を読み込み、読み込んだ上記各情報をエンコードして、その特徴量を出力する。現在情報には、局舎ＢＳ１～ＢＳｎの現在の稼働状態を表す情報と、局舎ＢＳ１～ＢＳｎ間における電源車ＭＳ１～ＭＳｋの移動時間を表す情報が含まれる。なお、上記局舎ＢＳ１～ＢＳｎの稼働状態を表す情報には非常用電源が停止するまでの予測時間が含まれ、また電源車ＭＳ１～ＭＳｋの移動時間には局舎ＢＳ１～ＢＳｎにおける滞在時間が含まれる。
　経路探索処理部１５は、経路探索のためのツールとして、例えばマルチエージェント深層強化学習を採用した機械学習モデルを使用する。経路探索処理部１５は、上記地理情報エンコード処理部１２、ＧＡＴエンコード処理部１３および現在情報エンコード処理部１４から出力される各特徴量を、経路探索モデル記憶部３２に経路探索モデルとして記憶された上記機械学習モデルに入力し、この機械学習モデルによりネットワークへの影響度が最も小さい経路を探索する。この経路探索処理部１５による経路探索処理の一例は、動作例において詳しく説明する。
　経路情報出力処理部１６は、上記経路探索処理部１５による経路の探索結果に基づいて、電源車ＭＳ１～ＭＳｋに通知するための経路情報を生成する。そして、生成した上記経路情報を、通信Ｉ／Ｆ部４から通知先となる電源車ＭＳ１～ＭＳｋの車載端末に向け送信する。
　（動作例）
　次に、以上のように構成された経路探索装置ＳＶの動作例を説明する。
　例えば災害の発生に伴い局舎ＢＳ１～ＢＳｎに障害が発生し、電源車ＭＳ１～ＭＳｋの巡回訪問が必要になると、経路探索装置ＳＶは巡回訪問するための経路を探索する処理を以下のように実行する。
　図５は、経路探索装置ＳＶの制御部１が実行する経路探索処理を含む一連の処理手順と処理内容の一例を示すフローチャートである。
　（１）ネットワーク情報の取得
　経路探索装置ＳＶの制御部１は、始めにステップＳ１０において、ネットワーク情報取得処理部１１の制御の下、例えば通信事業者の管理用データベースから局舎ＢＳ１～ＢＳｎの設置位置とその接続関係を表すトポロジー情報を通信Ｉ／Ｆ部４を介して取得し、取得した上記トポロジー情報をネットワーク情報記憶部３１に記憶する。なお、上記局舎ＢＳ１～ＢＳｎの設置位置とトポロジー情報は、平常時に取得してネットワーク情報記憶部３１に記憶されるようにしてもよい。
　またネットワーク情報取得処理部１１は、障害発生中に、各局舎ＢＳ１～ＢＳｎからその稼働状態を表す情報を通信Ｉ／Ｆ部４を介して一定の周期で取得する。さらにネットワーク情報取得処理部１１は、電源車ＭＳ１～ＭＳｋの局舎ＢＳ１～ＢＳｎにおける滞在時間を含む移動時間を表す情報を取得する。そしてネットワーク情報取得処理部１１は、取得した上記稼働状態および移動時間を表す情報を、ネットワーク情報記憶部３１に記憶する。
　（２）地理情報のエンコード
　経路探索装置ＳＶの制御部１は、ステップＳ１１において、地理情報エンコード処理部１２の制御の下、上記ネットワーク情報記憶部３１から局舎ＢＳ１～ＢＳｎの設置位置と、局舎ＢＳ１～ＢＳｎ間における電源車ＭＳ１～ＭＳｋの移動時間を表す情報を読み込む。そして、読み込んだ上記各情報をエンコードしてその特徴量を出力する。
　（３）トポロジー情報のエンコード
　経路探索装置ＳＶの制御部１は、続いてステップＳ１２において、ＧＡＴエンコード処理部１３の制御の下、上記ネットワーク情報記憶部３１からトポロジー情報を読み込む。このとき、トポロジー情報はＧＡＴで取り扱うことが可能なように、局舎ＢＳ１～ＢＳｎをノードとし局舎ＢＳ１～ＢＳｎ間の接続をエッジとするグラフにより表されている。ＧＡＴエンコード処理部１３は、読み込んだ上記トポロジー情報をエンコードしてその特徴量を出力する。
　（４）現在情報のエンコード
　経路探索装置ＳＶの制御部１は、続いてステップＳ１３において、現在情報エンコード処理部１４の制御の下、ネットワーク情報記憶部３１から、局舎ＢＳ１～ＢＳｎの現在の稼働状態を表す情報と、局舎ＢＳ１～ＢＳｎ間における電源車ＭＳ１～ＭＳｋの移動時間を表す情報を読み込む。このとき、上記局舎ＢＳ１～ＢＳｎの稼働状態を表す情報には、非常用電源が停止するまでの予測時間が含まれる。また電源車ＭＳ１～ＭＳｋの移動時間には局舎ＢＳ１～ＢＳｎにおける滞在時間が含まれる。そして現在情報エンコード処理部１４は、読み込んだ上記各情報をエンコードして、その特徴量を出力する。
　（５）経路探索
　経路探索装置ＳＶの制御部１は、ステップＳ１４において、経路探索処理部１５の制御の下、経路探索処理を以下のように実行する。
　（５－１）経路探索処理の概要
　図８は、経路探索処理部１５が実行する経路探索処理の動作の概要を説明するための図である。
　経路探索処理部１５は、上記地理情報エンコード処理部１２、ＧＡＴエンコード処理部１３および現在情報エンコード処理部１４からそれぞれ出力される各特徴量を、経路探索モデル記憶部３２に記憶されている経路探索モデルに入力する。この結果、経路探索モデルは、モデルパラメータに従って深層強化学習を実行し、経路または経路の一部を生成する。
　一実施形態の経路探索手法では、上記経路を生成する際に経路探索モデルは、マルチエージェント、すなわち複数の電源車ＭＳ１～ＭＳｋの経路を同時に探索する。そのために経路探索モデルは、電源車ＭＳ１～ＭＳｋの各々について１ステップごとに、候補に挙がる複数の経路に対応するアクションを評価する。但し、このときモデルパラメータは乱数により初期化される。
　経路探索処理部１５は、続いて上記経路探索モデルによる評価結果をもとに、評価値が高いアクションに対応する電源車とその移動先となる局舎を選択する。但し、その際過去に選択されたアクションは除外する。次に経路探索処理部１５は、選択された上記電源車の移動期間中に発生すると想定される局舎ＢＳ１～ＢＳｎの稼働状態の変化、例えば非常用電源の停止がネットワークに与える影響度を算出する。そして、上記アクションごとに、算出された上記影響度を反映した報酬を計算する。このとき、報酬は影響度が小さいほど大きな値となるように計算される。
　経路探索処理部１５は、計算された上記報酬の値に基づいて、報酬の大きな経路を経路探索モデルが選択するようにモデルパラメータθを更新する。以後、経路探索処理部１５は、影響度が予め設定された値以下となる経路が選択されるまで、或いは予め決められた繰り返し回数に達するまで上記更新処理を繰り返す。以上の処理により経路探索モデルはネットワークへの影響度が低い経路を生成するように学習される。
　そして、上記判定条件を満たしたことをステップＳ１５により判定すると、経路探索処理部１５は経路探索処理を終了する。
　（５－２）経路探索処理の具体例
　図６は、経路探索処理部１５が実行する経路探索処理の処理手順と処理内容の一例を示すフローチャートである。
　（５－２－１）移動対象の電源車とその移動先の選択
　経路探索処理部１５は、複数の電源車ＭＳ１～ＭＳｋの経路を同時に探索するために、先ずステップＳ１４１において、１ステップごとに移動対象の電源車と次の移動先（訪問先）となる局舎を選択する。但し、１ステップごとに報酬を計算するために、ある電源車が次の移動先に到着する時刻を、最後に移動した他の電源車の到着時刻より遅くなるように制限する処理を、以下のように実行する。
　図９は、電源車ＭＳ１～ＭＳｋと次の移動先となる局舎を選択するための動作例を説明するための図である。
　すなわち、経路探索処理部１５は、ステップＳ１４２において、局舎ＢＳ１～ＢＳｎの稼働状態、局舎ＢＳ１～ＢＳｎの接続関係、および非常用電源の残り時間等のネットワークの状態を表す特徴量を経路探索モデルに入力する。経路探索モデルは、入力された各特徴量と内部のモデルパラメータに従って各アクションの確率を計算する。そして、経路探索処理部１５は、ステップＳ１４４において、上記各アクションの中から、計算された確率が最も高いアクションを選択する。
　但し、上記アクションの選択に先立ち経路探索処理部１５は、ステップＳ１４３において、１ステップごとに、ある電源車が次の移動先に到着する時刻を、最後に移動した他の電源車が移動先に到着した時刻より遅くなるように制限する。すなわち、各アクションのうち過去の事象に相当するアクションを選択対象から除外する。
　例えば、図９の例では、時刻ｔA において電源車ＭＳ１が局舎ＢＳ１から局舎ＢＳ４に移動した後のステップでは、電源車ＭＳ２が局舎ＢＳ１に移動する事象は過去の事象であるため除外される。従って、この例では、時刻ｔA 以降のアクションの中から、例えば電源車ＭＳ１が局舎ＢＳ４から局舎ＢＳ２に移動するアクションが選択される。
　（５－２－２）報酬の計算
　経路探索処理部１５は、上記移動対象の電源車とその移動先に対応するアクションが選択されると、次にステップＳ１４５において、選択された上記アクションに対する報酬を以下のように計算する。
　図７は報酬計算処理の処理手順と処理内容の一例を示すフローチャート、図１０はその動作例を説明するための図である。
　すなわち、経路探索処理部１５は、先ずステップＳ１４５１において、上記アクションにおける電源車の移動期間を算出する。例えば、図１０の例では、電源車ＭＳ１が局舎ＢＳ４に移動した時刻ｔA から当該電源車ＭＳ１が次の局舎ＢＳ２に移動する時刻ｔA ＋ｔ4→2 までを移動期間として算出する。
　経路探索処理部１５は、続いてステップＳ１４５２において、局舎ＢＳ１～ＢＳｎの稼働状態を表す情報をもとに、上記電源車の移動期間に非常用電源が停止すると予測される局舎をすべて選択する。例えば図１０の例では、非常用電源が停止すると予測される局舎として局舎ＢＳ５が選択される。なお、上記移動期間中に、例えば他の電源車からの電源供給を受けて非常用電源が復旧すると予想される局舎がある場合には、この局舎も選択される。
　経路探索処理部１５は、続いてステップＳ１４５３において、上記移動期間におけるネットワークの状態を、電源車ＭＳ１が局舎ＢＳ４に移動した時刻ｔA から局舎ＢＳ５の非常用電源が停止するまでの期間（ｔA ～ｔ′）における状態“０４５”と、非常用電源が停止した時刻ｔ′から電源車ＭＳ１が局舎ＢＳ２に移動する時刻ｔA ＋ｔ4→2 ）までの期間（ｔ′～ｔA ＋ｔ4→2 ）における状態“０４”とに分ける。そして、これらの状態の各々について、当該各状態がネットワークに与える影響度を計算する。影響度は、例えば通信が行えなくなる加入者数をもとに定量化された値として算出されるが、これに限らない。
　経路探索処理部１５は、次にステップＳ１４５４において、上記状態ごとに算出された各影響度をもとに、上記移動期間の全期間における述べ影響度を算出する。述べ影響度は、例えば上記各状態においてそれぞれ算出された各影響度を時間積分した値として算出される。経路探索処理部１５は、次にステップＳ１４５５において、算出された上記述べ影響度を反映した報酬値を算出する。例えば、述べ影響度の負数を報酬とする。すなわち、経路探索処理部１５は、算出された上記影響度が大きいほど上記報酬が小さくなるように報酬を計算する。
　上記報酬が算出されると経路探索処理部１５は、続いてステップＳ１４６において、上記報酬の値に基づいて、報酬の大きな経路を経路探索モデルが選択するようにモデルパラメータθを更新する処理を実行する。
　（６）経路情報の送信
　経路探索装置ＳＶの制御部１は、最後にステップＳ１６において、経路情報出力処理部１６の制御の下、上記経路探索処理部１５により得られた経路探索結果をもとに、電源車ＭＳ１～ＭＳｋに通知するための経路情報を生成し、生成した経路情報を通信Ｉ／Ｆ部４から対応する電源車ＭＳ１～ＭＳｋの車載端末に向け送信する。経路情報としては、例えば地図データ上に行き先の局舎の識別情報を表示した情報が用いられる。
　（効果）
　以上述べたように一実施形態では、経路探索モデルを用いて電源車ＭＳ１～ＭＳｋの巡回訪問する経路を探索する際に、先ず１ステップごとに、移動対象の電源車と次の移動先となる局舎を、過去のステップにおいて選択された事象を除外した上で選択する。次に、選択した上記電源車が移動先となる局舎に移動する期間中において発生する局舎ＢＳ１～ＢＳｎの稼働状態の変化が、ネットワークに与える影響度を算出し、算出した影響度を反映した報酬を算出する。そして、算出した報酬に基づいて、経路探索モデルが報酬の大きい経路を選択するようにモデルパラメータθを更新する処理を繰り返し実行する。
　従って、一実施形態に係る経路探索装置ＳＶによれば、局舎ＢＳ１～ＢＳｎの稼働状態の変化がネットワークに与える影響度を考慮して、このネットワークへの影響度が最も小さくなる経路を探索することが可能となる。
　図１１は、この発明の一実施形態による効果の一例を、従来技術である非特許文献１に記載されたＭＡ手法および非特許文献２に記載されたＰＰＴ手法と、実験により比較した図である。
　この実験では、ある１つの都道府県下の複数の局舎により構成されるネットワークにおいて、ランダムに選んだ１０箇所または２０箇所の局舎で停電が発生したと仮定し、この状態で停電した上記局舎を電源車がそれぞれの手法で生成された経路に従い巡回して、すべての局舎の停電が復旧するまでの述べ影響度を評価したものである。
　この実験結果から明らかなように、停電が１０箇所の局舎で発生した場合および２０箇所の局舎で発生した場合のいずれにおいても、従来技術であるＭＡ手法およびＰＰＴ手法よりネットワークに対する影響度を低減することができ、特に停電箇所が２０箇所の場合には述べ影響度を８５．０％低減することができた。
　また、上記影響度を算出する際に、上記電源車の移動期間におけるネットワークの状態を非常用電源が停止した局舎を境界として複数の状態に分け、これらの状態ごとに部分的な影響度を算出し、算出された部分的な各影響度を時間積分することで上記移動期間の全期間における述べ影響度を算出するようにしている。このため、電源車の移動期間におけるネットワークへの影響度を的確に算出することができる。
　さらに一実施形態では、トポロジー情報を、局舎ＢＳ１～ＢＳｎをノードとし局舎ＢＳ１～ＢＳｎ間の接続をエッジとするグラフにより表し、このトポロジー情報をＧＡＴエンコーダによりエンコードすることによりトポロジー情報の特徴量を得るようにしている。このため、経路探索モデルにおいて、局舎間の接続関係が適切に反映された経路探索を行うことができる。
　［その他の実施形態］
　経路探索装置ＳＶの機能構成やそれを実現するためのハードウェアおよびソフトウェアの構成、経路探索処理における一連の処理手順と処理内容、経路探索モデルを構成するニューラルネットワークの種類やその動作アルゴリズム等については、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　ＳＶ…経路探索装置
　ＢＳ１～ＢＳｎ…局舎
　ＭＳ１～ＭＳｋ…電源車
　１００…ネットワーク情報管理機能
　２００…地理情報エンコーダ
　３００…現在情報エンコーダ
　４００…ＧＡＴエンコーダ
　５００…経路探索機能部
　１…制御部
　２…プログラム記憶部
　３…データ記憶部
　４…通信Ｉ／Ｆ部
　５…バス
　１１…ネットワーク情報取得処理部
　１２…地理情報エンコード処理部
　１３…ＧＡＴエンコード処理部
　１４…現在情報エンコード処理部
　１５…経路探索処理部
　１６…経路情報出力処理部
　３１…ネットワーク情報記憶部
　３２…経路探索モデル記憶部

Claims (7)

  1. 　ネットワークを構成する複数の局舎を複数の車両により巡回訪問するための経路を、機械学習モデルを用いて探索する経路探索装置であって、
    　複数の前記局舎の接続関係および稼働状態を表す情報と、前記車両の移動状態を表す情報とを含むネットワーク情報を取得するネットワーク情報取得処理部と、
    　前記ネットワーク情報から抽出される特徴量を前記機械学習モデルに入力して、複数の前記車両が複数の前記局舎を巡回訪問する経路を探索する経路探索処理部と、
    　前記経路の探索結果に基づいて経路情報を生成して出力する出力処理部と
    　を具備し、
    　前記経路探索処理部は、
    　　複数の前記車両および複数の前記局舎の中から、移動対象の車両とその移動先となる局舎を、過去に選択済みの事象を除いた上で選択する第１の処理部と、
    　　選択された移動対象の前記車両が前記局舎に移動する移動期間に、前記稼働状態の変化が想定される前記局舎を選択する第２の処理部と、
    　　選択された前記局舎の前記稼働状態の変化が前記ネットワークに与える影響度を算出し、算出した前記影響度を、前記機械学習モデルにより探索される対応する経路候補の報酬に反映する第３の処理部と、
    　　前記報酬に基づいて、前記報酬が大きい経路候補を前記機械学習モデルが選択するように、前記機械学習モデルのモデルパラメータを更新する第４の処理部と
    　を備える経路探索装置。
  2. 　前記ネットワーク情報取得処理部は、前記ネットワークの構成を表す情報として、複数の前記局舎をノードとしノード間の接続をエッジとするグラフにより表されるトポロジー情報を取得する、請求項１に記載の経路探索装置。
  3. 　前記第２の処理部は、前記稼働状態の変化が想定される前記局舎として、非常用電源が停止する局舎を選択する、請求項１に記載の経路探索装置。
  4. 　前記第３の処理部は、前記移動期間を、前記局舎の前記稼働状態が変化するまでの第１の期間と、前記局舎の前記稼働状態が変化した後の第２の期間とに分け、前記第１の期間および前記第２の期間のそれぞれについて前記ネットワークに対する部分影響度を算出し、算出された各部分影響度を時間軸方向に合成して前記移動期間の全期間における述べ影響度を算出する、請求項１に記載の経路探索装置。
  5. 　前記第３の処理部は、算出された前記影響度が大きいほど前記報酬が小さくなるように前記報酬を計算する、請求項１に記載の経路探索装置。
  6. 　情報処理装置が実行する経路探索方法であって、
    　ネットワークを構成する複数の局舎の接続関係および稼働状態を表す情報と、複数の車両の移動状態を表す情報とを含むネットワーク情報を取得する過程と、
    　前記ネットワーク情報から抽出される特徴量を機械学習モデルに入力して、複数の前記車両が複数の前記局舎を巡回訪問する経路を探索する過程と、
    　前記経路の探索結果に基づいて経路情報を生成して出力する過程と
    　を具備し、
    　前記経路を探索する過程は、
    　　複数の前記車両および複数の前記局舎の中から、移動対象の車両とその移動先となる局舎を、過去に選択済みの事象を除外した上で選択する過程と、
    　　選択された前記移動対象の車両が前記局舎に移動する移動期間に、前記稼働状態の変化が想定される前記局舎を選択する過程と、
    　　選択された前記局舎の前記稼働状態の変化が前記ネットワークに与える影響度を算出し、算出した前記影響度を、前記機械学習モデルにより探索される対応する経路候補の報酬に反映する過程と、
    　　前記報酬に基づいて、前記報酬が大きい経路候補を前記機械学習モデルが選択するように、前記機械学習モデルのモデルパラメータを更新する過程と
    　を備える経路探索方法。
  7. 　請求項１乃至５のいずれかに記載の経路探索装置が備える前記ネットワーク情報取得処理部および前記経路探索処理部が行う処理の少なくとも１つを、前記経路探索装置が備えるプロセッサに実行させるプログラム。
PCT/JP2023/035487 2023-09-28 2023-09-28 経路探索装置、方法およびプログラム Pending WO2025069331A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/035487 WO2025069331A1 (ja) 2023-09-28 2023-09-28 経路探索装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/035487 WO2025069331A1 (ja) 2023-09-28 2023-09-28 経路探索装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2025069331A1 true WO2025069331A1 (ja) 2025-04-03

Family

ID=95202552

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/035487 Pending WO2025069331A1 (ja) 2023-09-28 2023-09-28 経路探索装置、方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2025069331A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041976A (ja) * 2013-08-23 2015-03-02 株式会社日立製作所 非常時の迂回経路計算方法
WO2022259298A1 (ja) * 2021-06-07 2022-12-15 日本電信電話株式会社 ネットワーク管理装置、方法およびプログラム
CN115759557A (zh) * 2022-09-29 2023-03-07 南京理工大学 一种考虑台风灾害下风机切机的配电网故障抢修策略优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041976A (ja) * 2013-08-23 2015-03-02 株式会社日立製作所 非常時の迂回経路計算方法
WO2022259298A1 (ja) * 2021-06-07 2022-12-15 日本電信電話株式会社 ネットワーク管理装置、方法およびプログラム
CN115759557A (zh) * 2022-09-29 2023-03-07 南京理工大学 一种考虑台风灾害下风机切机的配电网故障抢修策略优化方法

Similar Documents

Publication Publication Date Title
Lu et al. Flexible feeder transit route design to enhance service accessibility in urban area
US10171284B2 (en) Reachability-based coordination for cyclic dataflow
CN112020012B (zh) 一种移动轨迹重建及道路匹配方法、存储介质及服务器
Mahdi Amiripour et al. Optimal modification of urban bus network routes using a genetic algorithm
Lai et al. Bus arrival time prediction using wavelet neural network trained by improved particle swarm optimization
Mouhcine et al. Solving traffic routing system using VANet strategy combined with a distributed swarm intelligence optimization
Nannicini et al. Shortest paths on dynamic graphs
CN118083808A (zh) 一种面向天车系统的动态路径规划方法和装置
Chen et al. A fast algorithm for finding K shortest paths using generalized spur path reuse technique
Amirat et al. Nextroute: a lossless model for accurate mobility prediction
CN119922117B (zh) 应用于充电信息平台的充电数据实时处理方法及系统
Maniscalco et al. Binary and m-ary encoding in applications of tree-based genetic algorithms for QoS routing
Gu et al. Recovery Routing Based on Q‐Learning for Satellite Network Faults
Seredynski et al. Generation of realistic mobility for VANETs using genetic algorithms
Yu et al. Dynamic route guidance using improved genetic algorithms
CN116242378B (zh) 基于离线计算的动态车辆路径规划方法、终端及存储介质
CN114745314B (zh) 基于优化随机森林的车载容迟网数据报文转发方法
Lai et al. Flexible optimal bus‐schedule bridging for metro operation‐interruption
Gil et al. Restoration scheme of mobility databases by mobility learning and prediction in PCS networks
JP2020053711A (ja) オーケストレータ装置、プログラム、情報処理システム、及び制御方法
Chowdhury et al. Estimating reliability of mobile agent system for mobile ad hoc networks
Olczyk et al. Finding routes in a public transport network. A case study
CN116402432A (zh) 路由规划方法、装置、设备及存储介质
Bhat et al. Last-Mile Delivery in High-Density Emerging Economy Cities Using Crowd-Generated Data and Artificial Intelligence
Shigehiro et al. Road traffic control based on genetic algorithm for reducing traffic congestion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23954302

Country of ref document: EP

Kind code of ref document: A1