JP7409831B2 - エレベータの制御装置、エレベータの制御方法、機械学習装置、機械学習方法及びプログラム - Google Patents

Description

本発明は、エレベータの制御装置、エレベータの制御方法、機械学習装置、機械学習方法及びプログラムに関し、特にエレベータの最適な制御モードを学習する手法に関する。

種々のエレベータの運行制御方式が提案されている。基本的な制御アルゴリズムにＳＣＡＮがある。ＳＣＡＮでは、かごがある方向に移動し始めると、かごの移動方向と一致しかつ未通過のフロアで発生しているリクエスト（ホール呼び）を全て満たすまで移動方向を変えずに運行する。類似のアルゴリズムとして、ＬＯＯＫ、ＣーＳＣＡＮ、ＣーＬＯＯＫなどがある。

ＳＣＡＮのような比較的単純なアルゴリズムで複数台のエレベータを運転した場合、最終的に複数のかご同士が連れ添うような動き（団子運転）をしてしまうことがある。団子運転を防ぎ、各フロアでの待ち時間が均一になるような制御方式として、群管理がある。群管理では、あるフロアでホール呼びが発生すると、制御装置は、複数のかごのうち最適なかごをそのフロアに割り当てる。この際、制御装置は交通需要予測を行い、その結果に基づいて、最適なかごを決定するためのアルゴリズム（制御モード）を選択する。

特許文献１には、群管理において、交通需要予測がエレベータ利用者の行動パターンに基づいて作成されることが記載されている。特許文献２及び特許文献３には、乗り場に設けられたカメラによって利用者の顔を認識し、利用者ごとの待ち時間を計測すること、及び長待ちを解消するようにかごを割り当てることが記載されている。

特開２０１７－０３０８９４号公報 特開２０１９－０２３１２４号公報 特開２０１７－１７８４７５号公報

しかしながら、特許文献１のような制御方式では、例えば出退勤や昼食時の外出といった典型的な行動パターンには対応できるものの、会議やイベントや災害などによる突発的な行動に対しては適切な交通需要予測や制御モードの選択ができないという問題がある。

そこで、特許文献２及び特許文献３のような技術で取得できる実績データを用い、強化学習などの機械学習手法により状況に適した制御モードを選択できるようにすることが考えられる。しかしながら、実績データを用いた学習は多くの時間を要する。また、特許文献１のように個人識別を前提とした制御方式に機械学習を適用する場合、建物の利用者が変わる度に新たに学習を行う必要が生じ、非効率である。

そこで本発明は、マルチエージェントシミュレーションにより生成した状況を用いて、最適なエレベータの制御モードを学習及び決定できるエレベータの制御装置、エレベータの制御方法、機械学習装置、機械学習方法及びプログラムを提供することを目的とする。

本発明の一態様は、エレベータを待機中の利用者を認識する利用識別部と、前記エレベータの利用状況として、少なくとも前記利用者の待ち時間を特定する利用状況記録部と、交通需要に影響を与える外部情報を取得する外部情報取得部と、少なくとも前記待ち時間及び前記外部情報に基づいて、最適な制御モードを判定する機械学習部と、前記最適な制御モードに基づいて前記エレベータの運転制御を行うかご割り当て部と、を有するエレベータの制御装置である。
本発明の他の態様において、前記機械学習装置は、マルチエージェントによるエレベータ運行シミュレーションにより、前記待ち時間の最大値を含む状況データと、制御モードと、を状態変数として取得するシミュレータと、前記シミュレーション結果の適否を示す判定データを出力する判定部と、前記状態変数及び前記判定データとを用いて、前記状況データと前記制御モードとを関連づける学習部と、を有する。
本発明の他の態様において、前記学習部は、前記判定データに関連する報酬を求める報酬計算部と、前記報酬を用いて、前記状況データにおける前記制御モードの価値を示す価値関数を更新する価値関数更新部と、を有する。
本発明の他の態様は、マルチエージェントによるエレベータ運行シミュレーションにより、利用者の待ち時間の最大値を含む状況データと、制御モードと、を状態変数として取得するシミュレータと、前記シミュレーション結果の適否を示す判定データを出力する判定部と、前記状態変数及び前記判定データとを用いて、前記状況データと前記制御モードとを関連づける学習部と、を有する機械学習装置である。
本発明の他の態様は、コンピュータが、エレベータを待機中の利用者を認識する利用識別ステップと、前記エレベータの利用状況として、少なくとも前記利用者の待ち時間を特定する利用状況記録ステップと、交通需要に影響を与える外部情報を取得する外部情報取得ステップと、少なくとも前記待ち時間及び前記外部情報に基づいて、最適な制御モードを判定する判定ステップと、前記最適な制御モードに基づいて前記エレベータの運転制御を行うかご割り当てステップと、を有するエレベータの制御方法である。
本発明の他の態様は、コンピュータが、マルチエージェントによるエレベータ運行シミュレーションにより、利用者の待ち時間の最大値を含む状況データと、制御モードと、を状態変数として取得するシミュレーションステップと、前記シミュレーション結果の適否を示す判定データを出力する判定ステップと、前記状態変数及び前記判定データとを用いて、前記状況データと前記制御モードとを関連づける学習ステップと、を有する機械学習方法である。
本発明の他の態様は、コンピュータに上記方法を実行させるためのプログラムである。

本発明によれば、マルチエージェントシミュレーションにより生成した状況を用いて、最適なエレベータの制御モードを学習及び決定できるエレベータの制御装置、エレベータの制御方法、機械学習装置、機械学習方法及びプログラムを提供することができる。

エレベータの制御装置１０の概略的な機能ブロック図である。 機械学習部２０の概略的な機能ブロック図である。 学習部２０７の概略的な機能ブロック図である。

以下、図面を参照しつつ本発明の実施形態について説明する。
図１は、エレベータの制御装置１０の概略的な機能ブロック図である。制御装置１０は、各フロア（フロア数ｎ）に設けられた乗り場カメラ１１ａ乃至１１ｎ、かご（かご数ｍ）内に設けられたかご内カメラ１２ａ乃至１２ｍ、利用者識別部１３、利用状況記録部１５、外部情報取得部１７、機械学習装置２０、かご割り当て部１９を有する。各処理部は、ＣＰＵ（中央処理装置）の一機能として実装されても良く、ＣＰＵがソフトウェアに従って動作することにより実現されて良い。

乗り場カメラ１１ａ乃至１１ｎは、各フロアのエレベータ乗り場に、待ち利用者の顔がもれなく映るように設置される。乗り場カメラ１１ａ乃至１１ｎの映像は利用者識別部１３に出力される。

かご内カメラ１２ａ乃至１２ｍは、エレベータのカゴ内に、利用者の顔がもれなく映るように設置される。かご内カメラ１２ａ乃至１２ｍの映像は利用者識別部１３に出力される。

利用者識別部１３は、乗り場カメラ１１ａ乃至１１ｎから入力される画像から、各フロアの乗り場で待機中の利用者の顔画像の特徴量を抽出する。また、かご内カメラ１２ａ乃至１２ｍから入力される画像から、各かご内に乗車中の利用者の顔画像の特徴量を抽出する。ここで得られた利用者の顔の特徴量は、利用者を識別する情報として用いられる。

利用状況記録部１５は、ある利用者がどのフロアでかごに乗り、どのフロアで降りたかを特定する。乗降フロアの特定手法については様々な公知技術があるが、例えば利用者識別部１３が、かご内カメラ１２ａ乃至１２ｍの映像においてある利用者がフレームインしたことを認識した際の停止フロアを乗車フロア、フレームアウトしたことを認識した際の停止フロアを降車フロアとすることができる。又は、最初に利用者が認識された乗り場カメラ１１ａ乃至１１ｎの設置フロアを乗車フロア、次に利用者が認識された乗り場カメラ１１ａ乃至１１ｎを降車フロアとすることもできる。利用状況記録部１５は、判定した乗降フロアを、時刻及び利用者の識別子とともに記録する。

また、利用状況記録部１５は、各フロアにおける待ち人数を特定する。さらに、各利用者の待ち時間を特定する。待ち時間の特定手法については様々な公知技術があるが、例えば現在、乗り場カメラ１１ａ乃至１１ｎのいずれかがある利用者を捉えている場合、利用者識別部１３は、当該利用者がその乗り場カメラ１１ａ乃至１１ｎにおいて最初に認識された時刻から現在までの経過時間を算出し、待ち時間とすることができる。

外部情報取得部１７は、制御モードの選択に役立つ、すなわち交通需要に影響する種々の外部情報を取得する。外部情報には、例えば配信サーバからインターネット等を介して取得可能な天気情報、グループウェア等から取得可能な出退勤情報（出勤時刻及び退勤時刻に関する情報）やイベント情報（会議やイベントの開催に関する情報）、カレンダー情報（日付、曜日及び休日に関する情報）がある。天気情報は、ビル所在地や周辺地域における時間帯別の天気や気温に関する情報を含みうる。イベント情報は、イベントが開催される予定のフロア、開始及び終了予定日時、イベント名、主催者名等を含みうる。外部情報取得部１７は、現在時を基準とする所定の期間（例えば本日分、現在時刻から３時間後まで等）にかかる天気情報、イベント情報、カレンダー情報等を取得することができる。

機械学習装置２０は、最適な制御モードを判定する学習済みモデルを備える。学習済みモデルは、各フロアの待ち人数、各フロアで待機中の利用者の待ち時間の最大値（最大待ち時間）、天気情報、出退勤情報、イベント情報、カレンダー情報と、最適な制御モードと、の相関性を表すモデル構造に相当する。すなわち、機械学習装置２０は、現在の状況を示す状況データＳ１（各フロアの待ち人数、各フロアにおける最大待ち時間、天気情報、出退勤情報、イベント情報、カレンダー情報）を入力し、学習済みモデルが有するモデル構造に従って、最適な制御モードＳ２を判定結果として出力する。

かご割り当て部１９は、機械学習装置２０が判定した制御モードＳ２を用いてエレベータの運行制御を行う。すなわち、現在の状況Ｓ１に最適である制御モードＳ２による運転制御（群制御）を行なって、必要なフロアに適切なかごを割り当てる。群制御については公知技術であるため、ここでは詳細な説明は行わない。

次に、機械学習装置２０における学習済みモデルの生成手法について説明する。図２に示すように、学習モードの機械学習装置２０は、マルチエージェントによるエレベータ運行シミュレーションを行う条件生成部２０１及びシミュレータ２０３、エレベータ運行シミュレーションの適否判定結果Ｄを算定する判定部２０５、状況データＳ１と制御モードＳ２との関連性を学習する学習部２０７を有する。

条件生成部２０１及びシミュレータ２０３は、マルチエージェントシミュレーションにより状態変数Ｓ（状況データＳ１及び制御モードＳ２）を生成する。マルチエージェントシミュレーションとは、自律的に意思決定し行動することのできる最小単位（エージェント）が、他のエージェントの存在情報をはじめとする環境情報を認識しながら、自らの行動を決定する仕組みを利用したシミュレーション技術である。本実施の形態では、各エージェントは、例えば以下のような制約条件に従って自らの行動を決定する。
・乗り場に到着したエージェントは、目的フロアに向かう方向への呼び登録を行い、待ち状態に入る
・かごが到着すると、乗車定員に達しない限りエージェントが乗車し、目的フロアで降車する
・天気によりかご内に乗車可能な人数は変動する（雨や低温では乗車可能人数が減る）
・休日以外の出勤時刻まで及び退勤時刻後に、エージェントは所定のフロアに移動する
・イベント開始時刻までに、所定のエージェントがイベント開催フロアに移動する
・その他、一定数のエージェントがフロア間をランダムに移動する

条件生成部２０１は、このような制約条件を具体的に規定するパラメータ（天気情報、出退勤情報、イベント情報、カレンダー情報）をランダムに決定する。また、条件生成部２０１は、エージェントの行動結果に影響を及ぼすエレベータの制御モードＳ２もランダムに決定する。制御モードＳ２は複数の制御パラメータの集合として規定できるから、条件生成部２０１は制御パラメータの組み合わせをランダムに決定する。

シミュレータ２０３は、条件生成部２０１が生成した諸条件を前提としてマルチエージェントシミュレーションを実行する。各エージェントは、条件生成部２０１が決定したパラメータにより規定される制約条件に従いつつ、自律的に行動する。エレベータの運行制御は公知の群制御アルゴリズムに従って実施されるが、制御モードＳ２が使用される。シミュレータ２０３は、エージェントの行動の結果である各フロアの待ち人数、各フロアにおける最大待ち時間を一定時間ごとに計測する。

シミュレータ２０３は、計測した各フロアの待ち人数、各フロアにおける最大待ち時間を、天気情報、出退勤情報、イベント情報、カレンダー情報、制御モードＳ２とともに図示しない記憶領域に記録する。こうして、状態変数Ｓ（状況データＳ１及び制御モードＳ２）が収集される。

判定部２０５は、条件生成部２０１及びシミュレータ２０３によるシミュレーション結果の評価指標である適否判定結果Ｄを算出する。本実施の形態では、利用者の最大待ち時間が短いほど良い制御でありとみなし、シミュレーションにおいて発生した待ち時間の最大値（各フロアにおける最大待ち時間の試行内における最大値）を判定データＤとする。

学習部２０７は、任意の機械学習アルゴリズムに従い、最適な制御モードＳ２を学習する。学習部２０７は、条件生成部２０１及びシミュレータ２０３が行う複数回のシミュレーション結果を用いて、状態変数Ｓと判定データＤを用いた学習を繰り返す。学習サイクルを繰り返すことにより、学習部２０７は、状況データＳ１と制御モードＳ２との相関性を徐々に識別し、最適解に近づけることができる。

学習部２０７が用いる学習アルゴリズムは特に限定されないが、本実施の形態では強化学習を用いる例を示す。強化学習では、環境が今どうなっているかを示す状態をｓ、エージェントが起こすことのできる行動をａ、ある状態においてエージェントが行動を起こした場合に得られる報酬をｒとし、エージェントが試行錯誤的に行動を繰り返した場合の状態行動価値Ｑ（数１）を最大化することを目的とする。なお、ここでいうエージェントは上述のマルチエージェントシミュレーションにおけるものとは異なり、強化学習において最適な制御モードＳ２（複数の制御パラメータの組み合わせからなる）を探索するための仮想的な主体である。

図３は、強化学習を実行する場合の学習部２０７の構成を示す図である。学習部２０７は、状態ｓにおける行動ａに対する報酬ｒを算出する報酬計算部２０７１、報酬ｒに基づいて関数Ｑを更新する価値関数更新部２０７３を有する。

報酬計算部２０７１は、例えば状態変数Ｓのもとでの判定データＤが適切であると判定される場合（例えば、シミュレーションにおいて発生した待ち時間の最大値が所定の閾値未満である場合）にプラスの報酬ｒを、不適切であると判定される場合（例えば、シミュレーションにおいて発生した待ち時間の最大値が所定の閾値を超える場合）にマイナスの報酬ｒを出力する。ここでプラスの報酬ｒ及びマイナスの報酬ｒの絶対値は同一であっても異なっていても良い。

又は、報酬計算部２０７１は、予め定められた評価関数又は評価テーブル等に基づいて、判定データＤの値に応じた報酬ｒを算出しても良い。例えば、Ｄが閾値未満である場合には、Ｄが小さくなるほどプラスの報酬ｒの値を大きくし、Ｄが閾値を超える場合には、Ｄが大きくなるほどマイナスの報酬ｒの値を大きくするような評価関数又は評価テーブル等を用いることができる。これにより、より緻密に報酬ｒを設定することができる。

価値関数更新部２０７３は、Ｑ学習、Ｓａｒｓａ又はモンテカルロ法等の手法を用いて、複数回にわたって行われる反復試行（前回の行動ａｔによりもたらされた状態ｓｔにおける、次の行動ａｔ＋１の実行）のあいだ、報酬ｒに基づき関数Ｑを更新しつづけることができる。これらの手法は公知であるため、ここでは具体的な説明を省略する。

すなわち、学習部２０７は、エレベータ運行制御シミュレーションを繰り返し実行することにより、関数Ｑを更新していく。このプロセスは、例えば以下の手順で実施しうる。ここでの１回の試行は、例えば所定の時間にわたるエレベータ運転制御シミュレーションの実行である。
（１）最初の試行では、条件生成部２０１によって与えられた条件のもとで、行動ａとして制御モードＳ２のあるパラメータをランダムに決定し、シミュレータ２０３がシミュレーションを行う。判定部２０５が試行結果としてＤを出力する。報酬計算部２０７１がＤに基づいて報酬ｒを計算し、価値関数更新部２０７３がｒに基づいて関数Ｑを更新する。（２）次の試行では、次の行動ａとして制御モードＳ２のあるパラメータを所定のルールで変化させ、関数Ｑを更新する。
（３）上記（２）と同様の試行を一定回数繰り返す。
（４）状態を上記（１）の状態にリセットし、上記（２）乃至（３）のセットを一定回数繰り返す。
（５）条件生成部２０１によって与えられる条件をランダムに変更しつつ、上記（１）乃至（４）のセットを一定回数繰り返す。

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

例えば、上述の実施の形態において示した機械学習手法はあくまで一例であり、状況データＳ１と制御モードＳ２との関連性を学習するという効果を発揮できるものであれば、他の機械学習手法で代替しうる。例えば、強化学習においてはニューラルネットワークを用いた手法を用いることができる。また、教師あり学習をはじめとする他の機械学習法を使用しても構わない。

また、本発明の情報処理はハードウェアにより実現されても良く、ＣＰＵがコンピュータプログラムを実行することにより実現されても良い。コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）又は一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によりコンピュータに供給され得る。

１０ エレベータの制御装置
１１ａ乃至１１ｎ 乗り場カメラ
１２ａ乃至１２ｍ かご内カメラ
１３ 利用者識別部
１５ 利用状況記録部
１７ 外部情報取得部
１９ かご割り当て部
２０ 機械学習装置
２０１ 条件生成部
２０３ シミュレータ
２０５ 判定部
２０７ 学習部
２０７１ 報酬計算部
２０７３ 価値関数更新部

Claims (6)

1. エレベータを待機中の利用者を認識する利用者識別部と、
   前記エレベータの利用状況として、少なくとも前記利用者の待ち時間を特定する利用状況記録部と、
   交通需要に影響を与える外部情報を取得する外部情報取得部と、
   少なくとも前記待ち時間及び前記外部情報に基づいて、最適な制御モードを判定する機械学習部と、
   前記最適な制御モードに基づいて前記エレベータの運転制御を行うかご割り当て部と、を有し、
   前記機械学習部は、
   マルチエージェントによるエレベータ運行シミュレーションにより、前記待ち時間の最大値を含む状況データと、制御モードと、を状態変数として取得するシミュレータと、
   前記シミュレーション結果の適否を示す判定データを出力する判定部と、
   前記状態変数及び前記判定データを用いて、前記状況データと前記制御モードとを関連づける学習部と、を有する
   エレベータの制御装置。
2. 前記学習部は、
   前記判定データに関連する報酬を求める報酬計算部と、
   前記報酬を用いて、前記状況データにおける前記制御モードの価値を示す価値関数を更新する価値関数更新部と、を有する
   請求項１記載のエレベータの制御装置。
3. マルチエージェントによるエレベータ運行シミュレーションにより、利用者の待ち時間の最大値を含む状況データと、制御モードと、を状態変数として取得するシミュレータと、
   前記シミュレーション結果の適否を示す判定データを出力する判定部と、
   前記状態変数及び前記判定データを用いて、前記状況データと前記制御モードとを関連づける学習部と、を有する
   機械学習装置。
4. コンピュータが、
   マルチエージェントによるエレベータ運行シミュレーションにより、利用者の待ち時間の最大値を含む状況データと、制御モードと、を状態変数として取得するシミュレーションステップと、
   前記シミュレーション結果の適否を示す判定データを出力する第１の判定ステップと、
   前記状態変数及び前記判定データを用いて、前記状況データと前記制御モードと関連づける学習ステップと、
   エレベータを待機中の前記利用者を認識する利用者識別ステップと、
   前記エレベータの利用状況として、少なくとも前記利用者の待ち時間を特定する利用状況記録ステップと、
   交通需要に影響を与える外部情報を取得する外部情報取得ステップと、
   少なくとも前記待ち時間及び前記外部情報に基づいて、最適な制御モードを判定する判定ステップと、
   前記最適な制御モードに基づいて前記エレベータの運転制御を行うかご割り当てステップと、を有する
   エレベータの制御方法。
5. コンピュータが、
   マルチエージェントによるエレベータ運行シミュレーションにより、利用者の待ち時間の最大値を含む状況データと、制御モードと、を状態変数として取得するシミュレーションステップと、
   前記シミュレーション結果の適否を示す判定データを出力する判定ステップと、
   前記状態変数及び前記判定データを用いて、前記状況データと前記制御モードとを関連づける学習ステップと、を有する
   機械学習方法。
6. コンピュータに請求項４又は５記載の方法を実行させるためのプログラム。
   

Images