WO2023286154A1 - 動作判定装置および制御方法 - Google Patents

動作判定装置および制御方法 Download PDF

Info

Publication number
WO2023286154A1
WO2023286154A1 PCT/JP2021/026296 JP2021026296W WO2023286154A1 WO 2023286154 A1 WO2023286154 A1 WO 2023286154A1 JP 2021026296 W JP2021026296 W JP 2021026296W WO 2023286154 A1 WO2023286154 A1 WO 2023286154A1
Authority
WO
WIPO (PCT)
Prior art keywords
passenger
car
motion
passengers
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/026296
Other languages
English (en)
French (fr)
Inventor
健太 久瀬
広泰 田畠
恭平 濱田
勝大 草野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Mitsubishi Electric Building Solutions Corp
Original Assignee
Mitsubishi Electric Corp
Mitsubishi Electric Building Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp, Mitsubishi Electric Building Solutions Corp filed Critical Mitsubishi Electric Corp
Priority to PCT/JP2021/026296 priority Critical patent/WO2023286154A1/ja
Priority to JP2023534472A priority patent/JP7353540B2/ja
Publication of WO2023286154A1 publication Critical patent/WO2023286154A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Definitions

  • the RAM 313 serves as a work area when the CPU 311 executes programs, and temporarily stores programs and data used when executing the programs.
  • the storage unit 314 is a non-volatile storage device such as an HDD or an SSD.
  • the changes in the amount of movement of the passengers 21 and 22 are shown in the lower part of FIG.
  • the vertical axis indicates the amount of passenger movement, and the horizontal axis indicates time.
  • a motion amount 31 indicated by a solid line indicates the motion amount of the passenger 21 .
  • a motion amount 32 indicated by a dotted line indicates the motion amount of the passenger 22 .
  • a dashed-dotted line is a predetermined threshold. The same applies to the graphs shown below.
  • the determination unit 155 performs determination by limiting the number of passengers to cases of two or more and focusing on movements of a plurality of parts of the human body. As a result, it is possible to accurately determine the violent movements of the passengers in the car 400 of the elevator.
  • FIG. 12 is a diagram for explaining determination of a violent motion according to the fifth embodiment.
  • weighting and determination are performed as follows.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Maintenance And Inspection Apparatuses For Elevators (AREA)

Abstract

信号取得部(152)は、エレベーター制御装置(200)から送信された、かご(400)が戸閉状態であるか否かを示す信号を取得する。画像取得部(151)は、カメラ(402)によって撮影されたかご(400)内の画像を取得する。抽出部(153,156)は、取得された画像から人物に関する情報を抽出する。算出部(154)は、抽出された人物に関する情報に基づき、乗客人数を算出する。判定部(155)は、抽出された人物に関する情報に基づき、乗客の特定動作が発生したか否かを判定する。画像取得部(151)は、取得された信号によりかご(400)が戸閉状態であると判断した場合、定期的に画像を取得する。判定部(155)は、算出された乗客人数が1人以上である場合に、定期的に取得された複数の画像における人物に関する情報の差分に基づき、特定動作が発生したか否かを判定する。

Description

動作判定装置および制御方法
 本開示は、エレベーターのかご内での乗客の動作を判定する動作判定装置および制御方法に関する。
 従来より、エレベーターのかご内に設置されたカメラで撮影された画像を解析し、乗客の動きを判定する装置が開発されている。たとえば、特開2006-276969号公報(特許文献1)には、撮影時刻が異なる2枚の画像から画像内の各点の動きの向きおよび大きさを算出し、算出結果に基づきかご内の人物の暴れを判定する技術が開示されている。
特開2006-276969号公報
 しかしながら、特許文献1のように、画像間の差分に基づいて人物の暴れのような特定動作を判定しようとした場合、特定動作とは無関係な動作までも特定動作として判定してしまうことがある。たとえば、かごの扉の開閉による背景の変化や乗降による人物の動き、あるいは、体操やゴルフスイングなどの特定動作とは無関係な動きまでも、特定動作として判定してしまうといった課題があった。
 本開示は、このような課題を解決するためになされたものであって、その目的は、エレベーターのかご内での乗客の特定動作を精度よく判定することができる動作判定装置および制御方法を提供することである。
 本開示に係る動作判定装置は、エレベーターのかご内での乗客の動作を判定する動作判定装置である。動作判定装置は、エレベーターを制御するエレベーター制御装置、およびかご内に設置されたカメラと通信可能である。動作判定装置は、信号取得部と、画像取得部と、抽出部と、算出部と、判定部とを備える。信号取得部は、エレベーター制御装置から送信された、かごが戸閉状態であるか否かを示す信号を取得する。画像取得部は、カメラによって撮影されたかご内の画像を取得する。抽出部は、取得された画像から人物に関する情報を抽出する。算出部は、抽出された人物に関する情報に基づき、乗客人数を算出する。判定部は、抽出された人物に関する情報に基づき、乗客の特定動作が発生したか否かを判定する。画像取得部は、取得された信号によりかごが戸閉状態であると判断した場合、定期的に画像を取得する。判定部は、算出された乗客人数が1人以上である場合に、定期的に取得された複数の画像における人物に関する情報の差分に基づき、特定動作が発生したか否かを判定する。
 本開示に係る制御方法は、エレベーターのかご内での乗客の動作を判定する動作判定装置を制御する方法である。動作判定装置は、エレベーターを制御するエレベーター制御装置、およびかご内に設置されたカメラと通信可能である。制御方法は、エレベーター制御装置から送信された、かごが戸閉状態であるか否かを示す信号を取得するステップと、取得された信号によりかごが戸閉状態であると判断した場合、カメラによって撮影されたかご内の画像を定期的に取得するステップと、取得された画像から人物に関する情報を抽出するステップと、抽出された人物に関する情報に基づき、乗客人数を算出するステップと、算出された乗客人数が1人以上である場合に、定期的に取得された複数の画像における人物に関する情報に基づき、乗客の特定動作が発生したか否かを判定するステップとを備える。
 本開示によれば、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
第1実施形態に係るエレベーター制御システムのハードウェア構成の一例を示す図である。 第1実施形態に係る動作判定装置の機能ブロック図の一例を示す図である。 第1実施形態に係る動作判定装置が実行するメイン処理のフローチャートである。 第1実施形態に係る暴れ動作の判定について説明するための図である。 第2実施形態に係る動作判定装置の機能ブロック図の一例を示す図である。 第2実施形態に係る動作判定装置が実行するメイン処理のフローチャートである。 第2実施形態に係る暴れ動作の判定について説明するための図である。 第3実施形態に係る動作判定装置の機能ブロック図の一例を示す図である。 第3実施形態に係る動作判定装置が実行するメイン処理のフローチャートである。 第3実施形態に係る暴れ動作の判定について説明するための図である。 第4実施形態に係る暴れ動作の判定について説明するための図である。 第5実施形態に係る暴れ動作の判定について説明するための図である。 第6実施形態に係る動作判定装置が実行するメイン処理のフローチャートである。 第6実施形態に係る暴れ動作の判定について説明するための図である。
 以下、図面を参照しつつ、実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
 [第1実施形態]
 まず、第1実施形態に係るエレベーター制御システム1について説明する。図1は、第1実施形態に係るエレベーター制御システムのハードウェア構成の一例を示す図である。
 エレベーター制御システム1は、エレベーター制御装置200と、動作判定装置100と、監視装置300と、かご400と、かご400内に設置されたかご内装置401およびカメラ402とを備える。かご400内には2台のカメラ402を設置してもよい。かごが複数ある場合は、かごごとにカメラ402を設置する。
 エレベーター制御装置200は、エレベーターを制御する。エレベーター制御装置200は、かご400の動作およびかご内装置401を制御する。かご内装置401は、扉を戸開閉させるための戸開閉釦、行先階を登録するためのかご呼び釦などを備えた操作盤を含む装置である。
 動作判定装置100は、カメラ402から取得した画像に基づき、エレベーターのかご400内での乗客の動作を判定する。具体的には、後述する「暴れ動作」が発生したか否かを判定する。動作判定装置100は、エレベーター制御装置200、およびかご400内に設置されたカメラ402と通信可能である。
 監視装置300は、動作判定装置100と通信可能である。監視装置300は、入力装置322と、表示装置321と接続されている。監視装置300は、動作判定装置100が出力する結果を受信し、当該結果を表示装置321に表示可能である。表示装置321を見ることで、カメラ402でかご400内を撮影した画像および暴れ動作が発生しているか否かを確認することができる。
 動作判定装置100は、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)113と、記憶部114と、通信インターフェイス115と、I/Oインターフェイス116とを有する。これらは、バスを介して相互に通信可能に接続されている。
 CPU111は、動作判定装置100全体を総括的に制御する。CPU111は、ROM112に格納されているプログラムをRAM113に展開して実行する。ROM112は、動作判定装置100が行う処理の処理手順が記されたプログラムを格納する。
 RAM113は、CPU111がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に記憶する。また、記憶部114は、不揮発性の記憶装置であり、たとえば、HDD(Hard Disk Drive)やSSD(Solid State Drive)等である。
 通信インターフェイス115は、エレベーター制御装置200および監視装置300との通信を制御する。動作判定装置100は、通信インターフェイス115を介してこれらの装置と通信を行うことができる。I/Oインターフェイス116は、カメラ402と接続するためのインターフェイスである。
 エレベーター制御装置200は、CPU211と、ROM212と、RAM213と、通信インターフェイス215とを有する。これらは、バスを介して相互に通信可能に接続されている。
 CPU211は、エレベーター制御装置200全体を総括的に制御する。CPU211は、ROM212に格納されているプログラムをRAM213に展開して実行する。ROM212は、エレベーター制御装置200が行う処理の処理手順が記されたプログラムを格納する。
 RAM213は、CPU211がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に記憶する。
 通信インターフェイス215は、動作判定装置100およびかご内装置401との通信を制御する。エレベーター制御装置200は、通信インターフェイス215を介してこれらの装置と通信を行うことができる。
 監視装置300は、CPU311と、ROM312と、RAM313と、記憶部114と、通信インターフェイス315と、I/Oインターフェイス316とを有する。これらは、バスを介して相互に通信可能に接続されている。
 CPU311は、監視装置300全体を総括的に制御する。CPU311は、ROM312に格納されているプログラムをRAM313に展開して実行する。ROM312は、監視装置300が行う処理の処理手順が記されたプログラムを格納する。
 RAM313は、CPU311がプログラムを実行する際の作業領域となるものであり、プログラムやプログラムを実行する際のデータ等を一時的に記憶する。また、記憶部314は、不揮発性の記憶装置であり、たとえば、HDDやSSD等である。
 通信インターフェイス315は、動作判定装置100との通信を制御する。監視装置300は、通信インターフェイス315を介して動作判定装置100と通信を行うことができる。I/Oインターフェイス316は、入力装置322および表示装置321と接続するためのインターフェイスである。
 表示装置321は、たとえば、ディスプレイである。表示装置321は、監視装置300が出力した結果を表示する。入力装置322は、たとえば、キーボードやマウスである。ユーザは、入力装置322の操作により、監視装置300に指示を与えることができる。なお、かご400は複数台設置されるものであってもよい。この場合、各かご400に、カメラ402が設置される。動作判定装置100は、複数のかご400の各々について乗客の動作を判定する。
 図2は、第1実施形態に係る動作判定装置100の機能ブロック図の一例を示す図である。図2に示すように、動作判定装置100は、画像取得部151と、信号取得部152と、抽出部153と、算出部154と、判定部155とを備える。
 以下、フローチャートに沿ってこれらの動作を説明する。図3は、第1実施形態に係る動作判定装置100が実行するメイン処理のフローチャートである。メイン処理は、たとえば、動作判定装置100の電源投入後に起動すればよい。以下、「ステップ」を単に「S」とも称する。
 図3に示すように、メイン処理が開始すると、S11において、信号取得部152は、エレベーター制御装置200から送信された戸閉信号を取得し、戸閉信号に基づきかご400が戸閉状態であるか否かを判断する。戸閉信号は、かご400が戸閉状態(かご400の扉が閉じている状態)であるか否かを示す信号である。
 信号取得部152は、かご400が戸閉状態であると判断した場合(S11でYES)、処理をS12に進める。信号取得部152は、かご400が戸閉状態であると判断しなかった場合(S11でNO)、処理をS11に戻す。つまり、かご400が戸閉状態となるまで待ってから、S12に処理が進む。
 S12において、画像取得部151は、カメラ402によって撮影されたかご400内の画像(「かご内画像」とも称する。)を取得し、処理をS13に進める。つまり、画像取得部151は、かご400が戸閉状態であることを条件に、画像を取得する。
 S13において、抽出部153は、取得された画像から、人物に関する情報として、人物が存在する人物領域を抽出し、処理をS14に進める。
 抽出部153は、人物領域の抽出において、たとえば、今回取得された画像において、人物らしさの特徴が表れる特徴点を抽出して、これに基づき人物の領域を特定する。あるいは、無人状態で撮影されたかご400内の画像(基準画像)と、取得された画像の差分に基づき人物領域を抽出してもよい。また、今回取得された画像と前回撮影された画像(あるいは、今回取得された画像の所定時間前に撮影された画像)との差分に基づき人物領域を抽出するようにしてもよいし、人物領域の抽出は、何らかの公知の手法を用いて行うようにすればよい。
 S14において、算出部154は、抽出された人物に関する情報に基づき、乗客人数を算出し、処理をS15に進める。たとえば、抽出された人物領域の数に応じて乗客人数を算出してもよいし、人物領域の面積に応じて乗客人数を算出してもよいし、公知の手法を用いて乗客人数を算出すればよい。
 S15において、判定部155は、算出された乗客人数が2人以上であるか否かを判断する。判定部155は、算出された乗客人数が2人以上であると判断した場合(S15でYES)、処理をS16に進める。判定部155は、算出された乗客人数が2人以上であると判断しなかった場合(S15でNO)、処理をS11に戻す。
 S16において、判定部155は、抽出された人物に関する情報(人物領域)に基づき、乗客の特定動作が発生したか否かを判定し、処理をS11に戻す。本実施の形態において、乗客の「特定動作」は、エレベーターのかご400内における乗客の異常な動作(行動)を指す。特定動作は、たとえば、ある乗客が暴れて他の乗客を殴ったり蹴ったり掴みかかったりするなど、激しく動いて他の乗客を威圧したり危害を加えるような動作や、乗客が暴れてかご400の壁、ボタン、ディスプレイ等を殴ったり蹴ったりするなど、かご400内の設備を破損するような動作など(これらの動作を以下「暴れ動作」と称する)を指す。
 処理がS11に戻ると、再度、かご400が戸閉状態であると判断された場合に、画像が取得されて、当該画像に基づき乗客の暴れ動作が発生したか否かを判定される。このように、画像取得部151は、取得された信号によりかご400が戸閉状態であると判断した場合、定期的に画像を取得している。
 判定部155は、算出された乗客人数が2人以上である場合に、定期的に取得された複数の画像における人物に関する情報(人物領域)の差分に基づき、暴れ動作が発生したか否かを判定する。
 具体的には、判定部155は、今回取得された画像(「今回画像」とも称する)と前回撮影された画像(「前回画像」とも称する)との差分を算出し、当該差分に基づき暴れ動作が発生したか否かを判定する。ここで、前回画像は、戸閉状態の今回画像の所定時間前(たとえば、数百ミリ秒前~数秒前)に撮影された戸閉状態の画像である。
 画像は、所定のコマ数(たとえば、4800コマ)に分割される。そして、判定部155は、人物領域内において各コマのオプティカルフローを算出する。オプティカルフローは、画像の各コマにおける動きの向きと動きの大きさとを表した見掛けの速度分布である。判定部155は、人物領域内において前回画像と今回画像とに基づきオプティカルフローを算出する。
 判定部155は、オプティカルフローの向きや大きさのばらつきを解析して暴れ動作が発生したか否かを判定する。本実施の形態において、たとえば、前回画像と今回画像とにおける、人物領域内の各コマの動きの大きさの平均値(以下、この値を「動き量」と称する)に基づき、暴れ動作が発生したか否かを判定する。
 判定部155は、動き量が予め定められた閾値を超えた場合に暴れ動作が発生したと判定し、動き量が予め定められた閾値を超えなかった場合は暴れ動作が発生しなかったと判定する。なお、上記に限らず、各コマが急激に上下左右に動いたり、大きく小さく不規則に動いたりするなど、乗客の異常な動きが検知できるようにオプティカルフローを解析して、暴れ動作を判定するようなものであってもよい。
 判定部155の判定結果は、かご内画像とともに監視装置300に送信される。ユーザは、監視装置300の表示装置321でこの判定結果およびかご内画像を確認することが可能である。なお、算出された乗客人数が1人以上である場合に、暴れ動作が発生したか否かを判定するようにしてもよい。
 図4は、第1実施形態に係る暴れ動作の判定について説明するための図である。画面331a(左側の図)および画面331b(右側の図)は、カメラ402で撮影されたかご400内の画像を表示した画面であり、監視装置300の表示装置321で表示される画面である。画面331aは、乗客にほぼ動きがない状態であり、画面331bは、暴れ動作ありと判定された状態である。
 図4に示すように、画面331aにおいて、かご400内には、2人の乗客(実線で囲われている乗客21および点線で囲われている乗客22)が乗車している。いずれの乗客もほぼ動きがない。また、かご400の出入口11は、扉が閉じた状態(戸閉状態)である。
 乗客21,22の動き量の推移は、図4の下部に示す通りである。縦軸は乗客の動き量を示し、横軸は時間を示す。実線で示される動き量31は、乗客21の動き量を示す。点線で示される動き量32は、乗客22の動き量を示す。一点鎖線は、予め定められた閾値である。以降示すグラフにおいても同様である。
 画面331aに対応するグラフ(左側のグラフ)において、乗客21の動き量31および乗客22の動き量32のいずれもその変化が微小であり、動き量は閾値を超えない。
 これに対して、画面331bにおいて、乗客21は、腕を大きく動かしている。画面331bに対応するグラフ(右側のグラフ)において、乗客21の動き量31の変化が大きく、動き量は閾値を超えている。動き量が閾値を超えた場合、判定部155は、乗客21の暴れ動作が発生したと判定する。
 以上説明したように、戸閉状態において暴れ動作を判断することで、かごの扉の開閉による背景の変化や乗降による人物の動きなどの、乗車中の乗客の動き以外の変化を極力排除することができる。さらに、他人に対して危害を加える可能性がある、乗客人数が2人以上である場面に限定して判定を行うため、エレベーターのかご内での乗客の暴れ動作を精度よく判定することができる。
 ここで、乗客がいる場合、乗客が壁や扉に映り込んで背景が変化してしまうことがある。こういった扉や壁への映り込みによる背景の変化を防ぐためにはマスク処理が必要となる。ところが、透明あるいは半透明な壁で構成されたシースルーエレベーターにおいては、壁面における画像が大きく変化したり、かご内の照度が大きく変化するため、マスク処理を適用することが難しくなる。本実施の形態においては、人物領域を抽出し、人物領域における動き量を算出するため、上記のようなケースであっても、エレベーターのかご内での乗客の暴れ動作を精度よく判定することができる。
 [第2実施形態]
 以下、第2実施形態について説明する。第2実施形態の説明においては、第1実施形態と異なる点について説明し、共通する部分については説明を省略する。図5は、第2実施形態に係る動作判定装置100の機能ブロック図の一例を示す図である。
 第1実施形態において、動作判定装置100は、信号取得部152と、画像取得部151と、抽出部153と、算出部154と、判定部155とを備えた。これに対して、第2実施形態においては、抽出部153に代えて、抽出部156を備える。
 以下、以下フローチャートを用いて説明する。図6は、第2実施形態に係る動作判定装置100が実行するメイン処理のフローチャートである。
 図6に示すように、メイン処理が開始すると、S21において、信号取得部152は、エレベーター制御装置200から送信された戸閉信号を取得し、戸閉信号に基づきかご400が戸閉状態であるか否かを判断する。
 信号取得部152は、かご400が戸閉状態であると判断した場合(S21でYES)、処理をS22に進める。信号取得部152は、かご400が戸閉状態であると判断しなかった場合(S21でNO)、処理をS21に戻す。S22において、画像取得部151は、かご内画像を取得し、処理をS23に進める。
 S23において、抽出部156は、取得された画像から、人物に関する情報として、人体における複数部位の位置情報を抽出し、処理をS24に進める。
 ここで、人体における複数部位の位置情報は、たとえば、OpenPose等の公知の骨格推定(姿勢推定)技術を用いて抽出すればよい。なお、その際、かご400内に2台のカメラ402を設置し、2台のカメラ402で撮影された画像に基づき、人体における複数部位の位置情報を抽出するようにしてもよい。抽出部156は、乗客が複数いる場合は、乗客ごとに位置情報を抽出する。
 人体における複数の部位は、たとえば、頭、首、右肩、左肩、右手首、左手首、右股関節、左股関節、右踵、左踵である。これに限らず、人体における複数の部位は、指先、手のひら、肘、膝、つま先などを含むものであってもよい。
 これらの部位の位置は、3次元の座標(X,Y,Z)で示される。たとえば、図7の画面332aに示されるように、かご内の床面の中央位置を(X,Y,Z)=(0,0,0)とする。以下、右側、左側、前方、後方は、乗客が中央位置で出入口11方向を向いて立った場合における、乗客から見た右側、左側、前方、後方をそれぞれ指す。また、この場合の右側に位置する壁を右側の壁、左側に位置する壁を左側の壁、前方に位置する壁を前方の壁、後方に位置する壁を後方の壁とそれぞれ称する。
 乗客が中央位置で出入口11方向を向いて立った場合における、前方の出入口11に進む方向をX軸、右側に進む方向をY軸、天井に進む方向をZ軸とする(図7参照)。ここでは、X=1000の位置が前方の壁(出入口11)の位置であり、X=-1000の位置が後方の壁の位置であり、Y=1000の位置が右側の壁の位置であり、Y=-1000の位置が左側の壁の位置であるとする。乗客21の頭の位置(X,Y,Z)=(-100,-700,1600)である。乗客22の頭の位置(X,Y,Z)=(400,700,1600)である。なお、複数の部位の位置は、2次元の座標(X,Z)で示されるものであってもよい。
 S24において、算出部154は、抽出された人物に関する情報(人体における複数部位の位置情報)に基づき、乗客人数を算出し、処理をS15に進める。算出部154は、抽出部156が抽出した人物の数を乗客人数としてカウントする。
 S25において、判定部155は、算出された乗客人数が2人以上であるか否かを判断する。判定部155は、算出された乗客人数が2人以上であると判断した場合(S25でYES)、処理をS26に進める。判定部155は、算出された乗客人数が2人以上であると判断しなかった場合(S25でNO)、処理をS21に戻す。
 S26において、判定部155は、抽出された人物に関する情報(人体における複数部位の位置情報)に基づき、乗客の暴れ動作が発生したか否かを判定し、処理をS21に戻り、S21~S26の処理を繰り返す。
 つまり、判定部155は、算出された乗客人数が2人以上である場合に、定期的に取得された複数の画像における人体における複数部位の位置情報の差分に基づき、暴れ動作が発生したか否かを判定する。本実施の形態における、人体における複数部位は、頭、首、右肩、左肩、右手首、左手首、右股関節、左股関節、右踵、および左踵である。
 判定部155は、複数の判定モードを有する。判定モード1は、抽出された全ての部位(頭、首、右肩、左肩、右手首、左手首、右股関節、左股関節、右踵、および左踵)の位置情報に基づき、暴れ動作が発生したか否かを判定するモードである。
 判定モード2~4は、複数部位のうちの一部の部位の位置情報に基づき、暴れ動作が発生したか否かを判定するモードである。本実施の形態においては、エレベーターの保守員、ビルの管理人等は、監視装置300の入力装置322から、判定モード1~4のいずれかを設定可能である。判定部155は、設定された判定モードに基づき判定を行う。
 判定モード2は、手の位置情報に基づき、暴れ動作が発生したか否かを判定するモードである。具体的には、判定部155は、右手首および左手首の位置情報に基づき、暴れ動作が発生したか否かを判定する。なお、右肩および左肩を含めて判断をしてもよく、位置情報として、指先、肘など「手」に関する位置情報を持つ場合はこれらの情報を含めて判断してもよい。
 判定モード3は、足の位置情報に基づき、暴れ動作が発生したか否かを判定するモードである。具体的には、判定部155は、右踵および左踵の位置情報に基づき、暴れ動作が発生したか否かを判定する。なお、右股関節および左股関節を含めて判断をしてもよく、位置情報として、つま先、膝など「足」に関する位置情報を持つ場合はこれらの情報を含めて判断してもよい。
 判定モード4は、手および足の位置情報に基づき、暴れ動作が発生したか否かを判定するモードである。具体的には、判定部155は、右手首、左手首、右踵および左踵の位置情報に基づき、暴れ動作が発生したか否かを判定する。
 たとえば、判定モード1において、前回画像と今回画像とにおける、各部位の位置変化量の平均値(以下、この値を「動き量」と称する)に基づき、暴れ動作が発生したか否かを判定する。
 たとえば、前回画像の乗客21の右手首の位置が(-100,-800,900)であり、今回画像の乗客21の右手首の位置が(-100,-820,920)である場合、乗客21の右手首の位置変化量は、Y軸方向に-20、Z軸方向に20移動しているため、((-20)^2+(20)^2)^0.5=28.3である。このように各部位について位置変化量を求めて、これらの平均値を動き量として算出する。
 判定部155は、動き量が予め定められた閾値を超えた場合に暴れ動作が発生したと判定し、動き量が予め定められた閾値を超えなかった場合は暴れ動作が発生しなかったと判定する。
 なお、上記は、暴れ動作を判定する方法の一例に過ぎない。これに限らず、各部位が急激に上下左右に動いたり、大きく小さく不規則に動いたりするなど、乗客の異常な動きが検知できるように各部位の位置変化を解析して、暴れ動作を判定するようなものであればよい。また、上述の「定期的に取得された複数の画像」は、時系列で撮影された3枚以上の画像であってもよい。この場合、時系列の位置情報に基づき、カーブフィッティングにより今回の位置情報を補正するようにしてもよい。
 判定モード2においては、前回画像と今回画像とにおける、右手首の位置変化および左手首の位置変化の平均値が閾値を超えた場合に、暴れ動作が発生したと判定する。判定モード3においては、前回画像と今回画像とにおける、右踵の位置変化および左踵の位置変化の平均値が閾値を超えた場合に、暴れ動作が発生したと判定する。判定モード4においても、同様に判定する。殴る、蹴る等、特に手や足の動きに着目したいような場合には、判定モード2~4を用いるようにすればよい。
 なお、前回画像における右手首と右肩の位置関係と、今回画像における右手首と右肩の位置関係とから、右手の回転方向や回転速度を算出してもよい。左手についても同様である。前回画像における右踵と右股関節の位置関係と、今回画像における右踵と右股関節の位置関係とから、右足の回転方向や回転速度を算出してもよい。左足についても同様である。
 判定部155は、これらの回転方向や回転速度を判定基準として用いてもよい。また、上記モード1において、部位に応じて重みを変えてもよい。たとえば、複数の部位のうち、手や足の重みを大きくしてもよい。
 図7は、第2実施形態に係る暴れ動作の判定について説明するための図である。画面332a(左側の図)は、乗客にほぼ動きがない状態であり、画面332b(右側の図)は、暴れ動作ありと判定された状態である。
 画面332a,332bは、カメラ402で撮影されたかご400内の画像であり、監視装置300の表示装置321で表示される画面である。
 図7に示すように、画面332aにおいて、かご400内には、2人の乗客(乗客21,22)が乗車している。乗客21において、実線は、人体における複数の部位間を繋いだ線である。乗客22において、点線は、人体における複数の部位間を繋いだ線である。乗客21および乗客22のいずれも、ほぼ動きがない。また、かご400の出入口11は、戸閉状態である。
 画面332aに対応するグラフ(左側のグラフ)において、乗客21の動き量31および乗客22の動き量32のいずれもその変化が微小であり、動き量は閾値を超えない。
 これに対して、画面332bにおいて、乗客21は、腕を大きく動かしている。画面332bに対応するグラフ(右側のグラフ)において、乗客21の動き量31の変化が大きく、動き量31は閾値を超えている。動き量31が閾値を超えた場合、判定部155は、乗客21の暴れ動作が発生したと判定する。
 以上説明したように、戸閉状態において判断することで、かごの扉の開閉による背景の変化や乗降による人物の動きなどの、乗車中の乗客の動き以外の変化を極力排除することができる。また、他人に対して危害を加える可能性があるのは、乗客人数が2人以上のケースである。このため、判定部155は、乗客人数が2人以上のケースに限定し、かつ、人体の複数の部位の動きに着目して判定を行う。これにより、エレベーターのかご400内での乗客の暴れ動作を精度よく判定することができる。
 ここで、第1実施形態においては、画像の特徴から人物領域を抽出しているが、この場合、人物以外の背景が人物領域として抽出されることもある。第2実施形態においては、人体の各部位を推定するため、第1実施形態よりも人物の抽出精度が高くなる。このため、壁面における画像が大きく変化したり、かご内の照度が大きく変化するようなシースルーエレベーター等であっても、エレベーターのかご内での乗客の暴れ動作を精度よく判定することができる。また、モード2~4においては、他人に対して危害を加える可能性のある手や足の動きに着目した判定を行うことができる。
 [第3実施形態]
 以下、第3実施形態について説明する。第3実施形態の説明においては、第1実施形態および第2実施形態と異なる点について説明し、共通する部分については説明を省略する。
 図8は、第3実施形態に係る動作判定装置100の機能ブロック図の一例を示す図である。第1実施形態において、動作判定装置100は、信号取得部152と、画像取得部151と、抽出部153と、算出部154と、判定部155とを備えた。これに対して、図8に示すように、第3実施形態においては、さらに、重み算出部157を備える。なお、第2実施形態においても、さらに、重み算出部157を備えるようにしてもよい。
 以下、フローチャートを用いて説明する。図9は、第3実施形態に係る動作判定装置100が実行するメイン処理のフローチャートである。S31~S35までの処理は、S11~S15までの処理と同じであるので、ここでは説明を省略する。
 S36において、重み算出部157は、記憶部114に記憶された重み情報を読み込み、これを重みとして設定して、処理をS37に進める。S37において、判定部155は、差分に重みを乗じた値に基づき、暴れ動作が発生したか否かを判定し、処理をS31に戻す。具体的には、判定部155は、各乗客の動き量に重みを乗じた値を算出し、当該値が閾値を超えた場合に、暴れ動作が発生したと判断する。
 重み算出部157および判定部155の処理を、図10を用いて説明する。図10は、第3実施形態に係る暴れ動作の判定について説明するための図である。
 第3実施形態において、重みは、乗客間の距離が距離Aであるときの方が、距離Aよりも遠い距離Bであるときよりも大きくなるように設定されている。具体的には、乗客間の距離が近いほど重みが大きくなり、乗客間の距離が遠いほど重みが小さくなる。近接状態では、重み>1となり、非近接状態では、重み<1となる。
 乗客間の距離が近い場合は他人に危害を加える可能性が高いと考えられる。このような状況において、暴れ動作であると判定されやすくなるため、エレベーターのかご内での乗客の暴れ動作を精度よく判定することができる。
 画面333a(左側の図)は、乗客間の距離が遠い状態であり、画面333b(右側の図)は、乗客間の距離が遠い状態である。図10に示すように、画面333aにおいて、乗客21と乗客22の距離は遠い。乗客21は激しく手を動かしているが、乗客22の動きはほとんどない。
 画面333aに対応するグラフ(左側のグラフ)において、乗客21は激しく手を動かしているため、通常であれば、図4や図7で示した例のように、乗客21は、動き量が閾値を超えて暴れ動作ありと判定される。しかし、このケースでは、乗客間の距離が遠いため、重み<1となり、動き量×重みは閾値を超えていない。このため、乗客21は、暴れ動作なしと判定される。
 一方、画面333bにおいて、乗客21と乗客22の距離は近い。乗客21は激しく手を動かしているが、乗客22の動きはほとんどない。
 画面333bに対応するグラフ(右側のグラフ)において、乗客21は激しく手を動かしており、かつ、乗客21と乗客22の距離は近い。このため、重み>1となり、動き量×重みは閾値を超えている。これにより、乗客21は、暴れ動作ありと判定される。
 [第4実施形態]
 以下、第4実施形態について説明する。第4実施形態の説明においては、第1実施形態~第3実施形態と異なる点について説明し、共通する部分については説明を省略する。
 図11は、第4実施形態に係る暴れ動作の判定について説明するための図である。第4実施形態においては、以下のように重み付けがされ、判定部155は、動き量に重みを乗じた値に基づき、暴れ動作が発生したか否かを判定する。
 重み算出部157は、かご400が戸開状態から戸閉状態に変化したときの乗客21と乗客22との距離が距離C以下である場合は、乗客21および乗客22に関する重みが小さくなる(重み<1)ように設定する。
 一方、重み算出部157は、かご400が戸開状態から戸閉状態に変化したときの乗客21と乗客22との距離が距離Cよりも大きい距離D以上であり、その後、乗客21が乗客22に近づいたと判断した場合は、第1乗客に関する重みが大きくなる(重み>1)ように設定する。
 乗車時に乗客間の距離が近い場合は知り合いである可能性が高く、乗車時に乗客間の距離が遠いにもかかわらずその後近づいてきた場合は、知らない人間が危害を加える可能性が高いと考えられる。後者の状況が暴れ動作であると判定されやすくなるため、エレベーターのかご内での乗客の暴れ動作を精度よく判定することができる。
 具体的には、図11に示すように、画面334aの例では、かご400が戸開状態から戸閉状態に変化したときの乗客21と乗客22との距離が近い(距離C以下である)。この場合、重み算出部157は、乗客21および乗客22に関して、重み<1に設定する。
 その後、画面334bのように、乗客21が激しく手を動かしたとする。通常であれば、乗客21の動き量が閾値を超えるため、暴れ動作ありと判定される。しかしながら、乗客21の動き量×重み(<1)は閾値を超えず、判定部155は暴れ動作なしと判定する。
 一方、画面334cの例では、かご400が戸開状態から戸閉状態に変化したときの乗客21と乗客22との距離が遠い(距離Cよりも大きい距離D以上である)。この場合、重み算出部157は、乗客21および乗客22に関して、重み>1に設定する。
 その後、画面334dのように、乗客21が激しく手を動かしたとする。この場合、乗客21の動き量×重み(>1)は閾値を超えて、判定部155は暴れ動作ありと判定する。
 [第5実施形態]
 以下、第5実施形態について説明する。第5実施形態の説明においては、第1実施形態~第4実施形態と異なる点について説明し、共通する部分については説明を省略する。
 図12は、第5実施形態に係る暴れ動作の判定について説明するための図である。第5実施形態においては、以下のように重み付けおよび判断がされる。
 判定部155は、人体の複数部位の位置情報に基づき、乗客が子供であるか否かを判断する。判定部155は、動き量に重みを乗じた値に基づき、特定動作が発生したか否かを判定する。重みは、子供であると判断された乗客の方が、子供であると判断されなかった乗客よりも小さくなるように設定されている。
 このようにすることで、他人に危害を加える意図がなく動き回る子供の動作を除外して判定を行うことができるため、エレベーターのかご内での乗客の暴れ動作を精度よく判定することができる。
 具体的には、図12に示すように、画面335aの例では、位置情報に基づき、乗客21,22はいずれも大人であると判断されている。たとえば、頭と踵の位置(高さ)の差から、身長を割り出し、身長が所定値以上であれば大人であると判断し、身長が所定値未満であれば未満であると判断する。
 大人であると判断された場合、重み=1が設定される。乗客21は、激しく手を動かしている。これにより、乗客21は、動き量が閾値を超えて、暴れ動作ありと判定される。
 一方、画面335bの例では、位置情報に基づき、乗客21は子供であると判断され、乗客22は大人であると判断されている。
 子供であると判断された場合、重み<1(たとえば、0.5)が設定される。乗客21は、激しく手を動かしている。通常であれば、乗客21は、動き量が閾値を超えて、暴れ動作ありと判定される。しかし、この場合、乗客21の動き量×重み(=0.5)は閾値を超えず、暴れ動作なしと判定される。
 [第6実施形態]
 以下、第6実施形態について説明する。第6実施形態の説明においては、第1実施形態~第5実施形態と異なる点について説明し、共通する部分については説明を省略する。
 第1~第5実施形態においては、乗客が2人以上であると判定された場合に、判定部155による判定が行われるように構成されている。これに対し、第6実施形態においては、乗客が1人であると判定された場合に、判定部155による判定が行われる。
 かご内に乗客が1人だけ存在する場合、他人に対して危害を加えるような事象は発生しない。しかしながら、壁を殴ったり蹴ったりかご内の装置を破壊しようとするような行為(暴れ動作)が行われる可能性がある。一方で、乗客は、1人で乗車しているときに、ゴルフスイングや体操などの動作を行うことがある。これらの動作は、暴れ動作とは無関係な動作である。なお、2人以上で乗車しているときは、一般に、ゴルフスイングや体操などの動作が行われる可能性は低く、行われたとしても、小さい動作で行われることが多い。
 以下、第6実施形態におけるメイン処理を説明する。図13は、第6実施形態に係る動作判定装置100が実行するメイン処理のフローチャートである。
 S41~S44の処理は、S21~S24の処理と同じなので説明を省略する。S45では、S25と異なり、算出された乗客人数が1人である場合に次の処理(S46)に進む。そして、S47において重み算出部157が重みを算出した後に、S48において判定部155が判定を行う。
 以下、図14を用いて具体的に説明する。図14は、第6実施形態に係る暴れ動作の判定について説明するための図である。第6実施形態においては、以下のように重み付けがされる。
 乗客の位置が第1位置であるときは、第2位置であるときよりもかご400の壁に近くかつかご400の中央位置から遠い。重み算出部157は、乗客の位置が第2位置(中央位置に近い位置)であるときは、第1位置(壁に近い位置)であるときよりも重みが小さくなるように設定する。また、重み算出部157は、乗客の位置が第1位置(壁に近い位置)であるときは、第2位置(中央位置に近い位置)であるときよりも壁方向への手および足の位置に関する重みが大きくなるように設定する。
 具体的には、重み算出部157は、乗客の位置がかご400の中央位置に近いほど重みを小さく設定する(重み<1)。重み算出部157は、乗客の位置が壁に近いほど、壁方向に向かって動く手や足の動作に関する重みを大きく設定する(重み>1)。
 図14に示すように、画面336aの例では、乗客21は、中央位置に立っているため、重み<1(たとえば、0.5)が設定される。乗客21は、激しく手を動かしているものの、動き量×重み(=0.5)は閾値を超えず、暴れ動作なしと判定される。
 一方、画面336bの例では、乗客21は、壁の近傍で立っている。乗客21の左踵の位置(X,Y,Z)=(400,-900,0)である。Y軸において-1000の位置が左側の壁の位置であり、乗客21は左側の壁の近傍にいると判断される。
 さらに、壁に向かって(壁方向に)手を激しく動かしている。前回画像の乗客21の左手首の位置が(600,-900,1400)であり、今回画像の乗客21の左手首の位置が(650,-1000,1400)であるとする。乗客21の左手首の位置の差分(X,Y,Z)は、(50,-100,0)である。
 この場合、乗客21が近接している左側の壁方向への手および足の位置に関する重みが大きくなるように設定される。図14において、左側の壁方向とは、Y軸の負の方向である。このため、Y軸の負の方向の値が増幅されるように重み付け(たとえば、重み=2)がされる。
 上記例では、Y軸の負の方向の差分「-100」に重み「2」を乗じて、-200とする。その結果、乗客21の左手首の位置の差分に重みを乗じた値は、(50,-200,0)となる。重みを乗じた後の位置変化量は、((50)^2+(-200)^2)^0.5=201である。
 右手首、左踵および右踵についても同様に位置変化量を求める。手足以外の部位については、重みを乗じる事なく位置変化量を求める。そして、全ての部位の位置変化量の平均値(動き量)を算出する。本例では、動き量が閾値を超えたため、暴れ動作ありと判定されている。
 以上説明したように、戸閉状態において判断を行うことで乗客以外の画像の変化を極力排除することができる。また、かご内に乗客が1人存在する場合、壁を殴ったり蹴ったり、かご内の装置を破壊しようとするような行為を行う可能性がある。このため、かごの壁近傍において壁に向かう手や足の動きに対する重み付けを大きくすることで、上記のような行為を検出しやすくなる。一方で、乗客は、ゴルフスイングや体操などの暴れ動作とは無関係な動作をかごの中央位置付近で行うことがある。このため、中央位置付近での動作に対する重み付けを小さくすることで、暴れ動作についての誤検知を低減させる。このように、エレベーターのかご内での乗客の暴れ動作を精度よく判定することができる。
 なお、第3実施形態~第6実施形態において、抽出部153,156は、取得された画像から人物に関する情報として、「人物領域」および「人体における複数部位の位置情報」のいずれか一方を抽出するようにした。しかし、これに限らず、「人物領域」および「人体における複数部位の位置情報」のいずれを抽出するような構成にしてもよい。また、第3実施形態~第6実施形態のうちの複数の方法を組み合わせて構成してもよい。第1実施形態~第5実施形態において、乗客人数が2人以上の場合において、重みの算出や暴れ動作を判定しているが、これに限らず、乗客人数が1人以上の場合において、重みの算出や暴れ動作を判定するようにしてもよい。また、第6実施形態において、乗客人数が1人の場合において、重みの算出や暴れ動作を判定しているが、これに限らず、乗客人数が1人以上の場合において、重みの算出や暴れ動作を判定するようにしてもよい。
 [主な構成および効果]
 以下、前述した実施の形態の主な構成および効果を説明する。
 (1) 動作判定装置100は、エレベーターのかご400内での乗客の動作を判定する動作判定装置100である。動作判定装置100は、エレベーターを制御するエレベーター制御装置200、およびかご400内に設置されたカメラ402と通信可能である。動作判定装置100は、信号取得部152と、画像取得部151と、抽出部153,156と、算出部154と、判定部155とを備える。信号取得部152は、エレベーター制御装置200から送信された、かご400が戸閉状態であるか否かを示す信号を取得する。画像取得部151は、カメラ402によって撮影されたかご400内の画像を取得する。抽出部153,156は、取得された画像から人物に関する情報を抽出する。算出部154は、抽出された人物に関する情報に基づき、乗客人数を算出する。判定部155は、抽出された人物に関する情報に基づき、乗客の特定動作が発生したか否かを判定する。画像取得部151は、取得された信号によりかご400が戸閉状態であると判断した場合、定期的に画像を取得する。判定部155は、算出された乗客人数が1人以上である場合に、定期的に取得された複数の画像における人物に関する情報の差分に基づき、特定動作が発生したか否かを判定する。このように、戸閉状態において判断することで乗客以外の画像の変化を極力排除し、かつ、かご内に乗客が存在する場合において判定を行うため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (2) 抽出部153は、取得された画像から、人物に関する情報として、人物が存在する人物領域を抽出する。判定部155は、算出された乗客人数が2人以上である場合に、特定動作が発生したか否かを判定する。このように、戸閉状態において判断することで乗客以外の画像の変化を極力排除し、かつ、他人に対して危害を加える可能性がある、乗客人数が2人以上である場面に限定して判定を行うため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (3) 抽出部156は、取得された画像から、人物に関する情報として、人体における複数部位の位置情報を抽出する。判定部155は、算出された乗客人数が2人以上である場合に、特定動作が発生したか否かを判定する。このように、戸閉状態において判断することで乗客以外の画像の変化を極力排除し、かつ、他人に対して危害を加える可能性がある、乗客人数が2人以上である場面に限定し、さらに、人体の部位の動きに着目して判定を行うため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (4) 判定部155は、複数部位のうちの一部の部位の位置情報に基づき、特定動作が発生したか否かを判定する。このように、他人に対して危害を加える可能性のある人体の部位の動きに着目して判定を行うことができるため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (5) 一部の部位は、手および足のうちの1以上の部位である。このように、他人に対して危害を加える可能性のある手や足の動きに着目して判定を行うことができるため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (6) 判定部155は、位置情報に基づき、乗客が子供であるか否かを判断する。判定部155は、差分に重みを乗じた値に基づき、特定動作が発生したか否かを判定する。重みは、子供であると判断された乗客の方が、子供であると判断されなかった乗客よりも小さくなるように設定されている。このように、他人に危害を加える意図がなく動き回る子供の動作を除外して判定を行うことができるため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (7) 判定部155は、差分に重みを乗じた値に基づき、特定動作が発生したか否かを判定する。重みは、乗客間の距離が第1距離であるときの方が、第1距離よりも遠い第2距離であるときよりも大きくなるように設定されている。乗客間の距離が近い場合は他人に危害を加える可能性が高いと考えられる。このような状況において、特定動作であると判定されやすくなるため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (8) 乗客は、第1乗客と第2乗客とを含む。判定部155は、差分に重みを乗じた値に基づき、特定動作が発生したか否かを判定する。かご400が戸開状態から戸閉状態に変化したときの第1乗客と第2乗客との距離が第3距離以下である場合は、第1乗客および第2乗客に関する重みが小さくなるように設定されている。かご400が戸開状態から戸閉状態に変化したときの第1乗客と第2乗客との距離が第3距離よりも大きい第4距離以上であり、その後、第1乗客が第2乗客に近づいたと判断した場合は、第1乗客に関する重みが大きくなるように設定されている。乗車時に乗客間の距離が近い場合は知り合いである可能性が高く、乗車時に乗客間の距離が遠いにもかかわらずその後近づいてきた場合は、知らない人間が危害を加える可能性が高いと考えられる。このような状況において、特定動作であると判定されやすくなるため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (9) 判定部155は、算出された乗客人数が1人である場合に、差分に重みを乗じた値に基づき、特定動作が発生したか否かを判定する。判定部155は、特定動作が発生したか否かを判定する。乗客の位置が第1位置であるときは、第2位置であるときよりもかご400の壁に近くかつかご400の中央位置から遠い。乗客の位置が第2位置であるときは、第1位置であるときよりも重みが小さくなるように設定されている。乗客の位置が第1位置であるときは、第2位置であるときよりも壁方向への手および足の位置に関する重みが大きくなるように設定されている。このように、戸閉状態において判断することで乗客以外の画像の変化を極力排除し、かつ、かご内に乗客が1人存在する場合において判定を行う。乗客が1人である場合、ゴルフスイングや体操などの特定動作とは無関係な動作に対する重み付けを小さくすることで、これらの動作の誤検知を低減させ、かつ、かごの壁近傍において壁に向かう手や足の動きに対する重み付けを大きくすることで、壁を殴ったり蹴ったりかご内の装置を破壊しようとするような行為を検出しやすくする。これにより、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 (10) 特定動作は、暴れる動作である。このようにすることで、エレベーターのかご内での乗客の暴れる動作を精度よく判定することができる。
 (11) 制御方法は、エレベーターのかご400内での乗客の動作を判定する動作判定装置100を制御する方法である。動作判定装置100は、エレベーターを制御するエレベーター制御装置200、およびかご400内に設置されたカメラ402と通信可能である。制御方法は、エレベーター制御装置200から送信された、かご400が戸閉状態であるか否かを示す信号を取得するステップと、取得された信号によりかご400が戸閉状態であると判断した場合、カメラ402によって撮影されたかご400内の画像を定期的に取得するステップと、取得された画像から人物に関する情報を抽出するステップと、抽出された人物に関する情報に基づき、乗客人数を算出するステップと、算出された乗客人数が1人以上である場合に、定期的に取得された複数の画像における人物に関する情報に基づき、乗客の特定動作が発生したか否かを判定するステップとを備える。このように、戸閉状態において判断することで乗客以外の画像の変化を極力排除し、かつ、かご内に乗客が存在する場合において判定を行うため、エレベーターのかご内での乗客の特定動作を精度よく判定することができる。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 1 エレベーター制御システム、11 出入口、21,22 乗客、31,32 動き量、100 動作判定装置、111,211,311 CPU、112,212,312 ROM、113,213,313 RAM、114,314 記憶部、115,215,315 通信インターフェイス、116,316 I/Oインターフェイス、151 画像取得部、152 信号取得部、153,156 抽出部、154 算出部、155 判定部、200 エレベーター制御装置、300 監視装置、321 表示装置、322 入力装置、331a,331b,332a,332b,333a,333b,334a~334d,335a,335b,336a,336b 画面、400 かご、401 かご内装置、402 カメラ。

Claims (11)

  1.  エレベーターのかご内での乗客の動作を判定する動作判定装置であって、
     前記動作判定装置は、前記エレベーターを制御するエレベーター制御装置、および前記かご内に設置されたカメラと通信可能であり、
     前記動作判定装置は、
      前記エレベーター制御装置から送信された、前記かごが戸閉状態であるか否かを示す信号を取得する信号取得部と、
      前記カメラによって撮影された前記かご内の画像を取得する画像取得部と、
      取得された前記画像から人物に関する情報を抽出する抽出部と、
      抽出された前記人物に関する情報に基づき、乗客人数を算出する算出部と、
      抽出された前記人物に関する情報に基づき、前記乗客の特定動作が発生したか否かを判定する判定部とを備え、
     前記画像取得部は、取得された前記信号により前記かごが前記戸閉状態であると判断した場合、定期的に前記画像を取得し、
     前記判定部は、算出された前記乗客人数が1人以上である場合に、定期的に取得された複数の前記画像における前記人物に関する情報の差分に基づき、前記特定動作が発生したか否かを判定する、動作判定装置。
  2.  前記抽出部は、取得された前記画像から、前記人物に関する情報として、人物が存在する人物領域を抽出し、
     前記判定部は、算出された前記乗客人数が2人以上である場合に、前記特定動作が発生したか否かを判定する、請求項1に記載の動作判定装置。
  3.  前記抽出部は、取得された前記画像から、前記人物に関する情報として、人体における複数部位の位置情報を抽出し、
     前記判定部は、算出された前記乗客人数が2人以上である場合に、前記特定動作が発生したか否かを判定する、請求項1に記載の動作判定装置。
  4.  前記判定部は、前記複数部位のうちの一部の部位の前記位置情報に基づき、前記特定動作が発生したか否かを判定する、請求項3に記載の動作判定装置。
  5.  前記一部の部位は、手および足のうちの1以上の部位である、請求項4に記載の動作判定装置。
  6.  前記判定部は、
      前記位置情報に基づき、前記乗客が子供であるか否かを判断し、
      前記差分に重みを乗じた値に基づき、前記特定動作が発生したか否かを判定し、
     前記重みは、子供であると判断された前記乗客の方が、子供であると判断されなかった前記乗客よりも小さくなるように設定されている、請求項3~請求項5のいずれか1項に記載の動作判定装置。
  7.  前記判定部は、前記差分に重みを乗じた値に基づき、前記特定動作が発生したか否かを判定し、
     前記重みは、前記乗客間の距離が第1距離であるときの方が、前記第1距離よりも遠い第2距離であるときよりも大きくなるように設定されている、請求項2~請求項5のいずれか1項に記載の動作判定装置。
  8.  前記乗客は、第1乗客と第2乗客とを含み、
     前記判定部は、前記差分に重みを乗じた値に基づき、前記特定動作が発生したか否かを判定し、
     前記かごが戸開状態から前記戸閉状態に変化したときの前記第1乗客と前記第2乗客との距離が第3距離以下である場合は、前記第1乗客および前記第2乗客に関する前記重みが小さくなるように設定されており、
     前記かごが前記戸開状態から前記戸閉状態に変化したときの前記第1乗客と前記第2乗客との距離が前記第3距離よりも大きい第4距離以上であり、その後、前記第1乗客が前記第2乗客に近づいたと判断した場合は、前記第1乗客に関する前記重みが大きくなるように設定されている、請求項2~請求項5のいずれか1項に記載の動作判定装置。
  9.  前記判定部は、算出された前記乗客人数が1人である場合に、前記差分に重みを乗じた値に基づき、前記特定動作が発生したか否かを判定し、
     前記判定部は、前記特定動作が発生したか否かを判定し、
     前記乗客の位置が第1位置であるときは、第2位置であるときよりも前記かごの壁に近くかつ前記かごの中央位置から遠く、
     前記乗客の位置が前記第2位置であるときは、前記第1位置であるときよりも前記重みが小さくなるように設定されており、
      前記乗客の位置が前記第1位置であるときは、前記第2位置であるときよりも前記壁方向への手および足の位置に関する前記重みが大きくなるように設定されている、請求項3に記載の動作判定装置。
  10.  前記特定動作は、暴れる動作である、請求項1~請求項9のいずれか1項に記載の動作判定装置。
  11.  エレベーターのかご内での乗客の動作を判定する動作判定装置を制御する制御方法であって、
     前記動作判定装置は、前記エレベーターを制御するエレベーター制御装置、および前記かご内に設置されたカメラと通信可能であり、
     前記制御方法は、
      前記エレベーター制御装置から送信された、前記かごが戸閉状態であるか否かを示す信号を取得するステップと、
      取得された前記信号により前記かごが前記戸閉状態であると判断した場合、前記カメラによって撮影された前記かご内の画像を定期的に取得するステップと、
      取得された前記画像から人物に関する情報を抽出するステップと、
      抽出された前記人物に関する情報に基づき、乗客人数を算出するステップと、
      算出された前記乗客人数が1人以上である場合に、定期的に取得された複数の前記画像における前記人物に関する情報に基づき、前記乗客の特定動作が発生したか否かを判定するステップとを備える、制御方法。
PCT/JP2021/026296 2021-07-13 2021-07-13 動作判定装置および制御方法 Ceased WO2023286154A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/026296 WO2023286154A1 (ja) 2021-07-13 2021-07-13 動作判定装置および制御方法
JP2023534472A JP7353540B2 (ja) 2021-07-13 2021-07-13 動作判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/026296 WO2023286154A1 (ja) 2021-07-13 2021-07-13 動作判定装置および制御方法

Publications (1)

Publication Number Publication Date
WO2023286154A1 true WO2023286154A1 (ja) 2023-01-19

Family

ID=84919136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026296 Ceased WO2023286154A1 (ja) 2021-07-13 2021-07-13 動作判定装置および制御方法

Country Status (2)

Country Link
JP (1) JP7353540B2 (ja)
WO (1) WO2023286154A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276969A (ja) * 2005-03-28 2006-10-12 Mitsubishi Electric Corp 暴れ検知装置
JP2009110424A (ja) * 2007-10-31 2009-05-21 Toshiba Elevator Co Ltd 異常動作検出装置
JP2009227450A (ja) * 2008-03-25 2009-10-08 Mitsubishi Electric Corp エレベータのかご内監視装置
JP2011011871A (ja) * 2009-07-02 2011-01-20 Mitsubishi Electric Building Techno Service Co Ltd エレベータの制御装置
JP2011042420A (ja) * 2009-08-19 2011-03-03 Mitsubishi Electric Corp 乗客有無検知装置、人数検知装置、暴れ検知装置
JP2021031256A (ja) * 2019-08-27 2021-03-01 フジテック株式会社 エレベータの異常監視システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276969A (ja) * 2005-03-28 2006-10-12 Mitsubishi Electric Corp 暴れ検知装置
JP2009110424A (ja) * 2007-10-31 2009-05-21 Toshiba Elevator Co Ltd 異常動作検出装置
JP2009227450A (ja) * 2008-03-25 2009-10-08 Mitsubishi Electric Corp エレベータのかご内監視装置
JP2011011871A (ja) * 2009-07-02 2011-01-20 Mitsubishi Electric Building Techno Service Co Ltd エレベータの制御装置
JP2011042420A (ja) * 2009-08-19 2011-03-03 Mitsubishi Electric Corp 乗客有無検知装置、人数検知装置、暴れ検知装置
JP2021031256A (ja) * 2019-08-27 2021-03-01 フジテック株式会社 エレベータの異常監視システム

Also Published As

Publication number Publication date
JPWO2023286154A1 (ja) 2023-01-19
JP7353540B2 (ja) 2023-09-29

Similar Documents

Publication Publication Date Title
CN102036899B (zh) 基于视频的电梯门检测系统和方法
JP5877135B2 (ja) 画像認識装置及びエレベータ装置
JP6680730B2 (ja) 制御装置及び学習装置
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
KR20140110484A (ko) 영상정보를 이용한 위험 행동 검지방법
US12361583B2 (en) Image analysis apparatus and monitoring system
CN115937979A (zh) 一种对象行为检测方法、装置、电子设备和存储介质
JP4883415B2 (ja) 監視装置及びプログラム
US12304413B2 (en) Door opening/closing determination device and door opening/closing determination method
JP6875028B1 (ja) 手洗い評価装置および手洗い評価プログラム
JP2025539919A (ja) 乗客の危険行動の検出方法、装置、電子機器および記憶媒体
JP7353540B2 (ja) 動作判定装置
CN116216470B (zh) 一种电梯门控制方法、装置、电子设备和存储介质
JP2009110424A (ja) 異常動作検出装置
CN114763242B (zh) 乘客输送机、乘客引导系统以及计算机可读取的存储介质
Thota et al. Prototyping an autonomous eye-controlled system (AECS) using raspberry-pi on wheelchairs
Mohd et al. An optimized low computational algorithm for human fall detection from depth images based on Support Vector Machine classification
CN115973885A (zh) 对象行为确定方法、装置、电子设备和存储介质
CN115731491A (zh) 一种用于客梯乘客跌倒检测的方法
US20230222833A1 (en) Image processing apparatus, image processing method, and storage medium
JP7768437B1 (ja) 画像認識システム、画像認識方法及びプログラム
JP7707376B1 (ja) エレベータ制御装置およびプログラム
CN115953732A (zh) 一种机器人乘梯检测方法、装置、电子设备和存储介质
EP4631760A1 (en) A system for determining intoxication of a user of a vehicle
KR20260001092A (ko) 감시 제어 장치, 감시 방법 및 비일시적 기억 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21950097

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023534472

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21950097

Country of ref document: EP

Kind code of ref document: A1