以下、本発明に係るエレベータのドア制御システム(以下、単にドア制御システムという)について説明する。ドア制御システムは、かごの出入口及び乗り場の撮像画像に基づき、人の位置又は移動経路、及び、物の位置又は移動経路のうち少なくとも一方を把握し、この位置や移動経路に応じてかごの出入口や乗り場に設けられたドアの開閉を制御するシステムである。
ドア制御システム1は、図1に示すように、エレベータ2のかご21内及び乗り場を撮像するカメラ(撮像装置)212と、カメラ212が撮像した画像(撮像画像)を処理する処理部23と、かご21の出入口のドア210を開閉させるドア装置211と、撮像画像との比較の対象となるモデルデータを記憶する記憶部221と、を備える。
本実施形態のドア制御システム1では、エレベータ2は、昇降路を昇降し且つ各階床で停止可能なかご21に加えて、エレベータ2の動作状況に関する情報を出力する制御マイコン20、制御マイコン20とカメラ212との間に接続された画像認識装置22、及び、制御マイコン20にそれぞれ接続された音声認識装置24と音声案内装置25と表示案内装置26とを有する。また、処理部23は、画像認識装置22に備えられた画像認識処理部220と、制御マイコン20に備えられたマイコン処理部200とを含む。
本実施形態のドア制御システム1は、監視端末3に接続された第一サーバー4と、第一サーバー4に接続された第二サーバー5とを備える。また、本実施形態のドア制御システム1には、第一サーバー4を介して管理者端末6及び技術員端末7が接続可能である。
尚、図1では一台のエレベータ2が示されているが、本実施形態のドア制御システム1は、複数のエレベータを備える。また、図1では一台の管理者端末6及び技術員端末7が示されているが、本実施形態のドア制御システム1には、複数の管理者端末6及び複数の技術員端末7が接続可能である。
かご21は、ドア装置211及びカメラ212に加えて、例えば、音声認識装置24に接続され且つかご21内の音声を集音するマイク(集音器)213、音声案内装置25に接続され且つかご21内に音声を出力するスピーカー214、及び、表示案内装置26に接続され且つかご21内に文字情報等を表示するディスプレイ(表示部)215、天井と壁と床とを含むかご枠、及び、階床釦等を含む操作盤等を含む。
ドア装置211は、かご出入口を囲むように規定する枠、かご出入口を閉塞可能なドア210、及び、ドア210を開閉させるための駆動部等を有する。
本実施形態のドア制御システム1では、ドア装置は、エレベータ2のかご21及び乗り場の両方にそれぞれ設けられている。また、かご21が各階床で停止した状態において、かご21に設けられたドア装置211と乗り場に設けられたドア装置とが係合するため、乗り場に設けられたドア装置は、かご21に設けられたドア装置211の動きに追従して動く。これにより、かご21に設けられるドアに加えて、各階の乗り場に設けられるドアも、かご21に設けられたドア装置211により開閉されるため、本実施形態のドア制御システム1では、かご21に設けられたドア装置211の制御のみを説明する。
カメラ212は、例えば、かご21内の天井に配置され、かご21の出入口及び乗り場を経時的に撮像する。尚、カメラ212が乗り場を撮像できるのは、ドア210が戸開しているときである。
また、カメラ212は、かご21の出入口及び乗り場の撮像画像(複数の撮像画像)を画像認識装置22に出力可能である。かご21内には、例えば、かご21の出入口及び乗り場を監視するために一台の監視カメラが設けられており、本実施形態のドア制御システム1では、カメラ212として、この監視カメラが用いられる。
具体的に、カメラ212は、断続的に(所定時間毎(例えば、1秒毎)に)かご21の出入口及び乗り場の撮影を繰り返し行う。尚、カメラ212は、連続的にかご21の出入口及び乗り場の撮影を行ってもよい。
画像認識装置22、音声認識装置24、音声案内装置25、及び、表示案内装置26は、例えば、かご21の外側に設けられたマイコンである。具体的に、音声認識装置24は、マイク213で集音された音声を解析して、制御マイコン20を介して監視端末3に出力可能である。音声案内装置25は、制御マイコン20から入力された情報に基づき、スピーカー214から音声を出力可能である。表示案内装置26は、制御マイコン20から入力された情報に基づき、ディスプレイ215から、例えば、文字情報を出力可能である。
制御マイコン20は、監視端末3に通信系統R1を介して接続されている。通信系統R1は、例えば、制御マイコン20から電話回線を介して監視端末3に通信可能であり、且つ、監視端末3から電話回線を介して制御マイコン20に通信可能な通信系統である。
本実施形態のドア制御システム1では、画像認識装置22は、撮像画像から人や物の位置又は移動経路を把握し、把握した人や物の位置又は移動経路に基づいて、人や物とドア210とが接触するおそれがある場合に、ドア装置211の戸閉動作を禁止し且つドア装置211を戸開状態で維持させる画像認識処理部220と、撮像画像との比較の対象となるモデルデータとして、少なくとも一つの人のモデルパターンを記憶している記憶部221とを含む。
本実施形態のドア制御システム1では、記憶部221は、人及び物のモデルパターンと、エレベータ2のドア装置211の構造のモデルパターンとを記憶している。
記憶部221は、人、物、及びドア装置211の構造のモデルパターンとして、それぞれ、人、物、及びドア装置211の輪郭(エッジ)を記憶している。人及び物のモデルパターンは、例えば、各エレベータに共通したモデルパターンとして設定されている。ドア装置211の構造のモデルパターンは、例えば、各エレベータに個別に設定されている。尚、ここで対象となる物は、荷物等の物体、動物等である。
例えば、記憶部221は、人のモデルパターンとして、シルエットが異なる人のモデルパターンを記憶している。具体的には、記憶部221は、一般的なシルエット(一般的な服装)の人のモデルパターン、帽子を着用した人のモデルパターン、着物を着用した人のモデルパターン等を記憶している。
より具体的に、記憶部221に記憶されている一般的な人のモデルパターンは、図2に示すように、人における頭部、両耳、胴部、両腕、及び両脚を簡略化したものの輪郭を結ぶ線(ワイヤーフレーム)で構成される。また、記憶部221に記憶されている物のモデルパターンは、図3に示すように、立方体の各辺を結ぶ線で構成される。
本実施形態のドア制御システム1では、記憶部221は、第一サーバー4より出力されたドア装置211の構造のモデルパターンを記憶している。より具体的に、記憶部221に記憶されているドア装置211の構造のモデルパターンは、図4に示すように、ドア210の開閉領域の輪郭を結ぶ線等で構成される。
処理部23は、後述するように、撮像画像に人や物のモデルパターンを当てはめることでかご21や乗り場に人や物を検出すると、人や物の位置や移動経路を把握し、この把握した人や物の移動経路に基づいて、人がかご21の出入口にいる又はかご21の出入口に接近してくるか否か、及び、物がかご21の出入口にある又はかご21の出入口に接近してくるか否かを判定し、人がかご21の出入口にいる(例えば、人がドア210の開閉領域に滞在しているとき)、物がかご21の出入口にある(例えば、荷物がドア210の開閉領域に置かれているとき)、又は、人や物がかご21の出入口に近づいてくる(例えば、人がかご21内に駆け込んできたり、荷物を積んだ台車が乗り場からかご21内に押し込まれたり)場合に(人や物とドア装置211とが接触するおそれがある場合に)、ドア装置211の戸閉動作を禁止し且つドア装置211を戸開状態で維持させる、という一連の処理を繰り返す。以下、この一連の処理を詳しく説明する。
まず、画像認識処理部220は、取得した複数の撮像画像のうち少なくとも二つの画像から、それぞれエッジを抽出する第一処理を行う。具体的に、画像認識処理部220は、取得した複数の画像の各々に対して、濃度の補正、歪みの補正、及び、ノイズの除去等の前処理を行った後、各画像において輝度が急激に変わる境界をエッジとして抽出する。
画像認識処理部220は、先ほどの少なくとも二つの画像(本実施形態のドア制御システム1では、取得した複数の画像)から抽出されたエッジのうちの人に対する像のエッジに、それぞれ人のモデルパターンを当てはめる第二処理を行う。尚、画像認識処理部220は、抽出されたエッジに、各モデルパターン(ドア装置211の構造のモデルパターン、人のモデルパターン、及び、物のモデルパターン)のサイズとカメラ212の視野(カメラ212の座標)とを整合させて当てはめることで、撮像画像から抽出されたエッジに対して各モデルパターンを当てはめる。
具体的に、画像認識処理部220は、第二処理において、取得した複数の画像のうちの一つの画像(以下、第一の画像と言う)から抽出されたエッジにおけるドア装置211の構造に対する像のエッジに、ドア装置211の構造のモデルパターンを当てはめる第一ステップを行う。次に、画像認識処理部220は、第二処理において、この一つの画像から抽出されたエッジのうちのドア装置211の構造のモデルパターンに重なるエッジ以外のエッジのうち人に対する像のエッジに、人のモデルパターンを当てはめる第二ステップを行う。
その後、画像認識処理部220は、第二処理において、先ほどの少なくとも二つの画像(本実施形態のドア制御システム1では、取得した複数の画像)のうちの第二ステップで人のモデルパターンを当てはめた画像以外の画像(先ほどの少なくとも二つの画像(本実施形態のドア制御システム1では、取得した複数の画像)のうちの第一の画像以外の画像)から抽出されたエッジにおけるドア装置211の構造のモデルパターンに重なるエッジ以外のエッジに、第二ステップにおいて当てはめた人のモデルパターンを当てはめる第三ステップを行う。
さらに、本実施形態のドア制御システム1では、画像認識処理部220は、第二処理において、先ほどの少なくとも二つの画像(本実施形態のドア制御システム1では、取得した複数の画像)から抽出されたエッジのうちの物に対する像のエッジに、それぞれ物のモデルパターンを当てはめる。
具体的に、本実施形態のドア制御システム1において、画像認識処理部220は、第三ステップの後に、第一の画像から抽出されたエッジのうち、ドア装置211の構造のモデルパターンに重ならず且つ人のモデルパターンに重ならないエッジ(第三ステップにおいて、人のモデルパターンが当てはまらなかったエッジ)に、物のモデルパターンを当てはめる第四ステップを行う。さらに、画像認識処理部220は、第四ステップの後に、先ほどの少なくとも二つの画像(本実施形態のドア制御システム1では、取得した複数の画像)のうちの第一の画像以外の画像から抽出されたエッジにおけるドア装置211の構造のモデルパターンに重ならず且つ人のモデルパターンに重ならないエッジに、第四ステップにおいて当てはめた物のモデルパターンを当てはめる第五ステップを行う。
以下、上述した第二処理における第一ステップから第五ステップについて、より詳細に説明する。画像認識処理部220は、第一ステップにおいて、第一の画像から抽出されたエッジに、ドア装置211の構造のモデルパターンを重ねて、この重なった部分(ドア装置211の構造のモデルパターンに重なるエッジ)を取り除き、人体特徴があるか否か(例えば、人の頭部に重なる円形状のエッジがあるか否か、胴体に重なる筒状のエッジがあるか否か、及び、四肢に重なる形状のエッジがあるか否か)を判定する。画像認識処理部220は、円形状のエッジ等があると判定した場合、かご21内や乗り場に人を検出したとして、この円形状のエッジと、人のモデルパターンの頭部に対応する箇所が重なるよう、人のモデルパターンのサイズとカメラ212の視野とを整合させて、第一の画像から抽出されたエッジに人のモデルパターンを当てはめる。
画像認識処理部220は、第二ステップにおいて、第一の画像における当てはめた人のモデルパターンの接地位置(具体的には、人のモデルパターンとかご21の床面との接地位置)に基づいて、空間における人の存在位置と、人の占有する空間とを認識する。尚、画像認識処理部220は、第一の画像における当てはめた人のモデルパターンの接地位置が確認できない場合には、推定した接地位置に基づいて、人の存在位置と人の占有する空間とを認識する。次に、画像認識処理部220は、第一の画像から抽出されたエッジに当てはめた人のモデルパターンから、各ポイントの座標を算出する。人のモデルパターンの座標は、例えば、図2のP1で示すように、頭部頂点、両耳、両肩、両肘、両手の先、両腰、両膝、両踵、両脚の爪先等の座標である。
画像認識処理部220は、第三ステップにおいて、先ほどの少なくとも二つの画像のうち第一の画像以外の画像に対して、第二ステップで当てはめた人のモデルパターンを当てはめる。より具体的に、画像認識処理部220が、第三ステップにおいて、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジから、第一の画像のドア装置211の構造のモデルパターンに重なったエッジを除き、このエッジのうち人の像に対するエッジに、第二ステップにおいて当てはめた人のモデルパターンを当てはめる。その後、画像認識処理部220は、この第一の画像以外の画像に当てはめた人のモデルパターンから各ポイントの座標を算出する。
画像認識処理部220は、第四ステップにおいて、第一の画像から抽出されたエッジから、ドア装置211の構造のモデルパターンに重なるエッジ、及び、人のモデルパターンに重なるエッジを取り除いた上で、残ったエッジを物に対する像のエッジであると判定する。画像認識処理部220は、物に対する像のエッジがあると判定した場合(物を検出した場合)、物のモデルパターンのサイズとカメラ212の視野とを整合させて、第一の画像から抽出されたエッジに物のモデルパターンを当てはめる。また、画像認識処理部220は、第一の画像から抽出されたエッジに当てはめた物のモデルパターンから、各ポイントの座標を算出する。物のモデルパターンにおける各ポイントの座標は、例えば、図3のP2に示すように、立方体の八つの角の座標である。
画像認識処理部220は、第五ステップにおいて、先ほどの少なくとも二つの画像のうち第一の画像以外の画像に対して、第四ステップで当てはめた物のモデルパターンを当てはめる。より具体的に、画像認識処理部220は、第五ステップにおいて、取得した複数の画像のうちの第一の画像以外の画像から抽出されたエッジから、第一の画像のドア装置211の構造のモデルパターンに重なったエッジを除き、さらに、第一の画像の人のモデルパターンに重なったエッジを除き、残ったエッジに第二ステップにおいて当てはめた物のモデルパターンを当てはめる。その後、画像認識処理部220は、この第一の画像以外の画像に当てはめた物のモデルパターンから各ポイントの座標を算出する。
尚、画像認識処理部220は、各画像から抽出したエッジに円形状のエッジ等が無いと判定した場合、人を検出しなかったとして、各画像から抽出したエッジに対する人のモデルパターンの当てはめの処理を終了し、各画像から抽出したエッジに物のモデルパターンの当てはめを行う。また、画像認識処理部220は、各画像から抽出したエッジに物に対する像のエッジが無いと判定した場合、物を検出しなかったとして、各画像から抽出したエッジに対する物のモデルパターンの当てはめの処理を終了する。
以下、第一処理及び第二処理の後に行う第三処理及び第四処理について説明する。処理部23は、第二処理で当てはめた人のモデルパターンの座標がかご21の出入口と重なるとき、又は、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像での人のモデルパターンの座標が、人がかご21の出入口に近づいてくるように変化しているときに、ドア装置211の戸閉動作を禁止し且つドア装置211を戸開状態で維持させる第三処理を行う。
さらに、本実施形態のドア制御システム1では、第三処理において、画像認識処理部220は、第二処理で当てはめた物のモデルパターンの座標がかご21の出入口と重なるとき、又は、第二処理において物のモデルパターンを当てはめた撮像画像における前後の撮像画像での物のモデルパターンの座標が、物がかご21の出入口に近づいてくるように変化しているときに、ドア装置211の戸閉動作を禁止し且つドア装置211を戸開状態で維持させる。
尚、第二処理において人や物のモデルパターンを当てはめた撮像画像における前後の撮像画像は、第二処理で人や物のモデルパターンを当てはめた撮像画像のうち、その撮像時刻が前後する撮像画像である。
また、第二処理において人のモデルパターンを当てはめた撮像画像における前後の撮像画像が三枚以上ある場合、「第二処理で当てはめた人のモデルパターンの座標がかご21の出入口と重なるとき」は、人のモデルパターンの座標がかご21の出入口と重なるときに加えて、人のモデルパターンの座標が移動により到達すると予測される座標(動線予測による座標)がかご21の出入口と重なるときも含む。また、第二処理において物のモデルパターンを当てはめた撮像画像における前後の撮像画像が三枚以上ある場合、「第二処理で当てはめた物のモデルパターンの座標がかご21の出入口と重なるとき」は、物のモデルパターンの座標が移動により到達すると予測される座標(動線予測による座標)がかご21の出入口と重なるときも含む。
さらに、第二処理で当てはめた人や物のモデルパターンの座標(第一の画像、又は、第一の画像以外の画像から抽出したエッジに当てはめた人や物のモデルパターンにおける各ポイントの座標)がかご21の出入口と重なるときとは、ある一定の期間において、各モデルパターンの座標が、かご21の出入口と重なるときである。
以上のように、画像認識処理部220は、第二処理において、画像(第一の画像又は第一の画像以外の画像)に人や物のモデルパターンを当てはめることで、人や物の位置を把握できる。また、画像認識処理部220は、第二処理において、異なる画像(第一の画像及び第一の画像以外の画像)に人や物のモデルパターンを当てはめることで、人や物の位置や移動経路を把握できる。また、本実施形態のドア制御システム1では、画像認識処理部220は、第二処理において人や物のモデルパターンを当てはめた撮像画像における三枚以上の前後の撮像画像について人や物のモデルパターンの各ポイントの座標を算出するため、第二処理において算出した人や物のモデルパターンの座標の変化により人や物の移動経路を把握することに加えて、人や物の移動経路を予測できる、即ち、人や物の動線予測を行うことができる。
画像認識処理部220が、人がかご21の出入口にいる、又は、人がかご21の出入口に接近してくると第三処理で判定すると、ドア装置211の戸閉動作を禁止し、且つ、ドア装置211を戸開状態で維持させる第四処理を行う。
本実施形態のドア制御システム1では、この第四処理において、第三処理にて物がかご21の出入口にある、又は、物がかご21の出入口に接近してくると第三処理で判定するときにも、ドア装置211の戸閉動作を禁止し、且つ、ドア装置211を戸開状態で維持させる。
尚、人や物がかご21の出入口に接近してくる際の移動経路としては、人や物が乗り場からかご出入口を介してかご21内へ向かう移動経路と、人や物がかご21内からかご出入口を介して乗り場へ向かう移動経路とを含む。
また、本実施形態のドア制御システム1では、第三処理の判定結果に応じてドア装置211の戸閉動作を禁止し、且つ、ドア装置211を戸開状態で維持させる際に、かご21内に報知を行う。例えば、制御マイコン20は、人がかご21の出入口にいるときには、スピーカー214に「かご21の出入口から離れてください」とのアナウンスを流すよう音声案内装置25に指示信号を出力する。また、制御マイコン20は、物がかご21の出入口にあるときには、スピーカー214に「かご21の出入口から物を離してください」とのアナウンスを流すよう音声案内装置25に指示信号を出力する。
さらに、本実施形態のドア制御システム1では、人や物がかご21の出入口から離れず、ドア装置211の戸開状態での維持時間が所定時間以上となった場合、制御マイコン20は、かご21を正常運転状態から運転休止状態とする。正常運転状態のかごは、乗り場で呼び出し釦が押される(呼び出し)まで待機しており、呼び出されると呼び出し階(呼び出し釦が押され階床)に向かうかごである。運転休止状態のかごは、呼び当て対象のかご(エレベータの乗り場における呼び出し釦が押されたとき、呼び出し階に向かう対象のかご)から除外される。
監視端末3は、例えば、複数の地域に設置された多数のエレベータの監視を行う。また、監視端末3は、対象となるエレベータと離れた建物である監視センター等に設置されている。本実施形態の監視センターには、監視員(オペレータ)が常駐している。
第二サーバー5は、例えば、有線回線により第一サーバー4に接続され、例えば、P2P(Peer to Peer)により接続されている。また、第二サーバー5は、データベース50を有する。データベース50は、各エレベータにおけるドア装置の設計値等の情報を記憶している。具体的に、データベース50は、ドア装置の設計値として、かご出入口の枠のサイズ、ドアの位置、及びドアのサイズ等を、エレベータの識別番号(例えば、エレベータの機番)に関連付けて記憶している。データベース50が書き換え可能であるため、データベース50には、例えば、新たなドア装置の設置時に該エレベータにおけるドア装置の設計値等の情報を追加することができる。
本実施形態のドア制御システム1では、データベース50は、各エレベータにそれぞれ対応する管理者端末6及び技術員端末7に関する情報(管理者の連絡先及び技術員の連絡先)を記憶している。データベース50は、サーバー処理部40からインターネットを介して画像認識処理部220による判定結果(人や物がかご21の出入口に重なるか否か、又は、人や物がかご21に接近してくるか否かの判定結果)を管理者端末6及び技術員端末7に出力するため、管理者端末6及び技術員端末7に関する情報として、管理者端末6のIPアドレス及び技術員端末7のIPアドレスを記憶している。
第一サーバー4は、例えば、インターネットを介して監視端末3に接続されている。また、第一サーバー4は、インターネットと監視端末3と通信系統R1とを介して、制御マイコン20に接続されている。
第一サーバー4は、通信系統R2を介して管理者端末6に接続可能である。通信系統R2は、例えば、第一サーバー4からインターネットを介して管理者端末6に通信可能であり、且つ、管理者端末6からインターネットを介して第一サーバー4に通信可能な通信系統である。また、第一サーバー4は、通信系統R3を介して、技術員端末7に接続可能である。通信系統R3は、例えば、第一サーバー4からインターネットを介して技術員端末7に通信可能であり、且つ、技術員端末7からインターネットを介して第一サーバー4に通信可能な通信系統である。通信系統R2、R3は、一部(インターネット)で共通している。
第一サーバー4は、ドア装置211の構造のモデルパターンを作成するサーバー処理部40を含む。例えば、サーバー処理部40は、画像認識処理部220による最初の処理前(上述の第一処理から第四処理までの一連の処理を最初に行う前)、又は、ドア装置211の仕様の変更時に、データベース50に記憶されたドア装置211の設計値等の情報に基づいて、ドア装置211の構造のモデルパターンを作成し、作成したモデルパターンを画像認識装置22に出力する。
具体的に、サーバー処理部40は、データベース50からドア装置211の設計値等の情報を取得すると共に、カメラ212から画像認識装置22等を介して、無人の状態で且つドア210の戸開状態におけるかご21内及び乗り場の撮像画像を取得する。サーバー処理部40は、例えば、無人の状態で且つドア210の戸開状態におけるかご21内及び乗り場の撮像画像を一枚取得する。
サーバー処理部40は、この撮像画像に対して、ノイズの除去等の前処理を行い、前処理後の撮像画像からエッジを抽出する。サーバー処理部40は、ドア装置211の設計値等から得られるドア装置211の形状特徴に基づいて、撮像画像から抽出したエッジから、例えば、ドア210の開閉領域(ドア210が開閉時に通過するかご出入口の枠で囲まれた領域)やドア210の高さ方向の寸法等を認識する。また、サーバー処理部40は、撮像画像から認識したドア210の開閉領域やドア210の高さ方向の寸法に基づいて、かご21内におけるカメラの位置を特定する。さらに、サーバー処理部40は、特定したカメラの位置に基づき、ドア210の位置関係等を再認識し、ドア210の輪郭に重なる箇所を判断し、カメラ視点の座標(図4におけるPC)を算出すると共に、ドア装置211の構造のモデルパターンを作成する(例えば、ドア装置211の各ポイントの座標(図4におけるP3)を算出してこれらの座標を結ぶ線で構成されるモデルパターンを作成する)。ドア装置211の各ポイントの座標は、例えば、ドア210の輪郭の角の座標、及びドア210の上端縁及び下端縁それぞれにおける中心点の座標である。
サーバー処理部40は、かご内におけるカメラの視野として、例えば、カメラ視点の座標を画像認識装置22に送信すると共に、ドア装置211の構造のモデルパターンとして、例えば、かご内における、ドア装置211の各ポイントの座標を画像認識装置22に出力する。
サーバー処理部40は、第三処理における画像認識処理部220による判定結果(人や物がかご21の出入口に重なるか否か、又は、人や物がかご21に接近してくるか否かの判定結果)が、マイコン処理部200から通信系統R1と監視端末3とインターネットとを介して入力されると、データベース50から、通知元(エレベータ2)に応じた管理者端末6及び技術員端末7に関する情報(管理者の連絡先及び技術員の連絡先)を取得し、例えば、この判定結果をそれぞれ文字情報として、管理者端末6に出力すると共に技術員端末7に出力することができる。出力される判定結果は、例えば、「物がかご出入口に置かれたままになっています」といったメッセージである。
管理者端末6及び技術員端末7は、それぞれ、例えば、PDA(Personal Digital Assistant)、ノートパソコン等の持ち運び可能な端末や、据え置き型のパソコン等の端末である。管理者端末6及び技術員端末7は、それぞれ、例えば、入力された情報を出力する出力部を有する。出力部は、出力する情報が画像情報や文字情報である場合にはディスプレイであり、出力する情報が音声情報である場合にはスピーカーである。本実施形態のドア制御システム1では、管理者端末6及び技術員端末7の出力部はディスプレイであり、このディスプレイは、サーバー処理部40から入力された判定結果を出力する。
管理者端末6は、例えば、エレベータ2を管理する管理者により所持される。技術員端末7は、例えば、出向の要請を受けると、エレベータ2のトラブルに対応するためにエレベータ2に出向する技術員により所持される。
以下、図5のフローチャート図を用いて、サーバー処理部40によるドア装置211の構造のモデルパターンの作成に関する処理の流れを説明する。
サーバー処理部40は、画像認識処理部220による最初の処理を行う前(上述の第一処理から第四処理までの一連の処理を最初に行う前)、又は、ドア装置211の仕様の変更時に、データベース50からドア装置211の設計値を取得する(S01)。また、サーバー処理部40は、カメラ212から画像認識装置22等を介して、無人状態であり且つドア210の戸開状態におけるかご21内及び乗り場の撮像画像を取得する(S02)。サーバー処理部40は、取得した撮像画像からドア装置211の構造のエッジを抽出する(S03)。
サーバー処理部40は、撮像画像から抽出したエッジと、データベース50から取得したドア装置211の設計値に基づいて、かご21内におけるカメラ212の位置を特定すると共に、ドア装置211の構造のモデルパターンを作成する(S04)。
その後、サーバー処理部40は、かご21内におけるカメラ212の位置に関する情報、及び、ドア装置211の構造のモデルパターンに関する情報を、画像認識装置22(画像認識処理部220)に出力する(S05)。具体的に、サーバー処理部40は、カメラ視点の座標を画像認識装置22に送信すると共に、ドア装置211の構造のモデルパターンとして、例えば、ドア210の開閉領域の輪郭を結ぶ線(ワイヤーフレーム)で構成されたモデルパターンを画像認識装置22に出力する。記憶部221は、出力されたカメラ212の位置に関する情報、及び、ドア装置211の構造のモデルパターンに関する情報を記憶する。
次に、図6のフローチャート図を用いて、第一処理から第四処理までの一連の処理の流れを説明する。
かご21の正常運転中に(S10)、画像認識処理部220は、撮像画像に人や物を検出すると(S11においてYes)、検出した人や物の位置及び移動経路を把握する(S12)。
具体的に、画像認識処理部220は、取得した複数の撮像画像のうち少なくとも二つの画像(本実施形態のドア制御システム1では、取得した複数の画像)から、それぞれエッジを抽出する第一処理を行い、第一処理において複数の画像から抽出されたエッジに、人や物のモデルパターンを当てはめる第二処理を行うことで、人や物を検出する。その後、画像認識処理部220は、取得した複数の画像から抽出されたエッジに当てはめた人や物のモデルパターンから、人や物のモデルパターンにおける各ポイントの座標を算出し、この人や物のモデルパターンにおける各ポイントの座標に基づき、人や物の位置、及び、人や物の移動経路を把握する。
画像認識処理部220は、S12で把握した人や物の位置及び移動経路に基づき、人や物の位置がかご21の出入口に重なる(S13においてYes)、又は、人や物がかご21の出入口に接近してくる(S14においてYes)とき、この判定結果をマイコン処理部200に出力する。
マイコン処理部200は、画像認識処理部220から判定結果が入力されると、ドア装置211に戸閉動作を禁止し且つドア装置211を戸開状態で維持するようドア装置211に指示信号を出力すると共に(S15)、スピーカー214に「かご21の出入口から離れてください」とのアナウンスや「かご21の出入口から者を離してください」とのアナウンスを流すよう音声案内装置25に指示信号を出力する(S16)。
さらに、マイコン処理部200は、ドア装置211の戸開状態での維持時間が所定時間以上であれば(S17においてYes)、かご21を運転休止とし(S18)、再び人や物を検出したか否かの判定処理を行う(S11に戻る)。
マイコン処理部200は、ドア装置211の戸開状態での維持時間が、所定時間未満であれば(S17においてNo)、かご21の正常運転を続けて(S10)、再び人や物を検出したか否かの判定処理を行う(S11に戻る)。
尚、画像認識処理部220が、S12で把握した人や物の位置及び移動経路に基づき、人や物の位置がかご21の出入口に重ならず(S13においてNo)、人や物がかご21の出入口に接近してこない場合(S14においてNo)、ドア装置211に戸閉動作を実行させ(S19)、戸閉動作が完了すれば(S20においてYes)、一連の処理を終了する。画像認識処理部220は、例えば、ドア装置211に対してドア210を戸閉状態とするよう制御マイコン20に指示信号を出力することで、ドア装置211に戸閉動作を実行させる。ドア装置211の戸閉動作が完了する場合とは、例えば、ドア装置211の戸閉動作の実行により、ドア210が完全は閉じた場合である。
ドア装置211の戸閉動作が完了しない場合(S20においてNo)、かご21の正常運転を続けて(S10)、再び人や物を検出したか否かの判定処理を行う(S11に戻る)。ドア装置211の戸閉動作が完了しない場合とは、例えば、ドア装置211の戸閉動作を実行させたものの、ドア210が完全には閉じていない場合である。
尚、画像認識処理部220が、人や物を検出しない場合(S11においてNo)、一連の処理を終了する。
以上のドア制御システム1では、S12において、人のモデルパターンによって人の位置や移動経路を適正に認識し、この認識に基づいて、人がかご21の出入口にいるとき(例えば、人がドア210の開閉領域に滞在しているとき)、又は、人がかご21の出入口に接近してくるとき(例えば、人がかご21内に駆け込んできたとき)に、ドア装置211の戸閉動作を禁止し、且つドア装置211を戸開状態で維持させる。これにより、ドア210と人との接触を防止することができる。
本実施形態のドア制御システム1では、撮像画像から抽出されたエッジのうちドア装置211の構造のモデルパターンに重なるエッジ以外のエッジに対して人のモデルパターンを当てはめることで、より適正に人のモデルパターンを当てはめることができるため、人の位置や移動経路がさらに適正に認識できる。これにより、ドア210と人との接触をより適正に防止することができる。
また、本実施形態のドア制御システム1では、画像認識処理部220が、人のモデルパターンによって人の位置や移動経路を把握することに加えて、物のモデルパターンによって物の位置や移動経路を把握しており、把握した物の位置や移動経路も考慮して、ドア装置211の開閉を制御している。そのため、ドア210と人との接触に加えて、ドア210と物との接触が適正に抑制される。
さらに、本実施形態のドア制御システム1では、スピーカー214が、かご21内や乗り場の人や物の位置又は移動経路に応じた情報(例えば、人にドア210から離れるように促す旨や、物をドア210から離すように促す旨)を報知することができる。これにより、ドア210と人や物との接触を確実に防止することができる。
本実施形態のドア制御システム1では、人や物がかご21の出入口に存在せず(S13においてNo)、人や物がかご21の出入口に接近してきていない(S14においてNo)場合においても、戸閉動作が完了されない場合に(S20においてNo)、再び人や物の位置や移動経路を把握する(S12)。そのため、例えば、ドア210の戸閉動作の途中で、人が突然ドア210に駆け寄る等、人や物がドア210に突然接近してきた場合においても、ドア210と人や物との接触を防止することができる。
尚、本発明のドア制御システム1は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、ある実施形態の構成に他の実施形態の構成を追加することができ、また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることができる。さらに、ある実施形態の構成の一部を削除することができる。
例えば、画像認識処理部220は、第二処理において、撮像画像のうちの少なくとも二つの画像から抽出されたエッジにおけるドア装置の構造のモデルパターンに重なるエッジ以外のエッジに、人のモデルパターン及び物のモデルパターンの両方を当てはめていたが、第二処理において人のモデルパターン及び物のモデルパターンのうち一方のみを当てはめてもよい。
このように処理を行っても、人のモデルパターンを当てはめた場合には、人の位置や移動経路に基づいてドア装置211を制御することで、ドア210と人との接触を防止することができる。また、物のモデルパターンを当てはめた場合には、物の位置や移動経路に基づいてドア装置211を制御することで、ドア210と物との接触を防止することができる。
上記実施形態のドア制御システム1では、画像認識処理部220は、第二処理において、撮像画像のうち少なくとも二つの画像のうちの一つの画像から抽出されたエッジにドア装置の構造のモデルパターンを当てはめてから人のモデルパターンを当てはめ(第一ステップ及び第二ステップ)、撮像画像のうち少なくとも二つの画像のうちの一つの画像以外の画像から抽出されたエッジにはドア装置の構造のモデルパターンを当てはめずに人のモデルパターンを当てはめていたが(第三ステップ)、撮像画像のうち少なくとも二つの画像のうちの一つの画像以外の画像から抽出されたエッジにも、ドア装置の構造のモデルパターンを当てはめてから人のモデルパターンを当てはめてもよい。即ち、撮像画像のうち少なくとも二つの画像から抽出されたエッジに人のモデルパターンを当てはめる際、毎回、ドア装置の構造のモデルパターンを当てはめてから人のモデルパターンを当てはめてもよい。
また、上記実施形態のドア制御システム1では、画像認識処理部220は、第二処理において、撮像画像のうち少なくとも二つの画像から抽出されたエッジのうちのドア装置の構造のモデルパターンに重なるエッジ以外のエッジに、人のモデルパターン及び物のモデルパターンを当てはめていたが、ドア装置の構造のモデルパターンを用いずに、この少なくとも二つの画像から抽出されたエッジに、人のモデルパターン及び物のモデルパターンを当てはめてもよい。
例えば、画像認識処理部220は、カメラ212から取得した複数の画像のうち少なくとも二つの画像と無人のかご内の撮像画像との差分、及び、これらの画像の変化から、何らかの物体がかご出入口に接近している、又は、何らかの物体がかかご出入口に接近してくると予測してもよい。
上記実施形態のドア制御システム1では、第二処理において、エッジを抽出した少なくとも二つの画像のうち第一の画像から抽出したエッジに人のモデルパターンを当てはめる処理(第二ステップ)を行い、次に、この少なくとも二つの画像のうち第一の画像以外の画像から抽出したエッジに人のモデルパターンを当てはめる処理(第三ステップ)を行い、さらに、先ほどの少なくとも二つの画像のうち第一の画像から抽出したエッジに物のモデルパターンを当てはめる処理(第四ステップ)を行い、最後に、先ほどの少なくとも二つの画像のうち第一の画像以外の画像から抽出したエッジに物のモデルパターンを当てはめる処理(第五ステップ)を行っていたが、これらステップを行う順序はこれに限らない。例えば、第二ステップの後に第四ステップを行い、さらに第三ステップと第五ステップとを順に行ってもよい。
また、上述のように、エッジを抽出した少なくとも二つの画像から抽出したエッジに対する人のモデルパターンの当てはめと物のモデルパターンの当てはめは、それぞれ個別の処理として順番に行ってもよいし、モデルパターンの当てはめ及び物のモデルパターンの当てはめを同時に行ってもよい。
処理部23は、ドア装置211の構造のモデルパターンとして、ドア210の開閉領域の各ポイントの座標を算出してこれらの座標を結ぶ線で構成されるモデルパターンを作成していたが、例えば、ドア210の戸閉状態でのかご21内の撮像画像からドア装置211のドア210の各ポイントの座標を算出すると共にドア210の開閉動作時の軌道を算出してモデルパターンを作成してもよいし、ドア210の上端縁又は下端縁の各ポイントの座標及びドア210の高さの寸法からモデルパターンを作成してもよい。
処理部23は、人のモデルパターン及び物のモデルパターンとして、各エレベータに共通して設定されたモデルパターンを用いていたが、各エレベータに個別に設定されたモデルパターンを用いてもよい。例えば、各エレベータが設置されている建物内での利用者のシルエットに応じて、個別の人のモデルパターンを追加してもよい。
人のモデルパターンは、人のパーツ(頭部及び胴部等)を簡略化したもの輪郭を結ぶ線(ワイヤーフレーム)で構成されるモデルパターンであったが、人のパーツをある程度詳細に描いたものの輪郭を結ぶ線(ワイヤーフレーム)で構成されるモデルパターンであってもよい。詳細な人のモデルパターンを用いることで、人の位置や挙動をより詳細に把握することができる。例えば、詳細な人のモデルパターンが、人の瞳、鼻、及び口などの輪郭を結ぶ線を含む場合、撮像画像から抽出されたエッジに対して、人のモデルパターンのうち人の瞳、鼻、及び口に対応する部分をそれぞれ当てはめることで、かご21内が有人であるか否かをより確実に判断することができる。
また、物のモデルパターンは、立方体の各辺を結ぶ線で構成されるモデルパターンであったが、より詳細なモデルパターンを用いてもよい。物のモデルパターンは、例えば、鞄、ベビーカー等の輪郭を結ぶ線で構成されるモデルパターンを含んでもよい。
モデルデータ(ドア装置211の構造のモデルパターン、人のモデルパターン、及び物のモデルパターン等)は、画像認識装置22の記憶部221以外、例えば、エレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバー等に記憶されていてもよい。
処理部23は、画像認識装置22に備えられた画像認識処理部220と、制御マイコン20に備えられたマイコン処理部200とを含んでいたが、これに限らず、処理部23の全てが、制御マイコン20に設けられてもよいし、画像認識装置22に設けられてもよい。また、処理部23の少なくとも一部が、エレベータ2以外の構成(例えば、第一サーバー4や、エレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバー)に含まれていてもよい。
例えば、処理部23は、詳細な人のモデルパターンを用いる場合、簡略化した人のモデルパターンを用いる場合と比べて、高い処理能力が必要であるため、処理部23や記憶部221をエレベータ2とは異なる場所(エレベータ2とは離れた場所)に設置されたサーバーに設けてもよい。
乗り場に設けられたドア装置は、かご21に設けられたドア装置211の動きに追従して動いていたが、これに限らず、かご21に設けられたドア装置211の動きと対応するように個別に動いてもよい。この場合、乗り場に設けられたドア装置の制御を個別に行ってもよいし、上述したかご21に設けられたドア装置211の制御と同様に行ってもよい。
カメラ212は、かご21内に複数設けられていてもよい。また、カメラ212として、監視カメラを用いる代わりに、監視カメラ以外の別のカメラを用いてもよい。このようなカメラとして、例えば、周囲全体を同時に撮影可能な360°カメラを用いてもよい。
また、カメラ212は、かご21内の天井に配置されていたが、かご21内の壁等に配置されてもよいし、乗り場等に配置されていてもよい。また、カメラ212は、かご21及び乗り場の両方に配置されていてもよい。この場合、かご21内での人や物の位置又は移動経路を把握すると共に、乗り場におけるより広い範囲での人や物の位置又は移動経路を把握することができる。
スピーカー214は、人や物がかご21の出入口にいるとき又はかご21の出入口に接近してくるときにアナウンスを流していたが、例えば、人がかご21内に設置された階床釦等を含む操作盤に持たれている場合には、「操作盤から離れてください」とアナウンスする等、人や物の位置又は移動経路に応じた情報をアナウンスしてもよい。尚、スピーカー214にアナウンスを流す以外にも、ディスプレイ215がこれらの情報を表示することで、このような情報を報知してもよい。
サーバー処理部40は、画像認識処理部220による判定結果を文字情報として管理者端末6及び技術員端末7に出力していたが、音声情報として出力してもよい。
また、ドア制御システム1が、第一サーバー4に接続された客先端末を備えていてもよい。客先端末は、例えば、管理人室・監視室等に設置される。この場合、サーバー処理部40が判定結果を客先端末に出力してもよい。例えば、ドア開閉障害物・ドアぶつけ等についての情報を、管理人室・監視室等に設置された客先端末に送信することで、管理者等がドア開閉障害・ドア損傷等に対して適切に対応することができる。尚、このような送信を行うために、データベース50は、各エレベータに対応する客先端末に関する情報を人や物の位置や移動経路と関連付けて記憶していてもよい。
上記実施形態のドア制御システム1は、複数台のエレベータを備えていたが、一台のエレベータを備えていてもよい。また、ドア制御システム1には、複数台の管理者端末6及び複数台の技術員端末7が接続可能であったが、一台の管理者端末6及び複数台の技術員端末7が接続可能であってもよいし、複数台の管理者端末6及び一台の技術員端末7が接続可能であってもよい。
通信系統R1は、電話回線を含んでいたが、図7に示すように、電話回線の代わりにインターネットを含んでいてもよい。通信系統R1は、例えば、制御マイコン20から順にインターネットを介して監視端末3に通信可能であり、且つ、監視端末3から逆にインターネットを介して制御マイコン20に通信可能な通信系統である。この場合、通信系統R1,R2,R3は、一部(インターネット)で共通している。