JP4030543B2 - ニューラル・ネットワークによる、エレベータードア内の障害物の存在とエレベータードアに向かう動きの検出 - Google Patents

Description

本発明は、エレベーターかごドアもしくは昇降路ドア、の経路の内側にある物体（動いているか否かに関わらず）と、エレベーターに向かう乗客または物体の動きとを、ニューラル・ネットワークのパターン認識を用いて検出し、適切な状況でドアの開放を命令するものに関する。

エレベータードアの経路またはその付近にある物体の検出に利用される一般的なシステムは、ドアの片側のエッジに垂直に設けられ、かつ、ドアの反対側のエッジに設けられた対応する列の光検出器を励起させる光ビームを出す一列の光源を採用する。光ビームが遮断されるとドアを開ける命令が下され、ドアが開くか、または開いたままになる。このようなシステムは通常申し分ないものではあるが、その個々の光の経路内にない物体は検知しないという特徴がある。さらに単一平面にある光配列では、ドア開口部にいくらか踏み込むまで人や物体の存在を検知しない可能性がある。

さらに複雑なエレベータードアの障害物検出は米国特許第５，３８７，７６８号と米国特許第５，４１０，１４９号に開示されている。しかし、これらの開示に従った装置は、動きだけを検知し、ドア経路にある静止したつまり動かない物体は検知しない。さらに画像の処理は非常に複雑で、大型のソフトウェアと多くの処理時間とを必要とする。異なる画像応答を有するエレベーターの複雑な装置を乗場に適応することは、必要とされる処理の性質上、非常に複雑で時間および費用が掛かってしまう。

現行の光ビームによるドア障害物検出装置は、移動するドアに電力を供給し、かつドアからの応答を受ける屈曲ケーブルを必要とする。

本発明の目的はエレベータードア経路障害物検知システムを提供することを含む。前記システムは、他の動きを無視しつつエレベーターに向かって動いている物体や人を検知するだけでなく、ドア経路にある動いていない物体や人も検知することができる。前記システムは、直ちにパソコンで利用可能なソフトウェアを使用して、即座に種々の乗場床の画像に適用される。前記パソコンは学習過程期間だけ一時的に装置に接続される必要があるが、その後は取り外される。これにより、非常に高速で、複雑な画像処理を必要せず、かつ、種々のエレベーターシステムおよび乗場の組み込みにすぐに適応され、またドアに装置を取り付ける必要のない、簡単かつ比較的低コストな装置が提供される。

本発明によれば、ドアの敷居が設けられたエレベーターのドア経路の一部と、敷居近傍の乗場床が設けられたエレベーター近傍の乗場の一部とを含む容積におけるビデオ画像が一次元の数値ベクトルに変換され、パターン認識ニューラル・ネットワークに送られる。これにより、エレベーターの方向に接近している物体や、１つまたは複数のドア経路にある物体があることを示す、前記ニューラル・ネットワークによって認識された１つまたは複数のパターンに反応してドア開放信号が供給される。

本発明の他の目的、特徴、利点は、添付図面に示す実施態様についての以下の詳しい説明を参照すればより明らかになるであろう。

図１と図２を参照すると、エレベーター９は、昇降路１０内にあって、建物１６のホール１３にある乗場１２近傍に位置している。乗場には、進入通路１７と、敷居１９が付いたホールドアつまり昇降路ドア１８と、床２０と、が設けられる。かごには敷居２４が付いたドア２３が設けられる。かごの上部には赤外線などの適切な照明を備えたカメラ２６が取り付けられている。図１に示されているように、照明は、少なくとも第１ゾーン２７と第２ゾーン２９とを含み、第１ゾーン２７は前記カメラから下に向かって敷居１９，２４および敷居１９に隣接した乗場床２０の一部にまで延在する容積を含み、そして第２ゾーン２９は前記カメラから下に向かって敷居１９と２４の両方に延在している容積を含む。本明細書中に使用される「ドア」は、１つの昇降路ドア、１つのかごドア、または複数の昇降路ドアおよびかごドアを意味する。

本発明によれば、カメラは、視野をゾーン１とゾーン２に限定する適切な対物レンズを備える。対象のゾーンが確実に照明されるように、適切な照明は赤外線照明であってよく、乗客を妨害することなく、確実な画像強度（image intensity）を付与し得る。

本発明によれば、第１のコンセプトはゾーン２内で、開いているドア（すなわち敷居が見えている）と、閉じているドア（すなわちドアの上部が見えている）、そして開きかけているドアと閉じかけているドアについてのパターンを決定することである。それらの画像に合わないもの全てにはドア開放指令を出し、ドアを開くか、または開いたままにする。ゾーン１内では、エレベーターに乗る意思を示す動きを表すパターンが認識される。これは、エレベーターに向かう動きの兆候を含んでもよく、他の人を避けるために横を向いている人の動きや、エレベーターのかごに向かって出入口を通る意思を示すと思われるその他の動きを含んでもよい。この実施態様ではゾーン１とゾーン２とは重なり合わない。しかしながら、本発明のいかなる実施例においても、必要に応じて、ゾーン１をゾーン２に含むように拡大してもよい。

図２においては、カメラ２６が処理カード３３に入力を送り、処理カード３３は特に、フィールド・プログラマブル・ゲート・アレイ３４と、１つもしくは複数のニューラル・ネットワークチップ３５と、メモリー３６とを含む。ニューラル・ネットワークは、処理過程でプログラムステップが含まれないため、よく、ゼロ・インストラクション設定コンピュータ（ＺＩＳＣ）と呼ばれる。処理カード３３に送られたビデオ画像はニューラル・ネットワークに適応するために単一の数値ベクトルに変換される。処理カードはＮｅｕｒｏＳｉｇｈｔという商標名でＧｅｎｅｒａｌ−Ｖｉｓｉｏｎから販売されているニューラル・ネットワークカードであってよい。ＮｅｕｒｏＳｉｇｈｔおよび付随技術の付加的な説明については、ｈｔｔｐ：／／ｗｗｗ．ｇｅｎｅｒａｌ−ｖｉｓｉｏｎ．ｃｏｍを参照されたい。本発明に適しており、ここに引用されるＩＢＭ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｃｈｉｐ ａｎｄ ｎｅｔｗｏｒｋｓについては、米国特許第５，７１７，８３２号に開示されている。市販のＮｅｕｒｏＳｉｇｈｔカードを使用する代わりに、本発明のドア障害物検知アプリケーションに必要な特徴だけを含むように処理カードを変更してもよい。カード３３の出力は、いずれの形式であっても、ライン３８のドア開放信号を有しており、この信号は、エレベーターのドアコントローラー３９に送られ、ドアを開くか、または開いたままにするよう指示する。

計画された認識スキームをニューラル・ネットワーク３５に学習させるために、カメラから画像を受け取り、カード３３上で制御できるようにパソコン４２が接続される。前記パソコン４２はＺｉｓｃ Ｅｎｇｉｎｅ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｓｏｆｔｗａｒｅ（ＺＥＩＦＲ）のような適切なソフトウェアを搭載しており、これにより、オペレーターがニューラル・ネットワーク・パターンを学習させ、画像とあるテンプレートとの違いを設定することを可能にする。パターンは画素の強度、色などを基準とすることができ、パターン認識はＲａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ（ＲＢＦ）またはＫ−Ｎｅａｒｅｓｔ−Ｎｅｉｇｈｂｏｒ（ＫＮＮ）モデルのいずれに基づいたものであってもよい。画像認識エンジンの訓練（training）はパソコンのスクリーン上にある目標物をマークし、画像が関連する最高２００までのカテゴリーのうちの１つをリストアップし、または特定の画像の検知からの所望の結果をリストアップし、そして学習ボタンをクリックすることで達成される。画像認識エンジンに認識されないライブビデオの領域は、いずれも着色された長方形でマークされる。そのような長方形は、スクリーン上で選択され、所望のカテゴリーつまり結果に対応づけられ、システムに入力される。画像認識ソフトウェアで起こる学習は処理カード３３にダウンロードされる。学習は静止画または動画で形成されうる。認識エンジンはドアの動き、周囲（床や壁など）のパターンや色、そして視野内にいる人々が身につけている服の画像や反射を無視することができる。

本発明を説明するための図面であって、乗場におけるエレベーターの一部を模式化した部分概略側面図である。 乗場におけるエレベーターの一部を簡略的に模式化した上面斜視図である。 本発明による装置について簡略的に示したブロック図である。

Claims (6)

1. 敷居（１９，２４）が設けられたエレベータードアの経路内にある障害物とエレベーター（９）に向かう乗客や物体の動きを検出する検出装置であって、
   乗場ドアの敷居近傍の乗場床を含む、エレベーター近傍の乗場の一部を含む第１ゾーン（２７）を照明する手段（２６）と、
   かごドアの敷居を含む、エレベーターのドア経路の一部を含む第２ゾーン（２９）を照明する手段（２６）と、
   前記第１ゾーン（２７）および第２ゾーン（２９）の連続ビデオ画像を継続的に供給する手段（２６）と、
   前記ビデオ画像の各々を一次元数値ベクトルに変換する手段（３４）と、
   パターン認識ニューラル・ネットワーク（３５）であって、前記第１ゾーン（２７）内で物体が動いていること、および前記第２ゾーン（２９）内に物体があることを示す前記ニューラル・ネットワークによって認識された１つまたは複数のパターンに反応してドア開放信号を供給することができるとともに、前記パターンは、前記第２ゾーン（２９）内における少なくともドア開およびドア閉を含む所定のパターンを有し、前記第２ゾーン（２９）内における前記所定のパターンは、前記第２ゾーン（２９）内のビデオ画像の前記数値ベクトルに基づいて前記所定のパターンとの一致の判断に用いられることを特徴とするパターン認識ニューラル・ネットワーク（３５）と、
   それぞれの前記ベクトルを前記ニューラル・ネットワークに適用する手段と、
   前記ドアの開閉を制御するエレベータードアコントローラー（３９）と、
   前記ドアを開くか、または開いたままにしておくように、前記ドア開放信号を前記ドアの開閉を制御する前記エレベータードアコントローラーに適用する手段（３４，３８）と、
   を含んだ検出装置。
2. 前記第１ゾーン（２７）および前記第２ゾーン（２９）が、重なり合わないことを特徴とする請求項１に記載の検出装置。
3. 前記第１ゾーン（２７）が、前記第２ゾーン（２９）を含むように拡大されていることを特徴とする請求項１に記載の検出装置。
4. 敷居（１９，２４）が設けられたエレベータードア経路内にある障害物とエレベーター（９）に向かう乗客や物体の動きを検出する検出方法であって、
   （ａ）乗場ドアの敷居近傍の乗場床を含む、エレベーター近傍の乗場の一部を含む第１ゾーン（２７）と、かごドアの敷居を含む、エレベーターのドア経路の一部を含む第２ゾーン（２９）と、を照明（２６）する段階と、
   （ｂ）前記第１ゾーン（２７）および第２ゾーン（２９）の連続するビデオ画像を継続的に供給（２６）する段階と、
   （ｃ）前記ビデオ画像の各々を一次元数値ベクトルに変換（３４）する段階と、
   （ｄ）パターン認識ニューラル・ネットワーク（３５）に前記各ベクトルを適用する段階であって、これにより、前記第１ゾーン（２７）内で物体が動いていること、および前記第２ゾーン（２９）内に物体があることを示す前記ニューラル・ネットワークによって認識された１つまたは複数のパターンに反応してドア開放信号を供給することができるとともに、前記パターンは、前記第２ゾーン（２９）内における少なくともドア開およびドア閉を含む所定のパターンを有し、前記第２ゾーン（２９）内における前記所定のパターンは、前記第２ゾーン（２９）内のビデオ画像の前記数値ベクトルに基づいて前記所定のパターンとの一致の判断に用いられることを特徴とする適用段階と、
   （ｅ）前記ドアを開くかまたは開いたままにしておくように、前記ドア開放信号をドアの開閉を制御するエレベータードアコントローラー（３９）に適用（３８）する段階と、
   を含んだ検出方法。
5. 前記第１ゾーン（２７）および前記第２ゾーン（２９）が、重なり合わないことを特徴とする請求項４に記載の検出方法。
6. 前記第１ゾーン（２７）が、前記第２ゾーン（２９）を含むように拡大され ていることを特徴とする請求項４に記載の検出方法。

Images