JP6657167B2 - 利用者検知システム - Google Patents

Description

本実施形態は、利用者検知システムに関する。

近年、人や物が、エレベータのドアや自動ドアに挟まれてしまうのを防止するために、ドア近辺をカメラで撮影し、撮影された画像（撮影画像）からドアに挟まれる恐れがある人や物を検知し、当該検知の結果をドアの開閉制御に反映させる技術が開発されている。

上記した技術では、人や物がドアに挟まれる恐れがない状態の画像を基準画像として事前に用意しておき、当該基準画像と、カメラによって撮影された撮影画像とを比較することで、ドアに挟まれる恐れがある人や物を検知している。

特許第４６２２４１６号公報 特開２０１１−９３７０２号公報

しかしながら、上記した技術では、基準画像を撮影した時の照明条件と、撮影画像を撮影した時の照明条件とが異なってしまう場合があり、この場合、照明条件の変化に追従できずに、ドアに挟まれる恐れがある人や物を正常に検知することができないといった不都合が生じ得る。また、上記した技術では、基準画像を事前に用意しておく必要があるので、手間がかかるという不都合も生じ得る。

本発明の実施形態が解決しようとする課題は、カメラによる画像撮影時の照明条件に左右されずに、ドアに挟まれる恐れがある人や物を検知可能な利用者検知システムを提供することである。

一実施形態によれば、利用者検知システムは、ドア近辺に設置され、前記ドアが戸開閉する際に走行する走行領域と前記ドア周辺とを撮影可能な撮影手段と、前記撮影手段によって撮影された画像に基づき、前記ドア周辺にある第１構造物と第２構造物との端部同士を前記画像上での境界として検知する境界検知手段と、前記境界検知手段による検知の結果に基づき、前記境界における利用者の有無を検知する利用者検知手段と、前記利用者検知手段による検知の結果に基づき、前記ドアの開閉動作を制御する制御手段とを具備する。

第１の実施形態に係る利用者検知システムの構成を示す図。 同実施形態に係るかごシルに対応した検知エリアの設定処理の手順の一例を示すフローチャート。 同実施形態に係る３次元座標を説明するための図。 同実施形態に係るかごシルに対応した検知エリアの一例を示す図。 同実施形態に係る乗場シルに対応した検知エリアの設定処理の手順の一例を示すフローチャート。 同実施形態に係る乗場シルに対応した検知エリアの一例を示す図。 同実施形態に係るかごシルと乗場シルとの間に対応した検知エリアの一例を示す図。 同実施形態に係る撮影画像の２値画像の一例を示す図。 同実施形態に係る利用者検知処理の手順の一例を示すフローチャート。 図９に示すフローチャートの一部の処理を詳しく説明するためのフローチャート。 図１０に示すフローチャートを補足的に説明するための図。 ドアに挟まれる恐れがある利用者がいないと判断する場合の累積画素値の遷移の一例を示す図。 ドアに挟まれる恐れがある利用者がいると判断する場合の累積画素値の遷移の一例を示す図。 第２の実施形態に係るかごドアの先端に対応した検知エリアの設定処理の手順の一例を示すフローチャート。 同実施形態に係るドアの先端に対応した検知エリアの一例を示す図。 同実施形態に係るドアの先端に対応した検知エリアの別の例を示す図。 ドアに挟まれる恐れがある利用者がいないと判断する場合の累積画素値の遷移の一例を示す図。 ドアに挟まれる恐れがある利用者がいると判断する場合の累積画素値の遷移の一例を示す図。

以下、実施の形態について図面を参照して説明する。開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

また、以下では、人や物が挟まれる恐れがあるドアとして、エレベータのドアを一例に挙げた上で各種処理を説明するが、以下で説明する各種処理は、エレベータのドアだけでなく、自動ドア等に適用されても良い。

なお、以下では、エレベータのことを「乗りかご」と称して説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る利用者検知システムの構成を示す図である。なお、ここでは、１台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。

本実施形態に係る利用者検知システムにおいては、乗りかご１１の出入口上部にカメラ１２が設置されている。具体的には、カメラ１２は、乗りかご１１の出入口上部を覆う幕板１１ａの中に、乗りかご１１のシル（敷居）全体を撮影範囲に含める向き（ドアが戸開閉する際に走行する走行領域と、当該ドア周辺とを撮影範囲に含める向き）で設置されている。カメラ１２は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズを有し、１秒間に数コマ（例えば３０コマ／秒）の画像を連続的に撮影可能である。

カメラ１２は、乗りかご１１の移動速度が所定値未満のときに起動する。具体的には、カメラ１２は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になると起動し、撮影を開始する。つまり、カメラ１２による撮影は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になってから、乗りかご１１が所定階に停止している間中も含めて、乗りかご１１が当該所定階から別の階に向かうために加速を開始し、移動速度が所定値以上になるまで、継続して行われる。

各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３を戸開している時には乗場ドア１４も戸開しており、かごドア１３が戸閉している時には乗場ドア１４も戸閉しているものとする。

カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０（利用者検知装置）によってリアルタイムに解析処理される。なお、図１では、便宜的に画像処理装置２０を乗りかご１１から取り出して示しているが、実際には、画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。

画像処理装置２０には、記憶部２１と検知部２２とが備えられている。記憶部２１は、カメラ１２によって撮影された画像を逐次保存すると共に、検知部２２の処理に必要なデータを一時的に保存しておくためのバッファエリアを有する。なお、記憶部２１には、撮影画像に対する前処理として、歪み補正や拡大縮小、一部切り取り等の処理が施された画像が保存されるとしても良い。

検知部２２は、乗りかご１１のドア近辺に決まって位置する所定の形状の構造物の輪郭（エッジ）を検知し、当該検知されたエッジの形状に基づいて、ドアに挟まれる恐れがある利用者の有無（存在）を検知する。検知部２２は、ドアに挟まれる恐れがある利用者の存在を検知した場合、当該検知の結果に関連した信号（指示）をかご制御装置３０に出力する。

なお、乗りかご１１のドア近辺に決まって位置する構造物としては、シル（敷居）が一例として挙げられる。シルとは、ドア開閉用の溝であり、一般的に、かごドア１３用のかごシル１３ａと、乗場ドア１４用の乗場シル１４ａとがそれぞれドア近辺に設けられる。

かご制御装置３０は、乗りかご１１内部に設置される各種装置（行先階ボタンや照明等）の動作を制御する。また、かご制御装置３０は、検知部２２から出力された信号に応じた動作の制御も行う。例えば、かご制御装置３０は、検知部２２から出力された信号に応じて、乗りかご１１内に設置される図示せぬ通知部の動作を制御し、ドアに挟まれる恐れがある利用者に対する注意喚起等を行う。

また、かご制御装置３０は戸開閉制御部３１を備えており、戸開閉制御部３１は、かごドア１３の戸開閉動作を制御する。戸開閉制御部３１は、通常時の戸開閉制御の他に、検知部２２から出力された信号に応じたかごドア１３の戸開閉動作（戸開維持、反転戸開）も制御する。

検知部２２は、図１に示すように、境界検知部２２ａと利用者検知部２２ｂとを備えている。以下、これら機能部について詳しく説明する。

境界検知部２２ａは、記憶部２１に保存される撮影画像のうち、最新の撮影画像１枚を取得し、当該１枚の撮影画像に基づき、利用者検知部２２ｂにおいてドアに挟まれる恐れがある利用者を検知するための検知エリアを設定する。この検知エリアは、撮影画像上においてかごシル１３ａ及び乗場シル１４ａが映ると推測される位置に設定される。かごシル１３ａ及び乗場シル１４ａが映ると推測される位置は、乗りかご１１の寸法やカメラ１２固有の値、具体的には、下記（ａ）〜（ｅ）の条件に基づき算出される。

（ａ）かごシル１３ａ及び乗場シル１４ａの幅
（ｂ）かごドア１３及び乗場ドア１４の高さ
（ｃ）３次元空間における、かごシル１３ａ及び乗場シル１４ａに対するカメラ１２の相対位置
（ｄ）カメラ１２の３軸の角度
（ｅ）カメラ１２の画角及び焦点距離
ここで、図２のフローチャートと、図３及び図４の模式図とを参照して、境界検知部２２ａにより実行されるかごシル１３ａに対応した検知エリアの設定処理の手順の一例について説明する。

まず、境界検知部２２ａは、かごシル１３ａの幅（条件ａ）と、３次元空間におけるかごシル１３ａに対するカメラ１２の相対位置（条件ｃ）とに基づいて、床面に存在するかごシル１３ａの両端の３次元座標を算出する（ステップＳ１）。

３次元座標とは、図３に示すように、かごドア１３と水平の方向をＸ軸とし、かごドア１３の中心から乗場１５の方向（かごドア１３に対して垂直の方向）をＹ軸とし、乗りかご１１の高さ方向をＺ軸とした場合の座標である。つまり、上記した床面は、３次元空間内で高さが０（換言すると、Ｚ座標が０）となる。

続いて、境界検知部２２ａは、ステップＳ１において算出されたかごシル１３ａの両端の３次元座標を、撮影画像上の２次元座標に射影して、かごシル１３ａの両端に対応する２次元座標、具体的には、図４に示す撮影画像の横方向をＸ軸とし、縦方向をＹ軸とした場合の点ＰＡ１，ＰＡ２の２次元座標を算出する（ステップＳ２）。

次に、境界検知部２２ａは、図４に示すように、ステップＳ２において算出された２次元座標によって特定される２点ＰＡ１，ＰＡ２が位置する各画素から、所定画素（例えば５画素）だけ垂直方向（２次元座標のＹ軸負方向）に離れて位置する２点ＰＡ３，ＰＡ４をそれぞれ算出（特定）する（ステップＳ３）。なお、ここでは、点ＰＡ１，ＰＡ２から所定画素だけ離れている点が点ＰＡ３，ＰＡ４として算出（特定）されたが、例えば、点ＰＡ１，ＰＡ２から３次元座標上で５０ｍｍだけ垂直方向（３次元座標のＹ軸負方向）に離れて位置する点が点ＰＡ３，ＰＡ４として算出（特定）されても良い。

しかる後、境界検知部２２ａは、図４に示すように、点ＰＡ１と点ＰＡ２とを結んで形成される線分ＬＡ１と、点ＰＡ１と点ＰＡ３とを結んで形成される線分ＬＡ２と、点ＰＡ２と点ＰＡ４とを結んで形成される線分ＬＡ３と、点ＰＡ３と点ＰＡ４とを結んで形成される線分ＬＡ４とで囲まれる領域を、かごシル１３ａに対応した検知エリアＥ１として設定し（ステップＳ４）、設定処理を終了させる。

次に、図５のフローチャートと、図６の模式図とを参照して、境界検知部２２ａにより実行される乗場シル１４ａに対応した検知エリアの設定処理の手順の一例について説明する。

まず、境界検知部２２ａは、乗場シル１４ａの幅（条件ａ）と、３次元空間における乗場シル１４ａに対するカメラ１２の相対位置（条件ｃ）とに基づいて、床面に存在する乗場シル１４ａの両端の３次元座標を算出する（ステップＳ１１）。

続いて、境界検知部２２ａは、ステップＳ１１において算出された乗場シル１４ａの両端の３次元座標を、撮影画像上の２次元座標に射影して、乗場シル１４ａの両端に対応する２次元座標、具体的には、図６に示す撮影画像の横方向をＸ軸とし、縦方向をＹ軸とした場合の点ＰＢ１，ＰＢ２の２次元座標を算出する（ステップＳ１２）。

次に、境界検知部２２ａは、図６に示すように、ステップＳ１２において算出された２次元座標によって特定される２点ＰＢ１，ＰＢ２が位置する各画素から、所定画素（例えば５画素）だけ垂直方向（２次元座標のＹ軸正方向）に離れて位置する２点ＰＢ３，ＰＢ４をそれぞれ算出する（ステップＳ１３）。

しかる後、境界検知部２２ａは、図６に示すように、点ＰＢ１と点ＰＢ２とを結んで形成される線分ＬＢ１と、点ＰＢ１と点ＰＢ３とを結んで形成される線分ＬＢ２と、点ＰＢ２と点ＰＢ４とを結んで形成される線分ＬＢ３と、点ＰＢ３と点ＰＢ４とを結んで形成される線分ＬＢ４とで囲まれる領域を、乗場シル１４ａに対応した検知エリアＥ２として設定し（ステップＳ１４）、設定処理を終了させる。

さらに、図７の模式図を参照して、境界検知部２２ａにより実行されるかごシル１３ａと乗場シル１４ａとの間（隙間）に対応した検知エリアの設定について説明する。

境界検知部２２ａは、図７に示すように、上記したステップＳ２において算出された点ＰＡ１と点ＰＡ２とを結んで形成される線分ＬＡ１と、上記したステップＳ１２において算出された点ＰＢ１と点ＰＢ２とを結んで形成される線分ＬＢ１と、点ＰＡ１と点ＰＢ１とを結んで形成される線分ＬＣ１と、点ＰＡ２と点ＰＢ２とを結んで形成される線分ＬＣ２とによって囲まれる領域を、かごシル１３ａと乗場シル１４ａとの間（隙間）に対応した検知エリアＥ３として設定する。

なお、ここでは、図４、図６及び図７に示すように、かごシル１３ａ、乗場シル１４ａ及び隙間に対応した検知エリアがそれぞれ１つずつ設定される場合を例示したが、例えば、かごシル１３ａ及び乗場シル１４ａが複数に分割されている場合、分割されたシルのそれぞれについて検知エリアが設定されても良い。つまり、かごシル１３ａに対応した複数の検知エリア、乗場シル１４ａに対応した複数の検知エリア、隙間に対応した複数の検知エリアが設定されても良い。

上記したように、検知エリアＥ１〜Ｅ３が設定されることで、後述する境界を検知する領域を当該検知エリアＥ１〜Ｅ３だけに絞り込むことができる。

再度、境界検知部２２ａの機能の説明に戻る。

境界検知部２２ａは、撮影画像から、人や物の輪郭（エッジ）を検知（抽出）し、図８に示すように、撮影画像を２値化（「０（エッジ無）」または「１（エッジ有）」）する。これによれば、かごシル１３ａと床との境界、乗場シル１４ａと床との境界、かごシル１３ａ及び乗場シル１４ａと上記した隙間との境界、等を検知することができる。

図８の白色部分が、検知されたエッジに相当し、図８の黒色部分は、エッジが検知されなかった部分に相当する。なお、図８では、撮影画像から、人や物のエッジ全てが検知された場合を例示しているが、境界検知部２２ａは、撮影画像から、上記した検知エリアＥ１〜Ｅ３近辺に位置する人や物のエッジを少なくとも検知すれば良い。

エッジを検知する方法としては、例えば、所定の画素と、当該所定の画素に隣接する画素との画素値を比較する方法が用いられる。つまり、境界検知部２２ａは、所定の画素と、当該所定の画素に隣接する画素との画素値を比較し、これら画素値の差分が予め設定された閾値以上であった場合に、エッジを検知し、当該差分が予め設定された閾値未満であった場合、エッジを検知しない。

あるいは、境界検知部２２ａは、所定の画素と、当該所定の画素から所定画素（所定幅）だけ離れた画素との画素値を比較することによって、エッジの有無を検知しても良い。または、境界検知部２２ａは、複数の画素からなる画素群の平均輝度値と、当該画素群とは異なる（隣接する）他の画素群の平均輝度値とを比較し、これら平均輝度値の差分が予め設定された閾値以上であった場合に、エッジを検知し、当該差分が予め設定された閾値未満であった場合、エッジを検知しないとしても良い。

なお、エッジを検知する方法としては、上記した各種方法の他に、公知の任意の方法が用いられても良い。

また、上記では、境界検知部２２ａは、かごシル１３ａと床との境界、乗場シル１４ａと床との境界、かごシル１３ａ及び乗場シル１４ａと上記した隙間との境界を検知するために、撮影画像から、人や物のエッジを検知し、撮影画像を２値化するとしたが、境界検知部２２ａは、画素毎の輝度勾配の強さ（換言すると、エッジの強さ）を、公知の任意の方法にて検知し、上記した各種境界を検知するとしても良い。あるいは、境界検知部２２ａは、撮影画像を多数の小さな領域に分割してテクスチャを分析し、異なるテクスチャで区切られる画素を検知することで、上記した各種境界を検知するとしても良い。

続いて、利用者検知部２２ｂの機能について説明する。

利用者検知部２２ｂは、境界検知部２２ａによって２値化された撮影画像（以下、「２値画像」と表記する）と、境界検知部２２ａによって検知された各種境界とに基づいて、ドアに挟まれる恐れがある利用者が存在するか否かを判定する。

ここで、図９のフローチャートを参照して、利用者検知部２２ｂによって実行される利用者検知処理の手順の一例について説明する。

まず、利用者検知部２２ｂは、２値画像を示す画像データを境界検知部２２ａから取得する（ステップＳ２１）。なお、２値画像を示す画像データは記憶部２１から取得されるとしても良い。続いて、利用者検知部２２ｂは、取得した画像データによって示される２値画像から、検知エリアＥ１〜Ｅ３部分をそれぞれ抽出する（ステップＳ２２）。

次に、利用者検知部２２ｂは、抽出した検知エリアＥ１〜Ｅ３部分の各画像（以下、「検知エリア画像」と表記する）を参照して、境界検知部２２ａによって検知された各種境界のいずれかが途切れているか否かを判定する（ステップＳ２３）。詳しくは、利用者検知部２２ｂは、抽出した検知エリアＥ１に対応した検知エリア画像を参照して、かごシル１３ａと床との境界が途切れているか否かと、抽出した検知エリアＥ２に対応した検知エリア画像を参照して、乗場シル１４ａと床との境界が途切れているか否かと、抽出した検知エリアＥ３に対応した検知エリア画像を参照して、かごシル１３ａ及び乗場シル１４ａと上記した隙間との境界が途切れているか否かと、をそれぞれ判定する。

なお、各種境界のいずれもが途切れていないと判定された場合（ステップＳ２３のＮＯ）、利用者検知部２２ｂは、ドアに挟まれる恐れがある利用者は存在しないと判断し、利用者検知処理を終了させる。

一方で、各種境界のいずれかが途切れていると判定された場合（ステップＳ２３のＹＥＳ）、利用者検知部２２ｂは、ドアに挟まれる恐れがある利用者が存在すると判断し（ステップＳ２４）、当該判断の結果に関連した信号をかご制御装置３０に出力して（ステップＳ２５）、利用者検知処理を終了させる。

次に、図１０のフローチャートと、図１１の模式図とを参照して、上記したステップＳ２３の処理についてより詳しく説明する。

まず、利用者検知部２２ｂは、上記したステップＳ２２において抽出された検知エリア画像に含まれる多数の画素のうち、第ｘ列に位置する複数の画素に着目する（ステップＳ３１）。

検知エリア画像には、多数の画素が含まれており、例えばｍ×ｎ個の画素が含まれている。すなわち、検知エリア画像には、図１１に示すように、画像水平方向にｍ個（ｍ列）の画素が並び、画像垂直方向にはｎ個（ｎ行）の画素が並んでいることになる。つまり、上記したステップＳ３１のｘには、１〜ｍの値が順に代入される。

続いて、利用者検知部２２ｂは、着目した第ｘ列に並ぶｎ個の画素の値の合計値（以下、「累積画素値」と表記する）を算出する（ステップＳ３２）。

検知エリア画像は、２値画像から検知エリア部分を抽出した画像であるので、当該検知エリア画像に含まれる画素の値は０または１である。上記したように、２値画像においては、白色部分の画素の値が１であり、黒色部分の画素の値は０であるので、利用者検知部２２ｂは、これにしたがって、第ｘ列に並ぶｎ個の画素の累積画素値を算出する。

次に、利用者検知部２２ｂは、算出した累積画素値が０であるか否かを判定する（ステップＳ３３）。なお、累積画素値が０であると判定された場合（ステップＳ３３のＹＥＳ）、利用者検知部２２ｂは、境界が途切れてしまっているものと判定し（ステップＳ３４）、その後、上記したステップＳ２４の処理を実行する。

一方で、累積画素値が０でないと判定された場合（ステップＳ３３のＮＯ）、利用者検知部２２ｂは、全ての列について着目したか否かを判定する（ステップＳ３５）。

なお、全ての列について着目したと判定された場合、つまり、ｘ＝ｍであると判定された場合（ステップＳ３５のＹＥＳ）、利用者検知部２２ｂは、境界は途切れていないものと判定する（ステップＳ３６）。つまり、利用者検知部２２ｂは、ドアに挟まれる恐れがある利用者は存在しないと判断し、利用者検知処理を終了させる。

一方で、全ての列について着目していないと判定された場合、つまり、ｘ≠ｍであると判定された場合（ステップＳ３５のＮＯ）、利用者検知部２２ｂは、ｘに１を加算し、この値を新たなｘとした上で（ステップＳ３７）、上記したステップＳ３１の処理に戻り、上記した各種処理を繰り返し実行する。

図１２及び図１３は共に、境界検知部２２ａによって２値化された２値画像と、当該２値画像から抽出された検知エリアＥ２に対応した検知エリア画像と、当該検知エリア画像に対して図１０に示した一連の処理を適用した場合の結果との一例を示す。

図１２（ａ）の２値画像から抽出された図１２（ｂ）の検知エリア画像に対して、上記した図１０に示す一連の処理を適用した場合の各列の累積画素値は、図１２（ｃ）のようになる。図１２（ｃ）において、縦軸は累積画素値を示し、横軸は各列を識別するための番号（または画像水平方向の座標）を示す。

この場合、図１２（ｃ）に示すように、累積画素値が０になる列はないので、利用者検知部２２ｂは、検知エリアＥ２に対応した境界、つまり、乗場シル１４ａと床との境界は途切れていないものと判定し、検知エリアＥ２には、ドアに挟まれる恐れがある利用者は存在しないものと判断する。

一方、図１３（ａ）の２値画像から抽出された図１３（ｂ）の検知エリア画像に対して、上記した図１０に示す一連の処理を適用した場合の各列の累積画素値は、図１３（ｃ）のようになる。この場合、図１３（ｃ）の点線で囲まれる列にて累積画素値が０になっているので、利用者検知部２２ｂは、検知エリアＥ２に対応した境界、つまり、乗場シル１４ａと床との境界は途切れているものと判定し、検知エリアＥ２には、ドアに挟まれる恐れがある利用者が存在するものと判断する。

なお、ここでは、検知エリアＥ２に対応した検知エリア画像を例にとって説明したが、検知エリアＥ１，Ｅ３に対応した検知エリア画像についても同様である。

また、ここでは、累積画素値が０となる列が存在するか否かを判定することで、各種境界が途切れているか否かを判定するとしたが、例えば、累積画素値が１以上の列の割合（＝［累積画素値が１以上の列の数］／ｍ）を算出し、当該算出された割合が予め設定された閾値未満（例えば９５％未満）であるか否かを判定することで、各種境界が途切れているか否かを判定するとしても良い。なお、累積画素値が０となる列が存在するか否かを判定する方法は、上記した閾値を１００％に設定した場合と同じである。

あるいは、各種境界が途切れているか否かを判定する方法としては、ラベリングやハフ変換といった公知の手法を用いて、検知エリア画像から直線を検知し、当該検知された直線が途切れているか否かを判定することで、各種境界が途切れているか否かを判定するとしても良い。

また、各種境界を検知するために、画素毎の輝度勾配の強さが用いられていた場合、利用者検知部２２ｂは、上記と同様に、検知エリア画像の列毎の累積画素値を算出し、当該算出された累積画素値が予め設定された閾値未満となる列が存在する場合に、各種境界が途切れていると判定しても良い。あるいは、累積画素値が予め設定された閾値未満となる列の割合が、予め設定された閾値以上（例えば５％以上）であった場合に、各種境界が途切れていると判定しても良い。なお、閾値を用いた当該方法は、各種境界を検知するために、人や物のエッジを検知し、撮影画像を２値化する場合にも適用可能である。

また、利用者検知部２２ａは、１枚の撮影画像に対する利用者検知処理の検知結果を数フレーム間（例えば当該撮影画像の撮影フレームから５フレーム間）保持しておき、当該５フレーム間で、ドアに挟まれる恐れがある利用者が存在する旨の検知結果を得た割合が予め設定された閾値（例えば５０％）以上の場合に、ドアに挟まれる恐れがある利用者が存在すると正式に判断し、当該判断に関連した信号をかご制御装置３０に出力するとしても良い。

なお、本実施形態では、検知対象を、ドアに挟まれる恐れがある利用者としたが、検知対象は、ドアの戸開閉に際し、事故に繋がる恐れがある利用者であれば良く、例えば、ドアに衝突する恐れがある利用者を検知対象としても良い。

また、本実施形態では、ドアが全開状態の場合に検知エリアを設定し、利用者検知処理を実行する場合を例示したが、例えば、ドアの戸閉中またはドアの戸開中に、上記した利用者検知処理を実行しても良い。この場合、境界検知部２２ａは、ドアの開量にあわせて検知エリアの幅（画像水平方向の長さ）を調整した上で、検知エリアを設定しても良い。また、境界検知部２２ａは、撮影フレーム毎に、ドアの開量にあわせて検知エリアの幅を調整する、つまり、検知エリアを動的に変化させるとしても良い。

以上説明した第１の実施形態によれば、画像処理装置２０は、１枚の撮影画像からドアに挟まれる恐れがある利用者の有無を検知可能な検知部２２を備えているので、事前に基準画像を用意する手間が省ける上に、照明条件にも左右されることのない利用者検知処理を実現することができる。つまり、安全性の高い利用者検知システムを提供することが可能となる。

また、本実施形態に係る利用者検知処理には、１枚の撮影画像しか用いないため、ドアに挟まれる恐れがある利用者の有無を検知するまでにかかる時間を短くすることができる。つまり、利用者検知処理にかかる時間を短縮することができる。
＜第２の実施形態＞
次に、第２の実施形態について説明する。上記した第１の実施形態では、検知エリアは、撮影画像上においてかごシル１３ａ及び乗場シル１４ａが映ると推測される位置に設定されるとしたが、本実施形態においては、検知エリアは、撮影画像上においてかごドア１３及び乗場ドア１４の先端（換言すると、かごドア１３及び乗場ドア１４の両端のうちの戸閉方向に位置する端、かごドア１３及び乗場ドア１４の両端のうちの戸当側に位置する端）が映ると推測される位置に設定される。以下では、第１の実施形態と同一の機能を有する機能部に対しては同一の符号を付し、その詳しい説明は省略するものとする。以下では、主に、第１の実施形態と異なる部分について説明する。

なお、本実施形態では、カメラ１２が片開きタイプのエレベータに設置されている場合を想定するため、かごドア１３及び乗場ドア１４の先端は１つであり、設定される検知エリアの数も１つとなるが、カメラ１２がセンターオープンタイプのエレベータに設置されている場合、かごドア１３及び乗場ドア１４の先端は２つになるため、設定される検知エリアの数もまた２つとなる。但し、検知エリアの設定方法については、両タイプ共に同様であるため、カメラ１２がセンターオープンタイプのエレベータに設置されている場合の検知エリアの設定についての説明はここでは省略するものとする。

境界検知部２２ａは、上記したように、撮影画像上においてかごドア１３及び乗場ドア１４の先端が映ると推測される位置に検知エリアを設定する。かごドア１３及び乗場ドア１４の先端が映ると推測される位置は、上記した（ａ）〜（ｅ）の条件と、現在のかごドア１３の開量とに基づき算出される。

なお、境界検知部２２ａは、かご制御装置３０と通信を行うことで、現在のかごドア１３の開量を示す情報そのものを取得するとしても良い。または、境界検知部２２ａは、かご制御装置３０と通信を行うことで、かごドア１３が全閉状態から戸開し始めたことを示す信号、またはかごドア１３が全開状態から戸閉し始めたことを示す信号を取得し、これら信号を取得したタイミングからの経過時間と、かごドア１３の戸開閉速度とに基づき、現在のかごドア１３の開量を算出するとしても良い。あるいは、境界検知部２２ａは、取得した撮影画像に対して公知の画像解析処理を施すことにより、現在のかごドア１３の開量を算出するとしても良い。

ここで、図１４のフローチャートと、図１５の模式図とを参照して、境界検知部２２ａにより実行されるかごドア１３の先端に対応した検知エリアの設定処理の手順の一例について説明する。

まず、境界検知部２２ａは、現在のかごドア１３の開量と、３次元空間において、かごドア１３の先端と床面とが接触（当接）する位置（以下、「先端下部」と表記する）に対するカメラ１２の相対位置と、当該先端下部からカメラ１２までの高さ（またはかごドア１３の高さ）とに基づいて、先端下部の３次元座標と、当該先端下部からカメラ１２までの高さ（またはかごドア１３の高さ）だけ垂直方向に延ばした位置（以下、「先端上部」と表記する）の３次元座標とを算出する（ステップＳ４１）。

続いて、境界検知部２２ａは、ステップＳ４１において算出された先端下部及び先端上部の３次元座標を、撮影画像上の２次元座標に射影して、先端下部及び先端上部に対応する２次元座標、具体的には、図１５に示す撮影画像の点ＰＤ１，ＰＤ２の２次元座標を算出する（ステップＳ４２）。

しかる後、境界検知部２２ａは、図１５に示すように、ステップＳ４２において算出された２次元座標によって特定される２点ＰＤ１とＰＤ２とを結んで形成される線分ＬＤ１（上に位置する各画素）から所定画素（例えば５画素）だけ離れて位置する部分までを含むような領域を、かごドア１３の先端に対応した検知エリアＥ４として設定し（ステップＳ４３）、設定処理を終了させる。なお、上記した第１の実施形態の検知エリアの設定においても、当該方法は適用可能である。つまり、４点を特定せずに２点だけを特定した上で、当該方法のようにして、検知エリアＥ１〜Ｅ３を設定しても良い。

なお、図１５では、かごドア１３が全開状態（かごドア１３の現在の開量が最大）の時の検知エリアの設定について例示したが、かごドア１３が戸閉状態の時の検知エリアの設定についても同様であり、この場合、図１６に示すような検知エリアＥ４が設定される。

また、上記したように詳細については省略するが、カメラ１２がセンターオープンタイプのエレベータに設置されている場合、上記した図１４に示す一連の処理が、左右２つのドアをそれぞれ対象にして実行されることで、ドア毎に検知エリアが設定される。

上記した検知エリアＥ４が設定された後に実行される各種境界を検知する処理は、上記した第１の実施形態と同様である。すなわち、境界検知部２２ａは、検知エリアＥ４近辺に位置する人や物のエッジを少なくとも検知し、境界を検知する。

なお、境界検知部２２ａにより検知される境界は、かごドア１３の現在の戸開閉状態（かごドア１３の現在の開量）にしたがって異なり、かごドア１３が全開状態にある（かごドア１３の現在の開量が最大である）場合、かごドア１３の先端とかごドア１３近辺に設置される出入口柱との境界が検知される。また、かごドア１３が戸閉状態にある場合、かごドア１３の先端と背景（乗場１５の床）との境界が検知される。

利用者検知部２２ｂによって実行される利用者検知処理もまた、上記した第１の実施形態と同様である。すなわち、利用者検知部２２ｂは、検知エリアＥ４に対応した検知エリア画像を参照して、境界検知部２２ａによって検知された境界が途切れているか否かを判定し、ドアに挟まれる恐れがある利用者の有無を検知する。

図１７及び図１８は共に、境界検知部２２ａによって２値化された２値画像と、当該２値画像から抽出された検知エリアＥ４に対応した検知エリア画像と、当該検知エリア画像に対して図１０に示した一連の処理を適用した場合の結果とを示す。

図１７（ａ）の２値画像から抽出された図１７（ｂ）の検知エリア画像に対して、第１の実施形態にて説明した図１０に示す一連の処理を適用した場合の各列の累積画素値は、図１７（ｃ）のようになる。この場合、図１７（ｃ）に示すように、累積画素値が０になる列はないので、利用者検知部２２ｂは、検知エリアＥ４に対応した境界、この場合、かごドア１３は全開状態であるので、かごドア１３の先端とかごドア１３近辺に設置される出入口柱との境界は途切れていないものと判定し、検知エリアＥ４には、ドアに挟まれる恐れがある利用者は存在しないものと判断する。

一方、図１８（ａ）の２値画像から抽出された図１８（ｂ）の検知エリア画像に対して、第１の実施形態にて説明した図１０に示す一例の処理を適用した場合の各列の累積画素値は、図１８（ｃ）のようになる。この場合、図１８（ａ）に示すように、利用者の手があることに起因して、図１８（ｃ）の点線で囲まれる列にて累積画素値が０になっているので、利用者検知部２２ｂは、検知エリアＥ４に対応した境界、この場合、かごドア１３は全開状態であるので、かごドア１３の先端とかごドア１３近辺に設置される出入口柱との境界は途切れているものと判定し、検知エリアＥ４には、ドアに挟まれる恐れがある利用者が存在するものと判断する。

なお、上記した第１の実施形態と同様に、累積画素値が１以上の列の割合を算出し、当該算出された割合が予め設定された閾値未満であるか否かを判定することで、境界が途切れているか否かを判定するとしても良いし、ラベリングやハフ変換といった公知の手法を用いて、検知エリア画像から直線を検知し、当該検知された直線が途切れているか否かを判定することで、境界が途切れているか否かを判定するとしても良い。

さらには、境界を検知するために、エッジではなく、画素毎の輝度勾配の強さが用いられても良く、この場合、上記した第１の実施形態と同様に、検知エリア画像の列毎の累積画素値を算出し、当該算出された累積画素値が予め設定された閾値未満となる列が存在する場合に、境界が途切れていると判定しても良いし、累積画素値が予め設定された閾値未満となる列の割合が、予め設定された閾値以上であった場合に、境界が途切れていると判定しても良い。

また、上記した第１の実施形態と同様に、利用者検知部２２ａは、１枚の撮影画像に対する利用者検知処理の検知結果を数フレーム間（例えば当該撮影画像の撮影フレームから５フレーム間）保持しておき、当該５フレーム間で、ドアに挟まれる恐れがある利用者が存在する旨の検知結果を得た割合が予め設定された閾値（例えば５０％）以上の場合に、ドアに挟まれる恐れがある利用者が存在すると正式に判断し、当該判断に関連した信号をかご制御装置３０に出力するとしても良い。

以上説明した第２の実施形態によれば、画像処理装置２０は、シルに対応した検知エリアＥ１〜Ｅ３だけでなく、かごドア１３の先端に対応した検知エリアＥ４を設定し、検知エリアＥ４部分においてもドアに挟まれる恐れがある利用者の有無を検知可能な検知部２２を備えているので、より広範囲において、ドアに挟まれる恐れがある利用者の有無を検知することができる。つまり、より安全性の高い利用者検知システムを提供することが可能となる。

以上説明した少なくとも１つの実施形態によれば、カメラによる画像撮影時の照明条件に左右されずに、ドアに挟まれる恐れがある人や物を検知可能な利用者検知システムを提供することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１３ａ…かごシル、１４…乗場ドア、１４ａ…乗場シル、１５…乗場、２０…画像処理装置、２１…記憶部、２２…検知部、２２ａ…境界検知部、２２ｂ…利用者検知部、３０…かご制御装置、３１…戸開閉制御部。

Claims (8)

1. ドア近辺に設置され、前記ドアが戸開閉する際に走行する走行領域と前記ドア周辺とを撮影可能な撮影手段と、
   前記撮影手段によって撮影された画像に基づき、前記ドア周辺にある第１構造物と第２構造物との端部同士を前記画像上での境界として検知する境界検知手段と、
   前記境界検知手段による検知の結果に基づき、前記境界における利用者の有無を検知する利用者検知手段と、
   前記利用者検知手段による検知の結果に基づき、前記ドアの開閉動作を制御する制御手段と
   を具備する利用者検知システム。
2. 前記境界検知手段は、
   前記第１構造物と前記第２構造物との端部同士による直線を前記境界として検知し、
   前記利用者検知手段は、
   前記境界検知手段によって検知された直線状の境界が途切れているか否かに基づいて、前記境界における利用者の有無を検知する、請求項１に記載の利用者検知システム。
3. 前記利用者検知手段は、
   前記直線状の境界が途切れている場合に、前記境界に利用者が存在すると判断する、請求項２に記載の利用者検知システム。
4. 前記境界検知手段は、
   前記ドア固有のパラメータに基づき検知エリアを設定し、前記境界を検知するエリアを当該検知エリアに絞り込む、請求項１に記載の利用者検知システム。
5. 前記境界検知手段は、
   前記撮影手段によって撮影された１枚の画像に基づき前記境界を検知する、請求項１に記載の利用者検知システム。
6. 前記境界検知手段は、
   前記ドアの戸開閉用の溝であるシルを前記第１構造物とし、床を前記第２構造物として前記境界を検知する、請求項１に記載の利用者検知システム。
7. 前記境界検知手段は、
   前記ドアの先端を前記第１構造物とし、前記ドア近辺に設置される出入口柱を前記第２構造物として前記境界を検知する、請求項１に記載の利用者検知システム。
8. 前記境界検知手段は、
   前記ドアの先端を前記第１構造物とし、床を前記第２構造物として前記境界を検知する、請求項１に記載の利用者検知システム。

Images