JP7375137B1 - エレベータの利用者検知システム - Google Patents

Abstract

【課題】照明環境に起因した影の過検知を抑制して、乗りかご内や乗場にいる利用者を正しく検知する。【解決手段】一実施形態に係るエレベータの利用者検知システムは、乗りかご内に設置されたカメラの撮影画像の各画素における輝度勾配方向を任意角度単位で検出する輝度勾配検出手段と、上記輝度勾配検出手段によって検出された上記輝度勾配方向の変化を抽出するための差分特徴量を作成する差分特徴量作成手段と、上記差分特徴量作成手段によって作成された上記差分特徴量に基づいて、上記撮影画像から上記輝度勾配方向が変化した部分を動体として検知する動体検知手段と、上記動体検知手段によって検知された上記動体の情報に基づいて、上記動体を人物として検知する人物検知手段とを備える。【選択図】 図１

Description

本発明の実施形態は、エレベータの利用者検知システムに関する。

エレベータの乗りかごのドアが戸開するときに、乗りかご内にいる利用者の指などが戸袋へ引き込まれることがある。また、乗場にいる利用者が乗りかごに乗り込むときに、戸閉途中のドアの先端にぶつかることがある。このようなドアの事故を防止するため、乗りかごに設置された１台のカメラを用いて、乗場の利用者や乗りかご内の利用者を検知して、戸開閉制御に反映させるシステムが知られている。

特開平５－１５１３５６号公報 特許第３９３３４５３号公報

上述したシステムでは、撮影画像のフレーム間の輝度差分によって、利用者の有無を検知していた。しかしながら、例えば乗りかご内や乗場の照明環境により、利用者の影が撮影画像に入り込んだ場合に、その影の動きに伴う輝度変化によって過検知が発生していた。なお、「過検知」とは、影を利用者として誤って検知するといった意味で「誤検知」と同じである。

本発明が解決しようとする課題は、照明環境に起因した影の過検知を抑制して、乗りかご内や乗場にいる利用者を正しく検知することのできるエレベータの利用者検知システムを提供することである。

一実施形態に係るエレベータの利用者検知システムは、乗りかご内に設置されたカメラの撮影画像の各画素における輝度勾配方向を任意角度単位で検出する輝度勾配検出手段と、上記輝度勾配検出手段によって検出された上記輝度勾配方向の変化を抽出するための差分特徴量を作成する差分特徴量作成手段と、上記差分特徴量作成手段によって作成された上記差分特徴量に基づいて、上記撮影画像から上記輝度勾配方向が変化した部分を動体として検知する動体検知手段と、上記動体検知手段によって検知された上記動体の情報に基づいて、上記動体を人物として検知する人物検知手段とを備える。

図１は一実施形態に係るエレベータの利用者検知システムの構成を示す図である。 図２は同実施形態における乗りかご内の出入口周辺部分の構成を示す図である。 図３は同実施形態における実空間での座標系を説明するための図である。 図４は同実施形態におけるカメラの撮影画像の一例を示す図である。 図５は同実施形態における乗車検知エリアの構成を模式的に示す図である。 図６は同実施形態における引き込まれ検知エリアに生じる影の誤検知を説明するための図である。 図７は同実施形態におけるエッジフィルタ（水平成分）の一例を示す図である。 図８は同実施形態におけるエッジフィルタ（垂直成分）の一例を示す図である。 図９は同実施形態におけるエッジベクトルの一例を示す図である。 図１０は同実施形態における原画像の一例を示す図である。 図１１は同実施形態における輝度勾配方向画像の一例を示す図である。 図１２は同実施形態における輝度勾配方向と輝度値との対応関係を示す図である。 図１３は同実施形態における動き画像の一例を示す図である。 図１４は上記利用者検知システムの処理動作を示すフローチャートである。 図１５は上記図１４のステップＳ１０３で実行される検知処理を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。
なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

図１は一実施形態に係るエレベータの利用者検知システムの構成を示す図である。なお、ここでは、１台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。

乗りかご１１の出入口上部にカメラ１２が設置されている。具体的には、カメラ１２は、乗りかご１１の出入口上部を覆う幕板１１ａの中にレンズ部分を直下方向、もしくは、乗場１５側あるいは乗りかご１１内部側に所定の角度だけ傾けて設置される。

カメラ１２は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズもしくは魚眼レンズを有し、１秒間に数コマ（例えば３０コマ／秒）の画像を連続的に撮影可能である。カメラ１２は、例えば乗りかご１１が各階の乗場１５に到着したときに起動され、かごドア１３付近と乗場１５を含めて撮影する。なお、カメラ１２は、乗りかご１１の運転時に常時動作中であっても良い。

このときの撮影範囲はＬ１＋Ｌ２に調整されている（Ｌ１≫Ｌ２）。Ｌ１は乗場側の撮影範囲であり、かごドア１３から乗場１５に向けて所定の距離を有する。Ｌ２はかご側の撮影範囲であり、かごドア１３からかご背面に向けて所定の距離を有する。なお、Ｌ１，Ｌ２は奥行き方向の範囲であり、幅方向（奥行き方向と直交する方向）の範囲については少なくとも乗りかご１１の横幅より大きいものとする。

各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３を戸開している時には乗場ドア１４も戸開しており、かごドア１３が戸閉している時には乗場ドア１４も戸閉しているものとする。

カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０によってリアルタイムに解析処理される。なお、図１では、便宜的に画像処理装置２０を乗りかご１１から取り出して示しているが、実際には、画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。

画像処理装置２０は、記憶部２１と検知部２２とを備える。記憶部２１は、例えばＲＡＭ等のメモリデバイスからなる。記憶部２１は、カメラ１２によって撮影された画像を逐次保存すると共に、検知部２２の処理に必要なデータを一時的に保存しておくためのバッファエリアを有する。なお、記憶部２１には、撮影画像に対する前処理として、歪み補正や拡大縮小、一部切り取り等の処理が施された画像が保存されるとしても良い。

検知部２２は、例えばマイクロプロセッサからなり、カメラ１２の撮影画像を用いて、乗りかご１１内または乗場１５にいる利用者を検知する。この検知部２２を機能的に分けると、検知エリア設定部２３、検知処理部２４で構成される。なお、これらは、ソフトウェアによって実現しても良いし、ＩＣ（Integrated Circuit）等のハードウェアにより実現しても良いし、ソフトウェアおよびハードウェアを併用して実現しても良い。また、画像処理装置２０の一部あるいは全部の機能をエレベータ制御装置３０に持たせることでも良い。

検知エリア設定部２３は、カメラ１２から得られる撮影画像上に利用者を検知するための検知エリアを少なくとも１つ以上設定する。本実施形態では、乗場１５の利用者を検知するための検知エリアＥ１と、乗りかご１１内の利用者を検知するための検知エリアＥ２，Ｅ３が設定される。検知エリアＥ１は、乗車検知エリアとして用いられ、乗りかご１１の出入口（かごドア１３）から乗場１５に向けて設定される。検知エリアＥ２は、引き込まれ検知エリアとして用いられ、乗りかご１１内の入口柱４１ａ，４１ｂに設定される。検知エリアＥ３は、検知エリアＥ２と同様に引き込まれ検知エリアとして用いられ、乗りかご１１内の出入口側の床面１９に設定される（図３参照）。

検知処理部２４は、輝度勾配検出部２４ａ、差分特徴量作成部２４ｂ、動体検知部２４ｃ、人物検知部２４ｄを有し、カメラ１２から得られる撮影画像を解析処理して、乗りかご１１内または乗場１５に存在する利用者を検知する。なお、輝度勾配検出部２４ａ、差分特徴量作成部２４ｂ、動体検知部２４ｃ、人物検知部２４ｄについては、後に図７乃至図１３を参照して詳しく説明する。検知処理部２４によって検知された利用者が上記検知エリアＥ１～Ｅ３のいずれかに存在した場合に、所定の対応処理（戸開閉制御）が実行される。

エレベータ制御装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータからなる。エレベータ制御装置３０は、乗りかご１１の運転制御などを行う。また、エレベータ制御装置３０は、戸開閉制御部３１と警告部３２を備える。

戸開閉制御部３１は、乗りかご１１が乗場１５に到着したときのかごドア１３の戸開閉を制御する。詳しくは、戸開閉制御部３１は、乗りかご１１が乗場１５に到着したときにかごドア１３を戸開し、所定時間経過後に戸閉する。ただし、かごドア１３の戸閉動作中に、検知処理部２２ｂによって検知エリアＥ１内で利用者が検知された場合には、戸開閉制御部３１は、かごドア１３の戸閉動作を禁止して、かごドア１３を全開方向にリオープンして戸開状態を維持する。

また、かごドア１３の戸開動作中に検知処理部２２ｂによって検知エリアＥ２またはＥ３内で利用者が検知された場合には、戸開閉制御部３１は、ドア事故（戸袋への引き込まれ事故）を回避するための戸開閉制御を行う。具体的には、戸開閉制御部３１は、かごドア１３の戸開動作を一時停止するか、逆方向（戸閉方向）に動かす、あるいは、かごドア１３の戸開速度を遅くする。

図２は乗りかご１１内の出入口周辺部分の構成を示す図である。
乗りかご１１の出入口にかごドア１３が開閉自在に設けられている。図２の例では両開きタイプのかごドア１３が示されており、かごドア１３を構成する２枚のドアパネル１３ａ，１３ｂが間口方向（水平方向）に沿って互いに逆方向に開閉動作する。なお、「間口」とは、乗りかご１１の出入口と同じである。

乗りかご１１の出入口の両側に入口柱４１ａ，４１ｂが設けられており、幕板１１ａと共に乗りかご１１の出入口を囲っている。「入口柱」は、正面柱とも言い、裏側にはかごドア１３を収納するための戸袋が設けられているのが一般的である。図２の例では、かごドア１３が戸開したときに、一方のドアパネル１３ａが入口柱４１ａの裏側に設けられた戸袋４２ａに収納され、他方のドアパネル１３ｂが入口柱４１ｂの裏側に設けられた戸袋４２ｂに収納される。入口柱４１ａ，４１ｂの一方あるいは両方に表示器４３や、行先階ボタン４４などが配設された操作盤４５、スピーカ４６が設置されている。図２の例では、入口柱４１ａにスピーカ４６、入口柱４１ｂに表示器４３、操作盤４５が設置されている。

カメラ１２は、乗りかご１１の出入口上部に水平方向に配設された幕板１１ａの中に設けられる。ここで、乗場１５の利用者を戸閉直前まで検知するため、かごドア１３の戸閉位置に合わせてカメラ１２が取り付けられている。具体的には、かごドア１３が両開きタイプであれば、幕板１１ａの中央部にカメラ１２が取り付けられる。また、乗りかご１１内の天井面には、例えばＬＥＤを用いた照明機器４８が設置されている。

図３に示すように、カメラ１２は、乗りかご１１の出入口に設けられたかごドア１３と水平の方向をＸ軸、かごドア１３の中心から乗場１５の方向（かごドア１３に対して垂直の方向）をＹ軸、乗りかご１１の高さ方向をＺ軸とした画像を撮影する。

図４はカメラ１２の撮影画像の一例を示す図である。上側は乗場１５、下側は乗りかご１１内である。図中の１６は乗場１５の床面、１９は乗りかご１１の床面を示している。Ｅ１，Ｅ２，Ｅ３は検知エリアを表している。

かごドア１３は、かごシル４７上を互いに逆方向に移動する２枚のドアパネル１３ａ，１３ｂを有する。乗場ドア１４も同様であり、乗場シル１８上を互いに逆方向に移動する２枚のドアパネル１４ａ，１４ｂを有する。乗場ドア１４のドアパネル１４ａ，１４ｂは、かごドア１３のドアパネル１３ａ，１３ｂと共に戸開閉方向に移動する。

カメラ１２は乗りかご１１の出入口上部に設置されている。したがって、乗りかご１１が乗場１５で戸開したときに、図１に示したように、乗場側の所定範囲（Ｌ１）とかご内の所定範囲（Ｌ２）が撮影される。このうち、乗場側の所定範囲（Ｌ１）に、乗りかご１１に乗車する利用者を検知するための検知エリアＥ１が設定されている。

実空間において、検知エリアＥ１は、出入口（間口）の中心から乗場方向に向かってＬ３の距離を有する（Ｌ３≦乗場側の撮影範囲Ｌ１）。全開時における検知エリアＥ１の横幅Ｗ１は、出入口（間口）の横幅Ｗ０以上の距離に設定されている。検知エリアＥ１は、図４に斜線で示すように、シル１８，４７を含み、三方枠１７ａ，１７ｂの死角を除いて設定される。なお、検知エリアＥ１の横方向（Ｘ軸方向）のサイズは、かごドア１３の開閉動作に合わせて変更される構成としても良い。また、検知エリアＥ１の縦方向（Ｙ軸方向）のサイズについても、かごドア１３の開閉動作に合わせて変更される構成としても良い。

図５に示すように、乗車検知エリアとして用いられる検知エリアＥ１は、乗車意思推定エリアＥ１ａ，近接検知エリアＥ１ｂ，シル上検知エリアＥ１ｃからなる。乗車意思推定エリアＥ１ａは、利用者が乗車意思を持って乗りかご１１に向かっているか否かを推定するためのエリアである。近接検知エリアＥ１ｂは、利用者が乗りかご１１の出入口に近接していることを検知するためのエリアである。シル上検知エリアＥ１ｃは、利用者がシル１８，４７上を通過していることを検知するためのエリアである。

ここで、本システムでは、乗車検知用の検知エリアＥ１とは別に、検知エリアＥ２，Ｅ３を有する。検知エリアＥ２，Ｅ３は、引き込まれ検知エリアとして用いられる。検知エリアＥ２は、乗りかご１１の入口柱４１ａ，４１ｂの内側側面４１ａ－１，４１ｂ－１に沿って、所定の幅を有して設定される。なお、内側側面４１ａ－１，４１ｂ－１の横幅に合わせて検知エリアＥ２を設定しても良い。検知エリアＥ３は、乗りかご１１の床面１９のかごシル４７に沿って、所定の幅を有して設定される。

かごドア１３の戸開動作中に、検知エリアＥ２またはＥ３内で利用者が検知されると、例えばかごドア１３の戸開動作を一時停止するか、逆方向（戸閉方向）に動かす、あるいは、かごドア１３の戸開速度を遅くするなどの対応処理が実行される。また、音声アナウンスにより、例えば「ドアから離れてください」などの警告が発せられる。

（検知処理の問題）
通常、引き込まれ検知は、引き込まれ検知エリアである検知エリアＥ２，Ｅ３内の画像の輝度変化が利用者の侵入によって正しく表れることを前提としている。ところが、検知エリアＥ２，Ｅ３は、乗りかご１１内に設定されているため、かご室内の照明環境の影響を強く受ける。つまり、図６に示すように、利用者Ｐ１がかごドア１３から離れた場所に乗車している場合であっても、照明機器４８の照明光の関係で、利用者Ｐ１の影Ｓ１が検知エリアＥ２またはＥ３に入り込むことがある。検知エリアＥ２またはＥ３に影Ｓ１が入り込むと、影Ｓ１の動きに伴い、画像上で輝度変化が大きく生じ、影Ｓ１が利用者Ｐ１として過検知される可能性がある。

これは、乗車検知処理でも同様である。すなわち、乗車検知エリアである検知エリアＥ１は、乗りかご１１の出入口周辺の乗場１５に設定される。乗場１５の照明環境の関係で、検知エリアＥ１に影が入り込むと、画像上で輝度変化により、影の過検知が生じる可能性がある。そこで、本実施形態では、図１に示した画像処理装置２０の検知処理部２４に下記のような機能（輝度勾配方向画像の作成，差分特徴量の作成，動体検知，人物検知）を持たせ、撮影画像として連続的に得られる各画像間（フレーム間）の輝度勾配方向の変化に着目して、利用者の有無を検知する構成としている。

（ａ）輝度勾配方向画像の作成
輝度勾配検出部２４ａは、カメラ１２によって撮影された画像（原画像）の各画素における輝度勾配方向をＮ度単位で検出し、その輝度勾配方向を可視化した輝度勾配方向画像を作成する。輝度勾配方向は、Ｎ度単位の離散値として算出される。上記Ｎ度は、例えば４５度である。４５度単位で輝度勾配方向を求めた場合に、輝度勾配なしを含めて、９値（４５度刻みの８値＋輝度勾配なしの１値）が得られる。

なお、９値（Ｎ度＝４５度）に限定されるものではない。また、輝度勾配なしを含めるか否かも任意である。人物と影を区別して正確に検知するためには、少なくとも４値以上の輝度勾配方向を求めることが好ましい。これは、例えば人物が黒い服を着ているような場合に、水平方向と垂直方向だけの２値の輝度勾配方向では、人物と影とを区別できない可能性があるからである。ただし、輝度勾配方向が細かすぎると、検知有と検知無の境界設定が難しくなるため、検知精度と画像処理のことを考慮すると、４５度単位で９値の輝度勾配方向を求めることが良い。

・輝度勾配方向の求め方
例えば図７および図８に示すようなソーベルフィルタを用いて、３×３の単位で各画素のエッジベクトルの水平成分と垂直成分を算出し、図９に示すようにエッジベクトルの向き（角度）を算出する。この算出したエッジベクトルの向きを例えば４５度単位で丸めるなどして輝度勾配方向に変換する。「丸める」とは、四捨五入や切り捨てなどにより、数値を所定の桁数の範囲内に収めることを言う。つまり、「４５度単位で丸める」とは、０度，４５度，９０度，１３５度，１８０度，２２５度，２７０度，３１５度の範囲内に収めることである。これにより、例えばエッジベクトルの向きが４０度であった場合には、４０度→４５度に変換される。

なお、エッジフィルタとして、ソーベルフィルタ以外のフィルタ（例えばラプラシアンフィルタなど）を用いても良い。フィルタ処理を行う画素の単位についても、３×３に限定されない。また、輝度勾配方向に、輝度勾配なしの値を含めても良い。この場合、輝度勾配強度（エッジベクトルの大きさ）が閾値以下であれば、輝度勾配なしとする。輝度勾配強度は、輝度勾配方向とは異なる方法で算出しても良い。例えば、輝度勾配方向はソーベルフィルタを用いて算出し、輝度勾配強度はラプラシアンフィルタを用いて算出することでも良い。

図１０乃至図１２に具体例を示す。
図１０は原画像の一例を示す図である。上側が乗場、下側が乗りかご内を示している。図中のＰ１１，Ｐ１２は利用者、Ｓ１１は利用者Ｐ１１の影、Ｓ１２は利用者Ｐ１２の影である。図１１は輝度勾配方向画像の一例を示す図である。なお、ここでは輝度勾配方向画像を模式的に示しているが、実際には輝度勾配方向に対応した輝度値で複雑に表現される。図１２は輝度勾配方向と輝度値との対応関係を示す図である。３６０度の角度方向において、０度から４５度毎に８方向の輝度勾配方向が矢印で表現されている。

図１０の原画像の各画素の輝度勾配方向を４５度単位で求めた場合に、輝度勾配なしを含めて、９値（４５度刻みの８値＋輝度勾配なしの１値）が得られる。この９値を図１２に示すような任意の輝度値に変換することで、図１１のような輝度勾配方向画像が作成される。

図１２の例では、４５度刻みの８値に対して、時計周りの順に輝度値０，１６，３２，４８，６４，８０，９６，１１２を割り振り、輝度勾配なしの１値を輝度値２５５としている。例えば１２時の方向（図中の真上の方向）は、輝度値９６に変換され、６時の方向（図中の真下の方向）は、輝度値３２に変換される。

なお、輝度値の割り振り方や、輝度値の値自体も任意であり、図１２の例に限定されない。要は、任意の角度単位で求められた輝度勾配方向を任意の輝度値に置き換えて可視化表現できれば良い。この輝度勾配方向画像は、必ずしも作成する必要はなく、コンピュータ上で画像処理するだけで良い。

（ｂ）差分特徴量の作成
差分特徴量作成部２４ｂは、輝度勾配方向の変化（差分）を抽出するための差分特徴量を作成する。ここで言う「差分特徴量」とは、輝度勾配方向に基づく特徴量のことであり、画素単位の輝度勾配方向、複数画素単位（例えばブロック単位）の輝度勾配方向、ＨＯＧ（Histograms of Oriented Gradients）、ＣｏＨＯＧ（Co-Occurrence Histograms of Oriented Gradients）などを含む。

複数画素単位の輝度勾配方向の場合には、対象となる複数画素の輝度勾配方向の多数決や平均、最も輝度勾配強度の大きい方向などを用いる。ＨＯＧの場合には、複数画素を対象とした輝度勾配方向毎のヒストグラムを用いる。ＣｏＨＯＧの場合には、複数画素を対象とした輝度勾配方向の組合せ（共起）毎のヒストグラムを用いる。例えば、右向きと上向きが隣り合っている画素数などである。

（ｃ）動体検知１
動体検知部２４ｃは、撮影画像として連続的に得られる各画像間で差分特徴量を比較することで、輝度勾配方向が変化した部分を動体として検知する。ここで言う「動体」とは、撮影画像上で何らかの動きを有する物体が撮影されている領域のことである。

変化の有無を判定する単位は、画素単位または複数画素単位である。変化の有無を判定する指標は、各画像間で差分特徴量が一致するか否か、特徴量空間での距離が近いか否かなどの差分特徴量の類似度である。変化の有無を判定する方法としては、輝度勾配方向が変化した画像の枚数で判定する方法がある。例えば５枚連続して、着目画素の輝度勾配方向が異なった場合に変化ありと判定する。また、輝度勾配方向が変化した画像の割合で変化の有無を判定することでも良い。例えば５枚中２枚の画像の着目画素の輝度勾配方向が異なっていた場合に「変化なし」と判定し、５枚中３枚の画像の着目画素の輝度勾配方向が異なっていた場合に「変化あり」と判定する。つまり、輝度勾配方向が異なる画像の枚数が所定枚数分の５０％未満の場合に「変化なし」、５０％以上の場合に「変化あり」と判定する。「変化あり」と判定された部分（輝度勾配方向が変化した部分）の画素は、動き画素として抽出される。

図１３は動体検知部２４ｃによって作成される動き画像の一例を示す図である。図中の５０は動き画素を示す。利用者Ｐ１１の画像には、服の色やしわ、手指の隙間など、利用者Ｐ１１の動きに伴って、輝度勾配方向が変化する部分が多いため、動き画素５０が多数抽出される。これに対し、影Ｓ１１の画像は、濃淡の変化が少なく、照明等の関係で発生／消失だけである。したがって、輝度勾配方向が変化する部分は少なく、動体として判定できるほどの多数の動き画素５０は抽出されない。後述するように、この動き画素５０の分布から動体が人物であるか否かを判断できる。

なお、利用者Ｐ１２については、乗りかご１１内に既に乗車していて、入口付近で立っているだけの状態を想定している。このため、利用者Ｐ１２の画像と影Ｓ２２の画像からは、動体として判定できるほどの多数の動き画素５０は抽出されない。

（ｄ）動体検知２
輝度勾配方向の変化（輝度勾配方向差分）と輝度値の変化（輝度差分）を併用して、動体検知を行う構成としても良い。この場合、動体検知部２４ｃは、撮影画像として連続して得られる各画像間の輝度差分を求め、輝度勾配方向差分と輝度差分とに基づいて動体を検知する。輝度勾配方向差分と輝度差分の結果を統合する方法としては、以下のような論理演算（ＡＮＤ／ＯＲ演算など）やパラメータ変更などがある。

ＡＮＤ演算：輝度勾配方向差分と輝度差分の両方で画像上の動き画素が検知された場合に、当該動き画素を含む所定の範囲に動体が存在するものと判定する。

ＯＲ演算：輝度勾配方向の変化が多い領域（影の可能性が少ない領域）に対しては輝度差分を用い、輝度勾配方向の変化が少ない領域（影の可能性が高い領域）に対しては輝度勾配方向差分を用いる。「輝度勾配方向の変化が多い領域」とは、動き画素の数が動体の判定基準として定められた規定数以上の領域のことである。「輝度勾配方向の変化が少ない領域」とは、動き画素の数が動体の判定基準として定められた規定数より少ない領域のことである。

また、輝度勾配方向が一様でない領域（影の可能性が少ない領域）に対しては輝度差分を用い、輝度勾配方向が一様な領域（影の可能性が高い領域）に対しては輝度勾配方向差分を用いる。「輝度勾配方向が一様でない領域」とは、輝度勾配が異なる方向の画素の数が動体の判定基準として定められた割合以上の領域のことである。「輝度勾配方向が一様な領域」とは、輝度勾配が異なる方向の画素の数が動体の判定基準として定められた割合より少ない領域のことである。

パラメータ変更：輝度勾配方向の変化が多い領域（影の可能性が少ない領域）に対しては輝度差分のパラメータを検知しやすくし（つまり、輝度差分の閾値を標準値よりも下げておく）、輝度勾配方向の変化が少ない領域（影の可能性が少ない領域）に対しては輝度差分のパラメータを検知しにくくする（つまり、輝度差分の閾値を標準値よりも上げておく）。

（ｅ）人物検知
人物検知部２４ｄは、動体検知部２４ｃによって検知された動体の情報に基づいて、上記動体を人物として検知する。「人物」とは、具体的には乗りかご１１内または乗場１５に存在する利用者のことである。「動体の情報」は、動き画素の分布、動体サイズ、動体検知回数のいずれか少なくとも１つを含む。

「動き画素の分布」は、所定範囲内における動き画素の分布状態を示す。例えば、２０×２０画素の範囲の中に動き画素が４０個（つまり、１０％程度）以上存在すれば、人物の動きであると判断する。「動体サイズ」は、動き画素が連続する集合体のサイズを示す。例えば、４０個以上の動き画素が連続した集合体として存在すれば、人物の動きであると判断する。「動体検知回数」は、各画像毎に動体として検知された回数を示す。例えば、画像上の同じ位置で一定回数以上、動体として検知されていれば、人物の動きであると判断する。

本システムは、上記のような構成を有する検知処理部２４を用いて撮影画像の中から人物（利用者）を検知し、その人物が図３に示した検知エリアＥ１～Ｅ３のいずれかに存在した場合に、所定の対応処理（戸開閉制御）を実行する。以下に、引き込まれ検知を例にして、本システムの処理動作について説明する。

図１４は本システムの処理動作を示すフローチャートである。このフローチャートで示される処理は、図１に示した画像処理装置２０とエレベータ制御装置３０とで実行される。

まず、初期設定として、画像処理装置２０に備えられた検知部２２の検知エリア設定部２３によって検知エリア設定処理が実行される（ステップＳ１００）。この検知エリア設定処理は、例えばカメラ１２を設置したとき、あるいは、カメラ１２の設置位置を調整したときに、以下のようにして実行される。

すなわち、検知エリア設定部２２ａは、かごドア１３が全開した状態で、出入口から乗場１５に向けて距離Ｌ３を有する検知エリアＥ１を設定する。図４に示したように、検知エリアＥ１は、シル１８，４７を含み、三方枠１７ａ，１７ｂの死角を除いて設定される。ここで、かごドア１３が全開した状態では、検知エリアＥ１の横方向（Ｘ軸方向）のサイズはＷ１であり、出入口（間口）の横幅Ｗ０以上の距離を有する。また、検知エリア設定部２２ａは、乗りかご１１の入口柱４１ａ，４１ｂの内側側面４１ａ－１，４１ｂ－１に沿って、所定の幅を有する検知エリアＥ２を設定すると共に、乗りかご１１の床面１９のかごシル４７に沿って所定の幅を有する検知エリアＥ３を設定する。

通常の運転中において、乗りかご１１が任意の階の乗場１５に到着すると（ステップＳ１０１のＹｅｓ）、エレベータ制御装置３０は、かごドア１３の戸開動作を開始する（ステップＳ１０２）。この戸開動作に伴い、カメラ１２によって乗場側の所定範囲（Ｌ１）とかご内の所定範囲（Ｌ２）が所定のフレームレート（例えば３０コマ／秒）で撮影される。なお、カメラ１２の撮影は、乗りかご１１が戸閉した状態から連続的に行われていても良い。

画像処理装置２０は、カメラ１２で撮影された画像を時系列で取得し、これらの画像を記憶部２１に逐次保存しながら、以下のような検知処理（引き込まれ検知処理）をリアルタイムで実行する（ステップＳ１０３）。なお、撮影画像に対する前処理として、歪み補正や、拡大縮小、画像の一部の切り取りなどを行っても良い。

図１５に上記ステップＳ１０３で実行される検知処理を示す。この検知処理は、画像処理装置２０の検知処理部２４によって実行される。以下では、撮影画像から輝度勾配方向を検出する場合を想定して説明する。

まず、検知処理部２４は、記憶部２１から各画像（原画像）を時系列順に取得し（ステップＳ２０１）、これらの画像毎に各画素における輝度勾配方向を可視化した輝度勾配方向画像を作成する（ステップＳ２０２）。詳しくは、検知処理部２４は、例えばソーベルフィルタを用いて、３×３の単位で各画素のエッジベクトルの向き（角度）を算出し、このエッジベクトルの向きを４５度単位で丸めるなどして輝度勾配方向に変換する。また、検知処理部２４は、輝度勾配強度（エッジベクトルの大きさ）を求め、この輝度勾配強度か閾値以下であれば、輝度勾配なしとする。検知処理部２４は、輝度勾配なしを含めて、９つの値（４５度刻みの８値＋輝度勾配なしの１値）を任意の輝度値に変換して、輝度勾配方向画像を作成する。

続いて、検知処理部２４は、輝度勾配方向画像の差分二値化を行う（ステップＳ２０３）。詳しくは、検知処理部２４は、撮影画像として連続的に得られる各画像間で、輝度勾配方向の特徴量を比較したときの差分を予め設定された閾値ＴＨ１で二値化する。閾値ＴＨ１は、乗りかご１１内や乗場１５の照明環境等によって最適な値に設定されている。

また、検知処理部２４は、撮影画像である原画像の差分二値化を行う（ステップＳ２０４）。詳しくは、検知処理部２４は、画像の各画素の輝度値を次の画像の同じ画素位置で比較して輝度差分を求め、その輝度差分を予め設定された閾値ＴＨ２で二値化する。閾値ＴＨ２は、上記閾値ＴＨ１と同様に、乗りかご１１内や乗場１５の照明環境等によって最適な値に設定されている。

検知処理部２４は、輝度勾配方向画像から求められた輝度勾配方向差分を二値化した値と原画像から求められた輝度差分を二値化した値とを統合処理し（ステップＳ２０５）、その統合処理した結果から動体の有無を検知する（ステップＳ２０６）。輝度勾配方向差分と輝度差分を統合する方法については、上述したように論理演算（ＡＮＤ／ＯＲ演算など）やパラメータ変更などがある。

このようにして、動体（動き画素）が検知されると、検知処理部２４は、その動体の情報に基づいて人物を検知する（ステップＳ２０７）。詳しくは、検知処理部２４は、動体の情報として得られる動き画素の分布、動体サイズ、動体検知回数のいずれか少なくとも１つに基づいて、当該動体が人物の動きであるか否かを判定する。例えば、動き画素の分布によって人物検知を行う場合であれば、所定の画素範囲の中に動き画素が１０％程度以上存在すれば、検知処理部２４は、当該動き画素を含む範囲を人物の動きと判定する。本実施形態において、「人物」とは、乗りかご１１内または乗場１５にいる利用者のことであり、撮影画像上では、その利用者の服や手の動きなどが動き画素として表れる（図１３参照）。

なお、図１３の例では、輝度勾配方向分と輝度差分を併用したが、輝度勾配方向差分のみで動体検知処理を行い、検知結果として得られる動き画素の分布などから人物（利用者）を検知することでも良い。この場合、図１５のステップＳ２０４とＳ２０５の処理は不要となる。

図１４に戻って、戸開動作中に上記検知処理によって利用者が検知された場合、検知処理部２４は、当該利用者が乗りかご１１内に引き込まれ検知エリアとして設定された検知エリアＥ２または検知エリアＥ３内にいるか否かを判断する（ステップＳ１０４）。当該利用者が検知エリアＥ２または検知エリアＥ３内にいれば（ステップＳ１０４のＹｅｓ）、検知処理部２４からエレベータ制御装置３０に対して引き込まれ検知信号が出力される。これにより、エレベータ制御装置３０は、引き込まれ検知エリアに関連した対応処理として、戸開閉制御部３１を通じてかごドア１３の戸開動作を一時停止し、数秒後にその停止位置から戸開動作を再開する（ステップＳ１０５）。

上記対応処理として、かごドア１３の戸開速度を通常より遅くすることや、あるいは、かごドア１３を逆方向（戸閉方向）に若干移動させてから戸開動作を再開することでも良い。また、エレベータ制御装置３０の警告部３２の起動により、乗りかご１１内のスピーカ４６を通じて音声アナウンスを行い、利用者に対してかごドア１３から離れるように注意を喚起することで良いし、警告音を鳴らすことでも良い（ステップＳ１０６）。検知エリアＥ２または検知エリアＥ３内で利用者が検知されている間、上記処理が繰り返される。これにより、例えば利用者がかごドア１３の近くにいる場合に、戸袋４２ａまたは４２ｂに引き込まれることを未然に防ぐことができる。

（乗車検知処理）
図１４の例では、引き込まれ検知処理を例にして説明したが、乗車検知処理でも同様である。

すなわち、乗りかご１１が任意の階で戸閉を開始したときに、図１５で説明した検知処理が実行される。上述したように、撮影画像の輝度勾配方向差分と輝度差分とに基づいて利用者が検知されると、乗場１５に乗車検知エリアとして設定された検知エリアＥ１内にいるか否かが判断される。当該利用者が検知エリアＥ１内にいて、かつ、乗りかご１１のドア１３に向かっていることが検知された場合に、検知処理部２４からエレベータ制御装置３０に対して乗車検知信号が出力される。これにより、エレベータ制御装置３０は、乗車検知エリアに関連した対応処理として、戸開閉制御部３１を通じてかごドア１３の戸閉動作を一時停止するか、かごドア１３を逆方向（戸閉方向）に動かす、あるいは、かごドア１３の戸開速度を通常よりも下げる。

このように本実施形態によれば、任意角度単位で求めた多値の輝度勾配方向を差分特徴量として用い、その輝度勾配方向の変化に基づいて人物検知を行う構成としたことにより、撮影画像に入り込んでいた影の過検知を抑制して、利用者を正しく検知でき、その検知結果に応じた対応処理を実現することができる。

ここで、本出願人は、影と人物の輝度特性の違いに着目して、輝度値が山型状に変化するエッジを差分特徴量として抽出して人物検知を行う方法を着想した（特願２０２１－１３０１２７）。この方法により、撮影画像上で影と人物を区別して、人物だけを正確に検知することを実現している。ただし、差分特徴量としては２値（輝度勾配の有無）となる。これに対し、本方式では、例えば４５度単位で輝度勾配方向を求めた場合には、差分特徴量が輝度勾配なしを含めて９値となる。差分特徴量が２値から９値に拡張（特徴量空間を９次元に拡張）されることで、特徴量空間での検知有と検知無の境界を細かく設定でき、その境界付近の画像に対して人物をより高精度に検知できるようになる。

なお、上記実施形態では、撮影画像全体から利用者を検知する場合を想定して説明したが、撮影画像上に予め設定されている検知エリア毎に利用者を検知する構成としても良い。例えば、戸開動作中であれば、図４に示した検知エリアＥ２，Ｅ３内の画像に着目し、当該画像の輝度勾配方向差分により検知エリアＥ２またはＥ３にいる利用者を検知する。また、戸閉動作中であれば、図４に示した検知エリアＥ１内の画像に着目し、当該画像の輝度勾配方向差分により検知エリアＥ１内にいる利用者を検知する。

以上述べた少なくとも１つの実施形態によれば、照明環境に起因した影の過検知を抑制して、乗りかご内や乗場にいる利用者を正しく検知することのできるエレベータの利用者検知システムを提供することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１３ａ，１３ｂ…ドアパネル、１４…乗場ドア、１４ａ，１４ｂ…ドアパネル、１５…乗場、１７ａ，１７ｂ…三方枠、１８…乗場シル、４７…かごシル、４８…照明機器、２０…画像処理装置、２１…記憶部、２２…検知部、２３…検知エリア設定部、２４…検知処理部、２４ａ…輝度勾配検出部、２４ｂ…差分特徴量作成部、２４ｃ…動体検知部、２４ｄ…人物検知部、３０…エレベータ制御装置、３１…戸開閉制御部、３２…警告部、Ｅ１，Ｅ２，Ｅ３…検知エリア。

Claims (13)

1. 乗りかご内に設置され、上記乗りかご内を含む所定の範囲を撮影するカメラを備えたエレベータの利用者検知システムにおいて、
   上記カメラの撮影画像の各画素における輝度勾配方向を任意角度単位で検出する輝度勾配検出手段と、
   上記輝度勾配検出手段によって検出された上記輝度勾配方向の変化を抽出するための差分特徴量を作成する差分特徴量作成手段と、
   上記差分特徴量作成手段によって作成された上記差分特徴量に基づいて、上記撮影画像から上記輝度勾配方向が変化した部分を動体として検知する動体検知手段と、
   上記動体検知手段によって検知された上記動体の情報に基づいて、上記動体を人物として検知する人物検知手段と
   を具備したことを特徴とするエレベータの利用者検知システム。
2. 上記輝度勾配検出手段は、
   少なくとも４値以上の輝度勾配方向を検出することを特徴とする請求項１記載のエレベータの利用者検知システム。
3. 上記輝度勾配検出手段は、
   輝度勾配なしを含めて９値の輝度勾配方向を検出することを特徴とする請求項１記載のエレベータの利用者検知システム。
4. 上記動体検知手段は、
   上記撮影画像として連続的に得られる各画像間で上記差分特徴量を比較することで、上記輝度勾配方向が変化した部分を動体として検知することを特徴とする請求項１記載のエレベータの利用者検知システム。
5. 上記動体検知手段は、
   上記各画像の中で上記差分特徴量が一致する割合、あるいは、上記差分特徴量が類似する割合を上記輝度勾配方向の変化判定の指標とすることを特徴とする請求項４記載のエレベータの利用者検知システム。
6. 上記動体検知手段は、
   上記各画像の中で上記輝度勾配方向が変化したと判定された画像の枚数あるいは割合に基づいて、上記輝度勾配方向が変化した部分を動体として検知することを特徴とする請求項４記載のエレベータの利用者検知システム。
7. 上記動体検知手段は、
   上記撮影画像として連続的に得られる各画像間の輝度差分を求め、
   上記各画像間における上記輝度勾配方向の差分と上記輝度差分とに基づいて、上記撮影画像から動体を検知することを特徴とする請求項１記載のエレベータの利用者検知システム。
8. 上記動体検知手段は、
   上記撮影画像の中で上記輝度勾配方向の変化が多い領域に対しては上記輝度差分のパラメータを検知しやすく、上記撮影画像の中で上記輝度勾配方向の変化が少ない領域に対しては上記輝度差分のパラメータを検知しにくくすることを特徴とする請求項７記載のエレベータの利用者検知システム。
9. 上記動体検知手段は、
   上記撮影画像の中で上記輝度勾配方向の変化が多い領域に対しては上記輝度差分を用い、上記撮影画像の中で上記輝度勾配方向の変化が少ない領域に対しては上記輝度勾配方向差分を用いることを特徴とする請求項７記載のエレベータの利用者検知システム。
10. 上記動体検知手段は、
    上記撮影画像の中で上記輝度勾配方向が一様でない領域に対しては上記輝度差分を用い、上記撮影画像の中で上記輝度勾配方向が一様な領域に対しては上記輝度勾配方向差分を用いることを特徴とする請求項７記載のエレベータの利用者検知システム。
11. 上記人物検知手段は、
    上記動体の情報として得られる動き画素の分布、動体サイズ、動体検知回数のいずれか少なくとも１つに基づいて、上記動体を人物として検知することを特徴とする請求項１記載のエレベータの利用者検知システム。
12. 上記人物が上記撮影画像上に予め設定された検知エリア内で検知された場合に、上記検知エリアに関連付けられた対応処理を実行する制御手段をさらに具備したことを特徴とする請求項１記載のエレベータの利用者検知システム。
13. 上記検知エリアは、上記乗りかご内のドア付近に設定され、
    上記制御手段は、
    上記対応処理として、上記乗りかごの戸開動作中に上記人物がドアに挟まれないように戸開閉動作を制御することを特徴とする請求項１２記載のエレベータの利用者検知システム。

Images