JP7282952B1 - elevator system - Google Patents
elevator system Download PDFInfo
- Publication number
- JP7282952B1 JP7282952B1 JP2022092217A JP2022092217A JP7282952B1 JP 7282952 B1 JP7282952 B1 JP 7282952B1 JP 2022092217 A JP2022092217 A JP 2022092217A JP 2022092217 A JP2022092217 A JP 2022092217A JP 7282952 B1 JP7282952 B1 JP 7282952B1
- Authority
- JP
- Japan
- Prior art keywords
- mirror
- image
- block
- car
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000008859 change Effects 0.000 abstract description 26
- 238000010586 diagram Methods 0.000 abstract description 19
- 230000002776 aggregation Effects 0.000 abstract description 4
- 238000004220 aggregation Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
Images
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
- Image Analysis (AREA)
Abstract
【課題】鏡に関する情報を必要とせずに、撮影画像上に鏡エリアを設定して、鏡による誤検知を防ぐ。【解決手段】一実施形態に係るエレベータシステムは、乗りかご内に鏡が設置されたエレベータシステムにおいて、撮像手段と、特徴量抽出手段と、鏡像ブロック検出手段と、鏡エリア生成手段とを備える。上記撮像手段は、上記乗りかご内から出入口付近の乗場を含む範囲を撮影する。上記特徴量抽出手段は、上記撮像手段によって得られる画像の特徴量をブロック単位で抽出する。上記鏡像ブロック検出手段は、上記特徴量抽出手段によって抽出された上記画像の特徴量の変化に基づいて、上記画像の中で対称的な動きを有する一対のブロック画像の中で対称的な動きを有する一対のブロックを判断し、上記一対のブロックの一方を鏡像ブロックとして検出する。上記鏡エリア生成手段は、上記鏡像ブロック検出手段によって検出された上記鏡像ブロックの集合体から鏡エリアを生成する。【選択図】 図1An object of the present invention is to set a mirror area on a captured image without requiring information about the mirror, thereby preventing erroneous detection due to the mirror. Kind Code: A1 An elevator system according to an embodiment includes an imaging means, a feature extraction means, a mirror image block detection means, and a mirror area generation means in an elevator system in which a mirror is installed in a car. The image capturing means captures an image of a range including a landing near an entrance from inside the car. The feature quantity extraction means extracts the feature quantity of the image obtained by the imaging means in block units. The mirror image block detection means detects symmetrical motion in a pair of block images having symmetrical motion in the image based on the change in the feature quantity of the image extracted by the feature quantity extraction means. A pair of blocks is determined, and one of the pair of blocks is detected as a mirror image block. The mirror area generating means generates a mirror area from the aggregation of the mirror image blocks detected by the mirror image block detecting means. [Selection diagram] Fig. 1
Description
本発明の実施形態は、乗りかご内に設置されたカメラを用いて利用者を検知するエレベータシステムに関する。 Embodiments of the present invention relate to an elevator system that uses a camera installed in the car to detect passengers.
従来、エレベータの乗りかご内にカメラを設置しておき、このカメラで撮影した画像を処理することで、乗りかご内に乗車している利用者の人数などを検知し、その検知結果をエレベータの運転制御に反映させるシステムが知られている。 Conventionally, a camera was installed inside the car of an elevator, and by processing the images taken by this camera, the number of passengers inside the car was detected. A system is known which is reflected in operation control.
この種のシステムでは、画像処理によって利用者を正確に検知することが必要となる。ところが、乗りかご内に鏡が設置されていると、その鏡に映った利用者を誤検知し、乗車人数をダブルカウントしてしまう事象などが発生する。 In this type of system, it is necessary to accurately detect the user by image processing. However, if a mirror is installed in the car, a phenomenon such as erroneously detecting the users reflected in the mirror and double-counting the number of passengers may occur.
上述した鏡による誤検知を防ぐ方法として、撮影画像上で鏡の設置場所に対応したエリア(鏡エリア)をマスクする方法が一般的である。しかしながら、鏡の設置場所は、乗りかごの仕様によって異なる。このため、上記方法を用いる場合に、物件毎に乗りかごの仕様を調べ、鏡に関する情報(設置場所等)をシステムに与えて、鏡エリアを設定しなければならない。 As a method for preventing erroneous detection due to the mirror described above, it is common to mask an area (mirror area) corresponding to the installation location of the mirror on the captured image. However, the installation location of the mirror differs depending on the specifications of the car. Therefore, when using the above method, it is necessary to check the specifications of the car for each property, provide the system with information on the mirror (installation location, etc.), and set the mirror area.
本発明が解決しようとする課題は、鏡に関する情報を必要とせずに、撮影画像上に鏡エリアを設定して、鏡による誤検知を防ぐことのできるエレベータシステムを提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide an elevator system that can prevent erroneous detection by a mirror by setting a mirror area on a photographed image without requiring information about the mirror.
一実施形態に係るエレベータシステムは、乗りかご内に鏡が設置されたエレベータシステムにおいて、撮像手段と、特徴量抽出手段と、鏡像ブロック検出手段と、鏡エリア生成手段とを備える。上記撮像手段は、上記乗りかご内から出入口付近の乗場を含む範囲を撮影する。上記特徴量抽出手段は、上記撮像手段によって得られる画像の特徴量をブロック単位で抽出する。上記鏡像ブロック検出手段は、上記特徴量抽出手段によって抽出された上記画像の特徴量の変化に基づいて、上記画像の中で対称的な動きを有する一対のブロックを判断し、上記一対のブロックの一方を鏡像ブロックとして検出する。上記鏡エリア生成手段は、上記鏡像ブロック検出手段によって検出された上記鏡像ブロックの集合体から鏡エリアを生成する。 An elevator system according to one embodiment is an elevator system in which a mirror is installed in a car, and includes imaging means, feature quantity extraction means, mirror image block detection means, and mirror area generation means. The image capturing means captures an image of a range including a landing near an entrance from inside the car. The feature quantity extraction means extracts the feature quantity of the image obtained by the imaging means in block units. The mirror image block detection means determines a pair of blocks having symmetrical motion in the image based on changes in the feature amount of the image extracted by the feature amount extraction means, and determines the pair of blocks. One is detected as a mirror image block. The mirror area generating means generates a mirror area from the aggregation of the mirror image blocks detected by the mirror image block detecting means.
以下、図面を参照して実施形態を説明する。
なお、開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。
Embodiments will be described below with reference to the drawings.
The disclosure is merely an example, and the invention is not limited by the contents described in the following embodiments. Modifications that can be easily conceived by those skilled in the art are naturally included in the scope of the disclosure. In order to make the explanation clearer, in the drawings, the size, shape, etc. of each part may be changed from the actual embodiment and shown schematically. Corresponding elements in multiple drawings may be denoted by the same reference numerals and detailed descriptions thereof may be omitted.
図1は一実施形態に係るエレベータシステムの構成を示す図である。なお、ここでは、1台の乗りかごを例にして説明するが、複数台の乗りかごでも同様の構成である。 FIG. 1 is a diagram showing the configuration of an elevator system according to one embodiment. Here, one car will be described as an example, but the configuration is the same for a plurality of cars.
乗りかご11の出入口上部に、撮像手段として用いられるカメラ12が設置されている。具体的には、カメラ12は、乗りかご11の出入口上部を覆う幕板11aの中にレンズ部分を直下方向に向けて設置される。カメラ12は、例えば魚眼レンズ等の超広角レンズを有し、180度以上の視野角で乗りかご11内を含む撮影対象を広範囲に撮影する。カメラ12は、1秒間に数コマ(例えば30コマ/秒)の画像を連続的に撮影可能である。
A
なお、カメラ12の設置場所は、かごドア13付近であれば、乗りかご11の出入口上部でなくても良い。例えば、乗りかご11の出入口に近い天井面など、乗りかご11内の床面全域を含むかご室内全体と戸開時に出入口付近の乗場15を撮影可能な場所であれば良い。
Note that the
各階の乗場15において、乗りかご11の到着口には乗場ドア14が開閉自在に設置されている。乗場ドア14は、乗りかご11の到着時にかごドア13に係合して開閉動作する。なお、動力源(ドアモータ)は乗りかご11側にあり、乗場ドア14はかごドア13に追従して開閉するだけである。以下の説明においては、かごドア13を戸開している時には乗場ドア14も戸開しており、かごドア13が戸閉している時には乗場ドア14も戸閉しているものとする。
At the
カメラ12によって連続的に撮影された各画像(映像)は、画像処理装置20によってリアルタイムに解析処理される。なお、図1では、便宜的に画像処理装置20を乗りかご11から取り出して示しているが、実際には、画像処理装置20はカメラ12と共に幕板11aの中に収納されている。
Each image (video) captured continuously by the
画像処理装置20には、記憶部21と検知部22とが備えられている。記憶部21は、カメラ12によって撮影された画像を逐次保存すると共に、検知部22の処理に必要なデータを一時的に保存しておくためのバッファエリアを有する。なお、記憶部21には、撮影画像に対する前処理として、歪み補正や拡大縮小、一部切り取り等の処理が施された画像が保存されるとしても良い。
The
検知部22は、例えばマイクロプロセッサからなり、カメラ12の撮影画像を用いて乗りかご11内や乗場15にいる利用者を検知する。この検知部22を機能的に分けると、特徴量抽出部22a、鏡像ブロック検出部22b、鏡エリア生成部22c、検知処理部22dで構成される。なお、これらは、ソフトウェアによって実現しても良いし、IC(Integrated Circuit)等のハードウェアにより実現しても良いし、ソフトウェアおよびハードウェアを併用して実現しても良い。また、画像処理装置20の一部あるいは全部の機能をエレベータ制御装置30に持たせることでも良い。
The
特徴量抽出部22aは、記憶部21に記憶された各画像を時系列順に読み出し、これらの画像からブロック単位で特徴量を抽出する。「ブロック単位」とは、画像を所定サイズのブロックにマトリクス状に区切ったときの単位である。「特徴量」とは、画像の特徴・特性を定量的に表した数値のことであり、例えば輝度勾配、輝度値、ヒストグラムなどを含む。鏡像ブロック検出部22bは、特徴量抽出部22aによって抽出された画像の特徴量の変化に基づいて、画像の中で対称的な動きを有する一対のブロックを判断する。鏡像ブロック検出部22bは、撮影画像上における乗りかご11のかごシル47(図3参照)の位置を基準にして、上記一対のブロックの一方を鏡像ブロックとして検出する。「鏡像ブロック」とは、乗りかご11内に設置された鏡50(図3参照)の中の画像として認識されたブロックのことを言う。鏡エリア生成部22cは、鏡像ブロック検出部22bによって検出された鏡像ブロックの集合体から鏡エリアを生成する。
The feature
検知処理部22dは、カメラ12から時系列順に得られる画像の輝度変化等により、乗りかご11内や乗場15にいる利用者の有無を検知する。なお、利用者以外にも、例えば車椅子等の物を検知対象に含めることでも良い。その際、検知処理部22dは、鏡エリア生成部22cによって認識された鏡エリアをマスクするなど、鏡50に写っている利用者を誤検知しない処理を行う。
The
エレベータ制御装置30は、CPU、ROM、RAM等を備えたコンピュータからなる。エレベータ制御装置30は、運転制御部31と戸開閉制御部32と通知部33とを備える。運転制御部31は、乗りかご11の運転制御を行う。戸開閉制御部32は、乗りかご11が乗場15に到着したときのかごドア13の戸開閉を制御する。詳しくは、戸開閉制御部32は、乗りかご11が乗場15に到着したときにかごドア13を戸開し、所定時間経過後に戸閉する。
The
ここで、例えばかごドア13の戸開動作中に検知処理部22dによって、かごドア13の近くにいる利用者が検知された場合には、戸開閉制御部32は、ドア事故(戸袋への引き込まれ事故)を回避するための戸開閉制御を行う。具体的には、戸開閉制御部32は、かごドア13の戸開動作を一時停止するか、逆方向(戸閉方向)に動かす、あるいは、かごドア13の戸開速度を遅くする。通知部33は、検知処理部22dの検知結果に基づいて、乗りかご11内の利用者に注意を喚起する。
Here, for example, when the
図2は乗りかご11内の出入口周辺部分の構成を示す図である。
乗りかご11の出入口にかごドア13が開閉自在に設けられている。図2の例では2枚戸両開きタイプのかごドア13が示されており、かごドア13を構成する2枚のドアパネル13a,13bが間口方向(水平方向)に沿って互いに逆方向に開閉動作する。なお、「間口」とは、乗りかご11の出入口と同じである。
FIG. 2 is a diagram showing the configuration of the entrance and exit peripheral portion in the
A
乗りかご11の出入口の両側に正面柱41a,41bが設けられており、幕板11aと共に乗りかご11の出入口を囲っている。「正面柱」は、出入口柱あるいは出入口枠とも言い、裏側にはかごドア13を収納するための戸袋が設けられているのが一般的である。図2の例では、かごドア13が戸開したときに、一方のドアパネル13aが正面柱41aの裏側に設けられた戸袋42aに収納され、他方のドアパネル13bが正面柱41bの裏側に設けられた戸袋42bに収納される。
正面柱41a,41bの一方あるいは両方に表示器43や、行先階ボタン44などが配設された操作盤45、スピーカ46が設置されている。図2の例では、正面柱41aにスピーカ46、正面柱41bに表示器43、操作盤45が設置されている。
One or both of the
また、図3に示すように、乗りかご11の背面49の出入口と対向する場所に、矩形状の鏡50が設置されている。この鏡50は、例えば車椅子利用者が乗りかご11内から降車するときのバックミラーとして利用される。なお、鏡50としては、「ガラスタイプ」だけではなく、「ステンレスミラータイプ」も含む。
Further, as shown in FIG. 3, a
乗りかご11の出入口上部の幕板11aの中央部に、魚眼レンズ等の超広角レンズを有するカメラ12が設置されている。カメラ12は、所定のフレームレート(例えば30フレーム/秒)で、乗りかご11内と出入口付近の乗場15を撮影する。このカメラ12によって撮影された画像は、図1に示した画像処理装置20に与えられ、利用者または物を検知するための検知処理に用いられる。
A
図3はカメラ12の撮影画像の一例を示す図である。かごドア13(ドアパネル13a,13b)と乗場ドア14(ドアパネル14a,14b)が全開した状態で、乗りかご11の出入口上部から180度以上の視野角でかご室内全体と出入口付近の乗場15を撮影した場合を示している。上側は乗場15、下側は乗りかご11内である。
FIG. 3 is a diagram showing an example of an image captured by the
乗場15において、乗りかご11の到着口の両側に三方枠17a,17bが設けられており、その三方枠17a,17bの間の床面16に所定の幅を有する帯状の乗場シル18が乗場ドア14の開閉方向に沿って配設されている。また、乗りかご11の床面19の出入口側に所定の幅を有する帯状のかごシル47がかごドア13の開閉方向に沿って配設されている。
In the
ここで、乗りかご11内に鏡50が設置されている場合、撮影画像上で鏡50に写り込んだ利用者を誤検知して、乗車人数をダブルカウントしてしまうなどの問題が生じる。この場合、撮影画像上で鏡50の設置場所に対応したエリア(鏡エリア)をマスクすれば、鏡50による誤検知を防ぐことができる。しかし、鏡エリアを設定するためには、物件毎に鏡50に関する情報(設置場所等)を事前にシステムに与えておく必要があり、非常に手間がかかる。
Here, when the
以下では、鏡50に関する情報を必要せずに、撮影画像上の鏡50の設置場所に対応した部分に鏡エリアを正しく設定するための方法について説明する。
(a)対称的な動きを検出
図4はフレームNの画像の一例を示す図、図5はフレームN+1の画像の一例を示す図で図である(Nは任意の整数)。図中のP1,P2は利用者を示す。利用者P1は、乗りかご11内で鏡50に写らない位置(この例では、側面48aの近く)に乗車している。利用者P2は、乗りかご11の出入口付近にいて、乗りかご11内に乗車しようとしている状態である。乗りかご11の背面49の出入口と対向する位置に鏡50が設置されており、この鏡50に利用者P2が写り込んでいる。
A method for correctly setting the mirror area to the portion corresponding to the installation location of the
(a) Detection of Symmetrical Motion FIG. 4 is a diagram showing an example of the image of frame N, and FIG. 5 is a diagram showing an example of the image of frame N+1 (N is an arbitrary integer). P1 and P2 in the figure indicate users. The user P1 is riding in the
撮影画像上において、利用者P2の実像と、鏡50に写り込んだ利用者P2の鏡像は対称的な動きをする。したがって、鏡50の位置を検出するためには、撮影画像上で対称的な動きしている部分を検出すれば良い。具体的には、撮影画像を所定のブロック単位で分割して、そのブロック単位で特徴量(例えば輝度勾配)を抽出する。そして、フレームNの画像とフレームN+1の画像の特徴量をブロック単位で比較したときの変化量を求め、その変化量から対称的な動きを有する一対のブロックを判断する。
On the captured image, the real image of the user P2 and the mirror image of the user P2 reflected in the
図6は画像間の輝度勾配の変化例を示す図である。A部分は画像の上側(乗場側)、B部分は画像の下側(乗りかごの背面側)である(図4および図5参照)。図中の矢印は輝度の勾配方向を示している。 FIG. 6 is a diagram showing an example of change in luminance gradient between images. Part A is the upper side of the image (on the hall side), and part B is the lower side of the image (on the back side of the car) (see FIGS. 4 and 5). The arrows in the figure indicate the direction of the luminance gradient.
フレームNの画像において、A部分のブロックb(Xb,Yb)の輝度勾配が270°、B部分のブロックk(Xk,Yk)の輝度勾配が90°であったとする。フレームN+1の画像において、A部分のブロックb(Xb,Yb)の輝度勾配が225°、B部分のブロックk(Xk,Yk)の輝度勾配が135°であったとする。 Assume that in the image of frame N, the luminance gradient of block b (Xb, Yb) in the A portion is 270° and the luminance gradient of block k (Xk, Yk) in the B portion is 90°. Assume that in the image of frame N+1, the luminance gradient of block b (Xb, Yb) in the A portion is 225° and the luminance gradient of block k (Xk, Yk) in the B portion is 135°.
ブロックb(Xb,Yb)の輝度勾配の変化量は、-45°(225°-270°)である。ブロックk(Xk,Yk)の輝度勾配の変化量は、+45°(135°-90°)である。輝度勾配の変化量は動きを表している。したがって、当該画像の中でブロックbとブロックkで対称的な動きが生じていることがわかる。この場合、ブロックbの輝度勾配の変化量とブロックkの輝度勾配の変化量とを比較したときの差分はほぼゼロになる。 The amount of change in luminance gradient of block b (Xb, Yb) is −45° (225°−270°). The amount of change in luminance gradient for block k(Xk, Yk) is +45° (135°-90°). The amount of change in luminance gradient represents motion. Therefore, it can be seen that symmetrical motion occurs between block b and block k in the image. In this case, the difference between the amount of change in the luminance gradient of block b and the amount of change in the luminance gradient of block k is almost zero.
なお、図6の例では、A部分のブロックbとB部分のブロックkに着目して説明したが、実際には画像全体からブロック単位で輝度勾配を抽出し、その変化量の差分から撮影画像上で対称的な動きを有する一対のブロックを判断し、その一対のブロックの一方を鏡像ブロックとして検出する。後述するように、鏡50は乗りかご11の背面49に設置されていることが多いので、シル40の位置を基準にして撮影画像の下側に近いブロックを鏡像ブロックとして検出する。
In the example of FIG. 6, the block b of the A part and the block k of the B part were focused on. A pair of blocks with symmetric motion above is determined, and one of the pair of blocks is detected as a mirror image block. As will be described later, since the
図7に示すように、特徴量として、輝度勾配の他に、輝度値やヒストグラムを抽出し、これらの変化量に基づいて鏡像ブロックを検出することでも良い。図7の例では、特徴量1として「輝度勾配」、特徴量2として「輝度値」、特徴量3として「ヒストグラム」を抽出している。この場合、輝度勾配の変化量と、輝度値の変化量と、ヒストグラムの変化量を予め設定された重み付け値に従って加算した値が鏡像ブロックの検出に用いられる。
As shown in FIG. 7, it is also possible to extract a luminance value or a histogram as a feature amount in addition to the luminance gradient, and detect a mirror image block based on the amount of change in these. In the example of FIG. 7, "brightness gradient" is extracted as
特徴量1として抽出される輝度勾配の変化量の差分を「-θb°-θk°」,重み付け値を「Gθ」とすると、特徴量1のスコアSθは、以下のように求められる。
Sθ=(-θb°-θk°)×Gθ
特徴量2として抽出される輝度値の変化量の差分を「βb-βk」,重み付け値を「Gβ」とすると、特徴量2のスコアSβは、以下のように求められる。
Sβ=(βb-βk)×Gβ
特徴量3として抽出されるヒストグラムの変化量の差分を「Histb-Histk」,重み付け値を「Ghist」とすると、特徴量3のスコアShistは、以下のように求められる。
Shist=(Histb-Histk)×Gβ
ここで、Gθ>Gβ>Ghistである。輝度勾配の重み付け値Gθを輝度値とヒストグラムよりも高くしておくのは、輝度勾配は方向に関する特性を持っているため、対称的な動きを判断する場合に最も信頼性が高いからである。
Assuming that the difference in the amount of change in the luminance gradient extracted as
S θ = (−θ b °−θ k °)×G θ
The score S β of the feature quantity 2 is calculated as follows, where "β b −β k " is the difference between the luminance value variations extracted as the feature quantity 2 and "G β " is the weighting value.
S β = (β b −β k )×G β
Assuming that the difference in the amount of change in the histogram extracted as the feature quantity 3 is "Hist b -Hist k " and the weighting value is "G hist ", the score S hist of the feature quantity 3 is obtained as follows.
S hist = (Hist b −Hist k )×G β
Here, G θ >G β >G hist . The reason why the weighting value G θ of the luminance gradient is higher than the luminance value and the histogram is that the luminance gradient has directional properties and is therefore the most reliable for determining symmetrical motion. .
特徴量1のスコアSθ、特徴量2のスコアSβ、特徴量2のスコアShistを加算した値が予め設定された閾値TH1以内であれば、ブロックbとブロックkは、対称的な動きを有する一対のブロックとして判断される。上記閾値TH1は、乗りかご11の照明環境などを考慮して設定され、理想値0±誤差である。つまり、ブロックbの特徴量変化とブロックkの特徴量変化が対称的であり、両者の特徴量変化を比較したときの差分がゼロに近いほど、対称的な動きを有していると判断される。
If the value obtained by adding the score S θ of
このように、輝度勾配の他に、輝度値やヒストグラムを用いれば、撮影画像の中で対称的な動きを有する一対のブロックをより正確に判断できる。また、輝度値やヒストグラム以外の特徴量を加えて判断することでも良い。 Thus, by using luminance values and histograms in addition to luminance gradients, it is possible to more accurately determine a pair of blocks having symmetrical motion in a captured image. In addition, determination may be made by adding feature amounts other than luminance values and histograms.
(b)鏡エリアの生成
図8は鏡像ブロックのマーキング例を示す図である。図9は鏡エリアの生成例を示す図である。「M」は鏡像ブロックとして検出されたことを示すマークである。「Mb」は鏡像ブロックが鏡の一部として確定されたことを示すマークである。
(b) Generation of Mirror Area FIG. 8 is a diagram showing an example of marking a mirror image block. FIG. 9 is a diagram showing an example of mirror area generation. "M" is a mark indicating detection as a mirror image block. "Mb" is a mark indicating that the mirror image block has been established as part of the mirror.
撮影画像上で乗場15を上側としたとき、上記(a)で検出された対称的な動きを有する一対のブロックのうち、かごシル47よりも下側に存在するブロックを鏡像ブロックとして検出する。これは、一般的に乗りかご11の背面49に鏡50が設置されていることが多いためである。上記一対のブロックの両方がかごシル47よりも下側にある場合には、撮影画像の下側に近い方を鏡像ブロックとして検出する。
When the
図8に示すように、鏡像ブロックとして検出されたブロックにマークMを付していく。撮影画像として時系列順に得られる画像毎に鏡像ブロックを検出し、同じブロックが一定回数C1以上(少なくとも2回以上)、鏡像ブロックとして検出された場合に、当該鏡像ブロックを鏡50の一部として確定し、鏡エリアMEの生成に用いる。このとき、マークMからマークMbに置き換えておく。上記一定回数C1以上とするのは、ノイズ等の影響でイレギュラー的に鏡像ブロックとして誤検出されたブロックを除外するためである。
As shown in FIG. 8, marks M are added to blocks detected as mirror image blocks. A mirror image block is detected for each image obtained in chronological order as a photographed image, and when the same block is detected as a mirror image block a certain number of times C1 or more (at least two times or more), the mirror image block is regarded as part of the
ここで、図9に示すように、マークMbの鏡像ブロックの集合体が例えば75%以上の割合を占めて矩形エリアを形成した場合に、この矩形エリアを鏡エリアMEとして生成する。矩形エリアとしているのは、一般的に鏡の形状は矩形だからである。 Here, as shown in FIG. 9, when a collection of mirror image blocks of the mark Mb occupies a ratio of, for example, 75% or more to form a rectangular area, this rectangular area is generated as the mirror area ME. The rectangular area is used because the shape of a mirror is generally rectangular.
また、別の方法として、例えば75%以上の割合でマークMbの鏡像ブロックを含むことを条件にして検索対象とする矩形エリアを広げていき、最終的に得られた矩形エリアを鏡エリアMEとして生成することでも良い。 As another method, for example, the rectangular area to be searched is expanded under the condition that the mirror image block of the mark Mb is included at a ratio of 75% or more, and the finally obtained rectangular area is used as the mirror area ME. You can also generate it.
図10に具体例を示す。いま、「Mb1」~「Mb10」で示される鏡像ブロックが鏡50の一部として確定されているとする。
まず、「Mb1」の鏡像ブロックを含む第1の矩形エリアを検索対象とする。続いて、第1の矩形エリアと隣接する「Mb2」「Mb3」の鏡像ブロックを含む第2の矩形エリアを検索対象とする。以下同様に、第2の矩形エリアと隣接する「Mb4」「Mb5」「Mb6」の鏡像ブロックを含む第3の矩形エリア→第3の矩形エリアと隣接する「Mb7」「Mb8」の鏡像ブロックを含む第4の矩形エリア→第4の矩形エリアと隣接する「Mb9」「Mb10」の鏡像ブロックを含む第5の矩形エリア…といったように、上記条件の下で検索対象とする矩形エリアを広げていき、最終的に得られた第5の矩形エリアを鏡エリアMEとする。
A specific example is shown in FIG. Assume now that the mirror image blocks indicated by “Mb1” to “Mb10” are determined as part of the
First, the first rectangular area including the mirror image block of "Mb1" is searched. Subsequently, a second rectangular area including mirror image blocks of "Mb2" and "Mb3" adjacent to the first rectangular area is set as a search target. Similarly, a third rectangular area including the mirror image blocks of "Mb4", "Mb5", and "Mb6" adjacent to the second rectangular area→mirror image blocks of "Mb7" and "Mb8" adjacent to the third rectangular area. 4th rectangular area containing → 5th rectangular area containing mirror image blocks of "Mb9" and "Mb10" adjacent to the 4th rectangular area... Then, the finally obtained fifth rectangular area is set as the mirror area ME.
このような方法を用いれば、例えば画像にノイズが含まれている場合や、鏡50の一部が汚れている場合などにより、鏡像ブロックとして認識されなかったブロックが部分的に含まれていたとしても、鏡エリアMEを正しく生成することができる。
If such a method is used, even if a block that is not recognized as a mirror image block is partially included, for example, if the image contains noise or if the
次に、本実施形態におけるエレベータシステムの動作を説明する。
図11はエレベータシステムの動作を説明するためのフローチャートである。このフローチャートで示される処理は、主として画像処理装置20によって実行される。
Next, the operation of the elevator system according to this embodiment will be described.
FIG. 11 is a flow chart for explaining the operation of the elevator system. The processing shown in this flowchart is mainly executed by the
いま、乗りかご11が任意の階で戸開している場合を想定する。乗りかご11内に設置されたカメラ12は、所定のフレームレートで乗りかご11内と出入口付近の乗場15を撮影している。カメラ12によって撮影された画像は、画像処理装置20の記憶部21に時系列順に記憶される。
Assume now that the door of the
画像処理装置20の検知部22は、記憶部21に記憶された各画像を時系列順に読み出す(ステップS11)。検知部22は、これらの画像を所定のブロック単位に区切り、そのブロック単位で例えば輝度勾配を特徴量として抽出する(ステップS12)。検知部22は、各画像のそれぞれについて、撮影画像内の特徴量の変化量をブロック単位で比較し、特徴量変化の差分を演算する(ステップS13)。
The
ここで、特徴量変化の差分が予め設定された閾値TH1以内にある一対のブロックが検出された場合、検知部22は、当該ブロックを対称的な動きを有するブロックとして判断する(ステップS14)。検知部22は、かごシル47の位置を基準にして、上記一対のブロックの中で撮影画像の下側に存在するブロックを鏡像ブロックとして検出する(ステップS15)。
Here, when a pair of blocks whose feature amount change difference is within a preset threshold value TH1 is detected, the
詳しくは、図6で説明したように、フレームNの画像とフレームN+1の画像との間で、ブロックbの輝度勾配の変化量とブロックkの輝度勾配の変化量を比較した場合に、両者の変化量の差分が閾値TH1以内であれば、ブロックbとブロックkが対称的な動きを有する一対のブロックとして判断される。この場合、ブロックkが撮影画像の下側に存在するので、鏡像ブロックとして検出されることになる。 Specifically, as described with reference to FIG. 6, when the amount of change in the luminance gradient of block b and the amount of change in the luminance gradient of block k are compared between the image of frame N and the image of frame N+1, If the difference in variation is within the threshold TH1, block b and block k are determined as a pair of blocks having symmetrical motion. In this case, since block k exists on the lower side of the captured image, it is detected as a mirror image block.
このようにして、撮影画像から鏡50の一部として認識される鏡像ブロックがいくつか検出されると、検知部22は、上記鏡像ブロックの集合体から撮影画像上に鏡エリアMEを生成する(ステップS16)。図12に上記ステップS16で実行される鏡エリア生成処理の詳細を示す。
In this way, when several mirror image blocks recognized as part of the
検知部22は、撮影画像上で鏡像ブロックとして検出されたブロックをマーキングする(ステップS21)。その際、検知部22は、各ブロック毎に鏡像ブロックとして検出された回数をカウントする(ステップS22)。一定回数C1以上、同じブロックが鏡像ブロックとして検出された場合に(ステップS23のYes)、検知部22は、当該鏡像ブロックを鏡50の一部として確定し(ステップS24)、その確定された鏡像ブロックの集合体から撮影画像上に鏡エリアMEを生成する(ステップS25)。
The
詳しくは、図9で説明したように、鏡50の一部として確定された鏡像ブロック(Mb)の集合体が一定以上の割合を占めて矩形エリアを形成した場合に、その矩形エリアのエッジに基づいて鏡エリアMEを生成する。あるいは、図10で説明したように、一定以上の割合で鏡像ブロック(Mb)を含むことを条件にして、検索対象とする矩形エリアを広げ、最終的に得られた矩形エリアのエッジに基づいて鏡エリアMEとして生成する。
Specifically, as described with reference to FIG. 9, when a group of mirror image blocks (Mb) defined as part of the
撮影画像上に鏡エリアMEが生成されると、以後、検知部22は、鏡エリアMEをマスクして利用者の検知処理を行う(ステップS17)。これにより、鏡50に写る利用者を誤検知することなく、実存する利用者だけを対象にして検知処理を行って、例えば利用者の乗車人数を正確にカウントすることができる。図5の例で言えば、戸開時に利用者P2が乗りかご11内に乗車した場合に、鏡50に写る利用者P2の鏡像を無視し、すでに乗車済みの利用者P1を含め、現在の乗車人数を2名として正しくカウントすることができる。
After the mirror area ME is generated on the captured image, the
このように本実施形態によれば、撮影画像上で対称的な動きを有する部分に着目して、鏡50が設置された部分に鏡エリアMEを設定する。したがって、物件毎に鏡50の設置場所を調べなくとも、撮影画像上に鏡エリアMEを正しく設定して、鏡50による誤検知を防ぐことができる。
As described above, according to the present embodiment, the mirror area ME is set to the portion where the
なお、上記実施形態では、乗りかご11が戸開している場合を例にして説明したが、乗りかご11が戸閉している場合でも同様である。つまり、戸閉中にカメラ12によって撮影された画像から対称的な動きを有する一対のブロックの一方を鏡像ブロックとして検出することにより、その鏡像ブロックの集合体から鏡エリアMEを生成することができる。
In the above embodiment, the case where the door of the
また、鏡50が側面48aあるいは側面48bに設置されている場合でも、上記同様の手法にて鏡エリアMEを生成することができる。この場合、撮影画像の中から対称的な動きを有する一対のブロックを判断したときに、かごシル47よりも下側にあって、撮影画像の左端あるいは右端に近いブロックを鏡像ブロックとして検出し、その鏡像ブロックの集合体から鏡エリアMEを生成すれば良い。
Moreover, even when the
また、検出対象の尤度を高めるために、特徴量の速度変化量(強さ)を加えることでも良い。「特徴量の速度変化量」とは、フレーム画像間で特徴量が変化する速度のことである。つまり、同じ速さで特徴量が変化している一対のブロックがあれば、その一対のブロックの一方を鏡像ブロックとして検出する。 Also, in order to increase the likelihood of the detection target, it is also possible to add the speed change amount (strength) of the feature amount. The “feature amount speed change amount” is the speed at which the feature amount changes between frame images. That is, if there is a pair of blocks whose feature values change at the same speed, one of the pair of blocks is detected as a mirror image block.
以上述べた少なくとも1つの実施形態によれば、鏡に関する情報を必要とせずに、撮影画像上に鏡エリアを設定して、鏡による誤検知を防ぐことのできるエレベータシステムを提供することができる。 According to at least one embodiment described above, it is possible to provide an elevator system that can prevent erroneous detection by a mirror by setting a mirror area on a captured image without requiring information about the mirror.
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 It should be noted that although several embodiments of the invention have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
11…乗りかご、11a…幕板、12…カメラ、13…かごドア、14…乗場ドア、15…乗場、16…乗場の床面、17a,17b…三方枠、18…乗場シル、19…乗りかごの床面、20…画像処理装置、21…記憶部、22…検知部、22a…特徴量抽出部、22b…鏡像ブロック検出部、22c…鏡エリア生成部、22d…検知処理部、30…エレベータ制御装置、31…運転制御部、32…戸開閉制御部、33…通知部、41a,41b…正面柱、41a-1,41b-1…正面柱の内側側面、42a,42b…戸袋、43…表示器、44…行先階ボタン、45…操作盤、46…スピーカ、47…かごシル、48a,48b…側面、49…背面、50…鏡、ME…鏡エリア。
DESCRIPTION OF
Claims (10)
上記乗りかご内から出入口付近の乗場を含む範囲を撮影する撮像手段と、
上記撮像手段によって撮影された画像の特徴量をブロック単位で抽出する特徴量抽出手段と、
上記特徴量抽出手段によって抽出された上記画像の特徴量の変化に基づいて、上記画像の中で対称的な動きを有する一対のブロックを判断し、上記一対のブロックの一方を鏡像ブロックとして検出する鏡像ブロック検出手段と、
上記鏡像ブロック検出手段によって検出された上記鏡像ブロックの集合体から鏡エリアを生成する鏡エリア生成手段と
を具備したことを特徴とするエレベータシステム。 In an elevator system with mirrors installed in the car,
Imaging means for imaging a range including the landing area near the entrance from inside the car;
a feature amount extracting means for extracting a feature amount of the image captured by the imaging means in units of blocks;
A pair of blocks having a symmetrical motion in the image is determined based on changes in the feature amount of the image extracted by the feature amount extraction means, and one of the pair of blocks is detected as a mirror image block. a mirror image block detection means;
and mirror area generation means for generating a mirror area from the collection of the mirror image blocks detected by the mirror image block detection means.
撮影画像上における上記乗りかごのシルの位置を基準にして、上記一対のブロックの一方を上記鏡像ブロックとして検出することを特徴とする請求項1記載のエレベータシステム。 The mirror image block detection means includes:
2. The elevator system according to claim 1, wherein one of the pair of blocks is detected as the mirror image block with reference to the position of the sill of the car on the photographed image.
上記画像の特徴量の変化をブロック単位で比較したときの差分が予め設定された閾値以内にある一対のブロックを検出することを特徴とする請求項1記載のエレベータシステム。 The mirror image block detection means includes:
2. The elevator system according to claim 1, wherein a pair of blocks having a difference within a preset threshold when comparing changes in the feature amount of the image on a block-by-block basis is detected.
上記画像の中で同じブロックが上記鏡像ブロックとして一定回数以上検出された場合に、当該ブロックを上記鏡エリアの生成に用いることを特徴とする請求項1記載のエレベータシステム。 The mirror area generating means includes:
2. The elevator system according to claim 1, wherein when the same block in the image is detected as the mirror image block a predetermined number of times or more, the block is used to generate the mirror area.
上記鏡像ブロックが一定以上の割合を占めて矩形エリアを形成する場合に、上記矩形エリアを上記鏡エリアとして生成することを特徴とする請求項1記載のエレベータシステム。 The mirror area generating means includes:
2. The elevator system according to claim 1, wherein when said mirror image blocks occupy a certain proportion or more of said rectangular area to form a rectangular area, said rectangular area is generated as said mirror area.
一定以上の割合で上記鏡像ブロックを含むことを条件にして検索対象とする矩形エリアを広げ、最終的に得られた矩形エリアを上記鏡エリアとして生成することを特徴とする請求項1記載のエレベータシステム。 The mirror area generating means includes:
2. The elevator according to claim 1, wherein a rectangular area to be searched is expanded under the condition that the mirror image blocks are included at a rate equal to or higher than a certain ratio, and the finally obtained rectangular area is generated as the mirror area. system.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022092217A JP7282952B1 (en) | 2022-06-07 | 2022-06-07 | elevator system |
CN202310661286.7A CN117185071A (en) | 2022-06-07 | 2023-06-06 | Elevator system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022092217A JP7282952B1 (en) | 2022-06-07 | 2022-06-07 | elevator system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7282952B1 true JP7282952B1 (en) | 2023-05-29 |
JP2023179121A JP2023179121A (en) | 2023-12-19 |
Family
ID=86538275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022092217A Active JP7282952B1 (en) | 2022-06-07 | 2022-06-07 | elevator system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7282952B1 (en) |
CN (1) | CN117185071A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020142896A (en) | 2019-03-06 | 2020-09-10 | フジテック株式会社 | Car inside monitoring device |
JP6904244B2 (en) | 2017-12-27 | 2021-07-14 | 三菱電機ビルテクノサービス株式会社 | Elevator device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010063001A (en) * | 2008-09-05 | 2010-03-18 | Mitsubishi Electric Corp | Person-tracking device and person-tracking program |
-
2022
- 2022-06-07 JP JP2022092217A patent/JP7282952B1/en active Active
-
2023
- 2023-06-06 CN CN202310661286.7A patent/CN117185071A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6904244B2 (en) | 2017-12-27 | 2021-07-14 | 三菱電機ビルテクノサービス株式会社 | Elevator device |
JP2020142896A (en) | 2019-03-06 | 2020-09-10 | フジテック株式会社 | Car inside monitoring device |
Also Published As
Publication number | Publication date |
---|---|
JP2023179121A (en) | 2023-12-19 |
CN117185071A (en) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7230114B2 (en) | Elevator user detection system | |
CN113428752B (en) | User detection system for elevator | |
JP2022129935A (en) | elevator system | |
CN112429609B (en) | User detection system for elevator | |
JP7322250B1 (en) | elevator system | |
JP7282952B1 (en) | elevator system | |
JP7305849B1 (en) | elevator system | |
JP7187629B1 (en) | Elevator user detection system | |
CN113428750B (en) | User detection system for elevator | |
CN112340560B (en) | User detection system for elevator | |
JP6702579B1 (en) | Elevator user detection system | |
CN112441497B (en) | User detection system for elevator | |
JP7375137B1 (en) | Elevator user detection system | |
CN113911868B (en) | Elevator user detection system | |
CN112456287B (en) | User detection system for elevator | |
JP7183457B2 (en) | Elevator user detection system | |
JP7077437B2 (en) | Elevator user detection system | |
CN115108425B (en) | Elevator user detection system | |
JP2020186124A (en) | Elevator user detection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7282952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |