JP6772324B2 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP6772324B2
JP6772324B2 JP2019053669A JP2019053669A JP6772324B2 JP 6772324 B2 JP6772324 B2 JP 6772324B2 JP 2019053669 A JP2019053669 A JP 2019053669A JP 2019053669 A JP2019053669 A JP 2019053669A JP 6772324 B2 JP6772324 B2 JP 6772324B2
Authority
JP
Japan
Prior art keywords
camera
markers
image
car
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019053669A
Other languages
Japanese (ja)
Other versions
JP2020152546A (en
Inventor
田村　聡
聡 田村
紗由美 木村
紗由美 木村
周平 野田
周平 野田
横井　謙太朗
謙太朗 横井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Elevator and Building Systems Corp
Original Assignee
Toshiba Elevator Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Elevator Co Ltd filed Critical Toshiba Elevator Co Ltd
Priority to JP2019053669A priority Critical patent/JP6772324B2/en
Priority to CN201911181935.3A priority patent/CN111717768B/en
Publication of JP2020152546A publication Critical patent/JP2020152546A/en
Application granted granted Critical
Publication of JP6772324B2 publication Critical patent/JP6772324B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B13/00—Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
    • B66B13/24—Safety devices in passenger lifts, not otherwise provided for, for preventing trapping of passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0012—Devices monitoring the users of the elevator system

Description

本発明の実施形態は、画像処理装置に関する。 An embodiment of the present invention relates to an image processing apparatus.

近年、エレベータのかごドアに人や物が挟まれるのを防ぐために、様々な技術が考案されている。例えば、カメラを用いてエレベータに向かって移動している利用者を検知し、当該エレベータのドアの戸開時間を延長する技術が考案されている。 In recent years, various technologies have been devised to prevent people and objects from being caught in the elevator car door. For example, a technique has been devised in which a camera is used to detect a user moving toward an elevator and the door opening time of the elevator is extended.

このような技術においては、カメラによって撮影される画像から、エレベータに向かって移動している利用者を精度良く検知する必要がある。しかしながら、カメラの取り付け位置にずれが生じてしまった場合、カメラによって撮影される画像が回転したり、左右方向にずれたりするため、上記した利用者の検知精度を低下させてしまう可能性がある。 In such a technique, it is necessary to accurately detect a user moving toward an elevator from an image taken by a camera. However, if the mounting position of the camera is displaced, the image captured by the camera may be rotated or displaced in the left-right direction, which may reduce the above-mentioned detection accuracy of the user. ..

このため、カメラの取り付け位置にずれが生じた場合に、当該ずれを検知可能な技術が開発され、当該技術の精度向上が望まれている。 Therefore, when a deviation occurs in the mounting position of the camera, a technique capable of detecting the deviation has been developed, and it is desired to improve the accuracy of the technique.

特開２００９−１４３７２２号公報JP-A-2009-143722

本発明の実施形態が解決しようとする課題は、カメラの取り付け位置のずれの検知精度を向上させ得る画像処理装置を提供することである。 An object to be solved by the embodiment of the present invention is to provide an image processing device capable of improving the detection accuracy of the deviation of the mounting position of the camera.

一実施形態によれば、画像処理装置は、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知する。前記画像処理装置は、取得手段と、第１検知手段と、第１通知手段と、を具備する。前記取得手段は、前記乗りかごの床面および前記乗場の床面と区別可能なマーカが複数設置された状態で撮影された画像を前記カメラから取得する。前記第１検知手段は、前記取得された画像から前記複数のマーカを認識し、前記認識された複数のマーカ間の距離が予め設定された条件に該当する場合に、前記認識された複数のマーカに基づいて、前記カメラの取り付け位置のずれを検知する。前記第１通知手段は、前記複数のマーカ間の距離が前記条件に該当しない場合、前記複数のマーカを正常に認識することができなかったことを管理者に対して通知する。 According to one embodiment, the image processing device is installed near the door of the car and detects a deviation in the mounting position of the camera that captures an image including the inside of the car and the landing. The image processing device includes an acquisition means, a first detection means, and a first notification means . The acquisition means acquires an image taken from the camera in a state where a plurality of markers distinguishable from the floor surface of the car and the floor surface of the landing are installed. The first detection means recognizes the plurality of markers from the acquired image, and when the distance between the recognized plurality of markers corresponds to a preset condition, the recognized plurality of markers. Based on the above, the deviation of the mounting position of the camera is detected. When the distance between the plurality of markers does not meet the above condition, the first notification means notifies the administrator that the plurality of markers could not be recognized normally.

図１は、実施形態に係るエレベータシステムの概略構成例を示す図である。FIG. 1 is a diagram showing a schematic configuration example of an elevator system according to an embodiment. 図２は、エレベータシステムに含まれる画像処理装置のハードウェア構成例を示す図である。FIG. 2 is a diagram showing a hardware configuration example of an image processing device included in an elevator system. 図３は、カメラの取り付け位置にずれがない場合に撮影された画像を示す図である。FIG. 3 is a diagram showing an image taken when there is no deviation in the mounting position of the camera. 図４は、カメラの取り付け位置にずれがある場合に撮影された画像を示す図である。FIG. 4 is a diagram showing an image taken when the mounting position of the camera is deviated. 図５は、カメラの撮影範囲内に設置されるマーカの一例を示す図である。FIG. 5 is a diagram showing an example of a marker installed within the shooting range of the camera. 図６は、画像処理装置の機能構成例を示すブロック図である。FIG. 6 is a block diagram showing a functional configuration example of the image processing device. 図７は、キャリブレーション機能における画像処理装置の処理手順の一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the processing procedure of the image processing apparatus in the calibration function. 図８は、図７に示すフローチャートを補足的に説明するための図であって、カメラにより撮影された画像を示す図である。FIG. 8 is a diagram for supplementarily explaining the flowchart shown in FIG. 7, and is a diagram showing an image taken by a camera. 図９は、キャリブレーション機能の一機能である誤認識抑止機能を説明するための図である。FIG. 9 is a diagram for explaining a false recognition suppression function, which is one of the calibration functions. 図１０は、キャリブレーション機能の一機能である誤認識抑止機能を説明するための別の図である。FIG. 10 is another diagram for explaining a false recognition suppression function, which is one of the calibration functions.

以下、実施の形態について図面を参照して説明する。開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。 Hereinafter, embodiments will be described with reference to the drawings. The disclosure is merely an example, and the invention is not limited by the contents described in the following embodiments. Modifications that can be easily conceived by those skilled in the art are naturally included in the scope of disclosure. In order to clarify the explanation, in the drawings, the size, shape, etc. of each part may be changed with respect to the actual embodiment and represented schematically. In a plurality of drawings, the corresponding elements may be given the same reference numbers and detailed description may be omitted.

図１は、実施形態に係るエレベータシステムの概略構成例を示す図である。
乗りかご１１の出入口上部にカメラ１２が設置されている。具体的には、乗りかご１１の出入口上部を覆う幕板１１ａの中にカメラ１２のレンズ部分を、乗りかご１１内および乗場１５が共に映る方向に向けて設置されている。カメラ１２は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズを有し、１秒間に数コマ（例えば、３０コマ／秒）の画像を連続的に撮影する。 FIG. 1 is a diagram showing a schematic configuration example of an elevator system according to an embodiment.
A camera 12 is installed above the doorway of the car 11. Specifically, the lens portion of the camera 12 is installed in the curtain plate 11a covering the upper part of the doorway of the car 11 so that the inside of the car 11 and the landing 15 are both reflected. The camera 12 is a small surveillance camera such as an in-vehicle camera, has a wide-angle lens, and continuously captures images of several frames (for example, 30 frames / second) per second.

カメラ１２は、常時オンであり、常に撮影を行うとしても良いし、所定のタイミングでオンになり撮影を開始し、所定のタイミングでオフになり撮影を終了するとしても良い。例えば、カメラ１２は、乗りかご１１の移動速度が所定値未満の時にオンになり、乗りかご１１の移動速度が所定値以上の時にオフになるとしても良い。この場合、カメラ１２は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になるとオンになり撮影を開始し、乗りかご１１が当該所定階とは別の階に向かうために加速を開始し、移動速度が所定値以上になるとオフになり撮影を終了する。つまり、カメラ１２による撮影は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になってから、乗りかご１１が当該所定階に停止している間中も含めて、乗りかご１１が当該所定階から別の階に向かうために加速を開始し、移動速度が所定値以上になるまで継続して行われる。 The camera 12 may be always on and shooting may be performed at all times, or may be turned on at a predetermined timing to start shooting and may be turned off at a predetermined timing to end shooting. For example, the camera 12 may be turned on when the moving speed of the car 11 is less than a predetermined value and turned off when the moving speed of the car 11 is equal to or more than a predetermined value. In this case, the camera 12 starts decelerating because the car 11 stops on the predetermined floor, turns on when the moving speed becomes less than the predetermined value, and starts shooting, and the car 11 is different from the predetermined floor. Acceleration is started to go to the floor, and when the movement speed exceeds the specified value, it turns off and the shooting ends. That is, in the shooting by the camera 12, deceleration is started because the car 11 stops on the predetermined floor, and after the moving speed becomes less than the predetermined value, even while the car 11 is stopped on the predetermined floor. Including, the car 11 starts accelerating to move from the predetermined floor to another floor, and continues until the moving speed becomes equal to or higher than the predetermined value.

カメラ１２の撮影範囲はＬ１＋Ｌ２に設定されている（Ｌ１≧Ｌ２）。Ｌ１は乗場１５側の撮影範囲であり、かごドア１３から乗場１５に向けて設定される。Ｌ１は乗りかご１１側の撮影範囲であり、かごドア１３からかご背面に向けて設定される。なお、Ｌ１，Ｌ２は奥行方向の範囲であり、幅方向（奥行方向と直交する方向）の範囲については、少なくとも乗りかご１１の横幅よりも大きいものとする。 The shooting range of the camera 12 is set to L1 + L2 (L1 ≧ L2). L1 is a shooting range on the landing 15 side, and is set from the car door 13 toward the landing 15. L1 is the shooting range on the car 11 side, and is set from the car door 13 toward the back of the car. It should be noted that L1 and L2 are ranges in the depth direction, and the range in the width direction (direction orthogonal to the depth direction) is at least larger than the width of the car 11.

各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３が戸開している時には乗場ドア１４も戸開しており、かごドア１３を戸閉している時には乗場ドア１４も戸閉しているものとする。 At the landing 15 on each floor, a landing door 14 is openably and closably installed at the arrival port of the car 11. The landing door 14 engages with the car door 13 when the car 11 arrives to open and close. The power source (door motor) is on the car 11 side, and the landing door 14 only opens and closes following the car door 13. In the following description, it is assumed that the landing door 14 is also open when the car door 13 is open, and the landing door 14 is also closed when the car door 13 is closed.

カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０によってリアルタイムに画像処理される。具体的には、画像処理装置２０は、予め設定されたエリア（以下、検知エリアと表記する）における画像の輝度値の変化に基づいてかごドア１３に最も近い利用者（の動き）を検知し、検知された利用者が乗りかご１１に乗車する意思を有しているか否かの判定や、検知された利用者の手や腕が戸袋に引き込まれる可能性があるか否かの判定等を行う。画像処理装置２０による画像処理の結果は、必要に応じて、エレベータ制御装置３０による制御処理（主に、戸開閉制御処理）に反映される。 Each image (video) continuously captured by the camera 12 is image-processed in real time by the image processing device 20. Specifically, the image processing device 20 detects the user (movement) closest to the car door 13 based on the change in the brightness value of the image in the preset area (hereinafter referred to as the detection area). , Judgment as to whether or not the detected user is willing to board the car 11, and whether or not the detected user's hand or arm may be pulled into the door pocket, etc. Do. The result of the image processing by the image processing device 20 is reflected in the control processing (mainly the door opening / closing control processing) by the elevator control device 30 as needed.

エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時のかごドア１３の戸開閉を制御する。詳しくは、エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時にかごドア１３を戸開し、所定時間経過後に戸閉する。 The elevator control device 30 controls the opening and closing of the car door 13 when the car 11 arrives at the landing 15. Specifically, the elevator control device 30 opens the car door 13 when the car 11 arrives at the landing 15, and closes the door 13 after a lapse of a predetermined time.

但し、画像処理装置２０により乗りかご１１に乗車する意思のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸閉動作を禁止して戸開状態を維持する（かごドア１３の戸開時間を延長する）。また、画像処理装置２０により手や腕が戸袋に引き込まれる可能性のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸開動作を禁止するまたはかごドア１３の戸開速度を通常時よりも遅くする、あるいはかごドア１３から離れることを促す旨のメッセージを乗りかご１１内に流す等して、手や腕が戸袋に引き込まれる可能性があることを当該利用者に対して通知する。 However, when the image processing device 20 detects a user who intends to get in the car 11, the elevator control device 30 prohibits the door closing operation of the car door 13 and maintains the door open state (). Extend the door opening time of the car door 13). Further, when the image processing device 20 detects a user whose hand or arm may be pulled into the door pocket, the elevator control device 30 prohibits the door opening operation of the car door 13 or the car door 13. The use that the door opening speed may be slower than usual, or a message prompting the car to move away from the car door 13 may be sent into the car 11 so that the hands and arms may be pulled into the door pocket. Notify the person.

なお、図１では便宜的に、画像処理装置２０を乗りかご１１から取り出して示しているが、実際には画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。また、図１では、カメラ１２と画像処理装置２０とが別々に設けられている場合を例示しているが、カメラ１２と画像処理装置２０とは１つの装置として一体化されて設けられても良い。さらに、図１では、画像処理装置２０とエレベータ制御装置３０とが別々に設けられている場合を例示しているが、画像処理装置２０の機能はエレベータ制御装置３０に搭載されるとしても良い。 Although the image processing device 20 is taken out from the car 11 and shown in FIG. 1 for convenience, the image processing device 20 is actually housed in the curtain plate 11a together with the camera 12. Further, although FIG. 1 illustrates a case where the camera 12 and the image processing device 20 are separately provided, the camera 12 and the image processing device 20 may be integrally provided as one device. good. Further, although FIG. 1 illustrates a case where the image processing device 20 and the elevator control device 30 are separately provided, the function of the image processing device 20 may be mounted on the elevator control device 30.

図２は、画像処理装置２０のハードウェア構成の一例を示す図である。
図２に示すように、画像処理装置２０においては、バス２１に、不揮発性メモリ２２、ＣＰＵ２３、メインメモリ２４および通信デバイス２５等が接続されている。 FIG. 2 is a diagram showing an example of the hardware configuration of the image processing device 20.
As shown in FIG. 2, in the image processing device 20, the non-volatile memory 22, the CPU 23, the main memory 24, the communication device 25, and the like are connected to the bus 21.

不揮発性メモリ２２は、例えばオペレーティングシステム（ＯＳ）等を含む各種プログラムを格納する。なお、不揮発性メモリ２２に格納されているプログラムには、上記した画像処理（より詳しくは、後述する利用者検知処理）を実行するためのプログラムや、後述するキャリブレーション機能を実現するためのプログラム（以下、キャリブレーションプログラムと表記する）が含まれる。 The non-volatile memory 22 stores various programs including, for example, an operating system (OS). The program stored in the non-volatile memory 22 includes a program for executing the above-mentioned image processing (more specifically, a user detection process described later) and a program for realizing the calibration function described later. (Hereinafter referred to as a calibration program) is included.

ＣＰＵ２３は、例えば不揮発性メモリ２２に格納されている各種プログラムを実行するプロセッサである。なお、ＣＰＵ２３は、画像処理装置２０全体の制御を実行する。 The CPU 23 is, for example, a processor that executes various programs stored in the non-volatile memory 22. The CPU 23 controls the entire image processing device 20.

メインメモリ２４は、例えばＣＰＵ２３が各種プログラムを実行する際に必要とされるワークエリア等として使用される。 The main memory 24 is used, for example, as a work area or the like required when the CPU 23 executes various programs.

通信デバイス２５は、有線または無線により、例えばカメラ１２やエレベータ制御装置３０等の外部装置と実行される通信（信号の送受信）を制御する機能を有する。 The communication device 25 has a function of controlling communication (signal transmission / reception) executed with an external device such as a camera 12 or an elevator control device 30 by wire or wirelessly.

ここで、上記したように、画像処理装置２０は、予め設定された検知エリアにおける画像の輝度値の変化に基づいてかごドア１３に最も近い利用者を検知する利用者検知処理を実行する。この利用者検知処理では、予め設定された検知エリアにおける画像の輝度値の変化に注目するため、当該検知エリアは、画像上の決まった位置に常に設定される必要がある。 Here, as described above, the image processing device 20 executes the user detection process for detecting the user closest to the car door 13 based on the change in the brightness value of the image in the preset detection area. In this user detection process, in order to pay attention to the change in the brightness value of the image in the preset detection area, the detection area needs to be always set at a fixed position on the image.

しかしながら、エレベータシステムの運用中に例えば乗りかご１１やカメラ１２に対する衝撃等によって、カメラ１２の取り付け位置（取り付け角度）にずれが生じてしまうと、上記した検知エリアにもずれが生じてしまうため、画像処理装置２０は、実際に注目したいエリアとは異なるエリアの画像の輝度値の変化に注目してしまい、その結果、本来であれば検知する必要のある利用者（や物体）を検知できない、あるいは、本来であれば検知する必要のない利用者（や物体）を誤検知してしまう、等の可能性がある。 However, if the mounting position (mounting angle) of the camera 12 shifts due to, for example, an impact on the car 11 or the camera 12 during the operation of the elevator system, the detection area described above also shifts. The image processing device 20 pays attention to a change in the brightness value of an image in an area different from the area actually desired to be noticed, and as a result, cannot detect a user (or an object) that should be detected. Alternatively, there is a possibility that a user (or an object) that normally does not need to be detected may be erroneously detected.

図３は、カメラ１２の取り付け位置にずれがない場合に撮影された画像の一例を示す。なお、図１においては示されていないが、乗りかご１１側には、かごドア１３の開閉をガイドするためのシル（敷居）（以下、かごシルと表記する）１３ａが設けられている。同様に、乗場１５側には、乗場ドア１４の開閉をガイドするためのシル（以下、乗場シルと表記する）１４ａが設けられている。また、図３中の斜線部分は、画像上に設定された検知エリアｅ１を示している。ここでは一例として、乗場１５にいる利用者を検知するために、検知エリアｅ１が、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に向けて所定の範囲を有して設定される場合を想定する。なお、検知エリアは、手や腕の戸袋への引き込まれを抑止するために乗りかご１１側に設定されても良いし、乗場１５側および乗りかご１１側の双方に複数設定されても良い。 FIG. 3 shows an example of an image taken when there is no deviation in the mounting position of the camera 12. Although not shown in FIG. 1, a sill (sill) (hereinafter referred to as a car sill) 13a for guiding the opening and closing of the car door 13 is provided on the car 11 side. Similarly, on the landing 15 side, a sill (hereinafter, referred to as a landing sill) 14a for guiding the opening and closing of the landing door 14 is provided. The shaded area in FIG. 3 indicates the detection area e1 set on the image. Here, as an example, in order to detect a user at the landing 15, the detection area e1 is predetermined from the long side of the rectangular car sill 13a on the car 11 side toward the landing 15. It is assumed that the setting has a range of. The detection area may be set on the car 11 side in order to prevent the hand or arm from being pulled into the door pocket, or may be set on both the landing 15 side and the car 11 side.

一方、図４は、カメラ１２の取り付け位置にずれがある場合に撮影された画像の一例を示す。なお、図４中の斜線部分は、図３同様に、画像上に設定された検知エリアｅ１を示す。 On the other hand, FIG. 4 shows an example of an image taken when the mounting position of the camera 12 is deviated. The shaded area in FIG. 4 indicates the detection area e1 set on the image, as in FIG.

図４に示すように、カメラ１２の取り付け位置にずれがあると、カメラ１２によって撮影された画像は、図３に示す場合に比べて、例えば回転した画像（傾いた画像）となる。しかしながら、検知エリアｅ１は、図３同様、画像上の決まった位置に設定されるため、本来であれば図３に示すように、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に所定の範囲を有して設定されるにも関わらず、図４に示すように、長方形状のかごシル１３ａの長辺とは全く関係のない位置から所定の範囲を有して設定されてしまうことになる。これによれば、上記したように、本来であれば検知する必要のある利用者を検知できなかったり、検知する必要のない利用者を誤検知してしまったりする可能性がある。なお、図４では、カメラ１２の取り付け位置のずれに起因して、画像が回転してしまった場合を例示したが、カメラ１２の取り付け位置のずれに起因して、画像が左右方向にずれてしまった場合も同様の可能性がある。 As shown in FIG. 4, if the mounting position of the camera 12 is deviated, the image taken by the camera 12 becomes, for example, a rotated image (tilted image) as compared with the case shown in FIG. However, since the detection area e1 is set at a fixed position on the image as in FIG. 3, originally, as shown in FIG. 3, the car 11 side of the long side of the rectangular car sill 13a Although it is set with a predetermined range from the long side of the car to the landing 15 side, as shown in FIG. 4, it is predetermined from a position completely unrelated to the long side of the rectangular car sill 13a. It will be set with a range. According to this, as described above, there is a possibility that the user who normally needs to be detected cannot be detected, or the user who does not need to be detected is erroneously detected. Note that FIG. 4 illustrates a case where the image is rotated due to the deviation of the mounting position of the camera 12, but the image is shifted in the left-right direction due to the deviation of the mounting position of the camera 12. If it does, there is a similar possibility.

そこで、本実施形態に係る画像処理装置２０は、カメラ１２の取り付け位置にずれが生じているか否かを検知し、ずれが生じている場合には、当該ずれにあわせて適切な位置に検知エリアを設定可能なキャリブレーション機能を有している。以下では、このキャリブレーション機能について詳しく説明する。 Therefore, the image processing device 20 according to the present embodiment detects whether or not the mounting position of the camera 12 is misaligned, and if so, the detection area is located at an appropriate position according to the misalignment. It has a calibration function that can be set. The calibration function will be described in detail below.

なお、キャリブレーション機能を実現するにあたっては、例えば図５に示すようなマーカｍがカメラ１２の撮影範囲内に設置される必要がある。マーカｍは、例えばエレベータシステムの保守点検を行う保守員により設置される。ここでは、マーカｍが正方形状であり、４つの黒い丸印を模様として含むものとしたが、マーカｍは４つの角が全て直角である四角形であって、カメラ１２の撮影範囲内に含まれる他の物体（例えば、乗りかご１１や乗場１５の床面）と区別可能な模様を含むものであれば、どのようなものであっても構わない。 In order to realize the calibration function, for example, the marker m as shown in FIG. 5 needs to be installed within the shooting range of the camera 12. The marker m is installed, for example, by a maintenance person who performs maintenance and inspection of the elevator system. Here, the marker m is square and includes four black circles as a pattern. However, the marker m is a quadrangle in which all four corners are right angles and is included in the shooting range of the camera 12. Any object may be used as long as it contains a pattern that can be distinguished from other objects (for example, the floor surface of the car 11 or the landing 15).

図６は、本実施形態に係る画像処理装置２０の機能構成の一例を示すブロック図である。ここでは、上記したキャリブレーション機能に関する機能構成について主に説明する。 FIG. 6 is a block diagram showing an example of the functional configuration of the image processing device 20 according to the present embodiment. Here, the functional configuration related to the above-mentioned calibration function will be mainly described.

画像処理装置２０は、図６に示すように、格納部２０１、画像取得部２０２、ずれ検知部２０３、設定処理部２０４および通知処理部２０５、等を含む。ずれ検知部２０３は、図６に示すように、認識処理部２３１、算出処理部２３２および検知処理部２３３、等をさらに含む。 As shown in FIG. 6, the image processing device 20 includes a storage unit 201, an image acquisition unit 202, a deviation detection unit 203, a setting processing unit 204, a notification processing unit 205, and the like. As shown in FIG. 6, the deviation detection unit 203 further includes a recognition processing unit 231, a calculation processing unit 232, a detection processing unit 233, and the like.

本実施形態においては、これら各部２０２〜２０５が、例えば図２に示すＣＰＵ２３（つまり、画像処理装置２０のコンピュータ）が不揮発性メモリ２２に格納されているキャリブレーションプログラムを実行すること（つまり、ソフトウェア）により実現されるものとして説明するが、上記した各部２０２〜２０５は、ハードウェアにより実現されても良いし、ソフトウェアおよびハードウェアの組み合わせにより実現されても良い。また、本実施形態において、格納部２０１は、例えば図２に示す不揮発性メモリ２２または他の記憶装置等によって構成される。 In the present embodiment, each of these units 202 to 205 executes, for example, a calibration program in which the CPU 23 (that is, the computer of the image processing device 20) shown in FIG. 2 is stored in the non-volatile memory 22 (that is, software). ), But each of the above-mentioned parts 202 to 205 may be realized by hardware, or may be realized by a combination of software and hardware. Further, in the present embodiment, the storage unit 201 is composed of, for example, the non-volatile memory 22 shown in FIG. 2 or another storage device or the like.

格納部２０１には、キャリブレーション機能に関する設定値が格納されている。キャリブレーション機能に関する設定値は、基準点に対するマーカの相対位置を示す値（以下、第１設定値と表記する）を含む。基準点とは、カメラ１２の取り付け位置にずれが生じているか否かを検知するための指標となる位置であり、例えば、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央がこれに相当する。なお、基準点は、上記した長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央ではなく、カメラ１２の取り付け位置にずれが生じていない場合に当該カメラ１２の撮影範囲内に含まれる位置であれば任意の位置が基準点に設定されて構わない。 The storage unit 201 stores setting values related to the calibration function. The set value related to the calibration function includes a value indicating the relative position of the marker with respect to the reference point (hereinafter, referred to as a first set value). The reference point is a position that serves as an index for detecting whether or not the mounting position of the camera 12 is displaced. For example, the length of the long side of the rectangular car sill 13a on the car 11 side. The center of the side corresponds to this. Note that the reference point is not the center of the long side of the car 11 side of the long sides of the rectangular car sill 13a described above, and the camera 12 is photographed when the mounting position of the camera 12 is not deviated. Any position may be set as the reference point as long as it is within the range.

また、キャリブレーションに関する設定値には、カメラ１２の取り付け位置にずれが生じていない場合の画像（基準画像）に含まれる基準点に対するカメラ１２の相対位置を示す値（以下、第２設定値と表記する）が含まれる。 Further, the set values related to calibration include values indicating the relative positions of the camera 12 with respect to the reference point included in the image (reference image) when the mounting position of the camera 12 is not deviated (hereinafter, the second set value). Notation) is included.

さらに、キャリブレーションに関する設定値には、基準点に対するかごシル１３ａの各頂点（四隅）の相対位置を示す値（以下、第３設定値と表記する）が含まれる。なお、本実施形態においては、検知エリアが長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有して設定される場合を想定しているため、上記した第３設定値として、基準点に対するかごシル１３ａの各頂点の相対位置を示す値が含まれるとしているが、これに限定されず、第３設定値には、検知エリアを設定すべき領域に応じた値が設定される。例えば、検知エリアが手や腕の戸袋への引き込まれを抑止することを目的として、戸袋近辺に設定される場合、第３設定値として、基準点に対する戸袋の各特徴点の相対位置を示す値が含まれるとしても良い。 Further, the set value related to the calibration includes a value (hereinafter, referred to as a third set value) indicating the relative position of each vertex (four corners) of the car sill 13a with respect to the reference point. In this embodiment, it is assumed that the detection area is set to have a predetermined range from the long side of the car 11 side to the landing 15 side of the long sides of the rectangular car sill 13a. Therefore, the above-mentioned third set value includes a value indicating the relative position of each vertex of the car sill 13a with respect to the reference point, but the present invention is not limited to this, and the detection area is set in the third set value. A value is set according to the area to be set. For example, when the detection area is set near the door pocket for the purpose of suppressing the pulling of the hand or arm into the door pocket, the third set value is a value indicating the relative position of each feature point of the door pocket with respect to the reference point. May be included.

また、キャリブレーションに関する設定値には、乗りかご１１の床面からカメラ１２までの高さと、当該カメラ１２の画角（焦点距離）とを示す値（以下、カメラ設定値と表記する）が含まれる。 Further, the set value related to the calibration includes a value indicating the height from the floor surface of the car 11 to the camera 12 and the angle of view (focal length) of the camera 12 (hereinafter, referred to as a camera set value). Is done.

さらに、キャリブレーションに関する設定値には、複数のマーカｍ間の距離に対して設定される上限値（閾値）が含まれる。 Further, the set value related to the calibration includes an upper limit value (threshold value) set for the distance between the plurality of markers m.

なお、格納部２０１には、カメラ１２の取り付け位置にずれがない場合に撮影された画像（基準画像）が格納されていても良い。 The storage unit 201 may store an image (reference image) taken when the mounting position of the camera 12 does not deviate.

画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態でカメラ１２により撮影された画像（以下、撮影画像と表記する）を取得する。なお、本実施形態においては、複数のマーカｍが、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の両端部にそれぞれ沿うようにして、乗りかご１１内の床面に設置される（以下では、単にかごシル１３ａの両端部に設置すると表記する）場合を想定するが、複数のマーカｍは基準点（本実施形態の場合、かごシル１３ａの中央）との相対位置を特定可能な位置であれば、乗場１５側の床面に設置されても良いし、かごシル１３ａや乗場シル１４ａ上に設置されても良い。 The image acquisition unit 202 acquires an image (hereinafter, referred to as a captured image) taken by the camera 12 with a plurality of markers m installed on the floor surface in the car 11. In the present embodiment, the plurality of markers m are arranged along both ends of the long side of the rectangular car sill 13a on the car 11 side so that the floor surface in the car 11 is formed. (Hereinafter, it is simply described as being installed at both ends of the car sill 13a), but the plurality of markers m are relative to the reference point (in the case of the present embodiment, the center of the car sill 13a). As long as the position can be specified, it may be installed on the floor surface on the landing 15 side, or may be installed on the car sill 13a or the landing sill 14a.

ずれ検知部２０３は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれる複数のマーカｍを認識（抽出）する。撮影画像に含まれるマーカｍの認識は、例えばマーカｍに含まれる模様、本実施形態の場合、正方形の中に含まれる４つの黒い丸印を模様として含む物体を、マーカｍとして認識することを予め設定しておくことで実現するとしても良いし、その他の公知の画像認識技術を用いて実現するとしても良い。 The deviation detection unit 203 executes recognition processing on the captured image acquired by the image acquisition unit 202, and recognizes (extracts) a plurality of markers m included in the captured image. The recognition of the marker m included in the captured image is to recognize, for example, a pattern included in the marker m, and in the case of the present embodiment, an object including four black circles included in the square as a pattern as the marker m. It may be realized by setting it in advance, or it may be realized by using other known image recognition techniques.

なお、本実施形態において、複数のマーカｍを認識するとは、複数のマーカｍの撮影画像上での座標値を算出することを含む。本実施形態においては、マーカｍとして認識された物体に含まれる４つの黒い丸印の中心点を結ぶことで形成される四角形の中心点（重心）をマーカｍとみなして、複数のマーカｍの撮影画像上での座標値が算出される場合を想定する。なお、ここでは、マーカｍとして認識された物体に含まれる４つの黒い丸印の中心点を結ぶことで形成される四角形の重心をマーカｍとみなすとするが、マーカｍとして認識された物体のどの部分をマーカｍとみなすかは任意に設定されて構わない。 In the present embodiment, recognizing a plurality of marker m includes calculating the coordinate values of the plurality of marker m on the captured image. In the present embodiment, the center point (center of gravity) of the quadrangle formed by connecting the center points of the four black circles included in the object recognized as the marker m is regarded as the marker m, and a plurality of marker m's are used. It is assumed that the coordinate values on the captured image are calculated. Here, the center of gravity of the quadrangle formed by connecting the center points of the four black circles included in the object recognized as the marker m is regarded as the marker m, but the object recognized as the marker m Which part is regarded as the marker m may be arbitrarily set.

ずれ検知部２０３は、認識された複数のマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知する。なお、ずれ検知部２０３に含まれる認識処理部２３１、算出処理部２３２および検知処理部２３３の機能については、フローチャートの説明と共に後述するため、ここではこれらの詳しい説明を省略する。 The deviation detection unit 203 detects the deviation of the mounting position of the camera 12 based on the recognized plurality of markers m. Since the functions of the recognition processing unit 231 and the calculation processing unit 232 and the detection processing unit 233 included in the deviation detection unit 203 will be described later together with the explanation of the flowchart, detailed description thereof will be omitted here.

設定処理部２０４は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、画像取得部２０２により取得された撮影画像のうちの当該ずれにあわせた適切な位置に検知エリアを設定する。これによれば、カメラ１２の取り付け位置のずれを考慮した検知エリアが撮影画像上に設定される。なお、ずれにあわせて適切な位置に設定された検知エリアの座標値は、格納部２０１に格納されても良い。 When the misalignment detection unit 203 detects that the mounting position of the camera 12 is misaligned, the setting processing unit 204 sets an appropriate position in the captured image acquired by the image acquisition unit 202 according to the misalignment. Set the detection area to. According to this, a detection area considering the deviation of the mounting position of the camera 12 is set on the captured image. The coordinate values of the detection area set at appropriate positions according to the deviation may be stored in the storage unit 201.

通知処理部２０５は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、エレベータシステムの運用状態等を監視する監視センタ（の管理者）や、マーカｍを設置してエレベータシステムの保守点検を行う保守員（が所持する端末）に対して、カメラ１２の取り付け位置にずれが生じていること（異常が生じていること）を通知する。なお、この通知は、例えば通信デバイス２５を介して行われる。 When the deviation detection unit 203 detects that the mounting position of the camera 12 is displaced, the notification processing unit 205 sets a monitoring center (administrator) for monitoring the operating state of the elevator system and the marker m. Notify the maintenance personnel (terminals possessed by the elevator system) that are installed and perform maintenance and inspection of the elevator system that the mounting position of the camera 12 is misaligned (an abnormality has occurred). This notification is made, for example, via the communication device 25.

次に、図７のフローチャートを参照して、本実施形態におけるキャリブレーション機能における画像処理装置２０の処理手順について説明する。なお、図７に示す一連の処理は、例えば定期メンテナンス時に実行される他、エレベータシステムの運用前等に実行されても良い。 Next, the processing procedure of the image processing apparatus 20 in the calibration function in the present embodiment will be described with reference to the flowchart of FIG. 7. The series of processes shown in FIG. 7 may be executed, for example, during regular maintenance, or may be executed before the operation of the elevator system.

まず、画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態で撮影された画像（撮影画像）をカメラ１２から取得する（ステップＳ１）。ここでは一例として、図８に示す撮影画像ｉ１が画像取得部２０２により取得された場合を想定する。撮影画像ｉ１には、図８に示すように、かごシル１３ａの両端部に設置された２つのマーカｍ１，ｍ２が含まれている。なお、詳細については後述するが、撮影画像ｉ１には、図８に示すように、マーカｍ１の鏡像ｍ’も含まれている。 First, the image acquisition unit 202 acquires an image (photographed image) taken from the camera 12 in a state where a plurality of markers m are installed on the floor surface in the car 11 (step S1). Here, as an example, it is assumed that the captured image i1 shown in FIG. 8 is acquired by the image acquisition unit 202. As shown in FIG. 8, the captured image i1 includes two markers m1 and m2 installed at both ends of the car sill 13a. Although details will be described later, the captured image i1 also includes a mirror image m'of the marker m1 as shown in FIG.

続いて、ずれ検知部２０３に含まれる認識処理部２３１は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれる複数のマーカｍを認識（抽出）する（ステップＳ２）。 Subsequently, the recognition processing unit 231 included in the deviation detection unit 203 executes recognition processing on the captured image acquired by the image acquisition unit 202, and recognizes (extracts) a plurality of markers m included in the captured image. (Step S2).

なお、本実施形態においては、上記したように複数のマーカｍが、かごシル１３ａの両端部に設置されている。これによれば、撮影画像から複数のマーカｍを認識する際に、次のような問題が生じ得る。 In the present embodiment, as described above, a plurality of markers m are installed at both ends of the car sill 13a. According to this, the following problems may occur when recognizing a plurality of markers m from a captured image.

一般的に、かごシル１３ａ近辺の出入口柱は、アルミやステンレス等、光沢性を有する金属材料（鏡面反射特性を有する材料）により形成されている場合が多い。また近年では、意匠性の向上を目的として、上記した出入口柱に限らず、乗りかご１１内の側壁を、光沢性を有する金属材料により形成し、鏡面仕上げ等を施す場合も多い。このため、上記したように複数のマーカｍがかごシル１３ａの両端部に設置される等、複数のマーカｍが光沢性を有する金属材料により形成される部分近辺に設置される場合、図８に示すように、これらマーカｍの鏡像ｍ’（図８の場合、マーカｍ１の鏡像ｍ’）が、光沢性を有する金属材料により形成される部分（図８の場合、乗りかご１１内の側壁）に映り込む可能性がある。 In general, the entrance / exit pillar near the car sill 13a is often formed of a glossy metal material (material having specular reflection characteristics) such as aluminum or stainless steel. Further, in recent years, for the purpose of improving the design, not only the above-mentioned entrance / exit pillar but also the side wall in the car 11 is often formed of a glossy metal material and mirror-finished or the like. Therefore, when a plurality of marker m is installed near a portion formed of a glossy metal material, such as a plurality of marker m being installed at both ends of the car sill 13a as described above, FIG. As shown, a portion where the mirror image m'of these markers m (in the case of FIG. 8, the mirror image m'of the marker m1) is formed of a glossy metal material (in the case of FIG. 8, the side wall in the car 11). It may be reflected in.

これによれば、認識処理部２３１が、光沢性を有する金属材料により形成される部分に映り込んだ鏡像ｍ’をマーカｍと誤認識してしまう可能性がある。鏡像ｍ’がマーカｍと誤認識されてしまうと、後述する基準点に対するカメラ１２の相対位置を正確に算出することができず、ひいては、カメラ１２の取り付け位置にずれが生じているか否かを検知することができないという問題が生じ得る。 According to this, the recognition processing unit 231 may mistakenly recognize the mirror image m'reflected in the portion formed of the glossy metal material as the marker m. If the mirror image m'is mistakenly recognized as the marker m, the relative position of the camera 12 with respect to the reference point, which will be described later, cannot be calculated accurately, and it is possible to determine whether or not the mounting position of the camera 12 is displaced. The problem of not being able to detect can occur.

そこで、本実施形態に係る認識処理部２３１は、上記したステップＳ２において認識された複数のマーカｍが鏡像ｍ’を含んでいるか否かを判定する誤認識抑止機能を、上記したキャリブレーション機能のうちの一機能として有している。 Therefore, the recognition processing unit 231 according to the present embodiment provides the above-mentioned calibration function with a false recognition suppression function for determining whether or not the plurality of markers m recognized in step S2 include the mirror image m'. It has one of the functions.

具体的には、認識処理部２３１は、上記したステップＳ２において認識された複数のマーカｍ間の距離に関し予め設定される条件に基づいて、当該認識された複数のマーカｍに鏡像ｍ’が含まれているか否かを判定する。詳細については後述するが、本実施形態においては、上記した複数のマーカｍ間の距離に関し予め設定される条件が、格納部２０１に設定値として格納される複数のマーカｍ間の距離の上限値（閾値）である場合を想定する。
ここで、図９および図１０を参照して、上記したステップＳ２の認識結果として得られる複数のマーカｍに鏡像ｍ’が含まれていない場合と、上記したステップＳ２の認識結果として得られる複数のマーカｍに鏡像ｍ’が含まれている場合とについて説明する。 Specifically, the recognition processing unit 231 includes a mirror image m'in the recognized plurality of markers m based on a preset condition regarding the distance between the plurality of marker m recognized in step S2 described above. Judge whether or not it is. The details will be described later, but in the present embodiment, the preset condition regarding the distance between the plurality of marker m described above is the upper limit value of the distance between the plurality of marker m stored as a set value in the storage unit 201. It is assumed that the value is (threshold value).
Here, referring to FIGS. 9 and 10, the case where the mirror image m'is not included in the plurality of markers m obtained as the recognition result in step S2 described above, and the plurality obtained as the recognition result in step S2 described above. A case where the mirror image m'is included in the marker m of the above will be described.

図９は、認識結果として得られる複数のマーカｍに鏡像ｍ’が含まれていない場合を説明するための図である。図９では、マーカｍを実線で示し、鏡像ｍ’を点線で示している。また、図９では、マーカｍ１に含まれる４つの黒い丸印（を含む物体）と、マーカｍ２に含まれる４つの黒い丸印（を含む物体）とがマーカｍとして認識された場合を想定する。さらに、ここでは、格納部２０１には、設定値として複数のマーカｍ間の距離の上限値ｄｍａｘが格納されており、図９においてマーカｍと認識された２つのマーカｍ（この場合、マーカｍ１，ｍ２）間の距離ｄｍが上限値ｄｍａｘ以下である場合を想定する。 FIG. 9 is a diagram for explaining a case where the mirror image m'is not included in the plurality of markers m obtained as the recognition result. In FIG. 9, the marker m is shown by a solid line, and the mirror image m'is shown by a dotted line. Further, in FIG. 9, it is assumed that four black circles (including an object) included in the marker m1 and four black circles (including an object) included in the marker m2 are recognized as the marker m. .. Further, here, the storage unit 201 stores an upper limit value dmax of the distance between the plurality of markers m as a set value, and two markers m recognized as the marker m in FIG. 9 (in this case, the marker m1). , M2) It is assumed that the distance dm is equal to or less than the upper limit value dmax.

認識処理部２３１は、図９に示す場合、つまり、マーカｍと認識された複数のマーカｍ間の距離ｄｍが、格納部２０１に設定値として格納されている上限値ｄｍａｘ以下である場合に、当該認識された複数のマーカｍには鏡像ｍ’が含まれていないものと判定する。 The recognition processing unit 231 shows the case shown in FIG. 9, that is, when the distance dm between the marker m and the plurality of recognized markers m is equal to or less than the upper limit value dmax stored as a set value in the storage unit 201. It is determined that the recognized plurality of markers m do not include the mirror image m'.

一方で、図１０は、認識結果として得られる複数のマーカｍに鏡像ｍ’が含まれている場合を説明するための図である。図１０では、図９同様、マーカｍを実線で示し、鏡像ｍ’を点線で示している。また、図１０では、マーカｍ１の図中左側の２つの黒い丸印と鏡像ｍ’の図中右側の２つの黒い丸印（を含む物体）、および、マーカｍ２に含まれる４つの黒い丸印（を含む物体）がマーカｍとして認識された場合を想定する。さらに、ここでは、格納部２０１には、設定値として複数のマーカｍ間の距離の上限値ｄｍａｘが格納されており、図１０においてマーカｍと認識された２つのマーカｍ（この場合、マーカｍ１と鏡像ｍ’とにより構成されるマーカｍ、および、マーカｍ２）間の距離ｄｍが上限値ｄｍａｘを超えている場合を想定する。 On the other hand, FIG. 10 is a diagram for explaining a case where a mirror image m'is included in a plurality of markers m obtained as a recognition result. In FIG. 10, as in FIG. 9, the marker m is shown by a solid line, and the mirror image m'is shown by a dotted line. Further, in FIG. 10, two black circles on the left side of the marker m1 and two black circles (including an object) on the right side of the mirror image m'in the figure, and four black circles included in the marker m2. It is assumed that (an object including) is recognized as a marker m. Further, here, the storage unit 201 stores an upper limit value dmax of the distance between the plurality of markers m as a set value, and two markers m recognized as the marker m in FIG. 10 (in this case, the marker m1). It is assumed that the marker m composed of the mirror image m'and the distance dm between the markers m2) exceed the upper limit value dmax.

認識処理部２３１は、図１０に示す場合、つまり、マーカｍと認識された複数のマーカｍ間の距離ｄｍが、格納部２０１に設定値として格納されている上限値ｄｍａｘを超える場合に、当該認識された複数のマーカｍには鏡像ｍ’が含まれているものと判定する。 The recognition processing unit 231 corresponds to the case shown in FIG. 10, that is, when the distance dm between the marker m and the plurality of recognized markers m exceeds the upper limit value dmax stored as a set value in the storage unit 201. It is determined that the recognized plurality of markers m include the mirror image m'.

再度、図７の説明に戻る。上記したステップＳ２において複数のマーカｍが認識されると、認識処理部２３１は、上記した誤認識抑止機能により、当該認識された複数のマーカｍの座標値に基づいて、複数のマーカｍ間の距離（２点間の距離）を算出し、当該算出された複数のマーカｍ間の距離が、格納部２０１に設定値として格納されている上限値以下であるか否かを判定する（ステップＳ３）。なお、本実施形態においては、複数のマーカｍが、かごシル１３ａの両端部に設置される場合を想定しているので、上限値は、例えば、かごドア１３の幅に基づいて設定される。 Returning to the description of FIG. 7 again. When a plurality of marker m is recognized in step S2 described above, the recognition processing unit 231 uses the above-mentioned erroneous recognition suppression function to perform between the plurality of marker m based on the coordinate values of the recognized plurality of marker m. The distance (distance between two points) is calculated, and it is determined whether or not the calculated distance between the plurality of markers m is equal to or less than the upper limit value stored as the set value in the storage unit 201 (step S3). ). In the present embodiment, since it is assumed that a plurality of markers m are installed at both ends of the car sill 13a, the upper limit value is set based on, for example, the width of the car door 13.

複数のマーカｍ間の距離が上限値を超えていると判定された場合（ステップＳ３のＮＯ）、認識処理部２３１は、ステップＳ２において認識された複数のマーカｍには鏡像ｍ’が含まれていると判定し、複数のマーカｍを正常に認識することができなかったと判定する（ステップＳ４）。その後、認識処理部２３１は、複数のマーカｍを正常に認識することができなかったことを、通信デバイス２５を介して、監視センタ（の管理者）や保守員（の端末）に通知し（ステップＳ５）、ここでの一連の処理を終了させる。 When it is determined that the distance between the plurality of marker m exceeds the upper limit value (NO in step S3), the recognition processing unit 231 includes the mirror image m'in the plurality of marker m recognized in step S2. It is determined that the plurality of markers m cannot be recognized normally (step S4). After that, the recognition processing unit 231 notifies the monitoring center (administrator) and the maintenance staff (terminal) via the communication device 25 that the plurality of markers m could not be recognized normally ( Step S5), the series of processes here is completed.

なお、ステップＳ５による通知を受けた管理者や保守員は、乗りかご１１内の照度調整を行う、カメラ１２の露光調整を行う、等をして、マーカｍが光沢性を有する金属材料により形成される部分に映り込みにくくした上で、一連の処理を再度実行させる。 The manager or maintenance staff who received the notification in step S5 adjusts the illuminance in the car 11, adjusts the exposure of the camera 12, and so on, and the marker m is formed of a glossy metal material. After making it difficult to be reflected in the part to be reflected, a series of processes are executed again.

一方で、複数のマーカｍ間の距離が上限値以下であると判定された場合（ステップＳ３のＹＥＳ）、認識処理部２３１は、ステップＳ２において認識された複数のマーカｍには鏡像ｍ’が含まれていないと判定し、複数のマーカｍを正常に認識することができたと判定する（ステップＳ６）。 On the other hand, when it is determined that the distance between the plurality of markers m is equal to or less than the upper limit value (YES in step S3), the recognition processing unit 231 has a mirror image m'on the plurality of markers m recognized in step S2. It is determined that the markers are not included, and it is determined that the plurality of markers m can be recognized normally (step S6).

なお、以下の説明中では、上記したステップＳ２〜Ｓ６の処理により、ステップＳ１において取得された撮影画像ｉ１からマーカｍ１，ｍ２が鏡像ｍ’を含まない複数のマーカｍとして正常に認識された場合を想定する。 In the following description, when the markers m1 and m2 are normally recognized as a plurality of marker m not including the mirror image m'from the captured image i1 acquired in step S1 by the processing of steps S2 to S6 described above. Is assumed.

次に、認識処理部２３１は、格納部２０１に設定値として格納されているカメラ設定値（カメラ１２の高さおよびカメラ１２の画角）に基づいて、ステップＳ６において正常に認識された複数のマーカｍに対するカメラ１２の各相対位置と、カメラ１２の３軸の角度（カメラ１２の取り付け角度）とを算出する（ステップＳ７）。上記したように、ステップＳ６において鏡像ｍ’を含まない複数のマーカｍとしてマーカｍ１，ｍ２が正常に認識されている場合、認識処理部２３１は、複数のマーカｍに対するカメラ１２の相対位置として、マーカｍ１に対するカメラ１２の相対位置と、マーカｍ２に対するカメラ１２の相対位置とをそれぞれ算出する。なお、図８では、点ｐ１がマーカｍ１とみなされる部分に相当し、点ｐ２がマーカｍ２とみなされる部分に相当する。 Next, the recognition processing unit 231 normally recognizes a plurality of cameras in step S6 based on the camera set values (the height of the camera 12 and the angle of view of the camera 12) stored as set values in the storage unit 201. Each relative position of the camera 12 with respect to the marker m and the angle of the three axes of the camera 12 (mounting angle of the camera 12) are calculated (step S7). As described above, when the markers m1 and m2 are normally recognized as the plurality of marker m not including the mirror image m'in step S6, the recognition processing unit 231 sets the relative position of the camera 12 with respect to the plurality of marker m. The relative position of the camera 12 with respect to the marker m1 and the relative position of the camera 12 with respect to the marker m2 are calculated. In FIG. 8, the point p1 corresponds to the portion regarded as the marker m1, and the point p2 corresponds to the portion regarded as the marker m2.

ずれ検知部２０３に含まれる算出処理部２３２は、認識処理部２３１により算出された複数のマーカｍに対するカメラ１２の各相対位置と、格納部２０１に設定値として格納されている第１設定値とに基づいて、基準点に対するカメラ１２の相対位置を算出する（ステップＳ８）。 The calculation processing unit 232 included in the deviation detection unit 203 includes each relative position of the camera 12 with respect to the plurality of markers m calculated by the recognition processing unit 231 and a first set value stored as a set value in the storage unit 201. The relative position of the camera 12 with respect to the reference point is calculated based on (step S8).

上記したように、ステップＳ７においてマーカｍ１，ｍ２に対するカメラ１２の相対位置が算出されている場合、算出処理部２３２は、マーカｍ１に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ１の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。同様に、算出処理部２３２は、マーカｍ２に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ２の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。なお、図８では、点ｐ３が基準点に相当する。 As described above, when the relative position of the camera 12 with respect to the markers m1 and m2 is calculated in step S7, the calculation processing unit 232 relatives the position of the camera 12 with respect to the marker m1 and the reference point which is the first set value. The relative position of the camera 12 with respect to the reference point is calculated by synthesizing the relative position of the marker m1. Similarly, the calculation processing unit 232 calculates the relative position of the camera 12 with respect to the reference point by synthesizing the relative position of the camera 12 with respect to the marker m2 and the relative position of the marker m2 with respect to the reference point which is the first set value. To do. In FIG. 8, the point p3 corresponds to the reference point.

続いて、ずれ検知部２０３に含まれる検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第２設定値とに基づいて、カメラ１２の取り付け位置にずれが生じているか否かを判定する（ステップＳ９）。具体的には、検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第２設定値である基準点に対するカメラ１２の相対位置とが一致しているか否かを判定して、カメラ１２の取り付け位置にずれが生じているか否かを検知する。 Subsequently, the detection processing unit 233 included in the deviation detection unit 203 includes the relative position of the camera 12 with respect to the reference point calculated by the calculation processing unit 232 and the second set value stored as the set value in the storage unit 201. Based on the above, it is determined whether or not the mounting position of the camera 12 is displaced (step S9). Specifically, the detection processing unit 233 determines whether or not the relative position of the camera 12 with respect to the reference point calculated by the calculation processing unit 232 and the relative position of the camera 12 with respect to the reference point, which is the second set value, match. It is determined whether or not the mounting position of the camera 12 is displaced.

基準点に対するカメラ１２の相対位置が一致し、カメラ１２の取り付け位置にずれが生じていないと判定された場合（ステップＳ９のＹＥＳ）、検知処理部２３３は、カメラ１２の取り付け位置にずれはなく、検知エリアの再設定は必要ないと判定し、ここでの一連の処理を終了させる。 When the relative positions of the camera 12 with respect to the reference point match and it is determined that the mounting position of the camera 12 does not deviate (YES in step S9), the detection processing unit 233 does not deviate from the mounting position of the camera 12. , It is determined that it is not necessary to reset the detection area, and the series of processing here is terminated.

一方で、基準点に対するカメラ１２の相対位置が一致せず、カメラ１２の取り付け位置にずれが生じていると判定された場合（ステップＳ９のＮＯ）、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第３設定値およびカメラ設定値とに基づいて、画像取得部２０２により取得された撮影画像のうちのカメラ１２の取り付け位置のずれにあわせた適切な位置に検知エリアを設定する（ステップＳ１０）。 On the other hand, when it is determined that the relative positions of the camera 12 with respect to the reference point do not match and the mounting position of the camera 12 is displaced (NO in step S9), the setting processing unit 204 is subjected to the calculation processing unit 232. Of the captured images acquired by the image acquisition unit 202, based on the calculated relative position of the camera 12 with respect to the reference point and the third set value and the camera set value stored as set values in the storage unit 201. The detection area is set at an appropriate position according to the deviation of the mounting position of the camera 12 (step S10).

本実施形態においては、かごシル１３ａから乗場１５側に所定の範囲を有する検知エリアを設定する場合を想定しているので、まず、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第３設定値である基準点に対するかごシル１３ａの各頂点の相対位置とを合成することにより、カメラ１２に対するかごシル１３ａの各頂点の相対位置を算出する。なお、図８では、点ｐ４〜点ｐ７がかごシル１３ａの各頂点に相当する。 In the present embodiment, it is assumed that a detection area having a predetermined range is set from the car sill 13a to the landing 15 side. Therefore, first, the setting processing unit 204 sets the reference point calculated by the calculation processing unit 232. By synthesizing the relative position of the camera 12 with respect to the camera 12 and the relative position of each vertex of the car sill 13a with respect to the reference point which is the third set value, the relative position of each vertex of the car sill 13a with respect to the camera 12 is calculated. In FIG. 8, points p4 to p7 correspond to the vertices of the car sill 13a.

その後、設定処理部２０４は、算出されたカメラ１２に対するかごシル１３ａの各頂点の相対位置と、認識処理部２３１により算出されたカメラ１２の３軸の角度と、格納部２０１にカメラ設定値として格納されているカメラ１２の画角とに基づいて、検知エリアを設定する。 After that, the setting processing unit 204 sets the relative position of each vertex of the car sill 13a with respect to the calculated camera 12, the angle of the three axes of the camera 12 calculated by the recognition processing unit 231, and the storage unit 201 as a camera setting value. The detection area is set based on the angle of view of the stored camera 12.

これによれば、画像取得部２０２により取得された撮影画像ｉ１には、図８の斜線部分に示されるように、カメラ１２の取り付け位置のずれにあわせた検知エリアｅ１、つまり、かごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有する検知エリアｅ１が設定される。 According to this, in the captured image i1 acquired by the image acquisition unit 202, as shown in the shaded area of FIG. 8, the detection area e1 corresponding to the deviation of the mounting position of the camera 12, that is, the car sill 13a A detection area e1 having a predetermined range is set from the long side of the long side of the car 11 side to the landing 15 side.

しかる後、通知処理部２０５は、カメラ１２の取り付け位置にずれが生じていることを、通信デバイス２５を介して、監視センタ（の管理者）に通知し（ステップＳ１１）、ここでの一連の処理を終了させる。 After that, the notification processing unit 205 notifies the monitoring center (administrator) via the communication device 25 that the mounting position of the camera 12 has been displaced (step S11), and a series of here. End the process.

なお、図７に示すステップＳ２においては、撮影画像から１組の複数のマーカｍが認識され、当該１組の複数のマーカｍを対象にして、上記した誤認識抑止機能に基づく各種処理が実行されるものとしたが、撮影画像から複数のマーカｍが複数組認識され、上記した誤認識抑止機能に基づく各種処理が、認識されたマーカの組毎に実行されるとしても良い。この場合、全てのマーカの組について、認識された複数のマーカｍに鏡像ｍ’が含まれているか否かを順に判定し、その結果、全てのマーカの組において、認識された複数のマーカｍに鏡像ｍ’が含まれていると判定された場合にのみ、上記したステップＳ５の処理は実行されれば良い。 In step S2 shown in FIG. 7, a set of a plurality of marker m is recognized from the captured image, and various processes based on the above-mentioned false recognition suppression function are executed for the set of the plurality of marker m. However, a plurality of sets of marker m may be recognized from the captured image, and various processes based on the above-mentioned false recognition suppression function may be executed for each set of recognized markers. In this case, for all the marker sets, it is determined in order whether or not the recognized plurality of marker m includes the mirror image m', and as a result, the recognized plurality of marker m is included in all the marker sets. The process of step S5 described above may be executed only when it is determined that the mirror image m'is included in.

また、全てのマーカの組について、認識された複数のマーカｍに鏡像ｍ’が含まれているか否かを順に判定し、その結果、複数のマーカの組において、認識された複数のマーカｍに鏡像ｍ’が含まれていないと判定された場合、鏡像ｍ’が含まれていないと判定される際に算出された複数のマーカｍ間の距離のうち、上限値に最も近い（あるいは、上限値とは別に設定される上限値よりも小さい所定値に最も近い）距離に対応するマーカの組により示される複数のマーカｍを、正常に認識された複数のマーカｍとして選択するとしても良い。 Further, for all the marker sets, it is determined in order whether or not the recognized plurality of marker m includes the mirror image m', and as a result, the recognized plurality of marker m in the plurality of marker sets When it is determined that the mirror image m'is not included, the distance between the plurality of markers m calculated when it is determined that the mirror image m'is not included is the closest to the upper limit (or the upper limit). A plurality of marker m indicated by a set of markers corresponding to a distance (closest to a predetermined value smaller than an upper limit value set separately from the value) may be selected as a plurality of normally recognized marker m.

なお、図７に示すステップＳ９においては、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置とが一致するか否かに応じて、カメラ１２の取り付け位置にずれが生じているか否かが判定（検知）されるものとしたが、カメラ１２の取り付け位置にずれが生じている場合であっても、当該ずれが上記した利用者検知処理の精度に影響を与えない程度であれば、検知エリアの再設定を行わない構成であっても良い。すなわち、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置との差（乖離度）が予め設定された範囲内であるか否かに基づいてステップＳ９の処理が実行され、当該乖離度が予め設定された範囲内にない場合に、カメラ１２の取り付け位置にずれが生じていると判定されても良い。 In step S9 shown in FIG. 7, depending on whether or not the relative position of the camera 12 with respect to the reference point included in the captured image and the relative position of the camera 12 with respect to the reference point included in the reference image match. It is assumed that it is determined (detected) whether or not the mounting position of the camera 12 is misaligned, but even if the mounting position of the camera 12 is misaligned, the misalignment is the above-mentioned user detection. As long as it does not affect the processing accuracy, the detection area may not be reset. That is, whether or not the difference (degree of deviation) between the relative position of the camera 12 with respect to the reference point included in the captured image and the relative position of the camera 12 with respect to the reference point included in the reference image is within a preset range. Based on this, the process of step S9 is executed, and when the degree of deviation is not within the preset range, it may be determined that the mounting position of the camera 12 is displaced.

本実施形態においては、複数のマーカｍ間の距離に対して設定される設定値として上限値（閾値）が格納部２０１に格納されているものとしたが、複数のマーカｍ間の距離に対して設定される設定値としては、所定の範囲を有した範囲値（つまり、下限値と上限値により範囲が規定される範囲値）が格納されるとしても良い。この場合、認識処理部２３１は、認識結果として得られる複数のマーカｍ間の距離が、上記した範囲値に含まれるか否かに基づいて、当該複数のマーカｍに鏡像ｍ’が含まれているか否かを判定すれば良い。 In the present embodiment, it is assumed that the upper limit value (threshold value) is stored in the storage unit 201 as a set value set for the distance between the plurality of marker m, but for the distance between the plurality of marker m. As the set value to be set, a range value having a predetermined range (that is, a range value whose range is defined by a lower limit value and an upper limit value) may be stored. In this case, the recognition processing unit 231 includes the mirror image m'in the plurality of marker m based on whether or not the distance between the plurality of markers m obtained as the recognition result is included in the above range value. It is sufficient to judge whether or not it is present.

また、本実施形態における検知エリアの設定が、既に設定された検知エリアの再設定を指す場合、検知エリアの設定は、検知エリアの補正と表現されても構わない。この場合、基準点に対するカメラ１２の相対位置は、上記したカメラ１２の３軸の角度と共に、検知エリアの補正を実現するために必要な値であるため、補正値と表現されても構わない。 Further, when the setting of the detection area in the present embodiment refers to the resetting of the detection area that has already been set, the setting of the detection area may be expressed as the correction of the detection area. In this case, the relative position of the camera 12 with respect to the reference point may be expressed as a correction value because it is a value necessary for realizing the correction of the detection area together with the above-mentioned angles of the three axes of the camera 12.

本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが複数設置された状態で撮影された画像をカメラ１２から取得し、取得された画像から複数のマーカｍを認識し、認識された複数のマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知し、カメラ１２の取り付け位置のずれが検知された場合には、画像処理（利用者検知処理）に関する設定値を設定する。この画像処理に関する設定値は、撮影画像に対して設定されたかごドア１３に最も近い利用者を検知するための検知エリア（の座標値）を含む。 In the present embodiment, the image processing device 20 acquires an image taken from the camera 12 in a state where a plurality of markers m distinguishable from the floor surface of the car 11 and the floor surface of the landing 15 are installed, and is acquired. A plurality of marker m is recognized from the image, the deviation of the mounting position of the camera 12 is detected based on the recognized plurality of marker m, and when the deviation of the mounting position of the camera 12 is detected, image processing ( Set the setting value related to (user detection processing). The set value related to this image processing includes (coordinate value) of the detection area for detecting the user closest to the car door 13 set for the captured image.

このような構成によれば、カメラ１２の取り付け位置にずれが生じた場合であっても、当該カメラ１２によって撮影された画像（例えば、回転した画像、左右方向にずれた画像）に対して、適切な検知エリアを設定することが可能となるため、利用者の検知精度の低下を抑止することが可能となる。 According to such a configuration, even if the mounting position of the camera 12 is deviated, the image taken by the camera 12 (for example, a rotated image or an image deviated in the left-right direction) is referred to. Since it is possible to set an appropriate detection area, it is possible to suppress a decrease in the detection accuracy of the user.

さらに本実施形態において、画像処理装置２０は、撮影画像から複数のマーカｍを認識すると、当該認識された複数のマーカｍ間の距離を算出し、当該算出された複数のマーカｍ間の距離が設定値として格納されている上限値以下であるか否かを判定し、当該認識された複数のマーカｍに鏡像’が含まれているか否かを判定する。画像処理装置２０は、認識された複数のマーカｍ間の距離が上限値を超えている場合に、当該認識された複数のマーカｍには鏡像ｍ’が含まれていると判定し、認識された複数のマーカｍ間の距離が上限値以下である場合に、当該認識された複数のマーカｍには鏡像ｍ’が含まれていないと判定する。 Further, in the present embodiment, when the image processing device 20 recognizes a plurality of marker m from the captured image, the image processing device 20 calculates the distance between the recognized plurality of marker m, and the calculated distance between the plurality of marker m is calculated. It is determined whether or not it is equal to or less than the upper limit value stored as the set value, and it is determined whether or not the recognized plurality of markers m include the mirror image'. When the distance between the recognized plurality of markers m exceeds the upper limit value, the image processing device 20 determines that the recognized plurality of markers m include a mirror image m'and recognizes the mirror image m'. When the distance between the plurality of marker m is equal to or less than the upper limit value, it is determined that the recognized plurality of marker m does not include the mirror image m'.

このような構成によれば、複数のマーカｍが、光沢性を有する金属材料により形成される部分近辺に設置されたとしても、光沢性を有する金属材料により形成される部分に映り込んだ鏡像ｍ’をマーカｍと誤認識してしまうことを抑止することが可能となるため、カメラ１２の取り付け位置のずれの検知精度を向上させることが可能となる。 According to such a configuration, even if a plurality of markers m are installed near the portion formed of the glossy metal material, the mirror image m reflected in the portion formed of the glossy metal material m. Since it is possible to prevent erroneous recognition of ‘’ as the marker m, it is possible to improve the detection accuracy of the deviation of the mounting position of the camera 12.

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１３ａ…かごシル、１４…乗場ドア、１４ａ…乗場シル、１５…乗場、２０…画像処理装置、３０…エレベータ制御装置、２０１…格納部、２０２…画像取得部、２０３…ずれ検知部、２０４…設定処理部、２０５…通知処理部、２３１…認識処理部、２３２…算出処理部、２３３…検知処理部、ｅ１…検知エリア、ｍ，ｍ１，ｍ２…マーカ、ｍ’…鏡像。 11 ... Car, 11a ... Curtain board, 12 ... Camera, 13 ... Car door, 13a ... Car sill, 14 ... Landing door, 14a ... Landing sill, 15 ... Landing, 20 ... Image processing device, 30 ... Elevator control device, 201 ... storage unit, 202 ... image acquisition unit, 203 ... deviation detection unit, 204 ... setting processing unit, 205 ... notification processing unit, 231 ... recognition processing unit, 232 ... calculation processing unit, 233 ... detection processing unit, e1 ... detection Area, m, m1, m2 ... marker, m'... mirror image.

Claims (9)

乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能な画像処理装置であって、
前記乗りかごの床面および前記乗場の床面と区別可能なマーカが複数設置された状態で撮影された画像を前記カメラから取得する取得手段と、
前記取得された画像から前記複数のマーカを認識し、前記認識された複数のマーカ間の距離が予め設定された条件に該当する場合に、前記認識された複数のマーカに基づいて、前記カメラの取り付け位置のずれを検知する第１検知手段と、
前記複数のマーカ間の距離が前記条件に該当しない場合、前記複数のマーカを正常に認識することができなかったことを管理者に対して通知する第１通知手段と、
を具備する、画像処理装置。 It is an image processing device installed near the door of the car that can detect the deviation of the mounting position of the camera that takes images including the inside of the car and the landing.
An acquisition means for acquiring an image taken from the camera in a state where a plurality of markers distinguishable from the floor surface of the car and the floor surface of the landing are installed.
When the plurality of markers are recognized from the acquired image and the distance between the recognized plurality of markers corresponds to a preset condition, the camera of the camera is based on the recognized plurality of markers. The first detection means for detecting the deviation of the mounting position and
When the distance between the plurality of markers does not meet the above conditions, the first notification means for notifying the administrator that the plurality of markers could not be recognized normally, and
An image processing device comprising. 前記第１検知手段は、
前記取得された画像から、複数のマーカにより構成されるマーカの組が複数認識された場合、前記認識されたマーカの組毎に、前記複数のマーカ間の距離が前記条件に該当するか否かを判定し、
前記認識された複数のマーカの組のうち、前記複数のマーカ間の距離が前記条件に該当すると判定されたマーカの組により示される前記複数のマーカに基づいて、前記カメラの取り付け位置のずれを検知する、
請求項１に記載の画像処理装置。 The first detection means is
When a plurality of sets of markers composed of a plurality of markers are recognized from the acquired image, whether or not the distance between the plurality of markers corresponds to the above condition for each set of the recognized markers. Judging,
Among the recognized set of the plurality of markers, the deviation of the mounting position of the camera is determined based on the plurality of markers indicated by the set of markers whose distance between the plurality of markers is determined to meet the above condition. Detect,
The image processing apparatus according to claim 1 . 前記複数のマーカは、
前記乗りかごのドアの開閉をガイドするためのシルとの相対位置を特定可能な位置に設置される、
請求項１または請求項２に記載の画像処理装置。 The plurality of markers
It is installed at a position where the relative position with the sill for guiding the opening and closing of the car door can be specified.
The image processing apparatus according to claim 1 or 2 . 前記複数のマーカは、
前記シルの両端部に沿うようにして、前記乗りかご内の床面にそれぞれ設置される、
請求項３に記載の画像処理装置。 The plurality of markers
It is installed on the floor surface in the car along both ends of the sill.
The image processing apparatus according to claim 3 . 前記第１検知手段は、
前記認識された複数のマーカ間の距離が予め設定された閾値以下である場合に、前記条件に該当すると判定し、
前記閾値は、
前記複数のマーカが前記シルの両端部に沿うようにして前記乗りかご内の床面に設置される場合、前記乗りかごのドアの幅に基づいて設定される、
請求項４に記載の画像処理装置。 The first detection means is
When the distance between the recognized plurality of markers is equal to or less than a preset threshold value, it is determined that the above conditions are met.
The threshold is
When the plurality of markers are installed on the floor surface in the car along both ends of the sill, they are set based on the width of the car door.
The image processing apparatus according to claim 4 . 前記取得された画像に対する画像処理を実行し、前記乗りかごのドア近辺の利用者を検知する第２検知手段と、
前記カメラの取り付け位置のずれが検知された場合に、前記画像処理に関する設定値を設定する設定手段と、
をさらに具備する、請求項１〜請求項５のいずれか１項に記載の画像処理装置。 A second detection means that executes image processing on the acquired image and detects a user near the door of the car.
When the deviation of the mounting position of the camera is detected, the setting means for setting the setting value related to the image processing and the setting means.
The image processing apparatus according to any one of claims 1 to 5 , further comprising. 前記第１検知手段は、
前記認識された複数のマーカに基づいて、前記取得された画像に含まれる基準点に対するカメラの相対位置と、前記カメラの取り付け角度とを算出し、
前記算出された基準点に対するカメラの相対位置と、前記カメラの取り付け位置にずれがない場合の基準画像に含まれる基準点に対するカメラの相対位置とが一致しない場合に、前記カメラの取り付け位置のずれを検知し、
前記設定手段は、
前記カメラの取り付け位置のずれが検知された場合に、前記算出された基準点に対するカメラの相対位置と、前記算出されたカメラの取り付け角度とに基づいて、前記画像処理に関する設定値を設定する、
請求項６に記載の画像処理装置。 The first detection means is
Based on the plurality of recognized markers, the relative position of the camera with respect to the reference point included in the acquired image and the mounting angle of the camera are calculated.
When the relative position of the camera with respect to the calculated reference point and the relative position of the camera with respect to the reference point included in the reference image when there is no deviation in the mounting position of the camera do not match, the deviation of the mounting position of the camera Detected,
The setting means is
When a deviation in the mounting position of the camera is detected, a setting value related to the image processing is set based on the relative position of the camera with respect to the calculated reference point and the calculated mounting angle of the camera.
The image processing apparatus according to claim 6 . 前記画像処理に関する設定値は、
前記カメラによって撮影される画像に対して設定される前記利用者を検知するための領域を含む、
請求項６または請求項７に記載の画像処理装置。 The setting values related to the image processing are
Includes an area for detecting the user set for an image captured by the camera.
The image processing apparatus according to claim 6 or 7 . 前記カメラの取り付け位置のずれが検知された場合、異常が生じたことを管理者に対して通知する第２通知手段をさらに具備する、
請求項１〜請求項８のいずれか１項に記載の画像処理装置。 When a deviation in the mounting position of the camera is detected, a second notification means for notifying the administrator that an abnormality has occurred is further provided.
The image processing apparatus according to any one of claims 1 to 8 .
JP2019053669A 2019-03-20 2019-03-20 Image processing device Active JP6772324B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019053669A JP6772324B2 (en) 2019-03-20 2019-03-20 Image processing device
CN201911181935.3A CN111717768B (en) 2019-03-20 2019-11-27 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019053669A JP6772324B2 (en) 2019-03-20 2019-03-20 Image processing device

Publications (2)

Publication Number Publication Date
JP2020152546A JP2020152546A (en) 2020-09-24
JP6772324B2 true JP6772324B2 (en) 2020-10-21

Family

ID=72557608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019053669A Active JP6772324B2 (en) 2019-03-20 2019-03-20 Image processing device

Country Status (2)

Country Link
JP (1) JP6772324B2 (en)
CN (1) CN111717768B (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227020A1 (en) * 2021-04-30 2022-11-03 华为技术有限公司 Image processing method and apparatus
CN113247745B (en) * 2021-07-12 2021-09-28 深圳市爱深盈通信息技术有限公司 Elevator door control method based on image and anti-pinch detection module

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001042120A1 (en) * 1999-12-08 2001-06-14 Shemanske Kenneth J Ii Elevator door control device
JP2002008043A (en) * 2000-06-16 2002-01-11 Matsushita Electric Ind Co Ltd Device and method for analyzing action
JP2004173037A (en) * 2002-11-21 2004-06-17 Kyocera Corp Optical-axis deviation detecting apparatus of vehicle-mounted camera
JP2004361222A (en) * 2003-06-04 2004-12-24 Mitsubishi Electric Corp System and method for measuring three-dimensional position
JP4550768B2 (en) * 2006-05-09 2010-09-22 日本電信電話株式会社 Image detection method and image detection apparatus
JP4858046B2 (en) * 2006-09-28 2012-01-18 ブラザー工業株式会社 Image recognition apparatus, copying apparatus, and image recognition method
JP2011195227A (en) * 2010-03-17 2011-10-06 Toshiba Elevator Co Ltd Tracking photographing system for crime prevention for elevator
JP5325251B2 (en) * 2011-03-28 2013-10-23 株式会社日立製作所 Camera installation support method, image recognition method
JP2013171390A (en) * 2012-02-20 2013-09-02 Toyota Motor Corp Driving support device
JP6012982B2 (en) * 2012-02-24 2016-10-25 京セラ株式会社 Calibration processing apparatus, camera calibration apparatus, camera system, and camera calibration method
JP6009894B2 (en) * 2012-10-02 2016-10-19 株式会社デンソー Calibration method and calibration apparatus
CN103150721B (en) * 2013-01-10 2015-07-29 杭州先临三维科技股份有限公司 The mistake identification point minimizing technology of scanner calibration plate image and scaling board
JP6480824B2 (en) * 2015-07-27 2019-03-13 株式会社日立製作所 Distance image sensor parameter adjustment method, parameter adjustment apparatus, and elevator system
JP6046286B1 (en) * 2016-01-13 2016-12-14 東芝エレベータ株式会社 Image processing device
JP6377796B1 (en) * 2017-03-24 2018-08-22 東芝エレベータ株式会社 Elevator boarding detection system

Also Published As

Publication number Publication date
JP2020152546A (en) 2020-09-24
CN111717768B (en) 2023-02-24
CN111717768A (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP6377796B1 (en) Elevator boarding detection system
JP6317004B1 (en) Elevator system
JP6377795B1 (en) Elevator boarding detection system
JP6693627B1 (en) Image processing device
JP6242966B1 (en) Elevator control system
JP6367411B1 (en) Elevator system
JP6772324B2 (en) Image processing device
JP6713837B2 (en) Transport equipment control system and transport equipment control method
JP2002250605A (en) Automatic door sensor
JP6524294B1 (en) User detection system
JP2021127251A (en) User detection system of elevator
JP6696102B1 (en) Image processing device and marker
JP2020152469A (en) Elevator user detection system
JP6806414B2 (en) Image processing device and image processing method
JP6781291B2 (en) Image processing device
CN111717738B (en) Elevator system
JP6843935B2 (en) Elevator user detection system
WO2012077511A1 (en) Platform door safety apparatus
JP7009583B1 (en) Elevator remote monitoring system
JP6339259B1 (en) Image processing system and marker
JP2021042035A (en) User detection system of elevator
CN114671311A (en) Display control device for elevator
CN112441497A (en) User detection system for elevator

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200930

R150 Certificate of patent or registration of utility model

Ref document number: 6772324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150