JP6713837B2 - Transport equipment control system and transport equipment control method - Google Patents
Transport equipment control system and transport equipment control method Download PDFInfo
- Publication number
- JP6713837B2 JP6713837B2 JP2016109226A JP2016109226A JP6713837B2 JP 6713837 B2 JP6713837 B2 JP 6713837B2 JP 2016109226 A JP2016109226 A JP 2016109226A JP 2016109226 A JP2016109226 A JP 2016109226A JP 6713837 B2 JP6713837 B2 JP 6713837B2
- Authority
- JP
- Japan
- Prior art keywords
- hand
- control
- image
- behavior
- lifting device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B1/00—Control systems of elevators in general
- B66B1/02—Control systems without regulation, i.e. without retroactive action
- B66B1/06—Control systems without regulation, i.e. without retroactive action electric
- B66B1/14—Control systems without regulation, i.e. without retroactive action electric with devices, e.g. push-buttons, for indirect control of movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B2201/00—Aspects of control systems of elevators
- B66B2201/40—Details of the change of control mode
- B66B2201/46—Switches or switchgear
- B66B2201/4607—Call registering systems
- B66B2201/4638—Wherein the call is registered without making physical contact with the elevator system
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Elevator Control (AREA)
Description
本発明は、輸送機器制御システム、及び、その方法に係り、詳しくは、エレベータ、エスカレータ等人員を乗降させながら輸送する昇降装置の制御に関し、さらに詳しくは、昇降装置に搭乗する人員の挙動に基づいて、昇降装置を制御するためのシステムに関する。 The present invention relates to a transportation equipment control system and a method therefor, and more particularly, to control of a lifting device for transporting a passenger while getting on and off a passenger such as an elevator and an escalator, and more particularly, based on behavior of a person who boards the lifting device. And a system for controlling the lifting device.
従来から、エレベータ機器において、乗客は、乗りかごの操作盤に設けられているボタン等の操作端末を操作することにより、乗りかごのドアの開閉や行先階を指定することができる。これに対して、乗客が、操作盤に触れなくてもエレベータ機器を制御できるようにした従来技術も存在する（特許文献１）。この従来技術では、操作盤に搭載されたカメラが操作盤に近づく乗客の指を認識して、ドアの開閉や行先階の指定を可能にしている。一方、エレベータの乗りかご内の全体を俯瞰できるように画像センサを設け、画像センサが取得した乗客の画像に基づいて、乗客の人数、車椅子等の乗客の状態を把握し、これをエレベータ機器の制御に利用することも行われている（特許文献２、３）。 2. Description of the Related Art Conventionally, in elevator equipment, a passenger can specify the destination floor by opening/closing a door of a car by operating an operation terminal such as a button provided on an operation panel of the car. On the other hand, there is a conventional technique that allows passengers to control elevator equipment without touching the operation panel (Patent Document 1). In this conventional technique, a camera mounted on the operation panel recognizes a passenger's finger approaching the operation panel to open/close a door or specify a destination floor. On the other hand, an image sensor is installed to give a bird's eye view of the entire interior of the elevator car, and the number of passengers and the state of passengers such as wheelchairs are grasped based on the image of the passengers acquired by the image sensor. It is also used for control (Patent Documents 2 and 3).
前記特許文献１に係るエレベータ機器では、乗客の指の動きを認識するための専用カメラを必要とする。専用カメラに依らずに乗客の操作盤に対する動作を認識するためには、エレベータ内に備え付けられた防犯カメラの様な汎用のカメラをエレベータ機器の乗りかごを俯瞰する画像センサとして兼用することが考えられる。しかしながら、乗りかご内で乗客が混雑していると、画像センサは、乗客の操作盤に対する操作が他の乗客の陰になって認識できないというおそれがある。 The elevator device according to Patent Document 1 requires a dedicated camera for recognizing the movement of the passenger's finger. In order to recognize passengers' actions on the control panel without relying on a dedicated camera, it is conceivable to use a general-purpose camera, such as a security camera installed in the elevator, as an image sensor that gives a bird's eye view of the elevator car. To be However, if the passengers are crowded in the car, the image sensor may not be able to recognize the operation of the passenger's operation panel behind other passengers.
そこで、本発明は、エレベータ等輸送機器での乗客数の多少に拘わらず、輸送機器に対する非接触の操作を認識して輸送機器を制御できるようなシステム、及び、その方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a system capable of recognizing a non-contact operation with respect to a transportation device and controlling the transportation device regardless of the number of passengers in the transportation device such as an elevator, and a method thereof. And
かかる課題を解決するために本発明においては、所定領域に所在する複数の人員に操作盤への入力を許容し、当該操作盤からの出力信号に基づいて、輸送機器を制御する輸送機器制御システムは、所定領域を俯瞰して撮像可能な撮像装置と、撮像装置からの出力画像を処理する画像処理装置と、画像処理装置による画像処理の結果に基づいて輸送機器を制御する制御装置と、を備え、画像処理装置は、所定領域に存在する複数の人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、制御装置は、対象者によって操作盤が操作されなくても、手挙げ挙動に基づいて輸送機器を制御するようにした。 In order to solve such a problem, in the present invention, a transportation device control system that allows a plurality of personnel located in a predetermined area to input to the operation panel and controls the transportation device based on an output signal from the operation panel. Is an image pickup apparatus capable of taking an image of a predetermined area in a bird's-eye view, an image processing apparatus that processes an output image from the image pickup apparatus, and a control apparatus that controls transportation equipment based on a result of image processing by the image processing apparatus. The image processing device identifies the hand-raising behavior of at least one of the plurality of persons existing in the predetermined area, and the control device controls the hand-raising behavior even if the operation panel is not operated by the subject. Based on the above, the transportation equipment is controlled.
本発明によれば、エレベータ等輸送機器での乗客数の多少に拘わらず、輸送機器に対する非接触の操作を認識して輸送機器を制御できるようなシステム、及び、その方法を実現できる。 According to the present invention, it is possible to realize a system and a method for controlling a transportation device by recognizing a non-contact operation on the transportation device regardless of the number of passengers in the transportation device such as an elevator.
次に、本発明の実施の形態を、図面に基づいて説明する。以下の第１の実施の形態においては、輸送機器としての昇降装置であるエレベータ装置を例にとり、エレベータ装置の乗りかご内の乗客（人員）の画像に基づいて、乗りかごの動作を制御する制御システムを説明する。図１は、乗りかご５１の斜視図である。符号５８は乗りかご５１を開閉するドアである。制御システムは、画像センサと、画像処理処置装置と、画像処理の結果に基づいて乗りかご５１の動作を制御する制御装置と、を備える。符号５２は画像センサであり、符号５４は、画像センサ５２からの撮像信号（出力画像）に基づいて画像処理を行う画像処理装置として、さらに、画像処理の結果に基づいて、乗りかご５１の制御、例えば、ドア５８の開閉、行先階の指定等ユーザ対応制御を行う制御装置としての、処理ユニットである。 Next, an embodiment of the present invention will be described with reference to the drawings. In the following first embodiment, an elevator device, which is a lifting device as a transportation device, is taken as an example, and control for controlling the operation of a car is performed based on an image of a passenger (person) in a car of the elevator device. Describe the system. FIG. 1 is a perspective view of the car 51. Reference numeral 58 is a door for opening and closing the car 51. The control system includes an image sensor, an image processing device, and a control device that controls the operation of the car 51 based on the result of the image processing. Reference numeral 52 is an image sensor, and reference numeral 54 is an image processing device that performs image processing based on an image pickup signal (output image) from the image sensor 52, and further controls the car 51 based on the result of the image processing. For example, it is a processing unit as a control device that controls the user correspondence such as opening and closing the door 58 and designating a destination floor.
画像センサ５２は、撮像装置であり、乗りかご５１内の乗客を監視する等のために従来から利用され、乗りかご５１の天井の奥側の角部に存在し、所定領域としての乗りかご５１内の領域をドア５８側に向かって俯瞰し、乗りかご５１内部を撮像できる。画像センサ５２は乗りかご５１内の少なくとも1人の乗客の上半身が視野内に収まる視野角を有している。処理ユニット５４は、画像センサ５２によって得られた画像情報を取り込み、画像処理を行う。符号５９は乗りかご５１の昇降方向（重力方向）に沿った座標系であり、符号６９は画像センサ５２の視線方向に沿った座標系を示す。処理ユニット５４は画像センサ５２の座標系６９のｘ、ｙ、ｚ軸に対する角度（θ、ψ、ρ）等撮像対象に合わせて画像センサ５２の視線方向を制御することもできる。 The image sensor 52 is an image pickup device and has been conventionally used for monitoring passengers in the car 51. The image sensor 52 exists at a corner on the back side of the ceiling of the car 51 and serves as the car 51 as a predetermined area. It is possible to take an image of the inside of the car 51 by looking down at the area inside toward the door 58. The image sensor 52 has a viewing angle such that the upper body of at least one passenger in the car 51 fits within the field of view. The processing unit 54 takes in the image information obtained by the image sensor 52 and performs image processing. Reference numeral 59 indicates a coordinate system along the up-and-down direction (gravitational direction) of the car 51, and reference numeral 69 indicates a coordinate system along the line-of-sight direction of the image sensor 52. The processing unit 54 can also control the line-of-sight direction of the image sensor 52 according to the imaging target such as the angles (θ, ψ, ρ) of the coordinate system 69 of the image sensor 52 with respect to the x, y, and z axes.
画像センサ５２は、処理ユニット５４が乗客の挙動を識別できるようにするために、画像までの距離情報も出力できる距離画像センサとして実現される。画像センサ５２には、Time Of Flightと呼ばれ、センサ内部に近赤外の発光体を有し、近赤外光を発光してからその近赤外光が視野角内の物体に反射してから戻ってくるまでの時間を計測することで物体までの距離を画素単位で計測する計測方式を適用できる。この他にも、画像センサ５２に、ステレオカメラやレーザレーダ等の画素単位で距離を計測できる方式を適用してもよい。その他、後述の直上画像を生成できるように、３次元データに変換できる画像データを取得できる任意の計測方式を適用することもできる。 The image sensor 52 is realized as a distance image sensor that can also output distance information to the image so that the processing unit 54 can identify the behavior of the passenger. The image sensor 52, which is called Time Of Flight, has a near-infrared light emitter inside the sensor, emits near-infrared light, and then the near-infrared light is reflected by an object within the viewing angle. It is possible to apply a measurement method in which the distance to the object is measured in pixel units by measuring the time from returning to. In addition to this, a method capable of measuring the distance in pixel units such as a stereo camera or a laser radar may be applied to the image sensor 52. In addition, an arbitrary measurement method that can acquire image data that can be converted into three-dimensional data can be applied so that an image directly above described below can be generated.
画像センサ５２は、監視カメラと同様に画像の撮像面を有しており、複数の画素の夫々について、撮像対象までの距離を計測して距離画像を得ることができる。距離画像とは、画像中の各画素までの距離の情報を持つ画像である。画像センサ５２は、座標系６９に沿って、乗りかご５１内の乗客１３１、１３２及び１３３（図５参照）を視野内に捉えることができる。 The image sensor 52 has an image pickup surface of an image similarly to the surveillance camera, and can measure a distance to an image pickup target for each of a plurality of pixels to obtain a distance image. The distance image is an image having information on the distance to each pixel in the image. The image sensor 52 can capture the passengers 131, 132, and 133 (see FIG. 5) in the car 51 in the visual field along the coordinate system 69.
図２に、処理ユニット５４の機能ブロック図を示す。処理ユニット５４は画像データ取得部１を備える。画像データ取得部１は、所定周期で、画像センサ５２から距離画像を、フレーム単位で取得して記憶する。 FIG. 2 shows a functional block diagram of the processing unit 54. The processing unit 54 includes the image data acquisition unit 1. The image data acquisition unit 1 acquires a distance image from the image sensor 52 on a frame-by-frame basis and stores it in a predetermined cycle.
処理ユニット５４は、さらに、画像データ取得部１が取得した距離画像１５１（図３参照）を基に、乗りかご５１内の乗客の手挙げ挙動、例えば、乗客１３１（対象者）の手１４１を挙手する挙動（図６参照）を検出する手挙げ検出部２と、対象者の挙手挙動を契機として、挙手挙動に継続する対象者の動作を、距離画像１５１に基づいて認識する動作認識部３Ａと、距離画像１５１に基づいて乗りかご５１内の状況（乗客の配置等）を認識する状況認識部３Ｂとを備える。 Based on the distance image 151 (see FIG. 3) acquired by the image data acquisition unit 1, the processing unit 54 further determines the hand-raising behavior of the passenger in the car 51, for example, the hand 141 of the passenger 131 (target person). A hand-raising detection unit 2 that detects a hand-raising behavior (see FIG. 6), and a motion recognition unit 3A that recognizes the motion of the target person who continues the hand-raising motion based on the distance image 151, triggered by the hand-raising motion of the target person. And a situation recognition unit 3B that recognizes the situation (passenger placement, etc.) inside the car 51 based on the distance image 151.
動作認識部３Ａは、乗客１３１の挙動のうち、前記挙手挙動に継続し、挙手挙動の関連する関連挙動を特定の「ジェスチャ」として、区別、或いは、識別等して、これを乗りかご５１の制御のために利用させる。「ジェスチャ」としては、例えば、挙げた手を左右に振る、挙げた手を下す等がある。また、処理ユニット５４中の後述の制御部４を除く部分を画像処理装置と言い換えてもよい。 The motion recognition unit 3A continues the above-mentioned hand-raising behavior among the behaviors of the passenger 131, and distinguishes or identifies the related behavior related to the hand-raising behavior as a specific “gesture”, and identifies this as the gesture of the car 51. Used for control. Examples of the “gesture” include waving the raised hand to the left and right, and dropping the raised hand. Further, the part of the processing unit 54 excluding the control unit 4 described later may be referred to as an image processing device.
さらに、処理ユニット５４は、動作認識部３Ａ、及び／又は、状況認識部３Ｂからの認識結果を受けて、乗りかご５１のドア５８の開閉、停止階の設定等を制御するための制御信号を生成する制御信号生成部３Ｃとを備える。制御信号生成部３Ｃは、制御信号を、乗りかご５１を含むエレベータ装置を制御する制御装置である制御部４に出力する。なお、制御信号生成部３Ｃは制御部４に含まれてもよいものとする。ここで以下、３Ａ、３Ｂ及び３Ｃを纏めてジェスチャ認識部３と呼ぶ。ジェスチャ認識部３は、以上述べた３Ａ、３Ｂ及び３Ｃの各機能を備えている。 Further, the processing unit 54 receives the recognition result from the motion recognition unit 3A and/or the situation recognition unit 3B, and outputs a control signal for controlling the opening/closing of the door 58 of the car 51, the setting of the stop floor, and the like. And a control signal generation unit 3C that generates the control signal. The control signal generation unit 3C outputs the control signal to the control unit 4, which is a control device that controls the elevator device including the car 51. The control signal generation unit 3C may be included in the control unit 4. Hereafter, 3A, 3B, and 3C are collectively referred to as the gesture recognition unit 3. The gesture recognition unit 3 has the functions of 3A, 3B, and 3C described above.
制御部４は、制御信号生成部３Ｃから出力された制御信号に基づいて、乗りかご５１のドア５８の開閉、乗りかご５１の停止階への停止等乗りかご５１の運行を制御するためにモータに対する制御を実行する。乗りかご５１のドア５８の開閉、停止階への停止のための操作は操作盤からも可能であり、操作盤からの操作信号は制御部４に出力される。制御部４は、操作盤に設けられているディスプレイに情報を表示するため、停止階用のボタンを点灯させる等のための制御信号を出力する。また、制御部４は、制御信号生成部３Ｃの制御信号中に乗客に向けたアナウンスやディスプレイや照明機器等の乗りかご５１内の装置への制御が含まれる場合には、該当する機器を制御する。乗りかご５１のドア５８の開閉のための制御には、ドア５８の開放時間や開閉速度の調整を含む。なお、「部」は、プログラム、及び／又は、ハードウェアによって実現される。「部」を「モジュール」に言い換えてもよい。 Based on the control signal output from the control signal generation unit 3C, the control unit 4 opens and closes the door 58 of the car 51, stops the car 51 at a stop floor, and controls the operation of the car 51 by a motor. Control over. Operations for opening and closing the door 58 of the car 51 and stopping at the stop floor can also be performed from the operation panel, and operation signals from the operation panel are output to the control unit 4. The control unit 4 outputs a control signal for turning on the button for the stop floor, etc., in order to display information on the display provided on the operation panel. Further, when the control signal of the control signal generation unit 3C includes an announcement for passengers or a control for a device in the car 51 such as a display or a lighting device, the control unit 4 controls the corresponding device. To do. The control for opening and closing the door 58 of the car 51 includes adjustment of the opening time and the opening/closing speed of the door 58. The “unit” is realized by a program and/or hardware. “Part” may be paraphrased as “module”.
処理ユニット５４は、マイクロコンピュータとして、画像センサ５２とは独立して構成されてもよいし、画像センサ５２と一体に構成されてもよい。さらに、処理ユニット５４は、乗りかご５１とネットワークで接続された遠隔の計算機として実現されてもよい。処理ユニット５４の複数のモジュールを乗りかご５１と遠隔に分けて存在させてもよい。さらにまた、処理ユニット５４は、統合基板のマイクロコンピュータとして実現される他、複数の制御基板から構成されてもよい。 The processing unit 54 may be configured as a microcomputer independently of the image sensor 52, or may be configured integrally with the image sensor 52. Further, the processing unit 54 may be realized as a remote computer connected to the car 51 via a network. A plurality of modules of the processing unit 54 may exist separately from the car 51. Furthermore, the processing unit 54 is realized as a microcomputer of an integrated board, and may be composed of a plurality of control boards.
次に、画像センサ５２の計測動作の詳細について説明する。図３において、符号１５０は距離画像１５１中の画素、符号５０は画素１５０に対応した空間中の対応点、符号６９は既述のとおり、画像センサ５２を基準とした座標系、ｉＳ（ｕ、ｖ）は画素１５０の距離画像１５１上の座標、ＩＳ（ＸＳ、ＹＳ、ＺＳ）は対応点５０の座標系６９で定義された座標である。 Next, details of the measurement operation of the image sensor 52 will be described. In FIG. 3, reference numeral 150 is a pixel in the distance image 151, reference numeral 50 is a corresponding point in the space corresponding to the pixel 150, reference numeral 69 is the coordinate system based on the image sensor 52 as described above, i S (u , V) are the coordinates of the pixel 150 on the distance image 151, and I S (X S , Y S , Z S ) are the coordinates defined by the coordinate system 69 of the corresponding point 50.
座標系６９の原点ＯＳ画像センサ５２の投影の中心であり、座標軸ＸＳ、ＹＳ、ＺＳは画像センサ５２から見て左、上、奥にあたる。ＩＳは、画像センサ５２を座標系の基準としたときの３次元データである。ＩＳの要素中のＺＳが、画素１５０の距離値に相当する。処理ユニット５４が、画像センサ５２の投影モデルをピンホールモデルで近似し、画像センサ５２の焦点距離をλとすると、ＩＳの要素中で残るＸＳ、ＹＳは順に、下記の式（１）、式（２）によって計算される。処理ユニット５４は、この距離画像１５１中の画素１５０から対応点５０を求める手順を、距離画像１５１内の全てもしくは所定領域内の画素１５０で繰り返し行うことで、距離画像１５１を３次元データに変換することができる。
さらに、処理ユニット５４は、距離画像１５１を、対応点５０を介して任意の視点に視点変換することが可能である。例えば、距離画像１５１を、乗りかご５１が乗りかご５１の真上の視点から見下す方向に変換されることを、図４を用いて説明する。最初に、対応点５０の座標が、座標系６９から任意の座標に座標変換できることを、下記の式（３）を用いて示す。式（３）において、対応点５０の座標は、座標系６９における座標ＩＳ（ＸＳ、ＹＳ、ＺＳ）から、乗りかご５１内の座標系５９の座標Ｉ（Ｘ、Ｙ、Ｚ）に変換されている。
位置（ＸＣ、ＹＣ、ＺＣ）は座標系５９における画像センサ５２の設置位置、角度（θ、ψ、ρ）は図１に示す様に座標系５９における画像センサ５２の設置角度である。これらの設置位置や設置角度のデータは事前に計測される。 The position (X C , Y C , Z C ) is the installation position of the image sensor 52 in the coordinate system 59, and the angles (θ, ψ, ρ) are the installation angles of the image sensor 52 in the coordinate system 59 as shown in FIG. .. The data of these installation positions and installation angles are measured in advance.
次に、処理ユニット５４は、対応点５０の座標Ｉ（Ｘ、Ｙ、Ｚ）から、対応点５０を乗りかご５１の無限遠の真上から見下ろした際の直上画像２５１中の画素２５０の座標ｊ（ｍ、ｎ）を求める。ここで、直上画像２５１の座標系２５９のｍ、ｎのスケールは、実空間の座標系５９のＸ、Ｚの実寸に比例するようにされる。画素２５０の諧調は、対応点５０の座標Ｉ（Ｘ、Ｙ、Ｚ）のＹ座標（高さ）に比例する様にされる。処理ユニット５４は、画素１５０の距離画像１５１上の座標ｉ（ｕ、ｖ）から、直上画像２５１中において対応する画素２５０の座標ｊ（ｍ、ｎ）を、距離画像１５１中の全てもしくは所定領域内において繰り返すことにより、乗りかご５１の無限遠の真上から見下ろした際の直上画像２５１を生成できる。なお、距離画像１５１から直上画像２５１を求める演算を直上変換と呼ぶ。 Next, the processing unit 54 looks down from the coordinates I (X, Y, Z) of the corresponding point 50 to the coordinates of the pixel 250 in the immediately above image 251 when the corresponding point 50 is looked down from directly above infinity of the car 51. Find j(m,n). Here, the scales of m and n in the coordinate system 259 of the immediately above image 251 are made proportional to the actual sizes of X and Z in the coordinate system 59 in the real space. The gradation of the pixel 250 is set to be proportional to the Y coordinate (height) of the coordinate I (X, Y, Z) of the corresponding point 50. The processing unit 54 determines, from the coordinates i(u, v) of the pixel 150 on the distance image 151, the coordinates j(m, n) of the corresponding pixel 250 in the immediately above image 251, all or a predetermined area in the distance image 151. By repeating the above, it is possible to generate the image 251 immediately above when looking down from directly above the infinity of the car 51. The calculation for obtaining the directly-above image 251 from the distance image 151 is referred to as immediately-above conversion.
処理ユニット５４は、直上画像２５１中における縦幅及び横幅（座標系２５９中のｍ及びｎ軸方向の幅）からは、座標系２５９と座標系５９の比例関係を用いて、乗りかご５１内の実寸の座標系５９における縦幅、及び、横幅を求めることができる。 The processing unit 54 uses the proportional relationship between the coordinate system 259 and the coordinate system 59 from the vertical width and the horizontal width (widths in the m and n axis directions in the coordinate system 259) in the immediately above image 251 to determine the inside of the car 51. The vertical width and horizontal width in the actual size coordinate system 59 can be obtained.
処理ユニット５４は、直上画像２５１中の諧調から、座標系２５９におけるＹ座標（高さ）との比例関係を用いて、乗りかご５１内の実寸の座標系５９における高さＹ座標（高さ）を求めることができる。 The processing unit 54 uses the proportional relationship with the Y coordinate (height) in the coordinate system 259 from the gradation in the image 251 immediately above, and the height Y coordinate (height) in the actual size coordinate system 59 in the car 51. Can be asked.
処理ユニット５４は、直上画像２５１と距離画像１５１の間では、領域間の対応も取れる。例えば、直上画像中の所定領域に含まれる画素２５０の各々から距離画像１５１中における対応点を、対応点５０を介して見つけることにより、前記所定領域に対する距離画像１５１上の対応領域を求めることができる。反対に同様の手順で、距離画像１５１中の所定領域から、直上画像２５１のうちの対応領域を求めることもできる。 The processing unit 54 can also take correspondence between regions between the immediately-above image 251 and the distance image 151. For example, by finding a corresponding point in the distance image 151 from each of the pixels 250 included in the predetermined area in the immediately above image via the corresponding point 50, the corresponding area on the distance image 151 with respect to the predetermined area can be obtained. it can. On the contrary, by the same procedure, it is also possible to obtain the corresponding area in the immediately-above image 251 from the predetermined area in the distance image 151.
既述の直上変換は、手挙げ検出部２、及び、ジェスチャ認識部３において実行される。 The above-described direct conversion is executed by the hand-raising detection unit 2 and the gesture recognition unit 3.
次に、図５に基づいて、距離画像１５１Ａが画像データ取得部１で取得された場合を例にとり、手挙げ検出部２、ジェスチャ認識部３、そして、制御部４の動作について説明する。図５において、１３１、１３２、１３３は乗客であり、１５８は乗りかご５１のドア５８であり、１５７は乗りかご５１のドア５８付近の操作盤である。距離画像１５１Ａおいて、操作盤１５７はそのすぐ前に乗客１３２が立っているために、乗客１３１及び１３３は乗客１３２に動いてもらう様に頼まなければ操作盤１５７を操作することは困難である。 Next, operations of the hand-raising detection unit 2, the gesture recognition unit 3, and the control unit 4 will be described based on FIG. 5 by taking the case where the distance image 151A is acquired by the image data acquisition unit 1 as an example. In FIG. 5, 131, 132, 133 are passengers, 158 is a door 58 of the car 51, and 157 is an operation panel near the door 58 of the car 51. In the distance image 151A, since the passenger 132 is standing in front of the operation panel 157, it is difficult to operate the operation panel 157 unless the passengers 131 and 133 ask the passenger 132 to move. ..
図５の距離画像１５１Ａの乗客１３１が手を高く挙げると、画像データ取得部１（画像センサ５２）は、図６に示すように、挙手した乗客１３１Ｂを含む距離画像１５１Ｂを取得する。手挙げ検出部２は、挙手された手１４１を検出する。 When the passenger 131 of the distance image 151A in FIG. 5 raises his/her hand, the image data acquisition unit 1 (image sensor 52) acquires the distance image 151B including the passenger 131B who raised his/her hand, as shown in FIG. The hand-raising detection unit 2 detects the raised hand 141.
手１４１は、乗りかご５１内において高い位置（座標系５９のＹ座標が大きい）を示すことより、画像センサ５２の視野内において、周囲の乗客１３２、１３３等により遮蔽されることや、手１４１を挙げた乗客１３１Ｂの身体によって遮蔽される可能性が少なく、距離画像１５１Ｂにおいて明瞭に区別、或いは、識別される。画像センサ５２の手前に、手１４１よりも身長が高い乗客が居る場合には、挙手された手１４１が遮蔽されるおそれがなくはないが、真っ直ぐに挙手された手１４１の高さは、乗客１３１Ｂの身長に腕の長さを足した値になり、平均的な成人の身長よりも大きいことを考慮すると、挙手された手１４１が遮蔽されるおそれ低い。 Since the hand 141 shows a high position (the Y coordinate of the coordinate system 59 is large) in the car 51, the hand 141 is shielded by the surrounding passengers 132, 133 and the like in the visual field of the image sensor 52, and the hand 141 There is little possibility of being blocked by the body of the passenger 131B mentioned above, and is clearly distinguished or identified in the distance image 151B. When there is a passenger who is taller than the hand 141 in front of the image sensor 52, the raised hand 141 may not be shielded, but the height of the raised hand 141 is equal to that of the passenger. Considering that the height is 131B plus the length of the arm, which is larger than the average adult height, the raised hand 141 is unlikely to be blocked.
手挙げ検出部２が、挙手された手１４１を識別するために、直上画像２５１（図４）において、手１４１の高さの変化を検出すればよい。図７に距離画像１５１Ａ（図５）の直上画像２５１Ａ、図８に距離画像１５１Ｂ（図６）の直上画像２５１Ｂを示す。図７及び図８において、２３１、２３２、２３３は乗客の直上画像であり、そして、２３１Ｂは挙手した乗客２３１の直上画像であり、さらに、夫々乗客１３１、１３２、１３３、１３１Ｂに対応する。２５５は乗りかご５１の床面５５の領域の直上画像であり、２５８はドア１５８(図５及び図６)の直上画像、２５７は操作盤１５７(図５及び図６)の直上画像、そして、２４１は手１４１（図６）の直上画像に夫々対応する。手挙げ検出部２は直上画像２５１Ａと直上画像２５１Ｂの差分を画素ごとに計算することによって、手２４１が挙手されていることを識別することができる。 In order to identify the raised hand 141, the hand-raising detection unit 2 may detect a change in the height of the hand 141 in the immediately above image 251 (FIG. 4). FIG. 7 shows an image 251A immediately above the distance image 151A (FIG. 5), and FIG. 8 shows an image 251B immediately above the distance image 151B (FIG. 6). 7 and 8, 231, 232 and 233 are images directly above the passengers, and 231B is an image directly above the passengers 231 who have raised their hands, and further correspond to the passengers 131, 132, 133 and 131B, respectively. 255 is an image directly above the area of the floor 55 of the car 51, 258 is an image directly above the door 158 (FIGS. 5 and 6), 257 is an image directly above the operation panel 157 (FIGS. 5 and 6), and Reference numerals 241 correspond to the images directly above the hand 141 (FIG. 6), respectively. The hand-raising detection unit 2 can identify that the hand 241 is raised by calculating the difference between the directly-above image 251A and the immediately-above image 251B for each pixel.
距離画像１５１Ｂにおいて、距離の動揺、即ち、ノイズ等から区別して、確実に、挙手された手２４１を識別されるように、手挙げ検出部２は、挙手された手２４１の高さ（座標系５９のＹ座標）の範囲を、平均的な体型の大人の手の高さから規定してもよい。あるいは、直上画像２５１Ｂにおいて、手２４１に最も近い乗客２３１Ｂの身長から、挙手された手２４１の高さの範囲を規定してもよい。 In the distance image 151B, the hand-raising detection unit 2 detects the height of the raised hand 241 (coordinate system) so that the raised hand 241 can be reliably identified by distinguishing it from the fluctuation of the distance, that is, noise or the like. The range of 59 (Y coordinate) may be defined from the height of the hand of an adult of average body type. Alternatively, in the immediately above image 251B, the height range of the raised hand 241 may be defined from the height of the passenger 231B closest to the hand 241.
乗客２３１の身長は、次の様にして簡易に求めることができる。まず、手挙げ検出部２は、挙手が発生する前のフレームの直上画像２５１Ａにおいて、領域２５５に対して、座標系５９で定義した高さＹが床面５５よりも高い画素を抽出し、これらの複数の画素の連結領域を、乗客２３１、２３２、２３３夫々の領域とする。そして、手挙げ検出部２は、直上画像２５１Ａ中における乗客２３１の領域内の画素の高さＹの最大値から、直上画像２５１Ａ中における乗客２３１の身長を求める。そして、手挙げ検出部２は、連続する複数のフレームで乗客の身長を追跡して処理することにより、直上画像２５１Ａ中における乗客２３１の身長が直上画像２５１Ｂにおいて変わることなく、挙手した乗客２３１Ｂの身長であると判定する。なお、画素の連結領域からは、輪郭がわかるため、乗客の領域である輪郭画像が区別できるものとする。 The height of the passenger 231 can be easily obtained as follows. First, the hand-raising detection unit 2 extracts, in the immediately above image 251A of the frame before the raising of a hand, the pixels whose height Y defined by the coordinate system 59 is higher than the floor surface 55 in the area 255, and The connection area of the plurality of pixels is defined as the area of each of the passengers 231, 232, and 233. Then, the hand-raising detection unit 2 obtains the height of the passenger 231 in the directly-up image 251A from the maximum value of the height Y of the pixel in the area of the passenger 231 in the directly-up image 251A. Then, the hand-raising detection unit 2 tracks and processes the height of the passenger in a plurality of consecutive frames, so that the height of the passenger 231 in the directly-above image 251A does not change in the immediately-above image 251B, and the height of the passenger 231B is raised. Determined to be tall. Since the contour can be seen from the connected region of pixels, the contour image, which is the passenger's region, can be distinguished.
手挙げ検出部２は、手１４１（図６）を識別する際に、直上画像２５１Ｂにおける手２４１の高さの変化を検出する手法以外の手法を採用してもよい。例えば、手挙げ検出部２は、機械学習により挙手された手１４１（２４１）の形状パターンを事前に学習しておき、距離画像１５１Ｂにこの形状パターンに適合する領域があることにより、挙手を識別するようにしてもよい。 The hand-raising detection unit 2 may employ a method other than the method of detecting the change in the height of the hand 241 in the directly-above image 251B when identifying the hand 141 (FIG. 6). For example, the hand-raising detection unit 2 learns the shape pattern of the hand 141 (241) raised by machine learning in advance, and identifies the raised hand because there is a region in the distance image 151B that matches this shape pattern. You may do so.
ジェスチャ認識部３は、手１４１を挙げた乗客１３１Ｂが乗りかご５１に対してドア５８（図１参照）の開放等所定の制御をしようとする意図を持って所定の動作をした際、その動作を「ジェスチャ」（継続挙動）として認識する。即ち、「ジェスチャ」とは、乗客が自身の意図を制御システム（処理ユニット５４）に操作盤１５７に接触することなく伝えるためにパラメータである。ジェスチャ認識部３によって認識される「ジェスチャ」と制御コマンドの対応関係は、制御テーブルＴ１として、処理ユニット５４のメモリに事前に登録されていればよい。制御部４は、制御テーブルＴ１を参照して、ジェスチャ認識部３によって認識された、乗客のジェスチャの態様に基づいて、これに対応する制御コマンドを選択、決定、又は、特定し、この制御コマンドをドア５８の開閉用アクチュエータの駆動回路等に出力する。例えば、「ドアの即時閉」は、手１４１がドア５８の閉まる方向に振られるジェスチャに対応し、「ドアの開延長」は、手１４１がドア５８の開く方向に振られるジェスチャに対応する動作を認識する。制御テーブルＴ１において、ドア５８は片開きとして管理されている。なお、ジェスチャ認識部３は、乗客１３１Ｂの挙手を「ジェスチャ」のトリガとして認識する。 The gesture recognition unit 3 operates when the passenger 131B with the hand 141 performs a predetermined operation with the intention of performing a predetermined control such as opening the door 58 (see FIG. 1) on the car 51. Is recognized as a "gesture" (continuous behavior). That is, the “gesture” is a parameter for the passenger to convey his/her intention to the control system (processing unit 54) without touching the operation panel 157. The correspondence between the “gesture” recognized by the gesture recognition unit 3 and the control command may be registered in advance in the memory of the processing unit 54 as the control table T1. The control unit 4 refers to the control table T1, selects, determines, or specifies a control command corresponding to the gesture mode of the passenger recognized by the gesture recognition unit 3 and determines the control command. To the drive circuit of the actuator for opening and closing the door 58. For example, “immediate closing of the door” corresponds to a gesture in which the hand 141 is shaken in the closing direction of the door 58, and “extension of opening of the door” is an operation corresponding to a gesture in which the hand 141 is shaken in the opening direction of the door 58. Recognize. In the control table T1, the door 58 is managed as a single door. The gesture recognition unit 3 recognizes the raised hand of the passenger 131B as a “gesture” trigger.
ジェスチャ認識部３は、乗客によって複数のフレームに亘って連続して行われる複数の動作を互いに関連する動作とし、これを、一つ、又は、一組のジェスチャとして他のジェスチャから区別することができる。例えば、ジェスチャ認識部３は、手１４１が揺れる動作をトリガとして認識し、次いで、手１４１を左右に動かす動作を認識し、さらに手が下される動作を認識し、これを一つ又は一組のジェスチャとして制御部４に出力する。制御部４は、制御テーブルＴ１に基づいて、「行先階の指定」に係る制御コマンドを特定する。なお、ジェスチャ認識部３は、手１４１の移動量も認識し、この認識情報を「ジェスチャ」の認識情報と共に制御部４に出力する。制御部４は移動量に基づいて乗りかご５１の停止階を決定する。 The gesture recognition unit 3 regards a plurality of motions continuously performed by a passenger over a plurality of frames as related motions, and distinguishes them from other gestures as one or a set of gestures. it can. For example, the gesture recognition unit 3 recognizes a motion of the hand 141 as a trigger, then recognizes a motion of moving the hand 141 left and right, further recognizes a motion of the hand, and recognizes one or a set of them. Is output to the control unit 4. The control unit 4 identifies the control command related to "designation of destination floor" based on the control table T1. The gesture recognition unit 3 also recognizes the amount of movement of the hand 141 and outputs this recognition information to the control unit 4 together with the recognition information of the “gesture”. The control unit 4 determines the stop floor of the car 51 based on the movement amount.
状況認識部３Ｂは、既述のジェスチャの認識に加えて、乗りかご５１内の乗客の状況（混雑度等）を認識する。例えば、状況認識部３Ｂは、距離画像１５１Ａにしたがって、ドア５８付近に乗客１３３（挙手したとする）とは別の乗客１３１と１３２（挙手していない乗客）とが存在することを認識する（図９参照）。ドア５８付近及び操作盤１５７付近に別の乗客が存在すると、乗客１３３（挙手したとする）は操作盤１５７にも近づきにくいために、制御部４は、手挙げ挙動（挙手）そのものを、乗客１３３の降車意思と見做し、挙手を直近階等に降車するためのコマンドに対応させてもよい。なお、ジェスチャ認識部３は、乗客１３１、１３２、１３３の位置を、直上画像２５１Ａ中の乗客２３１、２３２、２３３の重心位置から求めることができる。重心位置は、座標系５９（図１参照）で定義された高さＹが床面５５よりも高い画素の連結領域（乗客２３１、２３２、２３３：図７）夫々の重心として算出される。なお、制御部４は、ドア５８付近に別の乗客が存在するか否かに拘わらず、乗客１３３（挙手したとする）が操作盤１５７から離れている（両者の位置が所定値以上）場合、挙手を直近階等に降車するためのコマンドに対応させてもよい。なお、制御テーブルＴ１内に状況を参照するジェスチャが無い場合には、本発明の実施の形態１から状況認識部３Ｂを省いても良い。 The situation recognition unit 3B recognizes the situation (congestion degree, etc.) of the passenger in the car 51 in addition to the recognition of the gesture described above. For example, the situation recognition unit 3B recognizes according to the distance image 151A that passengers 131 and 132 (passengers who have not raised their hands) other than the passenger 133 (assuming that they have raised their hands) exist near the door 58 ( (See FIG. 9). If another passenger is present near the door 58 and the operation panel 157, the passenger 133 (assuming that he/she raises his hand) is less likely to approach the operation panel 157. It may be considered that the user intends to get off the vehicle at 133, and may correspond to a command for getting off the raised hand to the nearest floor or the like. In addition, the gesture recognition unit 3 can obtain the positions of the passengers 131, 132, and 133 from the center of gravity positions of the passengers 231, 232, and 233 in the immediately above image 251A. The position of the center of gravity is calculated as the center of gravity of each of the connected regions (passengers 231, 232, 233: FIG. 7) of pixels whose height Y defined by the coordinate system 59 (see FIG. 1) is higher than the floor surface 55. The control unit 4 determines that the passenger 133 (assuming that he/she raises his hand) is away from the operation panel 157 regardless of whether another passenger is present near the door 58 (both positions are equal to or more than a predetermined value). The command for getting off the raised hand to the nearest floor may be corresponded. When there is no gesture for referring to the situation in the control table T1, the situation recognizing unit 3B may be omitted from the first embodiment of the present invention.
手挙げ検出部２、及び／又は、制御部４は、挙手した乗客１３１Ｂとドア５８との間に他の乗客が存在しない場合、及び／又は、挙手した乗客１３１Ｂが操作盤１５７の近傍に存在する場合、乗客１３１Ｂの「挙手」を非接触インターフェース（画像センサ５２）に対するとして入力として扱わないようにしてもよい。さらに、ジェスチャ認識部３、及び／又は、制御部４は、挙手した乗客１３１Ｂとドア５８との間に他の乗客が存在しない場合、及び／又は、挙手した乗客１３１Ｂが操作盤１５７の近傍に存在する場合、乗客１３１Ｂの「ジェスチャ」を非接触インターフェース（画像センサ５２）に対するとして入力として扱わないようにしてもよい。さらに、制御部４は、ドア５８付近に別の乗客が存在するか否かに拘わらず、挙手した乗客１３１Ｂが操作盤１５７から離れている（両者の位置が所定値以上）場合、挙手を直近階等に降車するためのコマンドに対応させてもよい。乗客と制御コマンドとの対応関係は、図９の制御テーブルの例に限定されない。制御部４は、非接触インターフェースへの入力に基づいて、制御テーブルにしたがって、例えば、乗りかご５１のドア５８等の諸部材、そして、乗りかご５１の運行等を制御する。 The hand-raising detection unit 2 and/or the control unit 4 detects that there is no other passenger between the raised passenger 131B and the door 58, and/or the raised passenger 131B is near the operation panel 157. In this case, the "raised hand" of the passenger 131B may not be treated as an input to the non-contact interface (image sensor 52). Furthermore, the gesture recognition unit 3 and/or the control unit 4 may detect that another passenger does not exist between the raised passenger 131B and the door 58 and/or the raised passenger 131B may be near the operation panel 157. If so, the "gesture" of passenger 131B may not be treated as an input to the non-contact interface (image sensor 52). Further, if the passenger 131B who raises his/her hand is away from the operation panel 157 (whether the positions of both passengers are equal to or more than a predetermined value), the control unit 4 immediately approaches the hand regardless of whether or not another passenger is present near the door 58. You may correspond to the command for getting off at a floor etc. The correspondence relationship between passengers and control commands is not limited to the example of the control table in FIG. 9. The control unit 4 controls, for example, various members such as the door 58 of the car 51 and the operation of the car 51 according to the control table based on the input to the non-contact interface.
ジェスチャ認識部３は、挙手した乗客１３１Ｂの互いに関連する複数の連続挙動、例えば、図９の手が揺れる、左右に手が動く、そして、手が下される夫々認識結果を一つのジェスチャとして一度に制御部４に出力する他、夫々の認識結果を夫々の動作の都度夫々制御部４に出力するようにしてもよい。制御部４は、「行先階の指定」の認識に基づいて、指定された階に停止することを登録（呼び登録）する。制御部４は、ジェスチャ認識部３が「手が下げられる」の認識結果を受け取った際に、挙手した乗客１３１Ｂが円滑に乗りかご５１から降車できるように、乗りかご５１が停止されてドア５８が開放される前に、「奥のお客様が降車されますので、ドアの前をお開け下さい」等のアナウンスをスピーカから出力するようにしてもよい。 The gesture recognition unit 3 once recognizes a plurality of continuous behaviors of the passenger 131B who raised his/her hand, for example, the hand shakes in FIG. 9, the hand moves left and right, and the hand is released as a single gesture. Alternatively, the recognition result may be output to the control unit 4 each time each operation is performed. The control unit 4 registers (call registration) that the vehicle stops at the designated floor based on the recognition of "designation of the destination floor". When the gesture recognition unit 3 receives the recognition result that "the hand is lowered", the control unit 4 stops the car 51 so that the passenger 131B who raises his/her hand can smoothly exit from the car 51 and the door 58. Before opening, the speaker may output an announcement such as "Please open the front of the door because the passengers in the back will get off."
ジェスチャ認識部３と制御部４とは連携して、乗客の挙動の認識、次いで、乗りかご５１の制御を、乗客との間でインタラクティブに進めることができる。例えば、既述の関連挙動において、ジェスチャ認識部３が、手１４１の揺れを認識し、これが制御部４に出力されると、制御部４は、乗客１３１Ｂに対して、停止階のリクエストを受領したこと、そして、停止階の動作を促すための映像出力（メッセージ、点灯等）を、操作盤２５７のモニタ等を介して提供する。続いて、制御部４が手１４１が左右に振られたことの認識を受領すると、指定された行先階を、操作盤２５７のモニタに出力し、或いは、操作盤２５７の行先階に対応するボタンを点灯させる。 The gesture recognition unit 3 and the control unit 4 can cooperate with each other to recognize the behavior of the passenger and then control the car 51 interactively with the passenger. For example, in the above-described related behavior, when the gesture recognition unit 3 recognizes the shaking of the hand 141 and this is output to the control unit 4, the control unit 4 receives the request for the stop floor from the passenger 131B. Then, the video output (message, lighting, etc.) for prompting the operation of the stop floor is provided through the monitor of the operation panel 257. Subsequently, when the control unit 4 receives the recognition that the hand 141 has been swung to the left or right, the designated destination floor is output to the monitor of the operation panel 257, or a button corresponding to the destination floor of the operation panel 257. Light up.
既述の実施の形態によれば、操作盤の傍ら等に、乗客の挙動を検出するための専用のセンサを必要とすることなく、乗りかご５１内の監視用画像センサ５２を利用しても、乗りかご５１内での乗客の混雑の如何に拘らず、画像センサ５２が乗客の挙動を認識して、乗りかご５１の運行を制御することができる。乗客は、不特定多数が触れる操作盤への直接の操作を避けることができるために、衛生面を気にする乗客には好都合でもある。 According to the above-described embodiment, the monitoring image sensor 52 in the car 51 can be used without the need for a dedicated sensor for detecting the behavior of the passenger near the operation panel. The image sensor 52 can recognize the behavior of the passenger and control the operation of the car 51 regardless of the congestion of the passenger in the car 51. It is also convenient for passengers who are concerned about hygiene because passengers can avoid operating the control panel directly by an unspecified number of people.
ところで、複数の乗客が同時、又は、同時と見做され得る短時間の間に手挙げ挙動（挙手）を行うことがある。既述の制御システムは、複数の乗客のうちどの乗客のジェスチャに基づいて、輸送機器（乗りかご５１）を制御すべきかを決定するために排他制御を適用する。どのジェスチャ、換言すれば、どの制御コマンドを排他制御のためにするかは、制御テーブルによって事前に決められていてよい。例えば、典型的には、「ドアの即時閉」と「ドアの開延長」とはドアを対象とする点において同じであるため、両者は排他制御の対象となる。排他制御とは、要するに、複数のジェスチャ、又は、複数の制御コマンドのうち、どのジェスチャ、又は、制御コマンドを優先するかということであり、これはジェスチャ、又は、制御コマンドの優先度に基づいて決定される。排他制御は、制御信号生成部３Ｃによって実行されることでよい。図１０にしたがって、排他制御のフローチャートを説明する。 By the way, there are cases where a plurality of passengers perform hand-raising behavior (raising hands) at the same time or within a short time that can be regarded as simultaneous. The control system described above applies exclusive control to determine which passenger gesture of the plurality of passengers should control the transportation device (car 51). Which gesture, in other words, which control command is used for exclusive control, may be determined in advance by the control table. For example, typically, "immediate closing of the door" and "extending the opening of the door" are the same in that they target the door, so both are subject to exclusive control. Exclusive control is, in essence, which gesture or control command is given priority among a plurality of gestures or control commands, and this is based on the priority of the gesture or control command. It is determined. The exclusive control may be executed by the control signal generation unit 3C. A flowchart of exclusive control will be described with reference to FIG.
手挙げ検出部２は、複数の乗客の挙手を識別する（ＳＰ１）。手挙げ検出部２は、複数の乗客夫々の挙手の検出時刻を記録する（ＳＰ２）。検出時刻の代わりに、距離画像１５１Ａ（図６）のフレーム番号を記録してもよい。次に、ジェスチャ認識部３は、複数の乗客１３１夫々のジェスチャを認識する(ＳＰ３)。 The hand-raising detection unit 2 identifies the raised hands of a plurality of passengers (SP1). The hand-raising detection unit 2 records the detection time of raising the hand of each of the passengers (SP2). The frame number of the distance image 151A (FIG. 6) may be recorded instead of the detection time. Next, the gesture recognition unit 3 recognizes the gesture of each of the passengers 131 (SP3).
次いで、制御信号生成部３Ｃは、同じタイミングで行われた複数のジェスチャ夫々について（ＳＰ４〜ＳＰ８）、先ず、当該ジェスチャに対応する制御処理が排他制御の対象となっているかを判定する（ＳＰ５）。「同じタイミング」とは、ステップＳＰ２で登録された時刻が互いに近いこと、例えば、数秒以内であることでよい。 Next, the control signal generation unit 3C first determines whether or not the control process corresponding to the gesture is the target of exclusive control for each of the plurality of gestures performed at the same timing (SP4 to SP8) (SP5). .. The "same timing" may be that the times registered in step SP2 are close to each other, for example, within a few seconds.
図１１は、制御コマンドと優先度の関係を規定した制御テーブルである。制御信号生成部３Ｃは、図１１に基づいて、制御コマンドが排他制御の対象になっているか否かを判定する。図１１において、「ドアの即時閉」（図９：ドアの閉じる方向に手が振られるジェスチャに対応）と「ドアの開延長」（図９：ドアが開く方向に手が振られるジェスチャに対応）は共に“ドア”に係るために、両者は排他制御の対象となる。乗客の安全のために、「ドアの即時閉」よりも「ドアの開延長」は優先されるべきとして、前者に優先度「２」が設定され、後者に優先度「１」が設定される。図１１において、優先度の値が低いほど優先度は高くなる。 FIG. 11 is a control table that defines the relationship between control commands and priorities. The control signal generation unit 3C determines whether or not the control command is subject to exclusive control, based on FIG. In Fig. 11, "immediate door closing" (Fig. 9: Corresponds to gesture in which the hand is shaken in the closing direction) and "door extension" (Fig. 9: Corresponds to gesture in which hand is shaken in the opening direction) ) Are related to the "door", both are subject to exclusive control. For the safety of passengers, "extending the door opening" should be prioritized over "immediately closing the door", and the former is set to priority "2" and the latter is set to priority "1". .. In FIG. 11, the lower the priority value, the higher the priority.
一方、「行先階の指定」は「表示呼び登録」（停止階用のボタンの点灯）を対象とし、「降車の合図」は「降車のアナウンス」を対象として、夫々他の制御コマンドと制御対象おいて重複しないため、共に排他制御の対象とされないものとして、優先度は設定されない。 On the other hand, "Destination floor designation" targets "display call registration" (lighting of the button for the stop floor), "getting off signal" targets "dismounting announcement", and other control commands and control targets, respectively. Since they do not overlap with each other, the priority is not set because they are not subject to exclusive control.
好適には、優先度は乗客の安全の観点から決定される。例えば、「ドアの即時閉」よりも「ドアの開延長」の優先度を高くすることで、前者のためのジェスチャをある乗客がとった直後に、ドア５８から降りようとする他の乗客が後者のジェスチャをとれれば、ドア５８の開放時間が延長されることによって余裕を持って降車できるため、ドア５８付近の乗客との衝突を避けることが可能になる。 Preferably, the priority is determined in terms of passenger safety. For example, by setting the priority of “extending the door opening” to be higher than “immediately closing the door”, another passenger trying to get off the door 58 immediately after a passenger takes a gesture for the former. If the latter gesture is taken, the opening time of the door 58 can be extended and the passenger can get off the vehicle with a margin, so that it is possible to avoid a collision with a passenger near the door 58.
制御信号生成部３Ｃは、制御コマンドが、「ドアの即時閉」、又は、「ドアの開延長」であると、制御コマンドを排他制御の対象であると判定し、制御コマンドが、「行先階の指定」、又は、「降車の合図」であると、制御コマンドを排他制御の対象でないと判定する。 When the control command is “immediate closing of door” or “extension of opening of door”, the control signal generation unit 3C determines that the control command is subject to exclusive control, and the control command indicates “destination floor”. No.” or “getting off signal”, the control command is determined not to be subject to exclusive control.
次いで、制御信号生成部３Ｃは、ジェスチャに対応する制御コマンドが排他制御の対象であると判定すると（ＳＰ５でＹＥＳ）、図１１に基づいて、制御コマンドの優先度が最も高いか否かを判定し（ＳＰ６）、ジェスチャに対応する制御コマンドが排他制御の対象ではないと判定すると（ＳＰ５でＮＯ）、制御信号生成部３Ｃは制御コマンドに基づいて乗りかご５１の動作を制御し、制御部４で制御開始をする(ＳＰ７)。 Next, when the control signal generation unit 3C determines that the control command corresponding to the gesture is the target of the exclusive control (YES in SP5), the control signal generation unit 3C determines whether the priority of the control command is the highest based on FIG. However (SP6), if it is determined that the control command corresponding to the gesture is not the target of exclusive control (NO in SP5), the control signal generation unit 3C controls the operation of the car 51 based on the control command, and the control unit 4 Control starts with (SP7).
制御信号生成部３Ｃは、制御コマンドの優先度が最も高いものではないと判定すると（ＳＰ６でＮＯ）、この制御コマンドを処理することなく、ＳＰ５に戻って次の制御コマンドを処理する。制御信号生成部３Ｃは、制御コマンドの優先度が最も高いものであると判定すると（ＳＰ６でＹＥＳ）、ＳＰ７に移行して、制御コマンドに対応する制御を実行する。制御信号生成部３Ｃは、ＳＰ５〜ＳＰ７に係る排他制御を、複数の乗客によって同時に実行されたジェスチャ（制御コマンド）に適用することにより、複数のジェスチャに基づく制御の衝突（「ドアの即時開」と「ドアの開延長」の衝突）を避けることができる。制御信号生成部３Ｃは、同じ優先度のジェスチャが複数ある場合には、ＳＰ２での時刻の早い順に処理する。このような排他制御によって、複数の乗客が同時にジェスチャを行っても、ジェスチャに基づいて乗りかご５１を制御できる。 If the control signal generation unit 3C determines that the priority of the control command is not the highest (NO in SP6), it returns to SP5 and processes the next control command without processing this control command. When the control signal generation unit 3C determines that the priority of the control command is the highest (YES in SP6), the control signal generation unit 3C proceeds to SP7 and executes the control corresponding to the control command. The control signal generation unit 3C applies the exclusive control related to SP5 to SP7 to a gesture (control command) simultaneously executed by a plurality of passengers, thereby causing a collision of control based on a plurality of gestures (“immediate opening of door”). And "door open extension" collision) can be avoided. When there are a plurality of gestures having the same priority, the control signal generation unit 3C processes the gestures in SP2 in ascending order of time. By such exclusive control, even if a plurality of passengers make a gesture at the same time, the car 51 can be controlled based on the gesture.
本発明の実施の形態を、図面に基づいて説明する。第１の実施の形態と同様の部分については説明を省略する。 Embodiments of the present invention will be described with reference to the drawings. The description of the same parts as those in the first embodiment will be omitted.
画像認識機能を持つ昇降装置の機能構成図（図１２）に示したとおり、処理ユニット５４は、所定の周期でフレームであるカメラ画像を取得する画像データ取得部１’と、画像データ取得部１が取得したカメラ画像を基に、乗りかご５１内の所定の対象（例えば、乗客１３１の手１４１）を検出する手挙げ検出部２’と、検出した手１４１の動作を認識するジェスチャ認識部３’と、ジェスチャ認識部３’の認識結果に基づいてエレベータ装置を制御する制御部４とから構成される。なお、画像処理を行う画像処理装置は、画像データ取得部１’と、手挙げ検出部２’と、ジェスチャ認識部３’とから構成される。 As shown in the functional configuration diagram (FIG. 12) of the lifting device having the image recognition function, the processing unit 54 includes an image data acquisition unit 1′ that acquires a camera image that is a frame at a predetermined cycle, and an image data acquisition unit 1 A hand-raising detection unit 2′ that detects a predetermined object (for example, the hand 141 of the passenger 131) in the car 51 and a gesture recognition unit 3 that recognizes the detected motion of the hand 141 based on the camera image acquired by ', and a control unit 4 that controls the elevator apparatus based on the recognition result of the gesture recognition unit 3'. The image processing apparatus that performs image processing includes an image data acquisition unit 1', a hand-raising detection unit 2', and a gesture recognition unit 3'.
図１２に、処理ユニット５４の機能ブロック図を示す。処理ユニット５４は画像データ取得部１’を備える。画像データ取得部１’は、所定周期で、画像センサ５２から距離画像を、フレーム単位で取得して記憶する。 FIG. 12 shows a functional block diagram of the processing unit 54. The processing unit 54 includes an image data acquisition unit 1'. The image data acquisition unit 1 ′ acquires and stores the distance image from the image sensor 52 on a frame-by-frame basis in a predetermined cycle.
処理ユニット５４は、さらに、画像データ取得部１が取得した距離画像１５１（図３参照）を基に、乗りかご５１内の乗客の手挙げ挙動、例えば、乗客１３１（対象者）が手１４１を挙手するといった手挙げ挙動（図６参照）を検出する手挙げ検出部２と、対象者の挙手挙動を契機として、挙手挙動に継続する対象者の動作を、距離画像１５１に基づいて認識するジェスチャ認識部３’を備える。 Based on the distance image 151 (see FIG. 3) acquired by the image data acquisition unit 1, the processing unit 54 further raises the hand of the passenger in the car 51, for example, the passenger 131 (target person) raises the hand 141. A hand-raising detection unit 2 that detects a hand-raising behavior (see FIG. 6) such as raising a hand, and a gesture for recognizing a motion of the target person who continues the hand-raising behavior based on the distance image 151, triggered by the hand-raising behavior of the target person. The recognition unit 3'is provided.
画像データ取得部１’は、乗りかご５１内において画像センサ５２と同様に設置された防犯カメラ等の一般的なカメラから、カメラ画像を取得する。カメラ画像は、２次元的な画像であればよく、カラー画像でも、モノクロ画像でも近赤外画像でもよく、距離画像１５１Ａ及び１５１Ｂと同様に乗客１３１、１３１Ｂ及び手１４１が映った画像を取得する。 The image data acquisition unit 1 ′ acquires a camera image from a general camera such as a security camera installed in the car 51 in the same manner as the image sensor 52. The camera image may be a two-dimensional image, and may be a color image, a monochrome image, or a near-infrared image, and like the distance images 151A and 151B, an image showing the passengers 131, 131B and the hand 141 is acquired. ..
手挙げ検出部２’は、距離画像１５１Ｂのように高く手を挙げた乗客が映るカメラ画像中の画像的特徴からパターン認識により手１４１を検出する。パターン認識は例えば、事前に手の画像の学習サンプルを収集し、画像的特徴を機械学習により学習しておき、カメラ画像中において手の画像的特徴を備えた部分を手として検出する。他にも、カメラ画像がカラー画像の場合には、肌色の領域を手として検出してもよい。 The hand-raising detection unit 2'detects the hand 141 by pattern recognition from the image feature in the camera image in which the passenger who has raised his hand like the distance image 151B appears. In pattern recognition, for example, a learning sample of a hand image is collected in advance, the image characteristic is learned by machine learning, and a portion having the image characteristic of the hand is detected as a hand in the camera image. Alternatively, when the camera image is a color image, the skin-colored area may be detected as a hand.
既述の実施の形態によれば、ジェスチャの認識に専用の画像センサを必要とすることなく、防犯カメラ等の一般的なカメラで、乗りかご５１内での乗客の混雑の如何に拘らず、画像センサ５２が乗客の挙動を認識して、乗りかご５１の運行を制御することができる。 According to the above-described embodiment, a general camera such as a security camera does not require a dedicated image sensor for recognizing a gesture, regardless of congestion of passengers in the car 51, The image sensor 52 can recognize the behavior of the passenger and control the operation of the car 51.
なお既述の実施の形態においては、乗りかご５１中に設置した画像センサ５２を設置した場合について述べたが、本発明はこれに限らない。例えば、図１３に示すように、エレベータホールの高い場所に画像センサ５２Ｈを備え付ければ、第１の実施の形態の機能構成によって、エレベータホールの乗客３１Ｈ、３２Ｈ及び３３Ｈの手挙げを検出し、ジェスチャを認識することができる。 In addition, although the case where the image sensor 52 installed in the car 51 was installed was described in the above-mentioned embodiment, the present invention is not limited to this. For example, as shown in FIG. 13, if the image sensor 52H is installed at a high place in the elevator hall, the hand configuration of the passengers 31H, 32H, and 33H in the elevator hall is detected by the functional configuration of the first embodiment. Can recognize gestures.
このため、乗客はエレベータホールに備え付けられた操作盤５７Ｈに触れることなく、行先階の指定等の乗りかご５１の運行の制御や乗りかご５１中の装置の制御ができる。なお、第２の実施の形態についても、防犯カメラ等をエレベータホールに備え付けることで、同様に、エレベータホールの乗客３１Ｈ、３２Ｈ及び３３Ｈの手挙げを検出し、ジェスチャを認識することができる。 Therefore, the passenger can control the operation of the car 51 such as designating the destination floor and the devices in the car 51 without touching the operation panel 57H provided in the elevator hall. In the second embodiment as well, by installing a security camera or the like in the elevator hall, it is possible to similarly detect the hand-raising of the passengers 31H, 32H, and 33H in the elevator hall and recognize the gesture.
また既述の実施の形態においては、制御部４がエレベータを制御の対象とした場合について述べたが、本発明はこれに限らず、画像センサ５２や一般的なカメラが、ジェスチャ認識の対象とする乗客等の人を見下ろすように設置されていれば、制御部４はエレベータ以外の装置を制御することができる。 In the above-described embodiment, the case where the control unit 4 controls the elevator as the control target has been described, but the present invention is not limited to this, and the image sensor 52 or a general camera is set as the target for gesture recognition. If it is installed so as to look down on a person such as a passenger, the control unit 4 can control devices other than the elevator.
例えば、図１４に示すように、エスカレータ６１等の乗客コンベアを制御することができる。エスカレータ６１のデッキ６５付近を斜め上から視野に収めるように画像センサ５２Ｅを設置し、エスカレータ６１の乗客３１Ｅ、３２Ｅ及び３３Ｅ等が手を挙げてから左右に大きく振るジェスチャをした際に、制御部４がエスカレータを緊急停止する構成としてもよい。 For example, as shown in FIG. 14, the passenger conveyor such as the escalator 61 can be controlled. The image sensor 52E is installed so that the vicinity of the deck 65 of the escalator 61 can be seen from diagonally above, and when the passengers 31E, 32E, 33E, etc. of the escalator 61 raise their hands and make a large left-right gesture, the control unit 4 may be configured to make an emergency stop of the escalator.
この構成では、乗客３１Ｅが、エスカレータ６１のデッキ６５で転倒し、負傷して動けない場合でかつ、エスカレータ６１を緊急停止させる緊急停止ボタン５７Ｅの周りに乗客３２Ｅ及び３３Ｅがいる場合においても、手を挙げてから左右に大きく振るジェスチャをすることで、制御部４は速やかにエスカレータ６１を停止できる。 With this configuration, even when the passenger 31E falls down on the deck 65 of the escalator 61 and is injured and unable to move, and even when the passengers 32E and 33E are around the emergency stop button 57E that causes the escalator 61 to make an emergency stop, Then, the control unit 4 can quickly stop the escalator 61 by making a gesture of swinging greatly to the left and right.
本発明のジェスチャを用いた輸送機器の制御はエレベータやエスカレータ以外の装置にも、適用することができる。 The control of the transportation device using the gesture of the present invention can be applied to devices other than the elevator and the escalator.
１……画像データ取得部、２……手挙げ検出部、３……ジェスチャ認識部、４……制御部、５１……乗りかご、５４……処理ユニット、５５……床面、５８……ドア、１５７……操作盤。 1... Image data acquisition unit, 2... Hand raising detection unit, 3... Gesture recognition unit, 4... Control unit, 51... Car, 54... Processing unit, 55... Floor, 58... Door 157... Operation panel.
Claims (9)
前記所定領域を俯瞰して撮像可能な撮像装置と、
前記撮像装置からの出力画像を処理する画像処理装置と、
前記画像処理装置による画像処理の結果に基づいて前記輸送機器を制御する制御装置と、
を備え、
前記輸送機器が昇降装置であり、
前記画像処理装置は、
前記所定領域に存在する複数の前記人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、
前記対象者の前記手挙げ挙動に継続し、前記昇降装置の制御に関する関連挙動と、前記手挙げ挙動が発生した際の前記昇降装置の状況との少なくとも一方を識別し、
前記撮像装置によって撮像された前記対象者の画像を、前記所定領域を前記昇降装置の昇降方向に沿って見下ろす方向の画像に変換し、
当該変換された画像に含まれる、前記昇降方向の距離の情報に基づいて、前記対象者の画像から前記手挙げ挙動と前記関連挙動とを識別し、
前記制御装置は、
前記対象者によって前記操作盤が操作されなくても、前記手挙げ挙動に基づいて前記昇降装置を制御し、
識別された前記関連挙動に基づいて前記昇降装置に対する制御情報を設定し、
当該制御情報に基づいて、前記昇降装置を制御する
輸送機器制御システム。 A transport equipment control system that allows a plurality of personnel located in a predetermined area to input to the operation panel, and controls the transport equipment based on an output signal from the operation panel,
An imaging device capable of taking an image of the predetermined area while looking down,
An image processing device for processing an output image from the imaging device,
A control device for controlling the transportation device based on a result of image processing by the image processing device;
Equipped with
The transportation device is a lifting device,
Before Symbol image processing apparatus,
Identifying the hand-raising behavior of the subject who is at least one of the plurality of personnel present in the predetermined area ,
Continuing to the hand-raising behavior of the target person, identifying at least one of the related behavior regarding the control of the lifting device and the situation of the lifting device when the hand-raising behavior occurs,
The image of the subject imaged by the imaging device is converted into an image in the direction in which the predetermined area is looked down along the elevating direction of the elevating device,
Included in the converted image, based on the information of the distance in the vertical direction, to identify the hand-raising behavior and the related behavior from the image of the subject,
Before Symbol control device,
Even without the the operation panel is operated by the subject, and controls the pre SL lifting device on the basis of the hand like behavior,
Setting control information for the lifting device based on the identified related behavior,
Control the lifting device based on the control information
Transportation equipment control system.
前記所定領域を俯瞰して撮像可能な撮像装置と、
前記撮像装置からの出力画像を処理する画像処理装置と、
前記画像処理装置による画像処理の結果に基づいて前記輸送機器を制御する制御装置と、
を備え、
前記輸送機器が昇降装置であり、
前記画像処理装置は、
前記所定領域に存在する複数の前記人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、
前記対象者の前記手挙げ挙動に継続し、前記昇降装置の制御に関する関連挙動と、前記手挙げ挙動が発生した際の前記昇降装置の状況との少なくとも一方を識別し、
前記制御装置は、
前記対象者によって前記操作盤が操作されなくても、前記手挙げ挙動に基づいて前記昇降装置を制御し、
識別された前記関連挙動に基づいて前記昇降装置に対する制御情報を設定し、
当該制御情報に基づいて、前記昇降装置を制御し、
前記画像処理装置が、所定期間内の複数の前記手挙げ挙動を識別した場合、前記画像処理装置が前記手挙げ挙動を識別した時刻と、前記制御装置に設定された、前記関連挙動に基づいた制御の何れを優先させるかの情報である優先度と、に基づいて前記制御情報を設定し、
当該制御情報に基づき前記昇降装置に対して整合性がとれかつ前記人員の安全を確保する制御となる排他制御を行う
輸送機器制御システム。 A transport equipment control system that allows a plurality of personnel located in a predetermined area to input to the operation panel, and controls the transport equipment based on an output signal from the operation panel,
An imaging device capable of taking an image of the predetermined area while looking down,
An image processing device for processing an output image from the imaging device,
A control device for controlling the transportation device based on a result of image processing by the image processing device;
Equipped with
The transportation device is a lifting device,
The image processing device,
Identifying the hand-raising behavior of the subject who is at least one of the plurality of personnel present in the predetermined area,
Continuing to the hand-raising behavior of the target person, identifying at least one of the related behavior regarding the control of the lifting device and the situation of the lifting device when the hand-raising behavior occurs,
Before Symbol control device,
Even if the operation panel is not operated by the target person, the lifting device is controlled based on the hand-raising behavior,
Setting control information for the lifting device based on the identified related behavior,
Based on the control information, controls the lifting device,
The image processing apparatus, when identifying a plurality of said hands include behavior within a predetermined time period, and time at which the pre-Symbol image processing apparatus has identified the hand like behavior, which is set before Symbol controller, the relevant behavior Based on the priority which is information of which of the control based on the priority, and set the control information based on ,
Transportation equipment control system that performs exclusive control to be controlled to ensure the safety of Tore and the personnel integrity for prior SL lifting device on the basis of those control information.
前記撮像装置が前記乗りかご内の乗客を俯瞰するように設置されている
請求項１または２記載の輸送機器制御システム。 The predetermined area is a car of an elevator as the lifting device,
The imaging device transportation equipment control system according to claim 1 or 2 Symbol mounting is installed so as to overlook the passengers of the passenger in the car.
前記関連挙動の複数と前記制御情報の複数の対応を規定する制御テーブルを備え、
識別された前記関連挙動に基づいて、前記制御テーブルを参照して、対応する前記制御情報を設定し、
対応する前記制御情報に基づいて、前記昇降装置を制御する
請求項１または２記載の輸送機器制御システム。 The control device is
A control table that defines a plurality of correspondences between the related behaviors and a plurality of the control information;
Based on the identified related behavior, refer to the control table to set the corresponding control information,
On the basis of the control information corresponding to claim 1 or 2, SL placing of transportation equipment control system for controlling the lifting device.
請求項１または２記載の輸送機器制御システム。 The control device controls the opening/closing mode of a door that opens and closes the predetermined area, and/or the arrival/departure from/to a target floor when the lifting device moves up and down along a plurality of floors, and/or the lifting device is claim 1 or 2 SL placing of transportation equipment control system for controlling at least one or more devices for providing personnel.
請求項１または２記載の輸送機器制御システム。 The transportation device control system according to claim 1, wherein the imaging device is capable of imaging one or more locations in the predetermined area or an area in the predetermined area where the personnel gather immediately before boarding.
請求項６記載の輸送機器制御システム。 Transportation control system transportation equipment control system according to claim 6 Symbol mounting a elevator.
前記輸送機器が昇降装置であり、
前記所定領域に存在する複数の前記人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、
前記対象者の前記手挙げ挙動に継続し、前記昇降装置の制御に関する関連挙動と、前記手挙げ挙動が発生した際の前記昇降装置の状況との少なくとも一方を識別し、
撮像装置によって撮像された前記対象者の画像を、前記所定領域を前記昇降装置の昇降方向に沿って見下ろす方向の画像に変換し、
当該変換された画像に含まれる、前記昇降方向の距離の情報に基づいて、前記対象者の画像から前記手挙げ挙動と前記関連挙動とを識別し、
前記対象者によって前記操作盤が操作されなくても、前記手挙げ挙動に基づいて前記昇降装置を制御し、
識別された前記関連挙動に基づいて前記昇降装置に対する制御情報を設定し、
当該制御情報に基づいて、前記昇降装置を制御する
輸送機器制御方法。 A method of controlling a transportation device, which allows a plurality of personnel located in a predetermined area to input to the operation panel, and controls the transportation device based on an output signal from the operation panel ,
The transportation device is a lifting device,
Identify the hand like behavior of the subject is at least one person among the plurality of persons present before Symbol predetermined region,
Continuing to the hand-raising behavior of the target person, identifying at least one of the related behavior regarding the control of the lifting device and the situation of the lifting device when the hand-raising behavior occurs,
The image of the subject imaged by the imaging device is converted into an image in the direction in which the predetermined region is looked down along the elevating direction of the elevating device,
Included in the converted image, based on the information of the distance in the vertical direction, to identify the hand-raising behavior and the related behavior from the image of the subject,
Even if it is not the operation panel is operated by the pre-Symbol subject, and controls the pre SL lifting device on the basis of the hand like behavior,
Setting control information for the lifting device based on the identified related behavior,
Control the lifting device based on the control information
Transportation equipment control method.
前記輸送機器が昇降装置であり、The transportation device is a lifting device,
前記所定領域に存在する複数の前記人員のうち少なくとも一人である対象者の手挙げ挙動を識別し、Identifying the hand-raising behavior of the subject who is at least one of the plurality of personnel present in the predetermined area,
前記対象者の前記手挙げ挙動に継続し、前記昇降装置の制御に関する関連挙動と、前記手挙げ挙動が発生した際の前記昇降装置の状況との少なくとも一方を識別し、Continuing to the hand-raising behavior of the target person, identifying at least one of the related behavior regarding the control of the lifting device and the status of the lifting device when the hand-raising behavior occurs,
前記対象者によって前記操作盤が操作されなくても、前記手挙げ挙動に基づいて前記昇降装置を制御し、Even if the operation panel is not operated by the target person, the lifting device is controlled based on the hand-raising behavior,
識別された前記関連挙動に基づいて前記昇降装置に対する制御情報を設定し、Setting control information for the lifting device based on the identified related behavior,
当該制御情報に基づいて、前記昇降装置を制御し、Based on the control information, controls the lifting device,
所定期間内の複数の前記手挙げ挙動を識別した場合、前記手挙げ挙動を識別した時刻と、前記関連挙動に基づいた制御の何れを優先させるかの情報である優先度と、に基づいて前記制御情報を設定し、When a plurality of the hand-raising behaviors within a predetermined period are identified, the time at which the hand-raising behaviors are identified, and the priority that is information indicating which of the controls based on the related behaviors is prioritized, Set the control information,
当該制御情報に基づき前記昇降装置に対して整合性がとれかつ前記人員の安全を確保する制御となる排他制御を行うExclusive control is performed based on the control information, which is consistent with the elevating device and is a control for ensuring the safety of the personnel.
輸送機器制御方法。Transportation equipment control method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016109226A JP6713837B2 (en) | 2016-05-31 | 2016-05-31 | Transport equipment control system and transport equipment control method |
| CN201710377299.6A CN107444998B (en) | 2016-05-31 | 2017-05-25 | Conveying equipment control system and conveying equipment control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016109226A JP6713837B2 (en) | 2016-05-31 | 2016-05-31 | Transport equipment control system and transport equipment control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017214191A JP2017214191A (en) | 2017-12-07 |
| JP6713837B2 true JP6713837B2 (en) | 2020-06-24 |
Family
ID=60486950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016109226A Active JP6713837B2 (en) | 2016-05-31 | 2016-05-31 | Transport equipment control system and transport equipment control method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6713837B2 (en) |
| CN (1) | CN107444998B (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6617081B2 (en) * | 2016-07-08 | 2019-12-04 | 株式会社日立製作所 | Elevator system and car door control method |
| JP6542342B2 (en) * | 2017-12-18 | 2019-07-10 | 東芝エレベータ株式会社 | Elevator control device and elevator control method |
| US20210053795A1 (en) * | 2019-08-22 | 2021-02-25 | Pixart Imaging Inc. | Sensor device, automated transportation system and operating method for the same |
| JP7366820B2 (en) * | 2020-03-25 | 2023-10-23 | 株式会社日立製作所 | Behavior recognition server and behavior recognition method |
| KR102446670B1 (en) * | 2020-07-27 | 2022-09-27 | 주식회사 피앤씨솔루션 | Ai based non-contact elevator control system |
| CN112308072B (en) * | 2020-11-06 | 2023-05-12 | 中冶赛迪信息技术(重庆)有限公司 | Scrap steel stock yard scattered material identification method, system, electronic equipment and medium |
| JP7148005B1 (en) | 2022-02-24 | 2022-10-05 | 三菱電機株式会社 | elevator system |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0373775A (en) * | 1989-08-14 | 1991-03-28 | Toshiba Corp | Information input device for elevator |
| JP3732757B2 (en) * | 2001-06-08 | 2006-01-11 | 株式会社東芝 | Image recognition method and image recognition apparatus |
| JP4357247B2 (en) * | 2003-09-17 | 2009-11-04 | 東芝エレベータ株式会社 | Elevator control device |
| JP4692159B2 (en) * | 2004-08-31 | 2011-06-01 | パナソニック電工株式会社 | Gesture switch |
| JP2007119139A (en) * | 2005-10-26 | 2007-05-17 | Hitachi Building Systems Co Ltd | Control device for elevator |
| TWI469910B (en) * | 2011-03-15 | 2015-01-21 | Via Tech Inc | Control method and device of a simple node transportation system |
| JP5994328B2 (en) * | 2012-03-29 | 2016-09-21 | ソニー株式会社 | Information processing apparatus, information processing method, and computer program |
| JP5877135B2 (en) * | 2012-07-20 | 2016-03-02 | 株式会社日立製作所 | Image recognition apparatus and elevator apparatus |
| WO2015023278A1 (en) * | 2013-08-15 | 2015-02-19 | Otis Elevator Company | Sensors for conveyance control |
| CN104555628B (en) * | 2013-10-28 | 2016-11-23 | 重庆文润科技有限公司 | The control system of elevator, control method and server is controlled based on gesture |
| JP6134641B2 (en) * | 2013-12-24 | 2017-05-24 | 株式会社日立製作所 | Elevator with image recognition function |
| JP6550643B2 (en) * | 2014-03-14 | 2019-07-31 | 本田技研工業株式会社 | Motion estimation device, robot, and motion estimation method |
-
2016
- 2016-05-31 JP JP2016109226A patent/JP6713837B2/en active Active
-
2017
- 2017-05-25 CN CN201710377299.6A patent/CN107444998B/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017214191A (en) | 2017-12-07 |
| CN107444998B (en) | 2019-11-05 |
| CN107444998A (en) | 2017-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6713837B2 (en) | Transport equipment control system and transport equipment control method | |
| CN106144862B (en) | Depth sensor based passenger sensing for passenger transport door control | |
| CN104828664B (en) | Automatic debugging system and method | |
| JP6134641B2 (en) | Elevator with image recognition function | |
| JP5369175B2 (en) | Elevator door detection apparatus and detection method using video | |
| CN106144798B (en) | Sensor fusion for passenger transport control | |
| CN106144797B (en) | Traffic list generation for passenger transport | |
| US10005639B2 (en) | Sensors for conveyance control | |
| US20220185625A1 (en) | Camera-based sensing devices for performing offline machine learning inference and computer vision | |
| JP5318584B2 (en) | Video assisted system for elevator control | |
| EP3075697A1 (en) | System and method for passenger conveyance control and security via recognized user operations | |
| JP6513594B2 (en) | Elevator apparatus and elevator control method | |
| TW202119171A (en) | Interactive control method of robot equipment and elevator equipment | |
| JP2005255404A (en) | Elevator control device | |
| US20210403282A1 (en) | Passenger guidance device and passenger guidance method | |
| JP6661527B2 (en) | Elevator system and control method thereof | |
| JP2017165541A (en) | Image processing apparatus | |
| JP6772324B2 (en) | Image processing device | |
| JP6806414B2 (en) | Image processing device and image processing method | |
| CN112340560B (en) | User detection system for elevator | |
| JP6696102B1 (en) | Image processing device and marker | |
| JP7248203B2 (en) | Elevator device and falling object detection device | |
| EP3712100B1 (en) | Elevator passenger detection system | |
| JP6781291B2 (en) | Image processing device | |
| JP6828112B1 (en) | Elevator user detection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200604 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6713837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |