JP6134641B2 - 画像認識機能を備えたエレベータ - Google Patents

Description

本発明は、乗客を画像認識する画像認識機能を備えたエレベータに関する。

エレベータ内の乗客を画像認識し、認識結果を利用して動作するエレベータが普及しつつある。例えば、エレベータ内の乗客が占める面積を計算し、乗客が占める面積から求めたエレベータのカゴ内の混雑度が高く、ドアを開けても新たな乗客が乗車できない場合には、目的階まで途中階でのドア開をスキップする運行制御が代表例である。

人の混雑度を高精度で計算する技術として、特許文献１に記載の技術が知られている。本技術においては、ステレオカメラ等を用いて監視空間内の三次元データを計測し、三次元データ中の局所の領域毎に床面からの高さを求めた時に、床面よりも高い位置にある領域を物体として検出し、それら物体の面積の総和から混雑度を算出する。

特開２００１−３４８８３号公報

特許文献１に記載の技術を応用してエレベータのカゴ内の混雑度を計測するためには、カゴ内の乗客を欠損することなく三次元データを計測する必要がある。カゴ内にステレオカメラ等を取り付ける設置位置として、天井の中央付近は照明装置が既設であるために不適であり、他に既設装置が無い天井の隅やドアの天枠といったカゴ内の端部が適する。しかし、カゴ内の端部にステレオカメラ等を設置した時に、三次元データ中で奥側の乗客が手前の乗客に遮蔽されて欠損した場合、乗客の面積が欠損することで混雑度が過剰に小さくなってしまう。

また、ステレオカメラ等の特殊な光学系ではカゴ内全てを見渡せるのに十分大きな視野角を持つことは困難なために、視野角の端部に乗客が居ると視野外にはみ出ることで一部が欠損してしまい、視野角の端部に居る乗客の面積が一部欠損することで混雑度が過剰に小さくなってしまう。

そこで、本発明は、画像データ中において乗客が欠損する場合であっても、高い精度でエレベータのカゴ内の乗客を画像認識できる画像認識機能を備えたエレベータを提供する。

上記課題を解決するために、本発明による画像認識機能を備えたエレベータは、対象物を撮像すると共に対象物までの距離値を計測する距離画像センサと、距離画像センサから距離値を有する距離画像を取得する距離画像取得部を有して、距離画像に基づいて乗客を認識する画像認識装置とを有するものであって、距離画像取得部は時系列で複数の距離画像を取得し、画像認識装置は、複数の距離画像に基づいて乗客を抽出すると共に、取得時刻が異なる複数の距離画像から乗客の位置を抽出して追跡し、別の乗客に遮蔽されることで発生する乗客の欠損を検出し、欠損を含めて乗客を認識する。

また、上記課題を解決するために、本発明による画像認識機能を備えたエレベータは、対象物を撮像すると共に対象物までの距離値を計測する距離画像センサと、距離画像センサから距離値を有する距離画像を取得する距離画像取得部を有して、距離画像に基づいて乗客を認識する画像認識装置とを有するものであって、画像認識装置は、距離画像に基づいて乗客を抽出すると共に、距離画像において乗客が距離画像の縁に接する場合に乗客の欠損を検出する。

本発明によれば、乗客の欠損も含めて乗客を画像認識できるので、エレベータの乗客の画像認識の精度が向上する。

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１であるエレベータの装置構成を示す。 実施例１における画像認識装置の機能構成図を示す。 かご内に乗客が居る場合の距離画像例である。 かご内に乗客が居る場合の俯瞰画像例である。 乗客の欠損が有る場合の距離画像例である。 乗客の欠損が有る場合の俯瞰画像例である。 かご内に乗客が居ない時の距離画像例である。 かご内に乗客が居ない時の俯瞰画像例である。 欠損検出部の処理フローを示す。 図９におけるステップＳ１の詳細な処理フローを示す。 実施例２における画像認識装置の機能構成図を示す。 貨物の一部が欠損する場合の距離画像例である。 貨物の一部が欠損する場合の俯瞰画像例である。 距離画像センサの視野のモデルを示す、かご内の垂直断面図である。 実施例３における画像認識装置の機能構成図を示す。 乗客認識部が分類する乗客の種類の一例である。 乗客認識部の処理フローを示す。 三次元データ変換を説明するための図である。 直上変換部における直上変換を説明するための図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

図１は、本発明の実施例１である、画像認識機能を備えたエレベータの装置構成を示す。また、図２は、本実施例における画像認識装置の機能構成図を示す。処理装置５４は図２の画像認識装置を構成するものであって、図２中の各機能は処理装置５４内の信号処理で実現される。まず概要を説明すると、距離画像取得部２は距離画像センサ５２から所定の時間間隔で、すなわち時系列で複数の距離画像を取得する。直上変換部３は、取得された距離画像を仮想視点から見下ろした俯瞰画像に変換する。乗客抽出部４は、俯瞰画像中から個別の乗客を抽出する。欠損検出部５は、異なる時刻すなわち時系列に取得された複数の距離画像またはこれらの距離画像から変換された俯瞰画像中の前記乗客を前記距離画像の距離値を基に比較することで、乗客の位置を抽出して追跡し、実際にはかご５１内に居るが別の乗客に遮蔽されて距離画像中に映らない欠損した乗客を検出する。乗客認識部６は、乗客抽出部４で抽出した乗客と、欠損検出部５が検出した欠損した乗客を合わせて、かご５１内の混雑度を計測する。制御部８は、計測された混雑度に応じて、かご５１の運行を制御する。

図１が示すように、エレベータのかご５１内におけるかごドア５３側の天井の隅あるいはかごドア５３の天枠に、距離画像センサ５２が設置される。距離画像センサ５２の出力信号は、ケーブルを介して、かご５１上に設置される処理装置５４に伝送される。

かご５１には、Ｏおよび（Ｘ，Ｙ，Ｚ）をそれぞれ原点および座標軸とする座標系５９が定義されている。座標系５９の原点Ｏは、距離画像センサ５２から鉛直下方向に伸ばした仮想線と床面の交点である。距離画像センサ５２は、俯角θ，方位角φ，ロール角ρの設置角度で取り付けられている。なお、俯角θと方位角φは、距離画像センサ５２がＺ軸方向を見るときに共に０°であり、このとき俯角θ，方位角φ，ロール角ρの回転軸はそれぞれＸ軸，Ｙ軸，Ｚ軸と一致する。

処理装置５４は本実施例に必要な信号処理を行う計算機であり、任意の計算機を適用できる。図1では、処理装置５４を1台の計算機としたが、処理装置５４を２つ以上の計算機から構成しても良い。また、距離画像センサ５２が内蔵する処理装置を処理装置５４としても良い。

距離画像センサ５２は、監視カメラと同様の画像の撮像面を有しており、撮像面中の各画素において、各画素に対応した空間中の物体までの距離を計測する。計測手段としては、例えば、Time Of Flightと呼ばれる公知の計測手段が用いられる。本計測手段では、距離画像センサ内部に近赤外の発光体を有し、近赤外光を発光してから、その近赤外光が視野角内の物体に反射してから戻ってくるまでの時間を計測することで、距離画像センサから物体までの距離を計測する。このようにして画像中の各画素の距離値が計測された画像を、以下、「距離画像」と記載する。

この距離画像のデータが各画素の距離値から三次元データに変換できることを、図１８を用いて説明する。図１８において、１５１は距離画像を示し、１５０は距離画像中の画素を示し、５０は画素１５０に対応した空間中の対応点を示し、６９は距離画像センサ５２を基準とした座標系であり、ｉ（ｕ，ｖ）は画素１５０の距離画像１５１上の座標である。Ｉ_Ｓ（Ｘ_Ｓ，Ｙ_Ｓ，Ｚ_Ｓ）は、距離画像センサ５２を座標系の基準とした、すなわち座標系６９における座標で表される三次元データである。座標系６９の原点Ｏ_Ｓは距離画像センサ５２の投影の中心であり、座標軸Ｘ_Ｓ，Ｙ_Ｓ，Ｚ_Ｓは距離画像センサ５２から見てそれぞれ左，上，奥にあたる。従って、Ｉ_Ｓの要素中のＺｓが、画素１５０の距離値に等しい。距離画像センサ５２の投影モデルをピンホールモデルで近似し、距離画像センサ５２の焦点距離をλとすると、Ｉ_Ｓの要素中で残るＸ_Ｓ，Ｙ_Ｓはそれぞれ式（１），式（２）で計算できる。

距離画像センサ５２は、距離画像１５１を所定の周期で撮像する。距離画像センサ５２としては、Time Of Flight以外にも、画像中の各画素の距離値を三次元データに変換できる手段、例えばステレオカメラやレーザレーダ等を適用できる。

以下、図２中の各機能の詳細を説明する。

距離画像取得部２は距離画像センサ５２から所定の時間間隔で距離画像を取得する。もしくは距離画像センサ５２から所定の時間間隔で三次元データを取得しても良い。

直上変換部３が、鉛直上方向の無限遠の仮想視点から見下ろした様に直上変換することにより距離画像１５１から俯瞰画像を取得する機能を、図１９を用いて説明する。図１９において、８２は鉛直上方向の無限遠にある仮想視点を示し、２５１は俯瞰画像であり、２５０は俯瞰画像２５１中の画素である。直上変換部３では、まず距離画像１５１中の各画素１５０において、式（１），式（２）から三次元データＩ_Ｓを求める。次に、式（３）を用いて、Ｉ_Ｓをかご５１内の座標系５９で定義した三次元データＩ（Ｘ，Ｙ，Ｚ）に変換する。

式（３）において、位置（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）は座標系５９における距離画像センサ５２の設置位置、角度（θ，φ，ρ）は図１に示す様に座標系５９における距離画像センサ５２の設置角度である。これらの設置位置や設置角度のデータは事前に計測しておいて直上変換部３に記録しておく。次に、仮想視点８２から対応点５０を平行投影して、俯瞰画像２５１上の画素２５０の座標ｊ（Ｘ，Ｚ）を取得する。この対応点５０を介して、画素１５１から画素２５０を取得する変換が、「直上変換」である。画素２５０では、座標ｊと共に、高さＹも求めておく。直上変換部３では、距離画像１５１中の全ての画素を俯瞰画像２５１上に直上変換する。

乗客抽出部４が、距離画像に基づいて、すなわち本実施例では、直上変換部３が出力した俯瞰画像中から、乗客を抽出する処理について、図３と図４を用いて説明する。

図３において、距離画像１５１ａにおける１３０ａと１３１ａは乗客である。図４において、俯瞰画像２５１ａは距離画像１５１ａを直上変換した俯瞰画像であり、２３０ａと２３１ａはそれぞれ乗客１３０ａと１３１ａを直上変換した乗客を示し、２１０ａは距離画像１５１ａ中のいずれかの画素が直上変換された可視領域を示す。俯瞰画像２５１ａにおいて乗客２３０ａおよび２３１ａの後ろの部分（白抜き部）が、距離画像センサ５２の可視領域２１０ａの外側に位置するのは、距離画像１５１ａ中において、乗客１３０ａと１３１ａの後ろ側の床面が乗客１３０ａおよび１３１ａによって遮蔽されて欠損しているからである。

乗客２３０ａおよび２３１ａは、可視領域２１０ａ中において高さＹがかご５１の床面よりも所定値以上の領域を求めることで抽出できる。もしくは、事前に乗客が映らない状態のカゴ内の距離画像１５１から背景画像を取得しておき、距離画像１５１ａと背景画像を比較して距離値が変化した部分を直上変換する等の他の方法で求めても良い。

欠損検出部５における欠損の検出の機能を、図３から図１０を用いて説明する。ここで、図３および図５は、時間的にこの順に時系列で取得された距離画像を示し、図４および図６は、それぞれ図３および図５を直上変換した俯瞰画像である。

図５の距離画像１５１ｂでは、図３の距離画像１５１ａ中の乗客１３１ａと同一人物の乗客１３１ｂと、新たに乗車した乗客１３２ｂが映っている。図７は全ての乗客が降車した後の距離画像１５１ｃを示している。図６および図８において、俯瞰画像２５１ｂおよび２５１ｃはそれぞれ距離画像１５１ｂおよび１５１ｃを直上変換した俯瞰画像であり、２１０ｂおよび２１０ｃは、それぞれ距離画像１５１ｂおよび１５１ｃ中のいずれかの画素が変換された可視領域を示し、２３１ｂおよび２３２ｂは乗客１３１ｂおよび１３２ｂの直上変換を示す。図６において、図４の乗客２３０ａに対応する領域は、可視領域２１０ｂ外に位置している。すなわち、図６において、乗客２３０ａは手前の乗客２３２ｂに遮蔽されて、全身が欠損している。

図９のステップＳ１からＳ２は欠損検出部５の処理フロー、図１０は図９のステップＳ１の詳細な処理フローを示す。以下、時間的に図３，図５の距離画像１５１ａ，１５１ｂが、この順に時系列で取得された場合における欠損検出処理について説明する。

欠損検出部５では、乗客抽出部４が抽出した俯瞰画像上の乗客を時系列で履歴に蓄えておき、現時刻のデータを参照して履歴を更新する。履歴には俯瞰画像上の乗客の位置の情報を含む。まず、履歴中の乗客の取捨を選択する（Ｓ１）。ステップＳ１では、履歴中の全ての乗客において（Ｓ１１からＳ１９までのループ）、まずその乗客が別の乗客に遮蔽されて現時刻で欠損しているか否かを判定する（Ｓ１２）。ここで、１時刻前を図３、現時刻を図５とすると、履歴中には乗客２３０ａおよび２３１ａの位置が登録された状態にある。俯瞰画像２５１ｂ上において、乗客２３０ａの位置は別の乗客２３２ｂに遮蔽されて可視領域２１０ｂの範囲外である。従って、乗客２３０ａは欠損していると判定され（Ｓ１２でＹｅｓ）、残留すなわち履歴から削除せずに登録したままとする（Ｓ１３）。一方、乗客２３１ａの位置は可視領域２１０ｂの範囲内なので、乗客２３１ａは欠損していないと判定され（Ｓ１２でＮｏ）、履歴から削除する（Ｓ１４）。欠損検出部５では、次に現時刻の乗客のデータすなわち乗客２３１ｂと２３２ｂを位置情報とともに履歴に追加する（Ｓ２）。尚、１時刻前を図３、現時刻を図５とすると、図６において乗客２３２ｂが乗客２３０ａとは別の乗客なのか、図４における乗客２３０ａが図６の乗客２３２ｂの位置まで移動したものなのか区別がつかなくなる可能性があるので、１時刻分の刻みをもっと小さくし、乗客２３０ａと乗客２３２ｂとが同時に可視領域２１０ｂに存在する状態が発生するように１時刻分の刻みを設定し、乗客を追跡し、別の乗客に遮蔽されて欠損しているか否かを判別することが望ましい。例えば、ステップＳ１２において、位置的にドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、消える前の過去（例えば１時刻前）の位置が現時刻で可視領域２１０ｂの範囲外である場合に、別の乗客に遮蔽されて欠損していると判断して、ステップＳ１３で履歴に残留させる。

欠損検出部５において、現時刻のかご５１内が図７の様な乗客が一人も居ない無人状態である時には、図８において可視領域２１０ｃはかご５１の床面の全範囲を覆う。この時、ステップＳ１では履歴中の全ての乗客の履歴を削除する。これにより、無人時において確実に乗客の履歴を空にできる。

欠損検出部５において、ステップＳ１２の判定を複数時刻にわたって行っても良い。例えば、Ｎ時刻の時系列にわたってステップＳ１２の判定を実行し、ステップＳ１２の判定がＹｅｓ（欠損する）となった回数がＭ（Ｍ≦Ｎ）回以上の乗客を残留とし、残りの乗客を削除とする。この様な複数時刻にわたる判定を実行することで、距離画像１５１の距離値が瞬間的に乱れても、正確に乗客の履歴の取捨ができる。なお、複数時刻にわたってステップＳ１２を実行する場合には、ステップＳ２で同じ乗客を履歴に複数回登録しないように、各乗客の位置を追跡しておき、新たに出現した乗客のみを乗客の履歴に追加する。

欠損検出部５において、ステップＳ１２の欠損の判定は、可視領域２１０ｂ等を求めずに他の方法で代替しても良い。例えば、図４の乗客２３０ａと共に距離画像１５１ａおよび乗客１３０ａの領域を保持しておき、距離画像１５１ａにおける乗客１３０ａの領域と距離画像１５１ｂ中の乗客１３０ａと同じ座標の領域における距離値の大小（距離値が小さい程、距離画像センサ５２から見て手前側にある）を比較することで、欠損の判定を行ってもよい。また、この場合も、複数時刻にわたって判断してもよい。尚、この方法の場合も、これだけでは１時刻前にいた位置の画素が現時刻において距離が変化しているか否かしかわからないので、既に説明したように例えば追跡を行っている途中で消えたことも判断材料にして、別の乗客に遮蔽されて欠損したものであるかを判断する。例えば、ステップＳ１２において、位置的にドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、消える前の過去（例えば１時刻前）の距離画像における乗客の距離値と現時刻における距離画像の同じ座標における距離値とを比較して現時刻の方が距離値が小さい（距離画像センサ５２に近い）場合に、別の乗客に遮蔽されて欠損していると判断して、ステップＳ１３で履歴に残留させる。

乗客認識部６は、欠損判定部５において更新される乗客の履歴が示す乗客の数から混雑度を計測する。この混雑度は、かご５１の最大乗員数に対する現在の乗客の数の比率で計算する。この混雑度の計算では、上述したように欠損した乗客が乗客の履歴に残るので、俯瞰画像２５１ｂに示した乗客２３０ａの様に、手前の乗客に遮蔽されて欠損した乗客の数も反映できる。

以上説明した乗客認識部６では、乗客の数以外にも、各乗客の面積の総和から混雑度を計算しても良い。各乗客の面積の総和から混雑度を計算する場合、かご５１の床面積に対する乗客の面積の総和の比率で混雑度を計算する。乗客の面積は、俯瞰画像２１０ａ上の乗客２３０ａを例に挙げると、乗客抽出部４が出力する俯瞰画像中の乗客データと欠損検出部５が出力する乗客の履歴を用いて、乗客２３０ａの外接矩形の面積や、乗客２３０ａに含まれる画素数や乗客２３０ａの外接矩形といった面積の画像特徴から求めることができる。

ここで、乗客２３０ａの表側は可視領域２１０ａ内にあるが、乗客２３０ａの背面は可視領域２１０ａの外に位置するために、面積の画像特徴は乗客２３０ａの全身から求めるよりも小さくなることを考慮して、かご５１の床面積をかご５１の最大乗員数で除算することで標準面積を求めて置き、乗客の面積の画像特徴と標準面積の中で大きな方を乗客の面積としても良い。乗客の面積の画像特徴は乗客１３０ａがショッピングカートの様な床面積が大きな貨物である場合には特に大きな値をとるので、大きな貨物が頻繁に搭乗するエレベータでは、乗客の面積の総和から混雑度を計測することにより正確に混雑度を計測できる。

尚、本明細書においては、通常の人間や車椅子に乗った人間だけでなく、ショッピングカート、家具等の人間以外の貨物も、乗客に含めて扱うこととする。

制御部８では、乗客認識部６によって計測される混雑度が所定値よりも高い時には、行先階の中間階で乗場からの呼びがあっても、この中間階で降車する乗客がいなければ、中間階ではドアを開けずに通過するように運行制御を行う。また、制御部８は、混雑度が所定値よりも小さい場合であっても、かご５１内の乗客の位置の分布に偏りが有るためにかご５１に新たな乗客が乗車しにくい状況では、偏りが改善するように、かご５１内のスピーカを使って乗客に対してアナウンスを放送する。例えば、ドア５３付近の乗客の位置の分布が密で、かご５１の奥側が乗客の位置の分布が疎な場合には、かご５１の奥側に詰めるようなアナウンスを放送する。ここで制御部８では、俯瞰画像２５１ｂにおける乗客２３１ｂ等の可視領域２１０ｂ内の乗客に、乗客２３０ａの様な可視領域２１０ｂ外で欠損した乗客を混雑度の計算の対象に含めて、アナウンスを適切なタイミングで放送することができる。なお、かご内における乗客の偏りは、例えば、俯瞰画像中の乗客の分布に基づいて判定することができる。

上述したように、実施例１によれば、距離画像内で乗客間の遮蔽で欠損した乗客を検出できるので、乗客の画像認識の精度が向上する。これにより、欠損した乗客を含めて混雑度を計測することが可能となり、高精度で、混雑度に基づくエレベータの運行制御を行うことが可能になる。

本発明の実施例２である、画像認識機能を備えたエレベータの画像認識装置の機能構成図を図１１に示す。図１１の概要を述べると、欠損検出部５ｂと乗客認識部６ｂ以外の機能は、実施例１と共通である。また、装置構成は、図１に示したものと同様である。欠損検出部５ｂは、距離画像センサ５２の可視領域から部分的にはみ出した欠損部を、距離画像に基づいて、または距離画像から変換された俯瞰画像を用いて、もしくは距離画像取得部２の三次元データの視野のモデルを用いて検出する。乗客認識部６ｂは、一部欠損している乗客の本来の面積（欠損していない状態における本来の面積）を、一部欠損している乗客の可視領域における面積に欠損部の面積を加えることで求め、一部欠損部を補って補正した面積（欠損していない状態における本来の面積）を使って混雑度を計算する。

図１２，図１３，図１４を用いて、欠損検出部５ｂの機能を説明する。

図１２において、１５１ｄは距離画像であり、１３４は貨物であり、１６１は距離画像１５１ｄの縁である。貨物１３４は、距離画像１５１ｄ上においてはみ出ることで一部の欠損がある。縁１６１は、距離画像１５１ｄの視野の端部に相当する。貨物１３４は引っ越し時に運搬される家具の様な大きな貨物である。この貨物１３４の一部は距離画像１５１ｄの視野の外にはみ出ている。なお、本実施例では、貨物１３４も、乗客の１種類とし、乗客に含める。図１２が示すように、距離画像１５１ｄ中で、貨物１３４が距離画像の縁１６１に接している場合、貨物１３４に欠損部が有ることが検出される。

図１３において、２５１ｄは距離画像１５１ｄの俯瞰画像であり、２３４は貨物１３４を直上変換した貨物であり、２６１は縁１６１を直上変換した縁（俯瞰画像２５１ｄ上において距離画像１５１ｄ中における縁１６１の貨物１３４と接する部分の画素を直上変換した画像）であり、２４４は貨物１３４の縁１６１よりも外側の部分が距離画像１５１ｄ上に補足された領域が仮に得られた時に、補足された領域を直上変換した欠損部である。貨物１３４が距離画像１５１上で手前側にあって、縁１６１の外にはみ出無い時の俯瞰画像２５１ｄ上の面積は、可視領域２１０ｄ中の貨物２３４の面積と可視領域２１０ｄ外の欠損部２４４の面積の和に等しい。

図１３が示すように、俯瞰画像２５１ｄ上で、貨物２３４が縁２６１に接している。すなわち、縁２６１が貨物２３４の領域内に位置する。このような場合、貨物２３４に欠損部が有ることが検出される。さらに、図１３に示すように、縁２６１は俯瞰画像２５１ｄ上の床面の上端Ｔから離れている。この点も考慮すれば、確実に欠損を検出できる。なお、俯瞰画像上における床面上端Ｔと縁２６１の距離の閾値を設定し、閾値以下ならば欠損なし、閾値を超えたら欠損有と判定しても良い。

図１４は、かご５１内の垂直断面図であり、欠損部２４４が発生する状況を説明するための、距離画像センサ５２の視野のモデルを示している。５５は距離画像センサ５２の視野角の境界線を示し、ωは距離画像センサ５２の垂直視野角を示し、３４は貨物であり、点Ｋ，点Ｌ，点Ｍはそれぞれ貨物３４の最も手前の点，視野角の境界線５５と貨物３４の天井面の交点，貨物３４の最も奥側の点である。ここで俯瞰画像２５１ｄにおける貨物２３４および欠損部２４４の図１３中縦方向の長さの比は、図１４における辺ＫＬと辺ＬＭの比に等しい。

欠損検出部５ｂでは、以下の手段で貨物２３４の欠損部を検出することができる。

先ず、上述したように、距離画像１５１ｄもしくは俯瞰画像２５１ｄに基づいて、貨物２３４中に欠損部の存在を検出できる。

さらに、図１４中の垂直断面図中の幾何的な関係を使って、欠損部の存在を検出することもできる。すなわち、距離画像センサ５２の設置位置（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）および設置角度（θ，φ，ρ）および垂直視野角ωを事前に求めておき、貨物３４の高さに応じて点Ｌを求め、点Ｌがかご５１内に位置するか否かを判定する。そして、点Ｌがかご５１内に位置すると判定された場合に、欠損部が存在すると判断する。ここで、貨物３４の高さは、俯瞰画像２５１ｄ上における貨物２３４の領域中のＹ座標の最大値、もしくは貨物２３４の領域中のＹ座標のヒストグラムを求めた時の上位タイル値で求められる。

貨物２３４中に欠損部２４４が存在すると検出されたとき、欠損検出部５ｂはかご５１の垂直断面図（図１４）に示す視野のモデルを使って欠損部２４４の領域を求める。具体的には、縁２６１から俯瞰画像２５１ｄ上の床面の上端Ｔまでの領域を欠損部２４４の領域として求める。この場合、図１４の垂直断面図において、点Ｌから奥は見えないために貨物３４の最も奥側の点Ｍはかご５１の端部よりも手前にあるかもしれないが、縁２６１から俯瞰画像２５１ｄ上の床面の上端までの領域を欠損部２４４の領域とすれば、欠損部２４４を過小に見積もることは回避できる。なお、俯瞰画像２５１ｄ上の床面の上端Ｔを求める為に用いられるかご５１の床面の範囲は、かご５１内に乗客が居ない時の可視領域２１０ｄもしくはかご５１の設計値から取得できる。

また、欠損部２４４の領域を時系列によって求めてもよい。この場合、欠損検出部５ｂは、各時刻において貨物２３４等の全ての乗客を追跡しておく。この追跡の処理では、各時刻における乗客の外接矩形を保持しておく。そして、追跡の過程で過去に欠損部が無い時刻の外接矩形を用いて、欠損部の領域を求める。例えば、俯瞰画像２５１ｄ中の貨物２３４の場合、過去の時刻で貨物２３４が全て可視領域２１０ｄ内にあって欠損部２４４が無い時刻の貨物２３４の外接矩形を事前に求めておき、欠損部２４４が無い時刻の貨物２３４の外接矩形から、俯瞰画像２５１ｄ中の貨物２３４の外接矩形を差し引けば欠損部２４４の外接矩形が求まる。もしくは貨物２３４が追跡を通じて常に欠損してしまう場合には、最も貨物２３４の面積が大きな時刻の外接矩形を、欠損部２４４が無い時刻の貨物２３４の外接矩形の代わりとして利用すればよい。

乗客認識部６ｂは、乗客抽出部４が出力する俯瞰画像中の乗客データと欠損検出部５ｂが出力する欠損部領域データを用いて、乗客の面積と欠損部の面積を計算し、これらの面積からかご内の混雑度を計算する。乗客の面積は、実施例１の説明で述べた乗客認識部６と同様にして求める。欠損部の面積は、視野外にはみ出た乗客各々から欠損部２４４を求め、それら欠損部２４４の領域の面積の総和で求める。混雑度は、乗客の面積と欠損部の面積の総和を、かご５１の床面の面積で除算することによって求める。これに限られず、乗客認識部６ｂは、乗客の偏り防止などの実施例１の説明で述べた乗客認識部６の他の機能を実施するようにしてもよい。

上述したように、実施例２によれば、乗客の一部が視野外にはみ出て欠損する部分を検出できるので、乗客の画像認識の精度が向上する。これにより、視野からはみ出た乗客の欠損部を含めて混雑度を計測することが可能となり、高精度で、混雑度に基づくエレベータの運行制御を行うことが可能になる。

本発明の実施例３である、画像認識機能を備えたエレベータの画像認識装置の機能構成図を図１５に示す。図１５において、乗客認識部６ｃと制御部８ｃ以外の各機能は実施例１，２と同様の機能を有する。また、装置構成は、図１に示したものと同様である。本実施例３において、欠損検出部５ｂは実施例２と同じ機能を有し、乗客認識部６ｃは、実施例１，２と同様の機能に加え、視野外へのはみ出しの影響を考慮して、かご５１内の乗客の種類を判別する機能を有する。さらに、制御部８ｃは、かご５１内の乗客の種類に応じて、かごドア５３等のエレベータ機器の動作を制御する。

図１６に、乗客認識部６ｃが分類する乗客の種類の一例を示す。図１６では、大人，子供，車椅子のカテゴリで乗客の種類を分類する。図１６では、面積と高さを乗客のカテゴリの分類の基準としていて、面積が通常の大人の乗客よりも有意に大きな乗客を車椅子と分類し、高さが通常の大人の乗客よりも有意に小さな乗客を子供と分類する。

図１７は、乗客認識部６ｃにおける乗客の分類の処理フローを示す。ここでは、俯瞰画像２５１ｄ上の貨物２３４を対象とする場合を例に挙げて説明する。なお、貨物２３４は乗客の一例としているが、この場合、「大人」，「子供」の分類は、例えば、「大きな貨物」，「小さな貨物」に相当する。

まず、図１３において、貨物２３４の可視領域２１０ｄ内の面積が閾値Ｔ_Ａを超過するかを判定し（Ｓ２１）、超過すれば車椅子と判定し（Ｓ２５）、超過しなければ欠損部２４４を含めた時の面積が閾値Ｔ_Ａを超過するかを判定する（Ｓ２２）。ここで、貨物２３４および欠損部２４４の面積は実施例２と同様にして求められる。ステップＳ２２では、面積Ｔ_Ａを超過すれば欠損部２４４を含めない時（Ｓ２１）と含めた時（Ｓ２２）とで判定結果が食い違う為に、欠損部２４４の影響で乗客の種類を判別不可能であるとして、乗客の種類を不明とする（Ｓ２８）。

ステップＳ２２において、面積が閾値Ｔ_Ａ以下の場合は、欠損部２４４を考慮してもステップＳ２１と判定結果が同じであるため、有効な判定結果としてステップＳ２３に移る。ステップＳ２３では乗客の高さが閾値Ｔ_Ｈ以上かを判定し、閾値Ｔ_Ｈ以上であれば乗客の種類を大人と判別し（Ｓ２６）、閾値Ｔ_Ｈ未満であればＳ２４に移る。

ステップＳ２４では欠損部２４４が有るかを判定し、欠損部２４４が無ければ乗客の種類を子供と判別し（Ｓ２７）、欠損部２４４が有ればその乗客の身長の高い部分が欠損していることが原因でステップＳ２３の判定がＮｏとなった可能性を考慮して乗客の種類を不明と判別する（Ｓ２８）。

なお、乗客認識部６ｃが認識する乗客の種類は、図１６に示したものに限るものではない。例えば、図１６の乗客のカテゴリに、「貨物」を加えても良い。この場合、「大人」および「子供」は、人である通常の乗客のカテゴリとなる。また、図１６に示す面積と高さは、乗客のカテゴリの分類の基準の一例であって、これに限るものではない。例えば、面積の代わりに、貨物２３４等の乗客の外接矩形の高さや幅を乗客のカテゴリの分類の基準に使うことができる。他にも例えば、俯瞰画像２５１ｄ等において貨物２３４等の領域内に、車椅子に乗っている人の頭部を示す円形状が含まれることを、車椅子に分類する条件にしても良い。また、可視領域２１０ｄ内の貨物２３４の面積が小さく、かつ欠損部２４４が存在する場合、円形状が見つからない場合には、欠損部２４４内に円形状が存在する可能性を考慮して乗客の種類を不明（図１７のステップＳ２８）と判断してもよい。

制御部８ｃは、乗客認識部６ｃが出力する乗客の種類に応じて、かごドア５３等のエレベータ機器の動作を制御する。例えば、制御部８ｃは、「車椅子」や「子供」と分類された乗客がかご５１内に一人でも居る場合には、車椅子利用者や子供が、かごドア５３を通過するために、比較的長い時間を要する可能性があることを考慮して、ドア５３が閉じる速度を通常より低下させたり、かごドア５３が開放している時間を通常よりも長くしたりする。

本実施例３では、欠損検出部５ｂにおいて時刻間で各乗客の追跡を行い、かつ図１５に点線で示したように乗客認識部６ｃの乗客の種類の判別結果を乗客の追跡に反映しても良い。乗客の追跡を行うことで、図１７のステップＳ２８で不明と判別された乗客の種類を、過去の時刻で判別された乗客の種類から判別することができる。

更に、本実施例３では、実施例１の欠損検出部５と同様に乗客間の遮蔽で欠損した乗客を乗客の追跡の対象に含めても良い。これによって、制御部８ｃは、乗客間の遮蔽で欠損した乗客の種類を含めて、かごドア５３等のエレベータ機器の動作を制御することができる。例えば、車椅子が混雑時に乗客間の遮蔽で欠損した場合でも、かごドア５３が閉じる速度を低下させる制御やかごドア５３を開放する時間を通常よりも長くする制御が可能となる。

また、かご５１が通常の運転盤とともに車椅子利用者用の運転盤を備え、かつ制御部８ｃは、この運転盤が操作された時に通常の運転盤が操作された場合よりもかご５３が開いている時間を長くすることや、かごドア５３が閉じる速度を低下することの少なくとも一方を行う場合、制御部８ｃは、乗客間の遮蔽で欠損した乗客を含めて車椅子がかご５１内に全く居ない時には、車椅子用の運転盤が操作されても、通常の運転盤が操作された場合と同様の制御を行う（かごドア５３が開放される時間を長くすることやかごドア５３が閉じる速度を低下することを行わない）ようにしても良い。

なお、本発明は前述した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前述した各実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。さらにまた、各実施例の構成の一部について、他の構成の追加・削除・置き換えをすることが可能である。

例えば、上記各実施例において、距離画像センサ５２の設置位置をかご５１内からエレベータホール内に移動すれば、距離画像１５１を取得する範囲をかご５１の内部から、エレベータホール内のかご５１と同程度の広さの領域に置換えることができる。この置換えをしたとき、画像認識装置は、エレベータホール内におけるかご５１と同程度の広さの領域における乗客の混雑度もしくは乗客の種類の少なくとも一つを、エレベータホール内におけるかご５１と同程度の広さの領域における乗客の欠損を含めて認識して、かご５１の運行の制御もしくはかご５１内の機器の動作を制御する。ここで、距離画像センサ５２は、エレベータがサービスする複数階床の各々に設けても良い。

本置き換えによれば、例えば、エレベータホールの混雑度をかご５１がサービスする各階で求め、エレベータホールから十分な数の乗客が乗車できないような混雑度である場合には、当該階床が目的階でなければ、当該階床のエレベータホールで呼びが登録されても、当該階床には停止せずに通過するような運行制御ができる。

また、同じ階床で隣り合う複数のエレベータの各々について、エレベータホール内のかご５１と同程度の広さの領域における混雑度を計算すれば、各エレベータ前でかごの到着を待つ乗客の各混雑度に応じて、複数のエレベータの運行制御を群管理することができる。

また、エレベータホール内のかご５１と同程度の広さの領域に子供や車椅子利用者が居る時には、かご５１が停車してかごドア５３が開く前に、かご５１内のスピーカを使って、かご５１内の乗客に対し、降車の際に子供や車椅子利用者に配慮するようにアナウンスすることができる。さらに、エレベータホールでエレベータを待つ乗客の分類に応じて、複数のエレベータ号機を群管理制御しても良い。これにより、例えば、車椅子利用者や子供に対して優先的にかごを配車することができる。

なお、上記各実施例における画像認識手段は、エレベータ以外にも、距離画像センサの設置条件から距離画像中の人物が欠損し得る状況のもとで、それら人物の認識を要する用途に適用できる。

２ … 距離画像取得部
３ … 直上変換部
４ … 乗客抽出部
５，５ｂ … 欠損検出部
６，６ｂ，６ｃ … 乗客認識部
８，８ｃ … 制御部
５１ … かご
５２ … 距離画像センサ
５３ … かごドア
５４ … 処理装置
５５ … 視野角の境界線

Claims (10)

1. 対象物を撮像すると共に前記対象物までの距離値を計測する距離画像センサと、
   前記距離画像センサから前記距離値を有する距離画像を取得する距離画像取得部を有し、前記距離画像に基づいて乗客を認識する画像認識装置と、
   を有する画像認識機能を備えたエレベータにおいて、
   前記距離画像取得部は時系列で複数の距離画像を取得し、
   前記画像認識装置は、前記複数の距離画像に基づいて前記乗客を抽出すると共に、取得時刻が異なる前記複数の距離画像から前記乗客の位置を抽出して追跡し、別の乗客に遮蔽されることで発生する前記乗客の欠損を検出し、前記欠損を含めて前記乗客を認識することを特徴とする画像認識機能を備えたエレベータ。
2. 請求項１において、
   前記画像認識装置は、前記距離画像を俯瞰画像に変換し、前記俯瞰画像から前記乗客を抽出すると共に、位置的にエレベータのかごのドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、追跡で消えた前記乗客の消える前の過去の位置が現時刻で前記俯瞰画像の可視領域の範囲外である場合に、別の乗客に遮蔽されて欠損していると判断することを特徴とする画像認識機能を備えたエレベータ。
3. 請求項１において、
   前記画像認識装置は、位置的にエレベータのかごのドアから出ていないはずの追跡している乗客が現時刻において対応するものがなく消えた場合、かつ、追跡で消えた前記乗客の消える前の過去の距離画像における乗客の距離値と現時刻における距離画像の同じ座標における距離値とを比較して現時刻の方が距離値が小さい場合に、別の乗客に遮蔽されて欠損していると判断することを特徴とする画像認識機能を備えたエレベータ。
4. 請求項１から３のいずれか一項において、
   前記画像認識装置は、前記距離画像を俯瞰画像に変換し、前記俯瞰画像における可視領域が前記エレベータのかごの床面の全領域を覆った場合、前記エレベータのかご内に乗客が一人も居ないと判断することを特徴とする画像認識機能を備えたエレベータ。
5. 請求項１ないし４のいずれか一項において、
   前記画像認識装置は、
   前記欠損を含む乗客数から、あるいは前記欠損の面積を含む乗客の面積から混雑度を計算する乗客認識部と、
   前記混雑度に応じて、エレベータの運行制御あるいはエレベータ機器の動作の制御を行う制御部と、
   を備えることを特徴とする画像認識機能を備えたエレベータ。
6. 対象物を撮像すると共に前記対象物までの距離値を計測する距離画像センサと、
   前記距離画像センサから前記距離値を有する距離画像を取得する距離画像取得部を有し、前記距離画像に基づいて乗客を認識する画像認識装置と、
   を有する画像認識機能を備えたエレベータにおいて、
   前記画像認識装置は、前記距離画像に基づいて前記乗客を抽出すると共に、前記距離画像において前記乗客が前記距離画像の縁に接する場合に前記乗客の欠損を検出することを特徴とする画像認識機能を備えたエレベータ。
7. 請求項６において、
   前記画像認識装置は、前記距離画像を俯瞰画像に変換し、前記俯瞰画像から前記乗客を抽出すると共に、前記俯瞰画像において、前記距離画像の前記縁に対応する領域が前記乗客と接する場合に前記欠損を検出することを特徴とする画像認識機能を備えたエレベータ。
8. 請求項６または７において、
   前記画像認識装置は、
   前記距離画像の縁に接することで欠損した乗客の面積を欠損していない状態における本来の面積に補正し、前記本来の面積を用いて混雑度を計算する乗客認識部と、
   前記混雑度に応じて、エレベータの運行制御あるいはエレベータ機器の動作の制御を行う制御部と、
   を備えることを特徴とする画像認識機能を備えたエレベータ。
9. 請求項６ないし８のいずれか一項において、
   前記画像認識装置は、
   抽出された前記乗客の距離画像および前記欠損に基づいて、前記乗客の種類を分類する乗客認識部と、
   分類された前記乗客の前記種類に応じて、エレベータ機器の動作の制御を行う制御部と、
   を備えることを特徴とする画像認識機能を備えたエレベータ。
10. 請求項９において、
    エレベータのかご内に通常の運転盤と車椅子利用者用の運転盤とを備え、
    前記制御部は、前記乗客認識部において車椅子であると分類された乗客が存在する場合には、前記車椅子利用者用の運転盤が操作された時に、前記通常の運転盤が操作された場合よりも、前記かごが開いている時間を長くするか、前記かごのドアが閉じる速度を低下させるとともに、前記乗客認識部において車椅子であると分類された乗客が存在しない場合には、前記車椅子利用者用の運転盤が操作されても、前記通常の運転盤が操作された場合と同様の制御を行うことを特徴とする画像認識機能を備えたエレベータ。

Images