JP7323061B2 - エレベーターの３次元データの処理装置 - Google Patents

エレベーターの３次元データの処理装置 Download PDF

Info

Publication number
JP7323061B2
JP7323061B2 JP2022518443A JP2022518443A JP7323061B2 JP 7323061 B2 JP7323061 B2 JP 7323061B2 JP 2022518443 A JP2022518443 A JP 2022518443A JP 2022518443 A JP2022518443 A JP 2022518443A JP 7323061 B2 JP7323061 B2 JP 7323061B2
Authority
JP
Japan
Prior art keywords
projection image
dimensional data
unit
elevator
hoistway
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022518443A
Other languages
English (en)
Other versions
JPWO2021220345A1 (ja
JPWO2021220345A5 (ja
Inventor
晴之 岩間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2021220345A1 publication Critical patent/JPWO2021220345A1/ja
Publication of JPWO2021220345A5 publication Critical patent/JPWO2021220345A5/ja
Application granted granted Critical
Publication of JP7323061B2 publication Critical patent/JP7323061B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0087—Devices facilitating maintenance, repair or inspection tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B19/00—Mining-hoist operation
    • B66B19/007—Mining-hoist operation method for modernisation of elevators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Lift-Guide Devices, And Elevator Ropes And Cables (AREA)
  • Image Analysis (AREA)

Description

本開示は、エレベーターの３次元データの処理装置に関する。
特許文献１は、エレベーターのデータの処理装置を開示する。当該処理装置によれば、昇降路のデータの各構造の寸法を計算し得る。
日本特許第６３２２５４４号公報
しかしながら、特許文献１に記載の処理装置においては、３Ｄモデル生成を行う必要がある。このため、処理装置の負荷が高い。
本開示は、上述の課題を解決するためになされた。本開示の目的は、計算の負荷を下げることができるエレベーターの３次元データの処理装置を提供することである。
本開示に係るエレベーターの３次元データの処理装置は、エレベーターの昇降路の３次元データが予め設定された座標系に対して整列している際に当該３次元データから２次元の投影画像を生成する投影画像生成部と、前記投影画像生成部により生成された投影画像の特徴を抽出する投影画像特徴抽出部と、前記投影画像特徴抽出部により抽出された特徴から当該３次元データの処理の基準位置を特定する基準位置特定部と、を備え、基準位置特定部は、当該３次元データの処理の基準位置として前記昇降路を分割する際の基準位置を特定するものである。
また、本開示に係るエレベーターの３次元データの処理装置は、エレベーターの昇降路の３次元データが予め設定された座標系に対して整列している際に当該３次元データから２次元の投影画像を生成する投影画像生成部と、投影画像生成部により生成された投影画像の特徴を抽出する投影画像特徴抽出部と、投影画像特徴抽出部により抽出された特徴から当該３次元データの処理の基準位置を特定する基準位置特定部と、を備え、投影画像生成部は、昇降路の側面を投影方向として当該３次元データから２次元の投影画像を生成するものである。
また、本開示に係るエレベーターの３次元データの処理装置は、エレベーターの昇降路の３次元データが予め設定された座標系に対して整列している際に当該３次元データから２次元の投影画像を生成する投影画像生成部と、投影画像生成部により生成された投影画像の特徴を抽出する投影画像特徴抽出部と、投影画像特徴抽出部により抽出された特徴から当該３次元データの処理の基準位置を特定する基準位置特定部と、を備え、基準位置特定部は、当該３次元データの処理の基準位置として昇降路の寸法を計算する際の基準位置を特定し、投影画像生成部は、昇降路の側面を投影方向として当該３次元データから２次元の投影画像を生成するものである。

本開示によれば、処理装置は、昇降路の３次元データから２次元の投影画像を生成する。処理装置は、２次元の投影画像から特徴を抽出する。処理装置は、２次元の投影画像の特徴から昇降路の３次元データの処理の基準位置を特定する。このため、計算の負荷を下げることができる。
実施の形態１におけるエレベーターの３次元データの処理装置が適用される処理システムのブロック図である。 実施の形態１におけるエレベーターの３次元データの処理装置が適用される処理システムの３次元データ入力部Ａを説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準直線抽出部と第１整列部とを説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準直線抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準直線抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準直線抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準直線抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準平面抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準平面抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準平面抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の基準平面抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の第２整列部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像生成部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像生成部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像生成部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の寸法計算部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の寸法計算部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置の寸法計算部を説明するための図である。 実施の形態１におけるエレベーターの３次元データの処理装置のハードウェア構成図である。 実施の形態２におけるエレベーターの３次元データの処理装置を説明するための図である。 実施の形態２におけるエレベーターの３次元データの処理装置を説明するための図である。 実施の形態２におけるエレベーターの３次元データの処理装置を説明するための図である。 実施の形態２におけるエレベーターの３次元データの処理装置を説明するための図である。 実施の形態２におけるエレベーターの３次元データの処理装置を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置が適用される処理システムのブロック図である。 実施の形態３におけるエレベーターの３次元データの処理装置の平面抽出部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部１１を説明するための図である。 実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。
実施の形態について添付の図面に従って説明する。なお、各図中、同一または相当する部分には同一の符号が付される。当該部分の重複説明は適宜に簡略化ないし省略する。
実施の形態１．
図１は実施の形態１におけるエレベーターの３次元データの処理装置が適用される処理システムのブロック図である。
図１に示されるように、処理システムは、３次元データ入力部Ａと処理装置１とを備える。
処理装置１は、基準直線抽出部２と第１整列部３と基準平面抽出部４と第２整列部５と投影画像生成部６と投影画像特徴抽出部７と基準位置特定部８と寸法計算部９とを備える。
次に、図２を用いて、３次元データ入力部Ａを説明する。
図２は実施の形態１におけるエレベーターの３次元データの処理装置が適用される処理システムの３次元データ入力部Ａを説明するための図である。
図２において、例えば、３次元データ入力部Ａは、３次元計測センサである。例えば、３次元データ入力部Ａは、レーザスキャナである。例えば、３次元データ入力部Ａは、ＲＧＢＤカメラである。例えば、３次元データ入力部Ａは、エレベーターの昇降路に一時的に据え付けられた状態で昇降路の３次元点群を取得する。例えば、３次元データ入力部Ａは、エレベーターのかごとともに移動しながらＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術により移動時点で得られる３次元点群を繋ぎ合わせて昇降路の３次元点群を取得する。例えば、３次元データ入力部Ａは、異なる２つ以上の計測試行によって取得された点群をオフラインで繋ぎ合わせて昇降路の３次元点群を取得する。
次に、図３から図７を用いて、基準直線抽出部２と第１整列部３とを説明する。
図３は実施の形態１におけるエレベーターの３次元データの処理装置の基準直線抽出部と第１整列部とを説明するための図である。図４から図７は実施の形態１におけるエレベーターの３次元データの処理装置の基準直線抽出部を説明するための図である。
基準直線抽出部２は、昇降路の３次元点群をＸ軸とＹ軸とＺ軸とのうちのいずれかの軸に合わせて整列させるための基準直線を抽出する。
例えば、図３に示されるように、基準直線抽出部２は、基準直線として乗場の敷居と乗場ドアとの境界線を抽出する。具体的には、基準直線抽出部２は、あるフロアの乗場の敷居周辺の投影画像を生成する。例えば、基準直線抽出部２は、ＸＹ平面に平行な平面を投影面とし、Ｚ座標値がマイナスである範囲にある点群を投影面に投影した投影画像を生成する。
投影領域の大きさを、Ｘ軸方向の投影領域の大きさ(昇降路横幅方向)Ｌｘ［ｍ］、Ｙ軸方向の大きさ(昇降路高さ方向)Ｌｙ［ｍ］、Ｚ軸方向の大きさ(昇降路の奥行き方向)Ｌｚ［ｍ］としたとき、基準直線抽出部２は、投影画像の大きさを幅:αＬｘ［ｐｉｘ］ 、高さ:αＬｙ［ｐｉｘ］として決定する。ここで、αは投影時のスケーリング係数である。
例えば、スケーリング係数α、投影領域の大きさＬｘ、Ｌｙ、Ｌｚが事前に決められており、３次元データ入力部Ａの計測時の設置位置がほぼ昇降路の中心、３次元データ入力部Ａの中心が乗場の敷居の高さとほぼ一致している場合、基準直線抽出部２は、投影領域の中心Ｘ、Ｙ座標Ｃｘ、Ｃｙをそれぞれ０とみなし、残りのＣｚのみを点群のバウンディングボックスの情報に基づいて決める。
具体的には、基準直線抽出部２は、計測された点群に対してダウンサンプリング、ノイズ除去処理等を施した点群を対象としてバウンディングボックスを計算し、Ｚ座標値の最小値を計算する。昇降路の構造上、Ｚ座標値の最小値付近は壁面ないしは乗場ドアになっている。このため、基準直線抽出部２は、Ｚ座標値の最小値から事前に定められたマージン分プラスされたＺ座標値をＣｚとする。
例えば、３次元データ入力部Ａの計測時の設置位置に依らない方法として、α、Ｌｘ、Ｌｙ、Ｌｚが事前に決められている場合、基準直線抽出部２は、図３においては図示されない点群表示デバイスを通して提示された点群データに対し、ユーザに任意の指定を促すことで、Ｃｘ、Ｃｙ、Ｃｚの位置を決定する。
元の点群がカラー情報を持っており、かつ投影画像がカラー画像である場合、基準直線抽出部２は、投影元となる点のＲＧＢ値をそのまま画素値として採用する。例えば、投影画像がグレーススケール画像の場合、基準直線抽出部２は、ＲＧＢ値をグレースケールに変換した値を画素値として採用する。例えば、基準直線抽出部２は、Ｚ座標値の値を画素値として採用する。例えば、元の点群がレーザの反射強度値のようにグレースケール値を持っている場合、基準直線抽出部２は、グレースケール値を画素値として採用する。例えば、基準直線抽出部２は、例示された複数の画素値をそれぞれ別個に作成する。
図４に示されるように、複数の点群の投影画像の特定のピクセルとなる場合、基準直線抽出部２は、当該複数の点群の画素値の統計量から当該ピクセルの画素値を決定する。例えば、基準直線抽出部２は、当該複数の点群のＲＧＢ値の平均値を当該ピクセルの画素値とする。例えば、基準直線抽出部２は、代表点としてＺ座標値が最も原点に近い座標の点を選別して当該座標の画素値を当該ピクセルの画素値とする。
例えば、図５に示されるように、基準直線抽出部２は、投影画像上の水平方向のエッジ検出処理により乗場の敷居と乗場ドアとの境界線を抽出する。
例えば、基準直線抽出部２は、投影画像に対して水平方向のエッジ検出器を適用してエッジを検出する。基準直線抽出部２は、エッジ画像に対してＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）等により直線モデルを当てはめることで乗場の敷居と乗場ドアとの境界線を抽出する。
例えば、図６に示されるように、基準直線抽出部２は、カゴレール、立柱等の鉛直方向に延びる直線状の構造から基準直線を抽出する。
カゴレールが基準直線とされる場合、３次元データ入力部Ａの計測時の設置位置がほぼ昇降路中心であるとして、スケーリング係数αと投影領域のＺ軸方向の長さ（Ｌｚ）とは事前に決められる。Ｌｘは、新設時の図面からカゴレール先端間距離（ＢＧ）を基準に決められる。例えば、Ｌｘは、ＢＧにマージン幅を加えた値となる。Ｌｙは、ノイズが除去した点群のバウンディングボックスのＹ方向の長さに基づいて決定される。例えば、Ｌｙは、ボックスＹ方向の長さからマージン幅を差し引いた値となる。領域の中心のＣｘ、Ｃｚとは０とされる。Ｃｙは、ノイズが除去した点群のバウンディングボックスの中心Ｙ座標とされる。
基準直線抽出部２は、当該投影範囲内の点群をＸＹ平面に平行な投影面に投影することで投影画像を生成する。例えば、基準直線抽出部２は、投影方向をＺ軸のプラス方向として投影画像を生成する。例えば、基準直線抽出部２は、投影方向をＺ軸のマイナス方向として投影画像を生成する。
なお、点群表示デバイスを通し、提示された点群データに対し、ユーザに任意の指定を促すことで、Ｃｘ、Ｃｙ、Ｃｚを決定してもよい。
図７に示されるように、基準直線抽出部２は、投影画像上の鉛直方向のエッジ検出処理によって左右のカゴレールの先端に相当する直線を抽出する。
例えば、基準直線抽出部２は、投影画像に対し、鉛直方向のエッジ検出器を適用してエッジを検出する。例えば、基準直線抽出部２は、投影画像Ｘ座標中心からプラス方向とマイナス方向とのそれぞれに最も近いエッジだけを残すフィルタリングをすることで左右のカゴレールの先端それぞれに相当するエッジを抽出する。この際、基準直線抽出部２は、エッジ画像に対してＲＡＮＳＡＣ等により直線モデルを当てはめて直線を抽出する。
この際、左右カゴレールに相当する直線の少なくとも一方を抽出すればよい。また、ペアワイズに双方を平行な直線の組として抽出してもよい。
なお、直線モデルフィッティングの前に、メディアンフィルタ、膨張処理、収縮処理等によるノイズ除去処理、エッジ連結処理のような前処理を行ってもよい。ハフ変換により直線を抽出してもよい。投影画像において複数の種類が存在する場合、複数のエッジ情報により直線を抽出してもよい。例えば、点群のＲＧＢ値を画素値とした投影画像とＺ座標値を画素値とした投影画像とが存在する場合、双方の投影画像からエッジを検出し、双方のエッジ情報により直線を抽出してもよい。
第１整列部３は、点群データに対し、基準直線がＸＹＺ座標系のいずれかの軸と平行になるように座標を変換する。
例えば、乗場の敷居上端線が基準直線として抽出された場合、第１整列部３は、投影画像から検出された乗場の敷居上端線と画像水平線とのなす角αを計算し、元の点群データをＺ軸周りにαだけ逆方向に回転させる。
例えば、図３に示されるように、カゴレールの左右先端直線が基準直線として抽出された場合、第１整列部３は、投影画像から検出された左右先端直線と画像鉛直線とのなす角αを計算し、元の点群データをＺ軸周りにαだけ逆方向に回転させる。
例えば、左右カゴレール先端直線が左右別個に抽出された場合、第１指令粒は、それぞれのカゴレールが画像鉛直線となす角α１、α２の平均を計算し、元の点群データをＺ軸周りにα１とα２との平均角度分だけ逆方向に回転させる。
次に、図８から図１１を用いて、基準平面抽出部４を説明する。
図８から図１１は実施の形態１におけるエレベーターの３次元データの処理装置の基準平面抽出部を説明するための図である。
基準平面抽出部４は、基準直線では整列の基準としなかった残りの２軸に関して昇降路の３次元データを整列させるための平面を抽出する。例えば、基準平面抽出部４は、左右のカゴレールの先端間を結んだ平面を基準平面として抽出する。
図８に示されるように、基準平面抽出部４は、昇降路の天井方向もしくは底面方向における画像の横軸と縦軸とが３次元座標系のＸ軸とＺ軸とに平行となる仮想的な投影面を設定する。基準平面抽出部４は、基準直線抽出部２と同様に投影画像を生成する。この際、基準平面抽出部４は、３次元座標系のＹ軸値に応じて複数の投影画像を生成する。例えば、基準平面抽出部４は、点群データの上から下まで予め設定された間隔で予め設定された大きさの投影対象領域毎に投影画像を生成する。
図９に示されるように、基準平面抽出部４は、それぞれの投影画像に対し、左右のカゴレール先端位置をペアワイズに抽出する。例えば、基準平面抽出部４は、カゴレールの投影画像上でのパターン特徴に基づいて左右のカゴレール先端位置をペアワイズに抽出する。
カゴレールの規格、カゴレール間の距離は、事前の情報から得られる。このため、基準平面抽出部４は、投影画像に現れる左右カゴレールそれぞれの理想的な見え方に基づいてペアワイズなモデル画像を作成する。
基準平面抽出部４は、それぞれの投影画像に対し、左右カゴレールのモデル画像を基準テンプレートとしたテンプレートマッチングを行う。この際、基準平面抽出部４は、テンプレートの位置のみを変化させるだけでなく予め設定された範囲内で回転させてテンプレートマッチングを行う。例えば、基準平面抽出部４は、基準テンプレートを走査させて疎な探索を行い、疎探索のマッチング位置近傍で回転させたテンプレートも用いて密な探索を行う。
なお、左右別々にモデル画像を作成してもよい。
図１０に示されるように、基準平面抽出部４は、それぞれの投影画像においてテンプレートの位置と回転角とに基づいて、マッチした左右のカゴレールの先端位置の投影画像上の位置を計算する。この際、基準平面抽出部４は、元々テンプレート画像の中で、左右レール先端位置を定義しておくことでマッチした左右のカゴレールの先端位置の投影画像上の位置を計算する。
基準平面抽出部４は、３次元座標上で左右のカゴレールの先端の座標を計算する。この際、基準平面抽出部４は、元の投影領域の高さに基づいて左右のカゴレールの先端のＹ座標値を決定する。例えば、基準平面抽出部４は、左右のカゴレールの先端のＹ座標値として元の投影領域の中間のＹ座標値を採用する。
例えば、図１１に示されるように、基準平面抽出部４は、Ｋ個の投影画像に対して同様の処理を行うことで左右のカゴレールの先端位置として２Ｋ個の３次元位置を取得する。基準平面抽出部４は、２Ｋ個の３次元位置に対し３次元平面のモデルフィッティングを行う。例えば、基準平面抽出部４は、最小二乗法によって３次元平面を推定する。基準平面抽出部４は、推定された３次元平面を左右のカゴレールの先端間を結んだ平面として基準平面を抽出する。
次に、図１２を用いて、第２整列部５を説明する。
図１２は実施の形態１におけるエレベーターの３次元データの処理装置の第２整列部を説明するための図である。
第２整列部５は、基準平面の法線がＸ軸とＹ軸とＺ軸とのうちのいずれかの軸と平行になるように第１整列部３が回転させなかった回転軸に関して点群データを回転させることで点群データを整列させる。
例えば、第１整列部３が乗場の敷居の上端線に基づく回転が行われている状態でかつ左右のカゴレールの先端間の平面が基準平面とされる場合、図１２に示されるように、第２整列部５は、基準平面の法線がＺ軸方向と平行になるようにＸ軸周りとＹ軸周りとに点群データを回転させることで点群データを整列させる。
なお、基準直線抽出部２による基準直線の抽出から第２整列部５による点群データの整列を繰り返してもよい。
また、基準平面抽出部４において先に基準平面を抽出してもよい。この場合、第１整列部３において、基準平面抽出部４により抽出された基準平面に合わせて昇降路の３次元データを整列させればよい。その後、基準直線抽出部２において、第１整列部３により整列した３次元データから昇降路の基準直線を抽出すればよい。その後、第２整列部５において、基準直線抽出部２により抽出された基準直線に合わせて第１整列部３により整列した３次元データを整列させればよい。
この際、基準平面抽出部４において、ＸＹＺ座標系のＸ軸とＹ軸とＺ軸とのうちのいずれか１つと平行となる法線を有する基準平面を抽出してもよい。基準直線抽出部２において、基準平面抽出部により抽出された平面の法線と直交する基準直線を抽出してもよい。
例えば、基準平面抽出部４において、一対のカゴレールの直線状の先端を結ぶ平面と平行な平面を基準平面として抽出してもよい。例えば、基準直線抽出部２において、乗場の敷居と乗場ドアとの境界線に平行な直線を基準直線として抽出してもよい。
次に、図１３から図１５を用いて、投影画像生成部６を説明する。
図１３から図１５は実施の形態１におけるエレベーターの３次元データの処理装置の投影画像生成部を説明するための図である。
図１３に示されるように、投影画像生成部６は、昇降路の乗場側の壁面と左壁面と右壁面と後壁面と底面方向とのうちのいずれか壁面方向を２次元の投影面と定める。
例えば、投影画像の大きさは、点群データ全体を囲うバウンディングボックスから決められる。例えば、投影画像の大きさは、事前に定められた値で決められる。
例えば、投影画像生成部６は、ダウンサンプリング、ノイズ除去処理を施した点群データに対してバウンディングボックスを計算する。バウンディングボックスにおいて、Ｘ軸方向の大きさがＬｘ［ｍ］、Ｙ軸方向の大きさがＬｙ［ｍ］、Ｚ軸方向の大きさがＬｚ［ｍ］である場合、投影画像生成部６は、乗場方向を投影方向とする投影画像の幅をαＬｘ［ｐｉｘ］とし、高さをαＬｙ［ｐｉｘ］とする。ここで、αは投影時のスケーリング係数である。
例えば、図１４に示されるように、投影を行う点群データの範囲は、軸方向の座標値に基づいて決定される。乗場側壁面への投影であれば、Ｚ軸座標値がマイナスの点群のみが投影対象とされる。より範囲を絞り込むのであれば、例えば、Ｚ軸座標値がマイナスである点群のうち、Ｚ座標値がＺａ＋β１［ｍｍ］からＺａ－β２［ｍｍ］の範囲にある点群が投影対象とされる。
例えば、Ｚａは、事前に定められる。例えば、Ｚａは、Ｚ座標値の中間値または平均値によって定められる。例えば、β１とβ２とは、事前に定められる。例えば、β１とβ２とは、Ｚ座標値がマイナスである点群のＺ座標値の分散等の統計量から動的に定められる。例えば、Ｘ座標値とＹ座標値との投影対象は、予め設定された敷居に基づいて絞り込まれる。
この際の投影画像は、図４と同様の投影画像である。
図１５に示されるように、投影画像は、昇降路の中心を視点として昇降路の乗場側の壁面と左壁面と右壁面と後壁面と底面方向を向く画像となる。
次に、図１６から図２５を用いて、投影画像特徴抽出部７を説明する。
図１６から図２５は実施の形態１におけるエレベーターの３次元データの処理装置の投影画像特徴抽出部を説明するための図である。
投影画像特徴抽出部７は、投影画像から計算すべき寸法の起点となる対象の特徴を抽出する。
例えば、投影画像特徴抽出部７は、乗場側の壁面への投影画像から乗場の敷居の上端線を抽出する。投影画像特徴抽出部７は、基準直線抽出部２と同様の方法で乗場の敷居の上端線を抽出する。
乗場の敷居の上端線が既に抽出されている場合、投影画像特徴抽出部７において、当該抽出処理を省略してもよいし、本抽出処理を改めて行ってもよい。
元々の点群データが単フロアから成る場合、投影画像特徴抽出部７は、誤検出抑制の観点から、乗場の敷居のおおよその位置を特定すべく、処理対象範囲を設定する。
乗場の敷居を構成するパーツの構成や大きさなどが品目表などから分かっている場合、図１６に示されるように、投影画像特徴抽出部７は、乗場の敷居付近の形状構造を特徴づける２次元パターンを初期テンプレートとして作成する。投影画像特徴抽出部７は、この初期テンプレートを投影画像上で走査させてテンプレートマッチングを行い、最も合致した位置の近傍を処理対象範囲とする。例えば、投影画像特徴抽出部７は、合致位置を中心とした、初期テンプレートと同じ、もしくはそこからマージン幅を追加した大きさの矩形を処理対象範囲とする。全く事前情報がない場合、例えば、投影画像特徴抽出部７は、画像を縦方向に３分割した際の中間領域を処理対象範囲としたり縦方向に２分割した下側の領域を処理対象範囲としたりする。おおよその乗場の敷居の位置が計算されている場合、投影画像特徴抽出部７は、乗場の敷居の位置の情報を再利用して処理対象範囲とする。
図１７に示されるように、投影画像特徴抽出部７は、処理対象範囲に対して水平方向のエッジ検出器を適用して横方向のエッジを検出し、エッジ画像に対してＲＡＮＳＡＣ等を使った水平線モデルを当てはめることで１本の水平線を抽出する。
なお、直線モデルフィッティングの前に、メディアンフィルタ、膨張処理、収縮処理等によるノイズ除去処理、エッジ連結処理のような前処理を行ってもよい。ハフ変換により直線を抽出してもよい。投影画像において複数の種類が存在する場合、複数のエッジ情報により直線を抽出してもよい。例えば、点群のＲＧＢ値を画素値とした投影画像とＺ座標値を画素値とした投影画像とが存在する場合、双方の投影画像からエッジを検出し、双方のエッジ情報により直線を抽出してもよい。
投影画像が複数のフロアから成る場合、図１８に示されるように、投影画像特徴抽出部７は、複数フロアのうちから１つのフロアに絞って乗場の敷居の上端線を抽出する。
投影画像特徴抽出部７は、単フロアの場合と同様の初期テンプレートを作成する。投影画像特徴抽出部７は、初期テンプレートを投影画像に対してマッチングさせることで、あるフロアの乗場の敷居周辺の処理対象領域を設定する。この際、初期テンプレートの走査範囲は投影画像全体でもよいし、投影画像を縦方向に等分割したいずれかを範囲として絞り込んでもよい。
投影画像特徴抽出部７は、あるフロアの乗場の敷居周辺の処理対象領域に対して、単フロアの場合と同様、そのフロアの乗場の敷居の上端線を水平方向の直線モデルフィッティングなどによって抽出する。
図１９に示されるように、投影画像特徴抽出部７は、最初に検出した乗場の敷居上端線の位置を基に、残りのフロアにおける乗場の敷居の上端線検出範囲を設定する。例えば、投影画像特徴抽出部７は、最初に検出した乗場の敷居上端線を基準に、予め設定された大きさの矩形領域のテクスチャパターンそのものをテンプレートとして抜き出し、そのテンプレートマッチングによって、残りのフロアに関する処理対象領域を特定する。
例えば、フロアの数がＫ個である場合、投影画像特徴抽出部７は、テンプレートとして抽出した以外の領域に対してテンプレートを走査させ、マッチングスコアの高かった上位Ｋ－１個を残りのフロアの処理対象領域として決定する。この際、投影画像特徴抽出部７は、単純に上位Ｋ－１個を選ぶのではなく、マッチング位置の空間的近接性も考慮する。例えば、上位Ｋ－１個のうち、あるマッチング位置に対し、互いに空間距離が近過ぎるマッチング位置がＬ個あった場合、投影画像特徴抽出部７は、マッチングスコアが最も高い位置のみを結果として採用し、残り（Ｌ－１）は選択から外す。
投影画像特徴抽出部７は、スコアの高さが当初Ｋ番目からＫ－１＋（Ｌ－１）番目であったマッチング位置を新たに採用する。投影画像特徴抽出部７は、どのマッチング位置に対しても互いに空間距離が近過ぎるマッチング位置が無くなるまで当該処理を繰り返すことで最終的にＫ－１個を決定する。
新設時の図面などから対象とする昇降路のフロア間距離が大まかに分かっている場合、投影抽出部は、事前情報を活用することで、テンプレートマッチングの範囲を縮小し計算時間を削減するとともに、テンプレートの誤対応を抑制し、結果のロバスト性を高める。具体的には、図２０に示されるように、投影画像特徴抽出部７は、最初に抽出した乗場の敷居上端線を基準に、投影画像の縦方向に、フロア間設計値を投影画像上の長さにスケーリングした値の長さだけ離した位置を中心位置とした走査範囲として設定する。
投影画像特徴抽出部７は、他のフロアに関する処理対象領域の設定後、それぞれに対して、単フロアの場合と同様の、横方向のエッジ検出に基づく直線モデルフィッティングなどを行い、それぞれのフロアに関する乗場の敷居の上端線を抽出する。
なお、一般的な直線（ａｘ＋ｂｙ＋ｃ＝０）モデルを当てはめ、傾きを持った直線として乗場の敷居の上端線を抽出してもよい。
また、投影画像特徴抽出部７は、基準平面抽出部４と同様に底面方向への投影画像から左右のカゴレールの先端位置を抽出する。基準平面抽出部４が左のガイドレールの先端位置を抽出している際、投影画像特徴抽出部７は、当該抽出処理を省略してもよいし、改めて抽出処理を行ってもよい。
投影画像特徴抽出部７は、左右壁面もしくは後壁面への投影画像から立柱の左右端線を抽出する。
整列された点群データにおいて、立柱は、Ｙ軸と平行である。投影画像上において、立柱の左右端線は、鉛直線として現れる。
投影画像特徴抽出部７は、投影画像から抽出される縦方向の直線の中で相対的に長い直線を抽出する。
一方、昇降路左右壁面には、カゴレール、壁に沿って配置されたケーブル等が存在するこのため、投影画像においては他の構造物による多数の縦エッジがノイズとして現れる。投影画像特徴抽出部７は、これらのノイズの影響を抑えてロバストに立柱の左右端線を抽出する。
なお、立柱がＨ鋼であっても本方法によって同様に扱える。
図２１に示されるように、左右壁面の前に位置する立柱は、昇降路の壁面からやや離れた位置にあり、かつカゴレールと壁面の間に存在する。整列された点群データにおいて、左右壁面方向への投影画像は、Ｘ軸プラス(右側壁面)、マイナス(左側壁面)への投影画像である。このため、投影画像特徴抽出部７は、投影する点群の範囲をカゴレールの背面位置Ｘ座標から壁面のＸ座標の範囲からさらにマージンを考慮して絞り込むことで、立柱に相当する点群を抜き出した投影画像を生成する。
マージンは事前に設定すればよく、３次元データ入力部Ａの測距誤差特性に基づいて設定してもよい。カゴレールの背面位置のＸ座標は、カゴレールの先端位置を抽出すれば、カゴレールの規格情報から推定される。壁面に相当する平面のＸ座標は、カゴレール背面位置Ｘよりも遠い位置にある点群に関してのＸ座標値全体の中間値、平均値等から計算される。これらの部分的な点群に対して平面フィッティングを行ってもよい。
図２２に示されるように、後壁面の前に位置する立柱は、昇降路の壁面からやや離れた位置にある。整列された点群データにおいて、後壁面方向への投影画像は、Ｚ軸プラス方向への投影画像である。このため、投影する点群のＺ座標値の範囲を壁面のＺ座標から壁面のＺ座標－定数αの範囲からさらにマージンを考慮して絞り込むことで、立柱に相当する点群を抜き出した投影画像を生成する。マージンは事前に設定すればよく、センサの測距誤差特性に基づいて設定してもよい。
後壁面に相当する平面のＺ座標は、後壁面に相当する平面のＺ座標を計算するための範囲を点群の外接矩形情報などから定め、その範囲の点群に関してのＺ座標の中間値、平均値等から計算する。
なお、定数αに関しては、一般的な建築の基準などから見積もられる立柱設置位置で最も壁面から離れて設置される場合の幅に基づいて決めてもよい、新設時の図面から見積もられる値を設定してもよい。
図２３に示されるように、投影画像特徴抽出部７は、立柱に絞り込んだ投影画像に対し、鉛直方向のエッジ検出器を適用して鉛直方向のエッジを検出する。投影画像特徴抽出部７は、エッジ画像に対してＲＡＮＳＡＣ等を使った鉛直直線モデルを当てはめて直線を抽出する。
なお、鉛直な平行線の組なモデルとして直線を抽出してもよい。
なお、直線モデルフィッティングの前に、メディアンフィルタ、膨張処理、収縮処理等によるノイズ除去処理、エッジ連結処理のような前処理を行ってもよい。ハフ変換により直線を抽出してもよい。投影画像において複数の種類が存在する場合、複数のエッジ情報により直線を抽出してもよい。例えば、点群のＲＧＢ値を画素値とした投影画像とＺ座標値を画素値とした投影画像とが存在する場合、双方の投影画像からエッジを検出し、双方のエッジ情報により直線を抽出してもよい。
図２４に示されるように、点群データの表示デバイスを介して、ユーザに「立柱点の選択」を促し、ユーザに立柱に属する点群のうち１点を指定させてもよい。ユーザに指定された点に対し、予め設定された範囲の点群選択ボックスを投影範囲として投影画像を生成してもよい。この場合、１本の立柱につき１枚の投影画像を要する。このため、全ての立柱を抽出する際の処理効率は悪くなるものの、投影範囲が限定される分、立柱は、よりノイズに対してロバストで精度よく抽出される。
図２５に示されるように、整列された点群データにおいて、梁の上下端は、Ｘ軸と平行とである。投影画像上において、梁の上下端は、水平線として現れる。梁の上下端は、投影画像から検出される横方向の直線の中で、相対的に長い直線として現れる。投影画像特徴抽出部７は、立柱の左右端の抽出において鉛直方向を水平方向として同様の処理を行うことで梁の上下端を抽出する。
なお、立柱の左右端、梁の上下端等は、投影画像上で鉛直方向または水平方向の直線として検出される構造に関しては、投影画像上から、長さ、傾きなど一定の条件を満たす全ての鉛直線・水平線を候補として抽出してもよい。この場合、これらの直線群を３次元座標系における平面群として変換したうえで点群データ表示デバイスを通してユーザに提示すればよい。この際、ユーザが点群データ表示デバイスを通して必要なものを選択すればよい。
基準位置特定部８は、乗場の敷居の上端、カゴレール間の平面、立柱の左右端等、寸法を計算する起点となる位置を特定する。例えば、基準位置特定部８は、投影画像特徴抽出部７の抽出結果をほぼそのまま活用する。
例えば、基準位置特定部８は、乗場側壁面方向への投影画像上各フロアに関する乗場の敷居上端線をＸＹＺ座標系に変換する。寸法起点特定部は、ＸＹＺ座標系において直線を通過し、かつ法線がＺ軸と直交する平面を乗場の敷居の上端平面として計算する。寸法起点特定部は、各フロアに関する乗場の敷居の上端平面を寸法計算の起点とする。
例えば、基準位置特定部８は、複数の投影画像それぞれから、左右のカゴレールの先端位置を抽出する。基準位置特定部８は、左右のカゴレールの先端位置をＸＹＺ座標系に変換する。基準位置特定部８は、３次元空間上におけるそれら複数の左右カゴレール先端位置に対して３次元平面フィッティングをかけることで得られた結果をカゴレール間平面とする。なお、すでにカゴレール間平面が抽出されている場合、抽出されているカゴレール間平面をそのまま流用してもよい。
次に、図を用いずに、基準位置特定部８を説明する。
基準位置特定部８は、ＸＹＺ座標系における左右それぞれの先端位置に対して、それぞれ平均位置を計算する。基準位置特定部８は、それぞれの平均位置を左カゴレール先端位置、右カゴレール先端位置とする。基準位置特定部８は、左カゴレール先端位置を通り、カゴレール平面に直交する平面を、左カゴレール先端平面とする。基準位置特定部８は、右カゴレール先端位置を通り、カゴレール平面に直交する平面を右カゴレール先端平面とする。例えば、基準位置特定部８は、これら平面と位置とを寸法計算の起点とする。
例えば、基準位置特定部８は、ＸＹＺ座標系でその直線を通過し、かつ法線がＸ軸と直交する平面を左右壁面の前に位置する立柱左右端平面として計算する。例えば、基準位置特定部８は、ＸＹＺ座標系でその直線を通過し、かつ法線がＺ軸と直交する平面を後壁面の前に位置する立柱後端平面として計算する。例えば、基準位置特定部８は、立柱の左右端平面を寸法計算の起点とする。
例えば、基準位置特定部８は、ＸＹＺ座標系でその直線を通過し、かつ法線がＸ軸と直交する平面を左右壁面または後壁面に位置する梁の上下端平面として計算する。例えば、基準位置特定部８は、梁の上下端平面を寸法計算の起点とする。
次に、図２６から図２８を用いて、寸法計算部９を説明する。
図２６から図２８は実施の形態１におけるエレベーターの３次元データの処理装置の寸法計算部を説明するための図である。
寸法計算部９は、寸法計算の起点として計算された平面または位置を基準に寸法を計算する。
例えば、図２６に示されるように、寸法計算部９は、乗場の敷居の上端平面と床面に属する点群との距離を計算することでピットの深さＰＤを計算する。例えば、寸法計算部９は、梁の下端平面と床面に属する点群との距離を計算することで梁の高さを計算する。例えば、寸法計算部９は、梁の上下端平面の高さの差から梁の厚みを計算する。
例えば、寸法計算部９は、レール間平面と後壁面に属する点群との距離を計算する。例えば、寸法計算部９は、レール間平面と乗場の敷居に属する点群との距離を計算する。例えば、寸法計算部９は、レール間平面と後壁面に属する点群との距離とレール間平面と乗場の敷居に属する点群との距離とを足し合わせることで昇降路の奥行きＢＨを計算する。
例えば、寸法計算部９は、左側、右側それぞれのカゴレール先端平面に関して、左右それぞれの壁面に属する点群との距離を計算する。例えば、寸法計算部９は、左右カゴレール先端位置間の距離を計算する。例えば、寸法計算部９は、それらを足し合わせる。例えば、寸法計算部９は、それらにレールの規格情報として左右レール高さを足し合わせることで昇降路の横幅ＡＨを計算する。
なお、最下階では、フロアレベルより下の壁面にモルタルなどで防水加工がしてある場合がある。この場合、フロアレベルの上下で寸法計算を分けることが望ましい。例えば、乗場の敷居の上端平面で昇降路の３次元データを上下に分割し、上下別個に採寸を行えばよい。
例えば、図２８に示されるように、寸法計算部９は、各壁面に属する点群と立柱端平面との距離とを計算する。
以上で説明した実施の形態１によれば、処理装置１は、昇降路の３次元データから昇降路の基準直線と基準平面とを抽出して昇降路の３次元データを整列させる。このため、特殊なマーカを要することなく、昇降路の３次元データを整列させることができる。
また、処理装置１は、ＸＹＺ座標系のＸ軸とＹ軸とＺ軸とのうちのいずれか１つと平行となる基準直線を抽出する。処理装置１は、基準直線により抽出された基準と平行となる法線を有する基準平面を抽出する。このため、昇降路の３次元データをより正確に整列させることができる。
また、処理装置１は、乗場の敷居と乗場ドアとの境界線に平行な直線を基準直線として抽出する。処理装置１は、一対のカゴレールの直線状の先端を結ぶ平面と平行な平面を基準平面として抽出する。このため、昇降路の３次元データをより正確に整列させることができる。
また、処理装置１は、昇降路の３次元データから２次元の投影画像を生成する。処理装置１は、２次元の投影画像から特徴を抽出する。処理装置１は、２次元の投影画像から特徴から昇降路の３次元データの処理の基準位置を特定する。このため、処理装置１の計算負荷を下げることができる。その結果、処理装置１による処理コストを下げることができる。
また、処理装置１は、投影点の色の情報と反射強度の情報と座標値の情報とのうちのいずれか１つに基づいて投影画像のピクセル値を決定する。このため、２次元の投影画像の特徴をより確実に抽出することができる。
また、処理装置１は、３次元データの処理の基準位置として昇降路の寸法を計算する際の基準位置を特定する。このため、昇降路における各構造の寸法をより正確に計算することができる。
また、処理装置１は、昇降路の側面または床面を投影方向として当該３次元データから２次元の投影画像を生成する。例えば、処理装置１は、乗場の敷居の上端部を通過する平面に基づいて基準位置を特定する。例えば、処理装置１は、一対のカゴレールの先端部を結んだレール間平面に基づいて基準位置を特定する。例えば、処理装置１は、レール間平面と直交する平面に基づいて基準位置を特定する。例えば、処理装置１は、立柱の左右の端部を通過する平面に基づいて基準位置を特定する。例えば、処理装置１は、梁の上下端部を通過する平面に基づいて基準位置を特定する。このため、昇降路における様々な構造の寸法をより正確に計算することができる。
次に、図２９を用いて、処理装置１の例を説明する。
図２９は実施の形態１におけるエレベーターの３次元データの処理装置のハードウェア構成図である。
処理装置１の各機能は、処理回路により実現し得る。例えば、処理回路は、少なくとも１つのプロセッサ１００ａと少なくとも１つのメモリ１００ｂとを備える。例えば、処理回路は、少なくとも１つの専用のハードウェア２００を備える。
処理回路が少なくとも１つのプロセッサ１００ａと少なくとも１つのメモリ１００ｂとを備える場合、処理装置１の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせで実現される。ソフトウェアおよびファームウェアの少なくとも一方は、プログラムとして記述される。ソフトウェアおよびファームウェアの少なくとも一方は、少なくとも１つのメモリ１００ｂに格納される。少なくとも１つのプロセッサ１００ａは、少なくとも１つのメモリ１００ｂに記憶されたプログラムを読み出して実行することにより、処理装置１の各機能を実現する。少なくとも１つのプロセッサ１００ａは、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰともいう。例えば、少なくとも１つのメモリ１００ｂは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等である。
処理回路が少なくとも１つの専用のハードウェア２００を備える場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらの組み合わせで実現される。例えば、処理装置１の各機能は、それぞれ処理回路で実現される。例えば、処理装置１の各機能は、まとめて処理回路で実現される。
処理装置１の各機能について、一部を専用のハードウェア２００で実現し、他部をソフトウェアまたはファームウェアで実現してもよい。例えば、投影画像特徴抽出部７の機能については専用のハードウェア２００としての処理回路で実現し、投影画像特徴抽出部７の機能以外の機能については少なくとも１つのプロセッサ１００ａが少なくとも１つのメモリ１００ｂに格納されたプログラムを読み出して実行することにより実現してもよい。
このように、処理回路は、ハードウェア２００、ソフトウェア、ファームウェア、またはこれらの組み合わせで処理装置１の各機能を実現する。
実施の形態２．
図３０から図３４は実施の形態２におけるエレベーターの３次元データの処理装置を説明するための図である。なお、実施の形態１の部分と同一又は相当部分には同一符号が付される。当該部分の説明は省略される。
実施の形態２において、処理装置１は、生成された投影画像から昇降路データをフロア毎に分割するための特徴を抽出する。例えば、処理装置１は、乗場の敷居周辺パターンの代表位置を１つ検出し、代表位置の類似パターンを抽出することで他の乗場位置を特定する。
図示されないが、投影画像特徴抽出部７は、初期テンプレートは敷居レールと前垂れとをモデルとした初期テンプレートを用いる。なお、ドア構造などを含んだより広範囲の初期テンプレートを用いてもよい。
テンプレートマッチングに際し、テンプレートの走査範囲を投影画像全体としてもよいし、絞り込んでもよい。
例えば、画像中心を中心として、昇降路のフロア間距離として考えられ得る最大距離の大きさ［ｍｍ］を画像上の大きさ［ｐｉｘ］に変換し、それを縦方向の大きさとした矩形領域を探索範囲としてテンプレートマッチングを行ってもよい。または、点群データ表示デバイスを通して、乗場の敷居近辺の点をユーザに選択させ、選択された点を中心として探索範囲を決定してもよい。
例えば、品目表などの事前情報がない場合、乗場の敷居と乗場ドアとの境界または乗場敷居の前垂れとの境界においては、構造としての凹凸が存在する。このため、投影画像の画素値が点群のカラー情報またはＺ座標値に基づくものである場合、投影画像上には明確な横エッジが現れる。
この場合、図３１に示されるように、投影画像特徴抽出部７は、投影画像に対して水平方向のエッジ検出器を適用して横方向のエッジを検出し、エッジの連結処理によって線分化する。投影画像特徴抽出部７は、これらの線分のうちの最も長い線分を代表位置として決定する。当該線分は、投影画像に対し画像上で傾きを持った線分として抽出される場合もある。この場合、投影画像特徴抽出部７は、当該線分の中心位置を代表位置として決定する。
投影画像特徴抽出部７は、代表位置を基準とし、投影画像におけるその周辺領域の画像特徴を計算する。例えば、投影画像特徴抽出部７は、代表位置を中心にして予め設定された大きさの矩形領域において特徴を抽出する。
例えば、図３２に示されるように、基準位置特定部８は、昇降路をフロア毎のデータに分割する位置を決定する。例えば、基準位置特定部８は、乗場の敷居の上端線を分割基準境界線とする。
この際、基準位置特定部８は、処理対象画像に対して水平方向のエッジ検出器を適用して横方向のエッジを検出し、エッジ画像に対してＲＡＮＳＡＣ等を使った水平線モデルを当てはめることで水平線を抽出する。
基準位置特定部８は、投影画像上で、それぞれのフロアに関する乗場の敷居の上端線の位置を決定した後、ＸＹＺ座標系への情報に変換して分割基準位置を決定する。例えば、乗場の敷居の上端線は、ＸＹＺ座標系においてＺＸ平面と平行な線となる。乗場の敷居の上端線のＹ座標値は一定となる。この際、図３３に示されるように、基準位置特定部８は、乗場の敷居の上端線のＹ座標値を分割基準座標とする。
図３４に示されるように、寸法計算部９は、基準位置特定部８によって決定された分割基準位置に基づいて、点群データをフロア毎のデータに分割する。
例えば、ある分割基準位置のＹ座標がＹｓ［ｍｍ］であり、予め設定されたマージン値がγ［ｍｍ］である場合、Ｙｓ＋γのＹ座標値で分割すればよい。
処理対象点群を極力絞り込む場合、ある分割基準位置Ｙ座標値がＹｓ＋γ［ｍｍ］からＹｓ＋γ２［ｍｍ］の範囲にある点群データを該当するフロアの点群データとして切り出して分割すればよい。
なお、白黒チェッカーパターンのようなマーカを配置する場合は、同様のテンプレート画像との相関値を計算すべき特徴とし、テンプレートマッチングによって計算された結果位置を分割基準位置としてもよい。
以上で説明した実施の形態２によれば、処理装置１は、３次元データの処理の基準位置として昇降路を分割する際の基準位置を特定する。このため、昇降路を正確に分割することができる。
また、処理装置１は、昇降路の側面を投影方向として当該３次元データから２次元の投影画像を生成する。このため、昇降路を分割する際の基準位置を容易に特定することができる。
また、処理装置１は、投影画像の特徴として乗場の敷居の周辺のテクスチャパターンを抽出する。このため、昇降路を正確に分割することができる。
実施の形態３．
図３５は実施の形態３におけるエレベーターの３次元データの処理装置が適用される処理システムのブロック図である。なお、実施の形態１の部分と同一又は相当部分には同一符号が付される。当該部分の説明は省略される。
図３５に示されるように、実施の形態３の処理装置１は、平面抽出部１０と初期整列部１１とを備える。
次に、図３６を用いて、平面抽出部１０を説明する。
図３６は実施の形態３におけるエレベーターの３次元データの処理装置の平面抽出部を説明するための図である。
図３６に示されるように、平面抽出部１０は、点群データから互いに直交するまたは直交に最も近い一対の平面を抽出する。平面の抽出は、点群処理によって求めてもよい。例えば、ＳＬＡＭを適用した３次元計測において平面が得られている場合は、当該平面を用いてもよい。
この際、必ずしも全ての点群を対象として処理を行う必要はない。例えば、部分的な点群を対象として平面を抽出してもよい。例えば、点群中心から予め設定された大きさのバウンディングボックスに囲われる点群を処理対象としてもよい。例えば、計測点群においてノイズが除去を行った点群に対してバウンディングボックスを求め、当該バウンディングボックスの大きさ、主軸の方向に基づいて処理対象の点群を絞ってもよい。例えば、予め設定された間隔でサブサンプリングをし、間引いた点群を処理対象としてもよい。
平面抽出部１０は、抽出された複数の平面の中から最も直交関係に近い一対の平面を決定する。
この際、全てのペアを総当たりで試して最も直交関係に近い一対の平面を決定してもよい。３つの平面の組み合わせで互いの平面の角度が９０度から一定の範囲内である組み合わせの中で最も直交する一対の平面を決定してもよい。
次に、図３７から図４８を用いて、初期整列部１１を説明する。
図３７から図４８は実施の形態３におけるエレベーターの３次元データの処理装置の初期整列部を説明するための図である。
初期整列部１１は、点群データに対し、平面抽出部１０により抽出された一対の平面を基に、昇降路の各面とＸＹＺ座標系の各軸方向とほぼ直交するように点群データを回転させる。例えば、点群データにおいて、目指す姿勢は、図３７に示される。
例えば、図３８に示されるように、初期整列部１１は、点群データ表示デバイスを通して点群と一対の平面を表示し、一対の平面に対して、ユーザが点群データ表示デバイスを介して昇降路の面ラベルのいずれかを付与するように促す。この際、初期整列部１１は、それぞれの平面に付与されたラベル情報に応じてそれらの法線が所望の軸の向きに一致するように姿勢変換を行うことで点群データを整列させる。
例えば、図３９に示されるように、初期整列部１１は、点群データ表示デバイスを通してユーザに点群を表示し、昇降路の面のうち、隣接する２つの面に属する点の選択をユーザに促す。例えば、初期整列部１１は、ユーザに「前面」と「右面」に属する２点の選択を促す。初期整列部１１は、指定された２点近傍領域の点群を抜き出し、平面フィッティングを行ったうえで、「前面」として指定された点周りの法線をＮｆとし、「右面」として指定された点周りの法線をＮｒとして計算する。この際、近傍領域の大きさは、予め設定しておけばよい。
その後、図４０に示されるように、初期整列部１１は、一対の平面のそれぞれを平面ａ、平面ｂとする。初期整列部１１は、平面ａの法線をＮａとする。初期整列部１１は、平面ｂの法線をＮｂとする。初期整列部１１は、ＮａとＮｂとをＸＹ座標軸のいずれかの方向とほぼ一致させる座標変換のうち、ＮｆとＮとの座標返還後の法線であるＮｆ´とＮｒ´とがＺ軸－方向（０、０、－１）とＸ軸プラス方向（１、０、０）と最も近くなる座標変換を決定する。この際、座標変換後の法線Ｎｆ´とＺ軸マイナス方向（０、０、１）の内積と、座標変換後の法線Ｎｒ´とＸ軸プラス方向（０、０、１）の内積が、最も小さくなるように座標変換を選定すればよい。例えば、双方の内積の和が最も小さく座標変換を決定すればよい。
例えば、図４１に示されるように、初期整列部１１は、各座標軸の方向を表す法線ベクトルとの内積が最も小さくなるに軸方向を探索する。初期整列部１１は、探索された軸に対して、その法線が一致するように座標変換する。
例えば、Ｎａに関してマッチした軸方向に一致する変換を行い、その後、Ｎｂに関して変換を行う。
なお、一致させる軸は一対の平面の選定方法によらず一律としてもよい。
例えば、一対の平面が昇降路の壁面または底面またはこれらに準ずる構造に相当している場合、図４２に示されるように回転変換によって、整列後の点群データとＸＹＺ座標系との関係は、昇降路の各面とＸＹＺ座標系の各軸の関係が直交に近い関係になる。
この場合、図４３に示されるように、初期整列部１１は、座標変換後の点群データに関し、ＸＹＺ座標系における各軸の方向が昇降路の壁面・底面・天井のいずれ方向に相当するかのラベル付けを行う。例えば、初期整列部１１は、昇降路の面ラベルを、「前面」、「後面」、「左面」、「右面」、「下面」、「上面」とする。
例えば、図４４に示されるように、初期整列部１１は、基準直線抽出部２と同様にＸＹＺ軸のプラス方向とマイナス方向と投影画像を作成する。投影範囲は、現段階の点群データの外接矩形を求め、その外接矩形が示す最大および最小の値を基準にすればよい。
例えば、外接矩形の計算結果は以下に示される。
Ｘ座標最大値＝１．４［ｍ］
Ｘ座標最小値＝－１．３［ｍ］
Ｙ座標最大値＝１．２［ｍ］
Ｙ座標最小値＝－１．１［ｍ］
Ｚ座標最大値＝２．０［ｍ］
Ｚ座標最小値＝－１．５［ｍ］
この場合、Ｘ軸プラス方向の投影画像を生成する際、投影領域は、α１とα２とα３とが予め設定された定数値として以下に示される。
Ｘ座標の範囲：１．４－α１＜ｘ＜１．４
Ｙ座標の範囲：－１．０＋α２＜Ｙ＜１．２－α２
Ｚ座標の範囲：－１．５＋α３＜ｚ＜２．０－α３
その結果、図４５に示されるように、各軸方向の合計として６つの投影画像が生成される。この際、各投影画像は、昇降路の各面のいずれかを表すテクスチャパターンとなる。これらの投影画像の中の１つに対し、その画像が昇降路の面のいずれに相当するか、その向きも併せて推定することで、ＸＹＺ座標軸の各方向に対する昇降路の面のラベル付けがなされる。
例えば、投影画像から得られる画像特徴に基づいて画像認識の枠組みでラベル付けを行ってもよい。特に前面の投影画像は、乗場ドア、乗場の敷居など、特徴的なテクスチャパターンが存在する。このため、ラベル付けの対象として望ましい。この場合、乗場ドア、乗敷の敷居の種類、サイズ、配置の学習データとして幾らかのパターンから、エッジ特徴、位置不変・スケール不変な局所特徴を学習すれば、認識処理が容易になされる。
実際には投影画像の向きの不定性を考慮する必要がある。このため、図４７に示されるように、向きも併せて識別する場合、例えば、各投影画像を±９０度、１８０度それぞれ回転させた画像も入力として扱い、２４種類の投影画像を入力として、その中から最も“前面”らしい画像を識別すればよい。
また、投影画像の中で極端に投影点数が少ない投影画像は処理の対象外としてもよい。
また、昇降路の底面や天井面が元々ほとんど計測されていない点群データでは、投影画像に投影される点数は少なくなる。この場合、投影画像は“前面”ではあり得ないとして、あらかじめ処理の対象から外してもよい。
また、乗場ドアのような矩形の抽出、乗場の敷居の上端のような水平線の抽出等に基づいて、解析的に識別を行ってもよい。
その後、図４７に示されるように、初期整列部１１は、いずれの投影画像が“前面”であるか、さらにその識別された画像が元の投影画像に対して何度回転されたものかを認識する。初期整列部１１は、投影との対応関係から、ＸＹＺ座標系において現在前面がいずれの軸の向きの方向に位置するかを認識する。この際、左右面、下面、上面がいずれの軸方向に対応しているかは、連動して自動的に決定される。
その結果、図４８に示されるように、初期整列部１１は、現在の点群に対する昇降路の面のラベルとＸＹＺ軸の方向の関係とを把握する。初期整列部１１は、当該対応関係から所望の対応関係への座標変換を軸の入れ替えとして扱うことで点群データを整列させる。
なお、実施の形態３において、基準直線抽出部２は、初期整列部１１により整列した点群データから基準直線を抽出する。
以上で説明した実施の形態３によれば、処理装置１は、昇降路の３次元データから互いに直交する一対の平面を抽出する。処理装置１は、当該一対の平面に合わせて昇降路の３次元データを整列させる。このため、３次元入力部の計測時の姿勢によらず、昇降路の３次元データを整列させることができる。
なお、基準平面抽出部４において先に基準平面を抽出する場合、基準平面抽出部４において、初期整列部１１により整列した３次元データから昇降路の基準平面を抽出すればよい。
以上のように、本開示のエレベーターの３次元データの処理装置は、データを処理するシステムに利用できる。
１ 処理装置、 ２ 基準直線抽出部、 ３ 第１整列部、 ４ 基準平面抽出部、 ５ 第２整列部、 ６ 投影画像生成部、 ７ 投影画像特徴抽出部、 ８ 基準位置特定部、 ９ 寸法計算部、 １０ 平面抽出部、 １１ 初期整列部、 １００ａ プロセッサ、 １００ｂ メモリ、 ２００ ハードウェア

Claims (6)

  1. エレベーターの昇降路の３次元データが予め設定された座標系に対して整列している際に当該３次元データから２次元の投影画像を生成する投影画像生成部と、
    前記投影画像生成部により生成された投影画像の特徴を抽出する投影画像特徴抽出部と、
    前記投影画像特徴抽出部により抽出された特徴から当該３次元データの処理の基準位置を特定する基準位置特定部と、を備え、
    前記基準位置特定部は、当該３次元データの処理の基準位置として前記昇降路を分割する際の基準位置を特定するエレベーターの３次元データの処理装置。
  2. 前記投影画像生成部は、前記昇降路の側面を投影方向として当該３次元データから２次元の投影画像を生成する請求項１に記載のエレベーターの３次元データの処理装置。
  3. 前記投影画像生成部は、前記昇降路の乗場側の側面を投影方向として当該３次元データから２次元の投影画像を生成し、
    前記投影画像特徴抽出部は、投影画像の特徴として乗場の敷居の周辺のテクスチャパターンを抽出する請求項２に記載のエレベーターの３次元データの処理装置。
  4. エレベーターの昇降路の３次元データが予め設定された座標系に対して整列している際に当該３次元データから２次元の投影画像を生成する投影画像生成部と、
    前記投影画像生成部により生成された投影画像の特徴を抽出する投影画像特徴抽出部と、
    前記投影画像特徴抽出部により抽出された特徴から当該３次元データの処理の基準位置を特定する基準位置特定部と、を備え、
    前記投影画像生成部は、前記昇降路の側面を投影方向として当該３次元データから２次元の投影画像を生成するエレベーターの３次元データの処理装置。
  5. エレベーターの昇降路の３次元データが予め設定された座標系に対して整列している際に当該３次元データから２次元の投影画像を生成する投影画像生成部と、
    前記投影画像生成部により生成された投影画像の特徴を抽出する投影画像特徴抽出部と、
    前記投影画像特徴抽出部により抽出された特徴から当該３次元データの処理の基準位置を特定する基準位置特定部と、を備え、
    前記基準位置特定部は、当該３次元データの処理の基準位置として前記昇降路の寸法を計算する際の基準位置を特定し、
    前記投影画像生成部は、前記昇降路の側面を投影方向として当該３次元データから２次元の投影画像を生成するエレベーターの３次元データの処理装置。
  6. 前記基準位置特定部は、前記エレベーターの乗場の敷居の上端部を通過する平面と立柱の左右の端部を通過する平面と梁の上下端部を通過する平面とのうちのいずれかの平面に基づいて前記昇降路の寸法を計算する際の基準位置を特定する請求項４または請求項５に記載のエレベーターの３次元データの処理装置。
JP2022518443A 2020-04-27 2020-04-27 エレベーターの３次元データの処理装置 Active JP7323061B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017983 WO2021220345A1 (ja) 2020-04-27 2020-04-27 エレベーターの３次元データの処理装置

Publications (3)

Publication Number Publication Date
JPWO2021220345A1 JPWO2021220345A1 (ja) 2021-11-04
JPWO2021220345A5 JPWO2021220345A5 (ja) 2022-12-02
JP7323061B2 true JP7323061B2 (ja) 2023-08-08

Family

ID=78373427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022518443A Active JP7323061B2 (ja) 2020-04-27 2020-04-27 エレベーターの３次元データの処理装置

Country Status (5)

Country Link
US (1) US20230169672A1 (ja)
JP (1) JP7323061B2 (ja)
CN (1) CN115461295A (ja)
DE (1) DE112020007119T5 (ja)
WO (1) WO2021220345A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7326537B1 (ja) 2022-05-20 2023-08-15 東芝エレベータ株式会社 昇降機座標軸設定方法及び昇降機形状計測装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185419A (ja) 2001-12-20 2003-07-03 Sumitomo Metal Ind Ltd 反り形状計測方法及び装置
WO2016199850A1 (ja) 2015-06-09 2016-12-15 三菱電機株式会社 昇降路寸法計測装置および昇降路寸法計測方法
JP6322544B2 (ja) 2014-10-21 2018-05-09 株式会社日立ビルシステム 据付図作成装置、据付図作成方法及び据付図作成プログラム
JP2019176424A (ja) 2018-03-29 2019-10-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58169051A (ja) 1982-03-31 1983-10-05 Shimadzu Corp 誘導結合プラズマ光源用電源装置
JP2007178261A (ja) * 2005-12-28 2007-07-12 Epson Imaging Devices Corp 電気光学装置用基板の検査方法、電気光学装置用基板の製造方法、及び検査装置
JP2015206768A (ja) * 2014-04-23 2015-11-19 株式会社東芝 前景領域抽出装置、前景領域抽出方法及びプログラム
JP2016098063A (ja) * 2014-11-19 2016-05-30 株式会社東芝 エレベータ昇降路内形状測定装置、エレベータ昇降路内形状測定方法、およびエレベータ昇降路内形状測定プログラム
JP6602275B2 (ja) * 2016-08-09 2019-11-06 株式会社日立ビルシステム エレベータ機械室図面生成装置、エレベータ機械室モデリングデータ生成装置、エレベータ機械室図面生成方法、及びエレベータ機械室モデリングデータ生成方法
EP3299323B1 (en) * 2016-09-23 2020-04-01 Otis Elevator Company Secondary car operating panel for elevator cars

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185419A (ja) 2001-12-20 2003-07-03 Sumitomo Metal Ind Ltd 反り形状計測方法及び装置
JP6322544B2 (ja) 2014-10-21 2018-05-09 株式会社日立ビルシステム 据付図作成装置、据付図作成方法及び据付図作成プログラム
WO2016199850A1 (ja) 2015-06-09 2016-12-15 三菱電機株式会社 昇降路寸法計測装置および昇降路寸法計測方法
JP2019176424A (ja) 2018-03-29 2019-10-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、および、撮像装置の制御方法

Also Published As

Publication number Publication date
JPWO2021220345A1 (ja) 2021-11-04
DE112020007119T5 (de) 2023-03-09
WO2021220345A1 (ja) 2021-11-04
US20230169672A1 (en) 2023-06-01
CN115461295A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
JP5328979B2 (ja) 物体認識方法、物体認識装置、自律移動ロボット
US12067173B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US9117281B2 (en) Surface segmentation from RGB and depth images
Chan et al. A multi-sensor approach to automating co-ordinate measuring machine-based reverse engineering
Szeptycki et al. A coarse-to-fine curvature analysis-based rotation invariant 3D face landmarking
CN110135439B (zh) 一种自动识别货架的方法及装置、移动机器人
JPH0685183B2 (ja) ２次元像による３次元物体の同定方法
US10380767B2 (en) System and method for automatic selection of 3D alignment algorithms in a vision system
JP6397354B2 (ja) 人物領域検出装置、方法およびプログラム
JP2010541065A (ja) ３次元飲料容器位置決定装置
JP7323061B2 (ja) エレベーターの３次元データの処理装置
CN114596313B (zh) 一种基于室内点云的建筑物构件损伤检测方法及相关设备
JP7420231B2 (ja) エレベーターの３次元データの処理装置
Asif et al. Real-time pose estimation of rigid objects using RGB-D imagery
Miyakawa et al. Automatic estimation of the position and orientation of stairs to be reached and climbed by a disaster response robot by analyzing 2D image and 3D point cloud
Dibeklioğlu et al. Nasal region-based 3D face recognition under pose and expression variations
JP5556382B2 (ja) ワーク段積み状態認識装置
CN115187744A (zh) 一种基于激光点云的机柜识别方法
Carbonaro et al. Landmark matching in a varying environment
WO2024176359A1 (ja) 位置補正装置、ロボットシステムおよび位置補正プログラム
CN118900752A (zh) 机器人系统
CN116245946A (zh) 一种基于三维点云的库区多层线卷位置检测方法及系统
WOLFGANG BRANDENBURGER et al. Cornice Detection Using Façade Image and Point Cloud
JP2011248441A (ja) 画像処理装置及び移動体位置推定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230710

R150 Certificate of patent or registration of utility model

Ref document number: 7323061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150