JP7489363B2 - 点群データ処理装置、該方法および該プログラム - Google Patents

点群データ処理装置、該方法および該プログラム Download PDF

Info

Publication number
JP7489363B2
JP7489363B2 JP2021169828A JP2021169828A JP7489363B2 JP 7489363 B2 JP7489363 B2 JP 7489363B2 JP 2021169828 A JP2021169828 A JP 2021169828A JP 2021169828 A JP2021169828 A JP 2021169828A JP 7489363 B2 JP7489363 B2 JP 7489363B2
Authority
JP
Japan
Prior art keywords
data
point cloud
missing
determination
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021169828A
Other languages
English (en)
Other versions
JP2023059688A (ja
Inventor
祥平 上村
圭太 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shinko Pantec Co Ltd
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Kobelco Eco Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd, Kobelco Eco Solutions Co Ltd filed Critical Kobe Steel Ltd
Priority to JP2021169828A priority Critical patent/JP7489363B2/ja
Publication of JP2023059688A publication Critical patent/JP2023059688A/ja
Application granted granted Critical
Publication of JP7489363B2 publication Critical patent/JP7489363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)

Description

本発明は、処理対象の3次元点群データを情報処理する点群データ処理装置、点群データ処理方法および点群データ処理プログラムに関する。
近年、様々な分野で自動化が進展し、技術開発されており、その1つに、特許文献1に開示された情報処理装置がある。この特許文献1に開示された情報処理装置は、ごみピット内に堆積されたごみの高さを推定する情報処理装置であって、上記ごみピット内を撮影した画像における、ごみピットの壁面とごみとの境界を特定する境界特定部と、上記画像における壁面上に設定された基準線と、上記境界特定部が特定した境界との位置関係から、上記境界におけるごみの高さを算出する高さ算出部とを備え、上記高さ算出部は、上記ごみピットの複数の壁面について該壁面とごみとの境界におけるごみの高さを算出すると共に、上記境界より内側の領域におけるごみの高さを、上記境界までの距離に応じた加重平均により上記境界におけるごみの高さから算出する。
特開2018-173248号公報
ところで、前記自動化には、対象物体を認識する必要があるが、その1つに、前記対象物体を3次元点群データで表して認識することが知られている。例えばLiDAR等の、3次元点群データを生成する3次元点群データ生成装置で対象物体の3次元点群データを生成する際に、当該3次元点群データ生成装置と前記対象物体との間に、何らかの他の物体が存在すると、前記他の物体によって3次元点群データ生成装置に死角が生じたり、3次元点群データに前記他の物体のデータが前記対象物体のデータに対するノイズとして含まれてしまう虞がある。
本発明は、上述の事情に鑑みて為された発明であり、その目的は、処理対象の3次元点群データを適正化できる点群データ処理装置、点群データ処理方法および点群データ処理プログラムを提供することである。
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる点群データ処理装置は、所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得するデータ取得部と、前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間処理を行う欠損判定補間部と、前記欠損判定補間部で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去処理を行う外れ値判定除去部と、前記外れ値判定除去部で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間処理および前記外れ値判定除去処理それぞれを前記欠損判定補間部および前記外れ値判定除去部それぞれに繰り返し行わせる繰返し処理部とを備える。好ましくは、上述の点群データ処理装置において、前記欠損判定補間処理を行う対象となる前記3次元点群データは、初回では、前記データ取得部によって取得した3次元点群データであり、2回目以降では、前記外れ値判定除去部で処理した後の3次元点群データである。好ましくは、上述の点群データ処理装置において、前記欠損判定補間部は、前記所定の範囲内における全ての各データそれぞれを順次に、前記欠損判定補間処理を前記欠損判定補間部に行わせる処理を所定の回数(ループ回数)まで行う。好ましくは、上述の点群データ処理装置において、前記外れ値判定除去部は、外れ値のデータであるか否かを判定するための閾値を用いることによって、前記外れ値があるか否かを判定する。
このような点群データ処理装置は、3次元点群データにデータの欠損があると判定した場合に、前記データの欠損を補間するので、例えば3次元点群データを生成する際に死角よって欠損が生じても欠損のデータを補間できる。上記点群データ処理装置は、3次元点群データに外れ値のデータがあると判定した場合に、前記外れ値のデータを除外するので、例えば3次元点群データを生成する際に前記対象物体では無い他の物体によって生じたデータ等のノイズを除去できる。したがって、上記点群データ処理装置は、前記取得した処理対象の3次元点群データを適正化できる。
他の一態様では、上述の点群データ処理装置において、前記欠損判定補間部は、前記データ取得部で取得した3次元点群データにデータの欠損が少なくとも1個あるか否かを判定し、前記データの欠損が少なくとも1個あると判定した場合に前記データの欠損を補間し、前記データの欠損が1個も無いと判定した場合に、前記データの欠損が1個も無いと判定した3次元点群データを、前記欠損判定補間部で処理した後の3次元点群データとする。
このような点群データ処理装置は、まず、前記データ取得部で取得した3次元点群データにデータの欠損が少なくとも1個あるか否かを判定するので、前記データ取得部で取得した3次元点群データに前記データの欠損が1個も無い場合に、前記欠損判定補間処理を省略できる。
他の一態様では、これら上述の点群データ処理装置において、前記欠損判定補間部は、前記3次元点群データの各データそれぞれについて、当該データに欠損があるか否かを判定する欠損判定部と、前記欠損判定部で前記データの欠損があると判定された場合に、前記データの欠損を補間する欠損補間部とを備え、前記欠損補間部は、欠損のデータの周囲に、欠損ではないデータが半数以上ある場合に、前記欠損のデータの周囲における前記欠損ではないデータに基づいて前記データの欠損を補間する。好ましくは、上述の点群データ処理装置において、前記欠損補間部は、前記欠損ではないデータの平均値を前記欠損のデータのデータ値とすることによって前記データの欠損を補間する。
前記3次元座標空間における互いに隣接した各座標点でそれら各データが欠損している場合、適切なデータ値で補間できない虞がある。上記点群データ処理装置は、欠損のデータの周囲に、欠損ではないデータが半数以上ある場合に、前記欠損のデータの周囲における前記欠損ではないデータに基づいて前記データの欠損を補間するので、より適切なデータ値で補間できる。
他の一態様では、これら上述の点群データ処理装置において、前記外れ値判定除去部は、前記欠損判定補間部で処理した後の3次元点群データの各データそれぞれについて、当該データと当該データの周囲のデータそれぞれとの差分を求め、前記周囲のデータそれぞれについて求めた各差分の平均値と、前記外れ値のデータであるか否かを判定するための閾値とを比較することによって、当該データが前記外れ値のデータであるか否かを判定する。
前記外れ値は、前記対象物体を表すデータ値から外れた値であるので、データ値の変化が大きいと考えられ、外れ値のデータは、その周囲のデータから乖離しているものと考えられる。上記点群データ処理装置は、外れ値のデータの判定に、判定対象のデータに対する周囲のデータを考慮するので、外れ値のデータであるか否かをより適切に判定できる。
他の一態様では、これら上述の点群データ処理装置において、前記データ取得部で取得した3次元点群データから、データを間引くことによって新たな3次元点群データを生成し、前記生成した新たな3次元点群データを、前記欠損判定補間部で前記欠損判定補間処理を行う3次元点群データとする間引き部をさらに備える。好ましくは、上述の点群データ処理装置において、前記間引き部は、前記データ取得部で取得した3次元点群データから、予め設定された所定の規則に従ってデータを間引く。好ましくは、上述の点群データ処理装置において、前記間引き部は、前記3次元座標空間を構成する1個の座標軸に沿った軸方向から見た場合に、データが所定の間隔で等間隔に並ぶように、前記データ取得部で取得した3次元点群データから、データを間引く。
このような点群データ処理装置は、前記データ取得部で取得した3次元点群データ(元の3次元点群データ)から、データを間引いて新たな3次元点群データを生成し、この生成した新たな3次元点群データを処理するので、情報処理量を低減でき、情報処理時間を短縮できる。
他の一態様では、これら上述の点群データ処理装置において、前記3次元点群データは、廃棄物を焼却する焼却施設における収容部に収容された前記廃棄物を、前記対象物体として計測することによって生成された3次元点群データである。
焼却施設では、収容部に収容された廃棄物の撹拌や運搬等のために、天井クレーン等が設置されることがあり、計測計で廃棄物の堆積状況を計測する場合に、前記天井クレーン等によって死角やノイズが生じ得る。その結果、廃棄物を計測した3次元点群データに欠損や外れ値が生じ、廃棄物の状況を適切に認識できない虞がある。上記点群データ処理装置は、欠損を補間し、外れ値のデータを除外することによって適正化するので、廃棄物の状況を適切に認識することが可能となる。
本発明の他の一態様にかかる点群データ処理方法は、所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得するデータ取得工程と、前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間工程と、前記欠損判定補間工程で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去工程と、前記外れ値判定除去工程で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間工程および前記外れ値判定除去工程それぞれを繰り返し行わせる繰返し工程とを備える。
本発明の他の一態様にかかる点群データ処理プログラムは、コンピュータを、 所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得するデータ取得部、前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間処理を行う欠損判定補間部、前記欠損判定補間部で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去処理を行う外れ値判定除去部、および、前記外れ値判定除去部で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間処理および前記外れ値判定除去処理それぞれを前記欠損判定補間部および前記外れ値判定除去部それぞれに繰り返し行わせる繰返し処理部、として機能させるためのプログラムである。
このような点群データ処理方法および点群データ処理プログラムは、3次元点群データにデータの欠損があると判定した場合に、前記データの欠損を補間するので、例えば3次元点群データを生成する際に死角よって欠損が生じても欠損のデータを補間できる。上記点群データ処理方法および点群データ処理プログラムは、3次元点群データに外れ値のデータがあると判定した場合に、外れ値のデータを除外するので、例えば3次元点群データを生成する際に前記対象物体では無い他の物体によって生じたデータ等のノイズを除去できる。したがって、上記点群データ処理方法および点群データ処理プログラムは、前記取得した処理対象の3次元点群データを適正化できる。
本発明にかかる点群データ処理装置、点群データ処理方法および点群データ処理プログラムは、処理対象の3次元点群データを適正化できる。
実施形態における点群データ処理装置の構成を示すブロック図である。 一例として、受入ピットを側面視した概略図である。 補間の手法を説明するための模式図である。 差分の平均値の求め方を説明するための模式図である。 前記点群データ処理装置の動作を示すフローチャートである。 一例として、実際に稼動している焼却施設において本実施形態を適用した結果を示す3次元グラフである。 変形形態の一例として、実際に稼動している焼却施設において本実施形態を適用した結果を示す3次元グラフである。
以下、図面を参照して、本発明の1または複数の実施形態が説明される。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
実施形態における点群データ処理装置は、所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得するデータ取得部と、前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間処理を行う欠損判定補間部と、前記欠損判定補間部で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去処理を行う外れ値判定除去部と、前記外れ値判定除去部で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間処理および前記外れ値判定除去処理それぞれを前記欠損判定補間部および前記外れ値判定除去部それぞれに繰り返し行わせる繰返し処理部とを備える。以下、このような点群データ処理装置について、より具体的に説明する。
図1は、実施形態における点群データ処理装置の構成を示すブロック図である。図2は、一例として、受入ピットを側面視した概略図である。図3は、補間の手法を説明するための模式図である。図3Aは、所定の範囲がZ方向から見て四角形である場合に、補間する対象のデータの座標位置が角(コーナ、頂点)である場合を示し、図3Bは、前記補間対象のデータの座標位置が端辺である場合を示し、図3Cは、前記補間対象のデータの座標位置が前記角および前記端辺を除く位置である場合を示す。図4は、差分の平均値の求め方を説明するための模式図である。図4Aは、所定の範囲がZ方向から見て四角形である場合に、差分の平均値を求める対象のデータの座標位置が角(コーナ、頂点)である場合を示し、図4Bは、前記対象のデータの座標位置が端辺である場合を示し、図4Cは、前記対象のデータの座標位置が前記角および前記端辺を除く位置である場合を示す。
実施形態における点群データ処理装置Aは、例えば、図1に示すように、データ取得部1と、制御処理部2と、入力部3と、出力部4と、インターフェース部(IF部)5と、記憶部6とを備える。
データ取得部1は、制御処理部2に接続され、制御処理部2の制御に従って、所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得する装置である。
前記所定の対象物体は、3次元点群データを生成することができれば、任意であり、前記所定の範囲も、任意である。例えば、前記所定の対象物体は、廃棄物を焼却する焼却施設における収容部に収容された前記廃棄物である。このような場合に、前記3次元点群データは、前記廃棄物を、前記対象物体として計測することによって生成された3次元点群データである。一例では、前記収容部は、例えば、図2に示す、廃棄物のゴミを焼却するゴミ焼却施設に設けられ、前記廃棄物のゴミを受け入れる受入ピットPTである。この受入ピットPTは、底面および壁面をコンクリートで形成され天面を開放した略直方体状の空所(凹所)である。受入ピットPTには、クレーンガータCGに支持されクレーンガータCGから吊り下げされたクレーンCRが備えられている。図2に示すように3次元のXYZ直交座標系を設定した場合、クレーンCRは、クレーンガータCGに対しZ方向(紙面上下方向)に沿って移動可能に構成され、クレーンガータCGに案内されてX方向(紙面左右方向)に沿って移動可能に構成され、クレーンガータCGは、Y方向に延びる、図略のランウェイレールに案内されてY方向(紙面前後方向)に沿って移動可能に構成される。これによってクレーンCRは、Z方向、X方向およびY方向の3次元の各方向に移動可能に構成される。受入ピットPTに隣接して投入ホッパHPが設けられている。投入ホッパHPは、図略の焼却炉に繋がっており、受入ピットPTからクレーンCRによって掴み上げられた廃棄物が投入ホッパHPに投入されることで、廃棄物が焼却炉に導入され、焼却される。このような焼却施設のクレーンCRは、例えば、受入ピットPT内で廃棄物のゴミの撹拌や、前記廃棄物のゴミの運搬等に用いられる。
データ取得部1は、例えば、所定の対象物体を計測することによってその3次元点群データを生成する測定計MDである。前記測定計MDは、例えば、LiDAR(Light Detection and Ranging、3次元レーザスキャナ)や、ステレオカメラ式測距計等であり、対象表面の各位置(形状)を表す3次元点群データを生成する。LiDARは、大略、走査しながら、光や超音波等の測定パルス波を送受信することによって、いわゆるTOF(Time of Flight)方式で物体表面までの距離を求める。ステレオカメラ式測距計は、大略、互いに光軸が平行となるように基線長だけ離間して配置された左右1対のステレオカメラで撮像した左右1対の各画像に基づいて視差を求め、この求めた視差に基づいていわゆる三角測量の原理に基づき物体表面までの距離を求める。このような測定計MDは、例えば、図2に示す場合では、受入ピットPTに収容された廃棄物のゴミの上面全体を俯瞰して計測できるように受入ピットPTの上方に配設される。図2に示す例では、測定計MDは、受入ピットPTにおける一方側壁の上端部に配設される。この図2に示す例では、前記所定の範囲は、Z方向から見て四角形となる。
あるいは、例えば、データ取得部1は、このような測定計MDで計測して生成した対象物体の3次元点群データを入力する入力部であってよい。この場合では、データ取得部1は、後述の入力部3と兼用されてよい。
あるいは、例えば、データ取得部1は、外部の機器との間でデータを入出力するインターフェース回路であってよく、この場合では、前記外部の機器は、前記対象物体の3次元点群データを記憶した記憶媒体である。前記記憶媒体は、例えばUSB(Universal Serial Bus)メモリおよびSDカード(登録商標)等である。あるいは、例えば、データ取得部1は、前記対象物体の3次元点群データを記録した記録媒体からデータを読み込むドライブ装置であってよく、この場合では、前記記録媒体は、例えばCD-ROM(Compact Disc Read Only Memory)、CD-R(Compact Disc Recordable)、DVD-ROM(Digital Versatile Disc Read Only Memory)およびDVD-R(Digital Versatile Disc Recordable)等である。あるいは、例えば、データ取得部1は、外部の機器と通信信号を送受信する通信インターフェース回路であってよく、この場合では、前記外部の機器は、ネットワーク(WAN(Wide Area Network、公衆通信網を含む)やLAN(Local Area Network)等)を介して前記通信インターフェース回路に接続され前記対象物体の3次元点群データを管理するサーバ装置である。データ取得部1が上述のインターフェース回路や通信インターフェース回路である場合では、データ取得部1は、後述のIF部5と兼用されてよい。
入力部3は、制御処理部2に接続され、例えば、処理開始を指示するコマンド等の各種コマンド、および、対象物体名(対象物体の3次元点群データ名)等の点群データ処理装置Aを動作させる上で必要な各種データを点群データ処理装置Aに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチや、キーボードや、マウス等である。出力部4は、制御処理部2に接続され、制御処理部2の制御に従って、入力部3から入力されたコマンドやデータ、および、処理結果の3次元点群データ等を出力する機器であり、例えばCRTディスプレイ、液晶ディスプレイおよび有機ELディスプレイ等の表示装置やプリンタ等の印刷装置等である。
なお、入力部3および出力部4からいわゆるタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部3は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部4は、表示装置である。このタッチパネルでは、前記表示装置の表示面上に前記位置入力装置が設けられ、前記表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、前記位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として点群データ処理装置Aに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い点群データ処理装置Aが提供される。
IF部5は、制御処理部2に接続され、制御処理部2の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるRS-232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。また、IF部5は、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、IEEE802.11規格等に従った通信インターフェース回路等であってもよい。
記憶部6は、制御処理部2に接続され、制御処理部2の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、点群データ処理装置Aの各部1、3~6を当該各部の機能に応じてそれぞれ制御する制御プログラムや、前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間プログラムや、前記欠損判定補間プログラムで処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去プログラムや、前記外れ値判定除去プログラムで外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間プログラムおよび前記外れ値判定除去プログラムそれぞれを繰り返し実行する繰返し処理プログラムや、データ取得部1で取得した3次元点群データから、データを間引くことによって新たな3次元点群データを生成し、前記生成した新たな3次元点群データを、前記欠損判定補間プログラムで用いる3次元点群データとする間引きプログラム等が含まれる。前記各種の所定のデータには、前記対象物体名(対象物体の3次元点群データ名)、前記所定の上限回数、および、前記外れ値のデータであるか否かを判定するための閾値(外れ値判定閾値)等の、これら各プログラムを実行する上で必要なデータが含まれる。このような記憶部6は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部6は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2のワーキングメモリとなるRAM(Random Access Memory)等を含む。なお、記憶部6は、比較的大容量となる学習データを記憶するために、大容量を記憶可能なハードディスク装置を備えても良い。
制御処理部2は、点群データ処理装置Aの各部1、3~6を当該各部の機能に応じてそれぞれ制御し、適正化するように、処理対象の3次元点群データを情報処理するための回路である。制御処理部2は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2には、前記制御処理プログラムが実行されることによって、制御部21、間引き部22、欠損判定補間部23、外れ値判定除去部24および繰返し処理部25が機能的に構成される。
制御部21は、点群データ処理装置Aの各部1、3~6を当該各部の機能に応じてそれぞれ制御し、点群データ処理装置A全体の制御を司るものである。
間引き部22は、データ取得部1で取得した3次元点群データ(元の3次元点群データ)から、データを間引くことによって新たな3次元点群データを生成し、前記生成した新たな3次元点群データを、欠損判定補間部23で前記欠損判定補間処理を行う3次元点群データとするものである。間引き部22は、元の3次元点群データから、予め設定された所定の規則に従ってデータを間引く。例えば、図2に示す場合では、前記元の3次元点群データは、受入ピットPTに収容された廃棄物のゴミの上面形状を表すデータであり、間引き部22は、3次元XYZ座標空間を構成する1個の座標軸、例えばZ軸に沿った軸方向から見た場合に、データが所定の間隔で等間隔に並ぶように、元の3次元点群データから、データを間引くことによって、前記新たな3次元点群データを生成する。前記間引く所定の間隔は、例えば元の3次元点群データの解像度(空間分解能)や対象物体の認識に必要な解像度(空間分解能)等を考慮して予め適宜に設定される。
欠損判定補間部23は、前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間処理を行うものである。前記欠損判定補間処理は、繰返し処理部25で繰り返し実行されるが、前記欠損判定補間処理を行う対象となる前記3次元点群データは、前記繰り返しの実行における初回では、データ取得部1によって取得した3次元点群データであり、前記繰り返しの実行における2回目以降では、前記外れ値判定除去部で処理した後の3次元点群データである。本実施形態では、データ取得部1によって取得した3次元点群データは、間引き部22で間引かれるので、前記欠損判定補間処理を行う対象となる前記3次元点群データは、前記初回では、データ取得部1によって取得し、間引き部22で間引いた3次元点群データとなる。前記データの欠損であるか否かの判定は、例えば、データ自体が存在しない場合に前記データの欠損と判定される。あるいは、例えば、前記データの欠損であるか否かの判定は、データ自体は存在するものの、そのデータ値が、前記データの欠損であると判定するため条件(欠損判定条件)を満たす場合(例えばそのデータ値が前記データの欠損であるか否かを判定するための、予め設定された閾値(欠損判定閾値)未満である場合)に前記データの欠損と判定される。
本実施形態では、欠損判定補間部23は、さらに、データ取得部1で取得した3次元点群データにデータの欠損が少なくとも1個あるか否かを判定し、前記データの欠損が少なくとも1個あると判定した場合に前記データの欠損を補間し、前記データの欠損が1個も無いと判定した場合に、前記データの欠損が1個も無いと判定した3次元点群データを、外れ値判定除去部24で用いる、欠損判定補間部23で処理した後の3次元点群データとする。本実施形態では、データ取得部1によって取得した3次元点群データは、間引き部22で間引かれるので、欠損判定補間部23は、データ取得部1で取得し、間引き部22で間引いた3次元点群データにデータの欠損が少なくとも1個あるか否かを判定し、前記データの欠損が少なくとも1個あると判定した場合に前記データの欠損を補間し、前記データの欠損が1個も無いと判定した場合に、前記データの欠損が1個も無いと判定した3次元点群データを、外れ値判定除去部24で用いる、欠損判定補間部23で処理した後の3次元点群データとする。
この欠損判定補間部23は、欠損の判定およびその補間に関し、より具体的には、欠損判定部231と、欠損補間部232とを機能的に備えている。
欠損判定部231は、前記所定の範囲内での3次元点群データの各データそれぞれについて、当該データに欠損があるか否かを判定するものである。つまり、欠損判定部231は、前記所定の範囲内での3次元点群データにおける全ての各データそれぞれを順次に、該データに欠損があるか否かを判定する。
欠損補間部232は、前記欠損判定部231で前記データの欠損があると判定された場合に、前記データの欠損を補間するものである。前記補間では、欠損補間部232は、欠損のデータの周囲に、欠損ではないデータが半数以上ある場合に、前記欠損のデータの周囲における前記欠損ではないデータに基づいて前記データの欠損を補間する。より具体的には、所定の範囲がZ方向から見て四角形である場合に、補間する対象のデータ(補間対象データ、すなわち、後述の欠損補間対象データ)MP1の座標位置が角(コーナ、頂点)である場合では、図3Aに示すように、補間対象データMP1の周囲には、3個のデータSP11~SP13が存在するので、欠損補間部232は、欠損ではないデータが2個以上ある場合に、前記データの欠損を補間する。例えば、欠損補間部232は、前記欠損ではないデータの平均値を前記欠損のデータのデータ値とすることによって前記データの欠損を補間する。前記補間対象データMP2の座標位置が端辺である場合では、図3Bに示すように、補間対象データMP2の周囲には、5個のデータSP21~SP25が存在するので、欠損補間部232は、欠損ではないデータが3個以上ある場合に、前記データの欠損を補間し、前記欠損ではないデータの平均値を前記欠損のデータのデータ値とすることによって前記データの欠損を補間する。そして、前記補間対象データMP3の座標位置が前記角および前記端辺を除く位置である場合では、図3Cに示すように、補間対象データMP3の周囲には、8個のデータSP31~SP38が存在するので、欠損補間部232は、欠損ではないデータが4個以上ある場合に、前記データの欠損を補間し、前記欠損ではないデータの平均値を前記欠損のデータのデータ値とすることによって前記データの欠損を補間する。一方、欠損補間部232は、欠損のデータの周囲に、欠損のデータの周囲にある、欠損ではないデータが半数未満である場合には、前記データの欠損を補間せずに、前記データの欠損のままとする。
外れ値判定除去部24は、欠損判定補間部23で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去処理を行うものである。より具体的には、外れ値判定除去部24は、前記判定では、欠損判定補間部23で処理した後の3次元点群データの各データそれぞれについて、当該データと当該データの周囲のデータそれぞれとの差分を求め、前記周囲のデータそれぞれについて求めた各差分の平均値と、前記外れ値のデータであるか否かを判定するための閾値(外れ値判定閾値)とを比較することによって、当該データが前記外れ値のデータであるか否かを判定する。前記外れ値判定閾値は、例えば3次元点群データの複数のサンプルを用いて予め適宜に設定される。より詳しくは、所定の範囲がZ方向から見て四角形である場合であってZ座標値のみに着目すると、前記差分の平均値を求める演算(差分平均演算)の対象のデータ(差分平均演算対象データ)MP1の座標位置が角(コーナ)である場合では、図4Aに示すように、差分平均演算対象データMP1の周囲には、3個のデータSP11~SP13が存在し、差分平均演算対象データMP1のZ座標値をzとし、その周囲における3個のデータSP11~SP13の各Z座標値をz~zとした場合、前記差分の平均値S(z)は、次式1で表される。前記差分平均演算対象データMP2の座標位置が端辺である場合では、図4Bに示すように、差分平均演算対象データMP2の周囲には、5個のデータSP21~SP25が存在し、差分平均演算対象データMP2のZ座標値をzとし、その周囲における5個のデータSP21~SP25の各Z座標値をz~zとした場合、前記差分の平均値S(z)は、次式2で表される。前記差分平均演算対象データMP3の座標位置が前記角および前記端辺を除く位置である場合では、図4Cに示すように、差分平均演算対象データMP3の周囲には、8個のデータSP31~SP38が存在し、差分平均演算対象データMP3のZ座標値をzとし、その周囲における8個のデータSP31~SP38の各Z座標値をz~zとした場合、前記差分の平均値S(z)は、次式3で表される。
Figure 0007489363000001
Figure 0007489363000002
Figure 0007489363000003
外れ値判定除去部24は、このように求めた差分の平均値S(z)が前記外れ値判定閾値を超える場合に、前記外れ値のデータがあるか否かを判定する対象のデータが外れ値のデータであると判定し、前記差分の平均値S(z)が前記外れ値判定閾値以下である場合に、前記対象のデータが外れ値のデータではないと判定する。
繰返し処理部25は、外れ値判定除去部24で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間処理および前記外れ値判定除去処理それぞれを欠損判定補間部23および外れ値判定除去部24それぞれに繰り返し行わせるものである。前記所定の上限回数は、例えば3次元点群データの複数のサンプルを用いて予め適宜に設定される。
これら制御処理部2、入力部3、出力部4、IF部5および記憶部6は、例えば、デスクトップ型やノート型等のコンピュータによって構成可能である。なお、図2に示す例では、これら各部2~6を構成するコンピュータは、例えば、焼却施設のオペレーションルームに配置され、そのコンソールに組み込まれてよく(前記コンソールと兼用されてよく)、あるいは、前記コンソールと別体であってもよい。
次に、本実施形態の動作について説明する。図5は、前記点群データ処理装置の動作を示すフローチャートである。
このような構成の点群データ処理装置Aは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部2には、その制御処理プログラムの実行によって、制御部21、間引き部22、欠損判定補間部23、外れ値判定除去部24および繰返し処理部25が機能的に構成され、欠損判定補間部23には、欠損判定部231および欠損補間部232が機能的に構成される。
図5において、まず、点群データ処理装置Aは、初期設定し、データ取得部1によって、対象物体の3次元点群データ(元の3次元点群データ)を取得して記憶部6に記憶し(S11)、続いて、制御処理部2の間引き部22によって、処理S11でデータ取得部1によって取得した3次元点群データから、データを間引くことによって新たな3次元点群データを生成し、この生成した新たな3次元点群データを以降の処理に用いる3次元点群データとして記憶部6に記憶する(S12)。前記初期設定では、欠損判定補間処理を実施した回数をカウント(計数)するためのカウンタ(ループカウンタ)RTを0に初期化し(RT←0)、欠損判定補間処理および外れ値判定除去処理を実施した回数をカウント(計数)するためのカウンタ(ステップカウンタ)SCを0に初期化する(SC←0)。
続いて、点群データ処理装置Aは、制御処理部2の欠損判定補間部23によって、前記記憶した3次元点群データにデータの欠損が少なくとも1個あるか否かを判定する(S13)。この判定の結果、前記データの欠損が少なくとも1個あると判定した場合(Yes)には、前記データの欠損を補間するために、点群データ処理装置Aは、次に、処理S14を実行する。一方、前記判定の結果、前記データの欠損が1個も無いと判定した場合(No)には、点群データ処理装置Aは、欠損判定補間部23によって、前記データの欠損が1個も無いと判定した3次元点群データを、欠損判定補間部23で処理した後の3次元点群データとして、今回の欠損判定補間処理を省略するために、次に、処理S22を実行する。
この処理S14では、点群データ処理装置Aは、欠損判定補間部23によって、欠損判定補間処理を行う対象のデータ(欠損補間対象データ)として、3次元点群データの各データの中から、欠損判定補間処理を開始するデータ(開始対象データ)を設定する。例えば、図2に示す例では、前記所定の範囲は、Z方向から見て四角形であり、この四角形の4頂点(角)のうちの1つの頂点(例えば平面視にて左上の頂点)を座標原点とした3次元XYZ座標系を設定し、座標(0、0、z)のデータを、前記欠損補間対象データの前記開始対象データとして設定する。
続いて、点群データ処理装置Aは、欠損判定補間部23の欠損判定部231によって、欠損補間対象データが欠損しているか否かを判定する(S15)。この判定の結果、欠損補間対象データが欠損していない場合(No)には、欠損判定補間部23は、次に、処理S17を実行し、一方、前記判定の結果、欠損補間対象データが欠損している場合(Yes)には、欠損補間部232によって、データの欠損を補間し(S16)、その次に、処理S17を実行する。なお、上述したように、本実施形態では、欠損のデータの周囲に、欠損ではないデータが半数未満である場合には、前記データの欠損が補間されず、欠損補間対象データは、前記データの欠損のままとされる。
この処理S17では、点群データ処理装置Aは、欠損判定補間部23によって、欠損補間対象データが、欠損判定補間処理を終了する最後の欠損補間対象データであるか否かを判定する。この判定の結果、欠損補間対象データが、前記最後の欠損補間対象データである場合(Yes)には、点群データ処理装置Aは、次に、処理S19を実行する。一方、前記判定の結果、欠損補間対象データが、前記最後の欠損補間対象データではない場合(No)には、点群データ処理装置Aは、欠損判定補間部23によって、欠損補間対象データを、次に損判定補間処理を行う対象のデータに設定し(S18)、その後、処理を処理S15に戻す。これによって、前記開始対象データから、前記最後の欠損補間対象データまで、3次元点群データにおける全ての各データそれぞれについて、順次に、前記データの欠損が判定され、前記データの欠損があると判定された場合に、前記データの欠損が補間される。前記最後の欠損補間対象データは、図2に示す例において、例えば、いわゆるラスタースキャンのように欠損補間対象データをシフトする場合、前記座標原点に対角する頂点のデータとなり、次に損判定補間処理を行う対象のデータは、この場合、まず、X方向に1個だけシフトしたデータ(x←x+1)となり、X方向の最後のデータに到達すると、Y方向に1だけシフトしたX方向の最初のデータ(x=0、y←y+1)となり、以降、同様の繰り返しによってシフトしたデータとなる。なお、欠損補間対象データの設定方法は、このラスタースキャンに限らず、3次元点群データにおける全ての各データそれぞれについて、欠損判定補間処理が実施されればよいので、他の設定方法であってよい。
前記処理S19では、点群データ処理装置Aは、欠損判定補間部23によって、上述のように欠損判定補間処理した3次元点群データが欠損の無い3次元点群データであるか否かを判定する。この判定の結果、前記3次元点群データに前記データの欠損を含む場合(Yes)には、点群データ処理装置Aは、次に、処理S20および処理S21の各処理を順次に実行した後に、処理を処理S14に戻す。これによって再び欠損判定補間処理が実施され、前記データの欠損が補間される。一方、前記判定の結果、前記3次元点群データに前記データの欠損を含まない場合(No)には、点群データ処理装置Aは、次に、処理S22を実行する。
前記処理S20では、点群データ処理装置Aは、欠損判定補間部23によって、ループカウンタRCを1だけインクリメントすることによって更新する(RC←RC+1)。
前記処理S21では、点群データ処理装置Aは、欠損判定補間部23によって、ループカウンタRCが上限値に到達したか否かを判定する。この判定の結果、ループカウンタRCが上限値に到達した場合(Yes)には、点群データ処理装置Aは、次に、処理S22を実行する。なお、処理S22の実行に代え、処理S30が実行されてもよい。一方、前記判定の結果、ループカウンタRCが上限値に到達していない場合(No)には、点群データ処理装置Aは、処理を処理S14に戻す。これら処理S20および処理S21によって、欠損判定補間処理が無限に繰り返されることが防止される。ループカウンタRCの前記上限値は、例えば3次元点群データの複数のサンプルを用いて予め適宜に設定される。
前記処理S22では、点群データ処理装置Aは、制御処理部2の外れ値判定除去部24によって、外れ値判定除去処理における前記差分の平均値を求める演算(差分平均演算)の対象のデータ(差分平均演算対象データ)として、3次元点群データの各データの中から、前記差分平均演算を開始するデータ(開始対象データ)を設定する。
続いて、点群データ処理装置Aは、外れ値判定除去部24によって、差分平均演算対象データについて差分平均演算を実施する(S23)。
続いて、点群データ処理装置Aは、外れ値判定除去部24によって、差分平均演算対象データが、差分平均演算を終了する最後の差分平均対象データであるか否かを判定する。この判定の結果、差分平均対象データが、前記最後の差分平均対象データである場合(Yes)には、点群データ処理装置Aは、次に、処理S26を実行する。一方、前記判定の結果、差分平均演算対象データが、前記最後の差分平均演算対象データではない場合(No)には、点群データ処理装置Aは、外れ値判定除去部24によって、差分平均演算対象データを、次に差分平均演算を行う対象のデータに設定し(S25)、その後、処理を処理S23に戻す。これによって、前記開始対象データから、前記最後の差分平均演算対象データまで、3次元点群データにおける全ての各データそれぞれについて、順次に、差分平均演算が実施される。
この処理S26では、点群データ処理装置Aは、外れ値判定除去部24によって、3次元点群データに外れ値のデータがあるか否かを判定する。この判定の結果、3次元点群データに外れ値のデータがある場合(Yes)には、点群データ処理装置Aは、次に、処理S27を実行し、一方、前記判定の結果、3次元点群データに外れ値のデータがない場合(No)には、点群データ処理装置Aは、次に、処理S30を実行する。すなわち、3次元点群データにおける全ての各データそれぞれについて、その差分の平均値S(z)と前記外れ値判定閾値とが比較され、前記差分の平均値S(z)が前記外れ値判定閾値を超えるデータがある場合には、3次元点群データに外れ値のデータがあると判定され、前記差分の平均値S(z)が前記外れ値判定閾値を超えるデータが抽出され、一方、全ての前記差分の平均値S(z)が前記外れ値判定閾値以下である場合には、3次元点群データに外れ値のデータがないと判定される。
前記処理S27では、点群データ処理装置Aは、外れ値判定除去部24によって、3次元点群データから、前記差分の平均値S(z)が前記外れ値判定閾値を超えるデータを全て除去する。
続いて、点群データ処理装置Aは、制御処理部2の繰返し処理部25によって、ステップカウンタSCを1だけインクリメントすることによって更新する(SC←SC+1、S28)。
続いて、点群データ処理装置Aは、繰返し処理部25によって、ステップカウンタSCが上限値に到達したか否かを判定する(S29)。この判定の結果、ステップカウンタSCが上限値に到達した場合(Yes)には、点群データ処理装置Aは、次に、処理S30を実行する。一方、前記判定の結果、ステップカウンタSCが上限値に到達していない場合(No)には、点群データ処理装置Aは、処理を処理S14に戻す。これによって、処理S26で外れ値判定除去部24によって外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間処理および前記外れ値判定除去処理それぞれが欠損判定補間部23および外れ値判定除去部24それぞれで繰り返し行われる。ステップカウンタSCの前記上限値は、例えば3次元点群データの複数のサンプルを用いて予め適宜に設定される。
前記処理S30では、点群データ処理装置Aは、制御処理部2の制御部21によって、処理結果の3次元点群データを出力部4に出力する。なお、前記処理結果の3次元点群データは、必要に応じて、IF部5を介して外部機器に出力されてもよい。
以上説明したように、実施形態における点群データ処理装置Aならびにこれに実装された点群データ処理方法および点群データ処理プログラムは、3次元点群データにデータの欠損があると判定した場合に、前記データの欠損を補間するので、例えば3次元点群データを生成する際に死角よって欠損が生じても欠損のデータを補間できる。上記点群データ処理装置A、点群データ処理方法および点群データ処理プログラムは、3次元点群データに外れ値のデータがあると判定した場合に、前記外れ値のデータを除外するので、例えば3次元点群データを生成する際に前記対象物体では無い他の物体によって生じたデータ等のノイズを除去できる。したがって、上記点群データ処理装置A、点群データ処理方法および点群データ処理プログラムは、処理対象の3次元点群データを適正化できる。
上記点群データ処理装置A、点群データ処理方法および点群データ処理プログラムは、データ取得部1で取得した3次元点群データに、本実施形態ではデータ取得部1で取得し間引き部22で間引いた後の3次元点群データに、データの欠損が少なくとも1個あるか否かを判定するので、前記3次元点群データに前記データの欠損が1個も無い場合に、前記欠損判定補間処理を省略できる。
前記3次元座標空間における互いに隣接した各座標点でそれら各データが欠損している場合、適切なデータ値で補間できない虞がある。上記点群データ処理装置A、点群データ処理方法および点群データ処理プログラムは、欠損のデータの周囲に、欠損ではないデータが半数以上ある場合に、前記欠損のデータの周囲における前記欠損ではないデータに基づいて前記データの欠損を補間するので、より適切なデータ値で補間できる。
前記外れ値は、前記対象物体を表すデータ値から外れた値であるので、データ値の変化が大きいと考えられ、外れ値のデータは、その周囲のデータから乖離しているものと考えられる。上記点群データ処理装置A、点群データ処理方法および点群データ処理プログラムは、外れ値のデータの判定に、判定対象のデータに対する周囲のデータを考慮するので、外れ値のデータであるか否かをより適切に判定できる。
上記点群データ処理装置A、点群データ処理方法および点群データ処理プログラムは、データ取得部1で取得した3次元点群データ(元の3次元点群データ)から、データを間引いて新たな3次元点群データを生成し、この生成した新たな3次元点群データを処理するので、情報処理量を低減でき、情報処理時間を短縮できる。
焼却施設では、収容部に収容された廃棄物の撹拌や運搬等のために、天井クレーン等が設置されることがあり、計測計で廃棄物の堆積状況を計測する場合に、前記天井クレーン等によって死角やノイズが生じ得る。その結果、廃棄物を計測した3次元点群データに欠損や外れ値が生じ、廃棄物の状況を適切に認識できない虞がある。上記点群データ処理装置A、点群データ処理方法および点群データ処理プログラムは、欠損を補間し、外れ値のデータを除外することによって適正化するので、廃棄物の状況を適切に認識することが可能となる。
次に、一実施例について説明する。図6は、一例として、実際に稼動している焼却施設において本実施形態を適用した結果を示す3次元グラフである。図6Aは、間引き後の3次元点群データにおける各データを示し、図6Bは、欠損判定補間処理および外れ値判定除去処理を1回実施した1ステップ後の3次元点群データにおける各データを示し、図6Cは、欠損判定補間処理および外れ値判定除去処理を2回実施した2ステップ後の3次元点群データにおける各データを示し、図6Dは、欠損判定補間処理および外れ値判定除去処理を3回実施した3ステップ後の3次元点群データにおける各データを示し、図6Eは、欠損判定補間処理および外れ値判定除去処理を4回実施した4ステップ後の3次元点群データにおける各データを示す。図6Aないし図6Eにおける平面視にて右上がりの軸は、X軸であり、左上がりの軸は、Y軸であり、縦軸は、Z軸である。3次元点群データにおける各データは、各点(●)で表されている。
この一実施例における対象物体は、焼却施設の受入ピット内に堆積した廃棄物のゴミである。この受入ピットは、図2に示す受入ピットPTのように、略直方体状の空所であるが、X軸方向に沿って延びZ軸方向に立設した板状の仕切り部材をさらに備えている。このような受入ピット内に堆積したゴミの表面が例えばLiDAR等のセンサによって上方から計測され、ゴミの高さを表す3次元点群データ(元の3次元点群データ)が生成された。この元の3次元点群データを、ノイズフィルタとしてZ方向から見て等間隔に並ぶように間引くことによって新たな3次元点群データが生成され、これが図6Aに示されている。この図6Aに示す処理対象の3次元点群データには、前記仕切り部材による死角によってデータの欠損が存在し、そして、クレーンによって外れ値のデータが存在している。この図6Aに示す処理対象の3次元点群データに対し、1回の欠損判定補間処理および外れ値判定除去処理が実施されると、前記図6Aに示す3次元点群データは、図6Bに示す3次元点群データとなり、この図6Bに示す3次元点群データに対し、1回の欠損判定補間処理および外れ値判定除去処理が実施されると、前記図6Bに示す3次元点群データは、図6Cに示す3次元点群データとなり、この図6Cに示す処理対象の3次元点群データに対し、1回の欠損判定補間処理および外れ値判定除去処理が実施されると、前記図6Cに示す3次元点群データは、図6Dに示す3次元点群データとなり、この図6Dに示す3次元点群データに対し、1回の欠損判定補間処理および外れ値判定除去処理が実施されると、前記図6Dに示す3次元点群データは、図6Eに示す3次元点群データとなる。すなわち、前記図6Aに示す処理対象の3次元点群データは、欠損判定補間処理および外れ値判定除去処理の4回の繰り返しによって、図6Eに示す3次元点群データとなる。図Aないし図6Eから分かるように、欠損判定補間処理および外れ値判定除去処理の繰り返しに従ってデータの欠損が徐々に補間され、外れ値のデータが除去および補間され、前記図6Eに示す3次元点群データでは、前記データの欠損が補間され、外れ値のデータが除去されている。このようにデータの欠損の補間と外れ値のデータの除去とを同時に処理して3次元点群データが適正化できていることが分かる。したがって、廃棄物のゴミの状況を処理前より適切に認識することができる。
なお、上述の実施形態において、さらに、欠損補間部232において、欠損補間処理の後の3次元点群データが欠損補間処理の前の3次元点群データと同一である場合、すなわち欠損補間部232で1点も補間処理が行われなかった場合、欠損補間部232は、前記補間条件を一時的に緩和して再度欠損補間処理を実行してもよい。より具体的には、上述の実施形態では、補間対象データMP2の座標位置が端辺である場合では、欠損補間部232は、欠損ではないデータが3個以上ある場合に、前記データの欠損を補間し、前記欠損ではないデータの平均値を前記欠損のデータのデータ値とすることによって前記データの欠損を補間したが、補間対象データの座標位置が端辺である場合、周囲の5個のデータのうち、欠損ではないデータが2個以上ある場合に、前記データの欠損を補間するように補間条件を緩和し、前記欠損ではないデータの平均値を前記欠損のデータのデータ値とすることによって前記データの欠損を補間してもよい。この場合では、上述のフローチャートにおいて、処理S17で最後の対象データと判定されるまでに、欠損補間処理S16で1点も補間処理が行われなかった場合には、前記補間条件を一時的に緩和して開始対象データの設定S14から再度欠損補間処理を実行する。より詳しくは、補間対象データの座標位置が端辺である場合、周囲の5個のデータのうち、欠損ではないデータが2個以上ある場合に、前記データの欠損を補間するように補間条件を緩和し、前記欠損ではないデータの平均値を前記欠損のデータのデータ値とすることによって前記データの欠損を補間する。一例では、図7Aに示す結果が図7Bに示す結果に改良される。図7は、変形形態の一例として、実際に稼動している焼却施設において本実施形態を適用した結果を示す3次元グラフである。図7Aは、この変形形態前の結果を示し、図7Bは、この変形形態の結果を示す。図6と同様に、図7Aおよび図7Bにおける平面視にて右上がりの軸は、X軸であり、左上がりの軸は、Y軸であり、縦軸は、Z軸である。3次元点群データにおける各データは、各点(●)で表されている。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
A 点群データ処理装置
1 データ取得部
2 制御処理部
3 入力部
4 出力部
5 インターフェース部(IF部)
6 記憶部
21 制御部
22 間引き部
23 欠損判定補間部
24 外れ値判定除去部
25 繰返し処理部

Claims (8)

  1. 所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得するデータ取得部と、
    前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間処理を行う欠損判定補間部と、
    前記欠損判定補間部で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去処理を行う外れ値判定除去部と、
    前記外れ値判定除去部で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間処理および前記外れ値判定除去処理それぞれを前記欠損判定補間部および前記外れ値判定除去部それぞれに繰り返し行わせる繰返し処理部とを備える、
    点群データ処理装置。
  2. 前記欠損判定補間部は、前記データ取得部で取得した3次元点群データにデータの欠損が少なくとも1個あるか否かを判定し、前記データの欠損が少なくとも1個あると判定した場合に前記データの欠損を補間し、前記データの欠損が1個も無いと判定した場合に、前記データの欠損が1個も無いと判定した3次元点群データを、前記欠損判定補間部で処理した後の3次元点群データとする、
    請求項1に記載の点群データ処理装置。
  3. 前記欠損判定補間部は、
    前記3次元点群データの各データそれぞれについて、当該データに欠損があるか否かを判定する欠損判定部と、
    前記欠損判定部で前記データの欠損があると判定された場合に、前記データの欠損を補間する欠損補間部とを備え、
    前記欠損補間部は、欠損のデータの周囲に、欠損ではないデータが半数以上ある場合に、前記欠損のデータの周囲における前記欠損ではないデータに基づいて前記データの欠損を補間する、
    請求項1または請求項2に記載の点群データ処理装置。
  4. 前記外れ値判定除去部は、前記欠損判定補間部で処理した後の3次元点群データの各データそれぞれについて、当該データと当該データの周囲のデータそれぞれとの差分を求め、前記周囲のデータそれぞれについて求めた各差分の平均値と、前記外れ値のデータであるか否かを判定するための閾値とを比較することによって、当該データが前記外れ値のデータであるか否かを判定する、
    請求項1ないし請求項3のいずれか1項に記載の点群データ処理装置。
  5. 前記データ取得部で取得した3次元点群データから、データを間引くことによって新たな3次元点群データを生成し、前記生成した新たな3次元点群データを、前記欠損判定補間部で前記欠損判定補間処理を行う3次元点群データとする間引き部をさらに備える、
    請求項1ないし請求項4のいずれか1項に記載の点群データ処理装置。
  6. 前記3次元点群データは、廃棄物を焼却する焼却施設における収容部に収容された前記廃棄物を、前記対象物体として計測することによって生成された3次元点群データである、
    請求項1ないし請求項5のいずれか1項に記載の点群データ処理装置。
  7. 所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得するデータ取得工程と、
    前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間工程と、
    前記欠損判定補間工程で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去工程と、
    前記外れ値判定除去工程で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間工程および前記外れ値判定除去工程それぞれを繰り返し行わせる繰返し工程とを備える、
    点群データ処理方法。
  8. コンピュータを、
    所定の対象物体を計測することによって生成された、所定の3次元座標空間における所定の範囲での3次元点群データを取得するデータ取得部、
    前記3次元点群データにデータの欠損があるか否かを判定し、前記データの欠損があると判定した場合に前記データの欠損を補間する欠損判定補間処理を行う欠損判定補間部、
    前記欠損判定補間部で処理した後の3次元点群データに、前記対象物体を表すデータ値から外れた外れ値のデータがあるか否かを判定し、前記外れ値のデータがあると判定した場合に、前記外れ値のデータを除去する外れ値判定除去処理を行う外れ値判定除去部、および、
    前記外れ値判定除去部で外れ値のデータがあると判定されなくなるまで、または、所定の上限回数に到達するまで、前記欠損判定補間処理および前記外れ値判定除去処理それぞれを前記欠損判定補間部および前記外れ値判定除去部それぞれに繰り返し行わせる繰返し処理部、
    として機能させるための点群データ処理プログラム。
JP2021169828A 2021-10-15 2021-10-15 点群データ処理装置、該方法および該プログラム Active JP7489363B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021169828A JP7489363B2 (ja) 2021-10-15 2021-10-15 点群データ処理装置、該方法および該プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021169828A JP7489363B2 (ja) 2021-10-15 2021-10-15 点群データ処理装置、該方法および該プログラム

Publications (2)

Publication Number Publication Date
JP2023059688A JP2023059688A (ja) 2023-04-27
JP7489363B2 true JP7489363B2 (ja) 2024-05-23

Family

ID=86096363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021169828A Active JP7489363B2 (ja) 2021-10-15 2021-10-15 点群データ処理装置、該方法および該プログラム

Country Status (1)

Country Link
JP (1) JP7489363B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118305021B (zh) * 2024-06-11 2024-10-01 四川吉埃智能科技有限公司 一种基于三维成像技术的自动喷涂机器人控制软件系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065472A (ja) 2004-08-25 2006-03-09 Fuji Xerox Co Ltd 3次元モデル生成装置および方法
JP2007170821A (ja) 2005-12-19 2007-07-05 Enzan Kobo:Kk 三次元変位計測方法
JP2013088188A (ja) 2011-10-14 2013-05-13 Fuji Architect Co Ltd 三次元測定対象物の形態調査方法
JP2018173248A (ja) 2017-03-31 2018-11-08 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2020105669A1 (ja) 2018-11-21 2020-05-28 日本電気通信システム株式会社 体積計測装置、システム、方法、及びプログラム
JP2021147129A (ja) 2020-03-17 2021-09-27 Jfeエンジニアリング株式会社 管理装置、管理方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065472A (ja) 2004-08-25 2006-03-09 Fuji Xerox Co Ltd 3次元モデル生成装置および方法
JP2007170821A (ja) 2005-12-19 2007-07-05 Enzan Kobo:Kk 三次元変位計測方法
JP2013088188A (ja) 2011-10-14 2013-05-13 Fuji Architect Co Ltd 三次元測定対象物の形態調査方法
JP2018173248A (ja) 2017-03-31 2018-11-08 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2020105669A1 (ja) 2018-11-21 2020-05-28 日本電気通信システム株式会社 体積計測装置、システム、方法、及びプログラム
JP2021147129A (ja) 2020-03-17 2021-09-27 Jfeエンジニアリング株式会社 管理装置、管理方法、およびプログラム

Also Published As

Publication number Publication date
JP2023059688A (ja) 2023-04-27

Similar Documents

Publication Publication Date Title
US9811714B2 (en) Building datum extraction from laser scanning data
JP2019058960A (ja) ロボットシステム及びワーク取り出し方法
US10621740B2 (en) 3D modeling method based on point cloud data
JP2015147256A (ja) ロボット、ロボットシステム、制御装置、及び制御方法
JP7489363B2 (ja) 点群データ処理装置、該方法および該プログラム
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
JP2015049776A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2018206252A (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
JP2018173392A (ja) データ統合装置及び方法並びにプログラム
EP2960758A1 (en) Input apparatus
CN117455905B (zh) 模块化集成建筑构件智能检测方法及系统
US20230043697A1 (en) Weld-line generating apparatus, method for generating weld line, and program for generating weld line
JP2021135234A (ja) 体積計測装置、システム、方法、及びプログラム
US10521653B2 (en) Image processing device, image processing method, and storage medium
TWI844033B (zh) 電腦系統、尺寸計測方法、及記憶媒體
JP6512852B2 (ja) 情報処理装置、情報処理方法
US20240093992A1 (en) Building change detection device, building change detection system, and building change detection method
JP2016206909A (ja) 情報処理装置、情報処理方法
JPWO2018168515A1 (ja) 画像処理装置、画像処理方法及び記録媒体
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质
JP6282725B2 (ja) 画像データ編集装置および画像データ編集方法ならびに画像データ編集プログラム
JP7348144B2 (ja) 廃棄物高さ情報検出装置および該方法
RU2658092C2 (ru) Способ и система навигации подвижного объекта с использованием трехмерных датчиков
JP2021060784A (ja) 物体検知装置、システム、方法、及びプログラム
JP6227801B2 (ja) 図面作成システム及び図面作成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231019

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240513

R150 Certificate of patent or registration of utility model

Ref document number: 7489363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150