JPWO2020105669A1 - 体積計測装置、システム、方法、及びプログラム - Google Patents

体積計測装置、システム、方法、及びプログラム Download PDF

Info

Publication number
JPWO2020105669A1
JPWO2020105669A1 JP2020557587A JP2020557587A JPWO2020105669A1 JP WO2020105669 A1 JPWO2020105669 A1 JP WO2020105669A1 JP 2020557587 A JP2020557587 A JP 2020557587A JP 2020557587 A JP2020557587 A JP 2020557587A JP WO2020105669 A1 JPWO2020105669 A1 JP WO2020105669A1
Authority
JP
Japan
Prior art keywords
raw material
volume
material mountain
mountain
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020557587A
Other languages
English (en)
Other versions
JP7103690B2 (ja
Inventor
大輝 横田
真則 高岡
青木　教之
研二 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Publication of JPWO2020105669A1 publication Critical patent/JPWO2020105669A1/ja
Application granted granted Critical
Publication of JP7103690B2 publication Critical patent/JP7103690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F22/00—Methods or apparatus for measuring volume of fluids or fluent solid material, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Fluid Mechanics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

工場の操業に影響を与えることなく、低コストかつ効率的に原料山の体積を計測するのに貢献することができる体積計測装置等を提供する。体積計測装置は、原料ヤードを撮影するデプスセンサからのデプス情報を点群データに変換する点群変換部と、原料山の安息角に係る安息角情報を用いて点群データから原料山に係る点群を検出する原料山検出部と、原料山に係る点群に基づいて、原料山におけるデプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも原料山に係る点群を用いて、原料山におけるデプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された原料山非オクルージョン部の体積、及び、推定された原料山オクルージョン部の体積を合計した原料山の体積を計算する原料山体積計算部と、を備える。

Description

［関連出願についての記載］
本発明は、日本国特許出願：特願２０１８−２１８１４８号（２０１８年１１月２１日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、原料ヤードにおける原料山の体積を計測する体積計測装置、システム、方法、及びプログラムに関する。
ガラス工場や製鉄所では、ガラスの原料である珪砂や鉄鋼の原料である鉄鉱石を、屋内又は屋外の地面の上に３方が壁に囲まれた原料ヤード（原料置き場）に保管している。図１７は、３方が壁１２に囲まれた原料ヤード１０を上から見たときのイメージ図である。原料を堆積させた各原料山１１は、壁１２により３方が囲われている。工場の操業により、原料の残量は、刻々と変化する。現状、この原料の残量の管理は、作業員が目視で行っていることが多い。
高い生産性を維持するためには、原料の残量を早く正確に把握することが重要である。すなわち、リアルタイムに自動で残量の管理をするためのシステムが求められている。原料の残量管理システムを構築する場合、残量計測のためのセンサとしてデプスセンサ（深度測定センサ）を利用することが考えられる。デプスセンサを利用した原料山の形状を管理する技術として、特許文献１〜３に記載の技術がある。特許文献１〜３に記載の技術では、レーザスキャナ、２Ｄ（2-Dimensions）レーザ距離計、ステレオカメラ等のデプスセンサを、スタッカ、リクレーマなどのヤード機械に取り付けることで、原料山の形状を計測している。このようなデプスセンサを利用したシステムでは、一般的に測定対象物を複数の視点から撮影することで３次元データを取得して測定を行うため、複数のデプスセンサが用いられる。
特開２０１０−２８６４３６号公報 特開２０１１−１５７１８７号公報 特開２０１２−１９３０３０号公報 特開２０１６−６１６７４号公報
C. BRADFORD BARBER et al., "The Quickhull Algorithm for Convex Hulls", ACM Transactions on Mathematical Software, Vol. 22, No. 4, December 1996, Pages 469-483. (https://www.cise.ufl.edu/~ungor/courses/fall06/papers/QuickHull.pdf)
以下の分析は、本願発明者により与えられる。
特許文献１〜３に記載の技術は、ヤード機械にデプスセンサを取り付けているため、原料山の形状を計測している間、原料の受け入れ、払出し等の作業を行うことができなくなる。そのため、ヤード機械にデプスセンサを取り付けて計測することは工場の操業に影響を与えてしまう可能性がある。
また、デプスセンサは近年低価格化が進んできているものの、産業用途において十分な測定範囲や精度や精細さを満たすものは依然として高価である。メンテナンス性の観点から見ても、複数のデプスセンサを使用することは望ましくない。仮に１台のデプスセンサでシステムを構築する場合、３次元空間において手前にある物体が背後にある物体を隠して見えない領域（オクルージョン）の問題が発生する。例えば、原料山を正面方向から撮影した場合、原料山の背面方向の部分が隠れてしまい、背面方向の部分のデプス情報を取得することができなくなる。
このようなオクルージョンの問題を解決するために、特許文献４に記載の技術のように、デプスセンサを搭載した１台の無人飛行体（ドローン）で上方から移動しながら原料山を撮影することが考えられる。しかしながら、建屋型の原料ヤードには天井があるため、ドローンが原料山から十分な距離を取って航行することが難しく、ドローンのプロペラからの風が原料を巻き上げてしまい、計測自体ができなくなる可能性がある。
また、オクルージョンの問題を解決するために、作業員が原料山を回り込みながら１台のデプスセンサで撮影する方法も考えられる。しかしながら、原料ヤードが大規模かつ複数あると、計測に手間や時間がかかるだけでなく、作業中のヤード機械を回避しながら計測する必要があるため、効率よく計測できない可能性がある。
本発明の主な課題は、工場の操業に影響を与えることなく、低コストかつ効率的に原料山の体積を計測するのに貢献することができる体積計測装置、システム、方法、及びプログラムを提供することである。
第１の視点に係る体積計測装置は、原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する点群変換部と、前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する原料山検出部と、前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算する原料山体積計算部と、を備える。
第２の視点に係る体積計測システムは、原料山を有する原料ヤードを撮影するデプスセンサと、前記第１の視点に係る体積計測装置と、を備える。
第３の視点に係る体積計測方法は、原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するステップと、前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出するステップと、前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算するステップと、を含む。
第４の視点に係るプログラムは、原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する処理と、前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する処理と、前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算する処理と、をハードウェア資源に実行させる。
なお、上記のプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。そして、当該プログラムが格納された記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェースを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備える。
前記第１〜第４の視点によれば、工場の操業に影響を与えることなく、低コストかつ効率的に原料山の体積を計測するのに貢献することができる。
実施形態１に係る体積計測システムの構成を模式的に示したブロック図である。 実施形態１に係る体積計測システムにおける撮影装置を原料ヤードに配置した状態の一例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の動作を模式的に示したフローチャート図である。 実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードに係る点群データの一例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードに係る点群データの他の例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードにおいて障害物がある状態の点群データの一例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードから障害物を除去した状態に係る点群の一例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける撮影装置が撮影している原料ヤードを横から見た状態の一例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける体積測定装置の情報処理部で作成した凸包を横から見た状態の一例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける体積測定装置の情報処理部で作成した凸包から抽出された１つの四面体の一例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける撮影装置が撮影している原料ヤードを横から見た状態の他の例を模式的に示したイメージ図である。 実施形態１に係る体積計測システムにおける撮影装置が撮影している原料ヤードを横から見た状態の他の例の原料山非オクルージョン部をクロップしたときのイメージ図である。 実施形態１に係る体積計測システムにおける撮影装置を原料ヤードに配置した状態の他の例を模式的に示したイメージ図である。 実施形態２に係る体積計測システムの構成を模式的に示したブロック図である。 実施形態３に係る体積計測装置の構成を模式的に示したブロック図である。 実施形態３に係る体積計測装置の動作を模式的に示したフローチャート図である。 原料ヤードの一例を上から見たときのイメージ図である。 ハードウェア資源の構成を模式的に示したブロック図である。
以下に説明する本開示では、モード１に係る体積計測装置及びその変形モードを適宜選択して組み合わせることができる。
前記モード１に係る体積計測装置として、原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する点群変換部、を備えることが可能である。前記体積計測装置は、前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する原料山検出部を備えることが可能である。前記体積計測装置は、前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算する原料山体積計算部を備えることが可能である。
前記モード１に係る体積計測装置の変形モードとして、前記原料山検出部は、前記原料山に係る点群を検出する際、前記原料山の斜面上のある平面と前記原料ヤードにおける地面とのなす角が前記安息角情報における前記安息角を満たすものを前記原料山に係る前記点群として検出することができる。また、前記体積計測装置は、前記デプスセンサから前記原料ヤードに係る前記デプス情報を取得する取得部をさらに備えることができる。また、前記点群変換部は、前記原料ヤードに係る前記点群データに変換する際、前記取得部で取得した前記原料ヤードに係る前記デプス情報を前記原料ヤードに係る点群データに変換することができる。また、前記体積計測装置は、雨天用の安息角情報、及び、非雨天用の安息角情報を記憶する安息角記憶部をさらに備えることができる。また、前記原料山検出部は、前記原料山に係る前記点群を検出する際、前記原料ヤードの降雨を検出する雨センサが降雨を検出しているか否かを確認し、前記雨センサが降雨を検出しているときに前記安息角記憶部から前記雨天用の安息角情報を読み出し、前記雨センサが降雨を検出していないときに前記安息角記憶部から前記非雨天用の安息角情報を読み出し、読み出された前記雨天用の安息角情報、又は、前記非雨天用の安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出することができる。また、前記原料山検出部は、前記原料山に係る前記点群を検出する際、カメラからの画像データを用いて安息角情報を計測し、計測された前記安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出することができる。また、前記原料山検出部は、前記安息角情報を計測する際、前記画像データから前記原料山の表面のテクスチャをディープラーニングにより学習したモデルを作成し、作成された前記モデルを使用して前記原料山の座標を検出し、検出された前記原料山の前記座標における前記原料ヤードに係る前記デプス情報から前記安息角情報を計測することができる。また、前記原料山検出部は、さらに、前記原料ヤードに係る前記点群データにおいて、前記原料山と前記デプスセンサとの間に存在する障害物に係る点群があるか否かを確認し、前記障害物に係る前記点群があるときに、検出された前記原料山に係る点群から前記障害物に係る前記点群を除去し、前記原料山に係る前記点群における、前記障害物に係る前記点群の除去によってできた欠損部分に係る点群を補間することができる。また、前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山検出部で前記欠損部分に係る前記点群を補間した前記原料山に係る前記点群に基づいて、前記原料山非オクルージョン部の体積を計算することができる。また、前記原料山検出部は、前記欠損部分に係る前記点群を補間する際、画像補間法を用いて前記欠損部分に係る前記点群を補間することができる。また、前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山検出部で前記障害物に係る前記点群がないときに、前記原料山検出部で検出された前記原料山に係る前記点群に基づいて、前記原料山非オクルージョン部の体積を計算することができる。また、前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山に係る点群に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を計算し、計算された前記凸包全体の前記体積を前記原料山非オクルージョン部の前記体積とすることができる。また、前記体積計測装置は、前記原料ヤードにおける壁の位置に係る壁位置情報を記憶する壁位置記憶部をさらに備えることができる。また、前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記原料山に係る前記点群を用いて、前記原料ヤードに壁があるか否かを確認し、前記壁があるときに、前記壁位置記憶部から前記壁位置情報を読み出し、前記原料山に係る前記点群、及び、前記壁位置情報を用いて、前記原料山オクルージョン部の体積を推定することができる。また、前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記原料山に係る前記点群から、前記原料山の頂点と前記壁との間の距離に相当する部分を切り出し、切り出された前記部分に係る点群に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を計算し、計算された前記凸包全体の前記体積を前記原料山オクルージョン部の前記体積とすることができる。また、前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記壁がないときに、前記原料山に係る前記点群を用いて、前記原料山オクルージョン部の体積を推定することができる。
本開示では、モード２に係る体積計測システムとして、原料山を有する原料ヤードを撮影するデプスセンサと、前記モード１に係る体積計測装置と、を備えることが可能である。
本開示では、モード３に係る体積計測方法として、原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するステップを含むことができる。また、前記体積計測方法は、前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出するステップを含むことができる。また、前記体積計測方法は、前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算するステップを含むことができる。
本開示では、モード４に係るプログラムとして、原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する処理をハードウェア資源に実行させることができる。また、前記プログラムは、前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する処理をハードウェア資源に実行させることができる。また、前記プログラムは、前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算する処理をハードウェア資源に実行させることができる。
以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェースも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェ−スを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。
［実施形態１］
実施形態１に係る体積計測システムについて図面を用いて説明する。図１は、実施形態１に係る体積計測システムの構成を模式的に示したブロック図である。図２は、実施形態１に係る体積計測システムにおける撮影装置を原料ヤードに配置した状態の一例を模式的に示したイメージ図である。
体積計測システム１は、原料ヤード（図２の１０）における原料山（図２の１１）の体積を計測するシステムである（図１参照）。体積計測システム１は、体積計測装置１００と、撮影装置２００と、を備える。
ここで、図２の原料ヤード１０は２つあるが、これに限るものではない。各原料ヤード１０では、地面１４の上に原料山１１が配され、原料山１１の３方が、地面１４に接地された壁１２で囲まれている。原料山１１の形状は、理想的な円錐形である必要はなく、原料山１１において凹凸があってもよい。
体積計測装置１００は、原料ヤード（図２の１０）を撮影する撮影装置２００を用いて、原料ヤード（図２の１０）における原料山（図２の１１）の体積を自動的に計測（管理）する装置である（図１参照）。体積計測装置１００には、例えば、プロセッサ、メモリ、ネットワークインタフェース等を含むハードウェア資源（例えば、情報処理装置、コンピュータ）を用いることができる。体積計測装置１００は、情報処理部１１０と、記憶部１２０と、入力部１３０と、出力部１４０と、通信部１５０と、を有する。
情報処理部１１０は、情報を処理する機能部である（図１参照）。情報処理部１１０は、記憶部１２０、入力部１３０、出力部１４０、及び、通信部１５０と通信可能に接続されている。情報処理部１１０は、取得部１１１と、点群変換部１１２と、原料山検出部１１３と、原料山体積計算部１１４と、を有する。情報処理部１１０には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）等のプロセッサを用いることができる。この場合、情報処理部１１０は、プログラムを記憶する記憶部１２０を利用しながら、プログラムを実行することにより、仮想的な、取得部１１１、点群変換部１１２、原料山検出部１１３、及び、原料山体積計算部１１４を構成するようにしてもよい。
取得部１１１は、撮影装置２００のデプスセンサ２０１で生成されたデプス情報（原料ヤード（図２の１０）に係るデプス情報；３次元データ）を取得（収集）する処理部である（図１参照）。
点群変換部１１２は、取得部１１１で取得したデプス情報（原料ヤード（図２の１０）に係るデプス情報）を、点群データ（原料ヤード（図２の１０）に係る点群データ）に変換する処理部である（図１参照）。
原料山検出部１１３は、点群変換部１１２で変換された点群データ（原料ヤード（図２の１０）に係る点群データ）から原料山（図２の１１）に係る点群を検出（抽出）する処理部である（図１参照）。
原料山検出部１１３は、撮影装置２００の雨センサ２０５が降雨を検出しているか否かを確認する処理を行う。なお、原料ヤード（図２の１０）が屋内にあり降雨の影響がない場合、原料山検出部１１３は降雨の検出の確認処理を省略することができる。
原料山検出部１１３は、安息角記憶部１２１から安息角情報を読み出す処理を行う。原料山検出部１１３は、雨センサ２０５が降雨を検出していない場合、安息角記憶部１２１から非雨天用の安息角情報を読み出す。原料山検出部１１３は、雨センサ２０５が降雨を検出している場合、安息角記憶部１２１から雨天用の安息角情報を読み出す。なお、原料ヤード（図２の１０）が屋内にあり降雨の検出の確認処理を省略している場合、原料山検出部１１３は、安息角記憶部１２１から非雨天用の安息角情報を読み出す。
原料山検出部１１３は、安息角記憶部１２１から読み出した安息角情報（非雨天用の安息角情報又は雨天用の安息角情報）を用いて、点群変換部１１２で変換された点群データ（原料ヤード（図２の１０）に係る点群データ）から原料山１１に係る点群を検出する処理を行う。
原料山検出部１１３は、点群変換部１１２で変換された点群データ（原料ヤード（図２の１０）に係る点群データ）において、原料山（図２の１１）と撮影装置２００との間に障害物（図６の２０；例えば、柱等）に係る点群が存在するか否かを確認する処理を行う。なお、原料山（図２の１１）と撮影装置２００との間に障害物（図６の２０）がもとからない場合、原料山検出部１１３は、障害物（図６の２０）に係る点群の存在の確認処理を省略することができる。
原料山検出部１１３は、障害物（図６の２０）に係る点群が存在する場合、検出された原料山１１に係る点群から、障害物（図６の２０）に係る点群を除去し、原料山１１に係る点群における、障害物（図６の２０）に係る点群の除去によってできた欠損部分（図７の１７）の点群を補間する。原料山検出部１１３は、障害物（図６の２０）に係る点群が存在しない場合、除去処理及び補間処理を行わない。「補間」とは、計測で得られた部位の値に基づいて、計測していない部位の値を算出することをいう。
原料山体積計算部１１４は、原料山（図２の１１）の体積（原料の残量）を計算する処理部である（図１参照）。
原料山体積計算部１１４は、原料山に係る点群（検出された点群、又は、補間された点群）に基づいて、原料山（図２の１１）における原料山非オクルージョン部（図８の１１ａ）の体積を計算する処理を行う。ここで、原料山非オクルージョン部１１ａは、原料山１１においてオクルージョンとならない部分（デプスセンサ２０１から撮影可能な（見える）部分）である。
原料山体積計算部１１４は、原料山に係る点群（検出された点群、又は、補間された点群）を用いて、壁が存在するか否かを確認する処理を行う。原料山体積計算部１１４は、壁が存在する場合、壁位置記憶部１２２から壁位置情報を読み出す処理を行う。原料山体積計算部１１４は、壁が存在しない場合、壁位置記憶部１２２から壁位置情報を読み出さない。なお、もとから壁が存在しない場合、原料山体積計算部１１４は、壁の存在の確認処理、及び、壁位置情報の読み出し処理を省略することができる。
原料山体積計算部１１４は、少なくとも原料山に係る点群（検出された点群、又は、補間された点群）を用いて、原料山（図２の１１）における原料山オクルージョン部（図８の１１ｂ）の体積を推定する処理を行う。なお、原料山体積計算部１１４は、壁が存在する場合、さらに読み出した壁位置情報も用いて、原料山（図２の１１）における原料山オクルージョン部（図８の１１ｂ）の体積を推定する。
原料山体積計算部１１４は、計算した原料山非オクルージョン部（図８の１１ａ）の体積と、推定された原料山オクルージョン部（図８の１１ｂ）の体積と、を合計した原料山（図２の１１）の残量（体積）を計算する処理を行う。
記憶部１２０は、データ、プログラム等の情報を記憶する機能部である（図１参照）。記憶部１２０は、安息角記憶部１２１と、壁位置記憶部１２２と、を有する。
安息角記憶部１２１は、原料山（図２の１１）の安息角に係る情報（安息角情報）を記憶する。安息角情報には、非雨天用の安息角情報と、雨天用の安息角情報と、がある。安息角は、一定の高さから粒子を落下させて、自発的に崩れることなく安定を保つ時に、形成する粒子の山の斜面と水平面とのなす角度である。安息角は、平坦な場所に堆積した原料山（図２の１１）の斜面と平坦面（水平面）との角度を計測して得ることができる。安息角は、原料の粒子の大きさ、粒子の角の丸みや形状等により決まるが、水分の含有量にも大きく影響されるため、安息角情報として、非雨天用の安息角情報と、雨天用の安息角情報と、が用意されている。安息角記憶部１２１への安息角情報の入力は、入力部１３０から行うことができる。なお、原料ヤード（図２の１０）が屋内にあり降雨の影響がない場合、雨天用の安息角情報を省略することができる。
壁位置記憶部１２２は、原料ヤード（図２の１０）における壁（図２の１２）の位置に係る情報（壁位置情報）を記憶する。壁位置情報は、原料ヤード（図２の１０）の設計情報から入手したものであってもよく、レーザ距離計などの計測機を用いて計測して入手したものでもよい。壁位置記憶部１２２への壁位置情報の入力は、入力部１３０から行うことができる。なお、原料ヤード（図２の１０）においてもとから壁（図２の１２）が存在しない場合、壁位置記憶部１２２を省略することができる。
入力部１３０は、オペレータの操作により情報を入力する機能部である（図１参照）。入力部１３０には、例えば、キーボード、マウス、タッチパネル、マイク、ボタン、その他の入力手段を用いることができ、図示しない通信部を介して通信可能に接続された入力部を有する情報端末等を用いてもよい。
出力部１４０は、計測した原料山の体積などを表示する機能部である（図１参照）。出力部１４０は、例えば、表示を行うディスプレイ、印刷を行うプリンタ、その他の出力手段を用いることができ、図示しない通信部を介して通信可能に接続された出力部を有する情報端末等を用いてもよい。また、出力部１４０を使用する代わりに、通信部及びネットワークを通じて接続された別の情報端末等（図示せず；例えば、ユーザが使用する端末）を使用して情報を出力するようにしてもよい。
通信部１５０は、撮影装置２００の通信部２０３と通信（無線通信、有線通信）可能に接続する機能部である。通信部１５０は、図示しないネットワークを介して撮影装置２００の通信部２０３と通信可能に接続してもよい。
撮影装置２００は、被写体を撮影する装置である（図１参照）。撮影装置２００は、少なくとも１つの原料ヤード（図２の１０）全体を俯瞰することができるように設置されている。撮影装置２００は、原料ヤード（図２の１０）を上方から撮影するように設置してもよい。撮影装置２００は、図２のように、原料ヤード１０ごとに設置してもよい。撮影装置２００は、デプスセンサ２０１と、センサ制御部２０２と、通信部２０３と、バッテリ２０４と、雨センサ２０５と、を備える。
デプスセンサ２０１は、被写体を撮影して３次元データとなるデプス情報を生成するセンサである（図１参照）。デプスセンサ２０１には、例えば、レーザスキャナ、２Ｄレーザ距離計、ステレオカメラ、ＴｏＦ（Time of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）センサ等を用いることができる。デプスセンサ２０１は、撮影装置２００において１台であることが好ましいが、２台以上であってもよい。
センサ制御部２０２は、デプスセンサ２０１を制御する機能部である（図１参照）。
通信部２０３は、体積計測装置１００の通信部１５０と通信（無線通信、有線通信）可能に接続する機能部である（図１参照）。通信部２０３は、図示しないネットワークを介して体積計測装置１００の通信部１５０と通信可能に接続してもよい。
バッテリ２０４は、撮影装置２００の駆動電源である（図１参照）。バッテリ２０４の代わりに、図示しない外部電源を利用してもよい。
雨センサ２０５は、降雨を検出するセンサである（図１参照）。雨センサ２０５の代わりに、インターネット経由で天気情報を取得して降雨の有無を確認する降雨確認部（図示せず）を用いてもよい。また、雨センサ２０５を用いないで、オペレータが降雨の有無を確認して体積計測装置１００の入力部１３０を操作して、安息角記憶部１２１における安息角情報（非雨天用の安息角情報又は雨天用の安息角情報）を選択するようにしてもよい。
次に、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の動作について図面を用いて説明する。図３は、実施形態１に係る体積計測システムにおける体積計測装置の情報処理部の動作を模式的に示したフローチャート図である。図４は、実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードに係る点群データの一例を模式的に示したイメージ図である。図５は、実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードに係る点群データの他の例を模式的に示したイメージ図である。図６は、実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードにおいて障害物がある状態の点群データの一例を模式的に示したイメージ図である。図７は、実施形態１に係る体積計測システムにおける撮影装置の撮影位置から見た原料ヤードから障害物を除去した状態に係る点群の一例を模式的に示したイメージ図である。図８は、実施形態１に係る体積計測システムにおける撮影装置が撮影している原料ヤードを横から見た状態の一例を模式的に示したイメージ図である。図９は、実施形態１に係る体積計測システムにおける体積測定装置の情報処理部で作成した凸包を横から見た状態の一例を模式的に示したイメージ図である。図１０は、実施形態１に係る体積計測システムにおける体積測定装置の情報処理部で作成した凸包から抽出された１つの四面体の一例を模式的に示したイメージ図である。図１１は、実施形態１に係る体積計測システムにおける撮影装置が撮影している原料ヤードを横から見た状態の他の例を模式的に示したイメージ図である。図１２は、実施形態１に係る体積計測システムにおける撮影装置が撮影している原料ヤードを横から見た状態の他の例の原料山非オクルージョン部をクロップしたときのイメージ図である。図１３は、実施形態１に係る体積計測システムにおける撮影装置を原料ヤードに配置した状態の他の例を模式的に示したイメージ図である。なお、体積計測システムの構成については、図１を参照されたい。
前提として、原料ヤード（図２の１０）内の壁１２の位置に係る情報（壁位置情報）については事前に壁位置記憶部１２２に記憶されているものとする。また、原料山１１の安息角に係る情報（安息角情報）についても事前に安息角記憶部１２１に記憶されているものとする。
まず、体積計測装置１００の情報処理部１１０の取得部１１１は、撮影装置２００のデプスセンサ２０１で生成された原料ヤード（図２の１０）に係るデプス情報を取得する（図３のステップＡ１参照）。
次に、体積計測装置１００の情報処理部１１０の点群変換部１１２は、取得部１１１で取得されたデプス情報を点群データ（原料ヤード（図２の１０）に係る点群データ）に変換する（図３のステップＡ２参照）。
次に、体積計測装置１００の情報処理部１１０の原料山検出部１１３は、雨センサ２０５が降雨を検出しているか否かを確認する（図３のステップＡ３参照）。
降雨を検出していない場合（ステップＡ３のＮＯ）、原料山検出部１１３は、安息角記憶部１２１から非雨天用の安息角情報を読み出す（図３のステップＡ４参照）。
降雨を検出している場合（ステップＡ３のＹＥＳ）、原料山検出部１１３は、安息角記憶部１２１から雨天用の安息角情報を読み出す（図３のステップＡ５参照）。
ステップＡ４又はステップＡ５の後、原料山検出部１１３は、安息角記憶部１２１から読み出した安息角情報（非雨天用の安息角情報又は雨天用の安息角情報）を用いて、点群変換部１１２で変換された原料ヤード（図２の１０）に係る点群データから原料山（図４の１１）に係る点群を検出（抽出）する（図３のステップＡ６参照）。
次に、原料山検出部１１３は、点群変換部１１２で変換された原料ヤード（図２の１０）に係る点群データにおいて、原料山（図２の１１）と撮影装置（図２の２００）との間に存在する障害物（図６の２０；例えば、柱等）に係る点群があるか否かを確認する（図３のステップＡ７参照）。障害物（図６の２０）に係る点群が存在しない場合（ステップＡ７のＮＯ）、ステップＡ９に進む。
障害物（図６の２０）に係る点群が存在する場合（ステップＡ７のＹＥＳ）、原料山検出部１１３は、ステップＡ６で検出（抽出）された原料山（図６の１１）に係る点群から、障害物（図６の２０）に係る点群を除去し、原料山（図６の１１）に係る点群における、障害物（図６の２０）に係る点群の除去によってできた欠損部分（図７の１７）に係る点群を補間する（図３のステップＡ８参照）。
障害物（図６の２０）に係る点群が存在しない場合（ステップＡ７のＮＯ）、又は、ステップＡ８の後、体積計測装置１００の情報処理部１１０の原料山体積計算部１１４は、原料山（図８の１１）に係る点群（ステップＡ６で検出（抽出）された点群、又は、ステップＡ８で補間された点群）に基づいて、原料山非オクルージョン部（図８の１１ａ）の体積を計算する（図３のステップＡ９参照）。
次に、原料山体積計算部１１４は、原料山（図２の１１）に係る点群（ステップＡ６で検出された点群、又は、ステップＡ８で補間された点群）を用いて、原料ヤード（図２の１０）に壁（図２の１２）があるか否かを確認する（図３のステップＡ１０参照）。壁（図２の１２）が存在しない場合（ステップＡ１０のＮＯ）、ステップＡ１２に進む。
壁（図２の１２）が存在する場合（ステップＡ１０のＹＥＳ）、原料山体積計算部１１４は、壁位置記憶部１２２から壁位置情報を読み出す（図３のステップＡ１１参照）。
壁（図２の１２）が存在しない場合（ステップＡ１０のＮＯ）、又は、ステップＡ１１の後、原料山体積計算部１１４は、原料山（図２の１１）に係る点群（検出された点群、又は、補間された点群）を用いて、原料山オクルージョン部（図８の１１ｂ）の体積を推定する（図３のステップＡ１２参照）。ここで、ステップＡ１１で壁位置情報を読み出した場合、原料山体積計算部１１４は、さらに壁位置情報も用いて、原料山オクルージョン部（図８の１１ｂ）の体積を推定する。
次に、原料山体積計算部１１４は、ステップＡ９で計算した原料山非オクルージョン部（図８の１１ａ）の体積と、ステップＡ１２で推定された原料山オクルージョン部（図８の１１ｂ）の体積と、を合計した原料山（図２の１１）の体積（原料の残量）を計算する（図３のステップＡ１３参照）。
最後に、出力部１４０は、ステップＡ１３で計算された原料山（図２の１１）の体積（原料の残量）を出力（表示）し（図３のステップＡ１４参照）、その後、終了する。終了後、所定時間経過したときにスタートに戻り、ステップＡ１〜Ａ１３を行うようにしてもよい。
ここで、ステップＡ６における、原料山（図４の１１）に係る点群の検出方法について説明する。
図４を参照すると、原料山１１の斜面上のある平面１６の方程式を［式１］とし、当該平面１６に垂直な法線ベクトルｎｓを［式２］とする。また、原料ヤード１０における地面１４の方程式を［式３］とし、当該地面１４に垂直な法線ベクトルｎｇを［式４］とする。平面１６と地面１４とのなす角θは、法線ベクトルｎｓ、ｎｇを用いると、［式５］のように表すことができる。
［式１］
Figure 2020105669
［式２］
Figure 2020105669
［式３］
Figure 2020105669
［式４］
Figure 2020105669
［式５］
Figure 2020105669
平面１６と地面１４とのなす角θが安息角を満たすものを原料山１１に係る点群として検出する。原料山１１に係る点群は、図５に示すように、複雑な形状をしていても同様の方法で検出することができる。
次に、ステップＡ８における、障害物（図６の２０）に係る点群の除去、及び、欠損部分（図７の１７）に係る点群の補間について説明する。
撮影装置（図２の２００）と原料山（図２の１１）との間に、図６に示すような柱状（直方体、円柱等）の障害物２０が存在する場合、原料山（図６の１１）に係る点群から、障害物２０に係る点群を除去すると、図７のように、欠損部分１７を有する原料山１１に係る点群が得られる。欠損部分１７は、取得できている原料山１１に係る点群に基づいて補間をする。補間方法として、例えば、線形補間法、最近傍補間法、濃度保管法等の画像補間法が挙げられる。
次にステップＡ９における、原料山（図８の１１）の原料山非オクルージョン部（図８の１１ａ）の体積計算方法について説明する。
図８を参照すると、原料山非オクルージョン部１１ａの体積は、ステップＡ６で検出（抽出）、又は、ステップＡ８で補間された原料山（図８の１１）に係る点群に基づいて、凸包を作成することで求めることができる。凸包は、例えば、非特許文献１に記載のQuickhull法を用いたアルゴリズムによって作成することができる。Quickhull法を用いたアルゴリズムで作成した凸包は、図９のように複数の四面体により構成される。図１０のように四面体の底面積をＳ、高さをｈとすると、四面体の体積Ｖｉは三角錐の体積の公式［式６］から算出することができる。複数の四面体のそれぞれの体積の総和を算出することで、凸包全体の体積を計算し、計算された凸包全体の体積を原料山非オクルージョン部１１ａの体積とすることができる。
［式６］
Figure 2020105669
次に、ステップＡ８における、原料山（図８の１１）の原料山オクルージョン部（図８の１１ｂ）の体積推定方法について説明する。
図８を参照すると、横から見た原料山１１の各頂点をＡ、Ｂ、Ｃとすると、ＡＣ間のｚ軸方向の距離ｄａｃと、ＢＣ間のｚ軸方向の距離ｄｂｃとの関係が［式７］を満たす場合、原料山オクルージョン部１１ｂの体積Ｖｂは、原料山非オクルージョン部１１ａの体積Ｖａとすると、［式８］のように表すことができる。
［式７］
Figure 2020105669
［式８］
Figure 2020105669
また、図１１のようにｄａｃとｄｂｃとの関係が［式９］となる場合、図１２に示すように、原料山１１に係る点群（原料山非オクルージョン部１１ａに係る点群に相当）から原料山オクルージョン部１１ｂに相当する部分をクロップし（原料山１１の頂点Ｃからｄｂｃまでの距離（頂点Ｃと壁との距離に相当）で切り出し）、クロップされた部分に係る点群の凸包を作成し、作成された凸包を構成する各四面体の体積の総和を算出することで、原料山オクルージョン部１１ｂの体積Ｖｂを推定することができる。ここでの凸包による体積計算は、ステップＡ９における原料山非オクルージョン部１１ａの体積計算方法と同一である。
［式９］
Figure 2020105669
なお、図１３のように、おおよその積み付け範囲１５が決まっている場合、原料ヤード１０は原料山１１の３方が壁に囲まれていなくてもよい。この場合、積み付け範囲１５の外周に壁があるものと仮想することで前述の手順と同様の方法で原料山１１の体積を計測することができる。
以上のような体積計測システムは、スマートファクトリ領域の原料・製品の管理、鉱業における落鉱落炭の管理、食品製造業における原材料の管理、製紙業におけるチップの管理、廃棄物処理業における廃棄物の管理において利用することができる。
実施形態１によれば、原料山非オクルージョン部１１ａの体積を計算し、かつ、原料山オクルージョン１１ｂの体積を推定して原料山１１全体の体積を計算することで、工場の操業に影響を与えることなく、低コストかつ効率的に原料山の体積を計測するのに貢献することができる。また、実施形態１によれば、原料山１１において一部の欠損や凹凸があっても、補間できるので、計測に影響はない。さらに、実施形態１によれば、非雨天用の安息角情報と雨天用の安息角情報とを使い分けて原料山１１の体積を計算することで、天候の変化による誤検出を少なくすることができる。
［実施形態２］
実施形態２に係る体積計測システムについて図面を用いて説明する。図１４は、実施形態２に係る体積計測システムの構成を模式的に示したブロック図である。
実施形態２は、実施形態１の変形例であり、安息角記憶部（図１の１２１）及び雨センサ（図１の２０５）を用いて予め設定された雨天用及び非雨天用の安息角情報を使い分ける代わりに、撮影装置２００に設けられたカメラ２０６の画像データを用いて安息角情報をリアルタイムで計測するようにしたものである。
撮影装置２００は、カメラ２０６を有する。カメラ２０６は、被写体を撮影して画像データを生成するカメラである。カメラ２０６は、生成した画像データを、通信部２０３を通じて体積計測装置１００に向けて出力する。カメラ２０６には、例えば、ＲＧＢ（Red Green Blue）画像データを生成することが可能な、単眼のＲＧＢカメラ、ステレオカメラを用いることができる。なお、デプスセンサ２０１が画像データを生成することが可能なものであれば、カメラ２０６を省略し、デプスセンサ２０１で生成された画像データを用いることができる。
体積計測装置１００の情報処理部１１０の原料山検出部１１３は、降雨検出（図３のステップＡ３）、及び、安息角情報読み出し（図３のステップＡ４、Ａ５）を行わないで、取得部１１１で取得されたデプス情報とともに、カメラ２０６からの画像データを用いて、安息角情報を計測する。安息角情報の計測方法として、例えば、画像データから原料山の表面のテクスチャをディープラーニングにより学習したモデルを作成し、作成されたモデルを使用して原料山の座標を検出し、検出された原料山の座標における原料ヤードに係るデプス情報から安息角情報を計測することができる。原料山検出部１１３は、計測された安息角情報を用いて、点群変換部１１２で変換された原料ヤード（図２の１０）に係る点群データから原料山（図４の１１）に係る点群を検出（抽出）する。
その他の構成及び動作については、実施形態１と同様である。
実施形態２によれば、実施形態１と同様に、工場の操業に影響を与えることなく、低コストかつ効率的に原料山の体積を計測するのに貢献することができるとともに、安息角情報の計測を自動化することで、様々な要因による誤検出を少なくすることができる。
［実施形態３］
実施形態３に係る体積計測装置について図面を用いて説明する。図１５は、実施形態３に係る体積計測装置の構成を模式的に示したブロック図である。図１６は、実施形態３に係る体積計測装置の動作を模式的に示したフローチャート図である。
体積計測装置１００は、原料山１１の体積を計測する装置である。体積計測装置１００は、点群変換部１１２と、原料山検出部１１３と、原料山体積計算部１１４と、を有する（図１５参照）。
点群変換部１１２は、原料山１１を有する原料ヤード１０を撮影するデプスセンサ２０１からの原料ヤード１０に係るデプス情報を原料ヤード１０に係る点群データに変換する（図１６のステップＢ１参照）。
原料山検出部１１３は、原料山１１の安息角に係る安息角情報を用いて原料ヤード１０に係る点群データから原料山１１に係る点群を検出する（図１６のステップＢ２参照）。
原料山体積計算部１１４は、原料山１１に係る点群に基づいて、原料山１１におけるデプスセンサ２０１から撮影可能な原料山非オクルージョン部１１ａの体積を計算する（図１６のステップＢ３参照）。原料山体積計算部１１４は、少なくとも原料山１１に係る点群を用いて、原料山１１におけるデプスセンサ２０１から撮影不能な原料山オクルージョン部１１ｂの体積を推定する（図１６のステップＢ４参照）。原料山体積計算部１１４は、計算された原料山非オクルージョン部１１ａの体積、及び、推定された原料山オクルージョン部１１ｂの体積を合計した原料山１１の体積を計算する（図１６のステップＢ５参照）。
実施形態３によれば、原料山非オクルージョン部１１ａの体積を計算し、かつ、原料山オクルージョン１１ｂの体積を推定して原料山１１全体の体積を計算することで、工場の操業に影響を与えることなく、低コストかつ効率的に原料山の体積を計測するのに貢献することができる。
なお、実施形態１〜３に係る体積計測装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図１８に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源３００は、内部バス３０４により相互に接続される、プロセッサ３０１、メモリ３０２、ネットワークインタフェース３０３等を備える。
なお、図１８に示す構成は、ハードウェア資源３００のハードウェア構成を限定する趣旨ではない。ハードウェア資源３００は、図示しないハードウェア（例えば、入出力インタフェース）を含んでもよい。あるいは、ハードウェア資源３００に含まれるプロセッサ３０１等のユニットの数も図１８の例示に限定する趣旨ではなく、例えば、複数のプロセッサ３０１が装置に含まれていてもよい。プロセッサ３０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）等を用いることができる。
メモリ３０２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。
ネットワークインタフェース３０３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェースカード等を用いることができる。
ハードウェア資源３００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ３０２に格納されたプログラムをプロセッサ３０１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。
上記実施形態の一部又は全部は以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
本発明では、前記第１の視点に係る体積計測装置の形態が可能である。
［付記２］
前記原料山検出部は、前記原料山に係る点群を検出する際、前記原料山の斜面上のある平面と前記原料ヤードにおける地面とのなす角が前記安息角情報における前記安息角を満たすものを前記原料山に係る前記点群として検出する、
付記１記載の体積計測装置。
［付記３］
前記デプスセンサから前記原料ヤードに係る前記デプス情報を取得する取得部をさらに備え、
前記点群変換部は、前記原料ヤードに係る前記点群データに変換する際、前記取得部で取得した前記原料ヤードに係る前記デプス情報を前記原料ヤードに係る点群データに変換する、
付記１又は２記載の体積計測装置。
［付記４］
雨天用の安息角情報、及び、非雨天用の安息角情報を記憶する安息角記憶部をさらに備え、
前記原料山検出部は、前記原料山に係る前記点群を検出する際、前記原料ヤードの降雨を検出する雨センサが降雨を検出しているか否かを確認し、前記雨センサが降雨を検出しているときに前記安息角記憶部から前記雨天用の安息角情報を読み出し、前記雨センサが降雨を検出していないときに前記安息角記憶部から前記非雨天用の安息角情報を読み出し、読み出された前記雨天用の安息角情報、又は、前記非雨天用の安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する、
付記１乃至３のいずれか一に記載の体積計測装置。
［付記５］
前記原料山検出部は、前記原料山に係る前記点群を検出する際、カメラからの画像データを用いて安息角情報を計測し、計測された前記安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する、
付記１乃至３のいずれか一に記載の体積計測装置。
［付記６］
前記原料山検出部は、前記安息角情報を計測する際、前記画像データから前記原料山の表面のテクスチャをディープラーニングにより学習したモデルを作成し、作成された前記モデルを使用して前記原料山の座標を検出し、検出された前記原料山の前記座標における前記原料ヤードに係る前記デプス情報から前記安息角情報を計測する、
付記５記載の体積計測装置。
［付記７］
前記原料山検出部は、さらに、前記原料ヤードに係る前記点群データにおいて、前記原料山と前記デプスセンサとの間に存在する障害物に係る点群があるか否かを確認し、前記障害物に係る前記点群があるときに、検出された前記原料山に係る点群から前記障害物に係る前記点群を除去し、前記原料山に係る前記点群における、前記障害物に係る前記点群の除去によってできた欠損部分に係る点群を補間し、
前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山検出部で前記欠損部分に係る前記点群を補間した前記原料山に係る前記点群に基づいて、前記原料山非オクルージョン部の体積を計算する、
付記１乃至６のいずれか一に記載の体積計測装置。
［付記８］
前記原料山検出部は、前記欠損部分に係る前記点群を補間する際、画像補間法を用いて前記欠損部分に係る前記点群を補間する、
付記７記載の体積計測装置。
［付記９］
前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山検出部で前記障害物に係る前記点群がないときに、前記原料山検出部で検出された前記原料山に係る前記点群に基づいて、前記原料山非オクルージョン部の体積を計算する、
付記７又は８記載の体積計測装置。
［付記１０］
前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山に係る点群に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を計算し、計算された前記凸包全体の前記体積を前記原料山非オクルージョン部の前記体積とする、
付記１乃至９のいずれか一に記載の体積計測装置。
［付記１１］
前記原料ヤードにおける壁の位置に係る壁位置情報を記憶する壁位置記憶部をさらに備え、
前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記原料山に係る前記点群を用いて、前記原料ヤードに壁があるか否かを確認し、前記壁があるときに、前記壁位置記憶部から前記壁位置情報を読み出し、前記原料山に係る前記点群、及び、前記壁位置情報を用いて、前記原料山オクルージョン部の体積を推定する、
付記１乃至１０のいずれか一に記載の体積計測装置。
［付記１２］
前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記原料山に係る前記点群から、前記原料山の頂点と前記壁との間の距離に相当する部分を切り出し、切り出された前記部分に係る点群に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を計算し、計算された前記凸包全体の前記体積を前記原料山オクルージョン部の前記体積とする、
付記１１記載の体積計測装置。
［付記１３］
前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記壁がないときに、前記原料山に係る前記点群を用いて、前記原料山オクルージョン部の体積を推定する、
付記１１又は１２記載の体積計測装置。
［付記１４］
本発明では、前記第２の視点に係る体積計測システムの形態が可能である。
［付記１５］
本発明では、前記第３の視点に係る体積計測方法の形態が可能である。
［付記１６］
本発明では、前記第４の視点に係るプログラムの形態が可能である。
なお、上記の特許文献、非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものとみなされる。
１ 体積計測システム
１０ 原料ヤード
１１ 原料山
１１ａ 原料山非オクルージョン部
１１ｂ 原料山オクルージョン部
１２ 壁
１３ カメラ
１４ 地面
１５ 積み付け範囲
１６ 平面
１７ 欠損部分
２０ 障害物
１００ 体積計測装置
１１０ 情報処理部
１１１ 取得部
１１２ 点群変換部
１１３ 原料山検出部
１１４ 原料山体積計算部
１２０ 記憶部
１２１ 安息角記憶部
１２２ 壁位置記憶部
１３０ 入力部
１４０ 出力部
１５０ 通信部
２００ 撮影装置
２０１ デプスセンサ
２０２ センサ制御部
２０３ 通信部
２０４ バッテリ
２０５ 雨センサ
２０６ カメラ
３００ ハードウェア資源
３０１ プロセッサ
３０２ メモリ
３０３ ネットワークインタフェース
３０４ 内部バス

Claims (11)

  1. 原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する点群変換部と、
    前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する原料山検出部と、
    前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算する原料山体積計算部と、
    を備える、
    体積計測装置。
  2. 前記原料山検出部は、前記原料山に係る点群を検出する際、前記原料山の斜面上のある平面と前記原料ヤードにおける地面とのなす角が前記安息角情報における前記安息角を満たすものを前記原料山に係る前記点群として検出する、
    請求項１記載の体積計測装置。
  3. 雨天用の安息角情報、及び、非雨天用の安息角情報を記憶する安息角記憶部をさらに備え、
    前記原料山検出部は、前記原料山に係る前記点群を検出する際、前記原料ヤードの降雨を検出する雨センサが降雨を検出しているか否かを確認し、前記雨センサが降雨を検出しているときに前記安息角記憶部から前記雨天用の安息角情報を読み出し、前記雨センサが降雨を検出していないときに前記安息角記憶部から前記非雨天用の安息角情報を読み出し、読み出された前記雨天用の安息角情報、又は、前記非雨天用の安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する、
    請求項１又は２記載の体積計測装置。
  4. 前記原料山検出部は、前記原料山に係る前記点群を検出する際、カメラからの画像データを用いて安息角情報を計測し、計測された前記安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する、
    請求項１又は２記載の体積計測装置。
  5. 前記原料山検出部は、さらに、前記原料ヤードに係る前記点群データにおいて、前記原料山と前記デプスセンサとの間に存在する障害物に係る点群があるか否かを確認し、前記障害物に係る前記点群があるときに、検出された前記原料山に係る点群から前記障害物に係る前記点群を除去し、前記原料山に係る前記点群における、前記障害物に係る前記点群の除去によってできた欠損部分に係る点群を補間し、
    前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山検出部で前記欠損部分に係る前記点群を補間した前記原料山に係る前記点群に基づいて、前記原料山非オクルージョン部の体積を計算する、
    請求項１乃至４のいずれか一に記載の体積計測装置。
  6. 前記原料山体積計算部は、前記原料山非オクルージョン部の前記体積を計算する際、前記原料山に係る点群に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を計算し、計算された前記凸包全体の前記体積を前記原料山非オクルージョン部の前記体積とする、
    請求項１乃至５のいずれか一に記載の体積計測装置。
  7. 前記原料ヤードにおける壁の位置に係る壁位置情報を記憶する壁位置記憶部をさらに備え、
    前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記原料山に係る前記点群を用いて、前記原料ヤードに壁があるか否かを確認し、前記壁があるときに、前記壁位置記憶部から前記壁位置情報を読み出し、前記原料山に係る前記点群、及び、前記壁位置情報を用いて、前記原料山オクルージョン部の体積を推定する、
    請求項１乃至６のいずれか一に記載の体積計測装置。
  8. 前記原料山体積計算部は、前記原料山オクルージョン部の前記体積を推定する際、前記原料山に係る前記点群から、前記原料山の頂点と前記壁との間の距離に相当する部分を切り出し、切り出された前記部分に係る点群に基づいて、複数の四面体から構成される凸包を作成し、前記複数の四面体のそれぞれの体積の総和を算出することで、前記凸包全体の体積を計算し、計算された前記凸包全体の前記体積を前記原料山オクルージョン部の前記体積とする、
    請求項７記載の体積計測装置。
  9. 原料山を有する原料ヤードを撮影するデプスセンサと、
    請求項１乃至８のいずれか一に記載の体積計測装置と、
    を備える、
    体積計測システム。
  10. 原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換するステップと、
    前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出するステップと、
    前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算するステップと、
    を含む、
    体積計測方法。
  11. 原料山を有する原料ヤードを撮影するデプスセンサからの前記原料ヤードに係るデプス情報を前記原料ヤードに係る点群データに変換する処理と、
    前記原料山の安息角に係る安息角情報を用いて前記原料ヤードに係る前記点群データから前記原料山に係る点群を検出する処理と、
    前記原料山に係る前記点群に基づいて、前記原料山における前記デプスセンサから撮影可能な原料山非オクルージョン部の体積を計算し、少なくとも前記原料山に係る前記点群を用いて、前記原料山における前記デプスセンサから撮影不能な原料山オクルージョン部の体積を推定し、計算された前記原料山非オクルージョン部の前記体積、及び、推定された前記原料山オクルージョン部の前記体積を合計した前記原料山の体積を計算する処理と、
    をハードウェア資源に実行させる、
    プログラム。
JP2020557587A 2018-11-21 2019-11-20 体積計測装置、システム、方法、及びプログラム Active JP7103690B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018218148 2018-11-21
JP2018218148 2018-11-21
PCT/JP2019/045391 WO2020105669A1 (ja) 2018-11-21 2019-11-20 体積計測装置、システム、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020105669A1 true JPWO2020105669A1 (ja) 2021-10-14
JP7103690B2 JP7103690B2 (ja) 2022-07-20

Family

ID=70773830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557587A Active JP7103690B2 (ja) 2018-11-21 2019-11-20 体積計測装置、システム、方法、及びプログラム

Country Status (6)

Country Link
US (1) US12018969B2 (ja)
JP (1) JP7103690B2 (ja)
CN (1) CN113167569B (ja)
PH (1) PH12021551120A1 (ja)
SG (1) SG11202104860WA (ja)
WO (1) WO2020105669A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7348144B2 (ja) * 2020-07-09 2023-09-20 株式会社神戸製鋼所 廃棄物高さ情報検出装置および該方法
CN113008136A (zh) * 2021-02-04 2021-06-22 江汉大学 不规则堆料的体积测量方法、系统、电子设备及存储介质
JP7489363B2 (ja) 2021-10-15 2024-05-23 株式会社神戸製鋼所 点群データ処理装置、該方法および該プログラム
CN114139793B (zh) * 2021-11-25 2023-12-22 北京众驰自动化设备有限公司 智能料场集中管控系统及方法
CN114964437B (zh) * 2022-04-13 2024-02-13 成都百威智联科技有限公司 一种自动测量锥型圆筒仓粮食数量的方法、装置及系统
JP2024025320A (ja) * 2022-08-12 2024-02-26 株式会社日立製作所 在庫管理装置および在庫管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01321206A (ja) * 1988-06-20 1989-12-27 Kawasaki Steel Corp 原料ヤードの管理装置
US20140163885A1 (en) * 2012-12-07 2014-06-12 Caterpillar Inc. Terrain map updating system
WO2016159839A1 (en) * 2015-03-30 2016-10-06 Volvo Construction Equipment Ab System and method for determining the material loading condition of a bucket of a material moving machine

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10005127A1 (de) * 2000-02-07 2001-08-09 Valeo Auto Electric Gmbh Verwendung eines Regensensors für Kraftfahrzeuge als Sensor zur Messung der Umgebungshelligkeit
JP4155942B2 (ja) 2004-04-20 2008-09-24 ホソカワミクロン株式会社 粉体堆積層の角度測定装置
CN100414249C (zh) 2005-05-26 2008-08-27 上海交通大学 料场测量的计算机自动测量的视觉系统
CN100427876C (zh) * 2005-05-26 2008-10-22 上海交通大学 料场测量的计算机视觉系统自动测量的方法
JP2010286436A (ja) * 2009-06-15 2010-12-24 Mitsubishi Electric Corp 計測装置及び計測方法
JP5574726B2 (ja) * 2010-02-01 2014-08-20 新日鐵住金株式会社 原料ヤードの原料山計測システム、原料ヤードの原料山計測方法、及びコンピュータプログラム
JP5847409B2 (ja) 2011-03-17 2016-01-20 新日鐵住金株式会社 原料ヤード管理システム、原料ヤード管理方法、及びコンピュータプログラム
JP2013002909A (ja) 2011-06-15 2013-01-07 Mitsubishi Electric Corp 物体識別装置及び物体識別プログラム
JP6408317B2 (ja) 2014-09-18 2018-10-17 日鉄住金テックスエンジ株式会社 原料ヤードの原料山形状の計測方法および計測装置
JP2016088694A (ja) 2014-11-05 2016-05-23 株式会社豊田中央研究所 質量推定装置、及びプログラム
CN106610263A (zh) 2015-10-22 2017-05-03 宝山钢铁股份有限公司 大型料场全天候测量系统及方法
CN106839975B (zh) 2015-12-03 2019-08-30 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN105551064B (zh) * 2015-12-08 2018-04-20 济南中维世纪科技有限公司 一种基于图像特征估计堆料体积变化率的方法
JP6605711B2 (ja) * 2016-04-05 2019-11-13 株式会社日立物流 計測システム及び計測方法
CN106094702B (zh) 2016-05-31 2020-07-07 中国神华能源股份有限公司 一种料堆建模方法和料堆建模装置
US9656429B1 (en) * 2016-08-09 2017-05-23 Arevo, Inc. Systems and methods for structurally analyzing and printing parts
CN107437268A (zh) 2017-07-31 2017-12-05 广东欧珀移动通信有限公司 拍照方法、装置、移动终端和计算机存储介质
CN108182715B (zh) 2017-12-13 2024-07-12 泰富智能科技有限公司 一种具有统计堆料场物料信息的堆取料系统
JP2020009326A (ja) * 2018-07-11 2020-01-16 日本電信電話株式会社 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01321206A (ja) * 1988-06-20 1989-12-27 Kawasaki Steel Corp 原料ヤードの管理装置
US20140163885A1 (en) * 2012-12-07 2014-06-12 Caterpillar Inc. Terrain map updating system
WO2016159839A1 (en) * 2015-03-30 2016-10-06 Volvo Construction Equipment Ab System and method for determining the material loading condition of a bucket of a material moving machine

Also Published As

Publication number Publication date
US12018969B2 (en) 2024-06-25
CN113167569B (zh) 2022-10-11
JP7103690B2 (ja) 2022-07-20
PH12021551120A1 (en) 2021-11-22
CN113167569A (zh) 2021-07-23
SG11202104860WA (en) 2021-06-29
WO2020105669A1 (ja) 2020-05-28
US20220252443A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
JP7103690B2 (ja) 体積計測装置、システム、方法、及びプログラム
US10321116B2 (en) Method and system for volume determination using a structure from motion algorithm
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
EP3438602B1 (en) Dimension measurement apparatus and control method of the same
IE86364B1 (en) Closed loop 3D video scanner for generation of textured 3D point cloud
KR101531305B1 (ko) 선박의 흘수 측정 시스템 및 방법
JP7146013B2 (ja) サーバ装置、画像処理方法、及びプログラム
JP6791041B2 (ja) 原料山計測方法および原料山計測システム
CN110428372B (zh) 深度数据与2d激光数据融合方法及装置、存储介质
US20190197455A1 (en) Computing package wall density in commercial trailer loading
WO2015098222A1 (ja) 情報処理装置及び情報処理方法及びプログラム
US20240331125A1 (en) Systems and Methods for Assessing Trailer Utilization
JP7517677B2 (ja) 体積計測装置、システム、方法、及びプログラム
JP6702370B2 (ja) 計測装置、計測システム、計測方法およびコンピュータプログラム
Verhoeven et al. From 2D (to 3D) to 2.5 D: not all gridded digital surfaces are created equally
US12086941B2 (en) Surface partition with plane and line constraints
JP7491615B2 (ja) 積載容積率計測装置、システム、方法、及び、プログラム
JP2022186029A (ja) 距離計測装置、方法、及びプログラム
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质
Briese et al. Analysis of mobile laser scanning data and multi-view image reconstruction
JP7323170B2 (ja) 積載容積率計測装置、システム、方法、及び、プログラム
JP7251869B2 (ja) 距離計測装置、システム、方法、及びプログラム
CN113538556B (zh) 基于ir图的体积测量装置
JP2022018517A (ja) ケーブル検出装置、方法、及びプログラム
JP2022018516A (ja) 離隔距離計測装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220630

R150 Certificate of patent or registration of utility model

Ref document number: 7103690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150