JP7249494B2 - 採寸装置及び採寸方法 - Google Patents
採寸装置及び採寸方法 Download PDFInfo
- Publication number
- JP7249494B2 JP7249494B2 JP2020548612A JP2020548612A JP7249494B2 JP 7249494 B2 JP7249494 B2 JP 7249494B2 JP 2020548612 A JP2020548612 A JP 2020548612A JP 2020548612 A JP2020548612 A JP 2020548612A JP 7249494 B2 JP7249494 B2 JP 7249494B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- height
- information
- measuring device
- floor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Description
物流などにおいて荷物を載せるための荷台としてパレットが利用されている。倉庫又はトラックにおいてパレットに載置された荷物が占有する領域は、パレットサイズを底面積とし、パレットとパレット上に載置された荷物の全体の高さを持つ寸法となる。よって、パレット上に載置された荷物の寸法だけでなく、パレットとパレット上に載置された荷物の全体の寸法計測が必要となる。パレットとパレット上に載置された荷物の全体を深度カメラで撮影するためには、パレットと荷物の全体が写るように離れた距離から撮影する必要がある。しかし、離れた距離から撮影すると、深度カメラから得られる深度情報においてノイズが増大し、深度情報の精度が低下する。特に、物流などで使用されるパレットにはすのこ状のものがあり、且つフォークリフト用の差込口がパレットに設けられている。また、パレット上の荷物には、多様な色、素材のものがある。例えば、赤外線アクティブステレオ方式を用いる場合、隙間、凹凸部や、黒い素材などで深度を検出しづらく、深度情報においてデータの抜けが発生し易い。よって、精度の良い深度情報が得られず、パレット及び荷物の寸法を精度良く計測することができなかった。
以下、第1実施形態について、図面を参照しながら説明する。
図1から図7を参照して、本実施形態の採寸装置の構成について説明する。
図8から図16を参照して、本実施形態の採寸装置100の動作について説明する。
図8は、採寸装置100の制御部130の動作を示している。制御部130は、深度カメラ120から深度情報141を取得する(ステップS1)。深度情報141は、図5に示すような、二次元座標で特定される画素毎の深度値を含む深度画像141pを示す。
図11及び図12を参照して、床面方程式の生成について説明する。図11は、床面の推定、すなわち、床面の平面方程式の生成(ステップS3の詳細)を示している。図11に示す処理によって、床面の平面方程式「ax+by+cz+d=0」を生成する。図12は、深度画像141pにおける下辺近傍領域31を例示している。
図13及び図14を参照して、パレットの推定について説明する。図13は、パレットの幅及び奥行きと位置の推定(ステップS4の詳細)を示している。図14は、図13によるパレットの推定を模式的に示している。
図15及び図16を参照して、荷物の高さ推定について説明する。図15は、荷物の最高点の高さ推定(ステップS5の詳細)を示している。図16は、図15による荷物の高さ推定を模式的に示している。
本実施形態の採寸装置100は、床面上にあるパレット210とパレット210の上に載置された荷物220とを含む対象物200の外形の大きさを計測する。採寸装置100は、基準位置から床面及び対象物200までの距離を示す深度情報141を取得する取得部と、パレット210の規格サイズを示す規格寸法情報143を記憶する記憶部140と、深度情報141と規格寸法情報143とに基づいて、パレット210を特定することによって、対象物200の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報144を生成する制御部130と、採寸情報144を出力する出力部と、を備える。
第2実施形態は、パレットの推定方法が第1実施形態と異なる。第1実施形態では、三次元座標情報142に基づいて算出される高さが規格高さ近傍となる点を検出することによって、最近接点A、左端点B及び右端点Cを検出した。本実施形態では、法線ベクトルの向きが同一となる面に基づいて、最近接点A、左端点B及び右端点Cを検出する。
第1及び第2実施形態では深度カメラ120から得られる深度情報141に基づいて採寸した。第3実施形態では、深度情報141に加え、可視光カメラから得られる色情報を使用して、採寸する。
図26及び図27を参照して、第4実施形態の採寸装置について説明する。第4実施形態の採寸装置104は、床面の推定が第1実施形態と異なる。
図28を参照して、第5実施形態の採寸装置について説明する。第5実施形態の採寸装置は、床面の推定が第1実施形態と異なる。第5実施形態の採寸装置の構成は、第1実施形態の採寸装置100と同一である。図28は、第5実施形態における床面の推定、すなわち、床面の平面方程式の生成(ステップS3の詳細)を示している。
以上のように、本出願において開示する技術の例示として、第1実施形態~第5実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第1実施形態~第5実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
100,103,104 採寸装置
110 タッチスクリーン
111 表示部
112 操作部
120 深度カメラ
130 制御部
131 座標変換部
132 床面推定部
133 パレット推定部
134 最高点推定部
140 記憶部
141 深度情報
141p 深度画像
142 三次元座標情報
143 規格寸法情報
144 採寸情報
145p カラー画像
150 通信部
160 可視光カメラ
170 加速度センサ
200 対象物
210 パレット
211 桁板
212 デッキボード
213 ブロック
214 角落とし部
215 差込口
220 荷物
230 輪郭
400 三次元空間
A 最近接点
A1,A2,D 点
B 左端点
C 右端点
Claims (15)
- 床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸装置であって、
基準位置から前記床面及び前記対象物までの距離を示す深度情報を取得する取得部と、
前記荷台の規格サイズを示す規格寸法情報を記憶する記憶部と、
前記深度情報と前記規格寸法情報とに基づいて、前記荷台を特定することによって、前記対象物の幅、奥行き、及び高さの寸法を計測して、前記計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成する制御部と、
前記採寸情報を出力する出力部と、
を備える、採寸装置。 - 前記取得部は、前記深度情報として、前記床面及び前記対象物を撮影して、前記床面及び前記対象物までの距離を、画素毎の深度値で示す深度画像を生成する深度カメラを含む、
請求項1に記載の採寸装置。 - 前記制御部は、前記深度画像の各画素を三次元座標系の点に変換した三次元座標情報を生成し、前記三次元座標情報に基づいて前記床面の平面方程式を算出する、
請求項2に記載の採寸装置。 - 前記制御部は、前記深度画像内の所定サイズの下辺近傍領域が前記床面の領域であると推定して、前記下辺近傍領域内の点から前記床面の平面方程式を算出する、
請求項3に記載の採寸装置。 - 前記制御部は、複数の点から算出される法線ベクトルの向きと前記複数の点の距離とに基づいて、前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
請求項3に記載の採寸装置。 - 前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
前記制御部は、前記色情報に基づいて前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
請求項3に記載の採寸装置。 - 重力加速度を検出する加速度センサをさらに備え、
前記制御部は、前記重力加速度に基づいて推定される前記床面の法線ベクトルの向きと前記三次元座標情報とに基づいて、前記床面の平面方程式を算出する、
請求項3に記載の採寸装置。 - 前記制御部は、前記三次元座標情報に基づいて前記深度画像内の画素に対応する点の法線ベクトルを算出し、算出した法線ベクトルが所定の仮想法線ベクトルと一定角度範囲内となる法線ベクトルを持つ点を水平面と推定して、推定した前記水平面内の法線ベクトルと前記三次元座標情報とに基づいて前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
請求項3に記載の採寸装置。 - 前記規格寸法情報は、前記荷台の規格高さを含み、
前記制御部は、各点の三次元座標と前記床面の平面方程式とに基づいて、各点の高さを算出し、算出した高さが前記規格高さ近傍となる点に基づいて、前記荷台の輪郭を推定する、
請求項3に記載の採寸装置。 - 前記規格寸法情報は、前記荷台の規格高さを含み、
前記制御部は、前記三次元座標情報に基づいて前記深度画像内の各画素に対応する点の法線ベクトルを算出し、算出した前記法線ベクトルの向きが同一方向となる面を検出すると共に、各点の三次元座標と前記床面の平面方程式とに基づいて各点の高さを算出し、検出した前記面内において算出した高さが前記規格高さ近傍となる部分を、前記荷台の輪郭と推定する、
請求項3に記載の採寸装置。 - 前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
前記制御部は、前記カラー画像を画像処理することにより前記荷台の輪郭を抽出する、
請求項3に記載の採寸装置。 - 前記規格寸法情報は、前記荷台の規格幅及び規格奥行きを含み、
前記制御部は、前記三次元座標情報に基づいて、推定した前記荷台の輪郭から前記荷台の幅及び奥行きを算出し、
前記算出した幅及び奥行きと前記規格幅及び規格奥行きとを比較して、前記荷台の種類を特定して前記荷台の幅及び奥行きを推定する、
請求項9から請求項11のいずれか一つに記載の採寸装置。 - 前記制御部は、前記推定した荷台を底面とする三次元空間内において、前記三次元座標情報と前記床面の平面方程式とにより算出される点の高さが最も高い点を、前記荷物の高さとして推定する、
請求項12に記載の採寸装置。 - 前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
前記制御部は、前記カラー画像を画像処理することにより前記荷物の輪郭を検出し、検出した輪郭の内側において、前記三次元座標情報と前記床面の平面方程式とにより算出される点の高さが最も高い点を、前記荷物の高さとして推定する、
請求項3に記載の採寸装置。 - 床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸方法であって、
基準位置から前記床面及び前記対象物までの距離を示す深度情報を取得するステップ、
前記荷台の規格サイズを示す規格寸法情報を取得するステップ、
前記深度情報と前記規格寸法情報とに基づいて、前記荷台を特定することによって、前記対象物の幅、奥行き、及び高さの寸法を計測して、前記計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成するステップ、及び
前記採寸情報を出力するステップ、
を含む、採寸方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018185332 | 2018-09-28 | ||
JP2018185332 | 2018-09-28 | ||
PCT/JP2019/036811 WO2020066847A1 (ja) | 2018-09-28 | 2019-09-19 | 採寸装置及び採寸方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020066847A1 JPWO2020066847A1 (ja) | 2021-08-30 |
JP7249494B2 true JP7249494B2 (ja) | 2023-03-31 |
Family
ID=69949411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548612A Active JP7249494B2 (ja) | 2018-09-28 | 2019-09-19 | 採寸装置及び採寸方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210207943A1 (ja) |
EP (1) | EP3859268B1 (ja) |
JP (1) | JP7249494B2 (ja) |
CN (1) | CN112739975B (ja) |
WO (1) | WO2020066847A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020090897A1 (ja) * | 2018-11-01 | 2020-05-07 | 日本電気株式会社 | 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム |
NL2022442B1 (nl) * | 2019-01-24 | 2020-01-07 | Lely Patent Nv | Positiebepalingsinrichting |
JPWO2022209667A1 (ja) * | 2021-03-31 | 2022-10-06 | ||
JP2023005387A (ja) * | 2021-06-29 | 2023-01-18 | 日本電気株式会社 | 容積測定装置、容積測定システム、容積測定方法及びプログラム |
CN117179744A (zh) * | 2023-08-30 | 2023-12-08 | 武汉星巡智能科技有限公司 | 非接触式婴幼儿身高测量方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014109464A (ja) | 2012-11-30 | 2014-06-12 | Toshiba Corp | 物体測定装置、及び物体測定方法 |
JP2016210586A (ja) | 2015-05-12 | 2016-12-15 | 株式会社豊田中央研究所 | フォークリフト |
JP2017191605A (ja) | 2016-04-13 | 2017-10-19 | ジック インクSICK Inc. | 対象物体の寸法を計測するための方法及びシステム |
JP2018054438A (ja) | 2016-09-28 | 2018-04-05 | 株式会社デンソー | 検査装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103162620B (zh) * | 2012-10-26 | 2015-05-13 | 苏州比特速浪电子科技有限公司 | 图像处理装置及图像处理方法 |
CN103389042A (zh) * | 2013-07-11 | 2013-11-13 | 夏东 | 基于深度图像的地面自动检测以及场景高度计算的方法 |
US10268892B1 (en) * | 2015-05-15 | 2019-04-23 | 4Dmobile Llc | System and methods for volume dimensioning for supply chains and shelf sets |
WO2016199366A1 (ja) | 2015-06-11 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 寸法測定装置および寸法測定方法 |
US10066982B2 (en) * | 2015-06-16 | 2018-09-04 | Hand Held Products, Inc. | Calibrating a volume dimensioner |
DE102015216595A1 (de) * | 2015-08-31 | 2017-03-02 | Lufthansa Cargo Ag | Vorrichtung zur Optimierung der Volumenausnutzung in Logistikanwendungen |
CN106839975B (zh) * | 2015-12-03 | 2019-08-30 | 杭州海康威视数字技术股份有限公司 | 基于深度相机的体积测量方法及其系统 |
CN108413864B (zh) * | 2017-02-10 | 2020-07-17 | 菜鸟智能物流控股有限公司 | 物体尺寸测量方法及相关设备 |
KR101815417B1 (ko) * | 2017-03-28 | 2018-01-04 | 성균관대학교산학협력단 | 가상 높이를 이용한 피사체 위치 정보 획득 방법 |
US10328578B2 (en) * | 2017-04-21 | 2019-06-25 | X Development Llc | Methods and systems for detecting, recognizing, and localizing pallets |
CN108209926A (zh) * | 2018-01-08 | 2018-06-29 | 西安科技大学 | 基于深度图像的人体身高测量系统 |
CN108550143A (zh) * | 2018-04-03 | 2018-09-18 | 长安大学 | 一种基于rgb-d相机的车辆长宽高尺寸的测量方法 |
US10679367B2 (en) * | 2018-08-13 | 2020-06-09 | Hand Held Products, Inc. | Methods, systems, and apparatuses for computing dimensions of an object using angular estimates |
-
2019
- 2019-09-19 JP JP2020548612A patent/JP7249494B2/ja active Active
- 2019-09-19 EP EP19865949.2A patent/EP3859268B1/en active Active
- 2019-09-19 CN CN201980060844.6A patent/CN112739975B/zh active Active
- 2019-09-19 WO PCT/JP2019/036811 patent/WO2020066847A1/ja unknown
-
2021
- 2021-03-25 US US17/211,921 patent/US20210207943A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014109464A (ja) | 2012-11-30 | 2014-06-12 | Toshiba Corp | 物体測定装置、及び物体測定方法 |
JP2016210586A (ja) | 2015-05-12 | 2016-12-15 | 株式会社豊田中央研究所 | フォークリフト |
JP2017191605A (ja) | 2016-04-13 | 2017-10-19 | ジック インクSICK Inc. | 対象物体の寸法を計測するための方法及びシステム |
JP2018054438A (ja) | 2016-09-28 | 2018-04-05 | 株式会社デンソー | 検査装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3859268B1 (en) | 2023-04-26 |
US20210207943A1 (en) | 2021-07-08 |
EP3859268A4 (en) | 2021-11-10 |
WO2020066847A1 (ja) | 2020-04-02 |
EP3859268A1 (en) | 2021-08-04 |
CN112739975A (zh) | 2021-04-30 |
JPWO2020066847A1 (ja) | 2021-08-30 |
CN112739975B (zh) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7249494B2 (ja) | 採寸装置及び採寸方法 | |
US10880541B2 (en) | Stereo correspondence and depth sensors | |
US10609359B2 (en) | Depth image provision apparatus and method | |
Zhou et al. | Extrinsic calibration of a camera and a lidar based on decoupling the rotation from the translation | |
US20140153816A1 (en) | Depth Map Stereo Correspondence Techniques | |
US20150134303A1 (en) | Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe | |
JP7361251B2 (ja) | 採寸装置及び採寸方法 | |
EP3438602B1 (en) | Dimension measurement apparatus and control method of the same | |
JP5493105B2 (ja) | 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置 | |
JP2020060451A (ja) | 荷室監視システム及び荷室監視方法 | |
US8699757B2 (en) | Software embodied on a non-transitory storage media for distance measurement using speckle pattern | |
Boehm | Accuracy investigation for structured-light based consumer 3D sensors | |
Hashimoto et al. | Multi-camera-based high precision measurement approach for surface acquisition | |
CN109212546B (zh) | 双目相机深度方向测量误差的计算方法和装置 | |
US20180124381A1 (en) | Structured-light-based three-dimensional scanning method, apparatus and system thereof | |
TW201915951A (zh) | 影像處理方法、影像處理裝置及電腦可讀取記錄媒體 | |
WO2021231266A1 (en) | Methods and apparatus for determining volumes of 3d images | |
CN112102456A (zh) | 一种陶瓷片高度检测方法、装置及计算机可读存储介质 | |
US20230035883A1 (en) | Filling rate measurement method, information processing device, and recording medium | |
US20240013422A1 (en) | Measurement device and measurement method | |
WO2023157621A1 (ja) | 情報処理装置及び情報処理方法 | |
US20210350615A1 (en) | Methods and apparatus for extracting profiles from three-dimensional images | |
KR20170129543A (ko) | 카메라 설치높이 측정을 위한 영상 분석 장치 및 방법 | |
TW201818048A (zh) | 基於結構光的三維掃描方法及其裝置與系統 | |
JP2023005398A (ja) | 計測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20221021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7249494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |