JP7249494B2 - 採寸装置及び採寸方法 - Google Patents

採寸装置及び採寸方法 Download PDF

Info

Publication number
JP7249494B2
JP7249494B2 JP2020548612A JP2020548612A JP7249494B2 JP 7249494 B2 JP7249494 B2 JP 7249494B2 JP 2020548612 A JP2020548612 A JP 2020548612A JP 2020548612 A JP2020548612 A JP 2020548612A JP 7249494 B2 JP7249494 B2 JP 7249494B2
Authority
JP
Japan
Prior art keywords
depth
height
information
measuring device
floor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020548612A
Other languages
English (en)
Other versions
JPWO2020066847A1 (ja
Inventor
晃 藤原
健 初田
渉太 手塚
弥侑 上田
卓哉 安永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020066847A1 publication Critical patent/JPWO2020066847A1/ja
Application granted granted Critical
Publication of JP7249494B2 publication Critical patent/JP7249494B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Description

本開示は、対象物の寸法を計測する採寸装置及び採寸方法に関する。
特許文献1は、荷台に置かれた貨物又は荷台付き貨物の寸法を測定する寸法測定装置を開示している。この寸法測定装置は、測定波を送信し、反射した測定波を受信して、距離画像を生成する。寸法測定装置は、貨物および荷台を含む貨物距離画像と、貨物および荷台を含まない背景距離画像とをそれぞれ生成する。寸法測定装置は、貨物距離画像と背景距離画像との差分に基づいて、貨物又は荷台付き貨物の形状を表す距離画像を生成している。これにより、寸法測定装置は、貨物又は荷台付き貨物の寸法を適切に測定することを可能にしている。
国際公開第2016/199366号
本開示は、荷台と荷台の上に載置された荷物とを含む対象物を精度良く採寸する採寸装置及び採寸方法を提供する。
本開示にかかる採寸装置は、床面上にある荷台と荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸装置である。採寸装置は、基準位置から床面及び対象物までの距離を示す深度情報を取得する取得部と、荷台の規格サイズを示す規格寸法情報を記憶する記憶部と、深度情報と規格寸法情報とに基づいて、荷台を特定することによって、対象物の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成する制御部と、採寸情報を出力する出力部と、を備える。
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
本開示にかかる採寸方法は、床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する方法でる。採寸方法は、基準位置から床面及び対象物までの距離を示す深度情報を取得するステップ、荷台の規格サイズを示す規格寸法情報を取得するステップ、深度情報と規格寸法情報とに基づいて、荷台を特定することによって、対象物の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成するステップ、及び、採寸情報を出力部に出力するステップ、を含む。
本開示における採寸装置及び採寸方法は、基準位置から床面上にある荷台と荷台の上に載置された荷物とを含む対象物までの距離を示す深度情報と、荷台の規格サイズを示す規格寸法情報とに基づいて、荷台を特定することによって、対象物の幅、奥行き、及び高さの寸法を計測する。これにより、荷台と荷台の上に載置された荷物とを含む対象物の外形を精度良く採寸することができる。
採寸装置の正面図 採寸装置の背面図 第1実施形態の採寸装置の電気的構成を示すブロック図 採寸装置によるパレット及び荷物の撮影を説明するための図 深度画像の一例を示す図 第1実施形態の採寸装置の機能的構成を示すブロック図 規格寸法情報の一例を示す図 第1実施形態の採寸装置の動作を示すフローチャート 採寸情報の一例を示す図 採寸情報の出力の一例を示す図 第1実施形態の床面方程式の生成動作を示すフローチャート 第1実施形態の深度画像の下辺近傍領域を説明するための図 第1実施形態のパレットの推定動作を示すフローチャート 第1実施形態のパレットの推定動作を説明するための図 第1実施形態の荷物の高さの推定動作を示すフローチャート 第1実施形態の荷物の高さの推定動作を説明するための図 第1の実施形態の角落とし部のあるパレットの一例を示す図 第1の実施形態の角落とし部がある場合の最近接点の算出を説明するための図 第2実施形態のパレットの推定動作を示すフローチャート 第2実施形態のパレットの推定動作を説明するための図 第3実施形態の採寸装置の構成を示すブロック図 第3実施形態の採寸装置の動作を示すフローチャート 第3実施形態の対象物の輪郭検出を説明するための図 第3実施形態の床面方程式の生成動作を示すフローチャート 第3実施形態のパレットの推定動作を示すフローチャート 第3実施形態の荷物の高さの推定動作を示すフローチャート 第4実施形態の採寸装置の構成を示すブロック図 第4実施形態の床面方程式の生成動作を示すフローチャート 第5実施形態の床面方程式の生成動作を示すフローチャート
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
(本開示の基礎となった知見)
物流などにおいて荷物を載せるための荷台としてパレットが利用されている。倉庫又はトラックにおいてパレットに載置された荷物が占有する領域は、パレットサイズを底面積とし、パレットとパレット上に載置された荷物の全体の高さを持つ寸法となる。よって、パレット上に載置された荷物の寸法だけでなく、パレットとパレット上に載置された荷物の全体の寸法計測が必要となる。パレットとパレット上に載置された荷物の全体を深度カメラで撮影するためには、パレットと荷物の全体が写るように離れた距離から撮影する必要がある。しかし、離れた距離から撮影すると、深度カメラから得られる深度情報においてノイズが増大し、深度情報の精度が低下する。特に、物流などで使用されるパレットにはすのこ状のものがあり、且つフォークリフト用の差込口がパレットに設けられている。また、パレット上の荷物には、多様な色、素材のものがある。例えば、赤外線アクティブステレオ方式を用いる場合、隙間、凹凸部や、黒い素材などで深度を検出しづらく、深度情報においてデータの抜けが発生し易い。よって、精度の良い深度情報が得られず、パレット及び荷物の寸法を精度良く計測することができなかった。
本開示の採寸装置は、パレットの幅及び奥行きと、床面から荷物の最高点までの高さを精度良く採寸する。具体的には、本開示の採寸装置は、パレットと荷物を撮影して得られた深度情報と共に、パレットの規格サイズを示す規格寸法情報を使用する。物流などで用いられるパレットのサイズは、国又は地域などでいくつかの種類に規格化されている。よって、深度情報と共に規格寸法情報を使用することによって、パレットの種類を精度良く特定でき、パレットの幅及び奥行きと床面から荷物の最高点までの高さを精度良く採寸することが可能となる。これにより、深度情報の精度が良くない場合であっても、精度の良い採寸が可能となる。また、パレット上に載置された荷物がパレットの底面積より小さい場合であっても、パレットに載置された荷物が占有する領域を精度良く採寸することが可能となる。以下、本開示の採寸装置について詳細に説明する。
(第1実施形態)
以下、第1実施形態について、図面を参照しながら説明する。
1. 採寸装置の構成
図1から図7を参照して、本実施形態の採寸装置の構成について説明する。
図1は、第1実施形態に係る採寸装置の正面図である。図2は、第1実施形態に係る採寸装置の背面図である。採寸装置100は、例えば、タブレット型のパソコンである。採寸装置100は、正面側にタッチスクリーン110を備え、背面側に深度カメラ120を備える。
図3は、第1実施形態に係る採寸装置の電気的構成を示すブロック図である。採寸装置100は、タッチスクリーン110及び深度カメラ120に加え、制御部130、記憶部140、及び通信部150を備える。
タッチスクリーン110は、表示部111と操作部112とを含む。表示部111は、例えば、液晶ディスプレイ又は有機ELディスプレイで構成される。操作部112は、ユーザによる種々の操作を入力するユーザインタフェースである。本実施形態において、操作部112は、表示部111の表面に設けられたタッチパネルである。操作部112は、ユーザの指、又はペンなどのポインティングデバイスによるタッチ操作を検出する。操作部112は、例えば電極膜を含む。制御部130は、例えば、指やポインティングデバイスが操作部112に接触することによって生じる電圧の変化又は静電容量の変化を測定することによって、指やポインティングデバイスの接触位置を特定することができる。なお、操作部112は、タッチパネルの他に、キーボード、ボタン、スイッチ、又はこれらの組み合わせによって実現してもよい。
深度カメラ120は、基準位置から被写体までの距離を示す深度情報を生成する。具体的には、深度カメラ120は、被写体までの距離を測定して、測定した距離を画素毎の深度値で示す深度画像を生成する。深度カメラ120は、例えば、赤外線アクティブステレオカメラである。本実施形態では、被写体は、床面、床面に置かれたパレット、パレット上に載置された荷物を含む。深度カメラ120は、アクティブステレオ方式及びTOF(Time Of Flight)方式などの各種公知技術を実装することによって実現される。例えば、採寸装置100は、2台の深度カメラ120を備えてもよく、この場合、2つの画像の視差に基づいて、距離が算出されてもよい。採寸装置100は、1台の深度カメラ120を備えてもよく、この場合、照射した赤外線の光線が対象物に当たり、反射光が戻るまでにかかる時間から、距離が算出されてもよい。深度カメラ120は、基準位置から床面及び対象物までの距離を示す深度情報を取得する取得部に相当する。
制御部130は、半導体素子などで実現可能である。制御部130は、例えば、マイクロコンピュータ、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、又はASIC(Application Specific Integrated Circuit)で構成することができる。制御部130の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部130は、記憶部140に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
記憶部140は、採寸装置100の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部140は、例えば、ハードディスク(HDD)、SSD(Solid State Drive)、RAM(Random Access Memory)、DRAM(Dynamic RAM)、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
通信部150は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB(Universal Serial Bus)、及びHDMI(登録商標)である。
図4は、採寸装置100による対象物200の撮影を模式的に示している。対象物200は、床面上にあるパレット210と、パレット210の上に載置された荷物220を含む。深度カメラ120は、深度カメラ120の位置を基準位置として、深度カメラ120から対象物200までの距離d200を測定して深度画像を生成する。
採寸装置100は、深度画像を参照して、対象物200の幅W200、奥行きD200、及び高さH200を算出する。対象物200の幅W200及び奥行きD200は、パレット210の幅及び奥行きである。対象物200の高さH200は、床面からの荷物220の最高点の高さである。
図5は、深度カメラ120が生成した深度画像141pの一例を示している。深度画像141pは、二次元座標(X,Y)で特定される画素毎の深度値を表す。本実施形態では、対象物200を採寸することを目的としているため、図4及び図5に示すように、深度画像141pにおいてパレット210の2つの辺の全長が写るように、深度カメラ120は対象物200を斜め上の角度から撮影する。これにより、深度画像141pの少なくとも画面下側に床面が写り込む。
図6は、採寸装置100の機能的構成を示すブロック図である。制御部130は、機能的構成として、座標変換部131、床面推定部132、パレット推定部133、及び最高点推定部134を含む。
深度カメラ120が生成した深度画像141pを示す深度情報141は、記憶部140に格納される。座標変換部131は、深度情報141の二次元座標及び深度値を、深度カメラ120を原点とする三次元座標に変換して、三次元座標情報142を生成する。
床面推定部132は、深度情報141及び三次元座標情報142に基づいて、床面の領域を推定して、床面の平面方程式を生成する。以下、床面の平面方程式を「床面方程式」とも称する。
記憶部140には、パレット210の規格サイズを示す規格寸法情報143が予め格納されている。
パレット推定部133は、床面方程式、深度情報141、三次元座標情報142、及び規格寸法情報143に基づいて、パレット210の幅及び奥行きと位置を推定する。
最高点推定部134は、床面方程式、パレット210の幅と奥行きと位置、及び三次元座標情報142に基づいて、床面から荷物の最高点までの高さを推定する。
制御部130は、パレット推定部133により推定したパレット210の幅及び奥行きと、最高点推定部134により推定した荷物の高さとを含む採寸情報144を生成する。
図7は、規格寸法情報143の一例を示している。規格寸法情報143は、1つ以上のパレットの規格サイズを含む。規格寸法情報143は、採寸しようとするパレットの規格サイズを含む。図7の例では、規格寸法情報143は、3種類のパレットの規格幅、規格奥行き、及び規格高さの寸法を含む。規格サイズは、国又は地域などで決められたものである。
2. 採寸装置の動作
図8から図16を参照して、本実施形態の採寸装置100の動作について説明する。
2.1 全体の流れ
図8は、採寸装置100の制御部130の動作を示している。制御部130は、深度カメラ120から深度情報141を取得する(ステップS1)。深度情報141は、図5に示すような、二次元座標で特定される画素毎の深度値を含む深度画像141pを示す。
座標変換部131は、深度情報141の二次元座標及び深度値を、深度カメラ120を原点とする三次元座標に変換して、三次元座標情報142を生成する(ステップS2)。これにより、深度値の情報を含む画素が三次元座標系の点に変換される。
床面推定部132は、深度画像141p内における床面を推定する(ステップS3)。具体的には、床面推定部132は、三次元座標情報142に基づいて床面の平面方程式を生成する。
パレット推定部133は、深度画像141pに写っているパレット210の幅及び奥行きと、パレット210の位置を推定する(ステップS4)。
最高点推定部134は、深度画像141pに写っている荷物220の最高点の高さを推定する(ステップS5)。
制御部130は、ステップS4及びS5で推定したパレット210の幅及び奥行きと、荷物220の最高点の高さを含む採寸情報144を生成して出力する(ステップS6)。
図9は、採寸情報144の一例を示している。図10は、採寸情報144の出力の一例を示している。例えば、制御部130は、図9に示すような採寸情報144を記憶部140に格納してもよい。この場合、制御部130は、採寸情報144を記憶部140に出力する出力部に相当する。制御部130は、通信部150を介して、採寸情報144を外部機器などに出力してもよい。この場合、通信部150は、採寸情報144を外部に出力する出力部に相当する。制御部130は、図10に示すように、対象物を含む直方体の枠401と共に、採寸情報144を表示部111に表示してもよい。この場合、表示部111は、採寸情報144を画面に出力する出力部に相当する。
2.2 床面方程式の生成
図11及び図12を参照して、床面方程式の生成について説明する。図11は、床面の推定、すなわち、床面の平面方程式の生成(ステップS3の詳細)を示している。図11に示す処理によって、床面の平面方程式「ax+by+cz+d=0」を生成する。図12は、深度画像141pにおける下辺近傍領域31を例示している。
床面推定部132は、深度画像141pの下辺近傍領域31を床面の領域であると推定して、下辺近傍領域31内の画素から少なくとも3つの点を選択する(ステップS301)。下辺近傍領域31は、例えば、深度画像141pの下辺寄りにある「20×20」画素の領域である。下辺近傍領域31の大きさは、深度カメラ120の解像度に応じて変えてもよい。
床面推定部132は、選択した3点の三次元座標に基づいて、床面の法線ベクトル(a,b,c)を算出する(ステップS302)。例えば、3点のうち2点を結ぶベクトルを2つ生成し、2つのベクトルの外積から法線ベクトルを算出する。このとき、下辺近傍領域31内の異なる3つ以上の点から複数の法線ベクトルを算出してもよいし、複数の下辺近傍領域31においてそれぞれ法線ベクトルを算出してもよい。この場合、算出した複数の法線ベクトルを平均化することによって、床面の法線ベクトルを決定してもよい。これにより、法線ベクトルの精度が向上する。
床面推定部132は、下辺近傍領域31内のいずれかの点、例えば、ステップS301で選択した点の三次元座標と、ステップS302で算出した法線ベクトルとに基づいて、床面の高さをゼロとして、床面の平面方程式の定数dを算出する(ステップS303)。一つの点によって定数dを決定してもよいし、下辺近傍領域31内の複数の点から算出した定数dを平均化することによって、定数dを決定してもよい。平均化することによって、定数dの精度が向上する。
2.3 パレットの推定
図13及び図14を参照して、パレットの推定について説明する。図13は、パレットの幅及び奥行きと位置の推定(ステップS4の詳細)を示している。図14は、図13によるパレットの推定を模式的に示している。
パレット推定部133は、記憶部140から規格寸法情報143を読み出すことによって、規格寸法情報143を取得する(ステップS401)。
パレット推定部133は、三次元座標情報142が示す点の中から、規格寸法情報143が示すパレットの高さ近傍の点を検出し、検出した点の中で深度カメラ120に最も近い最近接点Aを特定する(ステップS402)。パレットの高さ近傍とは、「規格高さ×α(例えば、α=0.8)」から規格高さまでの範囲に相当する。具体的には、パレットの高さ近傍とは、図4に示す桁板211及びデッキボード212の高さ付近を含む。例えば、図7に示すような高さ14cmのパレットの場合、高さが12~14cmの点から最近接点Aを探す。具体的には、三次元座標情報142と床面方程式とに基づいて各点の高さを算出する。床面方程式において法線ベクトルが式(1)を満たすように法線ベクトル(a,b,c)を算出すると、三次元座標(x0,y0,z0)を有する点の床面からの高さh0は式(2)により求まる。
Figure 0007249494000001
Figure 0007249494000002
パレット推定部133は、式(2)により算出した床面からの高さh0が規格寸法情報143が示す高さの近傍となる複数の点の中から、深度情報141に基づいて深度値が最小となる点を最近接点Aとして特定する。
パレット推定部133は、最近接点Aから規格寸法情報143が示すパレット高さ近傍で連続する点、すなわち、最近接点Aと同じ高さの点を直線上に探し、探した点の両端を、パレット210の左端点B及び右端点Cとして特定する(ステップS403)。
パレット推定部133は、AB間の距離とAC間の距離を規格寸法情報143が示す幅及び奥行きと比較して、パレット210の種類を特定する(ステップS404)。例えば、三次元座標情報142に基づいてAB間の距離とAC間の距離をそれぞれ算出する。AB間の距離が「80cm±α」(例えば、α=9cm)の範囲内であり、AC間の距離が「120cm±β」(例えば、β=9cm)の範囲内であれば、パレット210の種類は「パレットI」であると判定する。この判定結果に基づいて、パレット推定部133は、「AB=80cm」、「AC=120cm」と推定する。これにより、図14に示すような対象物200の幅W200及び奥行きD200の寸法が決定される。
パレットの種類が図7に示す3種類の場合、AB間の距離又はAC間の距離が、60,80,100,120のいずれかの近傍でない場合は、パレットが検出されなかったと判断して、以降の処理を停止する。辺ABと辺ACの成す角度と期待値(例えば、直角)との差が所定値以上であれば、パレットが検出されなかったと判断して、以降の処理を停止してもよい。これにより、誤認率を低減することができる。
パレット推定部133は、特定したパレットの種類に基づいて、点Dの位置を特定して、パレット210の領域を推定する(ステップS405)。具体的には、最近接点A、左端点B、及び右端点Cを含む平行四辺形が、パレット210の領域として推定される。これにより、三次元座標情報142内におけるパレット210の位置が推定される。
2.4 荷物の高さ推定
図15及び図16を参照して、荷物の高さ推定について説明する。図15は、荷物の最高点の高さ推定(ステップS5の詳細)を示している。図16は、図15による荷物の高さ推定を模式的に示している。
最高点推定部134は、推定したパレット210の領域を底面とする三次元空間400内にある点の床面からの高さを算出する(ステップS501)。三次元空間400は、辺ABと床面の法線を含む平面P1と、辺CDと床面の法線を含む平面P2と、辺ACと床面の法線を含む平面P3と、辺BDと床面の法線を含む平面P4を、側面とする空間である。例えば、最高点推定部134は、平面P1,P2,P3,P4の平面方程式を算出する。最高点推定部134は、平面P1と平面P2との間、且つ平面P3と平面P4との間に座標を持つ点を、パレット210上にある点とみなす。なお、三次元空間400の底面領域を、推定したパレット210の領域よりも大きくしてもよい。これにより、深度情報141の誤差の影響を除去することが可能となる。各点の床面からの高さは、上述した式(2)により算出できる。
最高点推定部134は、算出した高さの中で最も高い点を床面からの荷物の最高点の高さとして決定する(ステップS502)。これにより、荷物220の上面T220内の点の高さが、対象物200の高さH200として推定される。なお、三次元空間400内において算出した高さの連続性を検証し、連続性がない点は最高点の決定から排除してもよい。これにより、深度情報141のノイズの影響を除去することができる。
3. 効果及び補足
本実施形態の採寸装置100は、床面上にあるパレット210とパレット210の上に載置された荷物220とを含む対象物200の外形の大きさを計測する。採寸装置100は、基準位置から床面及び対象物200までの距離を示す深度情報141を取得する取得部と、パレット210の規格サイズを示す規格寸法情報143を記憶する記憶部140と、深度情報141と規格寸法情報143とに基づいて、パレット210を特定することによって、対象物200の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報144を生成する制御部130と、採寸情報144を出力する出力部と、を備える。
深度情報141と規格寸法情報143の両方を用いるため、対象物200を精度良く採寸することができる。
取得部は、深度情報141として、床面及び対象物200を撮影して、床面及び対象物200までの距離を、画素毎の深度値で示す深度画像141pを生成する深度カメラ120を含む。
出力部は、例えば、採寸情報144を画面に出力する表示部111である。出力部は、採寸情報144を記憶部140に出力する制御部130であってもよい。出力部は、採寸情報144を外部に出力する通信部150であってもよい。
制御部130は、深度画像141pの各画素を三次元座標系の点に変換した三次元座標情報142を生成し、三次元座標情報142に基づいて床面の平面方程式を算出する。
これにより、床面を基準とした点の高さを算出することが可能となる。
制御部130は、深度画像141p内の所定サイズの下辺近傍領域31が床面の領域であると推定して、下辺近傍領域31内の点から床面の平面方程式を算出する。画面下部に床が写るようにして撮影し、下辺近傍領域から平面方程式を算出することによって、床面方程式を算出できる。
規格寸法情報143は、パレット210の規格高さを含む。制御部130は、各点の三次元座標と床面の平面方程式とに基づいて、各点の高さを算出し、算出した高さが規格高さ近傍となる点に基づいて、パレット210の輪郭を推定する。具体的には、最近接点Aを検出し、最近接点Aと同じ高さの点を直線上に探して、左端点B及び右端点Cを検出する。規格高さに基づいて輪郭である辺AB及び辺ACを推定するため、精度良く輪郭を推定できる。
規格寸法情報143は、パレット210の規格幅及び規格奥行きを含む。制御部130は、三次元座標情報142に基づいて、推定したパレット210の輪郭からパレット210の幅及び奥行きを算出し、算出した幅及び奥行きと規格幅及び規格奥行きとを比較して、パレット210の種類を特定してパレット210の幅及び奥行きを推定する。規格幅及び規格奥行きと比較することによって、対象物200の幅及び奥行きを精度良く推定することができる。
制御部130は、推定したパレット210を底面とする三次元空間内において、三次元座標情報142と床面の平面方程式とにより算出される点の高さが最も高い点を、荷物220の高さとして推定する。パレット210の位置が精度良く推定されることによって、荷物220が存在する三次元空間を精度良く特定できる。よって、最高点を精度良く推定することができる。
本実施形態の採寸方法は、コンピュータの制御部130が床面上にあるパレット210とパレット210の上に載置された荷物220とを含む対象物200の外形の大きさを計測する方法である。採寸方法は、基準位置から床面及び対象物200までの距離を示す深度情報141を取得部から取得するステップS1、パレット210の規格サイズを示す規格寸法情報143を記憶部140から取得するステップS401、深度情報141と規格寸法情報143とに基づいて、パレット210を特定して、対象物200の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報144を生成するステップS4~S6、及び採寸情報144を出力部に出力するステップS6を含む。深度情報141と規格寸法情報143の両方を用いるため、対象物200を精度良く採寸することができる。
本実施形態では、図11のステップS301において、深度画像141p内の、例えば「20×20」画素である下辺近傍領域31が床面であると推定した。しかし、下辺近傍領域31だけに限らず、下辺近傍領域31よりも広い範囲を床面と推定してもよい。例えば、制御部130は、下辺近傍領域31内の点と座標が連続している点を床面と推定してもよい。制御部130は、下辺近傍領域31の周辺において下辺近傍領域31と同一サイズの別の領域から法線ベクトルを算出し、別の領域の法線ベクトルの向きが下辺近傍領域31内の法線ベクトルと類似している場合は、その別の領域も床面と推定してもよい。別の領域に対してさらに周辺の領域の法線ベクトルの向きを算出し、向きが類似している場合は、周辺の領域について床面と推定してもよい。このようにして、床面推定領域を広げてもよい。制御部130は、複数の点から算出される法線ベクトルの向きと各点の間の距離とに基づいて、床面の領域を推定してもよい。深度画像141p内の全領域において法線ベクトルの向きと点の距離を判定し、法線ベクトルの向きと点の距離が近い点は同一の面であると判断してもよい。床面と推定した領域内の点から複数の法線ベクトルを算出して平均化することによって、床面の法線ベクトルを決定してもよい。
図13のステップS402の最近接点Aの特定において、最近接点Aの位置に図4に示すようなブロック213があるパレットの場合、最近接点Aより低い位置にもパレットの部材が存在することを利用し、例えば、最近接点Aと垂直な位置関係においてブロック213の高さを有する画素の存在を確認してもよい。これにより、深度画像141pのノイズの影響を排除することができる。
図17Aは、角落とし部を有するパレットの一例を示している。図17Bは、角落とし部がある場合に算出される最近接点を例示している。パレット210に角落とし部214がある場合に、ステップS402で、例えば点A1が最近接点として特定されたとき、点A1から点A2を算出してもよい。点A2は、例えば、検出した点A1を中心とし、角落とし部214の幅以上の異なる半径を持つ同心円上の2点を結ぶ直線が交わる点である。この場合、算出した点A2を最近接点Aとしてもよい。
図13のステップS403の左端点B及び右端点Cの特定において、直線状に三次元座標を評価するときに、直線上に辿れない区間があっても、その区間が短距離であった場合は、暫定的に点が連続しているものとして、更に延長線上を辿ってもよい。すなわち、途切れた点の距離が所定の距離以内であれば、点が連続しているものと見なしてもよい。これにより、深度情報141にデータの欠落があった場合であっても、データ欠落の影響による誤認を低減することができる。
検出対象とする全てのパレットの種類を想定し、図17Aに示すような差込口215のない部位、例えば、ブロック213などが存在する可能性のある全ての位置を、最近接点を基点とした円弧状に、順次高さを評価してもよい。パレットの高さの半値などの基準高を跨ぎ、高さの変化する点を探索する。これらのうち、最近接点Aを基点に最も直角に近い角度を成す2点B’,C’を左辺AB及び右辺AC上の部位と見なし、その延長線上において左端点B及び右端点Cを探索してもよい。深度情報141の精度が低く、直線を曲線として検出した場合に、最近接点Aの近傍から歪んだ角度で直線状に辿ることによる誤認を低減することができる。
左辺AB及び右辺ACの探索中の点をそれぞれ点B’及び点C’とし、線分AB’及び線分AC’の延長線上に加え、線分AC’と直交し最近接点Aを通る直線上と、線分AB’と直交し最近接点Aを通る直線上に点があるか否かを評価してもよい。このような点が検出された場合は、パレットの高さの位置に点があるとみなして探索を継続してもよい。これにより、深度情報の精度が低い場合又はデータの欠落があった場合であっても、誤認を低減することができる。
(第2実施形態)
第2実施形態は、パレットの推定方法が第1実施形態と異なる。第1実施形態では、三次元座標情報142に基づいて算出される高さが規格高さ近傍となる点を検出することによって、最近接点A、左端点B及び右端点Cを検出した。本実施形態では、法線ベクトルの向きが同一となる面に基づいて、最近接点A、左端点B及び右端点Cを検出する。
図18及び図19を参照して、第2実施形態におけるパレットの推定について説明する。図18は、第2実施形態における、パレットの幅及び奥行きと位置の推定(ステップS4の詳細)を示している。図19は、図18によるパレットの推定を模式的に示している。
パレット推定部133は、深度画像141p内の各画素に対応する法線ベクトルを三次元座標情報142に基づいて算出し、算出した法線ベクトルの向きが同一となる面を検出する(ステップS411)。
パレット推定部133は、記憶部140から規格寸法情報143を読み出すことによって、規格寸法情報143を取得する(ステップS412)。
パレット推定部133は、検出した面において、点の床面からの高さh0が規格寸法情報143が示すパレット高さ近傍となる領域を抽出する(ステップS413)。抽出した領域は2つの直線に相当する。抽出した直線状の領域が、パレット210の輪郭として推定される。
パレット推定部133は、抽出した2つの直線状の領域から、最近接点A、左端点B及び右端点Cを特定する(ステップS414)。例えば、パレット推定部133は、左側の線の端を左端点Bとして特定し、右側の線の端を右端点Cとして特定する。パレット推定部133は、2つの線の交点を最近接点Aとして特定する。
最近接点A、左端点B、及び右端点Cを特定した後の処理(ステップS415及びステップS416)は第1実施形態(図13に示すステップS404及びステップS405)と同一である。
以上のように、規格寸法情報143は、パレット210の規格高さを含む。制御部130は、三次元座標情報142に基づいて深度画像141p内の各画素に対応する点の法線ベクトルを算出する。制御部130は、算出した法線ベクトルの向きが同一方向となる面を検出する。さらに、制御部130は、各点の三次元座標と床面の平面方程式とに基づいて各点の高さを算出する。制御部130は、検出した面内において算出した高さが規格高さ近傍となる部分を、パレット210の輪郭と推定する。これにより、精度良く、パレット210の輪郭を推定することができる。
(第3実施形態)
第1及び第2実施形態では深度カメラ120から得られる深度情報141に基づいて採寸した。第3実施形態では、深度情報141に加え、可視光カメラから得られる色情報を使用して、採寸する。
図20は、第3実施形態に係る採寸装置の構成を示すブロック図である。第3実施形態の採寸装置103は、第1実施形態の構成に加え、色情報を生成する可視光カメラ160をさらに備える。可視光カメラ160は、CCDイメージセンサ、CMOSイメージセンサ、又はNMOSイメージセンサなどの画像センサを備える。色情報は、例えば、画素毎のRGB値を示すカラー画像である。深度カメラ120と可視光カメラ160は、別個のカメラであってもよい。深度カメラ120と可視光カメラ160は、深度情報と色情報の両方を取得可能な1つのカメラであってもよい。
図21は、第3実施形態に係る採寸装置103の制御部130の動作を示している。深度カメラ120から深度情報141を取得するステップS21、深度情報141から三次元座標情報142を生成するステップS22、及び採寸情報144を生成して出力するステップS28は、第1実施形態(図8に示すステップS1、ステップS2、ステップS6)と同一である。
制御部130は、可視光カメラ160から色情報を取得する(ステップS23)。色情報は、二次元座標で特定される画素毎のRGB値を含む。色情報の二次元座標と深度情報の二次元座標は、深度カメラ120と可視光カメラ160の位置に応じて対応付けられる。例えば、深度カメラ120と可視光カメラ160が一台のカメラで実現される場合は、色情報の二次元座標と深度情報の二次元座標は同一となる。すなわち、深度画像の各画素とカラー画像の各画素は、同一の座標値を有する。
制御部130は、色情報に基づいて、例えば、カラー画像を画像処理することによって、図22に示すような対象物200の輪郭230を検出する(ステップS24)。輪郭230は、例えば、図22に示すような対象物200の全体の外形を表す輪郭である。輪郭230は、パレットと荷物のそれぞれの外形を表す輪郭であってもよい。
制御部130は、深度情報141及び三次元座標情報142に加えて、色情報に基づいて検出した輪郭230を参照して、床面の推定(ステップS25)、パレットの推定(ステップS26)、及び荷物の高さ推定(ステップS27)を行う。以下、床面の推定(ステップS25)、パレットの推定(ステップS26)、及び荷物の高さ推定(ステップS27)の詳細についてそれぞれ説明する。
図23は、床面の推定(ステップS25の詳細)を示している。制御部130は、図22に示すような対象物200の輪郭230の外側の領域240において、三次元座標情報142と色情報に基づいて床面領域を推定する(ステップS2501)。例えば、輪郭230の外側の領域240内であって、カラー画像145pの下辺の画素のRGB値と類似するRGB値を持つ領域を床面領域と推定する。なお、色情報に基づく床面領域の推定は、機械学習を使用して行ってもよい。
制御部130は、推定した床面領域内の画素から少なくとも3つの点を選択する(ステップS2502)。点を選択した後の法線ベクトルの算出(ステップS2503)と定数dの算出(ステップS2504)は、第1実施形態(ステップS302,S303)と同一である。
図24は、パレットの推定(ステップS26の詳細)を示している。制御部130は、対象物200の輪郭230と三次元座標情報142とに基づいて、パレット210の寸法を算出する(ステップS2601)。例えば、制御部130は、カラー画像145pにおける輪郭230の下側(Y軸負方向側)をパレット210の輪郭と推定して、輪郭を示すエッジの両端から最近接点A、左端点B、及び右端点Cを特定する。制御部130は、特定した最近接点A、左端点B、及び右端点Cの三次元座標に基づいて、AB間の距離とAC間の距離を算出する。
算出した寸法と規格寸法情報143との比較に基づくパレット210の領域推定(ステップS2602)は、第1実施形態と同一である。例えば、パレット210の領域推定(ステップS2602)は、規格寸法情報143に基づくパレット210の種類の特定(ステップS404)及び点Dの特定(ステップS405)に相当する。
図25は、荷物の高さ推定(ステップS27の詳細)を示している。制御部130は、対象物200の輪郭230内の点の高さを、三次元座標情報142と床面方程式とに基づいて算出する(ステップS2701)。制御部130は、カラー画像145pにおける輪郭230の上側(Y軸正方向側)を荷物220の輪郭と推定してもよい。制御部130は、算出した高さの中で最も高い点を床面からの荷物の最高点の高さとして決定する(ステップS2702)。
以上のように、本実施形態の採寸装置103は、対象物200を撮影してカラー画像を示す色情報を生成する可視光カメラ160をさらに備える。制御部130は、色情報に基づいて床面の領域を推定して、推定した床面の領域内の点から床面の平面方程式を算出する。制御部130は、カラー画像を画像処理することによりパレット210の輪郭を抽出する。制御部130は、カラー情報を画像処理することにより荷物220の輪郭を検出し、検出した輪郭の内側において、三次元座標情報142と床面の平面方程式とにより算出される点の高さが最も高い点を、荷物220の高さとして推定する。深度情報と色情報を併用することによって、採寸の精度がより良くなる。
(第4実施形態)
図26及び図27を参照して、第4実施形態の採寸装置について説明する。第4実施形態の採寸装置104は、床面の推定が第1実施形態と異なる。
図26は、第4実施形態に係る採寸装置の構成を示すブロック図である。第4実施形態の採寸装置104は、第1実施形態の構成に加え、加速度センサ170をさらに備える。加速度センサ170は、採寸装置104の重力加速度を検出して、検出した重力加速度を示す重力加速度情報を生成する。
図27は、第4実施形態における床面の推定、すなわち、床面の平面方程式の生成(ステップS3の詳細)を示している。制御部130は、加速度センサ170から重力加速度情報を取得する(ステップS341)。制御部130は、重力加速度情報に基づいて、垂直上向きの法線ベクトル(a,b,c)を推定する(ステップS342)。制御部130は、三次元座標情報142と推定した法線ベクトルから、点の相対高さを算出する(ステップS343)。制御部130は、相対高さが最も低い点を床面と推定して定数dを算出する(ステップS344)。すなわち、本実施形態では、法線ベクトルが重力の向きと反対方向となる点に基づいて床面を推定する。これにより、採寸装置104が傾いた状態で対象物200が撮影されたときであっても、床面を精度良く推定することができる。
以上のように、採寸装置104は、重力加速度を検出する加速度センサ170をさらに備える。制御部130は、重力加速度に基づいて推定される床面の法線ベクトルの向きと三次元座標情報142とに基づいて、床面の平面方程式を算出する。これにより、深度カメラ120の向きが、地面に対して水平又は垂直な方向に傾いていたとしても、精度良く床面方程式を生成することができる。
(第5実施形態)
図28を参照して、第5実施形態の採寸装置について説明する。第5実施形態の採寸装置は、床面の推定が第1実施形態と異なる。第5実施形態の採寸装置の構成は、第1実施形態の採寸装置100と同一である。図28は、第5実施形態における床面の推定、すなわち、床面の平面方程式の生成(ステップS3の詳細)を示している。
制御部130は、暫定的な仮想法線を設定する(ステップS351)。制御部130は、三次元座標情報142に基づいて局所的な法線ベクトルを算出する(ステップS352)。制御部130は、仮想法線と一定角度範囲内の法線を持つ点を水平面と推定する(ステップS353)。制御部130は、推定した水平面内の法線ベクトルの平均を法線ベクトル(a’,b’,c’)として算出する(ステップS354)。制御部130は、三次元座標情報142と法線ベクトル(a’,b’,c’)から点の相対高さを算出し、相対高さが所定値よりも低い領域を床面と推定する(ステップS355)。制御部130は、推定した床面内の法線ベクトルの平均を床面の法線ベクトル(a,b,c)として算出する(ステップS356)。制御部130は、三次元座標情報142と床面の法線ベクトル(a,b,c)から点の高さを再計算し、高さが所定値よりも低い領域を床面として定数dを算出する(ステップS357)。
以上のように、制御部130は、三次元座標情報142に基づいて深度画像141p内の画素に対応する点の法線ベクトルを算出し、算出した法線ベクトルが所定の仮想法線ベクトルと一定角度範囲内となる法線ベクトルを持つ点を水平面と推定する。制御部130は、推定した水平面内の法線ベクトルと三次元座標情報とに基づいて床面の領域を推定して、推定した床面の領域内の点から床面の平面方程式を算出する。
本実施形態によれば、下辺近傍領域31に依存せずに、深度画像141p全体から法線ベクトルを算出するため、深度画像141pの下部周辺のノイズが強い場合であっても、法線ベクトルを精度良く算出することができる。本実施形態の採寸装置は、撮影時のおよその保持角度が推定可能な場合に特に有効である。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、第1実施形態~第5実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第1実施形態~第5実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
上記実施形態では、深度カメラ120が採寸装置に内蔵されたが、採寸装置に深度カメラ120が内蔵されていなくてもよい。採寸装置は、通信部150を介して、深度カメラ120が生成した深度情報141を取得してもよい。この場合、通信部150が深度情報141を取得する取得部に相当する。同様に、可視光カメラ160は、採寸装置に内蔵されていなくてもよい。加速度センサ170は、採寸装置に内蔵されていなくてもよい。採寸装置は、通信部150を介して、深度情報141と共に、色情報及び/又は重力加速度情報を取得してもよい。
本開示の採寸装置は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、パレット上に荷物が載置された状態においてパレットの幅及び奥行きと荷物の高さを計測する採寸装置及び採寸方法に適用可能である。
31 下辺近傍領域
100,103,104 採寸装置
110 タッチスクリーン
111 表示部
112 操作部
120 深度カメラ
130 制御部
131 座標変換部
132 床面推定部
133 パレット推定部
134 最高点推定部
140 記憶部
141 深度情報
141p 深度画像
142 三次元座標情報
143 規格寸法情報
144 採寸情報
145p カラー画像
150 通信部
160 可視光カメラ
170 加速度センサ
200 対象物
210 パレット
211 桁板
212 デッキボード
213 ブロック
214 角落とし部
215 差込口
220 荷物
230 輪郭
400 三次元空間
A 最近接点
A1,A2,D 点
B 左端点
C 右端点

Claims (15)

  1. 床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸装置であって、
    基準位置から前記床面及び前記対象物までの距離を示す深度情報を取得する取得部と、
    前記荷台の規格サイズを示す規格寸法情報を記憶する記憶部と、
    前記深度情報と前記規格寸法情報とに基づいて、前記荷台を特定することによって、前記対象物の幅、奥行き、及び高さの寸法を計測して、前記計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成する制御部と、
    前記採寸情報を出力する出力部と、
    を備える、採寸装置。
  2. 前記取得部は、前記深度情報として、前記床面及び前記対象物を撮影して、前記床面及び前記対象物までの距離を、画素毎の深度値で示す深度画像を生成する深度カメラを含む、
    請求項1に記載の採寸装置。
  3. 前記制御部は、前記深度画像の各画素を三次元座標系の点に変換した三次元座標情報を生成し、前記三次元座標情報に基づいて前記床面の平面方程式を算出する、
    請求項2に記載の採寸装置。
  4. 前記制御部は、前記深度画像内の所定サイズの下辺近傍領域が前記床面の領域であると推定して、前記下辺近傍領域内の点から前記床面の平面方程式を算出する、
    請求項3に記載の採寸装置。
  5. 前記制御部は、複数の点から算出される法線ベクトルの向きと前記複数の点の距離とに基づいて、前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
    請求項3に記載の採寸装置。
  6. 前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
    前記制御部は、前記色情報に基づいて前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
    請求項3に記載の採寸装置。
  7. 重力加速度を検出する加速度センサをさらに備え、
    前記制御部は、前記重力加速度に基づいて推定される前記床面の法線ベクトルの向きと前記三次元座標情報とに基づいて、前記床面の平面方程式を算出する、
    請求項3に記載の採寸装置。
  8. 前記制御部は、前記三次元座標情報に基づいて前記深度画像内の画素に対応する点の法線ベクトルを算出し、算出した法線ベクトルが所定の仮想法線ベクトルと一定角度範囲内となる法線ベクトルを持つ点を水平面と推定して、推定した前記水平面内の法線ベクトルと前記三次元座標情報とに基づいて前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
    請求項3に記載の採寸装置。
  9. 前記規格寸法情報は、前記荷台の規格高さを含み、
    前記制御部は、各点の三次元座標と前記床面の平面方程式とに基づいて、各点の高さを算出し、算出した高さが前記規格高さ近傍となる点に基づいて、前記荷台の輪郭を推定する、
    請求項3に記載の採寸装置。
  10. 前記規格寸法情報は、前記荷台の規格高さを含み、
    前記制御部は、前記三次元座標情報に基づいて前記深度画像内の各画素に対応する点の法線ベクトルを算出し、算出した前記法線ベクトルの向きが同一方向となる面を検出すると共に、各点の三次元座標と前記床面の平面方程式とに基づいて各点の高さを算出し、検出した前記面内において算出した高さが前記規格高さ近傍となる部分を、前記荷台の輪郭と推定する、
    請求項3に記載の採寸装置。
  11. 前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
    前記制御部は、前記カラー画像を画像処理することにより前記荷台の輪郭を抽出する、
    請求項3に記載の採寸装置。
  12. 前記規格寸法情報は、前記荷台の規格幅及び規格奥行きを含み、
    前記制御部は、前記三次元座標情報に基づいて、推定した前記荷台の輪郭から前記荷台の幅及び奥行きを算出し、
    前記算出した幅及び奥行きと前記規格幅及び規格奥行きとを比較して、前記荷台の種類を特定して前記荷台の幅及び奥行きを推定する、
    請求項9から請求項11のいずれか一つに記載の採寸装置。
  13. 前記制御部は、前記推定した荷台を底面とする三次元空間内において、前記三次元座標情報と前記床面の平面方程式とにより算出される点の高さが最も高い点を、前記荷物の高さとして推定する、
    請求項12に記載の採寸装置。
  14. 前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
    前記制御部は、前記カラー画像を画像処理することにより前記荷物の輪郭を検出し、検出した輪郭の内側において、前記三次元座標情報と前記床面の平面方程式とにより算出される点の高さが最も高い点を、前記荷物の高さとして推定する、
    請求項3に記載の採寸装置。
  15. 床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸方法であって、
    基準位置から前記床面及び前記対象物までの距離を示す深度情報を取得するステップ、
    前記荷台の規格サイズを示す規格寸法情報を取得するステップ、
    前記深度情報と前記規格寸法情報とに基づいて、前記荷台を特定することによって、前記対象物の幅、奥行き、及び高さの寸法を計測して、前記計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成するステップ、及び
    前記採寸情報を出力するステップ、
    を含む、採寸方法。
JP2020548612A 2018-09-28 2019-09-19 採寸装置及び採寸方法 Active JP7249494B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018185332 2018-09-28
JP2018185332 2018-09-28
PCT/JP2019/036811 WO2020066847A1 (ja) 2018-09-28 2019-09-19 採寸装置及び採寸方法

Publications (2)

Publication Number Publication Date
JPWO2020066847A1 JPWO2020066847A1 (ja) 2021-08-30
JP7249494B2 true JP7249494B2 (ja) 2023-03-31

Family

ID=69949411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020548612A Active JP7249494B2 (ja) 2018-09-28 2019-09-19 採寸装置及び採寸方法

Country Status (5)

Country Link
US (1) US20210207943A1 (ja)
EP (1) EP3859268B1 (ja)
JP (1) JP7249494B2 (ja)
CN (1) CN112739975B (ja)
WO (1) WO2020066847A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090897A1 (ja) * 2018-11-01 2020-05-07 日本電気株式会社 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム
NL2022442B1 (nl) * 2019-01-24 2020-01-07 Lely Patent Nv Positiebepalingsinrichting
JPWO2022209667A1 (ja) * 2021-03-31 2022-10-06
JP2023005387A (ja) * 2021-06-29 2023-01-18 日本電気株式会社 容積測定装置、容積測定システム、容積測定方法及びプログラム
CN117179744A (zh) * 2023-08-30 2023-12-08 武汉星巡智能科技有限公司 非接触式婴幼儿身高测量方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014109464A (ja) 2012-11-30 2014-06-12 Toshiba Corp 物体測定装置、及び物体測定方法
JP2016210586A (ja) 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト
JP2017191605A (ja) 2016-04-13 2017-10-19 ジック インクSICK Inc. 対象物体の寸法を計測するための方法及びシステム
JP2018054438A (ja) 2016-09-28 2018-04-05 株式会社デンソー 検査装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162620B (zh) * 2012-10-26 2015-05-13 苏州比特速浪电子科技有限公司 图像处理装置及图像处理方法
CN103389042A (zh) * 2013-07-11 2013-11-13 夏东 基于深度图像的地面自动检测以及场景高度计算的方法
US10268892B1 (en) * 2015-05-15 2019-04-23 4Dmobile Llc System and methods for volume dimensioning for supply chains and shelf sets
WO2016199366A1 (ja) 2015-06-11 2016-12-15 パナソニックIpマネジメント株式会社 寸法測定装置および寸法測定方法
US10066982B2 (en) * 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
DE102015216595A1 (de) * 2015-08-31 2017-03-02 Lufthansa Cargo Ag Vorrichtung zur Optimierung der Volumenausnutzung in Logistikanwendungen
CN106839975B (zh) * 2015-12-03 2019-08-30 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN108413864B (zh) * 2017-02-10 2020-07-17 菜鸟智能物流控股有限公司 物体尺寸测量方法及相关设备
KR101815417B1 (ko) * 2017-03-28 2018-01-04 성균관대학교산학협력단 가상 높이를 이용한 피사체 위치 정보 획득 방법
US10328578B2 (en) * 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
CN108209926A (zh) * 2018-01-08 2018-06-29 西安科技大学 基于深度图像的人体身高测量系统
CN108550143A (zh) * 2018-04-03 2018-09-18 长安大学 一种基于rgb-d相机的车辆长宽高尺寸的测量方法
US10679367B2 (en) * 2018-08-13 2020-06-09 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using angular estimates

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014109464A (ja) 2012-11-30 2014-06-12 Toshiba Corp 物体測定装置、及び物体測定方法
JP2016210586A (ja) 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト
JP2017191605A (ja) 2016-04-13 2017-10-19 ジック インクSICK Inc. 対象物体の寸法を計測するための方法及びシステム
JP2018054438A (ja) 2016-09-28 2018-04-05 株式会社デンソー 検査装置

Also Published As

Publication number Publication date
EP3859268B1 (en) 2023-04-26
US20210207943A1 (en) 2021-07-08
EP3859268A4 (en) 2021-11-10
WO2020066847A1 (ja) 2020-04-02
EP3859268A1 (en) 2021-08-04
CN112739975A (zh) 2021-04-30
JPWO2020066847A1 (ja) 2021-08-30
CN112739975B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
JP7249494B2 (ja) 採寸装置及び採寸方法
US10880541B2 (en) Stereo correspondence and depth sensors
US10609359B2 (en) Depth image provision apparatus and method
Zhou et al. Extrinsic calibration of a camera and a lidar based on decoupling the rotation from the translation
US20140153816A1 (en) Depth Map Stereo Correspondence Techniques
US20150134303A1 (en) Three-dimensional scanning system and method with hole-filling function for point cloud using contact probe
JP7361251B2 (ja) 採寸装置及び採寸方法
EP3438602B1 (en) Dimension measurement apparatus and control method of the same
JP5493105B2 (ja) 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置
JP2020060451A (ja) 荷室監視システム及び荷室監視方法
US8699757B2 (en) Software embodied on a non-transitory storage media for distance measurement using speckle pattern
Boehm Accuracy investigation for structured-light based consumer 3D sensors
Hashimoto et al. Multi-camera-based high precision measurement approach for surface acquisition
CN109212546B (zh) 双目相机深度方向测量误差的计算方法和装置
US20180124381A1 (en) Structured-light-based three-dimensional scanning method, apparatus and system thereof
TW201915951A (zh) 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
WO2021231266A1 (en) Methods and apparatus for determining volumes of 3d images
CN112102456A (zh) 一种陶瓷片高度检测方法、装置及计算机可读存储介质
US20230035883A1 (en) Filling rate measurement method, information processing device, and recording medium
US20240013422A1 (en) Measurement device and measurement method
WO2023157621A1 (ja) 情報処理装置及び情報処理方法
US20210350615A1 (en) Methods and apparatus for extracting profiles from three-dimensional images
KR20170129543A (ko) 카메라 설치높이 측정을 위한 영상 분석 장치 및 방법
TW201818048A (zh) 基於結構光的三維掃描方法及其裝置與系統
JP2023005398A (ja) 計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R151 Written notification of patent or utility model registration

Ref document number: 7249494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151