JP6798725B1 - 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム - Google Patents

荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム Download PDF

Info

Publication number
JP6798725B1
JP6798725B1 JP2019206130A JP2019206130A JP6798725B1 JP 6798725 B1 JP6798725 B1 JP 6798725B1 JP 2019206130 A JP2019206130 A JP 2019206130A JP 2019206130 A JP2019206130 A JP 2019206130A JP 6798725 B1 JP6798725 B1 JP 6798725B1
Authority
JP
Japan
Prior art keywords
vertex
luggage
axis direction
apex
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019206130A
Other languages
English (en)
Other versions
JP2021081196A (ja
Inventor
洋平 西
洋平 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2019206130A priority Critical patent/JP6798725B1/ja
Priority to US17/775,389 priority patent/US20220392095A1/en
Priority to PCT/JP2020/010237 priority patent/WO2021095281A1/ja
Application granted granted Critical
Publication of JP6798725B1 publication Critical patent/JP6798725B1/ja
Publication of JP2021081196A publication Critical patent/JP2021081196A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】予め荷物にサイズが既知である基準ラベルが貼付されていなくても、荷物のサイズを測定可能にする荷物計測装置を提供する。【解決手段】荷物計測装置は、載置台１２上の直方体形状の荷物Ｐを実質的に直上から撮影して荷物との距離を取得する深度センサ１１、及び制御部を有する。制御部は、載置台上の荷物を撮影し荷物の深度画像データを取得し、背景深度画像データとの比較によって深度画像データにおける荷物のデータを特定し、荷物の高さを算出し、荷物の深度画像データ中で最も左側と右側と上側又は下側とに位置する３頂点の位置を特定する。深度センサの中心を原点とする空間における３頂点の２次元座標を、深度センサの視野角、３頂点に対応する深度センサからの距離のデータ及びセンサ素子の位置データとセンサ素子の数とに基づいて求め、３つの頂点の２次元座標に基づいて第３頂点と他の２頂点との間の２辺の長さを算出して結果を出力する。【選択図】図２

Description

本開示は、荷物計測装置、荷物受付システム、荷物計測方法、及びプログラムに関する。
コンビニエンスストアなどで、サービスの一環として配送の受付サービスが提供されている。この際、店舗では、各配送業者の受付基準、料金基準に合わせ、配送受付時に荷物の測定及び料金の算出を行う。具体的には、店員は、顧客から配送対象物を受け取り、サイズの測定を行う。そして、店員は、運送業者、配送種別、配送先などが記載された用紙から、それらの情報をＰＯＳ（Point of sale）端末に入力して料金を算出し、精算を行っている。
店員にとって、荷物のサイズの測定は煩雑であり、時間も要する。これに対し、例えば、特許文献１には、荷物を撮影してサイズを測定する技術が開示されている。
特開２０１５−１９４４２４号公報
しかしながら、特許文献１に記載の技術では、予め、直方体形状の荷物に、サイズが既知である基準ラベルを貼付しておく必要がある。
本開示の目的は、予め、荷物に、サイズが既知である基準ラベルが貼付されていなくても、荷物のサイズを測定することが可能な荷物計測装置、荷物受付システム、荷物計測方法、及びプログラムを提供することにある。
本開示の第１の態様に係る荷物計測装置は、載置台に載置された直方体形状の荷物を実質的に直上から撮影可能である位置に配置され、前記荷物を撮影して前記荷物との距離を取得する深度センサと、前記深度センサから取得したデータに基づいて前記荷物のサイズを算出する制御部と、を有し、前記制御部は、載置物がない状態の前記載置台を、予め前記深度センサで撮影して背景深度画像データとして記憶しておき、前記深度センサを制御し、前記載置台に載置された前記荷物を実質的に直上から撮影して前記荷物の深度画像データを取得し、前記荷物の深度画像データと前記背景深度画像データとの比較によって前記荷物の深度画像データにおける前記荷物のデータを特定し、前記荷物の深度画像データにおける前記荷物の上面までの前記深度センサからの距離のデータと前記荷物の背景深度画像データにおける前記載置台の上面までの前記深度センサからの距離のデータとに基づいて、前記荷物の高さを算出し、前記荷物の深度画像データ中で最も左側に位置する第１の頂点の位置と、前記荷物の深度画像データ中で最も右側に位置する第２の頂点の位置と、前記荷物の深度画像データ中で最も上側に位置する、もしくは最も下側に位置する第３の頂点の位置と、を特定し、前記深度センサの中心を原点とする空間における、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標を、前記深度センサの視野角と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点の前記深度センサからの距離のデータと、前記深度センサのセンサ素子の数と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点に対応する前記深度センサのセンサ素子の位置データとに基づいて求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標に基づいて、前記第１の頂点と前記第３の頂点との間の第１の辺の長さと、前記第２の頂点と前記第３の頂点との間の第２の辺の長さと、を算出し、算出した結果を出力する、ものである。
本開示の第２の態様に係る荷物計測方法は、載置台に載置された直方体形状の荷物を実質的に直上から撮影可能である位置に配置され、前記荷物を撮影して前記荷物との距離を取得する深度センサを用い、前記荷物のサイズを算出する荷物計測方法であって、載置物がない状態の前記載置台を、予め前記深度センサで撮影して背景深度画像データとして記憶しておき、前記深度センサを制御し、前記載置台に載置された前記荷物を実質的に直上から撮影して前記荷物の深度画像データを取得し、前記荷物の深度画像データと前記背景深度画像データとの比較によって前記荷物の深度画像データにおける前記荷物のデータを特定し、前記荷物の深度画像データにおける前記荷物の上面までの前記深度センサからの距離のデータと前記荷物の背景深度画像データにおける前記載置台の上面までの前記深度センサからの距離のデータとに基づいて、前記荷物の高さを算出し、前記荷物の深度画像データ中で最も左側に位置する第１の頂点の位置と、前記荷物の深度画像データ中で最も右側に位置する第２の頂点の位置と、前記荷物の深度画像データ中で最も上側に位置する、もしくは最も下側に位置する第３の頂点の位置と、を特定し、前記深度センサの中心を原点とする空間における、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標を、前記深度センサの視野角と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点の前記深度センサからの距離のデータと、前記深度センサのセンサ素子の数と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点に対応する前記深度センサのセンサ素子の位置データとに基づいて求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標に基づいて、前記第１の頂点と前記第３の頂点との間の第１の辺の長さと、前記第２の頂点と前記第３の頂点との間の第２の辺の長さと、を算出し、算出した結果を出力する、ものである。
本開示の第３の態様に係るプログラムは、載置台に載置された直方体形状の荷物を実質的に直上から撮影可能である位置に配置され、前記荷物を撮影して前記荷物との距離を取得する深度センサを用い、コンピュータに、前記荷物のサイズを算出する算出処理を実行させるためのプログラムであって、前記算出処理は、載置物がない状態の前記載置台を、予め前記深度センサで撮影して背景深度画像データとして記憶しておき、前記深度センサを制御し、前記載置台に載置された前記荷物を実質的に直上から撮影して前記荷物の深度画像データを取得し、前記荷物の深度画像データと前記背景深度画像データとの比較によって前記荷物の深度画像データにおける前記荷物のデータを特定し、前記荷物の深度画像データにおける前記荷物の上面までの前記深度センサからの距離のデータと前記荷物の背景深度画像データにおける前記載置台の上面までの前記深度センサからの距離のデータとに基づいて、前記荷物の高さを算出し、前記荷物の深度画像データ中で最も左側に位置する第１の頂点の位置と、前記荷物の深度画像データ中で最も右側に位置する第２の頂点の位置と、前記荷物の深度画像データ中で最も上側に位置する、もしくは最も下側に位置する第３の頂点の位置と、を特定し、前記深度センサの中心を原点とする空間における、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標を、前記深度センサの視野角と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点の前記深度センサからの距離のデータと、前記深度センサのセンサ素子の数と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点に対応する前記深度センサのセンサ素子の位置データとに基づいて求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標に基づいて、前記第１の頂点と前記第３の頂点との間の第１の辺の長さと、前記第２の頂点と前記第３の頂点との間の第２の辺の長さと、を算出し、算出した結果を出力する、ものである。
本開示により、予め、荷物に、サイズが既知である基準ラベルが貼付されていなくても、荷物のサイズを測定することが可能な荷物計測装置、荷物受付システム、荷物計測方法、及びプログラムを提供することができる。
実施形態１に係る荷物計測装置の一構成例を示す機能ブロック図である。 実施形態２に係る荷物計測装置の一構成例を示す模式図である。 図２の荷物計測装置を示す機能ブロック図である。 図２の荷物計測装置における荷物計測処理の一例を説明するためのフロー図である。 図４の荷物計測処理における頂点検出処理の一例を説明するための模式図である。 図４の荷物計測処理における頂点検出処理で用いる座標系の一例を示す図である。 図４の荷物計測処理における頂点検出処理の一例を深度センサの視界に基づき説明するための模式図である。 図４の荷物計測処理における頂点検出処理の一例を深度センサの視界に基づき説明するための模式図である。 図４の荷物計測処理における頂点検出処理の一例を深度センサの視界に基づき説明するための模式図である。 図４の荷物計測処理における頂点検出処理の一例を深度センサの視界に基づき説明するための模式図である。 実施形態３に係る荷物計測装置を含む荷物受付システムの一構成例を示す模式図である。 図１１の荷物計測装置における荷物計測処理の一例を説明するためのフロー図である。 荷物計測装置のハードウェア構成の一例を示す図である。
以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
＜実施形態１＞
図１は、実施形態１に係る荷物計測装置の一構成例を示す機能ブロック図である。
図１に示すように、本実施形態に係る荷物計測装置１は、制御部１ａ及び深度センサ１ｂを有する。荷物計測装置１は、深度センサ１ｂを用い、深度センサ１ｂで取得されたデータに基づいて荷物のサイズを算出（計測）することができるように構成されている。この算出を制御部１ａが担うことができる。
深度センサ１ｂは、載置台に載置された直方体形状の荷物を直上から同時に撮影可能（検出可能）である位置に配置され、その荷物を撮影（検出）してその荷物との距離を取得する。深度センサ１ｂは、ＴＯＦ（Time Of Flight）方式のセンサとすることができるが、パターン照射方式など他の計測方式であってもよい。また、計測には赤外線等を用いることができるが、これに限ったものではない。無論、直上とは実質的に直上であればよい。
また、図１では示さないが、本実施形態に係る荷物計測装置１は、上記の載置台を有することができる。この場合、深度センサ１ｂは、この載置台に取り付けておくことができ、無論、荷物の直上から撮影可能な位置にレンズ等の撮像部が位置するように取り付けられることとなる。この載置台は、深度センサ１ｂで撮影する直方体形状の荷物を載置する台であり、その形状は問わないが、基本的に少なくとも載置面は平面状であるものとする。
制御部１ａは、深度センサ１ｂから取得したデータに基づいてその荷物のサイズを算出する。例えば、制御部１ａは集積回路（ＩＣ：Integrated Circuit）によって実現することができる。また、制御部１ａは、例えば、ＣＰＵ（Central Processing Unit）、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することもできる。
制御部１ａにおける具体的なサイズ算出処理について説明する。
制御部１ａは、載置物がない状態の載置台を、予め深度センサ１ｂで撮影して背景深度画像データとして記憶しておく。制御部１ａはこの記憶のための記憶装置を有することができる。なお、背景深度画像データを記憶する記憶装置と上記プログラムを記憶する記憶装置とは同じ記憶装置とすることができる。
また、制御部１ａは、深度センサ１ｂを制御し、載置台に載置された荷物を直上から撮影してその荷物の深度画像データを取得する。そして、制御部１ａは、その荷物の深度画像データと背景深度画像データとの比較によって、その荷物の深度画像データにおける荷物のデータ（荷物に対応する部分のデータ）を特定する。
さらに、制御部１ａは、荷物の深度画像データにおける荷物の上面までの深度センサ１ｂからの距離のデータと荷物の背景深度画像データにおける載置台の上面までの深度センサ１ｂからの距離のデータとに基づいて、荷物の高さを算出する。
さらに、制御部１ａは、次のような第１〜第３の頂点の位置を特定する。第１の頂点は、その荷物の深度画像データ中で最も左側に位置する頂点とする。第２の頂点は、その荷物の深度画像データ中で最も右側に位置する頂点とする。第３の頂点は、その荷物の深度画像データ中で最も上側又は下側に位置する頂点とし、上側を採用するか下側を採用するかは予め定めておくなどすればよい。
制御部１ａは、深度センサ１ｂの中心を原点とする空間における、第１の頂点の２次元（平面）座標を、次のように求める。即ち、制御部１ａは、深度センサ１ｂの視野角と、第１の頂点の深度センサ１ｂからの距離のデータと、深度センサ１ｂのセンサ素子の数と、第１の頂点に対応する深度センサ１ｂのセンサ素子の位置データとに基づいて、第１の頂点の２次元座標を求める。
同様に、制御部１ａは、深度センサ１ｂの中心を原点とする空間における、第２の頂点、第３の頂点の２次元座標を、次のように求める。即ち、制御部１ａは、深度センサ１ｂの視野角と、第２の頂点の深度センサ１ｂからの距離のデータと、深度センサ１ｂのセンサ素子の数と、第２の頂点に対応する深度センサ１ｂのセンサ素子の位置データとに基づいて、第２の頂点の２次元座標を求める。また、制御部１ａは、深度センサ１ｂの視野角と、第３の頂点の深度センサ１ｂからの距離のデータと、深度センサ１ｂのセンサ素子の数と、第３の頂点に対応する深度センサ１ｂのセンサ素子の位置データとに基づいて、第３の頂点の２次元座標を求める。
そして、制御部１ａは、第１の頂点、第２の頂点、及び第３の頂点の２次元座標に基づいて、第１の辺の長さ及び第２の辺の長さを算出して、その算出した結果を出力する。ここで、第１の辺は第１の頂点と第３の頂点との間の辺を指し、第２の辺は第２の頂点と第３の頂点との間の辺を指す。なお、結果は、別途設けた表示部へ表示させることができ、また別途接続された印刷装置で印刷させることができる。この例のように、結果の出力方法は問わない。
本実施形態に係る荷物計測装置１によれば、深度センサ１ｂを用いて直方体形状の荷物の高さ及び残り２辺の長さを算出することができるため、予め、荷物に、サイズが既知である基準ラベルが貼付されていなくても、荷物のサイズを測定することが可能になる。
＜実施形態２＞
実施形態２について、図２〜図１０を併せて参照しながら、実施形態１との相違点を中心に説明するが、実施形態１で説明した様々な例が適用できる。図２は、実施形態２に係る荷物計測装置の一構成例を示す模式図で、図３は、図２の荷物計測装置を示す機能ブロック図である。
図２に示すように、本実施形態に係る荷物計測装置は、制御部１ａを含むタブレット端末１０、深度センサ１ｂの一例としての深度センサ１１、及び深度センサ１１が取り付けられた載置台（荷台）１２を有することができる。
タブレット端末１０は、深度センサ１１と有線又は無線で接続され、深度センサ１１と通信が可能になっている。タブレット端末１０は、このような接続のための通信インタフェース等を有することができる。なお、タブレット端末１０は、モバイルＰＣ（Personal Computer）と称されるものであってもよく、また、設置型のＰＣ、携帯電話機（スマートフォンと称されるものも含む）等の装置であってもよい。
図２に示す荷物計測装置は、例えば、配送する荷物Ｐの大きさを深度センサ１１で測定する装置であり、荷物受付店の店員の業務を軽減するために、店の一画に設置しておくことができる。荷物は宅配物とすることができる。また、荷物受付店は、宅配業者が運営する宅配物の収集所に限らず、コンビニエンスストアなどの宅配物受付業務を請け負った店舗であってもよい。
例えば、顧客は、配送を依頼する荷物Ｐを載置台１２に置き、自身のタブレット端末１０に表示されたサイズを確認して、店舗内のＰＯＳ端末にて精算し、荷物を店員に引き渡す、といった具合に宅配物受付業務を行うことができる。その際、顧客は、自身のタブレット端末１０に上記プログラム（アプリケーションソフトウェア）をインストールしておく。そして、顧客は、そのソフトウェアを起動させた状態で且つ荷物Ｐを載置台１２に載置した状態で、そのソフトウェアに実装された計測開始用のソフトウェアキーを押下するなどして、計測を開始させることができる。また、精算前には、届け先の住所及び氏名をそのソフトウェアから入力しておくことができ、これにより配送距離に応じた金額を精算することができる。なお、精算についても顧客のタブレット端末１０において電子決済を行うこともできる。
無論、宅配物受付業務は、店舗側が店舗のタブレット端末１０において、顧客又は店員が載置した荷物Ｐのサイズの確認などを行うようにすることもできる。
次に、本実施形態における荷物の計測に関して説明する。
深度センサ１１は、撮影した範囲の距離情報をピクセル毎に（つまりセンサ素子毎に）取得できるデバイスとすることができる。深度センサ１１は、深度センサ１１を原点とする平面から対象物までの距離を取得する。深度センサを原点とする平面とは、深度センサの撮影方向をカメラ軸（センサ軸）として、カメラ軸に直交する平面である。
深度センサ１１は、図２に示すように、載置台１２に載置された荷物（直方体）Ｐの上面（図５参照）を撮影できるように真上（直上）に設置された深度センサで、荷物Ｐとの距離を取得する。荷物Ｐとの距離には、少なくとも第１〜第３の各頂点までの距離を含むことができる。ここで、荷物Ｐは直方体であることを前提とする。そのため、直上に設置されたとは、載置台１２の平面に垂直な方向から撮影可能なように設置されたことを意味する。無論、直上とは実質的に直上であればよい。なお、荷物Ｐが直方体でない場合には例えばエラー出力するなどで対応すればよい。
深度センサ１１は、例えば、センサ取付部１３を介して載置台１２に取り付けられることができる。センサ取付部１３は、例えば、載置台１２に垂直に設置された支柱１３ａと、支柱１３ａの上端に設置されたセンサ取付部材１３ｂと、を備えることができる。センサ取付部材１３ｂは、深度センサ１１の水平方向の位置（支柱１３ａからの離間距離）を変更可能なように、深度センサ１１をスライドさせる機構を備えることもできる。また、支柱１３ａは、その高さを変更可能な機構を備えることができ、これにより、深度センサ１１の高さを変更することができるようになる。
タブレット端末１０は、制御部１ａに対応する機能部として、図３に示すように、深度加工部２１、背景深度部２２、頂点検出部２３、長さ算出部（計測部又は計算部）２４、及び、画面出力部等の出力部２５を有することができる。これらの機能部２１〜２５は、制御部１ａのＣＰＵが上記ソフトウェアを実行することによって、実現することができる。
深度加工部２１は、深度センサ１１からデータを取得し、記憶する。背景深度部２２は、予め載置台１２に何も置かれていない状態を撮影して取得したデータを保存しておく。頂点検出部２３は、荷物のデータを特定し、第１〜第３の頂点の位置を特定する。そのため、頂点検出部２３は、背景深度部２２に保存された深度情報と荷物がある状態の深度情報を比較して、変化した部分を抽出し、抽出したデータから頂点情報（第１〜第３の頂点を示す情報）を検出する。
長さ算出部２４は、頂点検出部２３で検出された情報から、頂点間の距離（つまり第１の辺の長さ及び第２の辺の長さ）を算出し、出力部２５にその結果を渡す。出力部２５は、長さ算出部２４で算出された結果（つまり荷物の計測結果）を外部に出力するとともに、操作に関する情報などを出力する。出力部２５は、例えば、タブレット端末１０の表示部とすることができる。なお、出力部２５は、計測結果を出力するために、例えば荷物Ｐに貼り付ける送付状に印刷するための印刷装置に出力する通信インタフェースとすることもできる。
次に、図４〜図１０を併せて参照しながら、本実施形態に係る荷物計測装置の動作例について説明する。図４は、図２の荷物計測装置における荷物計測処理の一例を説明するためのフロー図である。図５は、図４の荷物計測処理における頂点検出処理の一例を説明するための模式図で、図６は、図４の荷物計測処理における頂点検出処理で用いる座標系の一例を示す図である。図７〜図１０は、図４の荷物計測処理における頂点検出処理の一例を深度センサの視界に基づき説明するための模式図である。
まず、頂点検出部２３は、対象物（荷物Ｐ）の検出に、深度（対象物までの距離）の変化を利用するため、事前に背景のデータ（背景深度画像データ）が保存されているかを確認する（ステップＳ１）。ステップＳ１でＮＯの場合、つまり背景深度画像データが保存されていない場合、頂点検出部２３は、深度センサ１１を制御し、背景深度部２２から背景深度データを取得して（ステップＳ２）、取得した背景深度画像データを保存する（ステップＳ３）。なお、ここでは、深度が変化した場合をトリガーとして荷物Ｐの計測を開始する例を挙げて説明するが、例えば顧客（又は店員）の操作をトリガーとすることもできる。
頂点検出部２３は、深度センサ１１から深度のデータを取得する（ステップＳ４）。頂点検出部２３は、取得されたデータにおいて深度が背景深度画像データから変化したか否かを判定することで、荷物Ｐが載置台１２に載置されたか（荷物Ｐが検出されたか）否かを判定する（ステップＳ５）。
頂点検出部２３は、深度が変化した場合、荷物Ｐが載置台１２に載置されたと判断して、深度センサ１１の背景深度から深度が変化したポイントを抽出する。変化したポイントが、荷物Ｐが存在するポイントである。そして、頂点検出部２３は、変化したポイントの中から荷物（対象物）Ｐの頂点を検出する（ステップＳ６）。ステップＳ６では、まず、深度センサ１１の深度変化から抽出された荷物Ｐに関する深度画像データに基づいて、図５に示すような３箇所の頂点Ａ，Ｂ，Ｃを決定することができる。頂点Ａ，Ｂ，Ｃは、それぞれ第１の頂点、第２の頂点、第３の頂点を指している。なお、この例では、第３の頂点として最も上側に位置する頂点を検出する例を挙げている。
また、３箇所の頂点Ａ，Ｂ，Ｃは、カメラにより荷物Ｐを撮像（深度センサ１１の撮影領域と同じ領域を撮像）して画像を取得し、画像認識によって検出することとしてもよい。このカメラは、深度センサ１１をカメラ付き深度センサ（深度カメラとも称する）としてもよいし、もしくは深度センサ１１とは別に設けたカメラとしてもよい。このように、本実施形態に係る荷物計測装置は、さらにカメラ等の撮像装置を有し、頂点検出部２３は、この撮像装置で取得した画像の画像認識によって、第１〜第３の頂点を特定するようにしてもよい。なお、深度センサ１１の深度画像における荷物の領域と、カメラの画像における荷物の領域とを重ねることによって、カメラの画像における３頂点が、深度センサ１１の深度画像においてどのポイントに相当するかを知ることが可能である。
また、頂点検出部２３は、深度変化から３箇所の頂点が検出できない場合、上述したようにエラー出力を行ってもよいが、タブレット端末１０の表示部に、荷物Ｐの位置を訂正するように促すメッセージを、荷物Ｐの画像とともに表示するようにしてもよい。このメッセージとしては、荷物Ｐの上面が撮影できるように移動又は回転を促すメッセージなどが挙げられる。なお、この表示部は、出力部２５の一例とすることができ、このような表示制御は図１の制御部１ａの一部が担うことができる。また、この場合、図示しないが、図３において頂点検出部２３と出力部２５とが接続されていることになる。
このように、頂点検出部２３は、載置台１２上の荷物Ｐを撮像して荷物Ｐの画像を表示部に表示させるとともに、荷物Ｐの頂点Ａ〜Ｃの少なくとも１つを特定できない場合に、荷物Ｐの載置状態の訂正を促すメッセージを表示部に表示させるようにしてもよい。また、頂点検出部２３は、第３の頂点について、予め定めた側（例えば最も上側）が検出できない場合、自動的に他の側（この例では最も下側）の検出を実施するようにしてもよい。
また、荷物Ｐの画像は、頂点Ａ〜Ｃの全てが検出される場合にも表示部に表示させてもよい。つまり、本実施形態に係る荷物計測装置は、深度センサ１１に（又は深度センサ１１とは別に）カメラ等の撮像装置を有することができ、その撮像装置で撮像した荷物Ｐの画像をタブレット端末１０の表示部に表示させるように構成しておくこともできる。
ここで、図５を参照して、荷物Ｐの３つの頂点を決定する決定処理の一例について説明する。深度センサ１１は、図５のような荷物Ｐの上面の画像が得られるように設置されている。前述したように、深度センサ１１は、深度センサ１１を原点とする平面から対象物までの距離を取得する。従って、頂点検出部２３は、深度センサ１１からは、深度センサ１１の撮影領域（深度画像）中のあるポイントについて、実距離のデータを得ることができる。また、頂点検出部２３は、深度センサ１１から、深度センサ１１の撮影領域（深度画像）中のあるポイントがどのセンサ素子に（どのピクセルに）対応するかのデータ、即ち、あるポイントの深度センサの撮影領域（深度画像）中の位置データを得ることができる。
頂点検出部２３は、荷物Ｐを載置していないときの距離のデータと荷物Ｐを載置したときの距離のデータとを比較することによって、深度センサの撮影領域の中のどこに荷物Ｐが位置しているかを得ることができる。その結果、頂点検出部２３は、荷物Ｐの各ポイントにおける深度センサ１１を原点とする平面からの距離のデータを特定することができる。そして、頂点検出部２３は、最も左側に位置するポイントを頂点Ａとして決定し、最も右側に位置するポイントを頂点Ｂとして決定し、最も上側に位置するポイントを頂点Ｃとして決定することができる。なお、頂点Ａ，Ｂ，Ｃの決定は、上述の順番でなくともよい。
なお、荷物Ｐの上面の１辺が深度センサ１１のＹ軸（図６参照）と平行になるように、荷物Ｐが置かれた場合は、Ｙ軸（図６参照）と平行な荷物Ｐの上面の１辺の下端を頂点Ａとし、上端を頂点Ｃとし、頂点Ｃから延びる１辺の他端を頂点Ｂとすることができる。
ステップＳ６に続き、長さ算出部２４は、荷物Ｐのサイズを計測する（ステップＳ７）。ステップＳ７における、荷物Ｐのサイズの計測、即ち、高さ、辺ＡＣ、及び辺ＢＣの実際の寸法を算出する方法について説明する。
まず、荷物Ｐの高さは、荷物Ｐの深度画像データにおける荷物Ｐの上面までの深度センサ１１からの距離のデータと、荷物Ｐの背景深度画像データにおける載置台１２の上面までの深度センサ１１からの距離のデータと、に基づいて算出する。なお、荷物Ｐの上面までの深度センサ１１からの距離と載置台１２の上面までの深度センサ１１からの距離は、深度センサ１１のデータから得られている。
次に、辺ＡＣ、辺ＢＣの実際の寸法を算出する方法について説明する。
図６に示すように、深度センサ１１の中心を原点とし、カメラ軸方向をＺ軸とし、Ｚ軸と同一平面上にあり、Ｚ軸と直交する方向をＸ軸とし、Ｘ軸及びＺ軸と直交する方向をＹ軸とする。
辺ＡＣ、辺ＢＣの実際の寸法を算出するためには、上記Ｘ軸、Ｙ軸、Ｚ軸の空間における荷物Ｐの上面の点Ａ，Ｂ，Ｃの平面（２次元）座標、即ち点Ａ，Ｂ，Ｃの高さ方向座標を除く２次元座標を特定する必要がある。点Ａ，Ｂ，Ｃの平面座標を、Ａ（Ｘａ、Ｙａ）、Ｂ（Ｘｂ、Ｙｂ）、Ｃ（Ｘｃ、Ｙｃ）とする。
図７〜図１０を参照して、点Ａの平面座標であるＸａ、Ｙａの算出方法について説明する。
深度センサ１１のＸ軸方向の視野角をθｘ（度）とすると、点Ａにおける画像の端までの実距離Ｘａｍａｘｐは、図７及び図９から分かるように、以下の式から算出できる。ここで、Ｚａは、深度センサ１１から荷物Ｐの上面までの距離である。
Ｘａｍａｘｐ＝Ｚａ×ｔａｎ（θｘ／２）
また、深度センサ１１のＹ軸方向の視野角をθｙ（度）とすると、点Ａにおける画像の端までの実距離Ｙａｍａｘｐは、図８及び図１０から分かるように、以下の式から算出できる。
Ｙａｍａｘｐ＝Ｚａ×ｔａｎ（θｙ／２）
ここで、深度画像の解像度をＸ軸方向６４０ｐｉｘｅｌ、Ｙ軸方向４８０ｐｉｘｅｌと仮定する。この場合、図６で例示するように、Ｘ軸方向には、Ｎｏ．０〜Ｎｏ．６３９のピクセル（センサ素子）が配置され、Ｙ軸方向には、Ｎｏ．０〜Ｎｏ．４７９のピクセル（センサ素子）が配置されていることになる。つまり、この場合、Ｘ軸方向のセンサ素子の数、Ｙ軸方向のセンサ素子の数が、それぞれ６４０、４８０となる。なお、以下では、このように深度画像のＸ軸、Ｙ軸方向の解像度をそれぞれ６４０ｐｉｘｅｌ、４８０ｐｉｘｅｌとした例を挙げて説明するが、それぞれの解像度（センサ素子の数）Ｘnmr、Ｙnmrは使用する深度センサ１１によって異なることになる。
Ｘａｍａｘｐは、原点（画像の中心）から６４０番目のｐｉｘｅｌ（Ｎｏ．６３９）までの距離に相当し、Ｙａｍａｘｐは、原点（画像の中心）から４８０番目のｐｉｘｅｌ（Ｎｏ．４７９）までの距離に相当する。
点Ａの深度センサ１１の撮影領域（深度画像）中の位置データ、即ち、点Ａがどのピクセルに対応しているかは、深度センサ１１のデータから得られている。従って、点ＡのＸ軸及びＹ軸におけるピクセル（センサ素子）の位置が、（Ｎｏ．Ｘａ−ｐｉｘｅｌ、Ｎｏ．Ｙａ−ｐｉｘｅｌ）であるとすると、ＸａとＹａは、以下の式から算出できる。
Ｘａ＝△Ｘａ×（（Ｘａ−ｐｉｘｅｌ）−６４０／２）
Ｙａ＝△Ｙａ×（（Ｙａ−ｐｉｘｅｌ）−４８０／２）
ここで、△Ｘａは、（式）△Ｘａ＝Ｘａｍａｘｐ／（６４０／２）で得られる、点ＡにおけるＸ方向のピクセル（センサ素子）毎の変化率である。また、△Ｙａは、（式）△Ｙａ＝Ｙａｍａｘｐ／（４８０／２）で得られる、点ＡにおけるＹ方向のピクセル（センサ素子）毎の変化率である。
同様にして、点ＢのＸｂ、Ｙｂ、点ＣのＸｃ、Ｙｃを算出することができる。
そして、辺ＡＣの長さは、以下の式で算出することができる。
√（（Ｘｃ−Ｘａ）２＋（Ｙｃ−Ｙａ）２）
同様にして、辺ＢＣの長さを、以下の式で算出することができる。
√（（Ｘｃ−Ｘｂ）２＋（Ｙｃ−Ｙｂ）２）
ステップＳ７に続き、出力部２５は、長さ算出部２４から得た荷物Ｐのサイズの計測結果を出力する（ステップＳ８）。計測結果の出力とは、上述したように、例えば、タブレット端末１０の画面に計測結果を表示する、図示しないプリンタから計測結果を印字して排出する、などが挙げられる。その他の例としては、出力部２５は、図示しない他の装置（ＰＯＳ端末等）へ計測結果を送信することもできる。
以上に説明した本実施形態によれば、実施形態１による効果を奏する荷物計測装置を店舗等に設置しているため、荷物を安価で効率的且つ容易に測定することができる。よって、本実施形態によれば、小売業の店舗などの業務を軽減することができ、また配送荷物受付を顧客自身で行うこともできる。近年、オンラインショッピングや個人間取引の増加に伴い、一般利用者による配送サービスの利用が増加しているため、このような本実施形態の効果は有益である。
＜実施形態３＞
実施形態３について、図１１及び図１２を併せて参照し、その効果も含めた実施形態２との相違点を中心に説明する。但し、実施形態３は、実施形態１，２で説明した様々な例が適用できる。図１１は、実施形態３に係る荷物計測装置を含む荷物受付システムの一構成例を示す模式図で、図１２は、図１１の荷物計測装置における荷物計測処理の一例を説明するためのフロー図である。
図１１に示すように、本実施形態に係る荷物受付システムは、配送される荷物Ｐを受け付けるシステムであり、実施形態２で説明した荷物計測装置を備えるとともに、配送料金を精算する精算装置を備えることができる。精算装置は、以下に例示するように電子マネーリーダライタ（Ｒ／Ｗ）１０ｂであってもよいし、他の装置であってもよい。この精算装置は、別途ネットワーク接続されたサーバ装置を含むこともできる。
また、本実施形態に係る荷物計測装置は、載置台１２内に重量計１４を有する。重量計１４は荷物Ｐの重量を測定し、セルフＰＯＳ端末１０ａにその結果を出力する。ここで、セルフＰＯＳ端末１０ａは、本実施形態における荷物計測装置の一部であり、タブレット端末１０の代わりに設けられた端末の例である。
また、本実施形態に係る荷物受付システムは、カメラで例示した撮像装置を備えることができ、以下では、図１１に示すようにカメラ付き深度センサ１１ａを備えた例を挙げて説明する。セルフＰＯＳ端末１０ａは、そのカメラ付き深度センサ１１ａのカメラを制御し、荷物Ｐに貼付されている、配送に関する配送情報を記載した伝票（送り状など）を撮像させ、荷物Ｐの配送に関する情報を文字認識処理等により取得することができる。
そして、セルフＰＯＳ端末１０ａは、荷物Ｐのサイズと重量、及び荷物Ｐの配送に関する情報とに基づいて、その荷物Ｐの配送料金を算出し、電子マネーＲ／Ｗ１０ｂに配送料金を出力することができる。そして、電子マネーＲ／Ｗ１０ｂは、荷物Ｐの配送料金の精算を行う。
上述のように、本実施形態に係る荷物受付システムは、荷物のサイズに加えて重量計１４により重量をも計測することが可能であり、荷物Ｐに貼付されている伝票の情報を文字認識して配送料金を算出し、電子マネーで精算を行う点で、実施形態２とは異なる。図１２を併せて参照しながら、本実施形態に係る荷物受付システム（以下、本システム）における荷物計測装置の動作例について説明する。
セルフＰＯＳ端末１０ａは、その制御部において、カメラ付き深度センサ１１ａを制御しながら載置台１２上の荷物Ｐの計測を行い、計測結果を出力する。この動作例では、図４の動作例のステップＳ４において、荷物Ｐのサイズの計測を行うことに加えて、荷物Ｐの重量についても計測を行う（ステップＳ１４）。他の手順については同様であり、図１２のステップＳ１１〜１３，Ｓ１５〜Ｓ１８は、それぞれ図４のステップＳ１〜３，Ｓ５〜Ｓ８に対応する。但し、ステップＳ１５では、重量計１４で重量が検出されたことをもって、荷物Ｐが検出されたと判定してもよい。
以下に、本システムにおいて、荷物Ｐのサイズと重量を計測した後、配送料金を精算するまでについて、その一例を挙げて簡単に説明する。
顧客は、伝票が貼付された荷物Ｐを、カメラ付き深度センサ１１ａにて文字情報を読み取るため、撮影範囲に伝票が入るように載置する。つまり、撮影可能な上面に伝票が貼られているように、顧客は荷物Ｐを置くことになる。なお、伝票の文字情報の読み取りを深度センサとは別体のカメラで行ってもよい。本システムでは、カメラ付き深度センサ１１ａで撮影された画像データから文字認識処理を施して、荷物Ｐの発送先、発送方法の情報を取得することが可能である。なお、荷物Ｐの発送元の情報（つまり顧客の情報）を取得するようにしてもよい。
一般的に、荷物の配送料金は、荷物のサイズ、発送先（発送先までの距離）、発送方法の情報に基づいて算出される。本システムでは、カメラ付き深度センサ１１ａと重量計１４で、荷物のサイズと重量とを計測し、カメラ付き深度センサ１１ａから、宛先、発送方法を読み取ることができる。そして、本システムでは、これらの読み取った情報に基づき、セルフＰＯＳ端末１０ａに予め記憶されている料金表を参照して、荷物の配送料金を決定することができる。
顧客は、その後、セルフＰＯＳ端末１０ａに接続された電子マネーＲ／Ｗ１０ｂで料金の精算を行う。精算には顧客が所持するＩＣカードやＩＣカード機能付きタブレット端末などを利用することができる。精算後、店舗に設置された印刷装置からレシートと店舗控え伝票が出力されて、顧客は、店員に、荷物と店舗控え伝票を渡す。
上記の説明では、電子マネーで精算を行うこととしたが、これに替えて、セルフＰＯＳ端末に紙幣取扱装置と硬貨取扱装置とを有する釣銭機を接続し、現金によって精算を行えるようにしてもよい。また、電子マネーＲ／Ｗと釣銭機の両方を備えるようにしてもよい。
以上、本実施形態によれば、実施形態１，２と同様に、予め、荷物に、サイズが既知である基準ラベルが貼付されていなくても、荷物のサイズを測定することができるだけでなく、精算も顧客によって行われるので、店員の負担を低減することができる。また、本実施形態によれば、荷物の宛先、配送日、配送方法等を手入力する必要がないので、これらの情報の入力ミスを防止することができる。
また、顧客が操作するセルフＰＯＳ端末１０ａを備えることとしたが、店員が操作するＰＯＳ端末であってもよい。この場合、精算装置もＰＯＳ端末とすることができる。また、本システムでは、荷物Ｐの重量を計測するための重量計１４を備えた例を挙げているが、配送料金に荷物の重量が関係しない場合は、重量計１４を備えなくてもよい。
また、本システムでは、荷物ＰのサイズをセルフＰＯＳ端末１０ａで算出していたが、実施形態２における顧客のタブレット端末で荷物Ｐのサイズを算出して、タブレット端末からセルフＰＯＳ端末１０ａに荷物のサイズのデータを送信するようにしてもよい。この送信のためには、このタブレット端末は、深度センサ１１（及び重量計１４）やセルフＰＯＳ端末１０ａと通信可能に構成しておけばよい。
また、本実施形態に係る荷物受付システムは、撮像装置の代わりに、配送情報を取得する他種の情報取得装置、例えば近距離無線通信装置を備えることもできる。このような近距離無線通信装置を備えておき、且つ、荷物ＰにＲＦＩＤ（radio frequency identifier）タグのような読み取り可能な媒体を貼り付けておけば、配送情報を取得することができる。
＜他の実施形態＞
［ａ］
実施形態１では、図１に示す荷物計測装置１の制御部１ａの機能について説明したが、荷物計測装置１としてこの機能が実現できればよい。同様に、実施形態２，３では、図３に示す機能部２１〜２５の機能について説明したが、荷物計測装置としてこれらの機能が実現できればよい。
［ｂ］
実施形態１〜３に係る荷物計測装置は、次のようなハードウェア構成を有していてもよい。図１３は、実施形態１〜３に係る荷物計測装置のハードウェア構成の一例を示す図である。なお、上記他の実施形態［ａ］についても同様である。
図１３に示す荷物計測装置１００は、プロセッサ１０１、メモリ１０２、及び深度センサ１ｂ（１１）等のための入出力インタフェース１０３を有する。実施形態１〜３で説明した荷物計測装置における制御部１ａの機能或いは機能部２１〜２５の機能は、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現される。このプログラムは、上述した通り、プロセッサ１０１を制御部１ａとして機能させるためのプログラムとすることができる。また、このプログラムは、機能部２１〜２５の少なくとも１つの機能を実現させるためのプログラムを含むことができる。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、この例は、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗを含む。さらに、この例は、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
［ｃ］
さらに、上述した様々な実施形態において、荷物計測装置における荷物計測方法の手順を例示したように、本開示は、上述した深度センサを用いて荷物のサイズを算出する荷物計測方法としての形態も採り得る。また、上記プログラムは、コンピュータに上述した荷物計測方法を実行させるためのプログラムであると言える。
なお、本開示は上記の各実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
１、１００ 荷物計測装置
１ａ 制御部
１ｂ、１１ 深度センサ
１１ａ カメラ付き深度センサ
１０ タブレット端末
１０ａ セルフＰＯＳ端末
１０ｂ 電子マネーリーダライタ（Ｒ／Ｗ）
１２ 載置台
１３ センサ取付部
１３ａ 支柱
１３ｂ センサ取付部材
１４ 重量計
２１ 深度加工部
２２ 背景深度部
２３ 頂点検出部
２４ 長さ算出部
２５ 出力部
１０１ プロセッサ、
１０２ メモリ、
１０３ 入出力インタフェース、

Claims (9)

  1. 載置台に載置された直方体形状の荷物を実質的に直上から撮影可能である位置に配置され、前記荷物を撮影して前記荷物との距離を取得する深度センサと、
    前記深度センサから取得したデータに基づいて前記荷物のサイズを算出する制御部と、
    を有し、
    前記制御部は、
    載置物がない状態の前記載置台を、予め前記深度センサで撮影して背景深度画像データとして記憶しておき、
    前記深度センサを制御し、前記載置台に載置された前記荷物を実質的に直上から撮影して前記荷物の深度画像データを取得し、前記荷物の深度画像データと前記背景深度画像データとの比較によって前記荷物の深度画像データにおける前記荷物のデータを特定し、
    前記荷物の深度画像データにおける前記荷物の上面までの前記深度センサからの距離のデータと前記荷物の背景深度画像データにおける前記載置台の上面までの前記深度センサからの距離のデータとに基づいて、前記荷物の高さを算出し、
    前記荷物の深度画像データ中で最も左側に位置する第１の頂点の位置と、前記荷物の深度画像データ中で最も右側に位置する第２の頂点の位置と、前記荷物の深度画像データ中で最も上側に位置する、もしくは最も下側に位置する第３の頂点の位置と、を特定し、
    前記深度センサの中心を原点とする空間における、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標を、前記深度センサの視野角と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点の前記深度センサからの距離のデータと、前記深度センサのセンサ素子の数と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点に対応する前記深度センサのセンサ素子の位置データとに基づいて求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標に基づいて、前記第１の頂点と前記第３の頂点との間の第１の辺の長さと、前記第２の頂点と前記第３の頂点との間の第２の辺の長さと、を算出し、算出した結果を出力し、
    且つ、前記制御部は、
    前記深度センサの撮影方向をＺ軸とし、前記Ｚ軸と同一平面上にあり、前記Ｚ軸と直交する方向をＸ軸とし、前記Ｘ軸及び前記Ｚ軸と直交する方向をＹ軸としたとき、前記深度センサのＸ軸方向の視野角と、前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＺ軸方向の距離のデータとに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＸ軸方向のＺ軸から画像端までの実距離を求め、前記深度センサのＹ軸方向の視野角と、前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＺ軸方向の距離のデータとに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＹ軸方向のＺ軸から画像端までの実距離を求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＸ軸方向のＺ軸から画像端までの実距離と、前記深度センサのＸ軸方向のセンサ素子の数とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるセンサ素子毎のＸ軸方向の実距離の変化率を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＹ軸方向のＺ軸から画像端までの実距離と、前記深度センサのＹ軸方向のセンサ素子の数とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるセンサ素子毎のＹ軸方向の実距離の変化率を求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点の、Ｘ軸方向におけるセンサ素子の位置と前記センサ素子毎のＸ軸方向の実距離の変化率とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＸ座標を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の、Ｙ軸方向におけるセンサ素子の位置と前記センサ素子毎のＹ軸方向の実距離の変化率とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＹ座標を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標とし、
    且つ、前記制御部は、
    前記第１の頂点の前記深度センサからの距離のデータに基づいて、前記第１の頂点のＺ座標をＺａとし、前記深度センサのＸ軸方向の視野角をθｘとし、Ｘ軸方向のセンサ素子の数をＸnmrとしたとき、前記第１の頂点における前記センサ素子毎のＸ軸方向の実距離の変化率△Ｘａを式
    △Ｘａ＝Ｚａ×ｔａｎ（θｘ／２）／（Ｘnmr／２）
    で求め、
    前記深度センサのＹ軸方向の視野角をθｙとし、Ｙ軸方向のセンサ素子の数をＹnmrとしたとき、前記第１の頂点における前記センサ素子毎のＹ軸方向の実距離の変化率△Ｙａを式
    △Ｙａ＝Ｚａ×ｔａｎ（θｙ／２）／（Ｙnmr／２）
    で求め、
    前記第１の頂点のＸ座標をＸａとし、前記第１の頂点のＸ軸方向におけるセンサ素子の位置をＸａ−ｐｉｘｅｌとしたとき、前記第１の頂点のＸ座標を式
    Ｘａ＝△Ｘａ×（（Ｘａ−ｐｉｘｅｌ）−Ｘnmr／２）
    で求め、
    前記第１の頂点のＹ座標をＹａとし、前記第１の頂点のＹ軸方向におけるセンサ素子の位置をＹａ−ｐｉｘｅｌとしたとき、前記第１の頂点のＹ座標を式
    Ｙａ＝△Ｙａ×（（Ｙａ−ｐｉｘｅｌ）−Ｙnmr／２）
    で求め、
    同様にして、前記第２の頂点、及び前記第３の頂点のＸ座標とＹ座標とを求める、
    荷物計測装置。
  2. 前記制御部は、前記荷物の深度画像データに基づいて、前記第１の頂点、前記第２の頂点、及び前記第３の頂点を特定する、
    請求項１に記載の荷物計測装置。
  3. さらに撮像装置を有し、
    前記制御部は、前記撮像装置で取得した画像の画像認識によって、前記第１の頂点、前記第２の頂点、及び前記第３の頂点を特定する、
    請求項１に記載の荷物計測装置。
  4. さらに表示部を有し、
    前記制御部は、前記載置台上の前記荷物を前記撮像装置に撮像させて前記荷物の画像を前記表示部に表示させ、前記荷物の前記第１の頂点、前記第２の頂点、及び前記第３の頂点の少なくとも１つを特定できない場合に、前記荷物の載置状態の訂正を促すメッセージを前記表示部に表示させる、
    請求項３に記載の荷物計測装置。
  5. さらに前記載置台を有し、
    前記深度センサは、前記載置台に取り付けられている、
    請求項１から４のいずれか１項に記載の荷物計測装置。
  6. さらに前記載置台内に重量計を有し、前記荷物の重量を測定し、結果を出力する、
    請求項１から５のいずれか１項に記載の荷物計測装置。
  7. 請求項１から６のいずれか１項に記載の荷物計測装置と、情報取得装置と、精算装置と、を備え、
    前記情報取得装置が、前記荷物の配送に関する情報を取得し、
    前記荷物計測装置が、前記荷物のサイズ及び前記荷物の配送に関する情報に基づいて前記荷物の配送料金を算出し、
    前記精算装置が前記荷物の配送料金の精算を行う、
    荷物受付システム。
  8. 載置台に載置された直方体形状の荷物を実質的に直上から撮影可能である位置に配置され、前記荷物を撮影して前記荷物との距離を取得する深度センサを用い、前記荷物のサイズを算出する算出処理を実行する荷物計測方法であって、
    前記算出処理は、
    載置物がない状態の前記載置台を、予め前記深度センサで撮影して背景深度画像データとして記憶しておき、
    前記深度センサを制御し、前記載置台に載置された前記荷物を実質的に直上から撮影して前記荷物の深度画像データを取得し、前記荷物の深度画像データと前記背景深度画像データとの比較によって前記荷物の深度画像データにおける前記荷物のデータを特定し、
    前記荷物の深度画像データにおける前記荷物の上面までの前記深度センサからの距離のデータと前記荷物の背景深度画像データにおける前記載置台の上面までの前記深度センサからの距離のデータとに基づいて、前記荷物の高さを算出し、
    前記荷物の深度画像データ中で最も左側に位置する第１の頂点の位置と、前記荷物の深度画像データ中で最も右側に位置する第２の頂点の位置と、前記荷物の深度画像データ中で最も上側に位置する、もしくは最も下側に位置する第３の頂点の位置と、を特定し、
    前記深度センサの中心を原点とする空間における、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標を、前記深度センサの視野角と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点の前記深度センサからの距離のデータと、前記深度センサのセンサ素子の数と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点に対応する前記深度センサのセンサ素子の位置データとに基づいて求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標に基づいて、前記第１の頂点と前記第３の頂点との間の第１の辺の長さと、前記第２の頂点と前記第３の頂点との間の第２の辺の長さと、を算出し、算出した結果を出力し、
    且つ、前記算出処理は、
    前記深度センサの撮影方向をＺ軸とし、前記Ｚ軸と同一平面上にあり、前記Ｚ軸と直交する方向をＸ軸とし、前記Ｘ軸及び前記Ｚ軸と直交する方向をＹ軸としたとき、前記深度センサのＸ軸方向の視野角と、前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＺ軸方向の距離のデータとに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＸ軸方向のＺ軸から画像端までの実距離を求め、前記深度センサのＹ軸方向の視野角と、前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＺ軸方向の距離のデータとに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＹ軸方向のＺ軸から画像端までの実距離を求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＸ軸方向のＺ軸から画像端までの実距離と、前記深度センサのＸ軸方向のセンサ素子の数とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるセンサ素子毎のＸ軸方向の実距離の変化率を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＹ軸方向のＺ軸から画像端までの実距離と、前記深度センサのＹ軸方向のセンサ素子の数とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるセンサ素子毎のＹ軸方向の実距離の変化率を求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点の、Ｘ軸方向におけるセンサ素子の位置と前記センサ素子毎のＸ軸方向の実距離の変化率とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＸ座標を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の、Ｙ軸方向におけるセンサ素子の位置と前記センサ素子毎のＹ軸方向の実距離の変化率とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＹ座標を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標とし、
    且つ、前記算出処理は、
    前記第１の頂点の前記深度センサからの距離のデータに基づいて、前記第１の頂点のＺ座標をＺａとし、前記深度センサのＸ軸方向の視野角をθｘとし、Ｘ軸方向のセンサ素子の数をＸnmrとしたとき、前記第１の頂点における前記センサ素子毎のＸ軸方向の実距離の変化率△Ｘａを式
    △Ｘａ＝Ｚａ×ｔａｎ（θｘ／２）／（Ｘnmr／２）
    で求め、
    前記深度センサのＹ軸方向の視野角をθｙとし、Ｙ軸方向のセンサ素子の数をＹnmrとしたとき、前記第１の頂点における前記センサ素子毎のＹ軸方向の実距離の変化率△Ｙａを式
    △Ｙａ＝Ｚａ×ｔａｎ（θｙ／２）／（Ｙnmr／２）
    で求め、
    前記第１の頂点のＸ座標をＸａとし、前記第１の頂点のＸ軸方向におけるセンサ素子の位置をＸａ−ｐｉｘｅｌとしたとき、前記第１の頂点のＸ座標を式
    Ｘａ＝△Ｘａ×（（Ｘａ−ｐｉｘｅｌ）−Ｘnmr／２）
    で求め、
    前記第１の頂点のＹ座標をＹａとし、前記第１の頂点のＹ軸方向におけるセンサ素子の位置をＹａ−ｐｉｘｅｌとしたとき、前記第１の頂点のＹ座標を式
    Ｙａ＝△Ｙａ×（（Ｙａ−ｐｉｘｅｌ）−Ｙnmr／２）
    で求め、
    同様にして、前記第２の頂点、及び前記第３の頂点のＸ座標とＹ座標とを求める、
    荷物計測方法。
  9. 載置台に載置された直方体形状の荷物を実質的に直上から撮影可能である位置に配置され、前記荷物を撮影して前記荷物との距離を取得する深度センサを用い、コンピュータに、前記荷物のサイズを算出する算出処理を実行させるためのプログラムであって、
    前記算出処理は、
    載置物がない状態の前記載置台を、予め前記深度センサで撮影して背景深度画像データとして記憶しておき、
    前記深度センサを制御し、前記載置台に載置された前記荷物を実質的に直上から撮影して前記荷物の深度画像データを取得し、前記荷物の深度画像データと前記背景深度画像データとの比較によって前記荷物の深度画像データにおける前記荷物のデータを特定し、
    前記荷物の深度画像データにおける前記荷物の上面までの前記深度センサからの距離のデータと前記荷物の背景深度画像データにおける前記載置台の上面までの前記深度センサからの距離のデータとに基づいて、前記荷物の高さを算出し、
    前記荷物の深度画像データ中で最も左側に位置する第１の頂点の位置と、前記荷物の深度画像データ中で最も右側に位置する第２の頂点の位置と、前記荷物の深度画像データ中で最も上側に位置する、もしくは最も下側に位置する第３の頂点の位置と、を特定し、
    前記深度センサの中心を原点とする空間における、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標を、前記深度センサの視野角と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点の前記深度センサからの距離のデータと、前記深度センサのセンサ素子の数と、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点に対応する前記深度センサのセンサ素子の位置データとに基づいて求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標に基づいて、前記第１の頂点と前記第３の頂点との間の第１の辺の長さと、前記第２の頂点と前記第３の頂点との間の第２の辺の長さと、を算出し、算出した結果を出力し、
    且つ、前記算出処理は、
    前記深度センサの撮影方向をＺ軸とし、前記Ｚ軸と同一平面上にあり、前記Ｚ軸と直交する方向をＸ軸とし、前記Ｘ軸及び前記Ｚ軸と直交する方向をＹ軸としたとき、前記深度センサのＸ軸方向の視野角と、前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＺ軸方向の距離のデータとに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＸ軸方向のＺ軸から画像端までの実距離を求め、前記深度センサのＹ軸方向の視野角と、前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＺ軸方向の距離のデータとに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＹ軸方向のＺ軸から画像端までの実距離を求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＸ軸方向のＺ軸から画像端までの実距離と、前記深度センサのＸ軸方向のセンサ素子の数とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるセンサ素子毎のＸ軸方向の実距離の変化率を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるＹ軸方向のＺ軸から画像端までの実距離と、前記深度センサのＹ軸方向のセンサ素子の数とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点におけるセンサ素子毎のＹ軸方向の実距離の変化率を求め、
    前記第１の頂点、前記第２の頂点、及び前記第３の頂点の、Ｘ軸方向におけるセンサ素子の位置と前記センサ素子毎のＸ軸方向の実距離の変化率とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＸ座標を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の、Ｙ軸方向におけるセンサ素子の位置と前記センサ素子毎のＹ軸方向の実距離の変化率とに基づいて、それぞれ前記第１の頂点、前記第２の頂点、及び前記第３の頂点のＹ座標を求め、前記第１の頂点、前記第２の頂点、及び前記第３の頂点の２次元座標とし、
    且つ、前記算出処理は、
    前記第１の頂点の前記深度センサからの距離のデータに基づいて、前記第１の頂点のＺ座標をＺａとし、前記深度センサのＸ軸方向の視野角をθｘとし、Ｘ軸方向のセンサ素子の数をＸnmrとしたとき、前記第１の頂点における前記センサ素子毎のＸ軸方向の実距離の変化率△Ｘａを式
    △Ｘａ＝Ｚａ×ｔａｎ（θｘ／２）／（Ｘnmr／２）
    で求め、
    前記深度センサのＹ軸方向の視野角をθｙとし、Ｙ軸方向のセンサ素子の数をＹnmrとしたとき、前記第１の頂点における前記センサ素子毎のＹ軸方向の実距離の変化率△Ｙａを式
    △Ｙａ＝Ｚａ×ｔａｎ（θｙ／２）／（Ｙnmr／２）
    で求め、
    前記第１の頂点のＸ座標をＸａとし、前記第１の頂点のＸ軸方向におけるセンサ素子の位置をＸａ−ｐｉｘｅｌとしたとき、前記第１の頂点のＸ座標を式
    Ｘａ＝△Ｘａ×（（Ｘａ−ｐｉｘｅｌ）−Ｘnmr／２）
    で求め、
    前記第１の頂点のＹ座標をＹａとし、前記第１の頂点のＹ軸方向におけるセンサ素子の位置をＹａ−ｐｉｘｅｌとしたとき、前記第１の頂点のＹ座標を式
    Ｙａ＝△Ｙａ×（（Ｙａ−ｐｉｘｅｌ）−Ｙnmr／２）
    で求め、
    同様にして、前記第２の頂点、及び前記第３の頂点のＸ座標とＹ座標とを求める、
    プログラム。
JP2019206130A 2019-11-14 2019-11-14 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム Active JP6798725B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019206130A JP6798725B1 (ja) 2019-11-14 2019-11-14 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム
US17/775,389 US20220392095A1 (en) 2019-11-14 2020-03-10 Package measuring apparatus, package accepting system, package measuring method, and non-transitory computer readable medium
PCT/JP2020/010237 WO2021095281A1 (ja) 2019-11-14 2020-03-10 荷物計測装置、荷物受付システム、荷物計測方法、及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019206130A JP6798725B1 (ja) 2019-11-14 2019-11-14 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020191333A Division JP7053064B2 (ja) 2020-11-18 2020-11-18 荷物受付システム及び荷物受付方法

Publications (2)

Publication Number Publication Date
JP6798725B1 true JP6798725B1 (ja) 2020-12-09
JP2021081196A JP2021081196A (ja) 2021-05-27

Family

ID=73646804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019206130A Active JP6798725B1 (ja) 2019-11-14 2019-11-14 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220392095A1 (ja)
JP (1) JP6798725B1 (ja)
WO (1) WO2021095281A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6699872B2 (ja) * 2018-09-10 2020-05-27 Ｎｅｃプラットフォームズ株式会社 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム
JP7034448B1 (ja) * 2021-09-15 2022-03-14 株式会社Ｓａｙコンピュータ モバイル端末、及びモバイル端末を用いたサイズ測定方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114744A (ja) * 2005-01-26 2005-04-28 Penta Ocean Constr Co Ltd 運搬装置の土砂積載量の計測方法および装置
JP5493105B2 (ja) * 2010-03-19 2014-05-14 オプテックス株式会社 距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置
ITUB20153553A1 (it) * 2015-09-11 2017-03-11 Mer Mec S P A Metodo ed apparecchiatura di rilevamento di pallet in movimento.
JP6602323B2 (ja) * 2017-01-13 2019-11-06 株式会社オプトエレクトロニクス 寸法測定装置、情報読取装置及び寸法測定方法
JP6981802B2 (ja) * 2017-08-03 2021-12-17 東芝テック株式会社 寸法測定装置

Also Published As

Publication number Publication date
US20220392095A1 (en) 2022-12-08
WO2021095281A1 (ja) 2021-05-20
JP2021081196A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
US10147080B2 (en) Point-of-sale systems
CN106352790B (zh) 对物品进行尺寸量定和成像
US9390314B2 (en) Methods and apparatus for determining dimensions of an item using 3-dimensional triangulation
JP6918651B2 (ja) 荷物管理システム
US8881982B2 (en) Portable encoded information reading terminal configured to acquire images
JP6798725B1 (ja) 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム
JP6699872B2 (ja) 荷物計測装置、荷物受付システム、荷物計測方法、及びプログラム
US10275735B2 (en) Sales data processing apparatus and method for executing data processing of article
JP7053064B2 (ja) 荷物受付システム及び荷物受付方法
US20150227907A1 (en) Reading apparatus
JP5913236B2 (ja) 棚割支援装置、サーバおよびプログラム
JP2021018470A (ja) 物品特定装置及びプログラム
JP7067785B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6660284B2 (ja) セルフチェックアウト装置
EP3644011A1 (en) Package management system and method thereof
WO2023007667A1 (ja) 荷物受付システム、サーバ、荷物受付方法、及びコンピュータ可読媒体
JP7493160B2 (ja) 発送支援装置及び発送支援システム
JP6867521B2 (ja) 宅配システム
JP2022052783A (ja) 設置調整システム
WO2023188068A1 (ja) 商品数特定装置、商品数特定方法、及び記録媒体
JP2002286420A (ja) 寸法測定機能を有する端末装置
JP2023018746A (ja) マーカー処理装置およびマーカーシート
TW202134768A (zh) 固定型之可進行資訊顯示及付款處理之終端裝置
JP2023027793A (ja) 荷物受付システム、および荷物受付システムの制御方法
JP2022017919A (ja) 配送完了情報収集システムおよび配送完了情報収集方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201112

R150 Certificate of patent or registration of utility model

Ref document number: 6798725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150