JP7361251B2 - 採寸装置及び採寸方法 - Google Patents

採寸装置及び採寸方法 Download PDF

Info

Publication number
JP7361251B2
JP7361251B2 JP2020549292A JP2020549292A JP7361251B2 JP 7361251 B2 JP7361251 B2 JP 7361251B2 JP 2020549292 A JP2020549292 A JP 2020549292A JP 2020549292 A JP2020549292 A JP 2020549292A JP 7361251 B2 JP7361251 B2 JP 7361251B2
Authority
JP
Japan
Prior art keywords
adjusted
depth
image
user
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020549292A
Other languages
English (en)
Other versions
JPWO2020067168A1 (ja
Inventor
晃 藤原
健 初田
渉太 手塚
弥侑 上田
卓哉 安永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020067168A1 publication Critical patent/JPWO2020067168A1/ja
Application granted granted Critical
Publication of JP7361251B2 publication Critical patent/JP7361251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/024Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of diode-array scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、対象物の寸法を計測する採寸装置及び採寸方法に関する。
特許文献1は、可視光画像と熱画像とを重ねて表示させる情報処理装置を開示している。この情報処理装置は、熱画像において周囲の温度と異なる特定部分の表示形態を他の部分と異ならせている。例えば、特定部分を他の部分よりも高い画素数又は高い透過度で熱画像を表示している。これにより、物体の特定部分における温度分布を明瞭且つ容易に認識できるようにしている。
特開2013-2959号公報
本開示は、対象物の測定寸法の調整を可能にする採寸装置及び採寸方法を提供する。
本開示にかかる採寸装置は、複数の面を有する対象物の外形の大きさを算出する採寸装置である。採寸装置は、ユーザによる操作を受け付ける操作部と、対象物の深度画像を示す深度情報と対象物のカラー画像を示す色情報とを取得する取得部と、深度情報と色情報の少なくともいずれか一方に基づいて、対象物の幅、奥行き、及び高さを示す第1の寸法を算出する制御部と、第1の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示する表示部と、を備える。操作部は、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を受け付ける。制御部は、調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の幅、奥行き、及び高さを示す第2の寸法を、第1の寸法と変動量とに基づいて算出し、表示部が表示する枠画像を、第2の寸法に基づく対象物の輪郭形状を示すように変更する。
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
本開示にかかる採寸方法は、複数の面を有する対象物の外形の大きさを算出する方法である。採寸方法は、対象物の深度画像を示す深度情報と対象物のカラー画像を示す色情報とを取得するステップ、深度情報と色情報の少なくともいずれか一方に基づいて、対象物の幅、奥行き、及び高さを示す第1の寸法を算出するステップ、第1の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示部に表示するステップ、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を受け付けるステップ、調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の幅、奥行き、及び高さを示す第2の寸法を、第1の寸法と変動量とに基づいて算出するステップ、及び表示部が表示する枠画像を、第2の寸法に基づく対象物の輪郭形状を示すように変更するステップ、を含む。
本開示における採寸装置及び採寸方法は、ユーザによって選択された調整対象の面を、ユーザが指定した変動量に基づいて、調整対象の面の法線方向に移動させたときの対象物の寸法を算出する。これにより、対象物の測定寸法の調整が可能となる。
採寸装置の正面図 採寸装置の背面図 採寸装置の電気的構成を示すブロック図 採寸装置による対象物の撮影を説明するための図 採寸装置の全体動作を示すフローチャート 推定した対象物の輪郭形状を示す枠画像と可視光画像を重ねて表示する例を示す図 採寸した結果を調整するための画面の一例を示す図 寸法の再計算の動作を示すフローチャート 法線方向のスライド操作を説明するための図 対象物の面の選択動作を示すフローチャート 対象物の面の選択動作を説明するための図
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
(本開示の基礎となった知見)
採寸しようとする対象物、例えば、物流に使用される箱型の荷物の全体を赤外線カメラなどの深度カメラで撮影するためには、荷物の全体が写るように離れた距離から撮影する必要がある。しかし、例えば赤外線アクティブステレオ方式を用いる場合、隙間、凹凸部や、黒い素材などで深度を検出しづらく、深度情報においてデータの抜けが発生し易い。また、赤外線は日光による影響も受ける。そのため、離れた距離から撮影すると、深度カメラから得られる深度情報にノイズが含まれたり、データの抜けが発生する場合がある。すなわち、深度情報の精度が低下する。よって、深度情報に基づく対象物の寸法の測定は精度が良くない場合があった。
本開示の採寸装置は、対象物の寸法を測定した後の寸法の微調整を可能にする。具体的には、本開示の採寸装置は、深度画像に基づいて算出した寸法に基づく対象物の輪郭形状を示す枠画像とカラー画像とを重ねて表示する。採寸装置は、ユーザによる調整対象の面の選択と、その面の変動量の入力とを受け付ける。採寸装置は、ユーザによって選択された調整対象の面を、ユーザが指定した変動量に基づいて、調整対象の面の法線方向に移動させたときの対象物の寸法を算出する。これにより、測定寸法のユーザによる調整を可能にする。以下、本開示の採寸装置について詳細に説明する。
(実施形態)
以下、実施形態について、図面を参照しながら説明する。
1. 採寸装置の構成
図1から図4を参照して、本実施形態の採寸装置の構成について説明する。
図1は、本実施形態に係る採寸装置の正面図である。図2は、本実施形態に係る採寸装置の背面図である。採寸装置100は、例えば、タブレット型のパソコンである。採寸装置100は、正面側にタッチスクリーン110を備え、背面側に深度カメラ120及び可視光カメラ130を備える。
図3は、第1実施形態に係る採寸装置の電気的構成を示すブロック図である。採寸装置100は、タッチスクリーン110、深度カメラ120、及び可視光カメラ130に加え、制御部140、記憶部150、及び通信部160を備える。
タッチスクリーン110は、表示部111と操作部112とを含む。表示部111は、例えば、液晶ディスプレイ又は有機ELディスプレイで構成される。操作部112は、ユーザによる種々の操作を入力するユーザインタフェースである。本実施形態において、操作部112は、表示部111の表面に設けられたタッチパネルである。操作部112は、ユーザの指、又はペンなどのポインティングデバイスによるタッチ操作を検出する。操作部112は、例えば電極膜を含む。制御部140は、例えば、指やポインティングデバイスが操作部112に接触することによって生じる電圧の変化又は静電容量の変化を測定することによって、指やポインティングデバイスの接触位置を特定することができる。なお、操作部112は、タッチパネルの他に、キーボード、ボタン、スイッチ、又はこれらの組み合わせによって実現してもよい。
深度カメラ120は、基準位置から被写体までの距離を示す深度情報を生成する。具体的には、深度カメラ120は、被写体までの距離を測定して、測定した距離を、画素毎の深度値で示す深度画像を生成する。深度画像内の各画素は、二次元座標で特定される。深度カメラ120は、例えば、赤外線カメラである。深度カメラ120は、アクティブステレオ方式及びTOF(Time Of Flight)方式などの各種公知技術を実装することによって実現される。例えば、採寸装置100は、2台の深度カメラ120を備えてもよく、この場合、2つの画像の視差に基づいて、距離が算出されてもよい。採寸装置100は、1台の深度カメラ120を備えてもよく、この場合、照射した赤外線の光線が対象物に当たり、反射光が戻るまでにかかる時間から、距離が算出されてもよい。深度カメラ120は、深度情報を取得する取得部に相当する。
可視光カメラ130は、被写体を撮影して色情報を生成する。可視光カメラ130は、CCDイメージセンサ、CMOSイメージセンサ、又はNMOSイメージセンサなどの画像センサを備える。色情報は、例えば、画素毎のRGB値を示すカラー画像である。カラー画像内の各画素は、二次元座標で特定される。可視光カメラ130は、色情報を取得する取得部に相当する。
制御部140は、半導体素子などで実現可能である。制御部140は、例えば、マイクロコンピュータ、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、又はASIC(Application Specific Integrated Circuit)で構成することができる。制御部140の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部140は、記憶部150に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
記憶部150は、採寸装置100の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部150は、例えば、ハードディスク(HDD)、SSD(Solid State Drive)、RAM(Random Access Memory)、DRAM(Dynamic RAM)、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
通信部160は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、LAN(Local Area Network)、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB(Universal Serial Bus)、及びHDMI(登録商標)である。
図4は、採寸装置100による対象物200の撮影を模式的に示している。採寸装置100が採寸する対象物200は、例えば、物流に使用される箱型の荷物である。対象物200は、複数の面を含む。図4の例では、対象物200は、直方体の箱であるため、6つの面を含む。深度カメラ120は、深度カメラ120の位置を基準位置として、深度カメラ120から対象物200までの距離を測定して深度画像を生成する。可視光カメラ130は、対象物200を撮影してカラー画像を生成する。本実施形態では、対象物200を採寸することを目的としているため、図4に示すように、対象物200の少なくとも2面が写るように撮影する。採寸装置100は、深度画像及びカラー画像を参照して、対象物200の幅W200、奥行きD200、及び高さH200を算出する。
本実施形態では、図2~図4において、深度カメラ120と可視光カメラ130が別個のカメラである場合を例示している。しかし、深度カメラ120と可視光カメラ130は、深度情報と色情報の両方を取得可能な1つのカメラであってもよい。
2. 採寸装置の動作
図5から図11を参照して、本実施形態の採寸装置100の動作について説明する。
2.1 全体の流れ
図5は、採寸装置100の制御部140の動作を示している。制御部140は、深度カメラ120から深度画像を示す深度情報を取得する(ステップS1)。制御部140は、可視光カメラ130からカラー画像を示す色情報を取得する(ステップS2)。
制御部140は、深度画像に基づいて対象物200を検出し、対象物200の寸法を算出する(ステップS3)。制御部140は、カラー画像を画像処理することによって対象物200の輪郭を抽出して、対象物200を検出してもよい。制御部140は、カラー画像と深度画像の両方に基づいて対象物200を検出してもよい。深度画像及び/又はカラー画像に基づく対象物200の検出は既存の公知技術によって行うことができる。対象物200の検出により、対象物200の画像内の位置が特定される。
制御部140は、算出した寸法の大きさを持つ枠の画像、すなわち、対象物200の各面の輪郭形状を示す枠画像と、カラー画像とを重ねて表示部111に表示する(ステップS4)。深度カメラ120と可視光カメラ130が同一のカメラである場合は、深度画像の二次元座標とカラー画像の二次元座標は一致する。深度カメラ120と可視光カメラ130が別個のカメラである場合は、制御部140は、例えば、深度カメラ120と可視光カメラ130の位置に基づいて、深度画像の二次元座標とカラー画像の二次元座標を対応付ける。例えば、深度画像の座標系とカラー画像の座標系を、所定の基準位置を原点とする座標系に変換する。
制御部140は、ユーザの操作に応じて対象物200の寸法を再計算する(ステップS5)。
図6は、ステップS4の重ね合わせ、すなわち、ステップS2で取得したカラー画像131と、ステップS3で算出された寸法の枠121の画像(枠画像)との重ね合わせを例示している。制御部140は、対象物200各面の輪郭形状を示す枠121の画像をカラー画像131に重ねた重畳画像300を生成する。
図7は、ステップS5における、採寸結果を調整するための、表示部111の画面の一例を示している。表示部111は、ステップS4で生成された重畳画像300と、ステップS3で算出された寸法401とを表示する。さらに、表示部111には、寸法を調整する面を選択するための面選択ボタン402、枠121の大きさを変更するための調整ボタン403、及び寸法を決定するための保存ボタン404が表示される。
面選択ボタン402は、例えば、直方体の6面のいずれかを選択できるように「1」から「6」の数値ボタンを含む。例えば、「1」から「6」の数値は、図9の(a)に示す面P1~P6にそれぞれ対応する。調整ボタン403は、例えば、変動量を増加させるためのボタンと、変動量を減少させるためのボタンを含む。調整ボタン403で設定される数値は、画素数に対応する。ユーザは、調整ボタン403上をタッチ操作することによって、変動量を示す数値を採寸装置100に入力することができる。
ユーザは、重畳画像300内又は面選択ボタン402に対して、指又はポインティングデバイスによってタッチ操作することによって、寸法を調整しようとする面を選択することができる。ユーザは、選択した面を重畳画像300内でスライド操作する又は調整ボタン403に対してタッチ操作することによって、選択した面を、すなわち、枠121の一部を、その面の法線方向に移動させることができる。これにより、ユーザは、枠121の大きさを変更することができる。面の選択処理とサイズの変更処理において、ボタン操作と画像上での操作のいずれの組み合わせも可能である。例えば、ユーザは、重畳画像300上におけるタッチ操作により面を選択し、タッチした位置からスライド操作して面を移動させてもよい。ユーザは、面選択ボタン402を操作することにより選択した面を、調整ボタン403の操作により移動させてもよい。ユーザは、面の選択処理とサイズの変更処理のいずれか一方を、重畳画像300上における操作で行い、他方の処理をボタンに対する操作で行ってもよい。例えば、ユーザは、面選択ボタン402を操作することにより選択した面を、重畳画像300上におけるスライド操作により移動させてもよい。ユーザは、重畳画像300上におけるタッチ操作により選択した面を、調整ボタン403の操作により移動させてもよい。
2.2 寸法の再計算
図8は、ユーザの操作に応じた寸法の再計算(ステップS5)の詳細を示している。図9は、スライド操作を例示している。
制御部140は、ユーザの操作に応じて調整対象の面を選択する(ステップS51)。例えば、ユーザは、図7に示す重畳画像300内又は面選択ボタン402に対して、指又はポインティングデバイスによってタッチ操作する。制御部140は、指又はポインティングデバイスの接触位置の座標に基づいて、6つの面P1~P6の中から調整対象の面を選択する。図9の(b)は、調整対象の面として、面P4が選択された例を示している。
制御部140は、ユーザによる変動量の入力操作を検知したか否かを判断する(ステップS52)。制御部140は、例えば、指又はポインティングデバイスの接触位置の座標の変化を検知することによって、スライド操作を検知する。例えば、制御部140は、スライド操作を検知すると、変動量の入力操作が行われたと判断する。また、制御部140は、指又はポインティングデバイスの接触位置の座標に基づいて調整ボタン403が操作されたことを検知すると、変動量の入力操作が行われたと判断する。なお、変動量の入力操作は、キーボードなどを使用して数値を直接入力する操作であってもよい。
変動量の入力操作が行われると、制御部140は、変動量をピクセルから長さに換算する(ステップS53)。例えば、変動量の入力操作がスライド操作である場合は、制御部140は、スライド量に対応する画素数を長さ(例えば、mm)に換算する。変動量の入力操作が調整ボタン403に対するタッチ操作である場合は、制御部140は、調整ボタン403で設定された数値を長さに換算する。
制御部140は、換算後の長さに応じて対象物200の寸法を再計算する(ステップS54)。具体的には、制御部140は、ステップS3で算出した寸法と換算した長さとに基づいて、対象物200の寸法を再計算する。ここで、図9の(c)に示すように、制御部140は、調整対象の面の移動方向を、調整対象の面の法線方向に制限する。よって、制御部140は、調整対象の面をその面の法線方向に対して、換算した長さに応じて増減させた場合における、対象物200の幅、奥行き、及び高さの寸法を再計算する。
制御部140は、再計算後の寸法と、その寸法の大きさの枠121の画像を表示部111に表示する(ステップS55)。すなわち、表示部111に表示させる枠121の大きさを、ステップS3で算出した寸法からステップS54で算出した寸法に変更する。
制御部140は、保存ボタン404が操作されたか否かを判断する(ステップS56)。制御部140は、保存ボタン404が操作されたことを検知すると、例えば、ステップS54で再計算した寸法を記憶部150に格納して、図8に示す処理を終了する。保存ボタン404が操作されるまでは、ステップS51に戻り、図8に示す処理を繰り返す。このとき、例えば、ステップS51において新たに調整対象の面が選択されなければ、現在の調整対象の面に対してステップS52~S55が繰り返される。
表示部111において、枠121がカラー画像と重ねて表示されているため、ユーザは枠121がカラー画像に写っている対象物200の大きさに一致するように、調整対象の面を移動させることができる。例えば、ユーザは、対象物200の輪郭からずれている面を選択して(図9の(b))、スライド操作することによって(図9の(c))、枠121を対象物200の輪郭に一致させる(図9の(d))。制御部140は、変動量、例えば、スライド量に基づいて、対象物200の寸法を再計算する。これにより、例えば、深度画像に基づいて算出された最初の寸法の精度が良くない場合であっても、ユーザが重畳画像300を目視しながら枠121の大きさを変更することによって、制御部140は対象物200の実際の大きさに一致するような寸法を算出することができる。
制御部140は、スライド操作が行われている間、すなわち、指又はポインティングデバイスの接触位置の座標の変化を検出し続けている間の枠の表示(例えば、図9の(c))と、スライド操作が終了した後、すなわち、非接触を検出したときの枠の表示(例えば、図9のお(d))を異ならせてもよい。例えば、スライド操作中は、スライド操作が開始される前の枠の大きさと、スライド量に応じた枠の大きさとが、それぞれ視認できるような表示であってもよい。
2.3 面の選択
ステップS51において、ユーザが面選択ボタン402に対してタッチ操作した場合は、制御部140は、指又はポインティングデバイスの接触位置の座標と面選択ボタン402内に含まれる数値ボタンの座標とに基づいて、6つの面P1~P6の中から調整対象の面を選択する。
ステップS51において、ユーザが重畳画像300に対してタッチ操作した場合は、制御部140は、図10に示す処理により、6つの面P1~P6の中から調整対象の面を選択する。
図10は、重畳画像300内のタッチ操作に基づく調整対象の面の選択(ステップS51)の詳細を示している。図11は、ユーザによりタッチされた位置の座標A、側面の中心座標B1,B2,B3,B4、天面の一部に描かれた円C1、及び底面の一部に描かれた円C2を示している。制御部140は、カメラ座標系(二次元座標系)に基づいて図10に示す処理を行う。
制御部140は、ステップS3で算出した対象物200の寸法に基づいて、すなわち、枠121の大きさに基づいて、4つの側面の中心座標B1,B2,B3,B4を算出する(ステップS501)。制御部140は、枠121の天面及び底面にそれぞれ円C1,C2を描画する(ステップS502)。
制御部140は、ユーザがタッチした位置の座標Aを取得する(S503)。制御部140は、座標Aが円C1の範囲内か否かを判断する(S504)。制御部140は、座標Aが円C1の範囲内であれば、調整対象の面を天面に決定する(S505)。
座標Aが円C1の範囲内でなければ、制御部140は、座標Aが円C2の範囲内か否かを判断する(S506)。制御部140は、座標Aが円C2の範囲内であれば、調整対象の面を底面に決定する(S507)。
座標Aが円C2の範囲内でなければ、制御部140は、座標Aから中心座標B1までの距離と、座標Aから中心座標B2までの距離と、座標Aから中心座標B3までの距離と、座標Aから中心座標B4までの距離とをそれぞれ算出する(S508)。制御部140は、中心座標B1~B4の中で距離が最短となる座標に対応する側面を、調整対象の面として決定する(S509)。
3. 効果及び補足
本実施形態の採寸装置100は、複数の面を有する対象物200の外形の大きさを算出する。採寸装置100は、ユーザによる操作を受け付ける操作部112と、対象物の深度画像を示す深度情報と対象物のカラー画像を示す色情報とを取得する取得部と、深度情報と色情報の少なくともいずれか一方に基づいて対象物の幅、奥行き、及び高さを示す第1の寸法を算出する制御部140と、第1の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示する表示部111と、を備える。操作部112は、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を受け付ける。制御部140は、調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の第2の寸法を、第1の寸法と変動量とに基づいて算出し、表示部111が表示する枠画像を、第2の寸法に基づく対象物の輪郭形状を示すように変更する。
これにより、対象物の測定寸法の調整が可能になる。例えば、ユーザは、枠121が示す複数の面の中から、カラー画像内の対象物の輪郭からずれている面を選択する。ユーザは、例えばスライド操作により、変動量を入力する。制御部140は、ユーザが入力した変動量、例えば、スライド量に基づいて、調整対象の面をその法線方向に移動させたときの対象物200の寸法を計測する。さらに、制御部140は、計測後の寸法を示すように枠121の大きさを変更する。よって、ユーザが、枠121がカラー画像内の対象物200の輪郭に一致するように、選択した面を動かすことによって、制御部140は、対象物200の寸法を精度良く算出することができる。これにより、例えば、深度情報にノイズが含まれ、最初に算出された寸法に誤差がある場合であっても、ユーザの目視による調整に基づいて、制御部140は、対象物200の寸法を精度良く算出することができる。
操作部112は、タッチパネルである。制御部140は、ユーザによる調整対象の面の選択において、枠121の画像における複数の面のぞれぞれの中心座標を算出し、ユーザがタッチパネルに触れた位置の座標と中心座標との距離が最も近い面を、調整対象の面として選択する。
これにより、ユーザは選択したい面を選択することができる。
表示部111は、複数の面の少なくともいずれか一つにおいて、面に対応付けられた所定形状の画像を表示する。本実施形態では、円を表示する。制御部140は、ユーザによる調整対象の面の選択において、ユーザがタッチパネルに触れた位置の座標が所定形状の画像の範囲内であれば、所定形状の画像に対応付けられた面を、調整対象の面として選択する。
これにより、ユーザは選択したい面を選択することができる。
調整対象の面の変動量は、操作部112に対するスライド操作又は数値入力により、入力される。
ユーザが入力する変動量は画素数に対応する。制御部140は、画素数を長さに変換して、第2の寸法を算出する。
取得部は、対象物を撮影して深度情報を生成する深度カメラ120と、対象物を撮影して色情報を生成する可視光カメラ130とを含む。
本実施形態の採寸方法は、コンピュータの制御部が、複数の面を有する対象物200の外形の大きさを算出する方法である。採寸方法は、対象物200の深度画像を示す深度情報と対象物200のカラー画像を示す色情報とを取得部から取得するステップS1,S2、深度情報と色情報の少なくともいずれか一方に基づいて、対象物の幅、奥行き、及び高さを示す第1の寸法を算出するステップS3、第1の寸法に基づく対象物の輪郭形状を示す枠画像をカラー画像に重ねて表示部111に表示するステップS4、ユーザによる調整対象の面の選択及び調整対象の面の変動量の入力を操作部112を介して受け付けるステップS51,S52、選択された調整対象の面を変動量に基づいて調整対象の面の法線方向に移動させたときの対象物の第2の寸法を、第1の寸法と変動量とに基づいて算出するステップS53,S54、及び表示部111が表示する枠画像を、第2の寸法に基づく対象物の輪郭形状を示すように変更するステップS55を含む。
これにより、対象物の測定寸法の調整が可能になる。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
上記実施形態では、天面及び底面を指定するための形状として円C1,C2が描かれたが、面を指定するための形状は円形でなくてもよい。例えば、四角形であってもよい。また、図形によって指定可能な面は、天面及び底面でなくてもよい。例えば、側面であってもよい。
上記実施形態では、深度カメラ120が採寸装置100に内蔵されたが、採寸装置100に深度カメラ120が内蔵されていなくてもよい。採寸装置100は、通信部160を介して、深度カメラ120が生成した深度情報を取得してもよい。この場合、通信部160が深度情報を取得する取得部に相当する。同様に、可視光カメラ130は、採寸装置100に内蔵されていなくてもよい。採寸装置100は、通信部160を介して、深度情報と共に、色情報を取得してもよい。この場合、通信部160が色情報を取得する取得部に相当する。
上記実施形態は、ユーザが、重畳画像300を目視することによって手動で枠121の大きさを変更し、それにより、制御部140は対象物200の寸法を再計算した。これに代えて、機械学習を使用して、重畳画像300から対象物200の寸法を再計算してもよい。
本開示の採寸装置100は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、計測した対象物の寸法を調整する採寸装置及び採寸方法に適用可能である。
100 採寸装置
110 タッチスクリーン
111 表示部
112 操作部
120 深度カメラ
121 枠
130 可視光カメラ
131 カラー画像
140 制御部
150 記憶部
160 通信部
200 対象物
300 重畳画像
401 寸法
402 面選択ボタン
403 調整ボタン
404 保存ボタン
A 座標
B1,B2,B3,B4 中心座標
C1,C2 円
P1,P2,P3,P4,P5,P6 面

Claims (2)

  1. 複数の面を有する対象物の外形の大きさを算出する採寸装置であって、
    ユーザによる操作を受け付ける操作部と、
    前記対象物の深度画像を示す深度情報と前記対象物のカラー画像を示す色情報とを取得する取得部と、
    前記深度情報と前記色情報の少なくともいずれか一方に基づいて、前記対象物の幅、奥行き、及び高さを示す第1の寸法を算出する制御部と、
    前記第1の寸法に基づく対象物の輪郭形状を示す枠画像を前記カラー画像に重ねて表示する表示部と、
    を備え、
    前記操作部は、
    タッチパネルであり、
    前記ユーザによる調整対象の面の選択及び前記調整対象の面の変動量の入力を受け付け、
    前記制御部は、
    前記調整対象の面を前記変動量に基づいて前記調整対象の面の法線方向に移動させたときの前記対象物の幅、奥行き、及び高さを示す第2の寸法を、前記第1の寸法と前記変動量とに基づいて算出し、前記表示部が表示する前記枠画像を前記第2の寸法に基づく対象物の輪郭形状を示すように変更し、
    前記ユーザによる調整対象の面の選択において、前記枠画像における前記複数の面のぞれぞれの中心座標を算出し、前記ユーザが前記タッチパネルに触れた位置の座標と前記中心座標との距離が最も近い面を、前記調整対象の面として選択する、
    採寸装置。
  2. 複数の面を有する対象物の外形の大きさを算出する採寸方法であって、
    前記対象物の深度画像を示す深度情報と前記対象物のカラー画像を示す色情報とを取得するステップ、
    前記深度情報と前記色情報の少なくともいずれか一方に基づいて、前記対象物の幅、奥行き、及び高さを示す第1の寸法を算出するステップ、
    前記第1の寸法に基づく対象物の輪郭形状を示す枠画像を前記カラー画像に重ねて表示部に表示するステップ、
    タッチパネルで、ユーザによる調整対象の面の選択及び前記調整対象の面の変動量の入力を受け付けるステップ、
    前記調整対象の面を前記変動量に基づいて前記調整対象の面の法線方向に移動させたときの前記対象物の幅、奥行き、及び高さを示す第2の寸法を、前記第1の寸法と前記変動量とに基づいて算出するステップ
    前記表示部が表示する前記枠画像を、前記第2の寸法に基づく対象物の輪郭形状を示すように変更するステップ、及び、
    前記ユーザによる調整対象の面の選択において、前記枠画像における前記複数の面のぞれぞれの中心座標を算出し、前記ユーザが前記タッチパネルに触れた位置の座標と前記中心座標との距離が最も近い面を、前記調整対象の面として選択するステップ、
    を含む、採寸方法。
JP2020549292A 2018-09-28 2019-09-25 採寸装置及び採寸方法 Active JP7361251B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018185193 2018-09-28
JP2018185193 2018-09-28
PCT/JP2019/037621 WO2020067168A1 (ja) 2018-09-28 2019-09-25 採寸装置及び採寸方法

Publications (2)

Publication Number Publication Date
JPWO2020067168A1 JPWO2020067168A1 (ja) 2021-08-30
JP7361251B2 true JP7361251B2 (ja) 2023-10-16

Family

ID=69949928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020549292A Active JP7361251B2 (ja) 2018-09-28 2019-09-25 採寸装置及び採寸方法

Country Status (5)

Country Link
US (1) US11733032B2 (ja)
EP (1) EP3859269B1 (ja)
JP (1) JP7361251B2 (ja)
CN (1) CN112739976B (ja)
WO (1) WO2020067168A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7384712B2 (ja) * 2020-03-06 2023-11-21 富士フイルム株式会社 放射線強度推定装置、放射線強度推定装置の作動方法、放射線強度推定装置の作動プログラム、放射線撮影システム
CN111524193B (zh) * 2020-04-17 2022-05-03 西安交通大学 一种物体二维尺寸的测量方法及测量装置
CN113865481B (zh) * 2020-06-30 2024-05-07 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质
CN114155262A (zh) * 2021-11-29 2022-03-08 合肥安达创展科技股份有限公司 一种基于opencv相关算法的体感深度图获取系统
CN115278080A (zh) * 2022-07-28 2022-11-01 北京五八信息技术有限公司 一种蒙版生成方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006135040A1 (ja) 2005-06-17 2006-12-21 Omron Corporation 3次元計測を行う画像処理装置および画像処理方法
JP2014089697A (ja) 2012-10-05 2014-05-15 Fine Co Ltd 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
JP2014209326A (ja) 2013-03-27 2014-11-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017151669A1 (en) 2016-02-29 2017-09-08 Aquifi, Inc. System and method for assisted 3d scanning
JP2017175606A (ja) 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) * 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
JP5772272B2 (ja) 2011-06-16 2015-09-02 富士通株式会社 情報処理装置、及び情報処理方法
JP5205547B1 (ja) * 2012-04-20 2013-06-05 株式会社ノイズ研究所 放射信号可視化装置
JP6132275B2 (ja) 2012-07-02 2017-05-24 パナソニックIpマネジメント株式会社 サイズ測定装置及びサイズ測定方法
JP2014127945A (ja) 2012-12-27 2014-07-07 Rohm Co Ltd 検査システム、検査方法、画素回路及びイメージセンサ
JP5799273B2 (ja) * 2013-10-02 2015-10-21 パナソニックIpマネジメント株式会社 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
CN103617002A (zh) 2013-12-16 2014-03-05 深圳市理邦精密仪器股份有限公司 一种触控界面的实现方法及装置
US10089750B2 (en) * 2017-02-02 2018-10-02 Intel Corporation Method and system of automatic object dimension measurement by using image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006135040A1 (ja) 2005-06-17 2006-12-21 Omron Corporation 3次元計測を行う画像処理装置および画像処理方法
JP2014089697A (ja) 2012-10-05 2014-05-15 Fine Co Ltd 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
JP2014209326A (ja) 2013-03-27 2014-11-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017151669A1 (en) 2016-02-29 2017-09-08 Aquifi, Inc. System and method for assisted 3d scanning
JP2017175606A (ja) 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置

Also Published As

Publication number Publication date
CN112739976B (zh) 2023-05-12
US11733032B2 (en) 2023-08-22
CN112739976A (zh) 2021-04-30
US20210207952A1 (en) 2021-07-08
EP3859269A4 (en) 2021-11-10
EP3859269B1 (en) 2023-05-03
JPWO2020067168A1 (ja) 2021-08-30
WO2020067168A1 (ja) 2020-04-02
EP3859269A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
JP7361251B2 (ja) 採寸装置及び採寸方法
US10091489B2 (en) Image capturing device, image processing method, and recording medium
US10277889B2 (en) Method and system for depth estimation based upon object magnification
US9230330B2 (en) Three dimensional sensing method and three dimensional sensing apparatus
US20180184072A1 (en) Setting apparatus to set movement path of virtual viewpoint, setting method, and storage medium
JP6502511B2 (ja) 計算装置、計算装置の制御方法および計算プログラム
JP5802247B2 (ja) 情報処理装置
TW201322178A (zh) 擴增實境的方法及系統
US20210207943A1 (en) Measurement device and measurement method
EP2367352B1 (en) Imaging apparatus and method
US20150256815A1 (en) 3d camera calibration
US20180213156A1 (en) Method for displaying on a screen at least one representation of an object, related computer program, electronic display device and apparatus
TWI547788B (zh) 電子裝置及其重力感測校正方法
KR101330531B1 (ko) 3차원 카메라를 이용한 가상 터치 방법 및 장치
TWI417774B (zh) 光學距離判斷裝置、光學觸控螢幕系統及光學觸控測距之方法
JPWO2020085303A1 (ja) 情報処理装置及び情報処理方法
US10922841B2 (en) Image processing device, image processing method, and image processing program
JP7170052B2 (ja) 3次元画像生成装置、3次元画像生成方法、及びプログラム
JPWO2013111201A1 (ja) 立体画像表示制御装置及び立体画像表示制御方法
JP5996233B2 (ja) 画像撮像装置
TW201611571A (zh) 產生三維影像的方法及其電子裝置
CN111521127B (zh) 测量方法、测量装置以及记录介质
JP2018049498A (ja) 画像処理装置、操作検出方法、コンピュータプログラム、及び記憶媒体
JP6730029B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
US10310668B2 (en) Touch screen display system and a method for controlling a touch screen display system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7361251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151