WO2020066847A1 - 採寸装置及び採寸方法 - Google Patents

採寸装置及び採寸方法 Download PDF

Info

Publication number
WO2020066847A1
WO2020066847A1 PCT/JP2019/036811 JP2019036811W WO2020066847A1 WO 2020066847 A1 WO2020066847 A1 WO 2020066847A1 JP 2019036811 W JP2019036811 W JP 2019036811W WO 2020066847 A1 WO2020066847 A1 WO 2020066847A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
information
point
height
measuring device
Prior art date
Application number
PCT/JP2019/036811
Other languages
English (en)
French (fr)
Inventor
晃 藤原
健 初田
渉太 手塚
弥侑 上田
卓哉 安永
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201980060844.6A priority Critical patent/CN112739975B/zh
Priority to JP2020548612A priority patent/JP7249494B2/ja
Priority to EP19865949.2A priority patent/EP3859268B1/en
Publication of WO2020066847A1 publication Critical patent/WO2020066847A1/ja
Priority to US17/211,921 priority patent/US20210207943A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present disclosure relates to a measuring device and a measuring method for measuring a size of an object.
  • Patent Document 1 discloses a size measuring device for measuring the size of a cargo placed on a carrier or a carrier with a carrier.
  • the dimension measurement device transmits a measurement wave and receives a reflected measurement wave to generate a distance image.
  • the dimension measurement device generates a cargo distance image including the cargo and the loading platform and a background distance image not including the cargo and the loading platform, respectively.
  • the dimension measuring device generates a distance image representing the shape of the cargo or the cargo with a bed based on the difference between the cargo distance image and the background distance image.
  • the dimension measuring device can appropriately measure the dimension of the cargo or the cargo with the bed.
  • the present disclosure provides a measuring device and a measuring method for accurately measuring an object including a loading platform and a load placed on the loading platform.
  • the measuring device is a measuring device that measures the size of the outer shape of an object including a bed on a floor surface and a load placed on the bed.
  • the measuring device includes: an acquisition unit that acquires depth information indicating a distance from a reference position to a floor surface and an object; a storage unit that stores standard size information indicating a standard size of a carrier; and depth information and standard size information.
  • a control unit that measures the width, depth, and height dimensions of the target object by specifying the bed, and generates measuring information indicating the measured width, depth, and height dimensions; and An output unit that outputs information.
  • the measuring method is a method of measuring the size of the outer shape of an object including a bed on a floor surface and a load placed on the bed.
  • the measuring method includes: a step of acquiring depth information indicating a distance from the reference position to the floor surface and the object; a step of acquiring standard size information indicating a standard size of the carrier; a platform based on the depth information and the standard size information.
  • the measuring device and the measuring method according to the present disclosure include a depth information indicating a distance from a reference position to an object including a bed on the floor and a load placed on the bed, and a standard indicating a standard size of the bed.
  • the width, depth, and height dimensions of the object are measured by specifying the loading platform based on the dimensional information. This makes it possible to accurately measure the outer shape of the object including the bed and the luggage placed on the bed.
  • FIG. 2 is a block diagram illustrating an electrical configuration of the measuring device according to the first embodiment.
  • Diagram for explaining photographing of pallets and luggage by a measuring device Diagram showing an example of a depth image
  • FIG. 2 is a block diagram illustrating a functional configuration of the measuring device according to the first embodiment.
  • Diagram showing an example of standard dimension information 4 is a flowchart illustrating the operation of the measuring device according to the first embodiment.
  • Diagram showing an example of output of measuring information 5 is a flowchart illustrating an operation of generating a floor equation according to the first embodiment.
  • FIG. 7 is a diagram for explaining a lower side neighborhood region of the depth image according to the first embodiment.
  • FIG. 5 is a flowchart illustrating a pallet estimation operation according to the first embodiment.
  • movement of the pallet of 1st Embodiment 5 is a flowchart illustrating an operation of estimating the height of luggage according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a pallet having a corner drop portion according to the first embodiment. The figure for explaining calculation of the nearest point when there is a corner drop part of a 1st embodiment.
  • Flowchart showing pallet estimation operation of the second embodiment The figure for demonstrating the pallet estimation operation
  • FIG. 3 is a block diagram illustrating a configuration of a measuring device according to a third embodiment.
  • 5 is a flowchart showing the operation of the measuring device according to the third embodiment.
  • FIG. 10 is a diagram for explaining the detection of the contour of an object according to the third embodiment;
  • 11 is a flowchart illustrating an operation of generating a floor equation according to the third embodiment.
  • 11 is a flowchart illustrating a pallet estimation operation according to the third embodiment.
  • FIG. 4 is a block diagram illustrating a configuration of a measuring device according to a fourth embodiment.
  • 11 is a flowchart illustrating an operation of generating a floor equation according to the fourth embodiment.
  • 11 is a flowchart illustrating an operation of generating a floor equation according to the fifth embodiment.
  • a pallet is used as a carrier for loading luggage in distribution or the like.
  • the area occupied by the load placed on the pallet in the warehouse or the truck has a pallet size as a bottom area, and has a size having the entire height of the pallet and the load placed on the pallet. Therefore, it is necessary to measure not only the size of the load placed on the pallet, but also the entire size of the pallet and the load placed on the pallet.
  • noise increases in depth information obtained from the depth camera, and accuracy of the depth information decreases.
  • pallets used for physical distribution and the like include a pallet-shaped pallet, and an insertion port for a forklift is provided on the pallet.
  • packages on the pallets are of various colors and materials. For example, when the infrared active stereo system is used, it is difficult to detect the depth due to gaps, uneven portions, a black material, or the like, and data is likely to be missing in depth information. Therefore, accurate depth information cannot be obtained, and the dimensions of the pallet and the baggage cannot be accurately measured.
  • the measuring device of the present disclosure measures the width and depth of the pallet and the height from the floor surface to the highest point of the luggage with high accuracy.
  • the measuring device of the present disclosure uses standard size information indicating a standard size of the pallet together with depth information obtained by photographing the pallet and the package.
  • the size of pallets used in physical distribution and the like is standardized to several types in countries or regions. Therefore, by using the standard size information together with the depth information, the type of the pallet can be specified with high accuracy, and the width and depth of the pallet and the height from the floor surface to the highest point of the load can be measured with high accuracy. .
  • accurate measurement can be performed even when the accuracy of the depth information is not good.
  • the load placed on the pallet is smaller than the bottom area of the pallet, the area occupied by the load placed on the pallet can be measured accurately.
  • the measuring device of the present disclosure will be described in detail.
  • FIG. 1 is a front view of the measuring device according to the first embodiment.
  • FIG. 2 is a rear view of the measuring device according to the first embodiment.
  • the measuring device 100 is, for example, a tablet-type personal computer.
  • the measuring device 100 includes a touch screen 110 on the front side and a depth camera 120 on the rear side.
  • FIG. 3 is a block diagram showing an electrical configuration of the measuring device according to the first embodiment.
  • the measuring device 100 includes a control unit 130, a storage unit 140, and a communication unit 150 in addition to the touch screen 110 and the depth camera 120.
  • the touch screen 110 includes a display unit 111 and an operation unit 112.
  • the display unit 111 includes, for example, a liquid crystal display or an organic EL display.
  • the operation unit 112 is a user interface for inputting various operations by the user.
  • the operation unit 112 is a touch panel provided on the surface of the display unit 111.
  • the operation unit 112 detects a touch operation by a user's finger or a pointing device such as a pen.
  • the operation unit 112 includes, for example, an electrode film.
  • the control unit 130 can specify the contact position of the finger or the pointing device, for example, by measuring a change in voltage or a change in capacitance caused by the finger or the pointing device coming into contact with the operation unit 112.
  • the operation unit 112 may be realized by a keyboard, a button, a switch, or a combination thereof in addition to the touch panel.
  • the depth camera 120 generates depth information indicating the distance from the reference position to the subject. Specifically, the depth camera 120 measures the distance to the subject, and generates a depth image indicating the measured distance as a depth value for each pixel.
  • the depth camera 120 is, for example, an infrared active stereo camera.
  • the subject includes a floor surface, a pallet placed on the floor surface, and luggage placed on the pallet.
  • the depth camera 120 is realized by implementing various known technologies such as an active stereo method and a TOF (Time @ Flight) method.
  • the measuring device 100 may include two depth cameras 120, and in this case, a distance may be calculated based on a parallax of two images.
  • the measuring device 100 may include one depth camera 120.
  • the distance may be calculated from the time required for the emitted infrared ray to hit the target object and return the reflected light.
  • the depth camera 120 corresponds to an acquisition unit that acquires depth information indicating a distance from a reference position to a floor and an object.
  • the control unit 130 can be realized by a semiconductor element or the like.
  • the control unit 130 includes, for example, a microcomputer, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or an ASIC (Application). Specific Integrated Circuit).
  • the function of the control unit 130 may be configured only by hardware, or may be realized by combining hardware and software.
  • the control unit 130 realizes a predetermined function by reading data and programs stored in the storage unit 140 and performing various arithmetic processes.
  • the storage unit 140 is a storage medium that stores programs and data necessary to realize the functions of the measuring device 100.
  • the storage unit 140 can be realized by, for example, a hard disk (HDD), a solid state drive (SSD), a random access memory (RAM), a dynamic RAM (DRAM), a ferroelectric memory, a flash memory, a magnetic disk, or a combination thereof.
  • HDD hard disk
  • SSD solid state drive
  • RAM random access memory
  • DRAM dynamic RAM
  • ferroelectric memory ferroelectric memory
  • flash memory a flash memory
  • magnetic disk or a combination thereof.
  • the communication unit 150 includes a circuit that performs communication with an external device in accordance with a predetermined communication standard.
  • the predetermined communication standard is, for example, LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), USB (Universal Serial Bus), and HDMI (registered trademark).
  • FIG. 4 schematically shows the photographing of the object 200 by the measuring device 100.
  • the target object 200 includes a pallet 210 on the floor and a load 220 placed on the pallet 210.
  • the depth camera 120 generates a depth image by measuring a distance d200 from the depth camera 120 to the target 200 with the position of the depth camera 120 as a reference position.
  • the measuring device 100 calculates the width W200, the depth D200, and the height H200 of the target object 200 with reference to the depth image.
  • the width W200 and the depth D200 of the object 200 are the width and the depth of the pallet 210.
  • the height H200 of the object 200 is the height of the highest point of the load 220 from the floor.
  • FIG. 5 shows an example of the depth image 141p generated by the depth camera 120.
  • the depth image 141p represents a depth value for each pixel specified by the two-dimensional coordinates (X, Y).
  • the depth camera 120 is set so that the entire length of the two sides of the pallet 210 is captured in the depth image 141p.
  • the object 200 is photographed from an obliquely upper angle. As a result, the floor surface appears at least on the lower side of the screen of the depth image 141p.
  • FIG. 6 is a block diagram showing a functional configuration of the measuring device 100.
  • the control unit 130 includes a coordinate conversion unit 131, a floor estimation unit 132, a pallet estimation unit 133, and a highest point estimation unit 134 as a functional configuration.
  • the depth information 141 indicating the depth image 141p generated by the depth camera 120 is stored in the storage unit 140.
  • the coordinate conversion unit 131 converts the two-dimensional coordinates and the depth value of the depth information 141 into three-dimensional coordinates whose origin is the depth camera 120, and generates three-dimensional coordinate information 142.
  • the floor estimating unit 132 estimates the area of the floor based on the depth information 141 and the three-dimensional coordinate information 142, and generates a plane equation of the floor.
  • the plane equation of the floor is also referred to as “floor equation”.
  • the storage unit 140 stores standard dimension information 143 indicating the standard size of the pallet 210 in advance.
  • the pallet estimating unit 133 estimates the width, depth, and position of the pallet 210 based on the floor equation, the depth information 141, the three-dimensional coordinate information 142, and the standard dimension information 143.
  • the highest point estimating unit 134 estimates the height from the floor to the highest point of the package based on the floor equation, the width, depth, and position of the pallet 210, and the three-dimensional coordinate information 142.
  • the control unit 130 generates measuring information 144 including the width and depth of the pallet 210 estimated by the pallet estimating unit 133 and the height of the luggage estimated by the highest point estimating unit 134.
  • FIG. 7 shows an example of the standard dimension information 143.
  • the standard size information 143 includes standard sizes of one or more pallets.
  • the standard size information 143 includes the standard size of the pallet to be measured.
  • the standard size information 143 includes the standard width, the standard depth, and the standard height of the three types of pallets.
  • the standard size is determined in a country or region.
  • FIG. 8 shows the operation of the control unit 130 of the measuring device 100.
  • the control unit 130 acquires the depth information 141 from the depth camera 120 (Step S1).
  • the depth information 141 indicates a depth image 141p including a depth value for each pixel specified by two-dimensional coordinates as illustrated in FIG.
  • the coordinate conversion unit 131 converts the two-dimensional coordinates and the depth value of the depth information 141 into three-dimensional coordinates with the origin of the depth camera 120, and generates three-dimensional coordinate information 142 (step S2). Thereby, the pixel including the information of the depth value is converted into a point in the three-dimensional coordinate system.
  • the floor surface estimating unit 132 estimates the floor surface in the depth image 141p (step S3). Specifically, the floor estimation unit 132 generates a plane equation of the floor based on the three-dimensional coordinate information 142.
  • the pallet estimation unit 133 estimates the width and depth of the pallet 210 shown in the depth image 141p and the position of the pallet 210 (step S4).
  • the highest point estimating unit 134 estimates the height of the highest point of the package 220 shown in the depth image 141p (step S5).
  • the control unit 130 generates and outputs measuring information 144 including the width and depth of the pallet 210 estimated in steps S4 and S5 and the height of the highest point of the package 220 (step S6).
  • FIG. 9 shows an example of the measurement information 144.
  • FIG. 10 shows an example of the output of the measurement information 144.
  • the control unit 130 may store the measurement information 144 as shown in FIG.
  • the control unit 130 corresponds to an output unit that outputs the measurement information 144 to the storage unit 140.
  • the control unit 130 may output the measurement information 144 to an external device or the like via the communication unit 150.
  • the communication unit 150 corresponds to an output unit that outputs the measurement information 144 to the outside.
  • the control unit 130 may display the measurement information 144 on the display unit 111 together with the rectangular parallelepiped frame 401 including the target object, as shown in FIG.
  • the display unit 111 corresponds to an output unit that outputs the measuring information 144 to the screen.
  • FIG. 11 shows estimation of the floor surface, that is, generation of a plane equation of the floor surface (details of step S3).
  • FIG. 12 illustrates the lower side vicinity region 31 in the depth image 141p.
  • the floor estimating unit 132 estimates that the lower-side neighborhood 31 of the depth image 141p is a floor-side area, and selects at least three points from the pixels in the lower-side neighborhood 31 (step S301).
  • the lower side vicinity region 31 is, for example, a region of “20 ⁇ 20” pixels near the lower side of the depth image 141p.
  • the size of the lower side vicinity area 31 may be changed according to the resolution of the depth camera 120.
  • the floor estimation unit 132 calculates a normal vector (a, b, c) of the floor based on the three-dimensional coordinates of the selected three points (step S302). For example, two vectors connecting two points out of three points are generated, and a normal vector is calculated from a cross product of the two vectors. At this time, a plurality of normal vectors may be calculated from three or more different points in the lower side neighborhood 31, or a normal vector may be calculated in each of the plurality of lower side neighborhoods 31. In this case, the normal vector of the floor surface may be determined by averaging the plurality of calculated normal vectors. Thereby, the accuracy of the normal vector is improved.
  • the floor estimating unit 132 calculates the height of the floor based on the three-dimensional coordinates of any point in the lower side vicinity area 31, for example, the point selected in step S301 and the normal vector calculated in step S302. Is set to zero, a constant d of the plane equation of the floor surface is calculated (step S303).
  • the constant d may be determined by one point, or the constant d may be determined by averaging the constants d calculated from a plurality of points in the lower side neighborhood 31. The averaging improves the accuracy of the constant d.
  • FIG. 13 shows the estimation of the width, depth and position of the pallet (details of step S4).
  • FIG. 14 schematically illustrates the pallet estimation according to FIG.
  • the pallet estimation unit 133 acquires the standard size information 143 by reading the standard size information 143 from the storage unit 140 (step S401).
  • the pallet estimating unit 133 detects a point near the height of the pallet indicated by the standard dimension information 143 from the points indicated by the three-dimensional coordinate information 142, and the closest point A closest to the depth camera 120 among the detected points. Is specified (step S402).
  • the vicinity of the height of the pallet includes the vicinity of the height of the beam plate 211 and the deck board 212 shown in FIG. For example, in the case of a pallet having a height of 14 cm as shown in FIG. 7, the nearest point A is searched from a point having a height of 12 to 14 cm.
  • the height of each point is calculated based on the three-dimensional coordinate information 142 and the floor equation.
  • the normal vector (a, b, c) is calculated so that the normal vector satisfies the formula (1) in the floor equation
  • the height of the point having the three-dimensional coordinates (x0, y0, z0) from the floor is calculated.
  • h0 is obtained by equation (2).
  • the pallet estimating unit 133 determines the minimum depth value based on the depth information 141 from a plurality of points where the height h0 from the floor surface calculated by the equation (2) is near the height indicated by the standard dimension information 143. Is specified as the closest point A.
  • the pallet estimating unit 133 searches the straight line for a point that is continuous from the closest point A in the vicinity of the pallet height indicated by the standard dimension information 143, that is, a point having the same height as the closest point A. 210 are specified as the left end point B and the right end point C (step S403).
  • the types of pallets are the three types shown in FIG. 7, if the distance between AB and the distance between ACs is not near any of 60, 80, 100, and 120, it is determined that the pallet has not been detected. Stop the subsequent processing. If the difference between the angle formed by the side AB and the side AC and an expected value (for example, a right angle) is equal to or greater than a predetermined value, it may be determined that the pallet has not been detected, and the subsequent processing may be stopped. Thereby, the false recognition rate can be reduced.
  • an expected value for example, a right angle
  • the pallet estimation unit 133 identifies the position of the point D based on the identified type of pallet, and estimates the area of the pallet 210 (step S405). Specifically, a parallelogram including the closest point A, the left end point B, and the right end point C is estimated as the area of the pallet 210. Thus, the position of the pallet 210 in the three-dimensional coordinate information 142 is estimated.
  • FIG. 15 shows the estimation of the height of the highest point of the package (details of step S5).
  • FIG. 16 schematically shows the load height estimation according to FIG.
  • the highest point estimating unit 134 calculates the height from the floor surface of a point in the three-dimensional space 400 having the estimated area of the pallet 210 as the bottom surface (step S501).
  • the three-dimensional space 400 includes a plane P1 including a side AB and a normal to the floor, a plane P2 including a side CD and a normal to the floor, a plane P3 including a side AC and a normal to the floor, and a side BD. And a plane P4 including the normal to the floor surface.
  • the highest point estimating unit 134 calculates a plane equation of the planes P1, P2, P3, and P4.
  • the highest point estimating unit 134 regards a point having coordinates between the plane P1 and the plane P2 and between the plane P3 and the plane P4 as a point on the pallet 210.
  • the bottom surface area of the three-dimensional space 400 may be larger than the estimated area of the pallet 210. Thereby, it is possible to remove the influence of the error of the depth information 141.
  • the height of each point from the floor can be calculated by the above equation (2).
  • the highest point estimating unit 134 determines the highest point among the calculated heights as the height of the highest point of the package from the floor (step S502). Thereby, the height of a point in the upper surface T220 of the load 220 is estimated as the height H200 of the target object 200. Note that the continuity of the height calculated in the three-dimensional space 400 may be verified, and a point having no continuity may be excluded from the determination of the highest point. Thereby, the influence of the noise of the depth information 141 can be removed.
  • the measuring device 100 of the present embodiment measures the size of the outer shape of the object 200 including the pallet 210 on the floor and the load 220 placed on the pallet 210.
  • the measuring device 100 obtains depth information 141 indicating a distance from the reference position to the floor surface and the object 200, a storage unit 140 storing standard size information 143 indicating a standard size of the pallet 210, and depth information.
  • standard size information 143 indicating a standard size of the pallet 210
  • the control unit 130 includes the control unit 130 that generates the measurement information 144 and the output unit that outputs the measurement information 144.
  • the object 200 can be measured with high accuracy.
  • the acquisition unit includes, as the depth information 141, the depth camera 120 that captures an image of the floor surface and the object 200 and generates a depth image 141p indicating the distance to the floor surface and the object 200 by a depth value for each pixel.
  • the output unit is, for example, the display unit 111 that outputs the measurement information 144 to the screen.
  • the output unit may be the control unit 130 that outputs the measurement information 144 to the storage unit 140.
  • the output unit may be the communication unit 150 that outputs the measurement information 144 to the outside.
  • the control unit 130 generates three-dimensional coordinate information 142 obtained by converting each pixel of the depth image 141p into a point in the three-dimensional coordinate system, and calculates a plane equation of the floor based on the three-dimensional coordinate information 142.
  • the control unit 130 estimates that the lower-side neighborhood 31 of the predetermined size in the depth image 141p is a floor-side area, and calculates a plane equation of the floor from a point in the lower-side neighborhood 31.
  • the floor surface equation can be calculated by taking an image so that the floor appears in the lower part of the screen and calculating the plane equation from the area near the lower side.
  • the standard size information 143 includes the standard height of the pallet 210.
  • the control unit 130 calculates the height of each point based on the three-dimensional coordinates of each point and the plane equation of the floor, and based on the point where the calculated height is near the standard height, Estimate the contour. Specifically, the closest point A is detected, a point having the same height as the closest point A is searched on a straight line, and the left end point B and the right end point C are detected. Since the sides AB and AC, which are outlines, are estimated based on the standard height, the outline can be estimated with high accuracy.
  • the standard dimension information 143 includes the standard width and the standard depth of the pallet 210.
  • the control unit 130 calculates the width and depth of the pallet 210 from the estimated outline of the pallet 210 based on the three-dimensional coordinate information 142, compares the calculated width and depth with the standard width and standard depth, and And the width and depth of the pallet 210 are estimated. By comparing with the standard width and the standard depth, the width and the depth of the object 200 can be accurately estimated.
  • the control unit 130 determines the point having the highest point calculated by the three-dimensional coordinate information 142 and the plane equation of the floor surface in the three-dimensional space having the estimated pallet 210 as the bottom surface, Is estimated as By accurately estimating the position of the pallet 210, the three-dimensional space in which the package 220 exists can be specified with high accuracy. Therefore, the highest point can be accurately estimated.
  • the measuring method is a method in which the control unit 130 of the computer measures the size of the outer shape of the object 200 including the pallet 210 on the floor surface and the load 220 placed on the pallet 210. .
  • the measuring method includes a step S1 of acquiring depth information 141 indicating a distance from the reference position to the floor surface and the object 200 from the acquiring unit, and a step S401 of acquiring standard dimension information 143 indicating the standard size of the pallet 210 from the storage unit 140.
  • the pallet 210 is specified based on the depth information 141 and the standard dimension information 143, and the width, depth, and height dimensions of the object 200 are measured, and the measured width, depth, and height dimensions are measured.
  • the control unit 130 may estimate a point whose coordinates are continuous with a point in the lower side vicinity area 31 as the floor surface.
  • the control unit 130 calculates a normal vector from another area of the same size as the lower side neighboring area 31 around the lower side neighboring area 31, and sets the direction of the normal vector of another area to the normal vector inside the lower side neighboring area 31. If similar, the other area may be estimated as a floor.
  • the direction of the normal vector of the surrounding area may be further calculated with respect to another area, and if the directions are similar, the surrounding area may be estimated as the floor surface. In this way, the floor surface estimation area may be expanded.
  • the control unit 130 may estimate the area of the floor surface based on the direction of the normal vector calculated from a plurality of points and the distance between the points.
  • the direction of the normal vector and the distance between the points may be determined in the entire region in the depth image 141p, and the point where the direction of the normal vector and the distance between the points are close may be determined to be the same plane.
  • the normal vector of the floor surface may be determined by calculating and averaging a plurality of normal vectors from points in the area estimated as the floor surface.
  • the closest point A in step S402 in FIG. 13 in the case of a pallet having the block 213 as shown in FIG. 4 at the position of the closest point A, the fact that the pallet member exists at a position lower than the closest point A is used.
  • the presence of a pixel having the height of the block 213 may be confirmed in a positional relationship perpendicular to the closest point A. Thereby, the influence of noise of the depth image 141p can be eliminated.
  • FIG. 17A shows an example of a pallet having a corner drop portion.
  • FIG. 17B illustrates the closest point calculated when there is a corner drop portion. If the pallet 210 has the corner dropping portion 214, for example, when the point A1 is specified as the closest point in step S402, the point A2 may be calculated from the point A1.
  • the point A2 is, for example, a point where a straight line connecting two points on a concentric circle having a different radius equal to or larger than the width of the corner dropping portion 214 is interposed around the detected point A1. In this case, the calculated point A2 may be set as the closest point A.
  • the points may be further traced. That is, if the distance between the discontinued points is within a predetermined distance, the points may be regarded as being continuous. Thereby, even when data is missing in the depth information 141, erroneous recognition due to the effect of the missing data can be reduced.
  • the height may be sequentially evaluated in an arc shape.
  • a point at which the height changes is searched over a reference height such as the half height of the pallet.
  • the two points B 'and C' forming an angle closest to the right angle with the closest point A as the base point are regarded as portions on the left side AB and the right side AC, and the left end point B and the right end point C are searched for on the extension line. You may.
  • the accuracy of the depth information 141 is low and a straight line is detected as a curved line, it is possible to reduce erroneous recognition due to following a straight line at a distorted angle from the vicinity of the closest point A.
  • Points being searched for the left side AB and the right side AC are referred to as points B ′ and C ′, respectively.
  • points B ′ and C ′ are referred to as points B ′ and C ′, respectively.
  • the search may be continued on the assumption that the point is located at the height of the pallet. Thereby, even when the accuracy of the depth information is low or there is a missing data, it is possible to reduce the misidentification.
  • the second embodiment differs from the first embodiment in the method of estimating a pallet.
  • the closest point A, the left end point B, and the right end point C are detected by detecting a point at which the height calculated based on the three-dimensional coordinate information 142 is near the standard height.
  • the closest point A, the left end point B, and the right end point C are detected based on the planes in which the directions of the normal vectors are the same.
  • FIG. 18 shows the estimation of the width, depth and position of the pallet (details of step S4) in the second embodiment.
  • FIG. 19 schematically illustrates the pallet estimation according to FIG.
  • the pallet estimating unit 133 calculates a normal vector corresponding to each pixel in the depth image 141p based on the three-dimensional coordinate information 142, and detects a plane in which the calculated normal vector has the same direction (step S411). .
  • the pallet estimation unit 133 acquires the standard size information 143 by reading the standard size information 143 from the storage unit 140 (step S412).
  • the pallet estimating unit 133 extracts, from the detected surface, a region where the height h0 of the point from the floor is near the pallet height indicated by the standard dimension information 143 (step S413).
  • the extracted area corresponds to two straight lines.
  • the extracted linear region is estimated as the outline of the pallet 210.
  • the pallet estimation unit 133 specifies the closest point A, the left end point B, and the right end point C from the two extracted linear regions (step S414). For example, the pallet estimation unit 133 specifies the end of the left line as the left end point B, and specifies the end of the right line as the right end point C. The pallet estimation unit 133 specifies the intersection of the two lines as the closest point A.
  • step S415 and S416 The processing after specifying the closest point A, the left end point B, and the right end point C (steps S415 and S416) is the same as that of the first embodiment (steps S404 and S405 shown in FIG. 13).
  • the standard dimension information 143 includes the standard height of the pallet 210.
  • the control unit 130 calculates a normal vector of a point corresponding to each pixel in the depth image 141p based on the three-dimensional coordinate information 142.
  • the control unit 130 detects a surface in which the calculated normal vector has the same direction. Further, the control unit 130 calculates the height of each point based on the three-dimensional coordinates of each point and the plane equation of the floor surface.
  • the control unit 130 estimates a portion where the calculated height in the detected plane is near the standard height as the contour of the pallet 210. Thus, the contour of the pallet 210 can be accurately estimated.
  • the measurement is performed based on the depth information 141 obtained from the depth camera 120.
  • measurement is performed using color information obtained from a visible light camera in addition to the depth information 141.
  • FIG. 20 is a block diagram showing the configuration of the measuring device according to the third embodiment.
  • the measuring device 103 according to the third embodiment further includes a visible light camera 160 that generates color information in addition to the configuration of the first embodiment.
  • the visible light camera 160 includes an image sensor such as a CCD image sensor, a CMOS image sensor, or an NMOS image sensor.
  • the color information is, for example, a color image indicating an RGB value for each pixel.
  • the depth camera 120 and the visible light camera 160 may be separate cameras.
  • the depth camera 120 and the visible light camera 160 may be one camera that can acquire both the depth information and the color information.
  • FIG. 21 shows the operation of the control unit 130 of the measuring device 103 according to the third embodiment.
  • Step S21 of acquiring depth information 141 from depth camera 120, step S22 of generating three-dimensional coordinate information 142 from depth information 141, and step S28 of generating and outputting measuring information 144 are performed in the first embodiment (see FIG. 8).
  • the control unit 130 acquires color information from the visible light camera 160 (Step S23).
  • the color information includes an RGB value for each pixel specified by the two-dimensional coordinates.
  • the two-dimensional coordinates of the color information and the two-dimensional coordinates of the depth information are associated with each other according to the positions of the depth camera 120 and the visible light camera 160. For example, when the depth camera 120 and the visible light camera 160 are realized by one camera, the two-dimensional coordinates of the color information and the two-dimensional coordinates of the depth information are the same. That is, each pixel of the depth image and each pixel of the color image have the same coordinate value.
  • the control unit 130 detects a contour 230 of the object 200 as shown in FIG. 22 by performing image processing on a color image, for example, based on the color information (step S24).
  • the outline 230 is, for example, an outline representing the entire outer shape of the object 200 as shown in FIG.
  • the outline 230 may be an outline representing the respective outer shapes of the pallet and the load.
  • the control unit 130 refers to the contour 230 detected based on the color information in addition to the depth information 141 and the three-dimensional coordinate information 142, and estimates a floor surface (Step S25), a pallet (Step S26), and The height of the package is estimated (step S27).
  • a floor surface estimation step S25
  • pallet estimation step S26
  • baggage height estimation step S27
  • FIG. 23 shows the estimation of the floor surface (details of step S25).
  • the control unit 130 estimates a floor area based on the three-dimensional coordinate information 142 and the color information in an area 240 outside the outline 230 of the object 200 as shown in FIG. 22 (step S2501). For example, an area having an RGB value similar to the RGB value of the pixel on the lower side of the color image 145p within the area 240 outside the outline 230 is estimated as a floor area.
  • the estimation of the floor area based on the color information may be performed using machine learning.
  • the control unit 130 selects at least three points from the pixels in the estimated floor area (step S2502).
  • the calculation of the normal vector after selecting the point (step S2503) and the calculation of the constant d (step S2504) are the same as those in the first embodiment (steps S302 and S303).
  • FIG. 24 shows pallet estimation (details of step S26).
  • the control unit 130 calculates the dimensions of the pallet 210 based on the outline 230 of the object 200 and the three-dimensional coordinate information 142 (step S2601). For example, the control unit 130 estimates the lower side (the negative side in the Y-axis) of the outline 230 in the color image 145p as the outline of the pallet 210, and from both ends of the edge indicating the outline, the closest point A, the left end point B, and the right end Identify point C. The control unit 130 calculates the distance between AB and the distance between AC based on the specified three-dimensional coordinates of the closest point A, the left end point B, and the right end point C.
  • the area estimation of the pallet 210 based on the comparison between the calculated dimension and the standard dimension information 143 is the same as in the first embodiment.
  • the area estimation of the pallet 210 corresponds to the identification of the type of the pallet 210 based on the standard dimension information 143 (step S404) and the identification of the point D (step S405).
  • FIG. 25 shows the height estimation of the package (details of step S27).
  • the control unit 130 calculates the height of a point in the outline 230 of the object 200 based on the three-dimensional coordinate information 142 and the floor equation (step S2701).
  • the control unit 130 may estimate the upper side (the Y-axis positive direction side) of the outline 230 in the color image 145p as the outline of the package 220.
  • the control unit 130 determines the highest point among the calculated heights as the height of the highest point of the luggage from the floor (step S2702).
  • the measuring device 103 of the present embodiment further includes the visible light camera 160 that photographs the target object 200 and generates color information indicating a color image.
  • the control unit 130 estimates a floor area based on the color information, and calculates a plane equation of the floor from a point in the estimated floor area.
  • the control unit 130 extracts the contour of the pallet 210 by performing image processing on the color image.
  • the control unit 130 detects the contour of the baggage 220 by performing image processing on the color information, and within the detected contour, the height of the point calculated by the three-dimensional coordinate information 142 and the plane equation of the floor surface is the highest.
  • the high point is estimated as the height of the load 220.
  • the measuring device 104 of the fourth embodiment is different from the first embodiment in the estimation of the floor surface.
  • FIG. 26 is a block diagram showing the configuration of the measuring device according to the fourth embodiment.
  • the measuring device 104 of the fourth embodiment further includes an acceleration sensor 170 in addition to the configuration of the first embodiment.
  • the acceleration sensor 170 detects the gravitational acceleration of the measuring device 104 and generates gravitational acceleration information indicating the detected gravitational acceleration.
  • FIG. 27 illustrates the estimation of the floor surface in the fourth embodiment, that is, generation of a plane equation of the floor surface (details of step S3).
  • the control unit 130 acquires gravitational acceleration information from the acceleration sensor 170 (Step S341).
  • the control unit 130 estimates a vertically upward normal vector (a, b, c) based on the gravitational acceleration information (step S342).
  • the control unit 130 calculates the relative height of the point from the three-dimensional coordinate information 142 and the estimated normal vector (step S343).
  • the control unit 130 estimates the point having the lowest relative height as the floor surface and calculates a constant d (step S344). That is, in the present embodiment, the floor surface is estimated based on the point where the normal vector is in the direction opposite to the direction of gravity. Thus, even when the object 200 is photographed in a state where the measuring device 104 is inclined, the floor surface can be accurately estimated.
  • the measuring device 104 further includes the acceleration sensor 170 that detects the gravitational acceleration.
  • the control unit 130 calculates a floor plane equation based on the direction of the normal vector of the floor estimated based on the gravitational acceleration and the three-dimensional coordinate information 142. Thereby, even if the direction of the depth camera 120 is inclined in a direction that is horizontal or perpendicular to the ground, it is possible to accurately generate the floor equation.
  • FIG. 28 illustrates the estimation of the floor surface in the fifth embodiment, that is, generation of a plane equation of the floor surface (details of step S3).
  • the control unit 130 sets a provisional virtual normal (step S351).
  • the control unit 130 calculates a local normal vector based on the three-dimensional coordinate information 142 (Step S352).
  • the control unit 130 estimates a point having a virtual normal and a normal within a certain angle range as a horizontal plane (step S353).
  • the control unit 130 calculates the average of the estimated normal vectors in the horizontal plane as the normal vectors (a ', b', c ') (step S354).
  • the control unit 130 calculates the relative height of the point from the three-dimensional coordinate information 142 and the normal vector (a ′, b ′, c ′), and estimates an area where the relative height is lower than a predetermined value as the floor surface. (Step S355).
  • the control unit 130 calculates the average of the estimated normal vectors in the floor as floor normal vectors (a, b, c) (step S356).
  • the control unit 130 recalculates the height of the point from the three-dimensional coordinate information 142 and the normal vector (a, b, c) of the floor, and sets a constant d as an area where the height is lower than a predetermined value as the floor. It is calculated (step S357).
  • control unit 130 calculates the normal vector of the point corresponding to the pixel in the depth image 141p based on the three-dimensional coordinate information 142, and the calculated normal vector is fixed to a predetermined virtual normal vector.
  • a point having a normal vector within the angle range is estimated as a horizontal plane.
  • the control unit 130 estimates a floor area based on the estimated normal vector in the horizontal plane and the three-dimensional coordinate information, and calculates a plane equation of the floor from the estimated point in the floor area.
  • the normal vector is calculated from the entire depth image 141p without depending on the lower side vicinity area 31, even if the noise around the lower part of the depth image 141p is strong, the normal vector is calculated. It can be calculated with high accuracy.
  • the measuring device of the present embodiment is particularly effective when an approximate holding angle at the time of photographing can be estimated.
  • the first to fifth embodiments have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like are made as appropriate.
  • the depth camera 120 is built in the measuring device.
  • the depth camera 120 may not be built in the measuring device.
  • the measuring device may acquire the depth information 141 generated by the depth camera 120 via the communication unit 150.
  • the communication unit 150 corresponds to an acquisition unit that acquires the depth information 141.
  • the visible light camera 160 may not be built in the measuring device.
  • the acceleration sensor 170 may not be built in the measuring device.
  • the measuring device may acquire the color information and / or the gravitational acceleration information together with the depth information 141 via the communication unit 150.
  • the measuring device of the present disclosure can be realized by hardware resources, for example, cooperation with a processor, a memory, and a program.
  • the present disclosure is applicable to a measuring device and a measuring method for measuring the width and depth of a pallet and the height of a load while the load is placed on the pallet.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本開示にかかる採寸装置は、床面上にある荷台と荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸装置である。採寸装置は、基準位置から床面及び対象物までの距離を示す深度情報を取得する取得部と、荷台の規格サイズを示す規格寸法情報を記憶する記憶部と、深度情報と規格寸法情報とに基づいて、荷台を特定することによって、対象物の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成する制御部と、採寸情報を出力する出力部と、を備える。

Description

採寸装置及び採寸方法
　本開示は、対象物の寸法を計測する採寸装置及び採寸方法に関する。
　特許文献１は、荷台に置かれた貨物又は荷台付き貨物の寸法を測定する寸法測定装置を開示している。この寸法測定装置は、測定波を送信し、反射した測定波を受信して、距離画像を生成する。寸法測定装置は、貨物および荷台を含む貨物距離画像と、貨物および荷台を含まない背景距離画像とをそれぞれ生成する。寸法測定装置は、貨物距離画像と背景距離画像との差分に基づいて、貨物又は荷台付き貨物の形状を表す距離画像を生成している。これにより、寸法測定装置は、貨物又は荷台付き貨物の寸法を適切に測定することを可能にしている。
国際公開第２０１６／１９９３６６号
　本開示は、荷台と荷台の上に載置された荷物とを含む対象物を精度良く採寸する採寸装置及び採寸方法を提供する。
　本開示にかかる採寸装置は、床面上にある荷台と荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸装置である。採寸装置は、基準位置から床面及び対象物までの距離を示す深度情報を取得する取得部と、荷台の規格サイズを示す規格寸法情報を記憶する記憶部と、深度情報と規格寸法情報とに基づいて、荷台を特定することによって、対象物の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成する制御部と、採寸情報を出力する出力部と、を備える。
　これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
　本開示にかかる採寸方法は、床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する方法でる。採寸方法は、基準位置から床面及び対象物までの距離を示す深度情報を取得するステップ、荷台の規格サイズを示す規格寸法情報を取得するステップ、深度情報と規格寸法情報とに基づいて、荷台を特定することによって、対象物の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成するステップ、及び、採寸情報を出力部に出力するステップ、を含む。
　本開示における採寸装置及び採寸方法は、基準位置から床面上にある荷台と荷台の上に載置された荷物とを含む対象物までの距離を示す深度情報と、荷台の規格サイズを示す規格寸法情報とに基づいて、荷台を特定することによって、対象物の幅、奥行き、及び高さの寸法を計測する。これにより、荷台と荷台の上に載置された荷物とを含む対象物の外形を精度良く採寸することができる。
採寸装置の正面図 採寸装置の背面図 第１実施形態の採寸装置の電気的構成を示すブロック図 採寸装置によるパレット及び荷物の撮影を説明するための図 深度画像の一例を示す図 第１実施形態の採寸装置の機能的構成を示すブロック図 規格寸法情報の一例を示す図 第１実施形態の採寸装置の動作を示すフローチャート 採寸情報の一例を示す図 採寸情報の出力の一例を示す図 第１実施形態の床面方程式の生成動作を示すフローチャート 第１実施形態の深度画像の下辺近傍領域を説明するための図 第１実施形態のパレットの推定動作を示すフローチャート 第１実施形態のパレットの推定動作を説明するための図 第１実施形態の荷物の高さの推定動作を示すフローチャート 第１実施形態の荷物の高さの推定動作を説明するための図 第１の実施形態の角落とし部のあるパレットの一例を示す図 第１の実施形態の角落とし部がある場合の最近接点の算出を説明するための図 第２実施形態のパレットの推定動作を示すフローチャート 第２実施形態のパレットの推定動作を説明するための図 第３実施形態の採寸装置の構成を示すブロック図 第３実施形態の採寸装置の動作を示すフローチャート 第３実施形態の対象物の輪郭検出を説明するための図 第３実施形態の床面方程式の生成動作を示すフローチャート 第３実施形態のパレットの推定動作を示すフローチャート 第３実施形態の荷物の高さの推定動作を示すフローチャート 第４実施形態の採寸装置の構成を示すブロック図 第４実施形態の床面方程式の生成動作を示すフローチャート 第５実施形態の床面方程式の生成動作を示すフローチャート
　以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（本開示の基礎となった知見）
　物流などにおいて荷物を載せるための荷台としてパレットが利用されている。倉庫又はトラックにおいてパレットに載置された荷物が占有する領域は、パレットサイズを底面積とし、パレットとパレット上に載置された荷物の全体の高さを持つ寸法となる。よって、パレット上に載置された荷物の寸法だけでなく、パレットとパレット上に載置された荷物の全体の寸法計測が必要となる。パレットとパレット上に載置された荷物の全体を深度カメラで撮影するためには、パレットと荷物の全体が写るように離れた距離から撮影する必要がある。しかし、離れた距離から撮影すると、深度カメラから得られる深度情報においてノイズが増大し、深度情報の精度が低下する。特に、物流などで使用されるパレットにはすのこ状のものがあり、且つフォークリフト用の差込口がパレットに設けられている。また、パレット上の荷物には、多様な色、素材のものがある。例えば、赤外線アクティブステレオ方式を用いる場合、隙間、凹凸部や、黒い素材などで深度を検出しづらく、深度情報においてデータの抜けが発生し易い。よって、精度の良い深度情報が得られず、パレット及び荷物の寸法を精度良く計測することができなかった。
　本開示の採寸装置は、パレットの幅及び奥行きと、床面から荷物の最高点までの高さを精度良く採寸する。具体的には、本開示の採寸装置は、パレットと荷物を撮影して得られた深度情報と共に、パレットの規格サイズを示す規格寸法情報を使用する。物流などで用いられるパレットのサイズは、国又は地域などでいくつかの種類に規格化されている。よって、深度情報と共に規格寸法情報を使用することによって、パレットの種類を精度良く特定でき、パレットの幅及び奥行きと床面から荷物の最高点までの高さを精度良く採寸することが可能となる。これにより、深度情報の精度が良くない場合であっても、精度の良い採寸が可能となる。また、パレット上に載置された荷物がパレットの底面積より小さい場合であっても、パレットに載置された荷物が占有する領域を精度良く採寸することが可能となる。以下、本開示の採寸装置について詳細に説明する。
　（第１実施形態）
　以下、第１実施形態について、図面を参照しながら説明する。
　１．　採寸装置の構成
　図１から図７を参照して、本実施形態の採寸装置の構成について説明する。
　図１は、第１実施形態に係る採寸装置の正面図である。図２は、第１実施形態に係る採寸装置の背面図である。採寸装置１００は、例えば、タブレット型のパソコンである。採寸装置１００は、正面側にタッチスクリーン１１０を備え、背面側に深度カメラ１２０を備える。
　図３は、第１実施形態に係る採寸装置の電気的構成を示すブロック図である。採寸装置１００は、タッチスクリーン１１０及び深度カメラ１２０に加え、制御部１３０、記憶部１４０、及び通信部１５０を備える。
　タッチスクリーン１１０は、表示部１１１と操作部１１２とを含む。表示部１１１は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される。操作部１１２は、ユーザによる種々の操作を入力するユーザインタフェースである。本実施形態において、操作部１１２は、表示部１１１の表面に設けられたタッチパネルである。操作部１１２は、ユーザの指、又はペンなどのポインティングデバイスによるタッチ操作を検出する。操作部１１２は、例えば電極膜を含む。制御部１３０は、例えば、指やポインティングデバイスが操作部１１２に接触することによって生じる電圧の変化又は静電容量の変化を測定することによって、指やポインティングデバイスの接触位置を特定することができる。なお、操作部１１２は、タッチパネルの他に、キーボード、ボタン、スイッチ、又はこれらの組み合わせによって実現してもよい。
　深度カメラ１２０は、基準位置から被写体までの距離を示す深度情報を生成する。具体的には、深度カメラ１２０は、被写体までの距離を測定して、測定した距離を画素毎の深度値で示す深度画像を生成する。深度カメラ１２０は、例えば、赤外線アクティブステレオカメラである。本実施形態では、被写体は、床面、床面に置かれたパレット、パレット上に載置された荷物を含む。深度カメラ１２０は、アクティブステレオ方式及びＴＯＦ(Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）方式などの各種公知技術を実装することによって実現される。例えば、採寸装置１００は、２台の深度カメラ１２０を備えてもよく、この場合、２つの画像の視差に基づいて、距離が算出されてもよい。採寸装置１００は、１台の深度カメラ１２０を備えてもよく、この場合、照射した赤外線の光線が対象物に当たり、反射光が戻るまでにかかる時間から、距離が算出されてもよい。深度カメラ１２０は、基準位置から床面及び対象物までの距離を示す深度情報を取得する取得部に相当する。
　制御部１３０は、半導体素子などで実現可能である。制御部１３０は、例えば、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、又はＡＳＩＣ（Application Specific Integrated Circuit）で構成することができる。制御部１３０の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１３０は、記憶部１４０に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
　記憶部１４０は、採寸装置１００の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部１４０は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic RAM）、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
　通信部１５０は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ（Universal Serial Bus）、及びＨＤＭＩ（登録商標）である。
　図４は、採寸装置１００による対象物２００の撮影を模式的に示している。対象物２００は、床面上にあるパレット２１０と、パレット２１０の上に載置された荷物２２０を含む。深度カメラ１２０は、深度カメラ１２０の位置を基準位置として、深度カメラ１２０から対象物２００までの距離ｄ２００を測定して深度画像を生成する。
　採寸装置１００は、深度画像を参照して、対象物２００の幅Ｗ２００、奥行きＤ２００、及び高さＨ２００を算出する。対象物２００の幅Ｗ２００及び奥行きＤ２００は、パレット２１０の幅及び奥行きである。対象物２００の高さＨ２００は、床面からの荷物２２０の最高点の高さである。
　図５は、深度カメラ１２０が生成した深度画像１４１ｐの一例を示している。深度画像１４１ｐは、二次元座標（Ｘ，Ｙ）で特定される画素毎の深度値を表す。本実施形態では、対象物２００を採寸することを目的としているため、図４及び図５に示すように、深度画像１４１ｐにおいてパレット２１０の２つの辺の全長が写るように、深度カメラ１２０は対象物２００を斜め上の角度から撮影する。これにより、深度画像１４１ｐの少なくとも画面下側に床面が写り込む。
　図６は、採寸装置１００の機能的構成を示すブロック図である。制御部１３０は、機能的構成として、座標変換部１３１、床面推定部１３２、パレット推定部１３３、及び最高点推定部１３４を含む。
　深度カメラ１２０が生成した深度画像１４１ｐを示す深度情報１４１は、記憶部１４０に格納される。座標変換部１３１は、深度情報１４１の二次元座標及び深度値を、深度カメラ１２０を原点とする三次元座標に変換して、三次元座標情報１４２を生成する。
　床面推定部１３２は、深度情報１４１及び三次元座標情報１４２に基づいて、床面の領域を推定して、床面の平面方程式を生成する。以下、床面の平面方程式を「床面方程式」とも称する。
　記憶部１４０には、パレット２１０の規格サイズを示す規格寸法情報１４３が予め格納されている。
　パレット推定部１３３は、床面方程式、深度情報１４１、三次元座標情報１４２、及び規格寸法情報１４３に基づいて、パレット２１０の幅及び奥行きと位置を推定する。
　最高点推定部１３４は、床面方程式、パレット２１０の幅と奥行きと位置、及び三次元座標情報１４２に基づいて、床面から荷物の最高点までの高さを推定する。
　制御部１３０は、パレット推定部１３３により推定したパレット２１０の幅及び奥行きと、最高点推定部１３４により推定した荷物の高さとを含む採寸情報１４４を生成する。
　図７は、規格寸法情報１４３の一例を示している。規格寸法情報１４３は、１つ以上のパレットの規格サイズを含む。規格寸法情報１４３は、採寸しようとするパレットの規格サイズを含む。図７の例では、規格寸法情報１４３は、３種類のパレットの規格幅、規格奥行き、及び規格高さの寸法を含む。規格サイズは、国又は地域などで決められたものである。
　２．　採寸装置の動作
　図８から図１６を参照して、本実施形態の採寸装置１００の動作について説明する。
　２．１　全体の流れ
　図８は、採寸装置１００の制御部１３０の動作を示している。制御部１３０は、深度カメラ１２０から深度情報１４１を取得する（ステップＳ１）。深度情報１４１は、図５に示すような、二次元座標で特定される画素毎の深度値を含む深度画像１４１ｐを示す。
　座標変換部１３１は、深度情報１４１の二次元座標及び深度値を、深度カメラ１２０を原点とする三次元座標に変換して、三次元座標情報１４２を生成する（ステップＳ２）。これにより、深度値の情報を含む画素が三次元座標系の点に変換される。
　床面推定部１３２は、深度画像１４１ｐ内における床面を推定する（ステップＳ３）。具体的には、床面推定部１３２は、三次元座標情報１４２に基づいて床面の平面方程式を生成する。
　パレット推定部１３３は、深度画像１４１ｐに写っているパレット２１０の幅及び奥行きと、パレット２１０の位置を推定する（ステップＳ４）。
　最高点推定部１３４は、深度画像１４１ｐに写っている荷物２２０の最高点の高さを推定する（ステップＳ５）。
　制御部１３０は、ステップＳ４及びＳ５で推定したパレット２１０の幅及び奥行きと、荷物２２０の最高点の高さを含む採寸情報１４４を生成して出力する（ステップＳ６）。
　図９は、採寸情報１４４の一例を示している。図１０は、採寸情報１４４の出力の一例を示している。例えば、制御部１３０は、図９に示すような採寸情報１４４を記憶部１４０に格納してもよい。この場合、制御部１３０は、採寸情報１４４を記憶部１４０に出力する出力部に相当する。制御部１３０は、通信部１５０を介して、採寸情報１４４を外部機器などに出力してもよい。この場合、通信部１５０は、採寸情報１４４を外部に出力する出力部に相当する。制御部１３０は、図１０に示すように、対象物を含む直方体の枠４０１と共に、採寸情報１４４を表示部１１１に表示してもよい。この場合、表示部１１１は、採寸情報１４４を画面に出力する出力部に相当する。
　２．２　床面方程式の生成
　図１１及び図１２を参照して、床面方程式の生成について説明する。図１１は、床面の推定、すなわち、床面の平面方程式の生成（ステップＳ３の詳細）を示している。図１１に示す処理によって、床面の平面方程式「ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０」を生成する。図１２は、深度画像１４１ｐにおける下辺近傍領域３１を例示している。
　床面推定部１３２は、深度画像１４１ｐの下辺近傍領域３１を床面の領域であると推定して、下辺近傍領域３１内の画素から少なくとも３つの点を選択する（ステップＳ３０１）。下辺近傍領域３１は、例えば、深度画像１４１ｐの下辺寄りにある「２０×２０」画素の領域である。下辺近傍領域３１の大きさは、深度カメラ１２０の解像度に応じて変えてもよい。
　床面推定部１３２は、選択した３点の三次元座標に基づいて、床面の法線ベクトル（ａ，ｂ，ｃ）を算出する（ステップＳ３０２）。例えば、３点のうち２点を結ぶベクトルを２つ生成し、２つのベクトルの外積から法線ベクトルを算出する。このとき、下辺近傍領域３１内の異なる３つ以上の点から複数の法線ベクトルを算出してもよいし、複数の下辺近傍領域３１においてそれぞれ法線ベクトルを算出してもよい。この場合、算出した複数の法線ベクトルを平均化することによって、床面の法線ベクトルを決定してもよい。これにより、法線ベクトルの精度が向上する。
　床面推定部１３２は、下辺近傍領域３１内のいずれかの点、例えば、ステップＳ３０１で選択した点の三次元座標と、ステップＳ３０２で算出した法線ベクトルとに基づいて、床面の高さをゼロとして、床面の平面方程式の定数ｄを算出する（ステップＳ３０３）。一つの点によって定数ｄを決定してもよいし、下辺近傍領域３１内の複数の点から算出した定数ｄを平均化することによって、定数ｄを決定してもよい。平均化することによって、定数ｄの精度が向上する。
　２．３　パレットの推定
　図１３及び図１４を参照して、パレットの推定について説明する。図１３は、パレットの幅及び奥行きと位置の推定（ステップＳ４の詳細）を示している。図１４は、図１３によるパレットの推定を模式的に示している。
　パレット推定部１３３は、記憶部１４０から規格寸法情報１４３を読み出すことによって、規格寸法情報１４３を取得する（ステップＳ４０１）。
　パレット推定部１３３は、三次元座標情報１４２が示す点の中から、規格寸法情報１４３が示すパレットの高さ近傍の点を検出し、検出した点の中で深度カメラ１２０に最も近い最近接点Ａを特定する（ステップＳ４０２）。パレットの高さ近傍とは、「規格高さ×α（例えば、α＝０．８）」から規格高さまでの範囲に相当する。具体的には、パレットの高さ近傍とは、図４に示す桁板２１１及びデッキボード２１２の高さ付近を含む。例えば、図７に示すような高さ１４ｃｍのパレットの場合、高さが１２～１４ｃｍの点から最近接点Ａを探す。具体的には、三次元座標情報１４２と床面方程式とに基づいて各点の高さを算出する。床面方程式において法線ベクトルが式（１）を満たすように法線ベクトル（ａ，ｂ，ｃ）を算出すると、三次元座標（ｘ０，ｙ０，ｚ０）を有する点の床面からの高さｈ０は式（２）により求まる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　パレット推定部１３３は、式（２）により算出した床面からの高さｈ０が規格寸法情報１４３が示す高さの近傍となる複数の点の中から、深度情報１４１に基づいて深度値が最小となる点を最近接点Ａとして特定する。
　パレット推定部１３３は、最近接点Ａから規格寸法情報１４３が示すパレット高さ近傍で連続する点、すなわち、最近接点Ａと同じ高さの点を直線上に探し、探した点の両端を、パレット２１０の左端点Ｂ及び右端点Ｃとして特定する（ステップＳ４０３）。
　パレット推定部１３３は、ＡＢ間の距離とＡＣ間の距離を規格寸法情報１４３が示す幅及び奥行きと比較して、パレット２１０の種類を特定する（ステップＳ４０４）。例えば、三次元座標情報１４２に基づいてＡＢ間の距離とＡＣ間の距離をそれぞれ算出する。ＡＢ間の距離が「８０ｃｍ±α」（例えば、α＝９ｃｍ）の範囲内であり、ＡＣ間の距離が「１２０ｃｍ±β」（例えば、β＝９ｃｍ）の範囲内であれば、パレット２１０の種類は「パレットＩ」であると判定する。この判定結果に基づいて、パレット推定部１３３は、「ＡＢ＝８０ｃｍ」、「ＡＣ＝１２０ｃｍ」と推定する。これにより、図１４に示すような対象物２００の幅Ｗ２００及び奥行きＤ２００の寸法が決定される。
　パレットの種類が図７に示す３種類の場合、ＡＢ間の距離又はＡＣ間の距離が、６０，８０，１００，１２０のいずれかの近傍でない場合は、パレットが検出されなかったと判断して、以降の処理を停止する。辺ＡＢと辺ＡＣの成す角度と期待値（例えば、直角）との差が所定値以上であれば、パレットが検出されなかったと判断して、以降の処理を停止してもよい。これにより、誤認率を低減することができる。
　パレット推定部１３３は、特定したパレットの種類に基づいて、点Ｄの位置を特定して、パレット２１０の領域を推定する（ステップＳ４０５）。具体的には、最近接点Ａ、左端点Ｂ、及び右端点Ｃを含む平行四辺形が、パレット２１０の領域として推定される。これにより、三次元座標情報１４２内におけるパレット２１０の位置が推定される。
　２．４　荷物の高さ推定
　図１５及び図１６を参照して、荷物の高さ推定について説明する。図１５は、荷物の最高点の高さ推定（ステップＳ５の詳細）を示している。図１６は、図１５による荷物の高さ推定を模式的に示している。
　最高点推定部１３４は、推定したパレット２１０の領域を底面とする三次元空間４００内にある点の床面からの高さを算出する（ステップＳ５０１）。三次元空間４００は、辺ＡＢと床面の法線を含む平面Ｐ１と、辺ＣＤと床面の法線を含む平面Ｐ２と、辺ＡＣと床面の法線を含む平面Ｐ３と、辺ＢＤと床面の法線を含む平面Ｐ４を、側面とする空間である。例えば、最高点推定部１３４は、平面Ｐ１，Ｐ２，Ｐ３，Ｐ４の平面方程式を算出する。最高点推定部１３４は、平面Ｐ１と平面Ｐ２との間、且つ平面Ｐ３と平面Ｐ４との間に座標を持つ点を、パレット２１０上にある点とみなす。なお、三次元空間４００の底面領域を、推定したパレット２１０の領域よりも大きくしてもよい。これにより、深度情報１４１の誤差の影響を除去することが可能となる。各点の床面からの高さは、上述した式（２）により算出できる。
　最高点推定部１３４は、算出した高さの中で最も高い点を床面からの荷物の最高点の高さとして決定する（ステップＳ５０２）。これにより、荷物２２０の上面Ｔ２２０内の点の高さが、対象物２００の高さＨ２００として推定される。なお、三次元空間４００内において算出した高さの連続性を検証し、連続性がない点は最高点の決定から排除してもよい。これにより、深度情報１４１のノイズの影響を除去することができる。
　３．　効果及び補足
　本実施形態の採寸装置１００は、床面上にあるパレット２１０とパレット２１０の上に載置された荷物２２０とを含む対象物２００の外形の大きさを計測する。採寸装置１００は、基準位置から床面及び対象物２００までの距離を示す深度情報１４１を取得する取得部と、パレット２１０の規格サイズを示す規格寸法情報１４３を記憶する記憶部１４０と、深度情報１４１と規格寸法情報１４３とに基づいて、パレット２１０を特定することによって、対象物２００の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報１４４を生成する制御部１３０と、採寸情報１４４を出力する出力部と、を備える。
　深度情報１４１と規格寸法情報１４３の両方を用いるため、対象物２００を精度良く採寸することができる。
　取得部は、深度情報１４１として、床面及び対象物２００を撮影して、床面及び対象物２００までの距離を、画素毎の深度値で示す深度画像１４１ｐを生成する深度カメラ１２０を含む。
　出力部は、例えば、採寸情報１４４を画面に出力する表示部１１１である。出力部は、採寸情報１４４を記憶部１４０に出力する制御部１３０であってもよい。出力部は、採寸情報１４４を外部に出力する通信部１５０であってもよい。
　制御部１３０は、深度画像１４１ｐの各画素を三次元座標系の点に変換した三次元座標情報１４２を生成し、三次元座標情報１４２に基づいて床面の平面方程式を算出する。
　これにより、床面を基準とした点の高さを算出することが可能となる。
　制御部１３０は、深度画像１４１ｐ内の所定サイズの下辺近傍領域３１が床面の領域であると推定して、下辺近傍領域３１内の点から床面の平面方程式を算出する。画面下部に床が写るようにして撮影し、下辺近傍領域から平面方程式を算出することによって、床面方程式を算出できる。
　規格寸法情報１４３は、パレット２１０の規格高さを含む。制御部１３０は、各点の三次元座標と床面の平面方程式とに基づいて、各点の高さを算出し、算出した高さが規格高さ近傍となる点に基づいて、パレット２１０の輪郭を推定する。具体的には、最近接点Ａを検出し、最近接点Ａと同じ高さの点を直線上に探して、左端点Ｂ及び右端点Ｃを検出する。規格高さに基づいて輪郭である辺ＡＢ及び辺ＡＣを推定するため、精度良く輪郭を推定できる。
　規格寸法情報１４３は、パレット２１０の規格幅及び規格奥行きを含む。制御部１３０は、三次元座標情報１４２に基づいて、推定したパレット２１０の輪郭からパレット２１０の幅及び奥行きを算出し、算出した幅及び奥行きと規格幅及び規格奥行きとを比較して、パレット２１０の種類を特定してパレット２１０の幅及び奥行きを推定する。規格幅及び規格奥行きと比較することによって、対象物２００の幅及び奥行きを精度良く推定することができる。
　制御部１３０は、推定したパレット２１０を底面とする三次元空間内において、三次元座標情報１４２と床面の平面方程式とにより算出される点の高さが最も高い点を、荷物２２０の高さとして推定する。パレット２１０の位置が精度良く推定されることによって、荷物２２０が存在する三次元空間を精度良く特定できる。よって、最高点を精度良く推定することができる。
　本実施形態の採寸方法は、コンピュータの制御部１３０が床面上にあるパレット２１０とパレット２１０の上に載置された荷物２２０とを含む対象物２００の外形の大きさを計測する方法である。採寸方法は、基準位置から床面及び対象物２００までの距離を示す深度情報１４１を取得部から取得するステップＳ１、パレット２１０の規格サイズを示す規格寸法情報１４３を記憶部１４０から取得するステップＳ４０１、深度情報１４１と規格寸法情報１４３とに基づいて、パレット２１０を特定して、対象物２００の幅、奥行き、及び高さの寸法を計測して、計測した幅、奥行き、及び高さの寸法を示す採寸情報１４４を生成するステップＳ４～Ｓ６、及び採寸情報１４４を出力部に出力するステップＳ６を含む。深度情報１４１と規格寸法情報１４３の両方を用いるため、対象物２００を精度良く採寸することができる。
　本実施形態では、図１１のステップＳ３０１において、深度画像１４１ｐ内の、例えば「２０×２０」画素である下辺近傍領域３１が床面であると推定した。しかし、下辺近傍領域３１だけに限らず、下辺近傍領域３１よりも広い範囲を床面と推定してもよい。例えば、制御部１３０は、下辺近傍領域３１内の点と座標が連続している点を床面と推定してもよい。制御部１３０は、下辺近傍領域３１の周辺において下辺近傍領域３１と同一サイズの別の領域から法線ベクトルを算出し、別の領域の法線ベクトルの向きが下辺近傍領域３１内の法線ベクトルと類似している場合は、その別の領域も床面と推定してもよい。別の領域に対してさらに周辺の領域の法線ベクトルの向きを算出し、向きが類似している場合は、周辺の領域について床面と推定してもよい。このようにして、床面推定領域を広げてもよい。制御部１３０は、複数の点から算出される法線ベクトルの向きと各点の間の距離とに基づいて、床面の領域を推定してもよい。深度画像１４１ｐ内の全領域において法線ベクトルの向きと点の距離を判定し、法線ベクトルの向きと点の距離が近い点は同一の面であると判断してもよい。床面と推定した領域内の点から複数の法線ベクトルを算出して平均化することによって、床面の法線ベクトルを決定してもよい。
　図１３のステップＳ４０２の最近接点Ａの特定において、最近接点Ａの位置に図４に示すようなブロック２１３があるパレットの場合、最近接点Ａより低い位置にもパレットの部材が存在することを利用し、例えば、最近接点Ａと垂直な位置関係においてブロック２１３の高さを有する画素の存在を確認してもよい。これにより、深度画像１４１ｐのノイズの影響を排除することができる。
　図１７Ａは、角落とし部を有するパレットの一例を示している。図１７Ｂは、角落とし部がある場合に算出される最近接点を例示している。パレット２１０に角落とし部２１４がある場合に、ステップＳ４０２で、例えば点Ａ１が最近接点として特定されたとき、点Ａ１から点Ａ２を算出してもよい。点Ａ２は、例えば、検出した点Ａ１を中心とし、角落とし部２１４の幅以上の異なる半径を持つ同心円上の２点を結ぶ直線が交わる点である。この場合、算出した点Ａ２を最近接点Ａとしてもよい。
　図１３のステップＳ４０３の左端点Ｂ及び右端点Ｃの特定において、直線状に三次元座標を評価するときに、直線上に辿れない区間があっても、その区間が短距離であった場合は、暫定的に点が連続しているものとして、更に延長線上を辿ってもよい。すなわち、途切れた点の距離が所定の距離以内であれば、点が連続しているものと見なしてもよい。これにより、深度情報１４１にデータの欠落があった場合であっても、データ欠落の影響による誤認を低減することができる。
　検出対象とする全てのパレットの種類を想定し、図１７Ａに示すような差込口２１５のない部位、例えば、ブロック２１３などが存在する可能性のある全ての位置を、最近接点を基点とした円弧状に、順次高さを評価してもよい。パレットの高さの半値などの基準高を跨ぎ、高さの変化する点を探索する。これらのうち、最近接点Ａを基点に最も直角に近い角度を成す２点Ｂ’，Ｃ’を左辺ＡＢ及び右辺ＡＣ上の部位と見なし、その延長線上において左端点Ｂ及び右端点Ｃを探索してもよい。深度情報１４１の精度が低く、直線を曲線として検出した場合に、最近接点Ａの近傍から歪んだ角度で直線状に辿ることによる誤認を低減することができる。
　左辺ＡＢ及び右辺ＡＣの探索中の点をそれぞれ点Ｂ’及び点Ｃ’とし、線分ＡＢ’及び線分ＡＣ’の延長線上に加え、線分ＡＣ’と直交し最近接点Ａを通る直線上と、線分ＡＢ’と直交し最近接点Ａを通る直線上に点があるか否かを評価してもよい。このような点が検出された場合は、パレットの高さの位置に点があるとみなして探索を継続してもよい。これにより、深度情報の精度が低い場合又はデータの欠落があった場合であっても、誤認を低減することができる。
　（第２実施形態）
　第２実施形態は、パレットの推定方法が第１実施形態と異なる。第１実施形態では、三次元座標情報１４２に基づいて算出される高さが規格高さ近傍となる点を検出することによって、最近接点Ａ、左端点Ｂ及び右端点Ｃを検出した。本実施形態では、法線ベクトルの向きが同一となる面に基づいて、最近接点Ａ、左端点Ｂ及び右端点Ｃを検出する。
　図１８及び図１９を参照して、第２実施形態におけるパレットの推定について説明する。図１８は、第２実施形態における、パレットの幅及び奥行きと位置の推定（ステップＳ４の詳細）を示している。図１９は、図１８によるパレットの推定を模式的に示している。
　パレット推定部１３３は、深度画像１４１ｐ内の各画素に対応する法線ベクトルを三次元座標情報１４２に基づいて算出し、算出した法線ベクトルの向きが同一となる面を検出する（ステップＳ４１１）。
　パレット推定部１３３は、記憶部１４０から規格寸法情報１４３を読み出すことによって、規格寸法情報１４３を取得する（ステップＳ４１２）。
　パレット推定部１３３は、検出した面において、点の床面からの高さｈ０が規格寸法情報１４３が示すパレット高さ近傍となる領域を抽出する（ステップＳ４１３）。抽出した領域は２つの直線に相当する。抽出した直線状の領域が、パレット２１０の輪郭として推定される。
　パレット推定部１３３は、抽出した２つの直線状の領域から、最近接点Ａ、左端点Ｂ及び右端点Ｃを特定する（ステップＳ４１４）。例えば、パレット推定部１３３は、左側の線の端を左端点Ｂとして特定し、右側の線の端を右端点Ｃとして特定する。パレット推定部１３３は、２つの線の交点を最近接点Ａとして特定する。
　最近接点Ａ、左端点Ｂ、及び右端点Ｃを特定した後の処理（ステップＳ４１５及びステップＳ４１６）は第１実施形態（図１３に示すステップＳ４０４及びステップＳ４０５）と同一である。
　以上のように、規格寸法情報１４３は、パレット２１０の規格高さを含む。制御部１３０は、三次元座標情報１４２に基づいて深度画像１４１ｐ内の各画素に対応する点の法線ベクトルを算出する。制御部１３０は、算出した法線ベクトルの向きが同一方向となる面を検出する。さらに、制御部１３０は、各点の三次元座標と床面の平面方程式とに基づいて各点の高さを算出する。制御部１３０は、検出した面内において算出した高さが規格高さ近傍となる部分を、パレット２１０の輪郭と推定する。これにより、精度良く、パレット２１０の輪郭を推定することができる。
　（第３実施形態）
　第１及び第２実施形態では深度カメラ１２０から得られる深度情報１４１に基づいて採寸した。第３実施形態では、深度情報１４１に加え、可視光カメラから得られる色情報を使用して、採寸する。
　図２０は、第３実施形態に係る採寸装置の構成を示すブロック図である。第３実施形態の採寸装置１０３は、第１実施形態の構成に加え、色情報を生成する可視光カメラ１６０をさらに備える。可視光カメラ１６０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどの画像センサを備える。色情報は、例えば、画素毎のＲＧＢ値を示すカラー画像である。深度カメラ１２０と可視光カメラ１６０は、別個のカメラであってもよい。深度カメラ１２０と可視光カメラ１６０は、深度情報と色情報の両方を取得可能な１つのカメラであってもよい。
　図２１は、第３実施形態に係る採寸装置１０３の制御部１３０の動作を示している。深度カメラ１２０から深度情報１４１を取得するステップＳ２１、深度情報１４１から三次元座標情報１４２を生成するステップＳ２２、及び採寸情報１４４を生成して出力するステップＳ２８は、第１実施形態（図８に示すステップＳ１、ステップＳ２、ステップＳ６）と同一である。
　制御部１３０は、可視光カメラ１６０から色情報を取得する（ステップＳ２３）。色情報は、二次元座標で特定される画素毎のＲＧＢ値を含む。色情報の二次元座標と深度情報の二次元座標は、深度カメラ１２０と可視光カメラ１６０の位置に応じて対応付けられる。例えば、深度カメラ１２０と可視光カメラ１６０が一台のカメラで実現される場合は、色情報の二次元座標と深度情報の二次元座標は同一となる。すなわち、深度画像の各画素とカラー画像の各画素は、同一の座標値を有する。
　制御部１３０は、色情報に基づいて、例えば、カラー画像を画像処理することによって、図２２に示すような対象物２００の輪郭２３０を検出する（ステップＳ２４）。輪郭２３０は、例えば、図２２に示すような対象物２００の全体の外形を表す輪郭である。輪郭２３０は、パレットと荷物のそれぞれの外形を表す輪郭であってもよい。
　制御部１３０は、深度情報１４１及び三次元座標情報１４２に加えて、色情報に基づいて検出した輪郭２３０を参照して、床面の推定（ステップＳ２５）、パレットの推定（ステップＳ２６）、及び荷物の高さ推定（ステップＳ２７）を行う。以下、床面の推定（ステップＳ２５）、パレットの推定（ステップＳ２６）、及び荷物の高さ推定（ステップＳ２７）の詳細についてそれぞれ説明する。
　図２３は、床面の推定（ステップＳ２５の詳細）を示している。制御部１３０は、図２２に示すような対象物２００の輪郭２３０の外側の領域２４０において、三次元座標情報１４２と色情報に基づいて床面領域を推定する（ステップＳ２５０１）。例えば、輪郭２３０の外側の領域２４０内であって、カラー画像１４５ｐの下辺の画素のＲＧＢ値と類似するＲＧＢ値を持つ領域を床面領域と推定する。なお、色情報に基づく床面領域の推定は、機械学習を使用して行ってもよい。
　制御部１３０は、推定した床面領域内の画素から少なくとも３つの点を選択する（ステップＳ２５０２）。点を選択した後の法線ベクトルの算出（ステップＳ２５０３）と定数ｄの算出（ステップＳ２５０４）は、第１実施形態（ステップＳ３０２，Ｓ３０３）と同一である。
　図２４は、パレットの推定（ステップＳ２６の詳細）を示している。制御部１３０は、対象物２００の輪郭２３０と三次元座標情報１４２とに基づいて、パレット２１０の寸法を算出する（ステップＳ２６０１）。例えば、制御部１３０は、カラー画像１４５ｐにおける輪郭２３０の下側（Ｙ軸負方向側）をパレット２１０の輪郭と推定して、輪郭を示すエッジの両端から最近接点Ａ、左端点Ｂ、及び右端点Ｃを特定する。制御部１３０は、特定した最近接点Ａ、左端点Ｂ、及び右端点Ｃの三次元座標に基づいて、ＡＢ間の距離とＡＣ間の距離を算出する。
　算出した寸法と規格寸法情報１４３との比較に基づくパレット２１０の領域推定（ステップＳ２６０２）は、第１実施形態と同一である。例えば、パレット２１０の領域推定（ステップＳ２６０２）は、規格寸法情報１４３に基づくパレット２１０の種類の特定（ステップＳ４０４）及び点Ｄの特定（ステップＳ４０５）に相当する。
　図２５は、荷物の高さ推定（ステップＳ２７の詳細）を示している。制御部１３０は、対象物２００の輪郭２３０内の点の高さを、三次元座標情報１４２と床面方程式とに基づいて算出する（ステップＳ２７０１）。制御部１３０は、カラー画像１４５ｐにおける輪郭２３０の上側（Ｙ軸正方向側）を荷物２２０の輪郭と推定してもよい。制御部１３０は、算出した高さの中で最も高い点を床面からの荷物の最高点の高さとして決定する（ステップＳ２７０２）。
　以上のように、本実施形態の採寸装置１０３は、対象物２００を撮影してカラー画像を示す色情報を生成する可視光カメラ１６０をさらに備える。制御部１３０は、色情報に基づいて床面の領域を推定して、推定した床面の領域内の点から床面の平面方程式を算出する。制御部１３０は、カラー画像を画像処理することによりパレット２１０の輪郭を抽出する。制御部１３０は、カラー情報を画像処理することにより荷物２２０の輪郭を検出し、検出した輪郭の内側において、三次元座標情報１４２と床面の平面方程式とにより算出される点の高さが最も高い点を、荷物２２０の高さとして推定する。深度情報と色情報を併用することによって、採寸の精度がより良くなる。
　（第４実施形態）
　図２６及び図２７を参照して、第４実施形態の採寸装置について説明する。第４実施形態の採寸装置１０４は、床面の推定が第１実施形態と異なる。
　図２６は、第４実施形態に係る採寸装置の構成を示すブロック図である。第４実施形態の採寸装置１０４は、第１実施形態の構成に加え、加速度センサ１７０をさらに備える。加速度センサ１７０は、採寸装置１０４の重力加速度を検出して、検出した重力加速度を示す重力加速度情報を生成する。
　図２７は、第４実施形態における床面の推定、すなわち、床面の平面方程式の生成（ステップＳ３の詳細）を示している。制御部１３０は、加速度センサ１７０から重力加速度情報を取得する（ステップＳ３４１）。制御部１３０は、重力加速度情報に基づいて、垂直上向きの法線ベクトル（ａ，ｂ，ｃ）を推定する（ステップＳ３４２）。制御部１３０は、三次元座標情報１４２と推定した法線ベクトルから、点の相対高さを算出する（ステップＳ３４３）。制御部１３０は、相対高さが最も低い点を床面と推定して定数ｄを算出する（ステップＳ３４４）。すなわち、本実施形態では、法線ベクトルが重力の向きと反対方向となる点に基づいて床面を推定する。これにより、採寸装置１０４が傾いた状態で対象物２００が撮影されたときであっても、床面を精度良く推定することができる。
　以上のように、採寸装置１０４は、重力加速度を検出する加速度センサ１７０をさらに備える。制御部１３０は、重力加速度に基づいて推定される床面の法線ベクトルの向きと三次元座標情報１４２とに基づいて、床面の平面方程式を算出する。これにより、深度カメラ１２０の向きが、地面に対して水平又は垂直な方向に傾いていたとしても、精度良く床面方程式を生成することができる。
　（第５実施形態）
　図２８を参照して、第５実施形態の採寸装置について説明する。第５実施形態の採寸装置は、床面の推定が第１実施形態と異なる。第５実施形態の採寸装置の構成は、第１実施形態の採寸装置１００と同一である。図２８は、第５実施形態における床面の推定、すなわち、床面の平面方程式の生成（ステップＳ３の詳細）を示している。
　制御部１３０は、暫定的な仮想法線を設定する（ステップＳ３５１）。制御部１３０は、三次元座標情報１４２に基づいて局所的な法線ベクトルを算出する（ステップＳ３５２）。制御部１３０は、仮想法線と一定角度範囲内の法線を持つ点を水平面と推定する（ステップＳ３５３）。制御部１３０は、推定した水平面内の法線ベクトルの平均を法線ベクトル（ａ’，ｂ’，ｃ’）として算出する（ステップＳ３５４）。制御部１３０は、三次元座標情報１４２と法線ベクトル（ａ’，ｂ’，ｃ’）から点の相対高さを算出し、相対高さが所定値よりも低い領域を床面と推定する（ステップＳ３５５）。制御部１３０は、推定した床面内の法線ベクトルの平均を床面の法線ベクトル（ａ，ｂ，ｃ）として算出する（ステップＳ３５６）。制御部１３０は、三次元座標情報１４２と床面の法線ベクトル（ａ，ｂ，ｃ）から点の高さを再計算し、高さが所定値よりも低い領域を床面として定数ｄを算出する（ステップＳ３５７）。
　以上のように、制御部１３０は、三次元座標情報１４２に基づいて深度画像１４１ｐ内の画素に対応する点の法線ベクトルを算出し、算出した法線ベクトルが所定の仮想法線ベクトルと一定角度範囲内となる法線ベクトルを持つ点を水平面と推定する。制御部１３０は、推定した水平面内の法線ベクトルと三次元座標情報とに基づいて床面の領域を推定して、推定した床面の領域内の点から床面の平面方程式を算出する。
　本実施形態によれば、下辺近傍領域３１に依存せずに、深度画像１４１ｐ全体から法線ベクトルを算出するため、深度画像１４１ｐの下部周辺のノイズが強い場合であっても、法線ベクトルを精度良く算出することができる。本実施形態の採寸装置は、撮影時のおよその保持角度が推定可能な場合に特に有効である。
　（他の実施形態）
　以上のように、本出願において開示する技術の例示として、第１実施形態～第５実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記第１実施形態～第５実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　上記実施形態では、深度カメラ１２０が採寸装置に内蔵されたが、採寸装置に深度カメラ１２０が内蔵されていなくてもよい。採寸装置は、通信部１５０を介して、深度カメラ１２０が生成した深度情報１４１を取得してもよい。この場合、通信部１５０が深度情報１４１を取得する取得部に相当する。同様に、可視光カメラ１６０は、採寸装置に内蔵されていなくてもよい。加速度センサ１７０は、採寸装置に内蔵されていなくてもよい。採寸装置は、通信部１５０を介して、深度情報１４１と共に、色情報及び／又は重力加速度情報を取得してもよい。
　本開示の採寸装置は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
　以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、パレット上に荷物が載置された状態においてパレットの幅及び奥行きと荷物の高さを計測する採寸装置及び採寸方法に適用可能である。
　　　３１　　下辺近傍領域
　　１００，１０３，１０４　　採寸装置
　　１１０　　タッチスクリーン
　　１１１　　表示部
　　１１２　　操作部
　　１２０　　深度カメラ
　　１３０　　制御部
　　１３１　　座標変換部
　　１３２　　床面推定部
　　１３３　　パレット推定部
　　１３４　　最高点推定部
　　１４０　　記憶部
　　１４１　　深度情報
　　１４１ｐ　深度画像
　　１４２　　三次元座標情報
　　１４３　　規格寸法情報
　　１４４　　採寸情報
　　１４５ｐ　カラー画像
　　１５０　　通信部
　　１６０　　可視光カメラ
　　１７０　　加速度センサ
　　２００　　対象物
　　２１０　　パレット
　　２１１　　桁板
　　２１２　　デッキボード
　　２１３　　ブロック
　　２１４　　角落とし部
　　２１５　　差込口
　　２２０　　荷物
　　２３０　　輪郭
　　４００　　三次元空間
　　Ａ　　　　最近接点
　　Ａ１，Ａ２，Ｄ　　点
　　Ｂ　　　　左端点
　　Ｃ　　　　右端点

Claims (15)

  1. 　床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸装置であって、
    　基準位置から前記床面及び前記対象物までの距離を示す深度情報を取得する取得部と、
    　前記荷台の規格サイズを示す規格寸法情報を記憶する記憶部と、
    　前記深度情報と前記規格寸法情報とに基づいて、前記荷台を特定することによって、前記対象物の幅、奥行き、及び高さの寸法を計測して、前記計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成する制御部と、
    　前記採寸情報を出力する出力部と、
    　を備える、採寸装置。
  2. 　前記取得部は、前記深度情報として、前記床面及び前記対象物を撮影して、前記床面及び前記対象物までの距離を、画素毎の深度値で示す深度画像を生成する深度カメラを含む、
    　請求項１に記載の採寸装置。
  3. 　前記制御部は、前記深度画像の各画素を三次元座標系の点に変換した三次元座標情報を生成し、前記三次元座標情報に基づいて前記床面の平面方程式を算出する、
    　請求項２に記載の採寸装置。
  4. 　前記制御部は、前記深度画像内の所定サイズの下辺近傍領域が前記床面の領域であると推定して、前記下辺近傍領域内の点から前記床面の平面方程式を算出する、
    　請求項３に記載の採寸装置。
  5. 　前記制御部は、複数の点から算出される法線ベクトルの向きと前記複数の点の距離とに基づいて、前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
    　請求項３に記載の採寸装置。
  6. 　前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
    　前記制御部は、前記色情報に基づいて前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
    　請求項３に記載の採寸装置。
  7. 　重力加速度を検出する加速度センサをさらに備え、
    　前記制御部は、前記重力加速度に基づいて推定される前記床面の法線ベクトルの向きと前記三次元座標情報とに基づいて、前記床面の平面方程式を算出する、
    　請求項３に記載の採寸装置。
  8. 　前記制御部は、前記三次元座標情報に基づいて前記深度画像内の画素に対応する点の法線ベクトルを算出し、算出した法線ベクトルが所定の仮想法線ベクトルと一定角度範囲内となる法線ベクトルを持つ点を水平面と推定して、推定した前記水平面内の法線ベクトルと前記三次元座標情報とに基づいて前記床面の領域を推定して、推定した前記床面の領域内の点から前記床面の平面方程式を算出する、
    　請求項３に記載の採寸装置。
  9. 　前記規格寸法情報は、前記荷台の規格高さを含み、
    　前記制御部は、各点の三次元座標と前記床面の平面方程式とに基づいて、各点の高さを算出し、算出した高さが前記規格高さ近傍となる点に基づいて、前記荷台の輪郭を推定する、
    　請求項３に記載の採寸装置。
  10. 　前記規格寸法情報は、前記荷台の規格高さを含み、
    　前記制御部は、前記三次元座標情報に基づいて前記深度画像内の各画素に対応する点の法線ベクトルを算出し、算出した前記法線ベクトルの向きが同一方向となる面を検出すると共に、各点の三次元座標と前記床面の平面方程式とに基づいて各点の高さを算出し、検出した前記面内において算出した高さが前記規格高さ近傍となる部分を、前記荷台の輪郭と推定する、
    　請求項３に記載の採寸装置。
  11. 　前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
    　前記制御部は、前記カラー画像を画像処理することにより前記荷台の輪郭を抽出する、
    　請求項３に記載の採寸装置。
  12. 　前記規格寸法情報は、前記荷台の規格幅及び規格奥行きを含み、
    　前記制御部は、前記三次元座標情報に基づいて、推定した前記荷台の輪郭から前記荷台の幅及び奥行きを算出し、
    　前記算出した幅及び奥行きと前記規格幅及び規格奥行きとを比較して、前記荷台の種類を特定して前記荷台の幅及び奥行きを推定する、
    　請求項９から請求項１１のいずれか一つに記載の採寸装置。
  13. 　前記制御部は、前記推定した荷台を底面とする三次元空間内において、前記三次元座標情報と前記床面の平面方程式とにより算出される点の高さが最も高い点を、前記荷物の高さとして推定する、
    　請求項１２に記載の採寸装置。
  14. 　前記対象物を撮影してカラー画像を示す色情報を生成する可視光カメラをさらに備え、
    　前記制御部は、前記カラー画像を画像処理することにより前記荷物の輪郭を検出し、検出した輪郭の内側において、前記三次元座標情報と前記床面の平面方程式とにより算出される点の高さが最も高い点を、前記荷物の高さとして推定する、
    　請求項３に記載の採寸装置。
  15. 　床面上にある荷台と前記荷台の上に載置された荷物とを含む対象物の外形の大きさを計測する採寸方法であって、
    　基準位置から前記床面及び前記対象物までの距離を示す深度情報を取得するステップ、
    　前記荷台の規格サイズを示す規格寸法情報を取得するステップ、
    　前記深度情報と前記規格寸法情報とに基づいて、前記荷台を特定することによって、前記対象物の幅、奥行き、及び高さの寸法を計測して、前記計測した幅、奥行き、及び高さの寸法を示す採寸情報を生成するステップ、及び
    　前記採寸情報を出力するステップ、
    　を含む、採寸方法。
PCT/JP2019/036811 2018-09-28 2019-09-19 採寸装置及び採寸方法 WO2020066847A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980060844.6A CN112739975B (zh) 2018-09-28 2019-09-19 尺寸测量装置以及尺寸测量方法
JP2020548612A JP7249494B2 (ja) 2018-09-28 2019-09-19 採寸装置及び採寸方法
EP19865949.2A EP3859268B1 (en) 2018-09-28 2019-09-19 Measurement device and measurement method
US17/211,921 US20210207943A1 (en) 2018-09-28 2021-03-25 Measurement device and measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018185332 2018-09-28
JP2018-185332 2018-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/211,921 Continuation US20210207943A1 (en) 2018-09-28 2021-03-25 Measurement device and measurement method

Publications (1)

Publication Number Publication Date
WO2020066847A1 true WO2020066847A1 (ja) 2020-04-02

Family

ID=69949411

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036811 WO2020066847A1 (ja) 2018-09-28 2019-09-19 採寸装置及び採寸方法

Country Status (5)

Country Link
US (1) US20210207943A1 (ja)
EP (1) EP3859268B1 (ja)
JP (1) JP7249494B2 (ja)
CN (1) CN112739975B (ja)
WO (1) WO2020066847A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209667A1 (ja) * 2021-03-31 2022-10-06 パナソニックＩｐマネジメント株式会社 測定装置及び測定方法
WO2023277004A1 (ja) * 2021-06-29 2023-01-05 日本電気株式会社 容積測定装置、容積測定システム、容積測定方法及び記録媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090897A1 (ja) * 2018-11-01 2020-05-07 日本電気株式会社 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム
NL2022442B1 (nl) * 2019-01-24 2020-01-07 Lely Patent Nv Positiebepalingsinrichting
CN117179744A (zh) * 2023-08-30 2023-12-08 武汉星巡智能科技有限公司 非接触式婴幼儿身高测量方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014109464A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 物体測定装置、及び物体測定方法
WO2016199366A1 (ja) 2015-06-11 2016-12-15 パナソニックＩｐマネジメント株式会社 寸法測定装置および寸法測定方法
JP2016210586A (ja) * 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト
JP2017191605A (ja) * 2016-04-13 2017-10-19 ジック インクＳＩＣＫ Ｉｎｃ． 対象物体の寸法を計測するための方法及びシステム
JP2018054438A (ja) * 2016-09-28 2018-04-05 株式会社デンソー 検査装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103162620B (zh) * 2012-10-26 2015-05-13 苏州比特速浪电子科技有限公司 图像处理装置及图像处理方法
CN103389042A (zh) * 2013-07-11 2013-11-13 夏东 基于深度图像的地面自动检测以及场景高度计算的方法
US9785204B1 (en) * 2015-05-15 2017-10-10 Mobiledemand Lc Ruggedized mobile device with integrated wireless charging and snap mount
US10066982B2 (en) * 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
DE102015216595A1 (de) * 2015-08-31 2017-03-02 Lufthansa Cargo Ag Vorrichtung zur Optimierung der Volumenausnutzung in Logistikanwendungen
CN106839975B (zh) * 2015-12-03 2019-08-30 杭州海康威视数字技术股份有限公司 基于深度相机的体积测量方法及其系统
CN108413864B (zh) * 2017-02-10 2020-07-17 菜鸟智能物流控股有限公司 物体尺寸测量方法及相关设备
KR101815417B1 (ko) * 2017-03-28 2018-01-04 성균관대학교산학협력단 가상 높이를 이용한 피사체 위치 정보 획득 방법
US10328578B2 (en) * 2017-04-21 2019-06-25 X Development Llc Methods and systems for detecting, recognizing, and localizing pallets
CN108209926A (zh) * 2018-01-08 2018-06-29 西安科技大学 基于深度图像的人体身高测量系统
CN108550143A (zh) * 2018-04-03 2018-09-18 长安大学 一种基于rgb-d相机的车辆长宽高尺寸的测量方法
US10679367B2 (en) * 2018-08-13 2020-06-09 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using angular estimates

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014109464A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 物体測定装置、及び物体測定方法
JP2016210586A (ja) * 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト
WO2016199366A1 (ja) 2015-06-11 2016-12-15 パナソニックＩｐマネジメント株式会社 寸法測定装置および寸法測定方法
JP2017191605A (ja) * 2016-04-13 2017-10-19 ジック インクＳＩＣＫ Ｉｎｃ． 対象物体の寸法を計測するための方法及びシステム
JP2018054438A (ja) * 2016-09-28 2018-04-05 株式会社デンソー 検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3859268A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209667A1 (ja) * 2021-03-31 2022-10-06 パナソニックＩｐマネジメント株式会社 測定装置及び測定方法
WO2023277004A1 (ja) * 2021-06-29 2023-01-05 日本電気株式会社 容積測定装置、容積測定システム、容積測定方法及び記録媒体

Also Published As

Publication number Publication date
US20210207943A1 (en) 2021-07-08
JP7249494B2 (ja) 2023-03-31
JPWO2020066847A1 (ja) 2021-08-30
CN112739975B (zh) 2023-06-13
EP3859268A4 (en) 2021-11-10
EP3859268B1 (en) 2023-04-26
CN112739975A (zh) 2021-04-30
EP3859268A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
WO2020066847A1 (ja) 採寸装置及び採寸方法
US10880541B2 (en) Stereo correspondence and depth sensors
US20140153816A1 (en) Depth Map Stereo Correspondence Techniques
WO2017222677A1 (en) Depth image provision apparatus and method
JP7361251B2 (ja) 採寸装置及び採寸方法
EP3438602B1 (en) Dimension measurement apparatus and control method of the same
US20180150969A1 (en) Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method
CN110009673B (zh) 深度信息检测方法、装置及电子设备
JP2020060451A (ja) 荷室監視システム及び荷室監視方法
Boehm Accuracy investigation for structured-light based consumer 3D sensors
US11468609B2 (en) Methods and apparatus for generating point cloud histograms
Hashimoto et al. Multi-camera-based high precision measurement approach for surface acquisition
US20210350562A1 (en) Methods and apparatus for determining volumes of 3d images
US20180124381A1 (en) Structured-light-based three-dimensional scanning method, apparatus and system thereof
WO2022149315A1 (ja) 寸法測定装置および寸法測定方法
JP7369093B2 (ja) 距離計測システム、及び距離計測方法
KR101976495B1 (ko) 카메라 설치높이 측정을 위한 영상 분석 장치 및 방법
TWI637145B (zh) 基於結構光的三維掃描方法及其裝置與系統
JP6512852B2 (ja) 情報処理装置、情報処理方法
US20240013422A1 (en) Measurement device and measurement method
US20230035883A1 (en) Filling rate measurement method, information processing device, and recording medium
US20230213371A1 (en) Filling rate measurement method, information processing device, and recording medium
JP2023005398A (ja) 計測装置
Hashimoto et al. „Real-Time and High Precision 3D Shape Measurement Method”

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19865949

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548612

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019865949

Country of ref document: EP

Effective date: 20210428