WO2022209667A1 - 測定装置及び測定方法 - Google Patents

測定装置及び測定方法 Download PDF

Info

Publication number
WO2022209667A1
WO2022209667A1 PCT/JP2022/010325 JP2022010325W WO2022209667A1 WO 2022209667 A1 WO2022209667 A1 WO 2022209667A1 JP 2022010325 W JP2022010325 W JP 2022010325W WO 2022209667 A1 WO2022209667 A1 WO 2022209667A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate information
plane
area
specific region
measuring device
Prior art date
Application number
PCT/JP2022/010325
Other languages
English (en)
French (fr)
Inventor
健 初田
昌満 村瀬
陸 松本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023510777A priority Critical patent/JPWO2022209667A1/ja
Priority to CN202280025818.1A priority patent/CN117120801A/zh
Publication of WO2022209667A1 publication Critical patent/WO2022209667A1/ja
Priority to US18/372,068 priority patent/US20240013422A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to a measuring device and a measuring method.
  • Patent Document 1 discloses a device for detecting the position and orientation of a three-dimensional object.
  • Patent Document 1 captures an image of a planar object with one camera under three types of light sources of red, green, and blue, and from the image, the three-dimensional position and orientation of the object is detected.
  • an object of the present disclosure is to solve the above problems, and to provide a measuring device and a measuring method capable of measuring the protruding length of packages placed on a pallet.
  • a measuring device includes: an imaging unit for imaging an object including a pallet having a reference object and packages; an image processing unit that extracts a specific area of the reference object and an area of the baggage based on image data of the object captured by the imaging unit; Acquiring first coordinate information indicating 3D coordinates associated with the image data and standard packing structure information indicating structural dimensions of the standard packing of the pallet associated with the coordinates of the specific area, and acquiring the specific area a calculation unit for calculating a protruding length of the baggage protruding from the pallet based on the area of the baggage, the first coordinate information, and the standard packing structure information; with The image processing unit performs machine learning using image data of a palette having the reference object and data indicating the specific region of the reference object as training data in a first machine learning model. By inputting image data of the object imaged by the imaging unit as input data, output data obtained by extracting the specific region of the reference object is acquired.
  • the measurement method of one aspect of the present disclosure is imaging an object including a pallet with a reference object and a package; extracting a specific region in the reference object based on the captured image data of the object; extracting an area of the package based on image data of the captured object; obtaining first coordinate information indicating 3D coordinates associated with the image data and standard packing configuration information indicating structural dimensions of the standard packing configuration of the pallet associated with the coordinates of the specific area; a step of calculating a protruding length of the package protruding from the pallet based on the specific area, the area of the package, the first coordinate information, and the standard packing structure information; including
  • step of extracting the specific region in the reference object machine learning is performed using image data of a palette having the reference object and data indicating the specific region in the reference object as teacher data. inputting image data of the imaged object as input data to the first machine learning model, thereby obtaining output data extracted from the specific region of the reference object.
  • FIG. 1 is a schematic block diagram showing an example of a configuration of a measuring device according to Embodiment 1 of the present disclosure
  • FIG. It is a schematic diagram explaining an example of a palette. It is a schematic diagram explaining an example of imaging of an object including a pallet and packages by a measuring device. It is a schematic diagram showing an example of 3D coordinate information acquired by a measuring device.
  • 1 is a schematic block diagram showing an example of a functional configuration of a measuring device according to Embodiment 1 of the present disclosure
  • FIG. FIG. 5 is a schematic diagram illustrating an example of processing of an image processing unit using a first machine learning model; It is a schematic diagram explaining an example of a specific field.
  • FIG. 10 is a schematic plan view of the standard packing structure information of FIG. 9; It is a schematic diagram explaining an example of the calculation process of the protrusion length of the load by a calculation part. It is a schematic diagram explaining an example of the calculation process of the protrusion length of the load by a calculation part.
  • 4 is a flowchart of an example of a measurement method according to Embodiment 1 of the present disclosure; 8 is a flowchart illustrating an example of processing of a calculation unit; It is a schematic diagram explaining an example of an overflow plane.
  • FIG. 9 is a flow chart of an example of calculation processing of a plane equation of an overflow plane. It is the schematic explaining the 1st plane of a fixed form packing form.
  • FIG. 4 is a schematic diagram illustrating an example of calculation processing of reference points and vectors in a specific area;
  • a pallet is used as a loading platform for loading cargo in physical distribution or the like.
  • a plurality of pallets can be stacked in the horizontal and vertical directions by using, for example, post pallets having supports, and stacking the pallets in the vertical direction with the horizontal positions of the supports of the pallets aligned. This enables efficient placement of pallets in limited spaces such as trucks and warehouses.
  • the dimensions of the rectangular parallelepiped surrounding the target post pallet are the standard packing dimensions, and when the standard packing dimensions are arranged horizontally and vertically at intervals appropriate to the standard packing dimensions, long packages that exceed the standard packing dimensions are the standard packing dimensions.
  • a pallet placed so as to protrude from the packing size cannot be placed adjacent to the pallet due to the interference of the cargo, resulting in a decrease in loading efficiency.
  • the present inventors have found a configuration for easily measuring the protrusion length of a package by imaging an object including a pallet having a reference object and the package, and the present disclosure below. reached.
  • a measuring apparatus includes an imaging unit that images an object including a pallet and packages having a reference object; and an image processing unit that extracts a specific area and the area of the package, and first coordinate information indicating 3D coordinates associated with the image data and a standard packing form of the pallet associated with the coordinates of the specific area. Acquiring standardized packing structure information indicating structural dimensions, and calculating a protruding length of the package protruding from the pallet based on the specific area, the cargo area, the first coordinate information, and the standardized packing configuration information. and a calculation unit, wherein the image processing unit performs machine learning using image data of a palette having the reference object and data indicating the specific region in the reference object as teacher data. 1 By inputting the image data of the object imaged by the imaging unit into the machine learning model as input data, output data obtained by extracting the specific region of the reference object is acquired.
  • the reference object has a plurality of vertices defining the specific region, and the first machine learning model detects the plurality of vertices in the image data.
  • the first machine learning model may be KeyPointDetection using MaskR-CNN.
  • the reference object has at least one reference plane
  • the image processing unit extracts the specific region based on the at least one reference plane. good.
  • the at least one reference plane may be a plurality of reference planes, and the plurality of reference planes may be arranged on the same plane and separated from each other.
  • the pallet has a bottom plate and a plurality of pillars provided on the bottom plate, and the reference object is at least one pillar among the plurality of pillars. There may be.
  • the plurality of pillars are arranged along the outer edge of the bottom plate, the at least one pillar has a plane serving as a reference plane on the outer edge side of the bottom plate, and the The image processor may extract the specific region based on the plane.
  • the image processing unit performs machine learning using image data of the package placed on the pallet and data indicating the area of the package as teacher data.
  • image data of the object By inputting the image data of the object as input data to the 2 machine learning model, output data obtained by extracting the area of the package may be obtained.
  • the second machine learning model may be InstanceSegmentation using a MaskR-CNN model.
  • the imaging unit may acquire the image data of the object and the first coordinate information by imaging the object.
  • the calculator acquires second coordinate information indicating 3D coordinates of the specific region based on the specific region and the first coordinate information, third coordinate information indicating 3D coordinates of the standard packing defined by the specific area is obtained based on the coordinate information and the standard packing structure information; Fourth coordinate information indicating the 3D coordinates of the region of the baggage may be acquired, and the overhang length of the baggage may be calculated based on the third coordinate information and the fourth coordinate information.
  • the calculation unit acquires the third coordinate information including at least a plane equation of a protrusion plane serving as a reference for protrusion of the package in the standard packing form,
  • the protrusion length of the baggage may be calculated based on the plane equation and the fourth coordinate information.
  • the calculator calculates, based on the second coordinate information, the calculating a plane equation, calculating a plurality of reference points in the specific region and a vector calculated from the plurality of reference points based on the second coordinate information, and calculating a plane equation of the first plane;
  • a plane equation of the protrusion plane may be calculated based on at least one of the plurality of reference points, the vector, and the standard packing structure information.
  • the calculation unit acquires the third coordinate information including 3D coordinates of two planes facing each other in the standard packing form, and calculates the 3D coordinates of the two planes from the 2nd coordinate information.
  • a region sandwiched between two planes may be calculated, and the protruding length of the baggage may be calculated in the region sandwiched between the two planes.
  • the calculation unit processes, as the region of the cargo, an area in which the cargo protruding from the pallet exists continuously from the area of the standard packing form. good too.
  • the calculation unit may calculate a maximum protrusion length among the protrusion lengths of the baggage.
  • the measuring device of the seventeenth aspect of the present disclosure may further include an output unit that outputs the overhang length.
  • a measurement method comprises the steps of capturing an image of an object including a pallet and packages having a reference object; a step of extracting an area of the baggage based on image data of the imaged object; first coordinate information indicating 3D coordinates associated with the image data and the coordinates of the specific area; obtaining standard packing structure information indicating structural dimensions of the associated standard packing structure of the pallet; , and a step of calculating a protrusion length of the package protruding from the pallet, wherein the step of extracting the specific area in the reference object includes image data of the pallet having the reference object, and image data of the pallet having the reference object, and By inputting image data of the imaged object as input data into a first machine learning model in which machine learning is performed using data indicating the specific region and data indicating the specific region as teacher data, the obtaining output data that extracts a particular region.
  • the program of the 19th aspect of the present disclosure causes the measurement method of the above aspects to be executed.
  • FIG. 1 is a schematic block diagram showing an example of the configuration of a measuring device 1 according to Embodiment 1 of the present disclosure.
  • the measuring device 1 includes an imaging section 10 , a storage section 20 , a control section 30 and an output section 40 .
  • the measuring device 1 is a tablet computer.
  • the output unit 40 is not an essential component.
  • the imaging unit 10 acquires image data of the target object and 3D coordinate information associated with the image data by capturing an image of the target object.
  • the image data is color image data.
  • the 3D coordinate information associated with the image data is 3D coordinate information corresponding to each pixel of the image data.
  • “3D coordinate information associated with image data” may be referred to as "first coordinate information”.
  • the imaging unit 10 is, for example, a depth camera.
  • a depth camera measures the distance to an object and generates depth information that indicates the measured distance as a depth value for each pixel.
  • the depth camera may be an infrared active stereo camera, a LiDAR depth camera, or the like. Note that the imaging unit 10 is not limited to these depth cameras.
  • the storage unit 20 is a storage medium that stores programs and data necessary for realizing the functions of the measuring device 1 .
  • the storage unit 20 can be realized by a hard disk (HDD), SSD (Solid State Drive), RAM (Random Access Memory), DRAM (Dynamic RAM), ferroelectric memory, flash memory, magnetic disk, or a combination thereof. is.
  • the control unit 30 can be realized by a semiconductor element or the like.
  • the control unit 30 includes a microcomputer, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field Programmable Gate Array), or an ASIC ( Specific Integrated Circuit).
  • the functions of the control unit 30 may be configured only by hardware, or may be realized by combining hardware and software.
  • the control unit 30 reads the data and programs stored in the storage unit 20 and performs various arithmetic processing, thereby realizing predetermined functions.
  • the output unit 40 has a display unit that displays the arithmetic processing result of the control unit 30 .
  • the display section may be composed of a liquid crystal display or an organic EL display.
  • the output unit 40 may include a speaker or the like that emits sound.
  • FIG. 2 is a schematic diagram illustrating an example of the pallet 2.
  • the pallet 2 has a bottom plate 2a and a plurality of supports 2b provided on the bottom plate 2a.
  • the bottom plate 2a is formed of a rectangular plate member having a longitudinal direction and a lateral direction in plan view.
  • the plurality of posts 2b extend upward from the bottom plate 2a and are spaced apart from each other along the outer edge of the bottom plate 2a.
  • the pallet 2 has four pillars 2b. Specifically, two columns 2b are arranged at one end of the bottom plate 2a in the width direction, and two columns 2b are arranged at the other end of the bottom plate 2a in the width direction.
  • the two pillars 2b arranged at one end side of the bottom plate 2a in the width direction are arranged along the outer edge of the bottom plate 2a and are spaced apart from each other in the longitudinal direction of the bottom plate 2a.
  • the two pillars 2b arranged on the other end side of the bottom plate 2a in the short direction are arranged along the outer edge of the bottom plate 2a and are spaced apart from each other in the longitudinal direction of the bottom plate 2a.
  • the shape and dimensions of the plurality of struts 2b are substantially the same.
  • “substantially” means that the error is, for example, 5% or less.
  • "substantially” means an error of 1% or less.
  • a “reference object” is a reference object whose positional relationship is uniquely determined with respect to the standard packing style 4 of the pallet 2 .
  • the “standard packing style” is the standard appearance of the cargo placed on the pallet 2 during transportation.
  • the standard packing form 4 has a prescribed size that does not protrude from the pallet 2. - ⁇ For example, the standard packing form 4 is a rectangular parallelepiped and is determined by the width W1, depth D1 and height H1 of the pallet 2 .
  • the width W1 is the length of the bottom plate 2a in the longitudinal direction
  • the depth D1 is the length of the bottom plate 2a in the width direction
  • the height H1 is the total length of the thickness of the bottom plate 2a and the height of the pillars 2b. It is.
  • the width W1, the depth D1 and the height H1 are predetermined standard dimensions.
  • the reference object 3 has at least one reference plane 3a.
  • the reference object 3 has a plurality of reference planes 3a which are coplanar and spaced from each other.
  • the reference object 3 has two reference planes 3a provided on two support columns 2b arranged along the outer edge of one end side of the bottom plate 2a in the width direction.
  • the two reference planes 3a are arranged apart from each other on the same plane. That is, the two reference planes 3a are arranged on the outer edge side of one end in the short direction of the bottom plate 2a, and are arranged apart from each other in the longitudinal direction of the bottom plate 2a.
  • the support 2b is a quadrangular prism
  • the reference plane 3a has a rectangular shape with four vertices.
  • the reference object 3 is not limited to the two struts 2b arranged along the outer edge of the bottom plate 2a on one end side in the short direction.
  • the reference object 3 may be a part of an upper structure other than the pallet struts, or may be at least one strut out of the plurality of struts 2b, or a part thereof.
  • FIG. 3 is a schematic diagram illustrating an example of imaging of the object 6 including the pallet 2 and the package 5 by the measuring device 1.
  • the object 6 includes a pallet 2 and packages 5 placed on the pallet 2 .
  • the imaging unit 10 measures the distance d1 from the imaging unit 10 to the object 6 using the position of the imaging unit 10 as a reference position, and generates depth image data, thereby generating 3D coordinate information (first coordinate information). do.
  • FIG. 4 is a schematic diagram showing an example of 3D coordinate information (first coordinate information) acquired by the measuring device 1.
  • the 3D coordinate information is depth image data indicating a depth value for each pixel specified by 2D coordinates (X, Y).
  • the imaging unit 10 captures the object 6 so that the pallet 2 and the package 5 as a whole are captured as shown in FIGS. Take an image.
  • FIG. 5 is a schematic block diagram showing an example of the functional configuration of the measuring device 1 of Embodiment 1 according to the present disclosure.
  • the controller 30 has an image processor 31 and a calculator 32 .
  • the imaging unit 10 acquires image data 11 and first coordinate information 12, which is 3D coordinate information associated with the image data 11, by capturing an image of the object 6 including the pallet 2 and the package 5.
  • Image data 11 and first coordinate information 12 are stored in storage unit 20 .
  • the image processing unit 31 extracts a specific area in the reference object 3 based on the image data 11 of the object 6 captured by the imaging unit 10 . Specifically, the image processing unit 31 extracts a specific region in the reference object 3 using the first machine learning model 21 .
  • FIG. 6 is a schematic diagram illustrating an example of processing by the image processing unit 31 using the first machine learning model 21.
  • the image processing unit 31 inputs the image data 11 to the first machine learning model 21 as input data.
  • the first machine learning model 21 outputs data obtained by extracting a specific region R1 from the image data 11 .
  • the image processing unit 31 acquires data obtained by extracting the specific region R1 from the first machine learning model 21 .
  • the “data obtained by extracting the specific region R1” is, for example, data including coordinates representing pixels occupied by the specific region R1 in the image data 11 .
  • the specific region R1 is a 2D plane region included in the reference object 3.
  • the image processing section 31 extracts a specific region R1 based on at least one reference plane 3a.
  • the reference object 3 is two columns 2b arranged along the outer edge of the bottom plate 2a of the pallet 2 on one end side in the short direction of the bottom plate 2a.
  • the two pillars 2b have a plane serving as a reference plane 3a on the outer edge side of the bottom plate 2a.
  • the image processing unit 31 extracts a specific region R1 based on the plane. Specifically, the image processing unit 31 extracts the entire reference plane 3a as a specific region R1 in each of the two supports 2b (reference object 3) from the object 6 captured in the image data 11. there is That is, the image processing unit 31 detects two reference planes 3a from the object 6 shown in the image data 11, and extracts the detected two reference planes 3a as two specific regions R1.
  • the specific region R1 is not limited to the entire reference plane 3a.
  • the specific region R1 may be a part of the reference plane 3a instead of the entire reference plane 3a.
  • the specific region R1 may be a portion defined by a specific color, a specific pattern and/or a specific character on the reference plane 3a.
  • the first machine learning model 21 is stored in the storage unit 20.
  • machine learning is performed using the image data of the palette 2 having the reference object 3 and the data indicating the specific region R1 in the reference object 3 as teacher data.
  • "Data indicating the specific region R1 in the reference object 3" is data labeled with the specific region R1.
  • the data indicating the specific region R1 in the reference object 3 is data indicating the entire reference plane 3a of the reference object 3.
  • the first machine learning model 21 is KeyPoint Detection using MaskR-CNN.
  • KeyPointDetection is a technique for detecting a plurality of coordinate points from input image data. In this embodiment, by detecting the coordinate points of the vertices, the area demarcated from the coordinate points is extracted.
  • the first machine learning model 21 is not limited to KeyPoint Detection using MaskR-CNN.
  • the first machine learning model 21 may be, for example, DeepPose, InstanceSegmentation, or the like.
  • the reference object 3 has a reference plane 3a, ie, a plurality of vertices that define a specific region R1.
  • the first machine learning model 21 detects multiple vertices in the image data 11 and extracts a 2D area surrounded by the multiple detected vertices as a specific area R1.
  • FIG. 7 is a schematic diagram explaining an example of the specific region R1.
  • FIG. 7 shows an example of extracting a rectangular reference plane 3a as a specific region R1.
  • the reference object 3 has four vertices P1 to P4 that define a rectangular reference plane 3a.
  • data indicating four vertices P1 to P4 defining a rectangular reference plane 3a is used as "data indicating a specific region R1 in the reference object 3" of the teacher data.
  • the first machine learning model 21 detects the four vertices P1 to P4 that define the reference plane 3a, and the area surrounded by the detected four vertices P1 to P4 is extracted as a specific region R1.
  • first machine learning model 21 may be updated by further performing machine learning using the image data 11 captured by the imaging unit 10 as teacher data.
  • the image processing unit 31 extracts the area of the luggage 5 based on the image data 11 of the object 6 captured by the imaging unit 10 . Specifically, the image processing unit 31 uses the second machine learning model 22 to extract the area of the package 5 .
  • FIG. 8 is a schematic diagram illustrating an example of processing by the image processing unit 31 using the second machine learning model 22.
  • the image processing unit 31 inputs the image data 11 as input data to the second machine learning model 22 .
  • the second machine learning model 22 outputs data obtained by extracting the region R2 of the package 5 from the image data 11 .
  • the image processing unit 31 acquires data obtained by extracting the region R ⁇ b>2 of the package 5 from the second machine learning model 22 .
  • the “data obtained by extracting the region R2 of the package 5” is, for example, data including coordinates representing pixels occupied by the region R2 of the package 5 in the image data 11 .
  • the second machine learning model 22 is stored in the storage unit 20.
  • machine learning is performed using the image data 11 of the package 5 placed on the pallet 2 and the data indicating the region R2 of the package 5 as teacher data.
  • Data indicating the area R2 of the package 5" is data labeled with the area R2 of the package 5.
  • the second machine learning model 22 is InstanceSegmentation using the MaskR-CNN model. “InstanceSegmentation” is a technique for object class classification and object region extraction for each pixel.
  • the second machine learning model 22 is not limited to InstanceSegmentation using the MaskR-CNN model.
  • the second machine learning model 22 may be, for example, DeepMask, SemanticSegmentation, or the like.
  • the second machine learning model 22 may be updated by further performing machine learning using the image data 11 captured by the imaging unit 10 as teacher data.
  • the calculation unit 32 calculates the first coordinate information 12 indicating the 3D coordinates associated with the image data 11 and the structural dimensions of the standard packaging 4 of the pallet 2 associated with the coordinates of the specific region R1.
  • the standard packing structure information 23 shown is acquired. Further, the calculation unit 32 calculates the protrusion length L1 of the package 5 protruding from the pallet 2 based on the specific area R1, the area R2 of the package 5, the first coordinate information 12, and the standard packing structure information 23.
  • the first coordinate information 12 and the standard packing structure information 23 are stored in the storage unit 20.
  • the calculation unit 32 acquires the first coordinate information 12 and the standard packing structure information 23 from the storage unit 20 . Further, the calculation unit 32 acquires information on the specific region R1 and the region R2 of the package 5 from the image processing unit 31 .
  • the calculation unit 32 acquires 3D coordinate information of the specific region R1 based on the information of the specific region R1 acquired from the image processing unit 31 and the first coordinate information 12 .
  • the first coordinate information 12 is 3D coordinate information corresponding to the image data 11 . Therefore, the calculation unit 32 can easily acquire the 3D coordinates corresponding to the specific region R1 extracted from the image data 11 by the image processing unit 31 from the first coordinate information 12 .
  • the 3D coordinate information of the specific region R1 obtained based on the information of the specific region R1 obtained from the image processing unit 31 and the first coordinate information 12 may be referred to as “second coordinate information”. be.
  • the calculation unit 32 acquires 3D coordinate information of the standard packing 4 defined by the specific region R1 based on the 3D coordinates (second coordinate information) of the specific region R1 and the standard packing structure information 23. do.
  • the 3D coordinate information of the standard packing 4 acquired based on the second coordinate information and the standard packing structure information 23 may be referred to as "third coordinate information".
  • the standard packing structure information 23 is information indicating the structural dimensions of the standard packing 4 and the positional relationship between the specific region R1 and the standard packing 4.
  • FIG. 9 is a schematic diagram showing an example of the standard packing structure information 23.
  • FIG. 10 is a schematic plan view of the standard packing structure information 23 of FIG.
  • the standard packing structure information 23 includes information on the position (3D coordinates) of the specific region R1 and standard packing 4 associated with the position (3D coordinates) of the specific region R1. and the structural dimensions (width W1, depth D1 and height H1) of the .
  • the standard packing structure information 23 may include relative position information of at least one side of the six sides forming the standard packing 4 with respect to the plane located on the specific region R1 side. Specifically, the standard packing structure information 23 includes relative position information of at least the surface for calculating the protrusion length L1 of the package 5 with respect to the surface located on the specific region R1 side in the standard packing style 4. I wish I could.
  • the standard packing style structure information 23 includes the standard packing style with respect to the surface (front surface) located on the side of the specific region R1. 4 may include relative position information for the right plane. Alternatively, the standard packing structure information 23 may include relative position information for left side, front/back, and/or top/bottom.
  • the third coordinate information is 3D coordinate information of the standard packing 4 acquired based on the second coordinate information and the standard packing structure information 23, and is the 3D coordinates of at least one of the six planes of the standard packing 4. It should contain information. Specifically, the third coordinate information should include at least 3D coordinate information of the surface for calculating the protrusion length L1 of the package 5 in the standard packing form 4 . For example, when calculating the protrusion length L1 of the package 5 from the right plane of the standard packing 4, the third coordinate information may include 3D coordinate information of the right plane of the regular packing 4.
  • the third coordinate information may include 3D coordinate information on the two planes on the right and left sides of the standard packing form 4. good.
  • the third coordinate information may include 3D coordinate information of six planes of the standard packing 4 .
  • the calculation unit 32 acquires 3D coordinate information of the area R2 of the package 5 based on the information of the area R2 of the package 5 acquired from the image processing unit 31 and the first coordinate information 12 .
  • the first coordinate information 12 is 3D coordinate information corresponding to the image data 11 . Therefore, the calculation unit 32 can easily obtain the 3D coordinates of the region R2 of the package 5 extracted from the image data 11 by the image processing unit 31 from the first coordinate information 12 .
  • the 3D coordinate information of the area R2 of the package 5 obtained based on the information of the area R2 of the package 5 obtained from the image processing unit 31 and the first coordinate information 12 is referred to as "fourth coordinate information". Sometimes.
  • the calculation unit 32 calculates the protrusion length L1 of the package 5 based on the 3D coordinate information (third coordinate information) of the standard package 4 and the 3D coordinate information (fourth coordinate information) of the area R2 of the package 5. calculate.
  • the calculation unit 32 calculates the protrusion length L1 for each pixel of the region R2 of the package 5.
  • 11 and 12 are schematic diagrams illustrating an example of calculation processing of the protrusion length L1 of the package 5 by the calculator 32.
  • FIG. FIG. 11 is a 3D image diagram
  • FIG. 12 is a 2D image diagram.
  • FIGS. 11 and 12 for ease of explanation, attention is focused on the package 5 protruding to the right side of the pallet 2 .
  • a protrusion area R3 of the load 5 protruding from the standard packing form 4 is shown.
  • the calculation unit 32 calculates the length (protrusion length) of the protruding region R3 of the parcel 5 protruding from the standard packing form 4 in the parcel 5 region R2.
  • the calculation unit 32 calculates the maximum protrusion length Lmax among the protrusion lengths L1. That is, the calculation unit 32 calculates the maximum protrusion length Lmax of the most protruding portion of the protrusion length L1 of the package 5 protruding from the standard packing form 4 . Note that the maximum protrusion length Lmax and/or the protrusion length L1 calculated by the calculation unit 32 are stored in the storage unit 20 . The calculation unit 32 transmits information on the maximum protrusion length Lmax to the output unit 40 .
  • the output unit 40 acquires information on the maximum protrusion length Lmax from the calculation unit 32 and outputs information on the maximum protrusion length Lmax.
  • FIG. 13 is a flowchart of an example of a measurement method according to Embodiment 1 of the present disclosure. Each process of the flow chart of the measuring method shown in FIG. 13 is performed by the measuring device 1 . As shown in FIG. 13, the measurement method includes steps ST1 to ST6.
  • step ST1 the imaging unit 10 images the object 6 including the pallet 2 having the reference object 3 and the package 5.
  • image data 11 is a color image of the object 6, and first coordinate information 12 (see FIG. 4) indicating 3D coordinates associated with the image data 11. and get The acquired image data 11 and first coordinate information 12 are stored in the storage unit 20 .
  • step ST2 the image processing unit 31 extracts a specific region R1 in the reference object 3 based on the image data 11 of the imaged object 6.
  • the image processing unit 31 inputs the image data 11 of the imaged object 6 to the first machine learning model 21 as input data, thereby obtaining output data extracted from the specific region R1 of the reference object 3. (See Figure 6).
  • the image processing unit 31 extracts the reference plane 3a of the reference object 3 as the specific region R1.
  • the reference objects 3 are the two columns 2b arranged on one end side of the bottom plate 2a in the short direction. They are two rectangular planes arranged on the outer edge side of one end in the width direction (see FIG. 2).
  • the first machine learning model 21 is KeyPointDetection using MaskR-CNN.
  • the first machine learning model 21 detects four vertices defining a rectangular reference plane 3 a on the reference object 3 .
  • the image processing unit 31 extracts a specific region R1 from the four vertices detected by the first machine learning model 21.
  • FIG. Information on the extracted specific region R ⁇ b>1 is transmitted to the calculator 32 .
  • step ST3 the image processing unit 31 extracts the area R2 of the package 5 based on the image data 11 of the imaged object 6.
  • the image processing unit 31 inputs the image data 11 of the imaged object 6 to the second machine learning model 22 as input data, thereby obtaining output data extracted from the region R2 of the package 5 (see FIG. 8). ).
  • the second machine learning model 22 is InstanceSegmentation using the MaskR-CNN model.
  • the second machine learning model 22 extracts the region R2 of the package 5 when the image data 11 is input. Information on the extracted region R2 of the parcel 5 is transmitted to the calculator 32 .
  • the calculation unit 32 acquires the first coordinate information 12 and the standard packing structure information 23 (see FIGS. 9 and 10).
  • the first coordinate information 12 is information indicating the 3D coordinates associated with the image data 11
  • the standard packing structure information 23 is the standard packing 4 of the pallet 2 associated with the position (3D coordinates) of the specific region R1. This is information indicating structural dimensions.
  • the first coordinate information 12 is acquired by the imaging section 10 and stored in the storage section 20 . Further, the standard packing structure information 23 is stored in the storage unit 20 in advance. Therefore, the calculation unit 32 acquires the first coordinate information 12 and the standard packing structure information 23 from the storage unit 20 .
  • step ST5 the calculation unit 32 calculates the protruding length L1 of the baggage 5 protruding from the pallet 2 based on the specific area R1, the area R2 of the baggage 5, the first coordinate information 12, and the standard packing structure information 23 (Fig. 11 and FIG. 12).
  • the calculation unit 32 transmits to the output unit 40 information on the maximum protrusion length Lmax among the calculated protrusion lengths L1.
  • the output unit 40 outputs the maximum protrusion length Lmax.
  • the measuring device 1 can measure the protruding length of the package 5 from the pallet 2 by performing steps ST1 to ST6.
  • step ST6 is not an essential component. For example, if the measuring device 1 does not have the output unit 40, the measuring method does not have to include step ST6.
  • FIG. 14 is a flowchart illustrating an example of processing of the calculation unit 32. As illustrated in FIG. As shown in FIG. 14, the calculation unit 32 performs steps ST11 to ST14 in the process of calculating the protrusion length L1 (step ST5).
  • step ST11 the calculation unit 32 acquires second coordinate information indicating the 3D coordinates of the specific region R1 based on the specific region R1 and the first coordinate information 12. Specifically, the calculation unit 32 calculates the 3D coordinates (second coordinates information).
  • the first coordinate information 12 is 3D coordinate information corresponding to the image data 11 (see FIG. 4).
  • the calculator 32 acquires the 3D coordinates corresponding to the extracted specific region R1 from the first coordinate information 12 .
  • step ST12 the calculation unit 32 acquires third coordinate information indicating the 3D coordinates of the standard packing 4 defined by the specific region R1 based on the second coordinate information and the standard packing structure information 23. Specifically, the calculation unit 32 calculates the standard packing configuration 4 defined by the specific region R1 based on the second coordinate information acquired in step ST11 and the standard packing configuration information 23 acquired in step ST4. 3D coordinates (third coordinate information) are acquired.
  • the standard packing structure information 23 is information indicating the structural dimensions of the standard packing 4 and the positional relationship between the specific area R1 and the standard packing 4, and is information on the coordinates of the specific area R1 and the information on the coordinates of the specific area R1. and information on the structural dimensions of the standard packaging 4 associated with the coordinates of R1 (see FIGS. 9 and 10).
  • the calculator 32 determines the 3D coordinates of the standard packaging 4 based on the 3D coordinates of the specific region R1.
  • the third coordinate information is information on the 3D coordinates of the protrusion plane that serves as a reference for protrusion of the baggage 5 in the standard packing style 4 .
  • the protrusion plane PL0 is at least one plane determined from the six planes of the standard packing form 4, and is determined in advance. For example, when calculating the protrusion length L1 of the baggage 5 from the right plane of the standard packing form 4, the right plane of the regular packing form 4 is predetermined as the protrusion plane PL0.
  • the 3D coordinate information of the overflow plane PL0 can be calculated by, for example, a plane equation. The plane equation will be described later.
  • step ST13 the calculation unit 32 acquires fourth coordinate information indicating the 3D coordinates of the area R2 of the package 5 based on the area R2 of the package 5 and the first coordinate information 12. Specifically, the calculation unit 32 calculates the 3D coordinates (first 4 coordinate information) is calculated.
  • the first coordinate information 12 is 3D coordinate information corresponding to the image data 11 (see FIG. 4).
  • the calculation unit 32 acquires the 3D coordinates corresponding to the extracted region R2 of the package 5 from the first coordinate information 12 .
  • the calculation unit 32 calculates the protrusion length L1 of the baggage 5 based on the third coordinate information and the fourth coordinate information. Specifically, the calculation unit 32 calculates the third coordinate information indicating the 3D coordinates of the standard packing form 4 acquired in step ST12, and the fourth coordinate information indicating the 3D coordinates of the region R2 of the package 5 acquired in step ST13. , the protrusion length L1 of the baggage 5 is calculated. Specifically, the calculation unit 32 calculates the protrusion length L1 of the package 5 based on the plane equation (third coordinate information) and the fourth coordinate information of the protrusion plane PL0 that serves as a reference for the protrusion of the package 5 in the standard packing form 4. Calculate
  • FIG. 15 is a schematic diagram illustrating an example of the overflow plane PL0. Note that FIG. 15 shows an example in which the plane on the right side of the standard packing form 4 is the protruding plane PL0. In the example shown in FIG. 15, the plane on the right side of the standard packing style 4 is predetermined as the protrusion plane PL0.
  • FIG. 16 is a flowchart of an example of processing for calculating the plane equation of the protrusion plane PL0.
  • the process of calculating the plane equation of the overflow plane PL0 includes steps ST21 to ST23. Steps ST21 to ST23 are executed by the calculator 32.
  • FIG. 16 is a flowchart of an example of processing for calculating the plane equation of the protrusion plane PL0.
  • the process of calculating the plane equation of the overflow plane PL0 includes steps ST21 to ST23. Steps ST21 to ST23 are executed by the calculator 32.
  • step ST21 the calculation unit 32 calculates the plane equation of the first plane of the standard packing form 4 on which the reference object 3 including the specific region R1 is placed, based on the second coordinate information.
  • FIG. 17 is a schematic diagram illustrating the first plane PL1 of the standard packing style 4. As shown in FIG. In the example of FIG. 17, the first plane PL1 is the plane on which the reference object 3 including the specific region R1 in the standard packing style 4 is arranged. In the example shown in FIG. 17 , the plane on which the reference object 3 is arranged is the plane on the front side of the standard packing style 4 .
  • the second coordinate information is information indicating the 3D coordinates of two specific regions R1 spaced apart on the same plane.
  • the calculator 32 estimates the plane equation of the first plane PL1 based on the 3D coordinates of the two specific regions R1.
  • the plane equation of the specific region R1 can be calculated by the least squares method, the RANSAC method, or the like as a 3D point group existing at the 3D coordinates of the two specific regions R1.
  • the effects of 3D coordinate acquisition errors and noise can be reduced.
  • the calculation unit 32 calculates a plurality of reference points in the specific region R1 and a vector calculated from the plurality of reference points based on the second coordinate information.
  • the calculator 32 obtains the position and orientation of the specific region R1 by calculating a plurality of reference points and vectors. Specifically, the calculator 32 calculates a line segment (a plurality of reference points and a vector) passing through the center of the specific region R1.
  • FIG. 18 is a schematic diagram illustrating an example of calculation processing of the reference points P5 and P6 and the vector (line segment V1) in the specific region R1.
  • FIG. 18 shows the right post 2b, which is the reference object 3 of FIG.
  • the calculator 32 calculates reference points P5 and P6 at the lower end and upper end of the specific region R1, respectively.
  • the calculator 32 can easily calculate the reference point from the 2D coordinates of the four vertices P1 to P4. Specifically, the calculator 32 calculates the midpoint of the lower side of the specific region R1 as the reference point P5, and the midpoint of the upper side of the specific region R1 as the reference point P6.
  • the lower side of the specific region R1 is a line segment connecting the vertices P2 and P3, and the upper side of the specific region R1 is a line segment connecting the vertices P1 and P4.
  • the calculator 32 calculates a vector from the reference point P5 to the reference point P6, that is, the line segment V1.
  • the present invention is not limited to this.
  • the line segment V1 may be a line segment passing through the centers of the specific regions R1 of the two struts 2b.
  • step ST23 the calculator 32 calculates the plane equation (third coordinate information) of the overflow plane PL0 based on the plane equation of the first plane PL1, the reference point P5, the vector (line segment V1), and the standard packing structure information 23. do.
  • steps ST21 and ST22 the information (plane equation) of the first plane PL1 of the standard packing style 4 and the line segment V1 (reference point P5 and vector) of the specific region R1 are obtained.
  • the calculator 32 uses this information and the positional relationship information included in the standard packing structure information 23 to calculate the plane equation (third coordinate information) of the protrusion plane PL0.
  • FIG. 19 is a schematic diagram illustrating an example of calculation of the protrusion plane PL0.
  • the calculation unit 32 calculates a virtual plane VPL1 having a line of intersection that is a straight line orthogonal to the first plane PL1 and extending the line segment V1.
  • the calculation unit 32 acquires the distance L2 between the line segment V1 and the plane on the right side of the standard packing form 4 from the structural dimensions included in the standard packing form information 23 .
  • the calculator 32 calculates the plane equation of the protruding plane PL0 by translating the virtual plane VPL1 rightward by a distance L2. Note that the distance L2 is a distance uniquely determined by the standard packing structure information 23 .
  • the protrusion length L1 of the load 5 from the protrusion plane PL0 is obtained by the following formula.
  • the maximum protrusion length Lmax of the calculated protrusion lengths L1 is output.
  • FIG. 20 is a flowchart illustrating an example of processing for calculating the maximum protrusion length Lmax of the package 5.
  • the calculator 32 performs steps ST31 to ST37 in order to calculate the maximum protrusion length Lmax of the baggage 5.
  • steps ST31 to ST37 in order to calculate the maximum protrusion length Lmax of the baggage 5.
  • the calculation unit 32 initializes the maximum protrusion length Lmax to "0".
  • step ST33 the calculation unit 32 acquires the 3D coordinates (x, y, z) of one pixel in the region R2 of the package 5. Specifically, the calculation unit 32 acquires the 3D coordinates (x, y, z) of one pixel of the region R2 of the package 5 based on the fourth coordinate information indicating the 3D coordinate information of the region R2 of the package 5. .
  • step ST34 the calculation unit 32 calculates the protrusion length L1 based on the calculation formula f(x, y, z) of the protrusion length L1 and the 3D coordinates (x, y, z) of one pixel in the area R2 of the baggage 5. do.
  • the calculation unit 32 determines whether or not the calculated protrusion length L1 is greater than the maximum protrusion length Lmax.
  • the maximum protrusion length Lmax is stored in the storage section 20 .
  • the maximum protrusion length Lmax is "0" because the maximum protrusion length Lmax is initialized in step ST31.
  • step ST35 if the calculated protrusion length L1 is greater than the maximum protrusion length Lmax (Yes at step ST35), the process proceeds to step ST36. If the calculated protrusion length L1 is equal to or less than the maximum protrusion length Lmax (No in step ST35), the process proceeds to step ST37.
  • the calculation unit 32 sets the calculated protrusion length L1 to the maximum protrusion length Lmax.
  • step ST37 the calculation unit 32 determines whether or not all the pixels in the luggage area R2 have been processed. At step ST37, if all the pixels in the luggage area R2 have been processed (Yes at step ST37), the process ends. If all the pixels in the luggage area R2 have not been processed (No in step ST37), the process returns to step ST33.
  • the calculation process shown in FIG. 20 is an example, and the calculation process of the maximum protrusion length Lmax of the package 5 is not limited to this.
  • the calculation unit 32 calculates the protrusion length L1 for all pixels in the area R2 of the package 5, and stores the protrusion length L1 for each pixel in the storage unit 20.
  • the calculation unit 32 detects the largest value among the calculated protrusion lengths L1, and defines the detected value as the maximum protrusion length Lmax. may be calculated as
  • the imaging unit 10 captures an image of the object 6, another package that is not placed on the pallet 2 may be imaged, and the image data 11 may include a package that is not subject to measurement of the protrusion length L1.
  • the image processing unit 31 may also extract a package that is not the object of measurement as the region R2 of the package 5 .
  • the calculation unit 32 may perform a process of specifying the region R2 of the packages 5 placed on the pallet 2.
  • the calculation unit 32 may calculate the 3D coordinates of the two opposing planes in the standard packing 4 based on the 3D coordinate information of the first plane PL1 and the standard packing structure information 23 .
  • the calculation unit 32 calculates the area sandwiched between the two opposing planes from the 3D coordinates of the two opposing planes, and calculates the protrusion length L1 of the luggage 5 in the area sandwiched between the two opposing planes. good too.
  • the calculator 32 acquires the third coordinate information including the 3D coordinates of the first plane PL1 and the second plane facing each other in the standard packing style 4 . Further, the calculation unit 32 calculates the area sandwiched between the first plane PL1 and the second plane from the 3D coordinates of the first plane PL1 and the second plane, and in the area sandwiched between the first plane PL1 and the second plane , the protrusion length L1 of the load 5 is calculated.
  • the calculator 32 calculates the plane equation of the first plane PL1 of the standard packing style 4 and the plane equation of the second plane facing the first plane PL1.
  • the plane equation of the first plane PL1 may be obtained by a method similar to step ST21 shown in FIG.
  • the plane equation of the second plane PL ⁇ b>2 may be calculated based on the plane equation of the first plane PL ⁇ b>1 and the standard packing structure information 23 .
  • the calculation unit 32 calculates the area sandwiched between the first plane PL1 and the second plane based on the plane equation of the first plane PL1 and the plane equation of the second plane, and the protrusion of the baggage 5 existing in the area is calculated. Calculate the length L1. As a result, it is possible to measure the protruding length L1 of the baggage 5 while excluding other baggage that is not to be measured and that is located on the far side of the second plane.
  • the calculation unit 32 acquires the third coordinate information including the 3D coordinates of the top surface and the bottom surface facing each other in the standard packing style 4 . Further, the calculation unit 32 calculates the area sandwiched between the top surface and the bottom surface from the 3D coordinates of the top surface and the bottom surface, and calculates the protrusion length L1 of the baggage 5 in the area sandwiched between the top surface and the bottom surface. Specifically, the calculator 32 calculates a plane equation of the top surface of the standard packing style 4 and a plane equation of the bottom surface facing the top surface.
  • the plane equation of the top surface and the plane equation of the bottom surface of the standard packing style 4 may be calculated based on the plane equation of the first plane PL1, the reference point P5, the line segment V1, and the standard packing structure information 23.
  • the calculation unit 32 calculates the area sandwiched between the top surface and the bottom surface, and calculates the protrusion length L1 of the load 5 existing in the area. As a result, the protruding length L1 of the cargo 5 can be measured by excluding the cargo on another pallet loaded above the pallet 2. - ⁇
  • the calculation unit 32 processes the continuous portion of the package 5 protruding from the pallet 2 as the region R2 of the package 5 . Specifically, the calculation unit 32 identifies a protrusion area R3 of the baggage 5 that is continuous from the protrusion plane PL0 that is a reference for the protrusion of the baggage 5 in the standard packing form 4, and determines the protrusion length L1 of the baggage 5 existing in the area. Calculate As a result, the protrusion length L1 of the baggage 5 can be measured by excluding another baggage arranged in the direction in which the baggage 5 protrudes.
  • a measuring device 1 includes an imaging unit 10 , an image processing unit 31 and a calculating unit 32 .
  • the imaging unit 10 images the object 6 including the pallet 2 having the reference object 3 and the package 5 .
  • the image processing unit 31 extracts a specific region R1 of the reference object 3 and a region R2 of the package 5 based on the image data 11 of the object 6 captured by the imaging unit 10 .
  • the calculation unit 32 generates first coordinate information 12 indicating 3D coordinates associated with the image data 11 and standard packing structure information 23 indicating structural dimensions of the standard packing 4 of the pallet 2 associated with the coordinates of the specific region R1.
  • the calculation unit 32 calculates the protrusion length L1 of the package 5 protruding from the pallet 2 based on the specific area R1, the area R2 of the package 5, the first coordinate information 12, and the standard packing structure information 23.
  • the image processing unit 31 inputs the image data 11 of the object 6 captured by the imaging unit 10 to the first machine learning model 21 as input data, thereby extracting the specific region R1 of the reference object 3. Get data.
  • machine learning is performed using the image data of the palette 2 having the reference object 3 and the data indicating the specific region R1 in the reference object 3 as teacher data.
  • the user can easily measure the protrusion length L1 of the package 5 by capturing an image of the object 6 including the package 5 and the pallet 2 having the reference object 3 with the imaging unit 10. can. As a result, it is possible to improve the efficiency of the work of measuring the overhang length L1 of the load 5 .
  • the first machine learning model 21 is KeyPoint Detection using MaskR-CNN. With such a configuration, the specific region R1 in the reference object 3 can be extracted with high accuracy.
  • the reference object 3 has a plurality of vertices P1 to P4 that define a specific region R1.
  • the first machine learning model 21 detects a plurality of vertices P1-P4 in the image data 11. FIG. With such a configuration, the specific region R1 in the reference object 3 can be extracted with higher accuracy.
  • the reference object 3 has at least one reference plane 3a.
  • the image processing section 31 extracts a specific region R1 based on at least one reference plane 3a. With such a configuration, the specific region R1 in the reference object 3 can be extracted with higher accuracy.
  • At least one reference plane 3a is composed of a plurality of reference planes, and the plurality of reference planes 3a are arranged apart from each other on the same plane. With such a configuration, it is possible to suppress the effects of errors and noise in obtaining 3D coordinates, so that the specific region R1 in the reference object 3 can be extracted with higher accuracy.
  • the pallet 2 has a bottom plate 2a and a plurality of pillars 2b provided on the bottom plate 2a.
  • the reference object 3 is at least one support among the plurality of supports 2b. With such a configuration, it is possible to more easily measure the protrusion length L1 of the luggage 5 .
  • a plurality of struts 2b are arranged along the outer edge of the bottom plate 2a. At least one strut 2b has a plane serving as a reference plane 3a on the outer edge side of the bottom plate 2a.
  • the image processing unit 31 extracts a specific region R1 based on the plane. With such a configuration, the specific region R1 can be extracted with higher accuracy based on the reference plane 3a, and the protrusion length L1 of the baggage 5 can be measured more easily.
  • the image processing unit 31 inputs the image data 11 of the target object 6 to the second machine learning model 22 as input data, thereby obtaining output data obtained by extracting the region R2 of the package 5 .
  • machine learning is performed using the image data of the package 5 placed on the pallet 2 and the data indicating the region R2 of the package 5 as teacher data. With such a configuration, the area R2 of the package 5 can be extracted with high accuracy.
  • the second machine learning model 22 is InstanceSegmentation using the MaskR-CNN model. With such a configuration, the region R2 of the package 5 can be extracted with higher accuracy.
  • the imaging unit 10 acquires image data 11 and first coordinate information 12 of the object 6 by imaging the object 6 .
  • the image data 11 and the first coordinate information 12 can be easily obtained.
  • processing such as coordinate conversion processing can be omitted in the calculation unit 32 .
  • the calculation unit 32 Based on the specific region R1 and the first coordinate information 12, the calculation unit 32 acquires second coordinate information indicating the 3D coordinates of the specific region R1. Based on the second coordinate information and the standard packing structure information 23, the calculator 32 acquires third coordinate information indicating the 3D coordinates of the standard packing defined by the specific region R1. The calculation unit 32 acquires fourth coordinate information indicating the 3D coordinates of the region R2 of the package 5 based on the region R2 of the package 5 and the first coordinate information 12 . The calculator 32 calculates the protrusion length L1 of the package 5 based on the third coordinate information and the fourth coordinate information. With such a configuration, it is possible to accurately measure the protrusion length L1 of the baggage 5 while extracting the specific area R1 and the area R2 of the baggage 5 with high accuracy.
  • the calculation unit 32 acquires the third coordinate information including at least the plane equation of the protrusion plane PL0 that serves as a reference for the protrusion of the package 5 in the standard packing form 4 .
  • the calculator 32 calculates the protrusion length L1 of the baggage 5 based on the plane equation of the protrusion plane PL0 and the fourth coordinate information. With such a configuration, the protrusion length L1 of the load 5 can be measured with high precision while extracting the specific region R1 and the region R2 of the load 5 with high precision.
  • the calculation unit 32 calculates the plane equation of the first plane PL1 of the standard packing style 4 on which the reference object 3 including the specific region R1 is arranged.
  • the calculator 32 calculates a plurality of reference points P5 and P6 in the specific region R1 and a vector calculated from the plurality of reference points P5 and P6 based on the second coordinate information.
  • the calculator 32 calculates the plane equation of the protrusion plane PL0 based on the plane equation of the first plane PL1, the reference point P5, the vector, and the standard packing structure information 23.
  • FIG. With such a configuration, the protrusion length L1 of the luggage 5 can be measured with higher accuracy.
  • the calculation unit 32 acquires third coordinate information including the 3D coordinates of the two planes facing each other in the standard packaging 4, calculates the area sandwiched between the two planes from the 3D coordinates of the two planes, and In the area sandwiched between the two, the protrusion length L1 of the load 5 is calculated. With such a configuration, it is possible to measure the protruding length L1 of the load 5 by excluding another load that is not placed on the pallet 2, that is, is not the object of measurement.
  • the calculation unit 32 processes the area of the package protruding from the pallet 2 that is continuous with the area of the standard packing form 4 as the area R2 of the package 5 . With such a configuration, it is possible to measure the protruding length L1 of the load 5 by excluding another load that is not placed on the pallet 2, that is, is not the object of measurement.
  • the calculation unit 32 calculates the largest value (maximum protrusion length Lmax) of the protrusion length L1 of the baggage 5. With such a configuration, it is possible to obtain information on the maximum protrusion length Lmax of the portion of the package 5 that protrudes the most from the pallet 2 .
  • the measuring device 1 further includes an output unit 40 that outputs the protrusion length L1. With such a configuration, the user can easily know the overhang length L1.
  • the measurement method according to Embodiment 1 of the present disclosure also has the same effects as the measurement device 1 described above.
  • the image data 11 and the first coordinate information 12, which is 3D coordinate information associated with the image data 11, are captured by the image capturing unit 10 capturing an image of the object 6 including the pallet 2 and the package 5.
  • the imaging unit 10 does not have to acquire the first coordinate information 12 .
  • the calculation unit 32 may acquire 3D coordinates corresponding to the image data 11 by coordinate conversion processing.
  • the storage unit 20 stores the first machine learning model 21, the second machine learning model 22, and the standard packing structure information 23
  • the first machine learning model 21, the second machine learning model 22, and the standard packing structure information 23 may be stored in a server on the network.
  • the measuring device 1 may include a communication unit that communicates with the server, and the communication unit may acquire the first machine learning model 21, the second machine learning model 22, and the standard packing structure information 23 from the server.
  • the communication unit includes a circuit that communicates with an external device in compliance with a predetermined communication standard.
  • Predetermined communication standards include, for example, LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark), CAN (controller area network), and SPI (Serial Peripheral Interface).
  • the present disclosure may be configured in the form of a measurement system or server that includes a measurement device and a server.
  • the measurement system may include the measurement device 1 including the imaging unit 10, the calculation unit 32, the output unit 40, and the communication unit, and the server including the storage unit 20, the image processing unit 31, and the communication unit.
  • the measurement device may execute steps ST1 and ST4 to ST6, and the server may execute steps ST2 and ST3.
  • the configuration of the measurement system is not limited to this.
  • the storage unit 20, the image processing unit 31, the calculation unit 32, and the output unit 40 may be included in the measurement device or the server.
  • each of the measurement device 1 and the server may include a storage section that stores at least one of the elements stored in the storage section 20 .
  • the first machine learning model 21, the second machine learning model 22, and the standard packing structure information 23 may be stored in the storage unit of the measuring device, or may be stored in the storage unit of the server.
  • the entity that executes the processing of steps ST1 to ST6 is not limited to the above example.
  • the processing of steps ST2 to ST6 may be executed by the measuring device or by the server.
  • the measurement system may include devices other than the measurement device and the server.
  • the image processing section 31 and the calculation section 32 may be integrally formed as one element.
  • the image processing section 31 and the calculation section 32 may each be divided into a plurality of elements.
  • the image processing section 31 may be divided into a first image processing section that extracts the specific area R1 and a second image processing section that extracts the area of the luggage 5.
  • FIG. The calculator 32 may be divided into a first calculator that acquires the first to fourth coordinate information and a second calculator that calculates the protrusion length L1 of the package 5 .
  • the reference object 3 is a plurality of pillars 2b has been described, but the present invention is not limited to this.
  • the reference object 3 may be any object that serves as a reference for extracting the specific region R1 in the palette 2 .
  • the image processing section 31 may extract the region R2 of the package 5 based on the input information from the user.
  • the measuring device 1 may include an input section that receives input information from the user.
  • the input unit may be, for example, an input interface such as a touch panel. In this manner, the measuring device 1 may calculate the protrusion length L1 of the baggage 5 based on the information of the area R2 of the baggage 5 input by the user.
  • the calculation unit 32 may calculate the protrusion width and protrusion height of the package 5 .
  • the output unit 40 may output the protrusion length L1 at a specific position.
  • the measuring device 1 may include an input section that receives input information from the user. The measuring device 1 may output the protrusion length L1 of the baggage 5 corresponding to the position based on the information of the position of the baggage 5 within the region R2 input by the user.
  • the third coordinate information is 3D coordinate information of the protrusion plane PL0, but the present invention is not limited to this.
  • the third coordinate information should include at least 3D coordinate information of the protrusion plane PL0.
  • the third coordinate information may include 3D coordinate information of planes forming the standard packing style 4 in addition to the protrusion plane PL0.
  • the third coordinate information may include 3D coordinate information of all six surfaces of the standard packing 4 or may include 3D coordinates of a plurality of planes among the six surfaces of the standard packing 4 .
  • the present invention is not limited to this.
  • At least one of the six faces of the standard packing form 4 may be predetermined as the protrusion plane PL0.
  • two planes on the right side and the left side of the standard packing style 4 may be determined in advance as the protrusion planes PL0.
  • the upper plane of the standard packing style 4 may be determined in advance as the protrusion plane PL0.
  • the overflow plane PL0 may be determined based on the fourth coordinate information.
  • the calculation unit 32 may estimate the direction in which the baggage 5 protrudes based on the fourth coordinate information, and determine the plane in the direction in which the baggage 5 protrudes as the protrusion plane PL0.
  • the third coordinate information may include 3D coordinate information for all six planes of the standard packing 4, or may include 3D coordinate information for two or more of the six planes of the standard packing 4. good.
  • the calculation unit 32 may estimate the estimated protrusion direction based on the fourth coordinate information, and determine a plane positioned in the protrusion direction among the planes of the standard packing style 4 as the protrusion plane PL0.
  • the standard packing form 4 is a rectangular parallelepiped with 6 planes, but it is not limited to this.
  • the standard packing form 4 may have a shape such as a truncated quadrangular pyramid.
  • Embodiment 1 an example of calculating the plane equation of the protruding plane PL0 as the third coordinate information has been described, but the present invention is not limited to this.
  • the third coordinate information is not limited to plane equations as long as it includes information on the 3D coordinates of the protruding plane PL0.
  • the measuring device and measuring method of the present disclosure can easily measure the protruding length of a package protruding from a pallet, so it is suitable for the field of transportation such as loading packages on trucks and warehouses.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

測定装置は、基準対象物を有するパレット及び荷物を含む対象物を撮像する撮像部と、撮像部により撮像された対象物の画像データに基づいて基準対象物における特定の領域及び荷物の領域を抽出する画像処理部と、対象物の画像データと関連付けられた３Ｄ座標を示す第１座標情報及び特定の領域の座標と関連付けられたパレットの定型荷姿の構造寸法を示す定型荷姿構造情報を取得し、特定の領域、荷物の領域、第１座標情報及び定型荷姿構造情報に基づいて、パレットからはみ出す荷物のはみだし長を算出する算出部と、を備え、画像処理部は、パレットの画像データと、特定の領域を示すデータと、を教師データとして機械学習が行われた第１機械学習モデルに、対象物の画像データを入力することによって、基準対象物における特定の領域を抽出する。

Description

測定装置及び測定方法
　本開示は、測定装置及び測定方法に関する。
　特許文献１には、３次元物体の位置及びその姿勢を検出する装置が開示されている。
　特許文献１に記載の装置は、赤、緑、青の３種類の光源の下で平面状の対象物の画像を１台のカメラによって撮影し、その画像から対象物の３次元位置及びその姿勢を検出している。
特開２０１３－２１７６７１号公報
　近年、パレットからはみ出した荷物のはみだし長を測定することが求められている。
　したがって、本開示の目的は、前記課題を解決することにあって、パレットに載置された荷物のはみだし長を測定することができる測定装置及び測定方法を提供することにある。
　本開示の一態様の測定装置は、
　基準対象物を有するパレット及び荷物を含む対象物を撮像する撮像部と、
　前記撮像部により撮像された前記対象物の画像データに基づいて前記基準対象物における特定の領域及び前記荷物の領域を抽出する画像処理部と、
　前記画像データと関連付けられた３Ｄ座標を示す第１座標情報及び前記特定の領域の座標と関連付けられた前記パレットの定型荷姿の構造寸法を示す定型荷姿構造情報を取得し、前記特定の領域、前記荷物の領域、前記第１座標情報及び前記定型荷姿構造情報に基づいて、前記パレットからはみ出す荷物のはみだし長を算出する算出部と、
を備え、
　前記画像処理部は、前記基準対象物を有するパレットの画像データと、前記基準対象物における前記特定の領域を示すデータと、を教師データとして機械学習が行われた第１機械学習モデルに、前記撮像部により撮像された前記対象物の画像データを入力データとして入力することによって、前記基準対象物における前記特定の領域を抽出した出力データを取得する。
　本開示の一態様の測定方法は、
　基準対象物を有するパレット及び荷物を含む対象物を撮像するステップと、
　撮像された前記対象物の画像データに基づいて前記基準対象物における特定の領域を抽出するステップと、
　撮像された前記対象物の画像データに基づいて前記荷物の領域を抽出するステップと、
　前記画像データと関連付けられた３Ｄ座標を示す第１座標情報及び前記特定の領域の座標と関連付けられた前記パレットの定型荷姿の構造寸法を示す定型荷姿構造情報を取得するステップと、
　前記特定の領域、前記荷物の領域、前記第１座標情報及び前記定型荷姿構造情報に基づいて、前記パレットからはみ出す荷物のはみだし長を算出するステップと、
を含み、
　前記基準対象物における前記特定の領域を抽出するステップは、前記基準対象物を有するパレットの画像データと、前記基準対象物における前記特定の領域を示すデータと、を教師データとして機械学習が行われた第１機械学習モデルに、撮像された前記対象物の画像データを入力データとして入力することによって、前記基準対象物における前記特定の領域を抽出した出力データを取得すること、を有する。
　これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体、並びに、それらの組み合わせにより、実現されてもよい。
　本開示によれば、パレットからはみ出した荷物のはみだし長を測定することができる測定装置及び測定方法を提供することができる。
本開示に係る実施の形態１の測定装置の構成の一例を示す概略ブロック図である。 パレットの一例を説明する概略図である。 測定装置によるパレット及び荷物を含む対象物の撮像の一例を説明する概略図である。 測定装置で取得した３Ｄ座標情報の一例を示す概略図である。 本開示に係る実施の形態１の測定装置の機能的構成の一例を示す概略ブロック図である。 第１機械学習モデルを用いた画像処理部の処理の一例を説明する概略図である。 特定の領域の一例を説明する概略図である。 第２機械学習モデルを用いた画像処理部の処理の一例を説明する概略図である。 定型荷姿構造情報の一例を示す概略図である。 図９の定型荷姿構造情報の概略平面図である。 算出部による荷物のはみだし長の算出処理の一例を説明する概略図である。 算出部による荷物のはみだし長の算出処理の一例を説明する概略図である。 本開示に係る実施の形態１の測定方法の一例のフローチャートである。 算出部の処理の一例を説明するフローチャートである。 はみだし平面の一例を説明する概略図である。 はみだし平面の平面方程式の算出処理の一例のフローチャートである。 定型荷姿の第１平面を説明する概略図である。 特定の領域における基準点とベクトルの算出処理の一例を説明する概略図である。 はみだし平面の算出の一例を説明する概略図である。 荷物のはみだし長の算出処理の一例を説明するフローチャートである。
　（本開示に至った経緯）
　物流などにおいて荷物を載せるための荷台としてパレットが利用されている。この際、例えば支柱を持つポストパレットを用い、パレットの支柱の水平位置を揃えて鉛直方向に重ねて積載することで、複数のパレットを水平方向及び鉛直方向に並べて積載することができる。これにより、トラックや倉庫などの限られた空間に効率よくパレットを配置している。
　ここで対象ポストパレットの外形を囲う直方体の寸法を定型荷姿寸法とし、定型荷姿寸法に適切な間隔で水平方向及び鉛直方向に並べて積載する場合、定型荷姿寸法を超える長尺荷物が定型荷姿寸法をはみ出して載置されたパレットは、その荷物の干渉により、パレットを隣接して配置することができず、積載効率が低下する。
　また、互いに上下に積載されるポストパレットではその支柱の水平位置を揃える必要があるため、パレット及び荷物の全幅が同じであっても、パレットでの載置位置により定型荷姿寸法からはみ出した荷物が干渉する範囲は異なる。このようなパレットの収納や運搬の効率を高めるためには、例えば右側など特定の向き毎に荷物のはみだし長の測定が必要であり、はみだし長を容易に測定可能な装置が求められている。
　そこで、本発明者らは、前記課題を解決するために、基準対象物を有するパレット及び荷物を含む対象物を撮像することによって荷物のはみだし長を容易に測定する構成を見出し、以下の本開示に至った。
　本開示の第１態様の測定装置は、基準対象物を有するパレット及び荷物を含む対象物を撮像する撮像部と、前記撮像部により撮像された前記対象物の画像データに基づいて前記基準対象物における特定の領域及び前記荷物の領域を抽出する画像処理部と、前記画像データと関連付けられた３Ｄ座標を示す第１座標情報及び前記特定の領域の座標と関連付けられた前記パレットの定型荷姿の構造寸法を示す定型荷姿構造情報を取得し、前記特定の領域、前記荷物の領域、前記第１座標情報及び前記定型荷姿構造情報に基づいて、前記パレットからはみ出す荷物のはみだし長を算出する算出部と、を備え、前記画像処理部は、前記基準対象物を有するパレットの画像データと、前記基準対象物における前記特定の領域を示すデータと、を教師データとして機械学習が行われた第１機械学習モデルに、前記撮像部により撮像された前記対象物の画像データを入力データとして入力することによって、前記基準対象物における前記特定の領域を抽出した出力データを取得する。
　本開示の第２態様の測定装置において、前記基準対象物は、前記特定の領域を画定する複数の頂点を有し、前記第１機械学習モデルは、前記画像データにおいて前記複数の頂点を検出してもよい。
　本開示の第３態様の測定装置において、前記第１機械学習モデルは、ＭａｓｋＲ－ＣＮＮを用いたＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎであってもよい。
　本開示の第４態様の測定装置において、前記基準対象物は、少なくとも１つの基準平面を有し、前記画像処理部は、前記少なくとも１つの基準平面に基づいて前記特定の領域を抽出してもよい。
　本開示の第５態様の測定装置において、前記少なくとも１つの基準平面は複数の基準平面であり、前記複数の基準平面は、同一平面上で互いに離れて配置されていてもよい。
　本開示の第６態様の測定装置において、前記パレットは、底板と、前記底板に設けられた複数の支柱と、を有し、前記基準対象物は、前記複数の支柱のうち少なくとも１つの支柱であってもよい。
　本開示の第７態様の測定装置において、前記複数の支柱は、前記底板の外縁に沿って配置され、前記少なくとも１つの支柱は、前記底板の外縁側に基準平面となる平面を有し、前記画像処理部は、前記平面に基づいて前記特定の領域を抽出してもよい。
　本開示の第８態様の測定装置において、前記画像処理部は、前記パレットに載置された荷物の画像データと、前記荷物の領域を示すデータと、を教師データとして機械学習が行われた第２機械学習モデルに、前記対象物の画像データを入力データとして入力することによって、前記荷物の領域を抽出した出力データを取得してもよい。
　本開示の第９態様の測定装置において、前記第２機械学習モデルは、ＭａｓｋＲ－ＣＮＮモデルを用いたＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｉｏｎであってもよい。
　本開示の第１０態様の測定装置において、前記撮像部は、前記対象物を撮像することによって、前記対象物の画像データ及び前記第１座標情報を取得してもよい。
　本開示の第１１態様の測定装置において、前記算出部は、前記特定の領域及び前記第１座標情報に基づいて、前記特定の領域の３Ｄ座標を示す第２座標情報を取得し、前記第２座標情報及び前記定型荷姿構造情報に基づいて、前記特定の領域により画定される前記定型荷姿の３Ｄ座標を示す第３座標情報を取得し、前記荷物の領域及び前記第１座標情報に基づいて、前記荷物の領域の３Ｄ座標を示す第４座標情報を取得し、前記第３座標情報及び前記第４座標情報に基づいて、前記荷物のはみだし長を算出してもよい。
　本開示の第１２態様の測定装置において、前記算出部は、前記定型荷姿において前記荷物のはみ出しの基準となるはみだし平面の平面方程式を少なくとも含む前記第３座標情報を取得し、前記はみだし平面の平面方程式及び前記第４座標情報に基づいて、前記荷物のはみだし長を算出してもよい。
　本開示の第１３態様の測定装置において、前記算出部は、前記第２座標情報に基づいて、前記特定の領域を含む前記基準対象物が配置される側の前記定型荷姿の第１平面の平面方程式を算出し、前記第２座標情報に基づいて、前記特定の領域における複数の基準点と、前記複数の基準点から算出されるベクトルと、を算出し、前記第１平面の平面方程式、前記複数の基準点のうち少なくとも１つの基準点、前記ベクトル及び前記定型荷姿構造情報に基づいて前記はみだし平面の平面方程式を算出してもよい。
　本開示の第１４態様の測定装置において、前記算出部は、前記定型荷姿において対向する２つの平面の３Ｄ座標を含む前記第３座標情報を取得し、前記２つの平面の３Ｄ座標から前記２つの平面で挟まれた領域を算出し、前記２つの平面で挟まれた領域において、前記荷物のはみだし長を算出してもよい。
　本開示の第１５態様の測定装置において、前記算出部は、前記パレットからはみ出している荷物において、前記定型荷姿の領域から連続して荷物の存在する領域を、前記荷物の領域として処理してもよい。
　本開示の第１６態様の測定装置において、前記算出部は、前記荷物のはみだし長のうち最大はみだし長を算出してもよい。
　本開示の第１７態様の測定装置は、前記はみだし長を出力する出力部を更に備えていてもよい。
　本開示の第１８態様の測定方法は、基準対象物を有するパレット及び荷物を含む対象物を撮像するステップと、撮像された前記対象物の画像データに基づいて前記基準対象物における特定の領域を抽出するステップと、撮像された前記対象物の画像データに基づいて前記荷物の領域を抽出するステップと、前記画像データと関連付けられた３Ｄ座標を示す第１座標情報及び前記特定の領域の座標と関連付けられた前記パレットの定型荷姿の構造寸法を示す定型荷姿構造情報を取得するステップと、前記特定の領域、前記荷物の領域、前記第１座標情報及び前記定型荷姿構造情報に基づいて、前記パレットからはみ出す荷物のはみだし長を算出するステップと、を含み、前記基準対象物における前記特定の領域を抽出するステップは、前記基準対象物を有するパレットの画像データと、前記基準対象物における前記特定の領域を示すデータと、を教師データとして機械学習が行われた第１機械学習モデルに、撮像された前記対象物の画像データを入力データとして入力することによって、前記基準対象物における前記特定の領域を抽出した出力データを取得すること、を有する。
　本開示の第１９態様のプログラムは、前述の態様の測定方法を実行させる。
　以下、本開示の一実施の形態を添付図面に従って説明する。なお、以下の説明は、本質的に例示に過ぎず、本開示、その適用物、あるいは、その用途を制限することを意図するものではない。さらに、図面は模式的なものであり、各寸法の比率等は現実のものとは必ずしも合致していない。
　（実施の形態１）
　［全体構成］
　図１は、本開示に係る実施の形態１の測定装置１の構成の一例を示す概略ブロック図である。図１に示すように、測定装置１は、撮像部１０、記憶部２０、制御部３０及び出力部４０を備える。例えば、測定装置１は、タブレット型のコンピュータである。なお、実施の形態１では、測定装置１が出力部４０を備える例について説明するが、出力部４０は必須の構成ではない。
　＜撮像部＞
　撮像部１０は、被写体である対象物を撮像することによって、対象物の画像データと、画像データと関連付けられた３Ｄ座標情報を取得する。画像データは、カラー画像のデータである。画像データと関連付けられた３Ｄ座標情報とは、画像データの各画素に対応する３Ｄ座標の情報である。本明細書では、「画像データと関連付けられた３Ｄ座標情報」を「第１座標情報」と称する場合がある。
　撮像部１０は、例えば、深度カメラである。深度カメラは、対象物までの距離を測定して、測定した距離を画素毎の深度値で示す深度情報を生成する。例えば、深度カメラは、赤外線アクティブステレオカメラ、ＬｉＤＡＲ深度カメラなどであってもよい。なお、撮像部１０は、これらの深度カメラに限定されない。
　＜記憶部＞
　記憶部２０は、測定装置１の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。例えば、記憶部２０は、ハードディスク（ＨＤＤ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現可能である。
　＜制御部＞
　制御部３０は、半導体素子などで実現可能である。例えば、制御部３０は、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）で構成することができる。制御部３０の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
　制御部３０は、記憶部２０に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。
　＜出力部＞
　出力部４０は、制御部３０の演算処理結果を表示する表示部を有する。例えば、表示部は、液晶ディスプレイ又は有機ＥＬディスプレイで構成してもよい。また、出力部４０は、音を発出するスピーカなどを備えていてもよい。
　図２は、パレット２の一例を説明する概略図である。図２に示すように、パレット２は、底板２ａと、底板２ａに設けられた複数の支柱２ｂと、を有する。底板２ａは、平面視において長手方向と短手方向とを有する矩形状の板部材で形成されている。複数の支柱２ｂは、底板２ａから上方に向かって延び、且つ底板２ａの外縁に沿って互いに離れて配置されている。
　実施の形態１では、パレット２は、４つの支柱２ｂを有する。具体的には、底板２ａの短手方向の一端側に、２つの支柱２ｂが配置されており、底板２ａの短手方向の他端側に、２つの支柱２ｂが配置されている。底板２ａの短手方向の一端側に配置される２つの支柱２ｂは、底板２ａの外縁に沿って配置されると共に、底板２ａの長手方向に互いに離れて配置されている。底板２ａの短手方向の他端側に配置される２つの支柱２ｂは、底板２ａの外縁に沿って配置されると共に、底板２ａの長手方向に互いに離れて配置されている。複数の支柱２ｂの形状及び寸法は略同一である。本明細書では、「略」とは誤差が例えば、５％以下であることを意味する。好ましくは、「略」とは誤差１％以下である。
　測定装置１においては、底板２ａの短手方向の一端側に配置される２つの支柱２ｂを基準対象物３として利用している。「基準対象物」とは、パレット２の定型荷姿４に対して位置関係が一意に定められる基準となる対象物である。「定型荷姿」とは、運送する際のパレット２に載置した荷物の定型の外観である。定型荷姿４は、パレット２から荷物がはみ出さない規定のサイズを有する。例えば、定型荷姿４は、直方体であり、パレット２の幅Ｗ１、奥行きＤ１及び高さＨ１で決定される。実施の形態１では、幅Ｗ１は底板２ａの長手方向の長さ、奥行きＤ１は底板２ａの短手方向の長さ、高さＨ１は、底板２ａの厚さと支柱２ｂの高さとを合計した長さである。また、幅Ｗ１、奥行きＤ１及び高さＨ１は、予め定められた規格寸法である。
　基準対象物３は、少なくとも１つの基準平面３ａを有する。好ましくは、基準対象物３は、同一平面上で互いに離れて配置される複数の基準平面３ａを有する。実施の形態１では基準対象物３は、底板２ａの短手方向の一端側の外縁に沿って配置される２つの支柱２ｂに設けられた２つの基準平面３ａを有する。２つの基準平面３ａは、同一平面上に互いに離れて配置されている。即ち、２つの基準平面３ａは、底板２ａの短手方向の一端の外縁側に配置されており、底板２ａの長手方向に互いに離れて配置されている。
　実施の形態１では、支柱２ｂは四角柱であり、基準平面３ａは４つの頂点を有する矩形状を有する。
　なお、基準対象物３は、底板２ａの短手方向の一端側の外縁に沿って配置される２つの支柱２ｂに限定されない。例えば、基準対象物３は、パレットの支柱以外の上部構造物の一部分であってもよいし、複数の支柱２ｂのうち少なくとも１つの支柱、あるいはその一部分であってもよい。
　図３は、測定装置１によるパレット２及び荷物５を含む対象物６の撮像の一例を説明する概略図である。図３に示すように、対象物６は、パレット２と、パレット２上に載置された荷物５と、を含む。撮像部１０は、撮像部１０の位置を基準位置として、撮像部１０から対象物６までの距離ｄ１を測定して深度画像データを生成することによって、３Ｄ座標情報（第１座標情報）を生成する。
　図４は、測定装置１で取得した３Ｄ座標情報（第１座標情報）の一例を示す概略図である。図４に示すように、３Ｄ座標情報は、２Ｄ座標（Ｘ，Ｙ）で特定される画素毎の深度値を示す深度画像データである。実施の形態１では、パレット２からはみ出す荷物５のはみだし長を測定するため、図３及び図４に示すように、パレット２及び荷物５の全体が写るように、撮像部１０は対象物６を撮像する。
　次に、測定装置１の機能的構成について図５を用いて詳細に説明する。図５は、本開示に係る実施の形態１の測定装置１の機能的構成の一例を示す概略ブロック図である。図５に示すように、制御部３０は、画像処理部３１及び算出部３２を有する。
　撮像部１０は、パレット２及び荷物５を含む対象物６を撮像することによって、画像データ１１と、画像データ１１と関連付けられた３Ｄ座標情報である第１座標情報１２を取得する。画像データ１１及び第１座標情報１２は、記憶部２０に格納される。
　画像処理部３１は、撮像部１０により撮像された対象物６の画像データ１１に基づいて基準対象物３における特定の領域を抽出する。具体的には、画像処理部３１は、第１機械学習モデル２１を用いて基準対象物３における特定の領域を抽出する。
　図６は、第１機械学習モデル２１を用いた画像処理部３１の処理の一例を説明する概略図である。図６に示すように、画像処理部３１は、入力データとして画像データ１１を第１機械学習モデル２１に入力する。第１機械学習モデル２１は、画像データ１１において特定の領域Ｒ１を抽出したデータを出力する。画像処理部３１は、第１機械学習モデル２１から特定の領域Ｒ１を抽出したデータを取得する。「特定の領域Ｒ１を抽出したデータ」とは、例えば、画像データ１１において特定の領域Ｒ１が占める画素を表す座標を含むデータである。
　特定の領域Ｒ１は、基準対象物３に含まれる２Ｄ平面の領域である。画像処理部３１は、少なくとも１つの基準平面３ａに基づいて特定の領域Ｒ１を抽出する。実施の形態１では、基準対象物３は、パレット２の底板２ａの短手方向の一端側において底板２ａの外縁に沿って配置される２つの支柱２ｂである。２つの支柱２ｂは、底板２ａの外縁側に基準平面３ａとなる平面を有する。画像処理部３１は、当該平面に基づいて特定の領域Ｒ１を抽出する。具体的には、画像処理部３１は、画像データ１１に写された対象物６から、２つの支柱２ｂ（基準対象物３）のそれぞれにおいて、基準平面３ａ全体を特定の領域Ｒ１として抽出している。即ち、画像処理部３１は、画像データ１１に写された対象物６から、２つの基準平面３ａを検出し、検出した２つの基準平面３ａを２つの特定の領域Ｒ１として抽出している。
　なお、特定の領域Ｒ１は、基準平面３ａ全体に限定されない。例えば、特定の領域Ｒ１は、基準平面３ａ全体ではなく、基準平面３ａの一部であってもよい。あるいは、特定の領域Ｒ１は、基準平面３ａにおいて、特定の色、特定の模様及び／又は特定の文字などで画定された部分であってもよい。
　第１機械学習モデル２１は、記憶部２０に格納されている。第１機械学習モデル２１では、基準対象物３を有するパレット２の画像データと、基準対象物３における特定の領域Ｒ１を示すデータと、を教師データとして機械学習が行われる。「基準対象物３における特定の領域Ｒ１を示すデータ」とは、特定の領域Ｒ１をラベル付けしたデータである。実施の形態１では、基準対象物３における特定の領域Ｒ１を示すデータは、基準対象物３の基準平面３ａの全体を示すデータである。
　実施の形態１では、第１機械学習モデル２１は、ＭａｓｋＲ－ＣＮＮを用いたＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎである。「ＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎ」とは、入力された画像データから複数の座標点を検出する技術である。本実施の形態では、頂点の座標点を検出することで、座標点から画定される領域を抽出している。
　なお、第１機械学習モデル２１は、ＭａｓｋＲ－ＣＮＮを用いたＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎに限定されない。第１機械学習モデル２１は、例えば、ＤｅｅｐＰｏｓｅ、ＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｔｉｏｎ等であってもよい。
　基準対象物３は、基準平面３ａ、即ち特定の領域Ｒ１を画定する複数の頂点を有する。第１機械学習モデル２１は、画像データ１１において複数の頂点を検出し、検出した複数の頂点で囲われた２Ｄ領域を特定の領域Ｒ１として抽出する。
　図７は、特定の領域Ｒ１の一例を説明する概略図である。図７は、矩形状の基準平面３ａを特定の領域Ｒ１として抽出する例を示す。図７に示すように、基準対象物３は、矩形状の基準平面３ａを画定する４つの頂点Ｐ１～Ｐ４を有している。第１機械学習モデル２１では、教師データの「基準対象物３における特定の領域Ｒ１を示すデータ」として、矩形状の基準平面３ａを画定する４つの頂点Ｐ１～Ｐ４を示すデータを用いる。これにより、第１機械学習モデル２１は、画像データ１１が入力されると、基準平面３ａを画定する４つの頂点Ｐ１～Ｐ４を検出し、検出された４つの頂点Ｐ１～Ｐ４で囲われた領域を特定の領域Ｒ１として抽出する。
　なお、第１機械学習モデル２１は、撮像部１０で撮像した画像データ１１を教師データとして用いて更に機械学習することによって、アップデートされてもよい。
　また、画像処理部３１は、撮像部１０により撮像された対象物６の画像データ１１に基づいて荷物５の領域を抽出する。具体的には、画像処理部３１は、第２機械学習モデル２２を用いて荷物５の領域を抽出する。
　図８は、第２機械学習モデル２２を用いた画像処理部３１の処理の一例を説明する概略図である。図８に示すように、画像処理部３１は、入力データとして画像データ１１を第２機械学習モデル２２に入力する。第２機械学習モデル２２は、画像データ１１において荷物５の領域Ｒ２を抽出したデータを出力する。画像処理部３１は、第２機械学習モデル２２から荷物５の領域Ｒ２を抽出したデータを取得する。「荷物５の領域Ｒ２を抽出したデータ」とは、例えば、画像データ１１において荷物５の領域Ｒ２が占める画素を表す座標を含むデータである。
　第２機械学習モデル２２は、記憶部２０に格納されている。第２機械学習モデル２２では、パレット２に載置された荷物５の画像データ１１と、荷物５の領域Ｒ２を示すデータと、を教師データとして機械学習が行われる。「荷物５の領域Ｒ２を示すデータ」とは、荷物５の領域Ｒ２をラベル付けしたデータである。
　実施の形態１では、第２機械学習モデル２２は、ＭａｓｋＲ－ＣＮＮモデルを用いたＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｉｏｎである。「ＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｉｏｎ」とは、物体のクラス分類と１画素単位の物体領域抽出を行う技術である。
　なお、第２機械学習モデル２２は、ＭａｓｋＲ－ＣＮＮモデルを用いたＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｉｏｎに限定されない。第２機械学習モデル２２は、例えば、ＤｅｅｐＭａｓｋ、ＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎ等であってもよい。
　なお、第２機械学習モデル２２は、撮像部１０で撮像した画像データ１１を教師データとして用いて更に機械学習することによって、アップデートされてもよい。
　画像処理部３１で抽出された特定の領域Ｒ１と荷物５の領域Ｒ２の情報は、算出部３２に送信される。
　図５に戻って、算出部３２は、画像データ１１と関連付けられた３Ｄ座標を示す第１座標情報１２と、特定の領域Ｒ１の座標と関連付けられたパレット２の定型荷姿４の構造寸法を示す定型荷姿構造情報２３を取得する。また、算出部３２は、特定の領域Ｒ１、荷物５の領域Ｒ２、第１座標情報１２及び定型荷姿構造情報２３に基づいて、パレット２からはみ出す荷物５のはみだし長Ｌ１を算出する。
　第１座標情報１２及び定型荷姿構造情報２３は、記憶部２０に格納されている。算出部３２は、記憶部２０から第１座標情報１２及び定型荷姿構造情報２３を取得する。また、算出部３２は、画像処理部３１から特定の領域Ｒ１と荷物５の領域Ｒ２の情報を取得する。
　算出部３２は、画像処理部３１から取得した特定の領域Ｒ１の情報と第１座標情報１２とに基づいて、特定の領域Ｒ１の３Ｄ座標の情報を取得する。第１座標情報１２は、画像データ１１に対応する３Ｄ座標の情報である。このため、算出部３２は、画像処理部３１で画像データ１１から抽出した特定の領域Ｒ１に対応する３Ｄ座標を、第１座標情報１２から容易に取得することができる。本明細書では、画像処理部３１から取得した特定の領域Ｒ１の情報と第１座標情報１２とに基づいて取得した特定の領域Ｒ１の３Ｄ座標の情報を「第２座標情報」と称する場合がある。
　また、算出部３２は、特定の領域Ｒ１の３Ｄ座標（第２座標情報）と定型荷姿構造情報２３とに基づいて、特定の領域Ｒ１により画定される定型荷姿４の３Ｄ座標情報を取得する。本明細書では、第２座標情報と定型荷姿構造情報２３とに基づいて取得した定型荷姿４の３Ｄ座標情報を「第３座標情報」と称する場合がある。
　定型荷姿構造情報２３は、定型荷姿４の構造寸法、及び特定の領域Ｒ１と定型荷姿４との位置関係を示す情報である。図９は、定型荷姿構造情報２３の一例を示す概略図である。図１０は、図９の定型荷姿構造情報２３の概略平面図である。図９及び図１０に示すように、定型荷姿構造情報２３は、特定の領域Ｒ１の位置（３Ｄ座標）の情報と、特定の領域Ｒ１の位置（３Ｄ座標）に関連付けられた定型荷姿４の構造寸法（幅Ｗ１、奥行きＤ１及び高さＨ１）の情報と、を含む。「特定の領域Ｒ１の位置（３Ｄ座標）に関連付けられた定型荷姿４の構造寸法の情報」とは、特定の領域Ｒ１との位置関係が一意に定められた定型荷姿４の構造寸法の情報である。なお、定型荷姿構造情報２３は、定型荷姿４を構成する６面のうち特定の領域Ｒ１側に位置する面に対して、少なくとも１つの面の相対位置情報を含んでいればよい。具体的には、定型荷姿構造情報２３は、定型荷姿４において、特定の領域Ｒ１側に位置する面に対して、少なくとも荷物５のはみだし長Ｌ１を算出する面の相対位置情報を含んでいればよい。例えば、定型荷姿４の右側の平面からの荷物５のはみだし長Ｌ１を算出する場合、定型荷姿構造情報２３は、特定の領域Ｒ１側に位置する面（前面）に対して、定型荷姿４の右側の平面の相対位置情報を含んでいてもよい。あるいは、定型荷姿構造情報２３は、左側面、前面／背面、および／または上面／下面の相対位置情報を含んでいてもよい。
　第３座標情報は、第２座標情報と定型荷姿構造情報２３とに基づいて取得される定型荷姿４の３Ｄ座標情報であり、定型荷姿４の６平面のうち少なくとも１平面の３Ｄ座標情報を含んでいればよい。具体的には、第３座標情報は、定型荷姿４において、少なくとも荷物５のはみだし長Ｌ１を算出する面の３Ｄ座標情報を含んでいればよい。例えば、定型荷姿４の右側の平面からの荷物５のはみだし長Ｌ１を算出する場合、第３座標情報は、定型荷姿４の右側の平面の３Ｄ座標情報を含んでいてもよい。定型荷姿４の右側及び左側の２平面からの荷物５のはみだし長Ｌ１を算出する場合、第３座標情報は、定型荷姿４の右側及び左側の２平面の３Ｄ座標情報を含んでいてもよい。あるいは、第３座標情報は、定型荷姿４の６平面の３Ｄ座標情報を含んでいてもよい。
　また、算出部３２は、画像処理部３１から取得した荷物５の領域Ｒ２の情報と第１座標情報１２とに基づいて、荷物５の領域Ｒ２の３Ｄ座標の情報を取得する。第１座標情報１２は、画像データ１１に対応する３Ｄ座標の情報である。このため、算出部３２は、画像処理部３１で画像データ１１から抽出した荷物５の領域Ｒ２の３Ｄ座標を、第１座標情報１２から容易に取得することができる。本明細書では、画像処理部３１から取得した荷物５の領域Ｒ２の情報と第１座標情報１２とに基づいて取得した荷物５の領域Ｒ２の３Ｄ座標の情報を「第４座標情報」と称する場合がある。
　また、算出部３２は、定型荷姿４の３Ｄ座標情報（第３座標情報）と荷物５の領域Ｒ２の３Ｄ座標の情報（第４座標情報）とに基づいて、荷物５のはみだし長Ｌ１を算出する。
　算出部３２は、荷物５の領域Ｒ２の１画素毎にはみだし長Ｌ１を算出する。図１１及び図１２は、算出部３２による荷物５のはみだし長Ｌ１の算出処理の一例を説明する概略図である。図１１は３Ｄのイメージ図であり、図１２は２Ｄのイメージ図である。また、図１１及び図１２に示す例では、説明を容易にするため、パレット２の右側にはみ出す荷物５に着目して示している。図１１及び図１２においては、定型荷姿４からはみ出す荷物５のはみだし領域Ｒ３が示されている。図１１及び図１２に示すように、算出部３２は、荷物５の領域Ｒ２において、定型荷姿４からはみ出す荷物５のはみだし領域Ｒ３の長さ（はみだし長）を算出する。
　また、算出部３２は、はみだし長Ｌ１のうち最大はみだし長Ｌｍａｘを算出する。即ち、算出部３２は、定型荷姿４からはみ出す荷物５のはみだし長Ｌ１のうち最もはみ出している部分の最大はみだし長Ｌｍａｘを算出する。なお、算出部３２で算出された最大はみだし長Ｌｍａｘ及び／又ははみだし長Ｌ１は、記憶部２０に格納される。算出部３２は、最大はみだし長Ｌｍａｘの情報を出力部４０に送信する。
　出力部４０は、算出部３２から最大はみだし長Ｌｍａｘの情報を取得し、最大はみだし長Ｌｍａｘの情報を出力する。
　［動作］
　次に、測定装置１の動作、即ち測定装置１により実施される測定方法について図１３を用いて説明する。図１３は、本開示に係る実施の形態１の測定方法の一例のフローチャートである。図１３に示す測定方法のフローチャートの各処理は、測定装置１によって実施される。図１３に示すように、測定方法は、ステップＳＴ１～ＳＴ６を含む。
　ステップＳＴ１では、撮像部１０が基準対象物３を有するパレット２及び荷物５を含む対象物６を撮像する。撮像部１０は、対象物６を撮像することによって、対象物６が写ったカラー画像である画像データ１１と、画像データ１１と関連付けられた３Ｄ座標を示す第１座標情報１２（図４参照）と、を取得する。取得した画像データ１１及び第１座標情報１２は、記憶部２０に格納される。
　ステップＳＴ２では、画像処理部３１が撮像された対象物６の画像データ１１に基づいて基準対象物３における特定の領域Ｒ１を抽出する。画像処理部３１は、第１機械学習モデル２１に、撮像された対象物６の画像データ１１を入力データとして入力することによって、基準対象物３における特定の領域Ｒ１を抽出した出力データを取得する（図６参照）。
　具体的には、画像処理部３１は、基準対象物３の基準平面３ａを特定の領域Ｒ１として抽出する。実施の形態１では、基準対象物３は底板２ａの短手方向の一端側に配置される２つの支柱２ｂであるため、基準平面３ａは２つの支柱２ｂにおいて、それぞれ、パレット２の底板２ａの短手方向の一端の外縁側に配置される矩形状の２つの平面である（図２参照）。
　上述したように、第１機械学習モデル２１は、ＭａｓｋＲ－ＣＮＮを用いたＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎである。第１機械学習モデル２１は、画像データ１１が入力されると、基準対象物３において矩形状の基準平面３ａを画定する４つの頂点を検出する。画像処理部３１は、第１機械学習モデル２１で検出された４つの頂点から特定の領域Ｒ１を抽出する。抽出された特定の領域Ｒ１の情報は、算出部３２に送信される。
　ステップＳＴ３では、画像処理部３１が撮像された対象物６の画像データ１１に基づいて荷物５の領域Ｒ２を抽出する。画像処理部３１は、第２機械学習モデル２２に、撮像された対象物６の画像データ１１を入力データとして入力することによって、荷物５の領域Ｒ２を抽出した出力データを取得する（図８参照）。
　上述したように、第２機械学習モデル２２は、ＭａｓｋＲ－ＣＮＮモデルを用いたＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｉｏｎである。第２機械学習モデル２２は、画像データ１１が入力されると、荷物５の領域Ｒ２を抽出する。抽出された荷物５の領域Ｒ２の情報は、算出部３２に送信される。
　ステップＳＴ４では、算出部３２が第１座標情報１２及び定型荷姿構造情報２３（図９及び図１０参照）を取得する。第１座標情報１２は画像データ１１と関連付けられた３Ｄ座標を示す情報であり、定型荷姿構造情報２３は特定の領域Ｒ１の位置（３Ｄ座標）と関連付けられたパレット２の定型荷姿４の構造寸法を示す情報である。実施の形態１では、第１座標情報１２は撮像部１０によって取得されており、記憶部２０に格納されている。また、定型荷姿構造情報２３は、記憶部２０に予め格納されている。このため、算出部３２は、記憶部２０から第１座標情報１２及び定型荷姿構造情報２３を取得する。
　ステップＳＴ５では、算出部３２が特定の領域Ｒ１、荷物５の領域Ｒ２、第１座標情報１２及び定型荷姿構造情報２３に基づいて、パレット２からはみ出す荷物５のはみだし長Ｌ１を算出する（図１１及び図１２参照）。
　算出部３２は、算出したはみだし長Ｌ１のうち最大はみだし長Ｌｍａｘの情報を出力部４０に送信する。
　ステップＳＴ６では、出力部４０が最大はみだし長Ｌｍａｘを出力する。
　このように、測定装置１は、ステップＳＴ１～ＳＴ６を実施することによって、パレット２からの荷物５のはみだし長を測定することができる。なお、上記した測定方法において、ステップＳＴ６は必須の構成ではない。例えば、測定装置１が出力部４０を備えない場合、測定方法はステップＳＴ６を含んでいなくてもよい。
　はみだし長Ｌ１を算出するステップＳＴ５における算出部３２の処理の一例について図１４を用いて詳細に説明する。図１４は、算出部３２の処理の一例を説明するフローチャートである。図１４に示すように、算出部３２は、はみだし長Ｌ１を算出する処理（ステップＳＴ５）において、ステップＳＴ１１～ＳＴ１４を実施する。
　ステップＳＴ１１では、算出部３２が特定の領域Ｒ１及び第１座標情報１２に基づいて、特定の領域Ｒ１の３Ｄ座標を示す第２座標情報を取得する。具体的には、算出部３２は、ステップＳＴ２で抽出した特定の領域Ｒ１の情報と、ステップＳＴ４で取得した第１座標情報１２と、に基づいて、特定の領域Ｒ１の３Ｄ座標（第２座標情報）を取得している。第１座標情報１２は、画像データ１１に対応する３Ｄ座標の情報である（図４参照）。算出部３２は、抽出した特定の領域Ｒ１に対応する３Ｄ座標を第１座標情報１２から取得している。
　ステップＳＴ１２では、算出部３２が第２座標情報及び定型荷姿構造情報２３に基づいて、特定の領域Ｒ１により画定される定型荷姿４の３Ｄ座標を示す第３座標情報を取得する。具体的には、算出部３２は、ステップＳＴ１１で取得した第２座標情報と、ステップＳＴ４で取得した定型荷姿構造情報２３と、に基づいて、特定の領域Ｒ１により画定される定型荷姿４の３Ｄ座標（第３座標情報）を取得している。定型荷姿構造情報２３は、定型荷姿４の構造寸法、及び特定の領域Ｒ１と定型荷姿４との位置関係を示す情報であって、特定の領域Ｒ１の座標の情報と、特定の領域Ｒ１の座標に関連付けられた定型荷姿４の構造寸法の情報と、を含む（図９及び図１０参照）。算出部３２は、特定の領域Ｒ１の３Ｄ座標に基づいて定型荷姿４の３Ｄ座標を決定している。
　実施の形態１では、第３座標情報は、定型荷姿４において荷物５のはみ出しの基準となるはみだし平面の３Ｄ座標の情報である。はみだし平面ＰＬ０は、定型荷姿４の６平面から決定される少なくとも１つの面であり、予め決定されている。例えば、定型荷姿４の右側の平面からの荷物５のはみだし長Ｌ１を算出する場合、定型荷姿４の右側の平面が、はみだし平面ＰＬ０として予め決定されている。はみだし平面ＰＬ０の３Ｄ座標情報は、例えば、平面方程式によって算出できる。平面方程式については後述する。
　ステップＳＴ１３では、算出部３２が荷物５の領域Ｒ２及び第１座標情報１２に基づいて、荷物５の領域Ｒ２の３Ｄ座標を示す第４座標情報を取得する。具体的には、算出部３２は、ステップＳＴ３で取得した荷物５の領域Ｒ２の情報と、ステップＳＴ４で取得した第１座標情報１２と、に基づいて、荷物５の領域Ｒ２の３Ｄ座標（第４座標情報）を算出している。第１座標情報１２は、画像データ１１に対応する３Ｄ座標の情報である（図４参照）。算出部３２は、抽出した荷物５の領域Ｒ２に対応する３Ｄ座標を第１座標情報１２から取得している。
　ステップＳＴ１４では、算出部３２が第３座標情報及び第４座標情報に基づいて、荷物５のはみだし長Ｌ１を算出する。具体的には、算出部３２は、ステップＳＴ１２で取得した定型荷姿４の３Ｄ座標を示す第３座標情報と、ステップＳＴ１３で取得した荷物５の領域Ｒ２の３Ｄ座標を示す第４座標情報と、に基づいて、荷物５のはみだし長Ｌ１を算出している。具体的には、算出部３２は、定型荷姿４において荷物５のはみ出しの基準となるはみだし平面ＰＬ０の平面方程式（第３座標情報）及び第４座標情報に基づいて、荷物５のはみだし長Ｌ１を算出する。
　はみだし平面ＰＬ０の平面方程式の算出の一例について説明する。図１５は、はみだし平面ＰＬ０の一例を説明する概略図である。なお、図１５では、定型荷姿４の右側の平面がはみだし平面ＰＬ０である例を示す。図１５に示す例では、定型荷姿４の右側の平面がはみだし平面ＰＬ０として予め決定されている。
　はみだし平面ＰＬ０の平面方程式の算出処理の一例について図１６を用いて説明する。図１６は、はみだし平面ＰＬ０の平面方程式の算出処理の一例のフローチャートである。図１６に示すように、はみだし平面ＰＬ０の平面方程式の算出処理は、ステップＳＴ２１～ＳＴ２３を含む。ステップＳＴ２１～ＳＴ２３は、算出部３２によって実行される。
　ステップＳＴ２１では、算出部３２が第２座標情報に基づいて、特定の領域Ｒ１を含む基準対象物３が配置される側の定型荷姿４の第１平面の平面方程式を算出する。図１７は、定型荷姿４の第１平面ＰＬ１を説明する概略図である。図１７の例では、第１平面ＰＬ１は、定型荷姿４において特定の領域Ｒ１を含む基準対象物３が配置される側の平面である。図１７に示す例では、基準対象物３が配置される側の平面とは、定型荷姿４の手前側の平面となっている。
　実施の形態１では、第２座標情報は、同一平面上に離れて配置される２つの特定の領域Ｒ１の３Ｄ座標を示す情報である。算出部３２は、２つの特定の領域Ｒ１の３Ｄ座標に基づいて、第１平面ＰＬ１の平面方程式を推定する。
　例えば、特定の領域Ｒ１の平面方程式は、２つの特定の領域Ｒ１の３Ｄ座標に存在する３Ｄ点群として、最小二乗法、又はＲＡＮＳＡＣ法等によって算出することができる。同一平面上に離れて配置される２つの特定の領域Ｒ１に対してＲＡＮＳＡＣ法等を用いて、２つの特定の領域Ｒ１を通る平面方程式を算出することで、３Ｄ座標取得の誤差及びノイズの影響を低減することができる。
　ステップＳＴ２２では、算出部３２が第２座標情報に基づいて、特定の領域Ｒ１における複数の基準点と、複数の基準点から算出されるベクトルと、を算出する。算出部３２は、複数の基準点とベクトルとを算出することによって、特定の領域Ｒ１の位置と向きとを取得する。具体的には、算出部３２は、特定の領域Ｒ１の中心を通る線分（複数の基準点とベクトル）を算出する。
　図１８は、特定の領域Ｒ１における基準点Ｐ５，Ｐ６とベクトル（線分Ｖ１）の算出処理の一例を説明する概略図である。図１８は、図１７の基準対象物３である右側の支柱２ｂを示す。図１８に示すように、算出部３２は、特定の領域Ｒ１の下端と上端とにおいて、それぞれ、基準点Ｐ５，Ｐ６を算出する。
　実施の形態１では、第１機械学習モデル２１がＭａｓｋＲ－ＣＮＮを用いたＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎであるため、特定の領域Ｒ１を画定する４つの頂点Ｐ１～Ｐ４を検出している。このため、算出部３２は、４つの頂点Ｐ１～Ｐ４の２Ｄ座標から、基準点を容易に算出することができる。具体的には、算出部３２は、特定の領域Ｒ１の下辺の中点を基準点Ｐ５として算出し、特定の領域Ｒ１の上辺の中点を基準点Ｐ６として算出する。特定の領域Ｒ１の下辺は頂点Ｐ２と頂点Ｐ３とを結ぶ線分であり、特定の領域Ｒ１の上辺は頂点Ｐ１と頂点Ｐ４とを結ぶ線分である。算出部３２は、基準点Ｐ５から基準点Ｐ６へのベクトル、即ち線分Ｖ１を算出する。
　なお、線分Ｖ１は、基準対象物３となる２つの支柱２ｂのうちの１つの支柱２ｂを用いて算出する例について説明したが、これに限定されない。例えば、線分Ｖ１は、２つの支柱２ｂの特定の領域Ｒ１の中心を通る線分であってもよい。
　ステップＳＴ２３では、算出部３２が第１平面ＰＬ１の平面方程式、基準点Ｐ５、ベクトル（線分Ｖ１）及び定型荷姿構造情報２３に基づいてはみだし平面ＰＬ０の平面方程式（第３座標情報）を算出する。ステップＳＴ２１～ＳＴ２２で定型荷姿４の第１平面ＰＬ１の情報（平面方程式）と、特定の領域Ｒ１の線分Ｖ１（基準点Ｐ５及びベクトル）と、が得られている。算出部３２は、これらの情報と、定型荷姿構造情報２３に含まれる位置関係の情報を用いて、はみだし平面ＰＬ０の平面方程式（第３座標情報）を算出する。
　図１９は、はみだし平面ＰＬ０の算出の一例を説明する概略図である。図１９では、定型荷姿４の右側の平面がはみだし平面ＰＬ０である場合を説明する。図１９に示すように、算出部３２は、第１平面ＰＬ１と直交し、線分Ｖ１を延長する直線を交線とする仮想平面ＶＰＬ１を算出する。算出部３２は、定型荷姿構造情報２３に含まれる構造寸法から線分Ｖ１と定型荷姿４の右側の平面との距離Ｌ２を取得する。算出部３２は、仮想平面ＶＰＬ１を右側に距離Ｌ２を平行移動させることによって、はみだし平面ＰＬ０の平面方程式を算出する。なお、距離Ｌ２は、定型荷姿構造情報２３によって一意に定められる距離である。
　図１９に示す例において、定型荷姿４の右側のはみだし平面ＰＬ０の平面方程式は、以下の数式で表される。
　［平面方程式］
　ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
　ここで、「（ａ，ｂ，ｃ）」は単位ベクトル、「ｄ」は定数、「（ｘ，ｙ，ｚ）」は座標である。なお、「（ａ，ｂ，ｃ）」は、定型荷姿４の外側を向いた方向単位ベクトルである。図１５に示す例では、「（ａ，ｂ，ｃ）」が定型荷姿４の右側の平面（はみだし平面ＰＬ０）の図１５の右側を向いた法線方向単位ベクトルとなるようａ，ｂ，ｃ，ｄを求める。
　はみだし平面ＰＬ０からの荷物５のはみだし長Ｌ１は、以下の数式で求められる。
　［はみだし長の算出式］
　ｆ（ｘ，ｙ，ｚ）＝ａｘ＋ｂｙ＋ｃｚ＋ｄ
　ｆ（ｘ，ｙ，ｚ）＜０の場合はみだし長は０とする
　上記はみだし長Ｌ１の算出式を、荷物５を構成する３Ｄ座標、即ち荷物５の領域Ｒ２の３Ｄ座標に適用する。これにより、はみだし平面ＰＬ０より外側に位置する荷物５のはみだし領域Ｒ３のはみだし長Ｌ１を算出することができる。なお、上記した数式によるはみだし平面ＰＬ０の平面方程式の算出は、一例であって、これに限定されない。
　実施の形態１では、算出されたはみだし長Ｌ１のうち最大はみだし長Ｌｍａｘが出力される。
　図２０は、荷物５の最大はみだし長Ｌｍａｘの算出処理の一例を説明するフローチャートである。図２０に示すように、算出部３２は、荷物５の最大はみだし長Ｌｍａｘを算出するために、ステップＳＴ３１～ＳＴ３７を実施する。
　ステップＳＴ３１では、算出部３２が最大はみだし長Ｌｍａｘを「０」で初期化する。
　ステップＳＴ３２では、算出部３２がはみだし長Ｌ１の算出式を算出する。具体的には、上述したように、算出部３２がはみだし平面ＰＬ０の平面方程式「ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０」に基づいて、はみだし長Ｌ１の算出式「ｆ（ｘ，ｙ，ｚ）＝ａｘ＋ｂｙ＋ｃｚ＋ｄ」を算出する。
　ステップＳＴ３３では、算出部３２が荷物５の領域Ｒ２の１画素の３Ｄ座標（ｘ，ｙ，ｚ）を取得する。具体的には、算出部３２は、荷物５の領域Ｒ２の３Ｄ座標情報を示す第４座標情報に基づいて、荷物５の領域Ｒ２の１画素の３Ｄ座標（ｘ，ｙ，ｚ）を取得する。
　ステップＳＴ３４では、算出部３２がはみだし長Ｌ１の算出式ｆ（ｘ，ｙ，ｚ）及び荷物５の領域Ｒ２の１画素の３Ｄ座標（ｘ，ｙ，ｚ）に基づいて、はみだし長Ｌ１を算出する。
　ステップＳＴ３５では、算出部３２が、算出したはみだし長Ｌ１が最大はみだし長Ｌｍａｘより大きいか否かを判定する。最大はみだし長Ｌｍａｘは、記憶部２０に格納されている。なお、最初のはみだし長Ｌ１の算出においては、ステップＳＴ３１において最大はみだし長Ｌｍａｘが初期化されているため、最大はみだし長Ｌｍａｘは「０」である。
　ステップＳＴ３５では、算出したはみだし長Ｌ１が最大はみだし長Ｌｍａｘより大きい場合（ステップＳＴ３５でＹｅｓ）、処理はステップＳＴ３６へ進む。算出したはみだし長Ｌ１が最大はみだし長Ｌｍａｘ以下である場合（ステップＳＴ３５でＮｏ）、処理はステップＳＴ３７へ進む。
　ステップＳＴ３６では、算出部３２が、算出したはみだし長Ｌ１を最大はみだし長Ｌｍａｘに設定する。
　ステップＳＴ３７では、算出部３２が、荷物の領域Ｒ２の全画素に対して処理したか否かを判定する。ステップＳＴ３７では、荷物の領域Ｒ２の全画素に対して処理している場合（ステップＳＴ３７でＹｅｓ）、処理が終了する。荷物の領域Ｒ２の全画素に対して処理していない場合（ステップＳＴ３７でＮｏ）、処理はステップＳＴ３３に戻る。
　図２０に示す算出処理は一例であって、荷物５の最大はみだし長Ｌｍａｘの算出処理はこれに限定されない。例えば、算出部３２は、荷物５の領域Ｒ２の全画素に対してはみだし長Ｌ１を算出して、各画素におけるはみだし長Ｌ１を記憶部２０に格納する。そして、荷物５の領域Ｒ２の全画素に対してはみだし長Ｌ１の算出を完了した後に、算出部３２は、算出したはみだし長Ｌ１の中で最も大きい値を検出し、当該値を最大はみだし長Ｌｍａｘとして算出してもよい。
　また、撮像部１０による対象物６の撮像時に、パレット２に載置されていない別の荷物が撮像され、はみだし長Ｌ１の測定対象ではない荷物が画像データ１１に写る場合がある。この場合、画像処理部３１が測定対象ではない荷物も荷物５の領域Ｒ２として抽出する場合がある。これを避けるため、算出部３２は、パレット２に載置されている荷物５の領域Ｒ２を特定する処理を実施してもよい。
　算出部３２は、第１平面ＰＬ１の３Ｄ座標情報及び定型荷姿構造情報２３に基づいて、定型荷姿４において対向する２つの平面の３Ｄ座標を算出してもよい。算出部３２は、対向する２つの平面の３Ｄ座標から対向する２つの平面で挟まれた領域を算出し、対向する２つの平面で挟まれた領域において、荷物５のはみだし長Ｌ１を算出してもよい。
　一例として、撮像部１０により撮像された画像データ１１において、対象物６の奥に測定対象ではない荷物が写っている場合を説明する。この場合、算出部３２は、定型荷姿４において対向する第１平面ＰＬ１及び第２平面の３Ｄ座標を含む第３座標情報を取得する。また、算出部３２は、第１平面ＰＬ１及び第２平面の３Ｄ座標から第１平面ＰＬ１及び第２平面で挟まれた領域を算出し、第１平面ＰＬ１及び第２平面で挟まれた領域において、荷物５のはみだし長Ｌ１を算出する。具体的には、算出部３２は、定型荷姿４の第１平面ＰＬ１の平面方程式と、第１平面ＰＬ１と対向する第２平面の平面方程式と、を算出する。第１平面ＰＬ１の平面方程式は、図１６に示すステップＳＴ２１と同様の方法で取得してもよい。第２平面ＰＬ２の平面方程式は、第１平面ＰＬ１の平面方程式と定型荷姿構造情報２３とに基づいて算出してもよい。算出部３２は、第１平面ＰＬ１の平面方程式及び第２平面の平面方程式に基づいて、第１平面ＰＬ１と第２平面とで挟まれた領域を算出し、当該領域に存在する荷物５のはみだし長Ｌ１を算出する。これにより、第２平面よりも奥側に位置する測定対象ではない別の荷物を除外して、荷物５のはみだし長Ｌ１を測定することができる。
　別例として、撮像部１０により撮像された画像データ１１において、上下方向に２つのパレット２が積載された荷物が写っている場合について説明する。この場合、算出部３２は、定型荷姿４において対向する上面及び底面の３Ｄ座標を含む第３座標情報を取得する。また、算出部３２は、上面及び底面の３Ｄ座標から上面及び底面で挟まれた領域を算出し、上面及び底面で挟まれた領域において、荷物５のはみだし長Ｌ１を算出する。具体的には、算出部３２は、定型荷姿４の上面の平面方程式と、上面と対向する底面の平面方程式と、を算出する。定型荷姿４の上面の平面方程式及び底面の平面方程式は、第１平面ＰＬ１の平面方程式と基準点Ｐ５と線分Ｖ１と定型荷姿構造情報２３とに基づいて算出してもよい。算出部３２は、上面の平面方程式及び底面の平面方程式に基づいて、上面と底面とで挟まれた領域を算出し、当該領域に存在する荷物５のはみだし長Ｌ１を算出する。これにより、パレット２の上方に積載された別のパレットの荷物を除外して、荷物５のはみだし長Ｌ１を測定することができる。
　別例として、撮像部１０により撮像された画像データ１１において、荷物５のはみだし方向に、測定対象ではない別の荷物が写っている場合について説明する。この場合、算出部３２は、パレット２からはみ出している荷物５において連続している部分を、荷物５の領域Ｒ２として処理する。具体的には、算出部３２は、定型荷姿４において荷物５のはみ出しの基準となるはみだし平面ＰＬ０から連続する荷物５のはみだし領域Ｒ３を特定し、当該領域に存在する荷物５のはみだし長Ｌ１を算出する。これにより、荷物５のはみだし方向に配置されている別の荷物を除外して、荷物５のはみだし長Ｌ１を測定することができる。
　［効果］
　実施の形態１に係る測定装置１によれば、以下の効果を奏することができる。
　本開示の実施の形態１に係る測定装置１は、撮像部１０、画像処理部３１及び算出部３２を備える。撮像部１０は、基準対象物３を有するパレット２及び荷物５を含む対象物６を撮像する。画像処理部３１は、撮像部１０により撮像された対象物６の画像データ１１に基づいて基準対象物３における特定の領域Ｒ１及び荷物５の領域Ｒ２を抽出する。算出部３２は、画像データ１１と関連付けられた３Ｄ座標を示す第１座標情報１２及び特定の領域Ｒ１の座標と関連付けられたパレット２の定型荷姿４の構造寸法を示す定型荷姿構造情報２３を取得する。また、算出部３２は、特定の領域Ｒ１、荷物５の領域Ｒ２、第１座標情報１２及び定型荷姿構造情報２３に基づいて、パレット２からはみ出す荷物５のはみだし長Ｌ１を算出する。画像処理部３１は、第１機械学習モデル２１に、撮像部１０により撮像された対象物６の画像データ１１を入力データとして入力することによって、基準対象物３における特定の領域Ｒ１を抽出した出力データを取得する。第１機械学習モデル２１では、基準対象物３を有するパレット２の画像データと、基準対象物３における特定の領域Ｒ１を示すデータと、を教師データとして機械学習が行われる。
　このような構成により、パレット２からはみ出した荷物５のはみだし長Ｌ１を測定することができる。また、測定装置１においては、ユーザは、撮像部１０によって基準対象物３を有するパレット２及び荷物５を含む対象物６を撮像することで、荷物５のはみだし長Ｌ１を容易に測定することができる。これにより、荷物５のはみだし長Ｌ１の測定作業の効率を向上させることができる。
　第１機械学習モデル２１は、ＭａｓｋＲ－ＣＮＮを用いたＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎである。このような構成により、基準対象物３における特定の領域Ｒ１を精度高く抽出することができる。
　基準対象物３は、特定の領域Ｒ１を画定する複数の頂点Ｐ１～Ｐ４を有する。第１機械学習モデル２１は、画像データ１１において複数の頂点Ｐ１～Ｐ４を検出する。このような構成により、基準対象物３における特定の領域Ｒ１をより精度高く抽出することができる。
　基準対象物３は、少なくとも１つの基準平面３ａを有する。画像処理部３１は、少なくとも１つの基準平面３ａに基づいて特定の領域Ｒ１を抽出する。このような構成により、基準対象物３における特定の領域Ｒ１をより精度高く抽出することができる。
　少なくとも１つの基準平面３ａは複数の基準平面から構成され、複数の基準平面３ａは、同一平面上で互いに離れて配置される。このような構成により、３Ｄ座標取得の誤差及びノイズの影響を抑制することができるため、基準対象物３における特定の領域Ｒ１をより精度高く抽出することができる。
　パレット２は、底板２ａと、底板２ａに設けられた複数の支柱２ｂと、を有する。基準対象物３は、複数の支柱２ｂのうち少なくとも１つの支柱である。このような構成により、荷物５のはみだし長Ｌ１をより容易に測定することができる。
　複数の支柱２ｂは、底板２ａの外縁に沿って配置される。少なくとも１つの支柱２ｂは、底板２ａの外縁側に基準平面３ａとなる平面を有する。画像処理部３１は、平面に基づいて特定の領域Ｒ１を抽出する。このような構成により、基準平面３ａに基づいて特定の領域Ｒ１をより精度高く抽出することができると共に、荷物５のはみだし長Ｌ１をより容易に測定することができる。
　画像処理部３１は、第２機械学習モデル２２に、対象物６の画像データ１１を入力データとして入力することによって、荷物５の領域Ｒ２を抽出した出力データを取得する。第２機械学習モデル２２では、パレット２に載置された荷物５の画像データと、荷物５の領域Ｒ２を示すデータと、を教師データとして機械学習が行われる。このような構成により、荷物５の領域Ｒ２を精度高く抽出することができる。
　第２機械学習モデル２２は、ＭａｓｋＲ－ＣＮＮモデルを用いたＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｉｏｎである。このような構成により、荷物５の領域Ｒ２をより精度高く抽出することができる。
　撮像部１０は、対象物６を撮像することによって、対象物６の画像データ１１及び第１座標情報１２を取得する。このような構成により、画像データ１１及び第１座標情報１２を容易に取得することができる。また、算出部３２において、座標変換処理などの処理を省略することができる。
　算出部３２は、特定の領域Ｒ１及び第１座標情報１２に基づいて、特定の領域Ｒ１の３Ｄ座標を示す第２座標情報を取得する。算出部３２は、第２座標情報及び定型荷姿構造情報２３に基づいて、特定の領域Ｒ１により画定される定型荷姿の３Ｄ座標を示す第３座標情報を取得する。算出部３２は、荷物５の領域Ｒ２及び第１座標情報１２に基づいて、荷物５の領域Ｒ２の３Ｄ座標を示す第４座標情報を取得する。算出部３２は、第３座標情報及び第４座標情報に基づいて、荷物５のはみだし長Ｌ１を算出する。このような構成により、特定の領域Ｒ１及び荷物５の領域Ｒ２を精度高く抽出しつつ、荷物５のはみだし長Ｌ１を精度高く測定することができる。
　算出部３２は、定型荷姿４において荷物５のはみ出しの基準となるはみだし平面ＰＬ０の平面方程式を少なくとも含む第３座標情報を取得する。算出部３２は、はみだし平面ＰＬ０の平面方程式及び第４座標情報に基づいて、荷物５のはみだし長Ｌ１を算出する。このような構成により、特定の領域Ｒ１及び荷物５の領域Ｒ２をより精度高く抽出しつつ、荷物５のはみだし長Ｌ１をより精度高く測定することができる。
　算出部３２は、第２座標情報に基づいて、特定の領域Ｒ１を含む基準対象物３が配置される側の定型荷姿４の第１平面ＰＬ１の平面方程式を算出する。算出部３２は、第２座標情報に基づいて、特定の領域Ｒ１における複数の基準点Ｐ５，Ｐ６と、複数の基準点Ｐ５，Ｐ６から算出されるベクトルと、を算出する。算出部３２は、第１平面ＰＬ１の平面方程式、基準点Ｐ５、ベクトル及び定型荷姿構造情報２３に基づいてはみだし平面ＰＬ０の平面方程式を算出する。このような構成により、荷物５のはみだし長Ｌ１をより精度高く測定することができる。
　算出部３２は、定型荷姿４において対向する２つの平面の３Ｄ座標を含む第３座標情報を取得し、２つの平面の３Ｄ座標から２つの平面で挟まれた領域を算出し、２つの平面で挟まれた領域において、荷物５のはみだし長Ｌ１を算出する。このような構成により、パレット２に載置されていない、即ち、測定対象ではない別の荷物を除外して、荷物５のはみだし長Ｌ１を測定することができる。
　算出部３２は、パレット２からはみ出している荷物において定型荷姿４の領域から連続している領域を、荷物５の領域Ｒ２として処理する。このような構成により、パレット２に載置されていない、即ち、測定対象ではない別の荷物を除外して、荷物５のはみだし長Ｌ１を測定することができる。
　算出部３２は、荷物５のはみだし長Ｌ１のうち最も大きい値（最大はみだし長Ｌｍａｘ）を算出する。このような構成により、荷物５においてパレット２から最もはみ出している部分の最大はみだし長Ｌｍａｘの情報を得ることができる。
　測定装置１は、はみだし長Ｌ１を出力する出力部４０を更に備える。このような構成により、ユーザははみだし長Ｌ１を容易に知ることができる。
　本開示の実施の形態１に係る測定方法においても、上述した測定装置１と同様の効果を奏する。
　なお、実施の形態１では、撮像部１０がパレット２及び荷物５を含む対象物６を撮像することによって、画像データ１１と、画像データ１１と関連付けられた３Ｄ座標情報である第１座標情報１２を取得する例について説明したが、これに限定されない。例えば、撮像部１０は、第１座標情報１２を取得しなくてもよい。この場合、算出部３２が座標変換処理によって画像データ１１に対応する３Ｄ座標を取得してもよい。
　実施の形態１では、記憶部２０が第１機械学習モデル２１、第２機械学習モデル２２及び定型荷姿構造情報２３を格納する例について説明したが、これに限定されない。例えば、第１機械学習モデル２１、第２機械学習モデル２２及び定型荷姿構造情報２３は、ネットワーク上のサーバに格納されていてもよい。この場合、測定装置１は、サーバと通信する通信部を備え、通信部によってサーバから第１機械学習モデル２１、第２機械学習モデル２２及び定型荷姿構造情報２３を取得してもよい。通信部は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface）を含む。
　実施の形態１では、測定装置１の例について説明したが、これに限定されない。例えば、本開示は、測定装置とサーバとを備える測定システムやサーバの態様で構成されてもよい。例えば、測定システムは、撮像部１０、算出部３２、出力部４０及び通信部を備える測定装置１と、記憶部２０、画像処理部３１及び通信部を備えるサーバと、を備えてもよい。測定システムでは、測定装置がステップＳＴ１，ＳＴ４～ＳＴ６の処理を実行し、サーバがステップＳＴ２、ＳＴ３の処理を実行してもよい。なお、測定システムの構成は、これに限定されない。例えば、測定システムにおいては、記憶部２０、画像処理部３１、算出部３２及び出力部４０は、測定装置に含まれていてもよいし、サーバに含まれていてもよい。また、測定システムでは、測定装置１及びサーバがそれぞれ、記憶部２０に格納される要素のうち少なくとも１つの要素を格納する記憶部を備えてもよい。例えば、第１機械学習モデル２１、第２機械学習モデル２２及び定型荷姿構造情報２３は、測定装置の記憶部に格納されていてもよいし、サーバの記憶部に格納されていてもよい。また、ステップＳＴ１～ＳＴ６の処理を実行する主体は、上記した例に限定されない。ステップＳＴ２～ＳＴ６の処理は、測定装置で実行されてもよいし、サーバで実行されてもよい。また、測定システムは、測定装置及びサーバ以外の他の装置を備えていてもよい。
　実施の形態１では、制御部３０において、画像処理部３１及び算出部３２がそれぞれ別個の要素である例について説明したが、これに限定されない。例えば、画像処理部３１及び算出部３２は、１つの要素として一体的に形成されていてもよい。あるいは、画像処理部３１及び算出部３２は、それぞれ、複数の要素に分けられていてもよい。例えば、画像処理部３１は、特定の領域Ｒ１を抽出する第１画像処理部と、荷物５の領域を抽出する第２画像処理部と、に分けられてもよい。算出部３２は、第１座標情報～第４座標情報を取得する第１算出部と、荷物５のはみだし長Ｌ１を算出する第２算出部と、に分けられていてもよい。
　実施の形態１では、基準対象物３が複数の支柱２ｂである例について説明したが、これに限定されない。基準対象物３は、パレット２において特定の領域Ｒ１を抽出するための基準となる対象物であればよい。
　実施の形態１では、画像処理部３１が第２機械学習モデル２２を用いて荷物５の領域Ｒ２を抽出する例について説明したが、これに限定されない。例えば、画像処理部３１は、ユーザからの入力情報に基づいて、荷物５の領域Ｒ２を抽出してもよい。この場合、測定装置１は、ユーザからの入力情報を受け付ける入力部を備えていてもよい。入力部は、例えば、タッチパネルなどの入力インタフェースであってもよい。このように、測定装置１は、ユーザにより入力された荷物５の領域Ｒ２の情報に基づいて、荷物５のはみだし長Ｌ１を算出してもよい。
　実施の形態１では、算出部３２がはみだし長Ｌ１を算出する例を説明したが、これに限定されない。例えば、算出部３２は、荷物５のはみだし幅やはみだし高を算出してもよい。
　実施の形態１では、出力部４０が最大はみだし長Ｌｍａｘを出力する例について説明したが、これに限定されない。例えば、出力部４０は、特定の位置のはみだし長Ｌ１を出力してもよい。この場合、測定装置１は、ユーザからの入力情報を受け付ける入力部を備えていてもよい。測定装置１は、ユーザにより入力された荷物５の領域Ｒ２内の位置の情報に基づいて、当該位置に対応する荷物５のはみだし長Ｌ１を出力してもよい。
　実施の形態１では、第３座標情報がはみだし平面ＰＬ０の３Ｄ座標の情報である例について説明したが、これに限定されない。第３座標情報は、はみだし平面ＰＬ０の３Ｄ座標情報を少なくとも含んでいればよい。第３座標情報は、はみだし平面ＰＬ０以外に、定型荷姿４を構成する平面の３Ｄ座標情報を含んでいてもよい。例えば、第３座標情報は、定型荷姿４の６面すべての３Ｄ座標情報を含んでいてもよいし、定型荷姿４の６面のうち複数の平面の３Ｄ座標を含んでいてもよい。
　実施の形態１では、定型荷姿４の右側の平面がはみだし平面ＰＬ０として予め決定されている例について説明したが、これに限定されない。はみだし平面ＰＬ０は、定型荷姿４の６面のうち少なくとも１面がはみだし平面ＰＬ０として予め決定されていてもよい。例えば、定型荷姿４の右側と左側の２平面が、はみだし平面ＰＬ０として予め決定されていてもよい。あるいは、定型荷姿４の上側の平面が、はみだし平面ＰＬ０として予め決定されていてもよい。
　実施の形態１では、はみだし平面ＰＬ０が予め決定されている例について説明したが、これに限定されない。例えば、はみだし平面ＰＬ０は、第４座標情報に基づいて決定されてもよい。例えば、算出部３２は、第４座標情報に基づいて、荷物５のはみ出している方向を推定し、荷物５のはみ出している方向の平面をはみだし平面ＰＬ０として決定してもよい。この場合、第３座標情報は、定型荷姿４の６平面すべての３Ｄ座標情報を含んでいてもよいし、定型荷姿４の６平面のうち２平面以上の３Ｄ座標情報を含んでいてもよい。算出部３２は、第４座標情報に基づいて推定されたはみだし方向を推定し、定型荷姿４の平面のうち、はみだし方向に位置する平面をはみだし平面ＰＬ０として決定してもよい。
　実施の形態１では、定型荷姿４が６平面を有する直方体である例について説明したが、これに限定されない。例えば、定型荷姿４は、四角錐台などの形状であってもよい。
　実施の形態１では、第３座標情報として、はみだし平面ＰＬ０の平面方程式を算出する例について説明したが、これに限定されない。第３座標情報は、はみだし平面ＰＬ０の３Ｄ座標の情報を含んでいればよく、平面方程式に限定されない。
　本開示は、添付図面を参照しながら好ましい実施の形態に関連して充分に記載されているが、この技術に熟練した人々にとっては種々の変形や修正は明白である。そのような変形や修正は、添付した請求の範囲による本発明の範囲から外れない限りにおいて、その中に含まれると理解されるべきである。
　本開示の測定装置及び測定方法は、パレットからはみ出した荷物のはみだし長を容易に測定することができるため、トラックや倉庫に荷物を積載するなどの運送の分野に適する。
　１　測定装置
　２　パレット
　２ａ　底板
　２ｂ　支柱
　３　基準対象物
　３ａ　基準平面
　４　定型荷姿
　５　荷物
　６　対象物
　１０　撮像部
　１１　画像データ
　１２　第１座標情報（３Ｄ座標情報）
　２０　記憶部
　２１　第１機械学習モデル
　２２　第２機械学習モデル
　２３　定型荷姿構造情報
　３０　制御部
　３１　画像処理部
　３２　算出部
　４０　出力部
　Ｌ１　はみだし長
　Ｌｍａｘ　最大はみだし長
　Ｐ１，Ｐ２，Ｐ３，Ｐ４　頂点
　Ｐ５，Ｐ６　基準点
　ＰＬ０　はみだし平面
　ＰＬ１　第１平面
　ＰＬ２　第２平面
　Ｒ１　特定の領域
　Ｒ２　荷物の領域
　Ｒ３　はみだし領域

Claims (19)

  1. 　基準対象物を有するパレット及び荷物を含む対象物を撮像する撮像部と、
    　前記撮像部により撮像された前記対象物の画像データに基づいて前記基準対象物における特定の領域及び前記荷物の領域を抽出する画像処理部と、
    　前記画像データと関連付けられた３Ｄ座標を示す第１座標情報及び前記特定の領域の座標と関連付けられた前記パレットの定型荷姿の構造寸法を示す定型荷姿構造情報を取得し、前記特定の領域、前記荷物の領域、前記第１座標情報及び前記定型荷姿構造情報に基づいて、前記パレットからはみ出す荷物のはみだし長を算出する算出部と、
    を備え、
    　前記画像処理部は、前記基準対象物を有するパレットの画像データと、前記基準対象物における前記特定の領域を示すデータと、を教師データとして機械学習が行われた第１機械学習モデルに、前記撮像部により撮像された前記対象物の画像データを入力データとして入力することによって、前記基準対象物における前記特定の領域を抽出した出力データを取得する、
    測定装置。
  2. 　前記基準対象物は、前記特定の領域を画定する複数の頂点を有し、
    　前記第１機械学習モデルは、前記画像データにおいて前記複数の頂点を検出する、
    請求項１に記載の測定装置。
  3. 　前記第１機械学習モデルは、ＭａｓｋＲ－ＣＮＮを用いたＫｅｙＰｏｉｎｔＤｅｔｅｃｔｉｏｎである、
    請求項２に記載の測定装置。
  4. 　前記基準対象物は、少なくとも１つの基準平面を有し、
    　前記画像処理部は、前記少なくとも１つの基準平面に基づいて前記特定の領域を抽出する、
    請求項１～３のいずれか一項に記載の測定装置。
  5. 　前記少なくとも１つの基準平面は複数の基準平面であり、
    　前記複数の基準平面は、同一平面上で互いに離れて配置される、
    請求項４に記載の測定装置。
  6. 　前記パレットは、底板と、前記底板に設けられた複数の支柱と、を有し、
    　前記基準対象物は、前記複数の支柱のうち少なくとも１つの支柱である、
    請求項１～５のいずれか一項に記載の測定装置。
  7. 　前記複数の支柱は、前記底板の外縁に沿って配置され、
    　前記少なくとも１つの支柱は、前記底板の外縁側に基準平面となる平面を有し、
    　前記画像処理部は、前記平面に基づいて前記特定の領域を抽出する、
    請求項６に記載の測定装置。
  8. 　前記画像処理部は、前記パレットに載置された荷物の画像データと、前記荷物の領域を示すデータと、を教師データとして機械学習が行われた第２機械学習モデルに、前記対象物の画像データを入力データとして入力することによって、前記荷物の領域を抽出した出力データを取得する、
    請求項１～７のいずれか一項に記載の測定装置。
  9. 　前記第２機械学習モデルは、ＭａｓｋＲ－ＣＮＮモデルを用いたＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｉｏｎである、
    請求項８に記載の測定装置。
  10. 　前記撮像部は、前記対象物を撮像することによって、前記対象物の画像データ及び前記第１座標情報を取得する、
    請求項１～９のいずれか一項に記載の測定装置。
  11. 　前記算出部は、
    　　前記特定の領域及び前記第１座標情報に基づいて、前記特定の領域の３Ｄ座標を示す第２座標情報を取得し、
    　　前記第２座標情報及び前記定型荷姿構造情報に基づいて、前記特定の領域により画定される前記定型荷姿の３Ｄ座標を示す第３座標情報を取得し、
    　　前記荷物の領域及び前記第１座標情報に基づいて、前記荷物の領域の３Ｄ座標を示す第４座標情報を取得し、
    　　前記第３座標情報及び前記第４座標情報に基づいて、前記荷物のはみだし長を算出する、
    請求項１～１０のいずれか一項に記載の測定装置。
  12. 　前記算出部は、
    　　前記定型荷姿において前記荷物のはみ出しの基準となるはみだし平面の平面方程式を少なくとも含む前記第３座標情報を取得し、
    　　前記はみだし平面の平面方程式及び前記第４座標情報に基づいて、前記荷物のはみだし長を算出する、
    請求項１１に記載の測定装置。
  13. 　前記算出部は、
    　　前記第２座標情報に基づいて、前記特定の領域を含む前記基準対象物が配置される側の前記定型荷姿の第１平面の平面方程式を算出し、
    　　前記第２座標情報に基づいて、前記特定の領域における複数の基準点と、前記複数の基準点から算出されるベクトルと、を算出し、
    　　前記第１平面の平面方程式、前記複数の基準点のうち少なくとも１つの基準点、前記ベクトル及び前記定型荷姿構造情報に基づいて前記はみだし平面の平面方程式を算出する、
    請求項１２に記載の測定装置。
  14. 　前記算出部は、
    　　前記定型荷姿において対向する２つの平面の３Ｄ座標を含む前記第３座標情報を取得し、
    　　前記２つの平面の３Ｄ座標から前記２つの平面で挟まれた領域を算出し、
    　　前記２つの平面で挟まれた領域において、前記荷物のはみだし長を算出する、
    請求項１３に記載の測定装置。
  15. 　前記算出部は、前記パレットからはみ出している荷物において、前記定型荷姿の領域から連続して荷物の存在する領域を、前記荷物の領域として処理する、
    請求項１～１４のいずれか一項に記載の測定装置。
  16. 　前記算出部は、前記荷物のはみだし長のうち最大はみだし長を算出する、
    請求項１～１５のいずれか一項に記載の測定装置。
  17. 　前記はみだし長を出力する出力部を更に備える、
    請求項１～１６のいずれか一項に記載の測定装置。
  18. 　基準対象物を有するパレット及び荷物を含む対象物を撮像するステップと、
    　撮像された前記対象物の画像データに基づいて前記基準対象物における特定の領域を抽出するステップと、
    　撮像された前記対象物の画像データに基づいて前記荷物の領域を抽出するステップと、
    　前記画像データと関連付けられた３Ｄ座標を示す第１座標情報及び前記特定の領域の座標と関連付けられた前記パレットの定型荷姿の構造寸法を示す定型荷姿構造情報を取得するステップと、
    　前記特定の領域、前記荷物の領域、前記第１座標情報及び前記定型荷姿構造情報に基づいて、前記パレットからはみ出す荷物のはみだし長を算出するステップと、
    を含み、
    　前記基準対象物における前記特定の領域を抽出するステップは、前記基準対象物を有するパレットの画像データと、前記基準対象物における前記特定の領域を示すデータと、を教師データとして機械学習が行われた第１機械学習モデルに、撮像された前記対象物の画像データを入力データとして入力することによって、前記基準対象物における前記特定の領域を抽出した出力データを取得すること、を有する、
    測定方法。
  19. 　コンピュータに請求項１８に記載の方法を実行させるためのプログラム。
PCT/JP2022/010325 2021-03-31 2022-03-09 測定装置及び測定方法 WO2022209667A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023510777A JPWO2022209667A1 (ja) 2021-03-31 2022-03-09
CN202280025818.1A CN117120801A (zh) 2021-03-31 2022-03-09 测定装置以及测定方法
US18/372,068 US20240013422A1 (en) 2021-03-31 2023-09-23 Measurement device and measurement method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-061255 2021-03-31
JP2021061255 2021-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/372,068 Continuation US20240013422A1 (en) 2021-03-31 2023-09-23 Measurement device and measurement method

Publications (1)

Publication Number Publication Date
WO2022209667A1 true WO2022209667A1 (ja) 2022-10-06

Family

ID=83458860

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010325 WO2022209667A1 (ja) 2021-03-31 2022-03-09 測定装置及び測定方法

Country Status (4)

Country Link
US (1) US20240013422A1 (ja)
JP (1) JPWO2022209667A1 (ja)
CN (1) CN117120801A (ja)
WO (1) WO2022209667A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202110A (ja) * 2000-12-27 2002-07-19 Ishikawajima Harima Heavy Ind Co Ltd 搬送状態測定装置及び方法
JP2020015574A (ja) * 2018-07-24 2020-01-30 Ykk Ap株式会社 荷積みプラン作成システム、荷積みプラン作成方法およびプログラム
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 採寸装置及び採寸方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202110A (ja) * 2000-12-27 2002-07-19 Ishikawajima Harima Heavy Ind Co Ltd 搬送状態測定装置及び方法
JP2020015574A (ja) * 2018-07-24 2020-01-30 Ykk Ap株式会社 荷積みプラン作成システム、荷積みプラン作成方法およびプログラム
WO2020066847A1 (ja) * 2018-09-28 2020-04-02 パナソニックＩｐマネジメント株式会社 採寸装置及び採寸方法

Also Published As

Publication number Publication date
JPWO2022209667A1 (ja) 2022-10-06
US20240013422A1 (en) 2024-01-11
CN117120801A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
US9659217B2 (en) Systems and methods for scale invariant 3D object detection leveraging processor architecture
JP6211734B1 (ja) ステレオ処理及び構造化光処理の組み合わせ
WO2020211564A1 (zh) 仓储地图快速确定方法、设备、存储介质及机器人
US20170150129A1 (en) Dimensioning Apparatus and Method
US20200007855A1 (en) Stereo Correspondence and Depth Sensors
US20210207943A1 (en) Measurement device and measurement method
US9135710B2 (en) Depth map stereo correspondence techniques
US10466033B2 (en) Device, method and apparatus for measuring size of object
US8994726B1 (en) Systems and methods for preparing a model of an environment for display
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
CA2943068A1 (en) Dimensional acquisition of packages
KR101798132B1 (ko) 로봇의 충돌 검출 고속화를 위한 작업 환경 모델링 장치 및 방법
US20220309761A1 (en) Target detection method, device, terminal device, and medium
CN102436676A (zh) 一种智能视频监控的三维重建方法
US20230213944A1 (en) Robot and control method therefor
US10679367B2 (en) Methods, systems, and apparatuses for computing dimensions of an object using angular estimates
WO2023173727A1 (zh) 图像处理方法、装置及电子设备
WO2022209667A1 (ja) 測定装置及び測定方法
US20240070985A1 (en) Surface partition with plane and line constraints
EP3971831B1 (en) Method and device for acquiring posture information and determining object symmetry, and storage medium
US8994725B1 (en) Systems and methods for generating a model of an environment
JP6512852B2 (ja) 情報処理装置、情報処理方法
JP2010216969A (ja) 位置計測システム、プログラム、標識セットおよび位置計測用の対象物
TWI526986B (zh) 虛擬定位板及應用該虛擬定位板之建物檢測方法
WO2023157443A1 (ja) 物体姿勢算出装置および物体姿勢算出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779890

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510777

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779890

Country of ref document: EP

Kind code of ref document: A1