WO2021220783A1 - 充填率計測方法、情報処理装置およびプログラム - Google Patents

充填率計測方法、情報処理装置およびプログラム Download PDF

Info

Publication number
WO2021220783A1
WO2021220783A1 PCT/JP2021/015149 JP2021015149W WO2021220783A1 WO 2021220783 A1 WO2021220783 A1 WO 2021220783A1 JP 2021015149 W JP2021015149 W JP 2021015149W WO 2021220783 A1 WO2021220783 A1 WO 2021220783A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional model
filling rate
storage
measurement
stored
Prior art date
Application number
PCT/JP2021/015149
Other languages
English (en)
French (fr)
Inventor
右京 桂
徹 松延
敏康 杉尾
知一 一力
雅典 木村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202180029478.5A priority Critical patent/CN115427755A/zh
Priority to JP2022517604A priority patent/JPWO2021220783A1/ja
Priority to EP21795708.3A priority patent/EP4145085A4/en
Publication of WO2021220783A1 publication Critical patent/WO2021220783A1/ja
Priority to US17/967,066 priority patent/US20230035883A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30112—Baggage; Luggage; Suitcase

Definitions

  • This disclosure relates to a filling rate measuring method, an information processing device and a program.
  • Patent Document 1 discloses a three-dimensional shape measuring device that acquires a three-dimensional shape using a three-dimensional laser scanner.
  • the present disclosure provides a filling rate measuring method and the like that can calculate the filling rate of the object to be measured.
  • the first storage portion having a first storage space in which the measurement object is stored and having an opening is formed so as to face the first storage portion.
  • a storage three-dimensional model which is a three-dimensional model of the first storage unit in which the measurement object is not stored, is acquired by acquiring a spatial three-dimensional model obtained by measuring through the opening by the distance measuring sensor.
  • the model is acquired, and the object portion, which is the portion corresponding to the measurement object in the spatial three-dimensional model, is extracted and extracted by using the acquired spatial three-dimensional model and the stored three-dimensional model.
  • the object three-dimensional model which is a three-dimensional model of the measurement object in the first storage space, is estimated using the object portion, and the first storage three-dimensional model and the object three-dimensional model are used.
  • the first filling rate of the measurement object with respect to the storage space is calculated.
  • the information processing apparatus includes a processor and a memory, and the processor has a first storage space in which a measurement object is stored by using the memory, and has an opening.
  • a spatial three-dimensional model obtained by measuring the formed first storage unit from the first direction side through the opening by a distance measuring sensor facing the first storage unit is acquired.
  • the stored three-dimensional model which is a three-dimensional model of the first storage unit in which the measurement object is not stored, is acquired, and the stored three-dimensional model is used by using the acquired spatial three-dimensional model and the stored three-dimensional model.
  • An object part that is a part corresponding to the measurement object in the model is extracted, and the extracted object part is used to use the extracted object part to be a three-dimensional model of the measurement object in the first storage space.
  • the model is estimated, and the first filling rate of the measurement object with respect to the first storage space is calculated by using the storage three-dimensional model and the object three-dimensional model.
  • the present disclosure may be realized as a program for causing a computer to execute the steps included in the filling rate measuring method. Further, the present disclosure may be realized as a non-temporary recording medium such as a CD-ROM that can be read by a computer that records the program. The present disclosure may also be realized as information, data or signals indicating the program. Then, those programs, information, data and signals may be distributed via a communication network such as the Internet.
  • FIG. 1 is a diagram for explaining an outline of a filling rate measuring method according to an embodiment.
  • FIG. 2 is a block diagram showing a characteristic configuration of the three-dimensional measurement system according to the embodiment.
  • FIG. 3 is a diagram for explaining a first example of the configuration of the distance measuring sensor.
  • FIG. 4 is a diagram for explaining a second example of the configuration of the distance measuring sensor.
  • FIG. 5 is a diagram for explaining a third example of the configuration of the distance measuring sensor.
  • FIG. 6 is a block diagram showing the configuration of the coordinate system calculation unit of the first example.
  • FIG. 7 is a diagram for explaining a method of calculating the measured coordinate system by the coordinate system calculation unit of the first example.
  • FIG. 8 is a block diagram showing the configuration of the coordinate system calculation unit of the second example.
  • FIG. 1 is a diagram for explaining an outline of a filling rate measuring method according to an embodiment.
  • FIG. 2 is a block diagram showing a characteristic configuration of the three-dimensional measurement system according to the
  • FIG. 9 is a diagram for explaining a method of calculating the measured coordinate system by the coordinate system calculation unit of the second example.
  • FIG. 10 is a block diagram showing the configuration of the coordinate system calculation unit of the third example.
  • FIG. 11 is a diagram for explaining a method of calculating the measured coordinate system by the coordinate system calculation unit of the third example.
  • FIG. 12 is a block diagram showing an example of the configuration of the model generation unit.
  • FIG. 13 is a flowchart of a process for calculating the volume of the storage space by the model generation unit.
  • FIG. 14 is a block diagram showing an example of the configuration of the filling rate calculation unit.
  • FIG. 15 is a diagram for explaining an example of a filling rate calculation method by the filling rate calculation unit.
  • FIG. 10 is a block diagram showing the configuration of the coordinate system calculation unit of the third example.
  • FIG. 11 is a diagram for explaining a method of calculating the measured coordinate system by the coordinate system calculation unit of the third example.
  • FIG. 12 is
  • FIG. 16 is a diagram for explaining another example of the filling rate calculation method by the filling rate calculation unit.
  • FIG. 17 is a flowchart of a filling rate measuring method performed by the information processing apparatus.
  • FIG. 18 is a flowchart of a process of calculating the measured coordinate system by the coordinate system calculation unit of the first example.
  • FIG. 19 is a flowchart of a process of calculating the measured coordinate system by the coordinate system calculation unit of the second example.
  • FIG. 20 is a flowchart of a process of calculating the measured coordinate system by the coordinate system calculation unit of the third example.
  • FIG. 21 is a diagram for explaining a method of calculating the filling rate.
  • FIG. 22 is a block diagram showing an example of the configuration of the calculation unit of the filling rate calculation unit according to the modified example 1.
  • FIG. 23 is a flowchart of the filling rate calculation process of the calculation unit of the filling rate calculation unit according to the first modification.
  • FIG. 24 is a diagram showing an example in which two or more shelves are stored in a storage space such as a truck bed.
  • FIG. 25 is a table showing the relationship between the shelves stored in the storage space of the loading platform and the filling rate thereof.
  • FIG. 26 is a block diagram showing an example of the configuration of the calculation unit of the filling rate calculation unit according to the modified example 2.
  • FIG. 27 is a flowchart of the filling rate calculation process of the calculation unit of the filling rate calculation unit according to the modified example 2.
  • FIG. 28 is a diagram for explaining the configuration of the car trolley according to the modified example 3.
  • FIG. 24 is a diagram showing an example in which two or more shelves are stored in a storage space such as a truck bed.
  • FIG. 25 is a table showing the relationship between the shelves stored in the storage space of the loading platform and the filling rate thereof.
  • FIG. 29 is a block diagram showing an example of the configuration of the filling rate calculation unit according to the modified example 3.
  • FIG. 30 is a flowchart of the filling rate calculation process of the filling rate calculation unit according to the modified example 3.
  • FIG. 31 is a diagram for explaining an example of a second method for calculating the filling rate.
  • FIG. 32 is a diagram for explaining another example of the second method for calculating the filling rate.
  • FIG. 33 is a diagram for explaining a method of generating a spatial three-dimensional model according to the modified example 4.
  • FIG. 34 is a diagram for explaining a method of generating a spatial three-dimensional model according to the modified example 5.
  • the first storage portion having a first storage space in which the measurement object is stored and having an opening is formed so as to face the first storage portion.
  • a storage three-dimensional model which is a three-dimensional model of the first storage unit in which the measurement object is not stored, is acquired by acquiring a spatial three-dimensional model obtained by measuring through the opening by the distance measuring sensor.
  • the model is acquired, and the object portion, which is the portion corresponding to the measurement object in the spatial three-dimensional model, is extracted and extracted by using the acquired spatial three-dimensional model and the stored three-dimensional model.
  • the object three-dimensional model which is a three-dimensional model of the measurement object in the first storage space, is estimated using the object portion, and the first storage three-dimensional model and the object three-dimensional model are used.
  • the first filling rate of the measurement object with respect to the storage space is calculated.
  • the object three-dimensional model may be estimated based on the first three-dimensional coordinate system based on the shape of a part of the first storage portion.
  • the first three-dimensional coordinate system may be calculated based only on the shape of the part of the first storage unit.
  • the shape of only a part of the first storage portion that can be easily extracted on the image can be used for the calculation of the first three-dimensional coordinate system. Therefore, the processing speed of estimation of the object three-dimensional model can be improved, and the calculation accuracy of the first three-dimensional coordinate system can be improved.
  • the partial shape may be the shape of the opening.
  • the coordinate system based on the shape of the opening can be easily calculated, and the three-dimensional model of the object can be estimated based on the calculated coordinate system.
  • the object three-dimensional model may be estimated based on the first three-dimensional coordinate system based on the position of the marker installed in the first storage unit.
  • the coordinate system based on the marker can be easily calculated, and the three-dimensional model of the object can be estimated based on the calculated coordinate system.
  • the second portion that does not face the measurement target is based on the shape of the first portion in which the distance measurement sensor faces the measurement target in the direction from the distance measurement sensor toward the measurement target.
  • the three-dimensional model of the object may be estimated by estimating the shape of the portion.
  • the three-dimensional model of the object can be estimated.
  • the first storage portion further has a through hole and an opening / closing portion arranged so as to cover the opening in the closed state, and the first portion is in the closed state in the above direction.
  • the opening / closing portion is a portion facing the through hole
  • the second portion is a portion hidden by the opening / closing portion in a closed state in the direction
  • the filling rate measuring method further comprises the opening / closing portion.
  • the estimation method of the object three-dimensional model is switched according to the opening / closing state of the opening / closing part. Therefore, the three-dimensional model of the object can be estimated appropriately.
  • the above-mentioned direction may be along the horizontal direction.
  • the ratio of the volume of the measurement object stored in the first storage space to the volume of the space in which the measurement object can be stored in the first storage space is the first. It may be calculated as a filling rate.
  • first storage unit and the additional first storage unit are stored in the second storage space of the second storage unit, and the filling rate measuring method further comprises the first storage in the second storage space.
  • the second filling rate of the part and the additional first storage part may be calculated.
  • the second filling rate when one or more first storage units are stored in the second storage space can be appropriately calculated.
  • the stored three-dimensional model may be a three-dimensional model measured by the distance measuring sensor and an additional distance measuring sensor.
  • the distance measuring sensor has at least two cameras for generating the spatial three-dimensional model, and is fixed on the upper side of the first storage unit.
  • the information processing apparatus includes a processor and a memory, and the processor has a first storage space in which a measurement object is stored by using the memory, and has an opening.
  • a spatial three-dimensional model obtained by measuring the formed first storage unit from the first direction side through the opening by a distance measuring sensor facing the first storage unit is acquired.
  • the stored three-dimensional model which is a three-dimensional model of the first storage unit in which the measurement object is not stored, is acquired, and the stored three-dimensional model is used by using the acquired spatial three-dimensional model and the stored three-dimensional model.
  • An object part that is a part corresponding to the measurement object in the model is extracted, and the extracted object part is used to use the extracted object part to be a three-dimensional model of the measurement object in the first storage space.
  • the model is estimated, and the first filling rate of the measurement object with respect to the first storage space is calculated by using the storage three-dimensional model and the object three-dimensional model.
  • the present disclosure may be realized as a program for causing a computer to execute the steps included in the filling rate measuring method. Further, the present disclosure may be realized as a non-temporary recording medium such as a CD-ROM that can be read by a computer that records the program. The present disclosure may also be realized as information, data or signals indicating the program. Then, those programs, information, data and signals may be distributed via a communication network such as the Internet.
  • each figure is a schematic view and is not necessarily exactly illustrated. Further, in each figure, substantially the same configuration is designated by the same reference numerals, and duplicate description may be omitted or simplified.
  • FIG. 1 is a diagram for explaining an outline of the filling rate measuring method according to the embodiment.
  • the luggage 103 stored in the shelf 102 having the storage space 101 is measured by using the distance measuring sensor 210. Then, using the obtained measurement result, the filling rate of the luggage 103 with respect to the storage space 101 is calculated.
  • the shelf 102 is formed with an opening 102a for loading and unloading the luggage 103 into and out of the storage space 101.
  • the distance measuring sensor 210 is arranged at a position facing the opening 102a of the shelf 102 in a direction for measuring the shelf 102 including the opening 102a, and measures the measurement area R1 including the inside of the storage space 101 through the opening 102a.
  • the shelf 102 has a box-like shape, for example, as shown in FIG.
  • the shelf does not have to have a box-like shape as long as it has a mounting surface on which the luggage 103 is placed and a storage space 101 in which the luggage 103 is stored above the loading surface. ..
  • the shelf 102 is an example of the first storage unit.
  • the storage space 101 is an example of the first storage space.
  • the storage space 101 is assumed to be the internal space of the shelf 102, but the storage space 101 is not limited to this, and may be a space in a warehouse in which a measurement object such as a luggage 103 is stored.
  • Luggage 103 is an example of an object to be measured.
  • the object to be measured is not limited to the luggage 103, but may be a product. That is, the measurement object may be any portable object.
  • FIG. 2 is a block diagram showing a characteristic configuration of the three-dimensional measurement system according to the embodiment.
  • FIG. 3 is a diagram for explaining a first example of the configuration of the distance measuring sensor.
  • FIG. 4 is a diagram for explaining a second example of the configuration of the distance measuring sensor.
  • FIG. 5 is a diagram for explaining a third example of the configuration of the distance measuring sensor.
  • the three-dimensional measurement system 200 includes a distance measuring sensor 210 and an information processing device 220.
  • the three-dimensional measurement system 200 may include a plurality of distance measuring sensors 210, or may include one distance measuring sensor 210.
  • the distance measuring sensor 210 measures the three-dimensional space including the storage space 101 of the shelf 102 through the opening 102a of the shelf 102, and acquires the measurement result including the storage space 101 of the shelf 102 and the shelf 102.
  • the distance measuring sensor 210 is represented by a set of three-dimensional points indicating the three-dimensional positions of each of a plurality of measurement points (the surface of the measurement target) on the shelf 102 or the luggage 103 (hereinafter referred to as the measurement target).
  • the measurement target Generate a spatial 3D model to be created.
  • a set of three-dimensional points is called a three-dimensional point cloud.
  • the three-dimensional position indicated by each three-dimensional point of the three-dimensional point cloud is represented by, for example, the three-dimensional coordinates of the three-dimensional information consisting of the X component, the Y component, and the Z component of the three-dimensional coordinate space consisting of the XYZ axes.
  • the three-dimensional model may include not only the three-dimensional coordinates but also color information indicating the color of each point or shape information indicating the surface shape of each point and its surroundings.
  • the color information may be represented in, for example, an RGB color space, or may be represented in another color space such as HSV, HLS, or YUV.
  • a specific example of the distance measuring sensor 210 will be described with reference to FIGS. 3 to 5.
  • the ranging sensor 210 of the first example generates a spatial three-dimensional model by emitting an electromagnetic wave and acquiring the reflected wave reflected by the emitted electromagnetic wave at the measurement target. Specifically, the distance measuring sensor 210 measures the time it takes for the emitted electromagnetic wave to be reflected by the measurement target and returned to the distance measuring sensor 210, and the measured time and the electromagnetic wave used for the measurement are measured. The distance between the distance measuring sensor 210 and the point P1 on the surface of the measurement target is calculated using the wavelength of. The distance measuring sensor 210 emits electromagnetic waves in a plurality of predetermined radial directions from the reference point of the distance measuring sensor 210.
  • the distance measuring sensor 210 may emit electromagnetic waves at a first angular interval in the horizontal direction and may emit electromagnetic waves at a second angular interval in the vertical direction. Therefore, the distance measuring sensor 210 detects the distance between the distance measuring sensor 210 and the measurement target in each of the plurality of directions around the distance measuring sensor 210, and thereby obtains three-dimensional coordinates of a plurality of points on the measurement target. Can be calculated. Therefore, the distance measuring sensor 210 can calculate position information indicating a plurality of three-dimensional positions on the measurement target, and can generate a spatial three-dimensional model having the position information.
  • the position information may be a three-dimensional point cloud including a plurality of three-dimensional points indicating a plurality of three-dimensional positions.
  • the ranging sensor 210 of the first example has a laser irradiation unit 211 that irradiates a laser beam as an electromagnetic wave and a laser receiver that receives the reflected light reflected by the irradiated laser beam. It is a three-dimensional laser measuring instrument having a part 212.
  • the ranging sensor 210 is a movable mirror that rotates or swings a unit including a laser irradiation unit 211 and a laser light receiving unit 212 on two different axes, or swings on two axes along a path of a laser that irradiates or receives light.
  • a (MEMS (Micro Electro Mechanical Systems) mirror) mirror the object to be measured is scanned with a laser beam.
  • the distance measuring sensor 210 can generate a highly accurate and high-density three-dimensional model to be measured.
  • the distance measuring sensor 210 exemplifies a three-dimensional laser measuring instrument that measures the distance to the measurement target by irradiating the laser beam, but is not limited to this, and the measurement target can be obtained by emitting millimeter waves. It may be a millimeter wave radar measuring instrument that measures the distance between them.
  • the ranging sensor 210 may generate a three-dimensional model having color information.
  • the first color information is color information generated by using an image taken by the distance measuring sensor 210, and is color information indicating the color of each of a plurality of first three-dimensional points included in the first three-dimensional point cloud. Is.
  • the distance measuring sensor 210 may have a built-in camera that captures a measurement target around the distance measuring sensor 210.
  • the camera built in the distance measuring sensor 210 generates an image by photographing an area including the irradiation range of the laser beam irradiated by the distance measuring sensor 210.
  • the shooting range taken by the camera is associated with the irradiation range in advance.
  • a plurality of directions in which the laser beam is emitted by the distance measuring sensor 210 are associated with each pixel in the image captured by the camera in advance, and the distance measuring sensor 210 is a three-dimensional point group. As color information indicating the color of each of the plurality of three-dimensional points included in, the pixel value of the image associated with the direction of the three-dimensional point is set.
  • the distance measuring sensor 210A of the second example is a distance measuring sensor using the structured optical method.
  • the distance measuring sensor 210A includes an infrared pattern irradiation unit 211A and an infrared camera 212A.
  • the infrared pattern irradiation unit 211A projects a predetermined infrared pattern 213A onto the surface of the measurement target.
  • the infrared camera 212A acquires an infrared image by photographing the measurement target on which the infrared pattern 213A is projected.
  • the ranging sensor 210A searches for the infrared pattern 213A included in the obtained infrared image, and the position of one point P1 of the infrared pattern on the measurement target in the real space, the position of the infrared pattern irradiation unit 211A, and the position of the infrared pattern irradiation unit 211A.
  • the distance from the infrared pattern irradiation unit 211A or the infrared camera 212A to the position of the one point P1 on the measurement target is calculated based on a triangle formed by connecting the three positions of the infrared camera 212A.
  • the distance measuring sensor 210A can acquire a three-dimensional point of the measurement point on the measurement target.
  • the distance measuring sensor 210A moves the unit of the distance measuring sensor 210A having the infrared pattern irradiating unit 211A and the infrared camera 212A, or finely textures the infrared pattern irradiated by the infrared pattern irradiating unit 211A. By doing so, a high-density three-dimensional model can be obtained.
  • the ranging sensor 210A uses the visible light region of the color information that can be acquired by the infrared camera 212A, and the visibility obtained in consideration of the position or orientation of the infrared pattern irradiation unit 211A or the infrared camera 212A.
  • a three-dimensional model having color information may be generated by associating an optical region with a three-dimensional point.
  • the distance measuring sensor 210A may be configured to further include a visible light camera for adding color information.
  • the distance measuring sensor 210B of the third example is a distance measuring sensor that measures a three-dimensional point by stereo camera measurement.
  • the distance measuring sensor 210B is a stereo camera having two cameras 211B and 212B.
  • the distance measuring sensor 210B acquires a stereo image having parallax by photographing the measurement target at the timing synchronized with the two cameras 211B and 212B.
  • the ranging sensor 210B performs matching processing of feature points between two images using the obtained stereo images (two images), and aligns information between the two images with pixel accuracy or decimal pixel accuracy. To get.
  • the distance measuring sensor 210B is based on a triangle formed by connecting the matching position of one point P1 on the measurement target in the real space and the positions of the two cameras 211B and 212B, respectively, of the two cameras 211B and 212B. The distance from any camera to the matching position (that is, point P1) on the measurement target is calculated. As a result, the distance measuring sensor 210B can acquire a three-dimensional point of the measurement point on the measurement target.
  • the distance measuring sensor 210B moves the unit of the distance measuring sensor 210B having two cameras 211B and 212B, or increases the number of cameras mounted on the distance measuring sensor 210B to 3 or more, and is the same measurement target.
  • a highly accurate three-dimensional model can be obtained by taking a picture of the camera and performing matching processing.
  • the cameras 211B and 212B of the distance measuring sensor 210B as visible light cameras, it is possible to easily add color information to the acquired three-dimensional model.
  • the information processing device 220 will be described with an example including the distance measuring sensor 210 of the first example, but the distance measuring sensor of the second example is replaced with the distance measuring sensor 210 of the first example. It may be configured to include the sensor 210A or the distance measuring sensor 210B of the third example.
  • the two cameras 211B and 212B can capture a monochrome image including a visible light image or an infrared image.
  • the matching process between two images in the three-dimensional measurement system 200 may be performed by using, for example, SLAM (Simultaneous Localization And Mapping) or SfM (Structure from Motion).
  • the point cloud density of the measurement space model may be increased by MVS (Multi View Stereo) by using the information indicating the positions and orientations of the cameras 211B and 212B obtained by performing this processing.
  • the information processing device 220 includes an acquisition unit 221, a coordinate system calculation unit 222, a model generation unit 223, a filling rate calculation unit 224, and a storage unit 225.
  • the acquisition unit 221 acquires the spatial three-dimensional model and the image generated by the distance measuring sensor 210. Specifically, the acquisition unit 221 may acquire a spatial three-dimensional model and an image from the distance measuring sensor 210. The spatial three-dimensional model and the image acquired by the acquisition unit 221 may be stored in the storage unit 225.
  • the coordinate system calculation unit 222 calculates the positional relationship between the distance measuring sensor 210 and the shelf 102 using the spatial three-dimensional model and the image. As a result, the coordinate system calculation unit 222 calculates the measurement coordinate system based on the shape of a part of the shelf 102. The coordinate system calculation unit 222 may calculate the measurement coordinate system based on only a part of the shape of the shelf 102. Specifically, the coordinate system calculation unit 222 calculates the measurement coordinate system based on the shape of the opening 102a of the shelf 102 as a part of the shape that serves as a reference for calculating the measurement coordinate system.
  • the shape of the opening 102a as a reference for calculating the measurement coordinate system may be a corner of the shape of the opening 102a, or the shape of the opening 102a. It may be the side of.
  • the measurement coordinate system is a three-dimensional Cartesian coordinate system, which is an example of the first three-dimensional coordinate system.
  • the measurement coordinate system is a three-dimensional Cartesian coordinate system.
  • the rectangular parallelepiped shelf 102 has an opening 102a on one surface of the shelf 102, but the present invention is not limited to this.
  • the shelf is provided with openings on a plurality of rectangular parallelepiped shapes, such as having openings on two surfaces, a front surface and a rear surface, or having openings on two surfaces, a front surface and an upper surface. It may be the configuration.
  • a predetermined reference position described later may be set for one of the plurality of openings.
  • the predetermined reference position may be set to the three-dimensional point of the storage three-dimensional model, which is the three-dimensional model of the shelf 102, or the space where the voxels do not exist.
  • FIG. 6 is a block diagram showing the configuration of the coordinate system calculation unit of the first example.
  • FIG. 7 is a diagram for explaining a method of calculating the measured coordinate system by the coordinate system calculation unit of the first example.
  • the coordinate system calculation unit 222 calculates the measurement coordinate system.
  • the measurement coordinate system is a three-dimensional coordinate system that serves as a reference for a spatial three-dimensional model.
  • the distance measuring sensor 210 is installed at the origin of the measurement coordinate system, and is installed in a direction facing the opening 102a of the shelf 102.
  • the upward direction of the distance measuring sensor 210 may be set to the X axis
  • the right direction may be set to the Y axis
  • the front direction may be set to the Z axis.
  • the coordinate system calculation unit 222 has an auxiliary unit 301 and a calculation unit 302.
  • the auxiliary unit 301 sequentially acquires the image 2001, which is the measurement result by the distance measuring sensor 210 acquired by the acquisition unit 221 in real time, and adjusts each of the sequentially acquired images 2001.
  • the marker 2002 is superimposed.
  • the auxiliary unit 301 sequentially outputs the superimposed image 2003 on which the adjustment marker 2002 is superimposed on the image 2001 to a display device (not shown).
  • the display device sequentially displays the superimposed image 2003 output by the information processing device 220.
  • the auxiliary unit 301 and the display device may be provided integrally with the distance measuring sensor 210.
  • the adjustment marker 2002 is a marker for assisting the user in moving the distance measuring sensor 210 so that the position and posture of the distance measuring sensor 210 with respect to the shelf 102 becomes a specific position and posture.
  • the user changes the position and orientation of the distance measuring sensor 210 so that the adjustment marker 2002 overlaps a predetermined reference position on the shelf 102 while looking at the superimposed image 2003 displayed on the display device.
  • the 210 can be arranged in a particular position and orientation with respect to the shelves 102.
  • the predetermined reference positions of the shelf 102 are, for example, the positions of the four corners of the rectangular opening 102a of the shelf 102.
  • the four adjustment markers 2002 were superimposed on the four positions corresponding to the positions of the four corners of the opening 102a of the shelf 102.
  • the superimposed image 2003 is generated.
  • the user moves the distance measuring sensor 210 so that the adjustment marker 2002 moves in the direction of the arrow shown in FIG. 7A, so that the user can move the four distance measuring sensors 210 as shown in FIG. 7B.
  • the adjustment marker 2002 can be aligned with the positions of the four corners of the opening 102a.
  • the auxiliary unit 301 is supposed to superimpose the adjustment marker 2002 on the image 2001, the adjustment marker is superposed on the spatial three-dimensional model, and the spatial three-dimensional model on which the adjustment marker is superposed is displayed on the display device. May be good.
  • the calculation unit 302 determines the positional relationship between the distance measuring sensor 210 and the shelf 102 when the four adjustment markers 2002 are aligned with the positions of the four corners of the opening 102a.
  • the rotation matrix 2005 and the translation vector 2006 shown are calculated.
  • the calculation unit 302 transforms the sensor coordinate system 2004 of the distance measuring sensor 210 using the calculated rotation matrix 2005 and the translation vector 2006 to obtain an arbitrary corner (one of the four corners) of the opening 102a as the origin.
  • the measurement coordinate system 2000 is calculated.
  • the user may input to an input device (not shown).
  • the information processing device 220 may determine when the four adjustment markers 2002 are aligned with the positions of the four corners of the opening 102a by acquiring the time when the input is received from the input device. Further, the information processing apparatus 220 may determine whether or not the four adjustment markers 2002 are aligned with the positions of the four corners of the opening 102a by analyzing the image 2001.
  • FIG. 8 is a block diagram showing the configuration of the coordinate system calculation unit of the second example.
  • FIG. 9 is a diagram for explaining a method of calculating the measured coordinate system by the coordinate system calculation unit of the second example.
  • the coordinate system calculation unit 222A has a detection unit 311, an extraction unit 312, and a calculation unit 313.
  • the detection unit 311 includes a spatial three-dimensional model 2011 which is a measurement result by the distance measuring sensor 210 acquired by the acquisition unit 221 shown in FIG. 9A and a stored three-dimensional model shown in FIG. 9B.
  • the stored three-dimensional model 2012 is a three-dimensional model of the shelf 102 in which the luggage 103 is not stored, and is generated in advance for the shelf 102 when the luggage 103 is not stored by using the measurement result by the distance measuring sensor 210. It is a three-dimensional model.
  • the storage three-dimensional model 2012 is generated by the model generation unit 223, which will be described later, and is stored in the storage unit 225.
  • the storage three-dimensional model 2012 may include position information 2013 indicating the positions of the four corners of the opening 102a of the shelf 102.
  • the extraction unit 312 uses the position information 2013 in the storage three-dimensional model 2012 to obtain four opening end points 2016, which are the positions of the four corners of the opening 2015 in the shelf area 2014. Extract.
  • the shape of the opening 2015 defined by the four opening end points 2016 is an example of a part of the shape that serves as a reference for calculating the measurement coordinate system.
  • the calculation unit 313 is a rotation matrix showing the positional relationship between the distance measuring sensor 210 and the shelf 102 based on the shape seen from the distance measuring sensor 210 at the four opening end points 2016. 2017 and translation vector 2018 are calculated.
  • the calculation unit 313 calculates the measurement coordinate system 2000 by converting the sensor coordinate system 2004 of the distance measuring sensor 210 using the rotation matrix 2017 and the translation vector 2018. Specifically, when the rotation matrix 2017 is R and the translation vector 2018 is T, the calculation unit 313 determines that the three-dimensional point x in the sensor coordinate system 2004 is the three-dimensional point in the measurement coordinate system 2000 according to the following equation 1. It can be converted to X. As a result, the calculation unit 313 can calculate the measurement coordinate system 2000.
  • FIG. 10 is a block diagram showing the configuration of the coordinate system calculation unit of the third example.
  • FIG. 11 is a diagram for explaining a method of calculating the measured coordinate system by the coordinate system calculation unit of the third example.
  • the coordinate system calculation unit 222B includes a detection unit 321, an extraction unit 322, and a calculation unit 323.
  • the marker 104 is arranged at a specific position (for example, the position of the upper surface) of the shelf 102, and the coordinate system calculation unit 222B specifies the measurement coordinate system 2000 with reference to the position of the marker 104. do. That is, the measurement coordinate system 2000 in this case is a coordinate system based on the position of the marker 104 installed on the shelf 102.
  • the marker 104 has, for example, a check pattern.
  • the marker 104 is not limited to the check pattern as long as it is an alignment mark (positioning mark) having a predetermined shape.
  • the detection unit 321 is installed on the shelf 102 as shown in FIG. 11 (c) from the image 2021 which is the measurement result by the distance measuring sensor 210 acquired by the acquisition unit 221 shown in FIG. 11 (a).
  • the marker region 2024 corresponding to the marker 104 is detected.
  • the extraction unit 322 extracts the pattern contour 2025, which is the contour of the check pattern, from the marker area 2024 on the image 2021 as shown in FIG. 11D.
  • the calculation unit 323 calculates the rotation matrix 2026 and the translation vector 2027 indicating the positional relationship between the distance measuring sensor 210 and the marker 104 based on the shape of the extracted pattern contour 2025.
  • the calculation unit 323 uses the rotation matrix 2026 and the translation vector 2027, and the positional relationship between the storage three-dimensional model 2022 and the marker 2023 shown in FIG. 11 (b), to make the distance measuring sensor 210 and the shelf 102 three-dimensional.
  • the measurement coordinate system 2000 is calculated by calculating the positional relationship and converting the sensor coordinate system 2004 using the calculated three-dimensional positional relationship.
  • the positional relationship between the stored three-dimensional model 2022 and the marker 2023 may be measured in advance, or may be generated in advance based on the design data of the shelf 102 on which the marker 104 is arranged.
  • model generation unit 223 will be described.
  • the model generation unit 223 generates a storage three-dimensional model, which is a three-dimensional model of the shelf 102 in which the luggage 103 is not stored.
  • the model generation unit 223 acquires the measurement result of the shelf 102 in which the luggage 103 is not stored by the distance measuring sensor 210, and generates a stored three-dimensional model. Specific processing by the model generation unit 223 will be described later.
  • the generated storage three-dimensional model is stored in the storage unit 225.
  • model generation unit 223 will be specifically described with reference to FIGS. 12 and 13.
  • FIG. 12 is a block diagram showing an example of the configuration of the model generation unit.
  • FIG. 13 is a flowchart of a process for calculating the volume of the storage space by the model generation unit.
  • the model generation unit 223 has a detection unit 401, a generation unit 402, and a volume calculation unit 403.
  • the detection unit 401 detects the shelf area corresponding to the shelf 102 from the spatial three-dimensional model measured by the distance measuring sensor 210 (S101).
  • the detection unit 401 performs the process of step S101 for each of the plurality of distance measurement sensors 210.
  • the detection unit 401 detects a plurality of shelf areas corresponding to the plurality of distance measuring sensors 210.
  • the generation unit 402 integrates a plurality of shelf areas and generates a stored three-dimensional model (S102). Specifically, the generation unit 402 may align the three-dimensional point cloud by ICP (Iterative Closest Point) in order to integrate the plurality of shelf areas, or may use the plurality of distance measuring sensors 210.
  • the relative positional relationship may be calculated in advance, and a plurality of shelf areas may be integrated based on the calculated relative positional relationship.
  • the relative positional relationship may be calculated by using SfM (Structure from Motion) with a plurality of images acquired by the plurality of distance measuring sensors 210 as multi-viewpoint images.
  • the plurality of distance measuring sensors 210 may be installed based on a design drawing in which a relative positional relationship is determined.
  • one distance measuring sensor 210 is moved, and a plurality of measurement results measured from a plurality of positions are used, and a plurality of shelves obtained from each of the plurality of measurement results are used.
  • the storage three-dimensional model of the shelf 102 may be generated by integrating the regions.
  • the stored three-dimensional model may be generated based on the 3D CAD data at the time of designing the shelf 102 without using the result measured by the distance measuring sensor 210, or the dimensional measurement data of the shelf 102 or the manufacturer's disclosure. It may be generated based on the equipment specification data.
  • the model generation unit 223 When the three-dimensional measurement system 200 does not have a plurality of distance measurement sensors 210 but only one distance measurement sensor 210 and uses one measurement result measured from one position, the model generation unit 223 , It is not necessary to have the generation unit 402. That is, the model generation unit 223 does not have to perform step S102.
  • the volume calculation unit 403 calculates the volume of the storage space 101 of the shelf 102 using the storage three-dimensional model (S103).
  • the filling rate calculation unit 224 calculates the filling rate of the luggage 103 with respect to the storage space 101 of the shelf 102.
  • the filling rate calculation unit 224 calculates, for example, the ratio of the volume of the luggage 103 to the volume of the storage space 101 as the filling rate by using the space three-dimensional model, the image, and the measurement coordinate system 2000 acquired by the distance measuring sensor 210. May be good.
  • the filling rate calculation unit 224 will be specifically described with reference to FIGS. 14 and 15.
  • FIG. 14 is a block diagram showing an example of the configuration of the filling rate calculation unit.
  • FIG. 15 is a diagram for explaining an example of a filling rate calculation method by the filling rate calculation unit. Note that FIG. 15 shows an example in which the distance measuring sensor 210 faces the opening 102a of the shelf 102. The distance measuring sensor 210 is arranged on the Z-axis minus direction side in which the opening 102a of the shelf 102 is formed, and measures the storage space 101 of the shelf 102 through the opening 102a of the shelf 102. That is, the distance measuring sensor 210 is arranged above the shelf 102 in the vertical direction.
  • This example is an example in which the measurement coordinate system 2000 is measured by the coordinate system calculation unit 222 of the first example. That is, in this case, the sensor coordinate system 2004 and the measurement coordinate system 2000 match.
  • the filling rate calculation unit 224 has an extraction unit 501, an estimation unit 502, and a calculation unit 503.
  • the extraction unit 501 uses the spatial three-dimensional model 2011 and the stored three-dimensional model to extract the luggage area 2033, which is a portion of the spatial three-dimensional model corresponding to the luggage 103. Specifically, the extraction unit 501 converts the data structure of the spatial three-dimensional model 2011, which is the measurement result by the distance measuring sensor 210 acquired by the acquisition unit 221 shown in FIG. 15A, into voxel data. By doing so, the voxel data 2031 shown in FIG. 15 (b) is generated. The extraction unit 501 uses the generated voxel data 2031 and the stored three-dimensional model 2032, which is a voxelized stored three-dimensional model shown in FIG.
  • the luggage area 2033 is an example of the object portion, which is the portion corresponding to the measurement object.
  • the estimation unit 502 estimates the luggage model 2034, which is a three-dimensional model of the luggage 103 in the storage space 101, using the extracted luggage area 2033. Specifically, the estimation unit 502 uses the luggage area 2033 to hide the luggage 103 from the distance measuring sensor 210 in the Z-axis direction, which is the alignment direction of the distance measuring sensor 210 and the shelf 102, that is, , The luggage area 2033 is interpolated on the Z-axis plus direction side.
  • the estimation unit 502 is arranged on the Z-axis minus direction side of each of the plurality of voxels constituting the luggage area 2033 with respect to the farthest voxel in which the voxel is arranged on the most Z-axis plus direction side among the plurality of voxels. It is determined whether or not the voxel is to be used.
  • the estimation unit 502 is a voxel arranged on the Z-axis minus direction side of the farthest voxel, and when the voxel is not arranged on the Z-axis plus direction side of the voxel, the estimation unit 502 has the same Z-axis direction as the farthest voxel. Interpolate the voxels to the position at. As a result, the estimation unit 502 estimates the luggage model 2034 as shown in FIG. 15 (e).
  • the calculation unit 503 calculates the first filling rate of the luggage 103 with respect to the storage space 101 by using the storage three-dimensional model and the luggage model 2034. Specifically, the calculation unit 503 calculates the volume of the cargo 103 by counting the number of a plurality of voxels constituting the cargo model 2034 and multiplying the predetermined voxel size by the counted number. The calculation unit 503 calculates the ratio of the calculated volume of the luggage 103 to the volume of the storage space 101 of the shelf 102 calculated by the model generation unit 223 as the first filling rate.
  • FIG. 16 is a diagram for explaining another example of the filling rate calculation method by the filling rate calculation unit.
  • FIG. 16 shows an example in which the distance measuring sensor 210 is arranged at an angle with respect to the opening 102a of the shelf 102.
  • This example is an example in which the measurement coordinate system 2000 is measured by the coordinate system calculation unit 222A of the second example or the coordinate system calculation unit 222B of the third example. That is, in this case, the sensor coordinate system 2004 and the measurement coordinate system 2000 are different.
  • the coordinate system used in the case of the example of FIG. 16 is the measurement coordinate system 2000.
  • the estimation unit 502 is a region in which the luggage 103 is hidden from the distance measuring sensor 210 in the Z-axis direction of the measurement coordinate system 2000, which is the arrangement direction of the distance measuring sensor 210 and the shelf 102. That is, the cargo area 2033 is interpolated on the Z-axis plus direction side.
  • the spatial three-dimensional model and the image pair used for the calculation of the measurement coordinate system by the coordinate system calculation unit 222 and the calculation of the filling rate by the filling rate calculation unit 224 are measured at the same time by the distance measuring sensor 210.
  • the result may be the result measured at different times.
  • the distance measuring sensor 210 and the information processing device 220 may be connected to each other so as to be able to communicate with each other by a communication network.
  • the communication network may be a public communication network such as the Internet or a dedicated communication network.
  • the information processing device 220 may acquire the spatial three-dimensional model and the image from the distance measuring sensor 210 without going through the communication network.
  • the spatial three-dimensional model and the image are temporarily stored in an external storage device such as a hard disk drive (HDD) or a solid state drive (SSD) from the distance measuring sensor 210, and the information processing device 220 is spatially tertiary from the external storage device.
  • the original model and image may be acquired.
  • the external storage device may be a cloud server.
  • the information processing device 220 includes, for example, a control program, a processing circuit such as a processor or a logic circuit that executes the control program, and a recording device such as an internal memory for storing the control program or an accessible external memory. At least have a computer system.
  • the function of each processing unit of the information processing apparatus 220 may be realized by software or hardware.
  • FIG. 17 is a flowchart of a filling rate measuring method performed by the information processing apparatus.
  • the information processing device 220 acquires a spatial three-dimensional model from the ranging sensor 210 (S111). At this time, the information processing device 220 may further acquire an image to be measured from the distance measuring sensor 210.
  • the information processing device 220 acquires a stored three-dimensional model stored in the storage unit 225 (S112).
  • the information processing device 220 calculates a measurement coordinate system based on the shape of the opening 102a of the shelf 102 (S113).
  • Step S113 is a process by the coordinate system calculation unit 222.
  • the information processing apparatus 220 uses the voxel data 2031 of the spatial three-dimensional model 2011 and the stored three-dimensional model 2032 of the stored three-dimensional model to extract the luggage area 2033 corresponding to the luggage 103 of the voxel data 2031 (S114). .. Step S114 is a process performed by the extraction unit 501 of the filling rate calculation unit 224.
  • the information processing device 220 estimates the luggage model 2034, which is a three-dimensional model of the luggage 103 in the storage space 101, using the extracted luggage area 2033 (S115).
  • Step S115 is a process by the estimation unit 502 of the filling rate calculation unit 224.
  • the information processing device 220 calculates the first filling rate of the luggage 103 with respect to the storage space 101 using the storage three-dimensional model and the luggage model 2034 (S116).
  • Step S116 is a process performed by the calculation unit 503 of the filling rate calculation unit 224.
  • FIG. 18 is a flowchart of a process (S113) for calculating the measured coordinate system by the coordinate system calculation unit of the first example.
  • the coordinate system calculation unit 222 sequentially acquires the image 2001, which is the measurement result by the distance measuring sensor 210 acquired by the acquisition unit 221 in real time, and superimposes the adjustment marker 2002 on each of the sequentially acquired images 2001 (S121).
  • Step S121 is a process performed by the auxiliary unit 301 of the coordinate system calculation unit 222.
  • the coordinate system calculation unit 222 acquires the position and orientation of the distance measuring sensor 210 (S122).
  • Step S121 is a process performed by the auxiliary unit 301 of the coordinate system calculation unit 222.
  • the coordinate system calculation unit 222 identifies the sensor coordinate system 2004 of the distance measuring sensor 210 by using the position and orientation of the distance measuring sensor 210 when the four adjusting markers 2002 are aligned with the positions of the four corners of the opening 102a. Then, the measurement coordinate system 2000 is calculated using the specified sensor coordinate system 2004 (S123). Step S123 is a process performed by the calculation unit 302 of the coordinate system calculation unit 222.
  • FIG. 19 is a flowchart of a process (S113) for calculating the measured coordinate system by the coordinate system calculation unit of the second example.
  • the coordinate system calculation unit 222A detects the shelf area 2014 corresponding to the shelf 102 by using the spatial three-dimensional model 2011, which is the measurement result by the distance measuring sensor 210 acquired by the acquisition unit 221 and the storage three-dimensional model 2012. (S121A).
  • Step S121A is a process by the detection unit 311 of the coordinate system calculation unit 222A.
  • the coordinate system calculation unit 222A extracts four opening end points 2016, which are the positions of the four corners of the opening 2015 in the shelf area 2014, using the position information 2013 in the stored three-dimensional model 2012 (S122A).
  • Step S122A is a process performed by the extraction unit 312 of the coordinate system calculation unit 222A.
  • the coordinate system calculation unit 222A calculates the rotation matrix 2017 and the translation vector 2018 indicating the positional relationship between the distance measurement sensor 210 and the shelf 102 based on the shape seen from the distance measurement sensor 210 at the four opening end points 2016. Then, the coordinate system calculation unit 222A calculates the measurement coordinate system 2000 by converting the sensor coordinate system 2004 of the distance measuring sensor 210 using the rotation matrix 2017 and the translation vector 2018 (S123A). Step S123A is a process performed by the calculation unit 313 of the coordinate system calculation unit 222A.
  • FIG. 20 is a flowchart of the process (S113) of calculating the measured coordinate system by the coordinate system calculation unit of the third example.
  • the coordinate system calculation unit 222B detects the marker area 2024 from the image 2021 which is the measurement result by the distance measuring sensor 210 acquired by the acquisition unit 221 (S121B).
  • Step S121B is a process by the detection unit 321 of the coordinate system calculation unit 222B.
  • the coordinate system calculation unit 222B extracts the pattern contour 2025 from the marker area 2024 on the image 2021 (S122B).
  • Step S122B is a process performed by the extraction unit 322 of the coordinate system calculation unit 222B.
  • the coordinate system calculation unit 222B calculates a rotation matrix 2026 and a translation vector 2027 indicating the positional relationship between the distance measuring sensor 210 and the marker 104 based on the shape of the extracted pattern contour 2025. Then, the coordinate system calculation unit 222B calculates the three-dimensional positional relationship between the distance measuring sensor 210 and the shelf 102 by using the rotation matrix 2026 and the translation vector 2027 and the positional relationship between the stored three-dimensional model 2022 and the marker 2023. Then, the measurement coordinate system 2000 is calculated by converting the sensor coordinate system 2004 using the calculated three-dimensional positional relationship (S123B). Step S123B is a process performed by the calculation unit 323 of the coordinate system calculation unit 222B.
  • the filling rate calculated by the information processing device 220 may be output from the information processing device 220.
  • the filling rate may be displayed by a display device (not shown) included in the information processing device 220, or may be transmitted to an external device different from the information processing device 220.
  • the calculated filling rate may be output to the cargo carrying system and used for controlling the cargo carrying system.
  • the space three-dimensional model in which the shelf 102 in which the luggage 103 is stored is measured and the storage three-dimensional model in which the shelf 102 in which the luggage 103 is not stored are stored.
  • the luggage model 2034 of the luggage 103 is estimated using the luggage area 2033 extracted in use. Thereby, the first filling rate of the luggage 103 with respect to the storage space 101 can be easily calculated only by measuring the shelf 102 in the state where the luggage 103 is stored.
  • the cargo model 2034 is estimated based on the three-dimensional coordinate system based on the shape of a part of the shelf 102. Therefore, the estimated processing amount of the luggage model 2034 can be reduced.
  • the cargo model 2034 is estimated based on the three-dimensional coordinate system based on only a part of the shape of the shelf 102.
  • the shape of only a part of the first storage portion that can be easily extracted on the image can be used for calculating the measurement coordinate system. Therefore, the processing speed of the estimation of the luggage model can be improved, and the calculation accuracy of the measurement coordinate system can be improved.
  • the three-dimensional coordinate system is a three-dimensional Cartesian coordinate system having a Z-axis, and in estimation, the Z-axis plus direction side opposite to the Z-axis minus direction of the luggage area 2033 is interpolated. Then, the luggage model 2034 is estimated. Therefore, the estimated processing amount of the luggage model 2034 can be effectively reduced.
  • the three-dimensional coordinate system is a coordinate system based on the shape of the opening 102a of the shelf 102. Therefore, the coordinate system based on the shape of the shelf 102 opening 102a can be easily calculated, and the cargo model 2034 can be estimated based on the calculated coordinate system.
  • the three-dimensional coordinate system is a coordinate system based on the marker 104 installed on the shelf 102. Therefore, the coordinate system based on the marker 104 can be easily calculated, and the cargo model 2034 can be estimated based on the calculated coordinate system.
  • the distance measuring sensor 210B has at least two cameras for generating a spatial three-dimensional model.
  • the distance measuring sensor 210 including the distance measuring sensor 210B is fixed on the upper side of the first storage unit.
  • the distance measuring sensor 210 when the distance measuring sensor 210 is fixed on the upper side of the first storage unit, if the first storage unit can move like a car trolley described later, it exists within the measurement range of the distance measuring sensor 210. Since the things to be done are limited to the ground or the pedestal (bottom surface) of the car trolley, and there is nothing that can move other than the car trolley, it is possible to easily separate the object to be measured from the background from the measurement results.
  • the measurement range is the shooting range of the camera when the distance measuring sensor 210 has a camera.
  • the distance measuring sensor 210 when the distance measuring sensor 210 is fixed to a position other than the upper side, it becomes difficult to separate the object to be measured from the background because a moving object other than the first storage portion easily enters the measurement range.
  • the ratio of the volume of the luggage 103 stored in the storage space 101 to the volume of the storage space 101 is calculated as the filling rate, but the filling rate is not limited to this.
  • FIG. 21 is a diagram for explaining a method of calculating the filling rate.
  • the storage space 101 of the shelf 102 has a volume for exactly storing 16 luggage 103.
  • FIG. 21A when eight luggage 103s are arranged without a gap, eight more luggages 103 can be stored in the vacant storage space 101.
  • FIG. 21 (b) when the luggage is arranged with a gap, when the eight luggage 103 are to be stored in the remaining space of the storage space 101, the luggage 103 is already stored. It is necessary to move the existing luggage 103. If the luggage 103 is stored in the remaining space of the storage space 101 without moving the already stored luggage 103, only six luggage 103 can be stored.
  • the filling rate is different in both cases. It is calculated as the same 50%. Therefore, it is conceivable to calculate the filling rate in consideration of the space that can be substantially stored according to the shape of the remaining space of the storage space 101.
  • FIG. 22 is a block diagram showing an example of the configuration of the calculation unit of the filling rate calculation unit according to the modified example 1.
  • FIG. 23 is a flowchart of the filling rate calculation process of the calculation unit of the filling rate calculation unit according to the first modification.
  • the calculation unit 503 includes a luggage volume calculation unit 601, an area division unit 602, a planned luggage measurement unit 603, an area estimation unit 604, and a calculation unit 605.
  • the luggage volume calculation unit 601 calculates the luggage volume, which is the volume of the luggage 103, from the luggage model 2034 (S131).
  • the luggage volume calculation unit 601 calculates the volume of the luggage 103 stored in the storage space 101 by the same method as in the embodiment.
  • the area division unit 602 divides the storage space 101 of the space three-dimensional model 2011 into an occupied area 2041 occupied by the luggage 103 and an empty area 2042 not occupied by the luggage 103 (S132).
  • the scheduled baggage measurement unit 603 calculates the volume of one piece of baggage to be stored (S133).
  • the scheduled baggage measuring unit 603 calculates the volume of one baggage for each type. For example, the scheduled baggage measurement unit 603 calculates the volume of the baggage 103a, the volume of the baggage 103b, and the volume of the baggage 103c, respectively.
  • the area estimation unit 604 estimates the placement method that can store the most luggage 103 to be stored in the empty area 2042, and estimates the number of luggage 103 to be stored in that case. That is, the area estimation unit 604 estimates the maximum number of packages 103 to be stored in the empty area 2042.
  • the area estimation unit 604 calculates the storable volume of the empty area 2042 by multiplying the volume of one luggage by the number of storable luggage (S134).
  • the area estimation unit 604 may estimate how many kinds of luggage can be stored for each type, or how many kinds of luggage can be stored by mixing the plurality of types. You may estimate if you can.
  • the area estimation unit 604 calculates the integrated value of the volume obtained by multiplying the volume of one luggage for each type by the number of luggage of the type that can be stored in the empty area. Calculated as the storable volume of 2042. For example, when the area estimation unit 604 estimates that the luggage 103a can store n1, the luggage 103b n2, and the luggage 103c n3, the first volume obtained by multiplying the volume 103a by n1, the volume of the luggage 103b.
  • n1, n2, and n3 are integers of 0 or more, respectively.
  • the calculation unit 605 calculates the filling rate by applying the stored baggage volume and the storable volume to the following equation 2 (S135).
  • the filling rate calculation unit 224 calculates the ratio of the volume of the luggage 103 stored in the storage space 101 to the volume of the space in which the luggage 103 can be stored in the storage space 101 as the filling rate. You may.
  • Modification 2 In the information processing apparatus 220 according to the above embodiment, the filling rate of the luggage 103 for the storage space 101 of one shelf 102 is calculated, but the filling rate of the luggage 103 for the storage space 101 of two or more shelves 102 is calculated. You may.
  • FIG. 24 is a diagram showing an example in which two or more shelves are stored in a storage space such as a truck bed.
  • FIG. 25 is a table showing the relationship between the shelves stored in the storage space of the loading platform and the filling rate thereof.
  • the loading platform 106 may be, for example, a truck van body type loading platform.
  • the loading platform 106 is an example of the second storage unit.
  • the second storage unit is not limited to the loading platform 106, and may be a container or a warehouse.
  • the storage space 105 is an example of the second storage space.
  • the storage space 105 has a volume large enough to store a plurality of car carts 112.
  • the storage space 105 can store six car carts 112. Since the storage space 105 can store a plurality of car carts 112, the storage space 105 is larger than the storage space 111.
  • the car carriage 112 has a storage space 111 capable of storing a plurality of luggage 103.
  • the car carriage 112 is an example of the first storage unit.
  • the storage space 111 is an example of the first storage space.
  • the shelf 102 described in the embodiment may be stored in the storage space 105.
  • the plurality of luggage 103s are not directly stored in the loading platform 106, but are stored in the plurality of car carriages 112. Then, the car carriage 112 in which the plurality of luggage 103 is stored is stored in the loading platform 106.
  • FIG. 26 is a block diagram showing an example of the configuration of the calculation unit of the filling rate calculation unit according to the modified example 2.
  • FIG. 27 is a flowchart of the filling rate calculation process of the calculation unit of the filling rate calculation unit according to the modified example 2.
  • the calculation unit 503 has an acquisition unit 701, a counting unit 702, and a calculation unit 703.
  • the acquisition unit 701 acquires the number of car carts 112 that can be stored in the loading platform 106 (S141). In the case of the second modification, the maximum number of the car carriages 112 that can be stored in the loading platform 106 is 6, so 6 is acquired.
  • the counting unit 702 counts the number of car carts 112 stored in the loading platform 106 (S142). When the car trolley 112 shown in FIG. 24 is stored in the loading platform 106, the counting unit 702 counts three as the number of the car trolley 112.
  • the calculation unit 703 calculates the second filling rate, which is the filling rate of one or more car carts 112 with respect to the loading platform 106 (S143). Specifically, the calculation unit 703 may calculate the ratio of the number of the car carriages 112 stored in the loading platform 106 to the maximum number of the car carriages 112 that can be stored in the loading platform 106 as the second filling rate. For example, the calculation unit 703 can store up to six car carts 112 in the loading platform 106, and three of the three car carts 112 are stored in the loading platform 106, so 50% is calculated as the second filling rate.
  • the calculation unit 703 calculates the filling rate of the luggage 103 for the car trolley 112 for each of the one or more car trolleys 112 stored in the loading platform 106, and uses the calculated filling rate to load the luggage for the second storage space.
  • the filling rate of 103 may be calculated.
  • the calculation unit 703 may calculate the average of the filling rate of the luggage 103 with respect to the car carriage 112 as the filling rate of the luggage 103 with respect to the second storage space. In this case, if the storage space 105 of the loading platform 106 has a space that can store the car trolley 112, the calculation unit 703 has a number of car trolleys that can be stored in the extra space that can store the car trolley 112. The average may be calculated with the filling rate of 112 as 0%.
  • the filling rates of the three car carts 112 shown in FIG. 25 are 70%, 30%, and 20%, respectively, and the loading platform 106 can store up to six car carts 112, 6
  • the filling rate of the car trolley 112 is 70%, 30%, 20%, 0%, 0%, and 0%, respectively. It may be calculated as a rate.
  • the second filling rate when one or more car carts 112 are stored in the storage space 105 can be appropriately calculated.
  • FIG. 28 is a diagram for explaining the configuration of the car trolley according to the modified example 3.
  • FIG. 28A is a diagram showing a car carriage 112 in which the opening / closing portion 113 is in the closed state.
  • FIG. 28B is a diagram showing a car carriage 112 in which the opening / closing portion 113 is in the open state.
  • the car carriage 112 according to the third modification has an opening / closing portion 113 that opens / closes the opening 112a.
  • the opening / closing portion 113 is a grid-like or mesh-like cover having a plurality of through holes 113a. Therefore, the distance measuring sensor 210 measures the three-dimensional shape inside the storage space 111 of the trolley 112 through the plurality of through holes 113a and the openings 112a even when the opening / closing portion 113 of the trolley 112 is closed. can do.
  • the electromagnetic wave emitted by the ranging sensor 210 passes through the plurality of through holes 113a and the openings 112a.
  • the infrared pattern irradiated by the distance measuring sensor 210A passes through the plurality of through holes 113a and the openings 112a, so that even if the opening / closing portion 113 of the car carriage 112 is in the closed state.
  • the three-dimensional shape inside the storage space 111 of the car carriage 112 can be measured through the plurality of through holes 113a and the openings 112a.
  • the distance measuring sensor 210B since the two cameras 211B and 212B can photograph the inside of the storage space 111 through the plurality of through holes 113a and the openings 112a, the storage space of the car carriage 112 The three-dimensional shape inside the 111 can be measured.
  • the information processing device 220 can determine whether or not the luggage 103 is stored in the storage space 111. However, it is difficult to obtain the correct filling rate unless the method for calculating the filling rate is changed to a method different from that when the opening / closing portion 113 is in the closed state, when the opening / closing portion 113 is in the open state, or when the opening / closing portion 113 is not provided. Therefore, the filling rate calculation unit 224 according to the modified example 3 calculates the filling rate by the first method when the opening / closing unit 113 is in the open state, and the second method when the opening / closing unit 113 is in the closed state. Calculate the filling rate with.
  • FIG. 29 is a block diagram showing an example of the configuration of the filling rate calculation unit according to the modified example 3.
  • FIG. 30 is a flowchart of the filling rate calculation process of the filling rate calculation unit according to the modified example 3.
  • the filling rate calculation unit 224 includes a detection unit 801, a switching unit 802, a first filling rate calculation unit 803, and a second filling rate calculation unit 804.
  • the detection unit 801 detects the open / closed state of the open / close unit 113 using the spatial three-dimensional model (S151). Specifically, the detection unit 801 uses the space three-dimensional model to display the storage space 111 in the front-rear direction (that is, the alignment direction of the distance measuring sensor 210 and the car carriage 112) in the region of the opening 112a of the car carriage 112. When the three-dimensional point cloud exists at each position of the inside and the outside, it is detected that the opening / closing portion 113 is in the closed state. The detection unit 801 detects that the opening / closing unit 113 is in the open state when the three-dimensional point cloud exists only inside the storage space 111.
  • the detection unit 801 detects that the opening / closing unit 113 is in the open state when the three-dimensional point cloud exists only inside the storage space 111.
  • the switching unit 802 determines whether the opening / closing unit 113 is in the open state or the closed state (S152), and switches the next process according to the determination result.
  • the first filling rate calculation unit 803 calculates the filling rate by the first method when the switching unit 802 determines that the opening / closing unit 113 is in the open state (open state in S152). Specifically, the first filling rate calculation unit 803 calculates the filling rate of the car carriage 112 by performing the same processing as the processing by the filling rate calculation unit 224 of the embodiment.
  • the second filling rate calculation unit 804 calculates the filling rate by the second method when the switching unit 802 determines that the opening / closing unit 113 is in the closed state (closed in S152). Details of the second method will be described with reference to FIG.
  • FIG. 31 is a diagram for explaining an example of the second method of calculating the filling rate.
  • FIG. 31 (b) is an enlarged view of the region R2 in the spatial three-dimensional model 2051.
  • the second filling rate calculation unit 804 divides the region R2 into a second portion in which the opening / closing portion 113 is detected and a first portion in which the luggage 103 is detected. do.
  • the first part is a region including a three-dimensional point cloud on the back side of the region of the opening 112a.
  • the first portion is a portion where the distance measuring sensor 210 faces the luggage 103 in the direction from the distance measuring sensor 210 toward the luggage 103. That is, the first portion is a portion facing the through hole 113a in the closed opening / closing portion 113 in the direction from the distance measuring sensor 210 toward the luggage 103.
  • the opening / closing portion 113 may have a structure having one through hole 113a. Further, the direction from the distance measuring sensor 210 toward the luggage 103 may be, for example, along the horizontal direction.
  • the second part is an area including a three-dimensional point cloud on the front side in the front-rear direction of the area of the opening 112a of the car carriage 112.
  • the second portion is a portion in which the distance measuring sensor 210 does not face the luggage 103 in the direction from the distance measuring sensor 210 toward the luggage 103. That is, the second portion is a portion hidden by the closed opening / closing portion 113 in the direction from the distance measuring sensor 210 toward the luggage 103.
  • the second filling rate calculation unit 804 generates voxel data 2052 shown in FIG. 31 (c) by converting the first portion and the second portion into voxels, respectively.
  • the white region without hatching is the region where the second portion is voxelized
  • the region where the dots are hatched is the region where the first portion is voxelized.
  • the second filling rate calculation unit 804 estimates whether or not the luggage 103 exists behind the opening / closing unit 113 with respect to the white region corresponding to the region of the opening / closing unit 113. Specifically, the second filling rate calculation unit 804 calculates a score based on the probability that luggage exists in 26 voxels adjacent to the voxels of the hatching of dots in which the luggage 103 exists in the voxelized region. assign. Then, as shown in FIG. 31 (d), the added score is assigned to the voxels indicated by the white areas adjacent to the plurality of voxels in which the luggage 103 exists.
  • the second filling rate calculation unit 804 performs this for all voxels in which the baggage 103 is present, and determines that the baggage 103 is present in the voxels whose total score is equal to or greater than an arbitrary threshold value and is indicated by the white area. For example, when the arbitrary threshold value is 0.1, the second filling rate calculation unit 804 determines that the luggage 103 exists in all the regions, so that the opening / closing unit 113 as shown in FIG. 31 (e) It is possible to calculate the luggage model 2053 in which the shape of the concealed region is estimated.
  • the information processing device 220 estimates the shape of the second portion in which the distance measuring sensor 210 does not face the object to be measured based on the shape of the first portion in which the distance measuring sensor 210 faces the cargo 103. Even if there are two parts, the three-dimensional model of the object can be estimated appropriately.
  • the second filling rate calculation unit 804 arranges one or more luggage 103.
  • the contour R3 of the region may be extracted, and it may be determined that the luggage 103 exists inside the extracted contour R3. Then, the second filling rate calculation unit 804 may estimate the region of the opening / closing portion 113 inside the contour R3 by using the three-dimensional point cloud in the region of the plurality of through holes 113a of the opening / closing portion 113.
  • the car carriage 112 further has a plurality of through holes 113a and an opening / closing portion 113 for opening / closing the opening 112a.
  • the filling rate calculation unit 224 is based on a plurality of first portions corresponding to the plurality of through holes 113a of the opening / closing unit 113 in the voxel data 2031 based on the spatial three-dimensional model 2011.
  • the second portion hidden by the opening / closing portion 113 is estimated, and the luggage model 2034 is estimated using the plurality of first portions, the estimated second portion, and the stored three-dimensional model 2032.
  • the estimation method of the luggage model 2034 is first based on the opening / closing state of the opening / closing portion 113. Since the method is switched between the above method and the second method, the three-dimensional model of the object can be estimated appropriately.
  • the direction from the distance measuring sensor 210 to the luggage 103 is, for example, along the horizontal direction. Therefore, it is not necessary to adjust the position of the distance measuring sensor 210 so that the measurement can be performed from the direction in which the opening / closing portion 113 having the through hole 113a does not exist, so that the degree of freedom in installing the distance measuring sensor 210 is high. Therefore, even if the position of the distance measuring sensor 210 is not adjusted, it is possible to obtain the measurement result for estimating the three-dimensional model of the object by the distance measuring sensor 210.
  • FIG. 33 is a diagram for explaining a method of generating a spatial three-dimensional model according to the modified example 4.
  • the three-dimensional measurement system 200 may integrate the measurement results of the plurality of distance measuring sensors 210 in the same manner as the processing of the model generation unit 223. ..
  • the three-dimensional measurement system 200 is specified by pre-calibrating the positions and orientations of the plurality of distance measuring sensors 210, and is obtained based on the positions and orientations of the specified plurality of distance measuring sensors 210.
  • By integrating a plurality of measurement results it is possible to generate a spatial 3D model including a 3D point cloud with few occlusions.
  • FIG. 34 is a diagram for explaining a method of generating a spatial three-dimensional model according to the modified example 5.
  • the three-dimensional measurement system 200 has the car carriage 112 and one distance measurement sensor 210 so as to cross the measurement area R1 of one distance measurement sensor 210. At least one of them may be moved, and a plurality of measurement results obtained by the ranging sensor 210 may be integrated at a plurality of timings during the movement. In this case, the relative position and orientation between the car carriage 112 and one distance measuring sensor 210 are calculated, and the relative positions and orientations are used to integrate a plurality of measurement results to reduce occlusion. It is possible to generate a spatial three-dimensional model including the original point cloud.
  • each processing unit included in the information processing device or the like is realized by a CPU and a control program.
  • each component of the processing unit may be composed of one or a plurality of electronic circuits.
  • the one or more electronic circuits may be general-purpose circuits or dedicated circuits, respectively.
  • the one or more electronic circuits may include, for example, a semiconductor device, an IC (Integrated Circuit), an LSI (Large Scale Integration), or the like.
  • the IC or LSI may be integrated on one chip or may be integrated on a plurality of chips.
  • IC integrated circuit
  • LSI System LSI
  • VLSI Very Large Scale Integration
  • ULSI Ultra Large Scale Integration
  • FPGA Field Programmable Gate Array
  • the general or specific aspects of the present disclosure may be realized by a system, an apparatus, a method, an integrated circuit, or a computer program.
  • a computer-readable non-temporary recording medium such as an optical disk, HDD (Hard Disk Drive) or semiconductor memory in which the computer program is stored.
  • HDD Hard Disk Drive
  • it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program and a recording medium.
  • the present disclosure is useful as a filling rate measuring method, an information processing device, a program, etc. that can calculate the filling rate of the object to be measured.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

計測対象物が格納された第１格納空間を有し、かつ、第１方向側に開口が形成されている第１格納部が、測距センサにより第１方向側から計測されることで得られた空間三次元モデルを取得し（Ｓ１１１）、計測対象物が格納されていない第１格納部の三次元モデルである格納三次元モデルを取得し（Ｓ１１２）、取得した空間三次元モデルおよび格納三次元モデルを用いて、格納三次元モデルのうちの計測対象物に対応する部分である対象物部分を抽出し（Ｓ１１４）、抽出した対象物部分を用いて第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し（Ｓ１１５）、格納三次元モデルおよび対象物三次元モデルを用いて、第１格納空間に対する計測対象物の第１充填率を算出する（Ｓ１１６）。

Description

充填率計測方法、情報処理装置およびプログラム
　本開示は、充填率計測方法、情報処理装置およびプログラムに関する。
　特許文献１には、３次元レーザスキャナを用いて３次元形状を取得する３次元形状計測装置が開示されている。
特開２０１５－８７３１９号公報
　計測した三次元形状の応用例について十分な検討が為されていない。例えば、所定の格納空間に、どのくらいの量の計測対象物が格納されているかを示す充填率の算出について十分に検討されていない。
　本開示は、計測対象物の充填率を算出することができる充填率計測方法等を提供する。
　本開示の一態様に係る充填率計測方法は、計測対象物が格納される第１格納空間を有し、かつ、開口が形成されている第１格納部が、前記第１格納部に対向している測距センサにより前記開口を介して計測されることで得られた空間三次元モデルを取得し、前記計測対象物が格納されていない前記第１格納部の三次元モデルである格納三次元モデルを取得し、取得した前記空間三次元モデルおよび前記格納三次元モデルを用いて、前記空間三次元モデルのうちの前記計測対象物に対応する部分である対象物部分を抽出し、抽出した前記対象物部分を用いて前記第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し、前記格納三次元モデルおよび前記対象物三次元モデルを用いて、前記第１格納空間に対する前記計測対象物の第１充填率を算出する。
　本開示の一態様に係る情報処理装置は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリを用いて、計測対象物が格納される第１格納空間を有し、かつ、開口が形成されている第１格納部が、前記第１格納部に対向している測距センサにより前記開口を介して前記第１方向側から計測されることで得られた空間三次元モデルを取得し、前記計測対象物が格納されていない前記第１格納部の三次元モデルである格納三次元モデルを取得し、取得した前記空間三次元モデルおよび前記格納三次元モデルを用いて、前記格納三次元モデルのうちの前記計測対象物に対応する部分である対象物部分を抽出し、抽出した前記対象物部分を用いて前記第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し、前記格納三次元モデルおよび前記対象物三次元モデルを用いて、前記第１格納空間に対する前記計測対象物の第１充填率を算出する。
　なお、本開示は、上記充填率計測方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データ又は信号として実現されてもよい。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信されてもよい。
　本開示によれば、計測対象物の充填率を算出することができる充填率計測方法等を提供できる。
図１は、実施の形態に係る充填率計測方法の概要を説明するための図である。 図２は、実施の形態に係る三次元計測システムの特徴的な構成を示すブロック図である。 図３は、測距センサの構成の第１の例を説明するための図である。 図４は、測距センサの構成の第２の例を説明するための図である。 図５は、測距センサの構成の第３の例を説明するための図である。 図６は、第１の例の座標系算出部の構成を示すブロック図である。 図７は、第１の例の座標系算出部による計測座標系の算出方法について説明するための図である。 図８は、第２の例の座標系算出部の構成を示すブロック図である。 図９は、第２の例の座標系算出部による計測座標系の算出方法について説明するための図である。 図１０は、第３の例の座標系算出部の構成を示すブロック図である。 図１１は、第３の例の座標系算出部による計測座標系の算出方法について説明するための図である。 図１２は、モデル生成部の構成の一例を示すブロック図である。 図１３は、モデル生成部による格納空間の容積を算出する処理のフローチャートである。 図１４は、充填率算出部の構成の一例を示すブロック図である。 図１５は、充填率算出部による充填率の算出方法の一例について説明するための図である。 図１６は、充填率算出部による充填率の算出方法の他の一例について説明するための図である。 図１７は、情報処理装置により行われる充填率計測方法のフローチャートである。 図１８は、第１の例の座標系算出部による計測座標系を算出する処理のフローチャートである。 図１９は、第２の例の座標系算出部による計測座標系を算出する処理のフローチャートである。 図２０は、第３の例の座標系算出部による計測座標系を算出する処理のフローチャートである。 図２１は、充填率の算出方法について説明するための図である。 図２２は、変形例１に係る充填率算出部の算出部の構成の一例を示すブロック図である。 図２３は、変形例１に係る充填率算出部の算出部の充填率算出処理のフローチャートである。 図２４は、２以上の棚をトラックの荷台などの格納空間に格納する場合の例を示す図である。 図２５は、荷台の格納空間に格納されている棚と、その充填率との関係を示す表である。 図２６は、変形例２に係る充填率算出部の算出部の構成の一例を示すブロック図である。 図２７は、変形例２に係る充填率算出部の算出部の充填率算出処理のフローチャートである。 図２８は、変形例３に係るかご台車の構成を説明するための図である。 図２９は、変形例３に係る充填率算出部の構成の一例を示すブロック図である。 図３０は、変形例３に係る充填率算出部の充填率算出処理のフローチャートである。 図３１は、充填率を算出する第２の方法の一例について説明するための図である。 図３２は、充填率を算出する第２の方法の他の一例について説明するための図である。 図３３は、変形例４に係る空間三次元モデルの生成方法について説明するための図である。 図３４は、変形例５に係る空間三次元モデルの生成方法について説明するための図である。
　（本開示に至った経緯）
　物流、流通現場において格納空間に対する荷物などの計測対象物の充填率を計測し、格納空間の使用効率を向上させることが求められている。また、物流、流通現場においては、多くのコンテナなどの格納部に計測対象物を格納することになるため、短時間でより多くの充填率を計測することが求められている。しかしながら、容易に充填率を計測する方法は、十分に検討されていない。
　そこで、本開示では、計測対象物が格納されている格納部に対して三次元モデルを生成する手法を適用することで、短時間でより多くの格納部の充填率を容易に算出するための充填率計測方法等を提供する。
　本開示の一態様に係る充填率計測方法は、計測対象物が格納される第１格納空間を有し、かつ、開口が形成されている第１格納部が、前記第１格納部に対向している測距センサにより前記開口を介して計測されることで得られた空間三次元モデルを取得し、前記計測対象物が格納されていない前記第１格納部の三次元モデルである格納三次元モデルを取得し、取得した前記空間三次元モデルおよび前記格納三次元モデルを用いて、前記空間三次元モデルのうちの前記計測対象物に対応する部分である対象物部分を抽出し、抽出した前記対象物部分を用いて前記第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し、前記格納三次元モデルおよび前記対象物三次元モデルを用いて、前記第１格納空間に対する前記計測対象物の第１充填率を算出する。
　これによれば、計測対象物が格納された状態の第１格納部が計測された空間三次元モデルと、計測対象物が格納されていない第１格納部の格納三次元モデルを用いて抽出した対象物部分を用いて計測対象物の対象物三次元モデルを推定する。これにより、計測対象物が格納された状態の第１格納部の計測を行うだけで、容易に第１格納空間に対する計測対象物の第１充填率を算出することができる。
　また、前記推定では、前記第１格納部の一部の形状を基準とした第１三次元座標系に基づいて、前記対象物三次元モデルを推定してもよい。
　このため、対象物三次元モデルの推定の処理量を低減することができる。
　また、さらに、前記第１格納部の前記一部の形状のみを基準として前記第１三次元座標系を算出してもよい。
　このため、画像上で抽出しやすい第１格納部の一部のみの形状を第１三次元座標系の算出に利用することができる。よって、対象物三次元モデルの推定の処理速度を向上させることができ、第１三次元座標系の算出精度を向上させることができる。
　また、前記一部の形状は、前記開口の形状であってもよい。
　このため、開口の形状を基準とした座標系を容易に算出することができ、算出した座標系に基づいて対象物三次元モデルを推定することができる。
　また、前記推定では、前記第１格納部に設置されたマーカーの位置を基準とした第１三次元座標系に基づいて、前記対象物三次元モデルを推定してもよい。
　このため、マーカーを基準とした座標系を容易に算出することができ、算出した座標系に基づいて対象物三次元モデルを推定することができる。
　また、前記推定では、前記測距センサから前記計測対象物に向かう方向において、前記測距センサが前記計測対象物と対向する第１部分の形状に基づいて、前記計測対象物と対向しない第２部分の形状を推定することで、前記対象物三次元モデルを推定してもよい。
　このため、測距センサが計測対象物と対向しない第２部分の形状がある場合であっても、対象物三次元モデルを推定することができる。
　また、前記第１格納部は、さらに、貫通孔を有し、かつ、閉状態で前記開口を覆うように配置される開閉部を有し、前記第１部分は、前記方向において、閉状態の前記開閉部における前記貫通孔に対向する部分であり、前記第２部分は、前記方向において、閉状態の前記開閉部により隠れている部分であり、前記充填率計測方法は、さらに、前記開閉部が開状態であるか閉状態であるかを判定し、前記開閉部が前記開状態である場合、前記抽出、および、前記推定を行うことで前記対象物三次元モデルを推定し、前記開閉部が前記閉状態である場合、前記第１部分に基づいて、前記第２部分を推定し、前記第１部分および推定した前記第２部分と、前記格納三次元モデルとを用いて、前記対象物三次元モデルを推定してもよい。
　これによれば、開口を開閉する開閉部が設けられた第１格納部に計測対象物を格納する場合であっても、開閉部の開閉状態に応じて対象物三次元モデルの推定方法を切り替えるため、適切に対象物三次元モデルを推定することができる。
　また、前記方向は、水平方向に沿っていてもよい。
　このため、貫通孔を有する開閉部がない方向から計測できるように、測距センサの位置を調整する必要がないため、測距センサの設置の自由度が高い。よって、測距センサの位置を調整仕切れていなくても測距センサによる対象物三次元モデルを推定するための計測結果を得ることができる。
　また、前記算出では、前記第１格納空間のうちで、前記計測対象物を格納可能な空間の容積に対する、前記第１格納空間に格納されている前記計測対象物の体積の割合を前記第１充填率として算出してもよい。
　このため、第１格納空間の空いている空間にどのくらいの計測対象物を格納することが可能かを適切に判断するための第１充填率を算出することができる。
　また、前記第１格納部および追加の第１格納部は、第２格納部が有する第２格納空間に格納され、前記充填率計測方法は、さらに、前記第２格納空間に対する、前記第１格納部および前記追加の第１格納部の第２充填率を算出してもよい。
　このため、第２格納空間に１以上の第１格納部が格納される場合の第２充填率を適切に算出することができる。
　また、前記格納三次元モデルは、前記測距センサおよび追加の測距センサにより計測された三次元モデルであってもよい。
　このため、オクルージョンの少ない格納三次元モデルを生成することができる。
　また、前記測距センサは、前記空間三次元モデルを生成するための少なくとも２台のカメラを有し、前記第１格納部の上側で固定されている。
　このように、測距センサが第１格納部の上側に固定される場合、測距センサの２台のカメラに撮影されるものが地面または第１格納部の台座（底面）などに限定され、第１格納部以外に動きうるものがないため、計測対象物を背景から切り分けることが容易にできる。
　本開示の一態様に係る情報処理装置は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリを用いて、計測対象物が格納される第１格納空間を有し、かつ、開口が形成されている第１格納部が、前記第１格納部に対向している測距センサにより前記開口を介して前記第１方向側から計測されることで得られた空間三次元モデルを取得し、前記計測対象物が格納されていない前記第１格納部の三次元モデルである格納三次元モデルを取得し、取得した前記空間三次元モデルおよび前記格納三次元モデルを用いて、前記格納三次元モデルのうちの前記計測対象物に対応する部分である対象物部分を抽出し、抽出した前記対象物部分を用いて前記第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し、前記格納三次元モデルおよび前記対象物三次元モデルを用いて、前記第１格納空間に対する前記計測対象物の第１充填率を算出する。
　これによれば、計測対象物が格納された状態の第１格納部が計測された空間三次元モデルと、計測対象物が格納されていない第１格納部の格納三次元モデルを用いて抽出した対象物部分を用いて計測対象物の対象物三次元モデルを推定する。これにより、計測対象物が格納された状態の第１格納部の計測を行うだけで、容易に第１格納空間に対する計測対象物の第１充填率を算出することができる。
　なお、本開示は、上記充填率計測方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データ又は信号として実現されてもよい。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信されてもよい。
　以下では、本開示に係る充填率計測方法等の各実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する各実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する場合がある。
　（実施の形態）
　図１を参照しながら、実施の形態に係る充填率計測方法の概要について説明する。
　図１は、実施の形態に係る充填率計測方法の概要を説明するための図である。
　充填率計測方法では、図１に示すように、格納空間１０１を有する棚１０２に格納されている荷物１０３を、測距センサ２１０を用いて計測する。そして、得られた計測結果を用いて、格納空間１０１に対する荷物１０３の充填率を算出する。棚１０２には、荷物１０３を格納空間１０１に出し入れするための開口１０２ａが形成されている。測距センサ２１０は、棚１０２の開口１０２ａに対向する位置に、開口１０２ａを含む棚１０２を計測する向きで配置されており、開口１０２ａを通して格納空間１０１の内部を含む計測領域Ｒ１を計測する。
　なお、棚１０２は、例えば、図１に示すように、箱状の形状を有する。棚は、荷物１０３が載置される載置面と、載置面の上方に荷物１０３が格納される格納空間１０１とを有する構成であれば、箱状の形状を有していなくてもよい。棚１０２は、第１格納部の一例である。格納空間１０１は、第１格納空間の一例である。格納空間１０１は、棚１０２が有する内部空間であるとしたが、これに限らずに、荷物１０３などの計測対象物が格納される倉庫内の空間であってもよい。荷物１０３は、計測対象物の一例である。計測対象物は、荷物１０３に限らずに、商品であってもよい。つまり、計測対象物は、可搬の物体であればどのような物体であってもよい。
　図２は、実施の形態に係る三次元計測システムの特徴的な構成を示すブロック図である。図３は、測距センサの構成の第１の例を説明するための図である。図４は、測距センサの構成の第２の例を説明するための図である。図５は、測距センサの構成の第３の例を説明するための図である。
　三次元計測システム２００は、図２に示すように、測距センサ２１０と、情報処理装置２２０とを備える。三次元計測システム２００は、複数の測距センサ２１０を備えていてもよいし、１つの測距センサ２１０を備えていてもよい。
　測距センサ２１０は、棚１０２の格納空間１０１を含む三次元空間を、棚１０２の開口１０２ａを介して計測することで、棚１０２および棚１０２の格納空間１０１を含む計測結果を取得する。測距センサ２１０は、具体的には、棚１０２または荷物１０３（以下、計測対象という。）上（計測対象の表面）の複数の計測点それぞれの三次元位置を示す三次元点の集合で表される空間三次元モデルを生成する。三次元点の集合は、三次元点群と言う。三次元点群の各三次元点が示す三次元位置は、例えば、ＸＹＺ軸からなる三次元座標空間のＸ成分、Ｙ成分、Ｚ成分からなる三値情報の三次元座標で表される。なお、三次元モデルは、三次元座標のみだけでなく、各点の色を示す色情報、又は、各点及びその周辺の表面形状を表す形状情報を含んでもよい。色情報は、例えば、ＲＧＢの色空間で表されてもよいし、ＨＳＶ、ＨＬＳ、ＹＵＶなどの別の色空間で表されてもよい。
　測距センサ２１０の具体例について、図３～図５を用いて説明する。
　第１の例の測距センサ２１０は、図３に示すように、電磁波を発し、かつ、発した電磁波が計測対象で反射された反射波を取得することで、空間三次元モデルを生成する。具体的には、測距センサ２１０は、発した電磁波が、発せられてから計測対象に反射して測距センサ２１０に戻るまでにかかった時間を計測し、計測した時間と計測に用いた電磁波の波長とを用いて、測距センサ２１０と計測対象の表面上の点Ｐ１との間の距離を算出する。測距センサ２１０は、測距センサ２１０の基準点からから予め定められた放射状の複数の方向へ電磁波を発する。例えば、測距センサ２１０は、水平方向周りに第１の角度間隔で電磁波を発し、垂直方向周りに第２の角度間隔で電磁波を発してもよい。このため、測距センサ２１０は、測距センサ２１０と測距センサ２１０の周りの複数の方向それぞれにおける計測対象との間の距離を検出することで、計測対象上の複数の点の三次元座標を算出することができる。よって、測距センサ２１０は、計測対象上の複数の三次元位置を示す位置情報を算出することができ、位置情報を有する空間三次元モデルを生成することができる。位置情報は、複数の三次元位置を示す複数の三次元点を含む三次元点群であってもよい。
　第１の例の測距センサ２１０は、図３に示すように、電磁波としてのレーザ光を照射するレーザ照射部２１１と、照射したレーザ光が計測対象で反射された反射光を受光するレーザ受光部２１２とを有する三次元レーザ計測器である。測距センサ２１０は、レーザ照射部２１１およびレーザ受光部２１２を備えるユニットを異なる２軸で回転もしくは揺動させる、または、照射もしくは受光するレーザの経路上に２軸で揺動する可動式のミラー（ＭＥＭＳ（Micro Electro Mechanical Systems）ミラー）を設置することで計測対象上をレーザ光でスキャンする。これにより、測距センサ２１０は、計測対象の高精度かつ高密度な三次元モデルを生成することができる。
　測距センサ２１０は、レーザ光を照射することで計測対象との間の距離を計測する三次元レーザ計測器を例示したが、これに限らずに、ミリ波を出射することで計測対象との間の距離を計測するミリ波レーダ計測器であってもよい。
　また、測距センサ２１０は、色情報を有する三次元モデルを生成してもよい。第１色情報は、測距センサ２１０により撮影された画像を用いて生成される色情報であって、第１三次元点群に含まれる複数の第１三次元点それぞれの色を示す色情報である。
　具体的には、測距センサ２１０は、測距センサ２１０の周囲にある計測対象を撮影するカメラを内蔵していてもよい。測距センサ２１０が内蔵するカメラは、測距センサ２１０が照射するレーザ光の照射範囲を含む領域を撮影することで画像を生成する。また、カメラにより撮影される撮影範囲は、照射範囲と予め対応付けられている。具体的には、レーザ光が測距センサ２１０により照射される複数の方向と、カメラにより撮影された画像における各画素とは、予め対応付けられており、測距センサ２１０は、三次元点群に含まれる複数の三次元点のそれぞれの色を示す色情報として、当該三次元点の方向に対応付けられた画像の画素値を設定する。
　第２の例の測距センサ２１０Ａは、図４に示すように、構造化光法を用いた測距センサである。測距センサ２１０Ａは、赤外パターン照射部２１１Ａと、赤外カメラ２１２Ａとを有する。赤外パターン照射部２１１Ａは、予め定められた赤外パターン２１３Ａを計測対象の表面に投影する。赤外カメラ２１２Ａは、赤外パターン２１３Ａが投影された計測対象を撮影することで、赤外画像を取得する。測距センサ２１０Ａは、得られた赤外画像に含まれる赤外パターン２１３Ａを探索し、実空間における計測対象上の赤外パターンのうちの一点Ｐ１の位置、赤外パターン照射部２１１Ａの位置および赤外カメラ２１２Ａの位置の３つの位置を結んでできる三角形に基づいて、赤外パターン照射部２１１Ａまたは赤外カメラ２１２Ａから計測対象上の上記一点Ｐ１の位置までの距離を算出する。これにより、測距センサ２１０Ａは、計測対象上の計測点の三次元点を取得することができる。
　なお、測距センサ２１０Ａは、赤外パターン照射部２１１Ａと赤外カメラ２１２Ａとを有する測距センサ２１０Ａのユニットを移動させる、または、赤外パターン照射部２１１Ａにより照射される赤外パターンを細かいテクスチャとすることで、高密度な三次元モデルを取得することができる。
　また、測距センサ２１０Ａは、赤外カメラ２１２Ａで取得できる色情報の可視光領域を用いることで、赤外パターン照射部２１１Ａまたは赤外カメラ２１２Ａの位置または向きを考慮して、得られた可視光領域と三次元点とを関連付けることで、色情報を有する三次元モデルを生成してもよい。また、測距センサ２１０Ａは、色情報を付加するための可視光カメラをさらに有する構成であってもよい。
　第３の例の測距センサ２１０Ｂは、図５に示すように、ステレオカメラ計測で三次元点を計測する測距センサである。測距センサ２１０Ｂは、２つのカメラ２１１Ｂ、２１２Ｂを有するステレオカメラである。測距センサ２１０Ｂは、２つのカメラ２１１Ｂ、２１２Ｂで同期したタイミングで計測対象を撮影することで、視差を有するステレオ画像を取得する。測距センサ２１０Ｂは、得られたステレオ画像（２枚の画像）を用いて２枚の画像間において特徴点のマッチング処理を行い、画素精度または小数画素精度で２枚の画像間の位置合わせ情報を取得する。測距センサ２１０Ｂは、実空間における計測対象上の一点Ｐ１のマッチング位置と、２つのカメラ２１１Ｂ、２１２Ｂそれぞれの位置との３つの位置を結んでできる三角形に基づいて、２つのカメラ２１１Ｂ、２１２Ｂのいずれかのカメラから計測対象上のマッチング位置（つまり、点Ｐ１）までの距離を算出する。これにより、測距センサ２１０Ｂは、計測対象上の計測点の三次元点を取得することができる。
　なお、測距センサ２１０Ｂは、２つのカメラ２１１Ｂ、２１２Ｂを有する測距センサ２１０Ｂのユニットを移動させる、または、測距センサ２１０Ｂに搭載されるカメラの数を３以上に増やして、同一の計測対象を撮影してマッチング処理を行うことで、高精度な三次元モデルを取得することができる。
　また、測距センサ２１０Ｂが有するカメラ２１１Ｂ、２１２Ｂを可視光カメラとすることで、取得される三次元モデルに色情報を付加することが容易にできる。
　なお、本実施の形態では、情報処理装置２２０は、第１の例の測距センサ２１０を備える例で説明するが、第１の例の測距センサ２１０の代わりに第２の例の測距センサ２１０Ａまたは第３の例の測距センサ２１０Ｂを備える構成であってもよい。
　なお、２つのカメラ２１１Ｂ、２１２Ｂは、可視光画像あるいは赤外画像を含むモノクロ画像を撮影できる。この場合、三次元計測システム２００における２枚の画像間におけるマッチング処理は、例えば、ＳＬＡＭ(Simultaneous Localization And Mapping)やＳｆＭ(Structure from Motion)を用いて行われてもよい。また、この処理をすることにより得られたカメラ２１１Ｂ、２１２Ｂの位置および姿勢を示す情報を用いて、ＭＶＳ(Multi View Stereo)により計測空間モデルの点群密度を増やしてもよい。
　図２に戻り、情報処理装置２２０の構成について説明する。
　情報処理装置２２０は、取得部２２１と、座標系算出部２２２と、モデル生成部２２３と、充填率算出部２２４と、記憶部２２５とを備える。
　取得部２２１は、測距センサ２１０で生成された空間三次元モデルおよび画像を取得する。取得部２２１は、具体的には、測距センサ２１０から空間三次元モデルおよび画像を取得してもよい。取得部２２１により取得された空間三次元モデルおよび画像は、記憶部２２５に記憶されてもよい。
　座標系算出部２２２は、空間三次元モデルおよび画像を用いて測距センサ２１０と棚１０２との間の位置関係を算出する。これにより、座標系算出部２２２は、棚１０２の一部の形状を基準とした計測座標系を算出する。座標系算出部２２２は、棚１０２の一部の形状のみを基準とした計測座標系を算出してもよい。具体的には、座標系算出部２２２は、計測座標系を算出する基準となる一部の形状として、棚１０２の開口１０２ａの形状を基準として計測座標系を算出する。なお、計測座標系を算出する基準となる開口１０２ａの形状は、実施の形態に示すように開口１０２ａの形状が矩形である場合、開口１０２ａの形状の角としてもよいし、当該開口１０２ａの形状の辺としてもよい。
　なお、計測座標系は、三次元直交座標系であり、第１三次元座標系の一例である。計測座標系を算出することで、棚１０２を基準とする測距センサ２１０の相対的な位置および姿勢を特定することができる。つまり、これにより、測距センサ２１０のセンサ座標系を計測座標系に合わせることができ、棚１０２と測距センサ２１０との間のキャリブレーションを行うことができる。なお、センサ座標系は、三次元直交座標系である。
　なお、本実施の形態では、直方体形状の棚１０２について、棚１０２の１面に開口１０２ａを有しているがこれに限らない。棚は、前面と後面との２面に開口を有している、または、前面と上面との２面に開口を有しているなどのように、直方体形状のうちの複数面に開口が設けられた構成であってもよい。棚が複数の開口を有する場合、複数の開口のうちの１つの開口について、後述する所定の基準位置が設定されていてもよい。所定の基準位置は、棚１０２の三次元モデルである格納三次元モデルの三次元点あるいはボクセルの存在しない空間に設定されていてもよい。
　ここで、第１の例の座標系算出部２２２について図６および図７を用いて説明する。
　図６は、第１の例の座標系算出部の構成を示すブロック図である。図７は、第１の例の座標系算出部による計測座標系の算出方法について説明するための図である。
　座標系算出部２２２は、計測座標系を算出する。計測座標系は、空間三次元モデルの基準となる三次元座標系である。例えば、測距センサ２１０は、計測座標系の原点に設置されており、棚１０２の開口１０２ａに対して正対する向きに設置されている。このとき、計測座標系は、測距センサ２１０の上向きがＸ軸に設定され、右向きがＹ軸に設定され、手前向きがＺ軸に設定されてもよい。座標系算出部２２２は、補助部３０１と、算出部３０２とを有する。
　補助部３０１は、図７の（ａ）に示すように、取得部２２１により取得された測距センサ２１０による計測結果である画像２００１をリアルタイムに逐次取得し、逐次取得した画像２００１毎に調整用マーカー２００２を重畳する。補助部３０１は、調整用マーカー２００２を画像２００１に重畳した重畳画像２００３を図示しない表示装置に逐次出力する。表示装置は、情報処理装置２２０により出力された重畳画像２００３を逐次表示する。なお、補助部３０１および表示装置は、測距センサ２１０に一体に設けられてもよい。
　調整用マーカー２００２は、棚１０２に対する測距センサ２１０の位置および姿勢が特定の位置および姿勢になるように、ユーザに測距センサ２１０を移動させることを支援するためのマーカーである。ユーザは、表示装置に表示されている重畳画像２００３を見ながら、調整用マーカー２００２が棚１０２の所定の基準位置に重なるように測距センサ２１０の位置および姿勢を変更することで、測距センサ２１０を棚１０２に対して特定の位置および姿勢となるように配置することができる。棚１０２の所定の基準位置とは、例えば、棚１０２の四角形の開口１０２ａの４つの角の位置である。
　棚１０２に対して特定の位置および姿勢で測距センサ２１０が配置されたときに、棚１０２の開口１０２ａの４つの角の位置に対応する４つの位置に４つの調整用マーカー２００２が重畳された重畳画像２００３が生成される。例えば、ユーザは、図７の（ａ）のに示す矢印の方向に調整用マーカー２００２が移動するように、測距センサ２１０を移動させることで、図７の（ｂ）のように、４つの調整用マーカー２００２を開口１０２ａの４つの角の位置に合わせることができる。
　なお、補助部３０１は、画像２００１に調整用マーカー２００２を重畳するとしたが、空間三次元モデルに調整用マーカーを重畳し、調整用マーカーが重畳された空間三次元モデルを表示装置へ表示させてもよい。
　算出部３０２は、図７の（ｃ）に示すように、４つの調整用マーカー２００２を開口１０２ａの４つの角の位置に合わせられた時における測距センサ２１０と、棚１０２との位置関係を示す回転行列２００５および並進ベクトル２００６を算出する。算出部３０２は、算出した回転行列２００５および並進ベクトル２００６を用いて測距センサ２１０のセンサ座標系２００４を変換することで、開口１０２ａの任意の角（４つの角のうちの１つ）を原点とする計測座標系２０００を算出する。なお、４つの調整用マーカー２００２を開口１０２ａの４つの角の位置に合わせられた時に、ユーザは、図示しない入力装置に入力を行ってもよい。情報処理装置２２０は、入力装置から当該入力があった時を取得することで、４つの調整用マーカー２００２を開口１０２ａの４つの角の位置に合わせられた時を判断してもよい。また、情報処理装置２２０は、画像２００１を解析することで４つの調整用マーカー２００２が開口１０２ａの４つの角の位置に合わせられたか否かを判定してもよい。
　次に、第２の例の座標系算出部２２２Ａについて図８および図９を用いて説明する。
　図８は、第２の例の座標系算出部の構成を示すブロック図である。図９は、第２の例の座標系算出部による計測座標系の算出方法について説明するための図である。
　座標系算出部２２２Ａは、検出部３１１と、抽出部３１２と、算出部３１３とを有する。
　検出部３１１は、図９の（ａ）に示す、取得部２２１により取得された測距センサ２１０による計測結果である空間三次元モデル２０１１と、図９の（ｂ）に示す、格納三次元モデル２０１２とを用いて、図９の（ｃ）に示すように、棚１０２に対応する棚領域２０１４を検出する。なお、格納三次元モデル２０１２は、荷物１０３が格納されていない棚１０２の三次元モデルであり、荷物１０３が格納されていないときの棚１０２について予め測距センサ２１０による計測結果を用いて生成された三次元モデルである。格納三次元モデル２０１２は、後述するモデル生成部２２３により生成され、記憶部２２５に記憶されている。格納三次元モデル２０１２は、棚１０２の開口１０２ａの４つの角の位置を示す位置情報２０１３を含んでいてもよい。
　抽出部３１２は、図９の（ｄ）に示すように、格納三次元モデル２０１２における位置情報２０１３を用いて、棚領域２０１４における開口２０１５の４つの角の位置である４つの開口部端点２０１６を抽出する。４つの開口部端点２０１６で規定される開口２０１５の形状は、計測座標系を算出する基準となる一部の形状の一例である。
　算出部３１３は、図９の（ｅ）に示すように、４つの開口部端点２０１６の測距センサ２１０から見た形状に基づいて、測距センサ２１０と棚１０２との位置関係を示す回転行列２０１７および並進ベクトル２０１８を算出する。算出部３１３は、回転行列２０１７および並進ベクトル２０１８を用いて、測距センサ２１０のセンサ座標系２００４を変換することで計測座標系２０００を算出する。算出部３１３は、具体的には、回転行列２０１７をＲとし、並進ベクトル２０１８をＴとすると、センサ座標系２００４における三次元点ｘは、下記に示す式１により計測座標系２０００の三次元点Ｘに変換することができる。これにより、算出部３１３は、計測座標系２０００を算出することができる。
　Ｘ＝Ｒｘ＋Ｔ・・・式１
　次に、第３の例の座標系算出部２２２Ｂについて図１０および図１１を用いて説明する。
　図１０は、第３の例の座標系算出部の構成を示すブロック図である。図１１は、第３の例の座標系算出部による計測座標系の算出方法について説明するための図である。
　座標系算出部２２２Ｂは、検出部３２１と、抽出部３２２と、算出部３２３とを有する。第３の例では、棚１０２の特定の位置（例えば、上面の位置）に、マーカー１０４が配置されており、座標系算出部２２２Ｂは、マーカー１０４の位置を基準にして計測座標系２０００を特定する。つまり、この場合の計測座標系２０００は、棚１０２に設置されたマーカー１０４の位置を基準とした座標系である。
　なお、マーカー１０４は、例えば、チェックパターンを有する。マーカー１０４は、所定の形状を有するアライメントマーク（位置決めマーク）であれば、チェックパターンに限らない。
　検出部３２１は、図１１の（ａ）に示す、取得部２２１により取得された測距センサ２１０による計測結果である画像２０２１から、図１１の（ｃ）に示すように、棚１０２に設置されたマーカー１０４に対応するマーカー領域２０２４を検出する。
　抽出部３２２は、画像２０２１上のマーカー領域２０２４から、図１１の（ｄ）に示すように、チェックパターンの輪郭であるパターン輪郭２０２５を抽出する。
　算出部３２３は、抽出されたパターン輪郭２０２５の形状に基づいて、測距センサ２１０とマーカー１０４との位置関係を示す回転行列２０２６および並進ベクトル２０２７を算出する。算出部３２３は、回転行列２０２６および並進ベクトル２０２７と、図１１の（ｂ）に示す格納三次元モデル２０２２およびマーカー２０２３の位置関係とを用いて、測距センサ２１０および棚１０２の三次元的な位置関係を算出し、算出した三次元的な位置関係を用いてセンサ座標系２００４を変換することで計測座標系２０００を算出する。なお、格納三次元モデル２０２２およびマーカー２０２３の位置関係は、事前に計測されていてもよいし、マーカー１０４が配置された棚１０２設計データに基づいて事前に生成されていてもよい。
　図２に戻り、モデル生成部２２３について説明する。
　モデル生成部２２３は、荷物１０３が格納されていない棚１０２の三次元モデルである格納三次元モデルを生成する。モデル生成部２２３は、測距センサ２１０により荷物１０３が格納されていない棚１０２の計測結果を取得し、格納三次元モデルを生成する。モデル生成部２２３による具体的な処理については、後述する。生成された格納三次元モデルは、記憶部２２５に記憶される。
　ここで、モデル生成部２２３について図１２および図１３を用いて具体的に説明する。
　図１２は、モデル生成部の構成の一例を示すブロック図である。図１３は、モデル生成部による格納空間の容積を算出する処理のフローチャートである。
　モデル生成部２２３は、検出部４０１と、生成部４０２と、容積算出部４０３とを有する。
　検出部４０１は、測距センサ２１０により計測された空間三次元モデルから棚１０２に対応する棚領域を検出する（Ｓ１０１）。検出部４０１は、三次元計測システム２００が複数の測距センサ２１０を備える場合、複数の測距センサ２１０のそれぞれについて、ステップＳ１０１の処理を行う。これにより、検出部４０１は、複数の測距センサ２１０にそれぞれ対応する複数の棚領域を検出する。
　生成部４０２は、三次元計測システム２００が複数の測距センサ２１０を備える場合、複数の棚領域を統合し、格納三次元モデルを生成する（Ｓ１０２）。生成部４０２は、具体的には、複数の棚領域を統合するために、ＩＣＰ（Iterative Closest Point）により、三次元点群の位置合わせを行ってもよいし、複数台の測距センサ２１０の相対位置関係を予め算出しておき、算出した相対位置関係に基づいて複数の棚領域を統合してもよい。相対位置関係の算出は、複数の測距センサ２１０でそれぞれ取得された複数の画像を多視点画像とし、ＳｆＭ（Structure from Motion）を用いて算出してもよい。複数の測距センサ２１０は、相対位置関係が決められた設計図に基づいて設置されていてもよい。
　なお、複数台の測距センサ２１０ではなく、１台の測距センサ２１０を移動させて、複数位置から計測された複数の計測結果を用いて、複数の計測結果からそれぞれ得られた複数の棚領域を統合することで棚１０２の格納三次元モデルを生成してもよい。
　なお、格納三次元モデルは、測距センサ２１０により計測された結果を用いずに、棚１０２の設計時の３ＤＣＡＤデータに基づいて生成されてもよいし、棚１０２の寸法計測データまたはメーカ公開の機材仕様データに基づいて生成されてもよい。
　なお、三次元計測システム２００が複数の測距センサ２１０を備えておらず１つの測距センサ２１０のみを備えており１つの位置から計測された１つの計測結果を用いる場合、モデル生成部２２３は、生成部４０２を有していなくてもよい。つまり、モデル生成部２２３は、ステップＳ１０２を行わなくてもよい。
　容積算出部４０３は、格納三次元モデルを用いて棚１０２の格納空間１０１の容積を算出する（Ｓ１０３）。
　図２に戻り、充填率算出部２２４について説明する。
　充填率算出部２２４は、棚１０２の格納空間１０１に対する荷物１０３の充填率を算出する。充填率算出部２２４は、例えば、測距センサ２１０で取得した空間三次元モデル、画像および計測座標系２０００を用いて、格納空間１０１の容積に対する荷物１０３の体積の割合を充填率として算出してもよい。
　ここで、充填率算出部２２４について図１４および図１５を用いて具体的に説明する。
　図１４は、充填率算出部の構成の一例を示すブロック図である。図１５は、充填率算出部による充填率の算出方法の一例について説明するための図である。なお、図１５は、測距センサ２１０が棚１０２の開口１０２ａに対して正対する場合の例を示す。測距センサ２１０は、棚１０２の開口１０２ａが形成されるＺ軸マイナス方向側に配置され、棚１０２の開口１０２ａを介して棚１０２の格納空間１０１を計測する。つまり、測距センサ２１０は、鉛直方向において、棚１０２の上側に配置されている。この例は、第１の例の座標系算出部２２２で計測座標系２０００が計測された場合の例である。つまり、この場合、センサ座標系２００４と計測座標系２０００とは一致する。
　充填率算出部２２４は、抽出部５０１と、推定部５０２と、算出部５０３とを有する。
　抽出部５０１は、空間三次元モデル２０１１および格納三次元モデルを用いて、空間三次元モデルのうちの荷物１０３に対応する部分である荷物領域２０３３を抽出する。抽出部５０１は、具体的には、図１５の（ａ）に示す、取得部２２１により取得された測距センサ２１０による計測結果である空間三次元モデル２０１１のデータ構造を変換してボクセルデータ化することで、図１５の（ｂ）に示すボクセルデータ２０３１を生成する。抽出部５０１は、生成したボクセルデータ２０３１と、図１５の（ｃ）に示す、ボクセル化された格納三次元モデルである格納三次元モデル２０３２とを用いて、ボクセルデータ２０３１から格納三次元モデル２０３２を減じることで、図１５の（ｄ）に示す、ボクセルデータ２０３１のうちの荷物１０３が計測された結果の領域である荷物領域２０３３を抽出する。荷物領域２０３３は、計測対象物に対応する部分である対象物部分の一例である。
　推定部５０２は、抽出した荷物領域２０３３を用いて格納空間１０１内における荷物１０３の三次元モデルである荷物モデル２０３４を推定する。推定部５０２は、具体的には、荷物領域２０３３を用いて、測距センサ２１０と棚１０２との並び方向であるＺ軸方向において測距センサ２１０に対して荷物１０３が隠れている領域、つまり、Ｚ軸プラス方向側に荷物領域２０３３を補間する。推定部５０２は、例えば、荷物領域２０３３を構成する複数のボクセルのそれぞれについて、当該ボクセルが複数のボクセルのうちで最もＺ軸プラス方向側配置される最遠ボクセルよりもＺ軸マイナス方向側に配置されるボクセルであるか否かを判定する。推定部５０２は、最遠ボクセルよりもＺ軸マイナス方向側に配置されるボクセルである場合、当該ボクセルよりもＺ軸プラス方向側にボクセルが配置されていない場合、最遠ボクセルと同じＺ軸方向における位置までボクセルを補間する。これにより、推定部５０２は、図１５の（ｅ）に示すような荷物モデル２０３４を推定する。
　算出部５０３は、格納三次元モデルおよび荷物モデル２０３４を用いて、格納空間１０１に対する荷物１０３の第１充填率を算出する。算出部５０３は、具体的には、荷物モデル２０３４を構成する複数のボクセルの数をカウントし、予め定められたボクセルサイズにカウントした数を乗じることで、荷物１０３の体積を算出する。算出部５０３は、モデル生成部２２３により算出された棚１０２の格納空間１０１の容積に対する、算出した荷物１０３の体積の割合を、第１充填率として算出する。
　測距センサ２１０は、棚１０２の開口１０２ａに対して正対していなくてもよい。図１６は、充填率算出部による充填率の算出方法の他の一例について説明するための図である。図１６は、測距センサ２１０が棚１０２の開口１０２ａに対して傾いて配置されている場合の例を示す。この例は、第２の例の座標系算出部２２２Ａ、または、第３の例の座標系算出部２２２Ｂで計測座標系２０００が計測された場合の例である。つまり、この場合、センサ座標系２００４と計測座標系２０００とは異なる。
　図１６の例の場合に用いられる座標系は、計測座標系２０００である。推定部５０２は、荷物領域２０３３を用いて、測距センサ２１０と棚１０２との並び方向である、計測座標系２０００のＺ軸方向において測距センサ２１０に対して荷物１０３が隠れている領域、つまり、Ｚ軸プラス方向側に荷物領域２０３３を補間する。
　充填率算出部２２４によるその他の処理は、図１５の場合と同様であるため説明を省略する。
　なお、座標系算出部２２２による計測座標系の算出と、充填率算出部２２４による充填率の算出とに用いられる、空間三次元モデルおよび画像のペアは、測距センサ２１０によって同一時刻に計測された結果であってもよいし、異なる時刻に計測された結果であってもよい。
　測距センサ２１０と情報処理装置２２０とは、通信ネットワークにより互いに通信可能に接続されていてもよい。通信ネットワークは、インターネットなどの公衆通信網、または、専用通信網であってもよい。これにより、測距センサ２１０により得られた空間三次元モデルおよび画像は、測距センサ２１０から情報処理装置２２０へ通信ネットワークを介して送信される。
　また、情報処理装置２２０は、空間三次元モデルおよび画像を、通信ネットワークを介さずに測距センサ２１０から取得してもよい。例えば、空間三次元モデルおよび画像は、測距センサ２１０から、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）などの外部記憶装置に一旦記憶され、情報処理装置２２０は、外部記憶装置から空間三次元モデルおよび画像を取得してもよい。また、外部記憶装置は、クラウドサーバであってもよい。
　情報処理装置２２０は、例えば、制御プログラムと、当該制御プログラムを実行するプロセッサ又は論理回路等の処理回路と、当該制御プログラムを記憶する内部メモリ又はアクセス可能な外部メモリ等の記録装置と、を備えるコンピュータシステムを少なくとも備える。情報処理装置２２０の各処理部による機能は、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよい。
　次に、情報処理装置２２０の動作について説明する。
　図１７は、情報処理装置により行われる充填率計測方法のフローチャートである。
　情報処理装置２２０は、測距センサ２１０から空間三次元モデルを取得する（Ｓ１１１）。このとき、情報処理装置２２０は、さらに、測距センサ２１０から計測対象の画像を取得してもよい。
　情報処理装置２２０は、記憶部２２５に記憶されている格納三次元モデルを取得する（Ｓ１１２）。
　情報処理装置２２０は、棚１０２の開口１０２ａの形状を基準とした計測座標系を算出する（Ｓ１１３）。ステップＳ１１３は、座標系算出部２２２による処理である。
　情報処理装置２２０は、空間三次元モデル２０１１のボクセルデータ２０３１および格納三次元モデルの格納三次元モデル２０３２を用いて、ボクセルデータ２０３１のうちの荷物１０３に対応する荷物領域２０３３を抽出する（Ｓ１１４）。ステップＳ１１４は、充填率算出部２２４の抽出部５０１による処理である。
　情報処理装置２２０は、抽出した荷物領域２０３３を用いて格納空間１０１内における荷物１０３の三次元モデルである荷物モデル２０３４を推定する（Ｓ１１５）。ステップＳ１１５は、充填率算出部２２４の推定部５０２による処理である。
　情報処理装置２２０は、格納三次元モデルおよび荷物モデル２０３４を用いて、格納空間１０１に対する荷物１０３の第１充填率を算出する（Ｓ１１６）。ステップＳ１１６は、充填率算出部２２４の算出部５０３による処理である。
　図１８は、第１の例の座標系算出部による計測座標系を算出する処理（Ｓ１１３）のフローチャートである。
　座標系算出部２２２は、取得部２２１により取得された測距センサ２１０による計測結果である画像２００１をリアルタイムに逐次取得し、逐次取得した画像２００１毎に調整用マーカー２００２を重畳する（Ｓ１２１）。ステップＳ１２１は、座標系算出部２２２の補助部３０１による処理である。
　座標系算出部２２２は、測距センサ２１０の位置および姿勢を取得する（Ｓ１２２）。ステップＳ１２１は、座標系算出部２２２の補助部３０１による処理である。
　座標系算出部２２２は、４つの調整用マーカー２００２を開口１０２ａの４つの角の位置に合わせられた時における測距センサ２１０の位置および姿勢を用いて測距センサ２１０のセンサ座標系２００４を特定し、特定したセンサ座標系２００４を用いて計測座標系２０００を算出する（Ｓ１２３）。ステップＳ１２３は、座標系算出部２２２の算出部３０２による処理である。
　図１９は、第２の例の座標系算出部による計測座標系を算出する処理（Ｓ１１３）のフローチャートである。
　座標系算出部２２２Ａは、取得部２２１により取得された測距センサ２１０による計測結果である空間三次元モデル２０１１と、格納三次元モデル２０１２とを用いて、棚１０２に対応する棚領域２０１４を検出する（Ｓ１２１Ａ）。ステップＳ１２１Ａは、座標系算出部２２２Ａの検出部３１１による処理である。
　座標系算出部２２２Ａは、格納三次元モデル２０１２における位置情報２０１３を用いて、棚領域２０１４における開口２０１５の４つの角の位置である４つの開口部端点２０１６を抽出する（Ｓ１２２Ａ）。ステップＳ１２２Ａは、座標系算出部２２２Ａの抽出部３１２による処理である。
　座標系算出部２２２Ａは、４つの開口部端点２０１６の測距センサ２１０から見た形状に基づいて、測距センサ２１０と棚１０２との位置関係を示す回転行列２０１７および並進ベクトル２０１８を算出する。そして、座標系算出部２２２Ａは、回転行列２０１７および並進ベクトル２０１８を用いて、測距センサ２１０のセンサ座標系２００４を変換することで計測座標系２０００を算出する（Ｓ１２３Ａ）。ステップＳ１２３Ａは、座標系算出部２２２Ａの算出部３１３による処理である。
　図２０は、第３の例の座標系算出部による計測座標系を算出する処理（Ｓ１１３）のフローチャートである。
　座標系算出部２２２Ｂは、取得部２２１により取得された測距センサ２１０による計測結果である画像２０２１からマーカー領域２０２４を検出する（Ｓ１２１Ｂ）。ステップＳ１２１Ｂは、座標系算出部２２２Ｂの検出部３２１による処理である。
　座標系算出部２２２Ｂは、画像２０２１上のマーカー領域２０２４からパターン輪郭２０２５を抽出する（Ｓ１２２Ｂ）。ステップＳ１２２Ｂは、座標系算出部２２２Ｂの抽出部３２２による処理である。
　座標系算出部２２２Ｂは、抽出されたパターン輪郭２０２５の形状に基づいて、測距センサ２１０とマーカー１０４との位置関係を示す回転行列２０２６および並進ベクトル２０２７を算出する。そして、座標系算出部２２２Ｂは、回転行列２０２６および並進ベクトル２０２７と、格納三次元モデル２０２２およびマーカー２０２３の位置関係とを用いて、測距センサ２１０および棚１０２の三次元的な位置関係を算出し、算出した三次元的な位置関係を用いてセンサ座標系２００４を変換することで計測座標系２０００を算出する（Ｓ１２３Ｂ）。ステップＳ１２３Ｂは、座標系算出部２２２Ｂの算出部３２３による処理である。
　なお、情報処理装置２２０により算出された充填率は、情報処理装置２２０から出力されてもよい。充填率は、情報処理装置２２０が備える図示しない表示装置によって表示されてもよいし、情報処理装置２２０とは異なる外部装置に送信されてもよい。例えば、算出された充填率は、荷物運搬システムに出力され、荷物運搬システムの制御に用いられてもよい。
　本実施の形態に係る充填率計測方法によれば、荷物１０３が格納された状態の棚１０２が計測された空間三次元モデルと、荷物１０３が格納されていない棚１０２の格納三次元モデルとを用いて抽出した荷物領域２０３３を用いて荷物１０３の荷物モデル２０３４を推定する。これにより、荷物１０３が格納された状態の棚１０２の計測を行うだけで、容易に格納空間１０１に対する荷物１０３の第１充填率を算出することができる。
　また、充填率計測方法において、棚１０２の一部の形状を基準とした三次元座標系に基づいて、荷物モデル２０３４を推定する。このため、荷物モデル２０３４の推定の処理量を低減することができる。
　また、充填率計測方法において、棚１０２の一部の形状のみを基準とした三次元座標系に基づいて、荷物モデル２０３４を推定する。画像上で抽出しやすい第１格納部の一部のみの形状を計測座標系の算出に利用することができる。よって、荷物モデルの推定の処理速度を向上させることができ、計測座標系の算出精度を向上させることができる。
　また、充填率計測方法において、三次元座標系は、Ｚ軸を有する三次元直交座標系であり、推定では、荷物領域２０３３のＺ軸マイナス方向とは反対のＺ軸プラス方向側を補間することで、荷物モデル２０３４を推定する。このため、荷物モデル２０３４の推定の処理量を効果的に低減することができる。
　また、充填率計測方法において、三次元座標系は、棚１０２の開口１０２ａの形状を基準とした座標系である。このため、棚１０２開口１０２ａの形状を基準とした座標系を容易に算出することができ、算出した座標系に基づいて荷物モデル２０３４を推定することができる。
　また、充填率計測方法において、三次元座標系は、棚１０２に設置されたマーカー１０４を基準とした座標系である。このため、マーカー１０４を基準とした座標系を容易に算出することができ、算出した座標系に基づいて荷物モデル２０３４を推定することができる。
　また、充填率計測方法において、測距センサ２１０Ｂは、空間三次元モデルを生成するための少なくとも２台のカメラを有する。このような、測距センサ２１０Ｂを含む測距センサ２１０は、第１格納部の上側で固定されている。
　このように、測距センサ２１０が第１格納部の上側に固定される場合において、第１格納部が後述するかご台車などのように移動しうる場合、測距センサ２１０の計測範囲内に存在するものが地面またはかご台車の台座（底面）などに限定され、かご台車以外に動きうるものがないため、計測結果から計測対象物を背景から切り分けることが容易にできる。なお、計測範囲とは、測距センサ２１０がカメラを有する場合、カメラの撮影範囲である。一方で、測距センサ２１０が上側以外に固定される場合、第１格納部以外にも動くものが計測範囲内に入り込みやすくなるため、計測対象物を背景から切り分けることが難しくなる。
　（変形例１）
　上記実施の形態に係る情報処理装置２２０では、格納空間１０１の容積に対する、格納空間１０１に格納されている荷物１０３の体積の割合を充填率として算出するとしたが、これに限らない。
　図２１は、充填率の算出方法について説明するための図である。
　図２１の（ａ）および（ｂ）では、棚１０２の格納空間１０１は、１６個の荷物１０３をちょうど格納する容積を有する。図２１の（ａ）に示すように、隙間なく８個の荷物１０３が配置されている場合、空いている格納空間１０１にあと８個の荷物１０３を格納することができる。一方で、図２１の（ｂ）に示すように、隙間がある状態で荷物が配置されている場合、格納空間１０１の残りの空間に８個の荷物１０３を格納しようとすると、既に格納されている荷物１０３を移動させる必要がある。既に格納されている荷物１０３を移動させずに、格納空間１０１の残りの空間に荷物１０３を格納すると、６個の荷物１０３しか格納することができない。
　このように、図２１の（ａ）の場合と、図２１の（ｂ）の場合とで格納空間１０１の残りの空間に格納可能な荷物１０３は異なるのに、両方の場合で、充填率は同じ５０％と算出される。このため、格納空間１０１の残りの空間の形状に合わせて、実質的に格納することができる空間を考慮した充填率を算出することが考えられる。
　図２２は、変形例１に係る充填率算出部の算出部の構成の一例を示すブロック図である。図２３は、変形例１に係る充填率算出部の算出部の充填率算出処理のフローチャートである。
　図２２に示すように、算出部５０３は、荷物体積算出部６０１と、領域分割部６０２と、予定荷物計測部６０３と、領域推定部６０４と、算出部６０５とを有する。
　荷物体積算出部６０１は、荷物モデル２０３４から荷物１０３の体積である荷物体積を算出する（Ｓ１３１）。荷物体積算出部６０１は、格納空間１０１に格納されている荷物１０３の体積を実施の形態と同様の方法で算出する。
　次に、領域分割部６０２は、空間三次元モデル２０１１の格納空間１０１を、荷物１０３が占有している占有領域２０４１と、荷物１０３が占有していない空領域２０４２とに分割する（Ｓ１３２）。
　次に、予定荷物計測部６０３は、格納する予定の荷物１個分の体積を算出する（Ｓ１３３）。予定荷物計測部６０３は、格納する予定の荷物の形状およびサイズが図２１の（ｃ）に示すように複数種類ある場合、種類毎に荷物１個分の体積を算出する。例えば、予定荷物計測部６０３は、荷物１０３ａの体積、荷物１０３ｂの体積、および、荷物１０３ｃの体積をそれぞれ算出する。
　次に、領域推定部６０４は、空領域２０４２に、格納予定の荷物１０３を最も多く格納できる置き方を推定し、その場合の格納予定の荷物１０３の数を推定する。つまり、領域推定部６０４は、格納予定の荷物１０３を空領域２０４２に格納可能な最大の数を推定する。領域推定部６０４は、荷物１個分の体積に、格納可能な荷物の数を乗じることで、空領域２０４２のうちの格納可能な容積を算出する（Ｓ１３４）。
　なお、領域推定部６０４は、複数種類の荷物がある場合には、種類毎にどのくらいの数の荷物を格納できるかを推定してもよいし、複数種類の混合でどのくらいの数ずつ荷物を格納できるかを推定してもよい。領域推定部６０４は、複数種類の混合で荷物を格納する場合、種類毎に荷物１個分の体積に、格納可能な当該種類の荷物の数を乗じて得られた容積の積算値を空領域２０４２のうちの格納可能な容積として算出する。例えば、領域推定部６０４は、荷物１０３ａをｎ１個、荷物１０３ｂをｎ２個、荷物１０３ｃをｎ３個格納可能と推定した場合、荷物１０３ａの体積にｎ１を乗じた第１の体積、荷物１０３ｂの体積にｎ２を乗じた第２の体積、および、荷物１０３ｃの体積にｎ３を乗じた第３の体積の積算値を、空領域２０４２のうちの格納可能な容積として算出する。なお、ｎ１、ｎ２およびｎ３は、それぞれ０以上の整数である。
　算出部６０５は、格納済みの荷物の体積と、格納可能な容積とを、下記の式２に適用することで充填率を算出する（Ｓ１３５）。
　充填率（％）＝（格納済みの荷物の体積）／（格納済みの荷物の体積＋格納可能な容積）×１００・・・式２
　このように、充填率算出部２２４は、格納空間１０１のうちで、荷物１０３を格納可能な空間の容積に対する、格納空間１０１に格納されている荷物１０３の体積の割合を、充填率として算出してもよい。
　これにより、格納空間１０１の空いている空間にどのくらいの荷物１０３を格納することが可能かを適切に判断するための第１充填率を算出することができる。
　（変形例２）
　上記実施の形態に係る情報処理装置２２０では、一つの棚１０２の格納空間１０１に対する荷物１０３の充填率を算出するとしたが、２以上の棚１０２の格納空間１０１に対する荷物１０３の充填率を算出してもよい。
　図２４は、２以上の棚をトラックの荷台などの格納空間に格納する場合の例を示す図である。図２５は、荷台の格納空間に格納されている棚と、その充填率との関係を示す表である。
　図２４に示すように、格納空間１０５を有する荷台１０６には、複数のかご台車１１２が格納されている。荷台１０６は、例えば、トラックのバンボディ型の荷台であってもよい。荷台１０６は、第２格納部の一例である。第２格納部は、荷台１０６に限らずに、コンテナであってもよいし、倉庫であってもよい。
　格納空間１０５は、第２格納空間の一例である。格納空間１０５は、複数のかご台車１１２を格納することが可能な大きさの容積を有する。変形例２では、格納空間１０５は、６つのかご台車１１２を格納することができる。格納空間１０５は、複数のかご台車１１２を格納可能であるため、格納空間１０５は、格納空間１１１よりも大きい。
　かご台車１１２は、複数の荷物１０３を格納することが可能な格納空間１１１を有する。かご台車１１２は、第１格納部の一例である。格納空間１１１は、第１格納空間の一例である。なお、格納空間１０５には、実施の形態で説明した棚１０２が格納されてもよい。
　複数の荷物１０３は、荷台１０６に直接格納されずに、複数のかご台車１１２に格納される。そして、複数の荷物１０３が格納されたかご台車１１２が荷台１０６に格納される。
　この場合、充填率算出部２２４の算出部５０３の構成について説明する。
　図２６は、変形例２に係る充填率算出部の算出部の構成の一例を示すブロック図である。図２７は、変形例２に係る充填率算出部の算出部の充填率算出処理のフローチャートである。
　図２６に示すように、変形例２に係る算出部５０３は、取得部７０１と、計数部７０２と、算出部７０３とを有する。
　取得部７０１は、荷台１０６に格納可能なかご台車１１２の数を取得する（Ｓ１４１）。変形例２の場合、荷台１０６に格納可能なかご台車１１２の最大数は６であるので、６を取得する。
　計数部７０２は、荷台１０６に格納するかご台車１１２の数をカウントする（Ｓ１４２）。図２４に示すかご台車１１２が荷台１０６に格納される場合、計数部７０２は、かご台車１１２の数として３台をカウントする。
　算出部７０３は、荷台１０６に対する１以上のかご台車１１２の充填率である第２充填率を算出する（Ｓ１４３）。具体的には、算出部７０３は、荷台１０６に格納可能なかご台車１１２の最大数に対する、荷台１０６に格納されているかご台車１１２の数の割合を第２充填率として算出してもよい。算出部７０３は、例えば、最大６台のかご台車１１２が荷台１０６に格納可能であり、そのうちの３台のかご台車１１２が荷台１０６格納されるため、５０％を第２充填率として算出する。
　なお、算出部７０３は、荷台１０６に格納する１以上のかご台車１１２のそれぞれについて、当該かご台車１１２に対する荷物１０３の充填率を算出し、算出した充填率を用いて、第２格納空間に対する荷物１０３の充填率を算出してもよい。算出部７０３は、具体的には、かご台車１１２に対する荷物１０３の充填率の平均を、第２格納空間に対する荷物１０３の充填率として算出してもよい。この場合、算出部７０３は、荷台１０６の格納空間１０５にかご台車１１２を格納可能な空間が余っている場合には、かご台車１１２を格納可能な余っている空間に格納可能な数のかご台車１１２の充填率を０％として平均を算出してもよい。
　例えば、図２５に示す３台のかご台車１１２の充填率のそれぞれが、７０％、３０％、２０％であり、荷台１０６には最大で６台のかご台車１１２が格納可能である場合、６台のかご台車１１２の充填率を、それぞれ、７０％、３０％、２０％、０％、０％、０％として平均を求めることで得られた２０％を第２格納空間に対する荷物１０３の充填率として算出してもよい。
　このため、格納空間１０５に１以上のかご台車１１２が格納される場合の第２充填率を適切に算出することができる。
　（変形例３）
　次に変形例３について説明する。
　図２８は、変形例３に係るかご台車の構成を説明するための図である。
　図２８の（ａ）は、開閉部１１３が閉状態であるかご台車１１２を示す図である。図２８の（ｂ）は、開閉部１１３が開状態であるかご台車１１２を示す図である。
　変形例３に係るかご台車１１２は、開口１１２ａを開閉する開閉部１１３を有する。開閉部１１３は、複数の貫通孔１１３ａを有する格子状または網目状のカバーである。このため、測距センサ２１０は、かご台車１１２の開閉部１１３が閉状態であっても、複数の貫通孔１１３ａおよび開口１１２ａを介してかご台車１１２の格納空間１１１の内部の三次元形状を計測することができる。
　これは、測距センサ２１０が発する電磁波は、複数の貫通孔１１３ａおよび開口１１２ａを通過するためである。なお、測距センサ２１０Ａの場合にも、測距センサ２１０Ａが照射する赤外パターンは、複数の貫通孔１１３ａおよび開口１１２ａを通過するため、かご台車１１２の開閉部１１３が閉状態であっても、複数の貫通孔１１３ａおよび開口１１２ａを介してかご台車１１２の格納空間１１１の内部の三次元形状を計測することができる。また、測距センサ２１０Ｂの場合にも、２つのカメラ２１１Ｂ、２１２Ｂは、複数の貫通孔１１３ａおよび開口１１２ａを介して、格納空間１１１の内部を撮影することができるため、かご台車１１２の格納空間１１１の内部の三次元形状を計測することができる。
　よって、情報処理装置２２０は、格納空間１１１に荷物１０３が格納されているか否かを判定することができる。しかしながら、開閉部１１３が閉状態である場合、開状態である場合または開閉部１１３がない場合とは充填率を算出する方法を異なる方法に切り替えないと、正しい充填率を求めることが難しい。このため、変形例３に係る充填率算出部２２４は、開閉部１１３が開状態である場合、第１の方法で充填率を算出し、開閉部１１３が閉状態である場合、第２の方法で充填率を算出する。
　図２９は、変形例３に係る充填率算出部の構成の一例を示すブロック図である。図３０は、変形例３に係る充填率算出部の充填率算出処理のフローチャートである。
　図２９に示すように、変形例３に係る充填率算出部２２４は、検知部８０１と、切替部８０２と、第１充填率算出部８０３と、第２充填率算出部８０４とを有する。
　検知部８０１は、空間三次元モデルを用いて開閉部１１３の開閉状態を検知する（Ｓ１５１）。具体的には、検知部８０１は、空間三次元モデルを用いて、かご台車１１２の開口１１２ａの領域の前後方向（つまり、測距センサ２１０とかご台車１１２との並び方向）で格納空間１１１の内部と外部とのそれぞれの位置に三次元点群が存在する場合、開閉部１１３が閉状態であることを検知する。検知部８０１は、格納空間１１１の内部のみに三次元点群が存在する場合、開閉部１１３が開状態であることを検知する。
　切替部８０２は、開閉部１１３が開状態であるか閉状態であるかを判定し（Ｓ１５２）、判定結果に応じて次の処理を切り替える。
　第１充填率算出部８０３は、切替部８０２により開閉部１１３が開状態であると判定された場合（Ｓ１５２で開状態）、第１の方法で充填率を算出する（Ｓ１５３）。具体的には、第１充填率算出部８０３は、実施の形態の充填率算出部２２４による処理と同様の処理を行うことでかご台車１１２の充填率を算出する。
　第２充填率算出部８０４は、切替部８０２により開閉部１１３が閉状態であると判定された場合（Ｓ１５２で閉状態）、第２の方法で充填率を算出する（Ｓ１５４）。第２の方法の詳細は、図３１を用いて説明する。
　図３１は、充填率を算出する第２の方法の一例について説明するための図である。
　図３１の（ａ）に示すように、空間三次元モデル２０５１が取得された場合を考える。
　図３１の（ｂ）は、空間三次元モデル２０５１のうちの領域Ｒ２を拡大した図である。図３１の（ｂ）に示すように、第２充填率算出部８０４は、領域Ｒ２を、開閉部１１３が検出されている第２部分と、荷物１０３が検出されている第１部分とに区分する。
　第１部分は、開口１１２ａの領域の奥側に三次元点群を含む領域である。また、第１部分は、測距センサ２１０から荷物１０３に向かう方向において、測距センサ２１０が荷物１０３と対向する部分である。つまり、第１部分は、測距センサ２１０から荷物１０３に向かう方向において、閉状態の開閉部１１３における貫通孔１１３ａに対向する部分である。なお、開閉部１１３は、１つの貫通孔１１３ａを有する構成であってもよい。また、測距センサ２１０から荷物１０３に向かう方向は、例えば、水平方向に沿っていてもよい。
　第２部分は、かご台車１１２の開口１１２ａの領域の前後方向の手前側に三次元点群を含む領域である。また、第２部分は、測距センサ２１０から荷物１０３に向かう方向において、測距センサ２１０が荷物１０３と対向しない部分である。つまり、第２部分は、測距センサ２１０から荷物１０３に向かう方向において、閉状態の開閉部１１３により隠れている部分である。
　第２充填率算出部８０４は、第１部分と第２部分とをそれぞれボクセル化することで、図３１の（ｃ）に示されるボクセルデータ２０５２を生成する。ボクセルデータ２０５２において、ハッチングがない白の領域が第２部分がボクセル化された領域であり、ドットのハッチングの領域が第１部分がボクセル化された領域である。
　そして、第２充填率算出部８０４は、開閉部１１３の領域に対応する白の領域について、開閉部１１３の奥側に荷物１０３が存在するか否かを推定する。具体的には、第２充填率算出部８０４は、ボクセル化された領域において、荷物１０３の存在するドットのハッチングのボクセルに隣接する２６個のボクセルに荷物が存在する確率を基にしたスコアを割り当てる。そして、図３１の（ｄ）に示すように、荷物１０３の存在する複数のボクセルに隣接する白の領域で示されるボクセルに加算したスコアを割り当てる。第２充填率算出部８０４は、これを荷物１０３の存在する全てのボクセルについて行い、スコアの合計値が任意の閾値以上の、白の領域で示されるボクセルには荷物１０３が存在すると判定する。第２充填率算出部８０４は、例えば、任意の閾値を０．１とする場合、全ての領域に荷物１０３が存在すると判定するため、図３１の（ｅ）に示されるように開閉部１１３により隠蔽されている領域の形状が推定された荷物モデル２０５３を算出することができる。
　このように、情報処理装置２２０は、測距センサ２１０が荷物１０３と対向する第１部分の形状に基づいて、測距センサが計測対象物と対向しない第２部分の形状を推定するため、第２部分がある場合であっても、対象物三次元モデルを適切に推定することができる。
　なお、かご台車１１２の内部に荷物１０３を隙間なく配置することがルール付けられている場合には、図３２に示すように、第２充填率算出部８０４は、１以上の荷物１０３が配置されている領域の輪郭Ｒ３を抽出し、抽出した輪郭Ｒ３の内部に荷物１０３が存在する領域と判定してもよい。そして、第２充填率算出部８０４は、輪郭Ｒ３の内部の開閉部１１３の領域を、開閉部１１３の複数の貫通孔１１３ａの領域における三次元点群を用いて推定してもよい。
　変形例３に係る充填率計測方法では、かご台車１１２は、さらに、複数の貫通孔１１３ａを有し、かつ、開口１１２ａを開閉する開閉部１１３を有する。充填率計測方法では、さらに、開閉部１１３が開状態であるか閉状態であるかを判定し、開閉部１１３が開状態である場合、実施の形態の充填率算出部２２４と同様に、抽出、および、推定を行うことで荷物モデル２０３４を推定する。充填率算出部２２４は、開閉部１１３が閉状態である場合、空間三次元モデル２０１１に基づくボクセルデータ２０３１のうちの、開閉部１１３の複数の貫通孔１１３ａに対応する複数の第１部分に基づいて、開閉部１１３により隠れている第２部分を推定し、複数の第１部分および推定した第２部分と、格納三次元モデル２０３２とを用いて、荷物モデル２０３４を推定する。
　これによれば、開口１１２ａを開閉する開閉部１１３が設けられたかご台車１１２に荷物１０３を格納する場合であっても、開閉部１１３の開閉状態に応じて荷物モデル２０３４の推定方法を第１の方法と第２の方法とで切り替えるため、適切に対象物三次元モデルを推定することができる。
　また、変形例３にかかる充填率計測方法において、測距センサ２１０から荷物１０３に向かう方向は、例えば、水平方向に沿っている。このため、貫通孔１１３ａを有する開閉部１１３がない方向から計測できるように、測距センサ２１０の位置を調整する必要がないため、測距センサ２１０の設置の自由度が高い。よって、測距センサ２１０の位置を調整仕切れていなくても測距センサ２１０による対象物三次元モデルを推定するための計測結果を得ることができる。
　（変形例４）
　図３３は、変形例４に係る空間三次元モデルの生成方法について説明するための図である。
　図３３に示すように、空間三次元モデルを生成する場合においても、三次元計測システム２００は、モデル生成部２２３の処理と同様に、複数の測距センサ２１０の計測結果を統合してもよい。この場合、三次元計測システム２００は、複数の測距センサ２１０の位置および姿勢を事前にキャリブレーションすることで特定し、特定した複数の測距センサ２１０の位置および姿勢に基づいて、得られた複数の計測結果を統合することでオクルージョンが少ない三次元点群を含む空間三次元モデルを生成することができる。
　（変形例５）
　図３４は、変形例５に係る空間三次元モデルの生成方法について説明するための図である。
　図３４に示すように、空間三次元モデルを生成する場合においても、三次元計測システム２００は、１つの測距センサ２１０の計測領域Ｒ１を横切るようにかご台車１１２および１つの測距センサ２１０の少なくとも一方を移動させ、移動させている間の複数のタイミングで測距センサ２１０により得られた複数の計測結果を統合してもよい。この場合、かご台車１１２と１つの測距センサ２１０との間の相対的な位置および姿勢を算出し、相対的な位置および姿勢を用いて、複数の計測結果を統合することでオクルージョンが少ない三次元点群を含む空間三次元モデルを生成することができる。
　（その他）
　以上、本開示に係る充填率計測方法等について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。
　例えば、上記実施の形態では、情報処理装置等が備える各処理部は、ＣＰＵと制御プログラムとによって実現されると説明した。例えば、当該処理部の構成要素は、それぞれ１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、又は、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、又は、ＵＬＳＩ（Ｕｌｔｒａ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）も同じ目的で使うことができる。
　また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路、又は、コンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　本開示は、計測対象物の充填率を算出することができる充填率計測方法、情報処理装置、プログラムなどとして有用である。
１０１、１０５、１１１　　格納空間
１０２　　棚
１０２ａ、１１２ａ　　開口
１０３、１０３ａ～１０３ｃ　　荷物
１０４　　マーカー
１０６　　荷台
１１２　　かご台車
１１３　　開閉部
１１３ａ　　貫通孔
２００　　三次元計測システム
２１０、２１０Ａ、２１０Ｂ　　測距センサ
２１１　　レーザ照射部
２１１Ａ　　赤外パターン照射部
２１１Ｂ、２１２Ｂ　　カメラ
２１２　　レーザ受光部
２１２Ａ　　赤外カメラ
２２０　　情報処理装置
２２１、７０１　　取得部
２２２、２２２Ａ、２２２Ｂ　　座標系算出部
２２３　　モデル生成部
２２４　　充填率算出部
２２５　　記憶部
３０１　　補助部
３０２、３１３、３２３、５０３、６０５、７０３　　算出部
３１１、３２１、４０１　　検出部
３１２、３２２、５０１　　抽出部
４０２　　生成部
４０３　　容積算出部
５０２　　推定部
６０１　　荷物体積算出部
６０２　　領域分割部
６０３　　予定荷物計測部
６０４　　領域推定部
７０２　　計数部
８０１　　検知部
８０２　　切替部
８０３　　第１充填率算出部
８０４　　第２充填率算出部
２０００　　計測座標系
２００１、２０２１　　画像
２００２　　調整用マーカー
２００３　　重畳画像
２００４　　センサ座標系
２０１１、２０５１　　空間三次元モデル
２０１２、２０２２、２０３２　　格納三次元モデル
２０１３　　位置情報
２０１４　　棚領域
２０１５　　開口
２０１６　　開口部端点
２０１７、２０２６　　回転行列
２０１８、２０２７　　並進ベクトル
２０２３　　マーカー
２０２４　　マーカー領域
２０２５　　パターン輪郭
２０３１、２０５２　　ボクセルデータ
２０３３　　荷物領域
２０３４、２０５３　　荷物モデル
２０４１　　占有領域
２０４２　　空領域
　Ｐ１　　一点
　Ｒ１　　計測領域
　Ｒ２　　領域
　Ｒ３　　輪郭

Claims (14)

  1. 　計測対象物が格納される第１格納空間を有し、かつ、開口が形成されている第１格納部が、前記第１格納部に対向している測距センサにより前記開口を介して計測されることで得られた空間三次元モデルを取得し、
    　前記計測対象物が格納されていない前記第１格納部の三次元モデルである格納三次元モデルを取得し、
    　取得した前記空間三次元モデルおよび前記格納三次元モデルを用いて、前記空間三次元モデルのうちの前記計測対象物に対応する部分である対象物部分を抽出し、
    　抽出した前記対象物部分を用いて前記第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し、
    　前記格納三次元モデルおよび前記対象物三次元モデルを用いて、前記第１格納空間に対する前記計測対象物の第１充填率を算出する
    　充填率計測方法。
  2. 　前記推定では、前記第１格納部の一部の形状を基準とした第１三次元座標系に基づいて、前記対象物三次元モデルを推定する
    　請求項１に記載の充填率計測方法。
  3. 　さらに、
    　前記第１格納部の前記一部の形状のみを基準として前記第１三次元座標系を算出する
    　請求項２に記載の充填率計測方法。
  4. 　前記一部の形状は、前記開口の形状である
    　請求項３に記載の充填率計測方法。
  5. 　前記推定では、前記第１格納部に設置されたマーカーの位置を基準とした第１三次元座標系に基づいて、前記対象物三次元モデルを推定する
    　請求項１に記載の充填率計測方法。
  6. 　前記推定では、前記測距センサから前記計測対象物に向かう方向において、前記測距センサが前記計測対象物と対向する第１部分の形状に基づいて、前記計測対象物と対向しない第２部分の形状を推定することで、前記対象物三次元モデルを推定する
    　請求項２に記載の充填率計測方法。
  7. 　前記第１格納部は、さらに、貫通孔を有し、かつ、閉状態で前記開口を覆うように配置される開閉部を有し、
    　前記第１部分は、前記方向において、閉状態の前記開閉部における前記貫通孔に対向する部分であり、
    　前記第２部分は、前記方向において、閉状態の前記開閉部により隠れている部分であり、
    　前記充填率計測方法は、さらに、前記開閉部が開状態であるか閉状態であるかを判定し、
    　前記開閉部が前記開状態である場合、前記抽出、および、前記推定を行うことで前記対象物三次元モデルを推定し、
    　前記開閉部が前記閉状態である場合、前記第１部分に基づいて、前記第２部分を推定し、前記第１部分および推定した前記第２部分と、前記格納三次元モデルとを用いて、前記対象物三次元モデルを推定する
    　請求項６に記載の充填率計測方法。
  8. 　前記方向は、水平方向に沿っている
    　請求項７に記載の充填率計測方法。
  9. 　前記算出では、前記第１格納空間のうちで、前記計測対象物を格納可能な空間の容積に対する、前記第１格納空間に格納されている前記計測対象物の体積の割合を前記第１充填率として算出する
    　請求項１から８のいずれか１項に記載の充填率計測方法。
  10. 　前記第１格納部および追加の第１格納部は、第２格納部が有する第２格納空間に格納され、
    　前記充填率計測方法は、さらに、
    　前記第２格納空間に対する、前記第１格納部および前記追加の第１格納部の第２充填率を算出する
    　請求項１から９のいずれか１項に記載の充填率計測方法。
  11. 　前記格納三次元モデルは、前記測距センサおよび追加の測距センサにより計測された三次元モデルである
    　請求項１から１０のいずれか１項に記載の充填率計測方法。
  12. 　前記測距センサは、前記空間三次元モデルを生成するための少なくとも２台のカメラを有し、前記第１格納部の上側で固定されている
    　請求項１から１１のいずれか１項に記載の充填率計測方法。
  13. 　プロセッサと、
    　メモリと、を備え、
    　前記プロセッサは、前記メモリを用いて、
    　計測対象物が格納される第１格納空間を有し、かつ、開口が形成されている第１格納部が、前記第１格納部に対向している測距センサにより前記開口を介して計測されることで得られた空間三次元モデルを取得し、
    　前記計測対象物が格納されていない前記第１格納部の三次元モデルである格納三次元モデルを取得し、
    　取得した前記空間三次元モデルおよび前記格納三次元モデルを用いて、前記格納三次元モデルのうちの前記計測対象物に対応する部分である対象物部分を抽出し、
    　抽出した前記対象物部分を用いて前記第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し、
    　前記格納三次元モデルおよび前記対象物三次元モデルを用いて、前記第１格納空間に対する前記計測対象物の第１充填率を算出する
    　情報処理装置。
  14. 　充填率計測方法をコンピュータに実行させるためのプログラムであって、
    　前記充填率計測方法は、
    　計測対象物が格納される第１格納空間を有し、かつ、開口が形成されている第１格納部が、前記第１格納部に対向している測距センサにより前記開口を介して計測されることで得られた空間三次元モデルを取得し、
    　前記計測対象物が格納されていない前記第１格納部の三次元モデルである格納三次元モデルを取得し、
    　取得した前記空間三次元モデルおよび前記格納三次元モデルを用いて、前記格納三次元モデルのうちの前記計測対象物に対応する部分である対象物部分を抽出し、
    　抽出した前記対象物部分を用いて前記第１格納空間内における計測対象物の三次元モデルである対象物三次元モデルを推定し、
    　前記格納三次元モデルおよび前記対象物三次元モデルを用いて、前記第１格納空間に対する前記計測対象物の第１充填率を算出する
    　プログラム。
PCT/JP2021/015149 2020-04-28 2021-04-12 充填率計測方法、情報処理装置およびプログラム WO2021220783A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180029478.5A CN115427755A (zh) 2020-04-28 2021-04-12 填充率测量方法、信息处理装置以及程序
JP2022517604A JPWO2021220783A1 (ja) 2020-04-28 2021-04-12
EP21795708.3A EP4145085A4 (en) 2020-04-28 2021-04-12 FILLING RATE MEASUREMENT METHOD, INFORMATION PROCESSING DEVICE AND PROGRAM
US17/967,066 US20230035883A1 (en) 2020-04-28 2022-10-17 Filling rate measurement method, information processing device, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020079081 2020-04-28
JP2020-079081 2020-04-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/967,066 Continuation US20230035883A1 (en) 2020-04-28 2022-10-17 Filling rate measurement method, information processing device, and recording medium

Publications (1)

Publication Number Publication Date
WO2021220783A1 true WO2021220783A1 (ja) 2021-11-04

Family

ID=78373536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015149 WO2021220783A1 (ja) 2020-04-28 2021-04-12 充填率計測方法、情報処理装置およびプログラム

Country Status (5)

Country Link
US (1) US20230035883A1 (ja)
EP (1) EP4145085A4 (ja)
JP (1) JPWO2021220783A1 (ja)
CN (1) CN115427755A (ja)
WO (1) WO2021220783A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220016779A1 (en) * 2020-07-15 2022-01-20 The Board Of Trustees Of The University Of Illinois Autonomous Robot Packaging of Arbitrary Objects

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10139116A (ja) * 1996-11-13 1998-05-26 Toshiba Corp 庫内スペース管理システム
JP2007297146A (ja) * 2006-04-28 2007-11-15 Intage Inc 荷積みプラン作成方法及びそのプログラム
JP2010023950A (ja) * 2008-07-16 2010-02-04 Hitachi Ltd ３次元物体認識システム及びそれを用いた棚卸システム
JP2015087319A (ja) 2013-10-31 2015-05-07 三菱重工業株式会社 ３次元形状計測装置および方法ならびにプログラム
WO2017175312A1 (ja) * 2016-04-05 2017-10-12 株式会社日立物流 計測システム及び計測方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10050385A1 (de) * 2000-10-12 2002-04-18 Abb Patent Gmbh Verfahren und Vorrichtung zur Füllgraderfassung von Transportbehältern
US10755223B2 (en) * 2016-12-28 2020-08-25 Industrial Technology Research Institute Logistic station and method for logistic

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10139116A (ja) * 1996-11-13 1998-05-26 Toshiba Corp 庫内スペース管理システム
JP2007297146A (ja) * 2006-04-28 2007-11-15 Intage Inc 荷積みプラン作成方法及びそのプログラム
JP2010023950A (ja) * 2008-07-16 2010-02-04 Hitachi Ltd ３次元物体認識システム及びそれを用いた棚卸システム
JP2015087319A (ja) 2013-10-31 2015-05-07 三菱重工業株式会社 ３次元形状計測装置および方法ならびにプログラム
WO2017175312A1 (ja) * 2016-04-05 2017-10-12 株式会社日立物流 計測システム及び計測方法

Also Published As

Publication number Publication date
JPWO2021220783A1 (ja) 2021-11-04
EP4145085A1 (en) 2023-03-08
US20230035883A1 (en) 2023-02-02
EP4145085A4 (en) 2023-10-18
CN115427755A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
US20230349686A1 (en) Systems and Methods for Volumetric Sizing
Tóth et al. Automatic LiDAR-camera calibration of extrinsic parameters using a spherical target
Dal Mutto et al. Time-of-flight cameras and Microsoft KinectTM
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
US9025857B2 (en) Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP2022514757A (ja) 部分的視覚情報に基づく対象物寸法付けのためのシステムと方法
US10085012B2 (en) Single-view feature-less depth and texture calibration
CN107076541A (zh) 尺寸测定装置以及尺寸测定方法
CN107680125A (zh) 在视觉系统中自动选择三维对准算法的系统和方法
CN113034612B (zh) 一种标定装置、方法及深度相机
CN113160328A (zh) 一种外参标定方法、系统、机器人和存储介质
US7620235B2 (en) Device for scanning three-dimensional objects
WO2021220783A1 (ja) 充填率計測方法、情報処理装置およびプログラム
Leo et al. Robust estimation of object dimensions and external defect detection with a low-cost sensor
CN113159161A (zh) 目标匹配方法和装置、设备及存储介质
JP2019060695A (ja) ３次元物体検出装置、ロボット、及びプログラム
WO2022054497A1 (ja) 充填率計測方法、情報処理装置およびプログラム
Riestock et al. Survey of depth cameras for process-integrated state detection in logistics
Fuersattel et al. Geometric primitive refinement for structured light cameras
Jordt et al. High-resolution object deformation reconstruction with active range camera
Schiller Dynamic 3D scene analysis and modeling with a time-of-flight camera
Stepanov Method of calibrating an active optical stereoscopic system that consists of a monocular camera and structured illumination in the form of a line
Liebold et al. Integrated Georeferencing of LIDAR and Camera Data acquired from a moving platform
JP2023005398A (ja) 計測装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21795708

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022517604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021795708

Country of ref document: EP

Effective date: 20221128