WO2022190629A1 - 搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム - Google Patents

搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム Download PDF

Info

Publication number
WO2022190629A1
WO2022190629A1 PCT/JP2022/001314 JP2022001314W WO2022190629A1 WO 2022190629 A1 WO2022190629 A1 WO 2022190629A1 JP 2022001314 W JP2022001314 W JP 2022001314W WO 2022190629 A1 WO2022190629 A1 WO 2022190629A1
Authority
WO
WIPO (PCT)
Prior art keywords
carriage
state detection
load
distance information
conveying
Prior art date
Application number
PCT/JP2022/001314
Other languages
English (en)
French (fr)
Inventor
紅花 井上
政宏 木下
昭宏 石井
充典 杉浦
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2022190629A1 publication Critical patent/WO2022190629A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to, for example, a transport state detection device that detects the state of a load on a carriage that is transported with the load on it, a transport state detection system including the same, a transport state detection method, and a transport state detection program.
  • a forklift or the like has been widely used as a transport device for lifting and transporting a load loaded on a transport platform such as a pallet together with the transport platform.
  • a forklift equipped with an object detection device that detects objects existing in the surroundings see, for example, Patent Document 1).
  • An object detection device described in Patent Literature 1 detects the position of an object (obstacle, wall, etc.) that hinders the movement of a forklift by processing images captured by a stereo camera.
  • the main controller of the forklift performs deceleration processing based on the detection result of the object detection device.
  • the conventional conveying apparatus has the following problems. That is, in the conveying apparatus disclosed in the above publication, images taken by a stereo camera are processed to detect the position and size of an object. However, it has been difficult to accurately determine whether the detected object is properly placed on a platform such as a pallet transported by a forklift or the like.
  • the state of the load on the platform refers to, for example, whether the load on the platform has protruded outside the range of the platform, whether the load on the platform is uneven, or whether the load is oriented with respect to the platform. , is the size correct, etc.
  • An object of the present invention is to provide a conveying state detection device, a conveying state detecting system having the same, a conveying state detecting method, and a conveying state detecting program capable of accurately determining the state of a load on a carrier. be.
  • a conveying state detection device is a conveying state detecting device for detecting a state of a load on a conveying table conveyed by a conveying device in a state in which the load is placed thereon, and comprises a distance information acquisition section and a determination section. and has.
  • the distance information acquisition unit acquires distance information to the object according to the amount of reflection of electromagnetic waves irradiated from the lighting device to the object.
  • the determination unit determines the state of the load on the carriage based on the distance information to the object acquired by the distance information acquisition unit.
  • the transport state detection device of the present invention may be mounted on a transport device such as a forklift or a transport robot, or may be provided as a separate device from the transport device.
  • Electromagnetic waves emitted from lighting equipment include, for example, light in a broad sense (ultraviolet light, visible light, infrared light), ⁇ (gamma) rays with shorter wavelengths than light, X-rays, microwaves with longer wavelengths than light, and broadcasting Including radio waves (short wave, medium wave, long wave), ultrasonic waves, elastic waves, quantum waves, etc.
  • the distance information acquisition unit may be configured to detect reflection of electromagnetic waves to calculate distance information, or may be configured to acquire distance information from a distance sensor or the like provided as an external device, for example. good.
  • a distance sensor or the like provided as an external device, for example. good.
  • a conveying state detecting device is the conveying state detecting device according to the first aspect, wherein the determination unit uses the distance information to determine the position, orientation, size and bias of the load on the carrier. judge.
  • the distance information can be used to accurately detect the carriage and the load on it, and to accurately determine whether there is any problem with the position, orientation, size, and bias of the load with respect to the carriage.
  • a transport state detection device is the transport state detection device according to the first or second aspect, wherein the determination unit determines whether or not the object is the transport table based on the distance information. judge.
  • the determination unit determines whether or not the object is the transport table based on the distance information. judge.
  • a transport state detection device is the transport state detection device according to the third aspect of the invention, wherein the transport table has a receiving portion into which an arm member of the transport device is inserted.
  • the determination unit determines whether or not the object is a carriage according to at least one of the presence/absence, size, and position of the receiving portion.
  • the receiving part which is the main characteristic part of the carriage
  • the distance information it is possible to determine whether the object is the carriage based on the presence or absence, size, position, etc. of the receiving part. can be determined.
  • a transport state detection device is the transport state detection device according to the third or fourth aspect of the invention, wherein the determination unit determines the presence, size, and position of the receiving unit using the distance information. Depending on at least one, it is determined that the object is either a single carriage, a loaded carriage, or an object other than a carriage. As a result, the state of the carriage (single unit, loaded, not carriage) can be accurately determined according to the presence/absence, size, position, etc. of the receiving portion detected using the acquired distance information. can.
  • a transport state detection device is the transport state detection device according to any one of the third to fifth inventions, wherein the determination unit uses distance information to determine whether the object is placed.
  • a floor surface is detected, and an object having a height above the floor surface is detected as a carrier candidate. Accordingly, by detecting the floor surface on which the object is placed using the acquired distance information, an object having a height above the floor surface can be detected as a carrier candidate.
  • a conveying state detecting apparatus is the conveying state detecting apparatus according to the sixth aspect, wherein the determination unit determines the outer shape of the object detected as the candidate for the conveying table based on the distance information. set.
  • the acquired distance information can be used to accurately set the outer shape of the object detected as the carriage candidate.
  • a conveying state detecting device is the conveying state detecting device according to the seventh aspect, wherein the determination unit is binarized based on distance information or brightness information of an image of an object. Use the processed data to set the outline. Thereby, the outer shape of the object can be set using binarized data obtained based on the distance information or the brightness information of the image of the object.
  • a conveying state detecting device is the conveying state detecting device according to the seventh or eighth aspect, wherein when binarized data cannot be obtained in the determination unit, The exposure time for irradiating/receiving the irradiated electromagnetic wave is adjusted. As a result, when binarized data cannot be obtained, the exposure time for irradiating and receiving electromagnetic waves emitted from the illumination device is adjusted to obtain properly binarized data. , the outline of the object can be set accurately.
  • a conveying state detecting device is the conveying state detecting device according to any one of the seventh to ninth aspects, wherein the judging portion has a receiving portion formed based on the set outer shape. Set the detection plane that is assumed to be Thereby, it is possible to set the detection surface where the receiving part is supposed to be located from the set outline.
  • a conveying state detecting device is the conveying state detecting device according to the tenth aspect, wherein the determining section determines whether or not the receiving section is a conveying table according to depth information of the receiving section on the detection surface. judge. Accordingly, by detecting the presence or absence of depth on the detection surface using the acquired distance information, it is possible to accurately determine whether or not the object is a carriage having a receiving portion.
  • a transport state detection device is the transport state detection device according to the tenth or eleventh aspect of the invention, wherein the determination unit is present on the same axis coordinates as the detection surface of the object assumed to be the transport table.
  • the position of the load in the substantially horizontal direction is detected to determine the condition of the load. Accordingly, by detecting the position in the substantially horizontal direction of the load existing on the same axis coordinates (eg, x-axis and/or y-axis) as the detection surface of the object assumed to be the carrier, the position and size of the load can be detected. It is possible to determine the state such as bias, bias, and the like.
  • a conveying state detecting device is the conveying state detecting device according to any one of the tenth to twelfth aspects, wherein the determining unit detects a detection surface of an object assumed to be a conveying table.
  • the orientation of the load is detected to determine the condition of the load. Accordingly, by detecting the orientation of the load with respect to the detection surface of the object assumed to be the carriage, it is possible to determine the orientation of the carriage with respect to the carriage, the state of bias, and the like.
  • a transport state detection device is the transport state detection device according to any one of the third to thirteenth aspects of the invention, wherein the determination unit detects a transport table that is determined to be on the transport table.
  • a storage unit for storing data is further provided. As a result, by registering the data (outer shape, size, position of the receiving part, etc.) of the carriage determined to be the carriage in the storage unit, for example, the carriage and the carriage placed on the carriage afterward can be stored in the storage unit. It is possible to determine the balance of the cargo by recognizing the boundary with the loaded cargo.
  • a transport state detection device is the transport state detection device according to any one of the first to fourteenth inventions, wherein the electromagnetic waves are infrared rays. Accordingly, by acquiring the distance information calculated according to the amount of reflected infrared rays, it is possible to accurately determine whether or not the object is the carriage even when the carriage operation is carried out in a dark place, for example.
  • a transport state detection system comprises the transport state detection device according to any one of the first to fifteenth inventions, an illumination device for irradiating an object with electromagnetic waves, and an electromagnetic wave emitted from the illumination device. and a light receiving portion for detecting the amount of reflected electromagnetic waves.
  • the light-receiving unit detects the reflection from the object of the electromagnetic wave emitted from the lighting device, so that distance information to the object can be calculated (acquired) according to the amount of reflection. Therefore, it is possible to construct a system for accurately determining whether or not the state of the load on the carriage is suitable for transportation according to the calculated distance information.
  • a transport state detection system is the transport state detection system according to the sixteenth invention, wherein exposure time for detecting the amount of electromagnetic waves emitted from the lighting device and the amount of reflection of the electromagnetic waves by the light receiving unit is A regulating control is further provided.
  • the exposure time by the control unit it is possible to irradiate the electromagnetic wave and receive the reflected electromagnetic wave with an appropriate exposure time according to the distance to the object. Further, by adjusting the exposure time appropriately to obtain binarized data, it is possible to accurately determine whether or not the object is the carriage using the distance information. Further, by adjusting the exposure time appropriately to obtain binarized data, it is possible to accurately determine whether or not the object is the carriage using the distance information.
  • a transport state detection system is the transport state detection system according to the seventeenth invention, wherein the control unit adjusts the exposure time according to the distance to the object. As a result, the control unit shortens the exposure time when the distance to the object is short, and lengthens the exposure time when the distance to the object is long. It is possible to irradiate the electromagnetic wave and receive the reflected electromagnetic wave with an appropriate exposure time.
  • a conveying state detection method is a conveying state detecting method for detecting the state of a load on a conveying table conveyed by a conveying apparatus with the load placed thereon, comprising a distance information acquiring step and a determining step. and has.
  • the distance information acquisition step distance information to the object is acquired according to the amount of reflection of the electromagnetic waves irradiated from the lighting device to the object.
  • the determination step the state of the load on the carriage is determined based on the distance information to the object acquired in the distance information acquisition step.
  • the carrier on which the cargo is placed has a receiving portion such as a hole or a recess into which an arm portion of a carrier device such as a forklift is inserted, regardless of the material such as wood or resin.
  • Electromagnetic waves emitted from lighting equipment include, for example, light in a broad sense (ultraviolet light, visible light, infrared light), ⁇ (gamma) rays with shorter wavelengths than light, X-rays, microwaves with longer wavelengths than light, and broadcasting Including radio waves (short wave, medium wave, long wave), ultrasonic waves, elastic waves, quantum waves, etc.
  • the distance information may be calculated by detecting the reflection of the electromagnetic wave, or the distance information may be acquired from a distance sensor or the like provided as an external device, for example.
  • the position, orientation, size, bias, and other conditions of the load on the carriage on the object detected as the carriage can be easily detected using the distance information.
  • a conveying state detection program is a conveying state detecting method program for detecting a state of a load on a conveying table conveyed by a conveying device with the load placed thereon, the program comprising: a distance information acquiring step; causing a computer to execute a conveying state detection method comprising the steps of: In the distance information acquisition step, distance information to the object is acquired according to the amount of reflection of the electromagnetic waves irradiated from the lighting device to the object. In the determination step, the state of the load on the carriage is determined based on the distance information to the object acquired in the distance information acquisition step.
  • the carrier on which the cargo is placed has a receiving portion such as a hole or a recess into which an arm portion of a carrier device such as a forklift is inserted, regardless of the material such as wood or resin.
  • Electromagnetic waves emitted from lighting equipment include, for example, light in a broad sense (ultraviolet light, visible light, infrared light), ⁇ (gamma) rays with shorter wavelengths than light, X-rays, microwaves with longer wavelengths than light, and broadcasting Including radio waves (short wave, medium wave, long wave), ultrasonic waves, elastic waves, quantum waves, etc.
  • the distance information may be calculated by detecting the reflection of the electromagnetic wave, or the distance information may be acquired from a distance sensor or the like provided as an external device, for example.
  • the position, orientation, size, bias, and other conditions of the load on the carriage on the object detected as the carriage can be easily detected using the distance information.
  • FIG. 1 is a diagram showing a forklift equipped with a transport state detection device according to an embodiment of the present invention and a transport table to be transported;
  • FIG. 2(a) is a perspective view showing a carrier that is carried by the forklift in FIG. 1;
  • FIG. (b) is a perspective view showing another example of the carrier;
  • FIG. 2 is a control block diagram of the forklift of FIG. 1 and the transfer state detection device mounted on the forklift.
  • FIG. 2 is a view for explaining the principle of calculating the distance to an object by the TOF method using the transport state detection device of FIG. 1;
  • FIG. 4 is a diagram showing a carrier table stored in a storage unit included in the carrier state detection device of FIG.
  • FIG. 3 is a flow chart showing the flow of processing of a carriage detection method by the conveyance state detection apparatus of FIG. 1; 4 is a flow chart showing the flow of processing of a carriage detection method by the conveyance state detection apparatus of FIG. 1; (a), (b), (c) is a schematic diagram explaining the detection process of a conveyance stand.
  • 11A is a perspective view showing a plane defined in the flowchart of FIG. 10 and an object without depth information (hole) on the plane;
  • FIG. 11B is a perspective view showing a plane defined in the flowchart of FIG. 10 and an object having depth information (holes) on the plane;
  • FIG. 2 is a flow chart showing the flow of processing of a transport state detection method by the transport state detection device of FIG.
  • FIG. 1 is a front view showing the size of the detection surface of the transport state detection device in the x-axis direction.
  • 4B is a plan view showing the detection direction of the transport state detection unit;
  • FIG. (c) is a plan view showing the positional relationship between the detection direction of the transport state detection device and the transport table.
  • FIG. 2 is a plan view showing the positional relationship between a carrier and a load placed thereon;
  • FIG. 4 is a conceptual diagram for explaining detection of a carriage in a darkroom;
  • a forklift (conveying device) 20 equipped with a conveying state detecting device (conveying platform detecting device, conveying state detecting device) 10 will be described below with reference to FIGS. be.
  • a forklift (conveyor) 20 is a device used to convey a carrier 30 on which a load 31 is placed to a desired position, as shown in FIG. , 22b, a drive unit 23, an arm unit 24, a transport control unit 25 (see FIG. 3), a traveling actuator 26 (see FIG. 3), a braking device 27 (see FIG. 3), and an elevating actuator 28 (see FIG. 3). 3).
  • the forklift 20 of this embodiment is operated by a driver. It assists the driving operation by the driver.
  • the forklift 20 can be automatically operated without the driver's operation. It may be used as an automatic transport device for driving.
  • the vehicle body portion 21 accommodates a driving source such as an engine and a motor inside, and a driving portion 23 for vertically driving an arm portion (fork) 24 is provided in front thereof.
  • a driving source such as an engine and a motor inside
  • a driving portion 23 for vertically driving an arm portion (fork) 24 is provided in front thereof.
  • Two wheels 22a and 22b are provided on the front and rear sides of the vehicle body 21.
  • the front wheel 22a is rotationally driven by the transport control unit 25, and the rear wheel 22b is steered by operating the steering wheel. , can run and turn.
  • the drive section 23 is attached to the front of the vehicle body section 21 and includes elevating actuators such as a mast, sprockets, chains, and hydraulic cylinders.
  • the drive unit 23 drives the arm unit 24 in the vertical direction or the tilt direction according to the operation of an operation lever (not shown) by the driver. As a result, the carriage 30 and the like supported by the arm portion 24 can be lifted and conveyed.
  • the arm portion 24 is driven vertically by the driving portion 23 and is two claw-like members extending forward, and is inserted into a hole (receiving portion) 30b or the like provided in the carriage 30 .
  • the transportation control unit 25 is a controller that controls transportation of the forklift 20, and as shown in FIG. 3, has a traveling control unit 25a and an arm control unit 25b.
  • the travel control unit 25a controls the output of a driving source such as an engine or a motor so that the vehicle speed of the forklift 20 becomes a target speed.
  • the arm control section 25b controls the elevation of the arm section 24 according to the amount of operation of an operating lever (not shown) installed in the driver's seat provided in the vehicle body section 21 . Further, the arm control unit 25b automatically adjusts the distance between the two arms 24 in accordance with the detected position of the hole 30b of the carriage 30 according to the detection result of the carriage 30, which will be described later. may be controlled.
  • the travel actuator 26 is configured to include a drive source such as an engine or a motor, and drive transmission means for transmitting the output of the drive source to the drive-side wheels 22a.
  • the braking device 27 is provided to reduce the vehicle speed of the running forklift 20 or to stop it.
  • the braking device 27 applies braking force corresponding to the amount of operation to the brake pedal provided in the driver's seat to the wheels 22a.
  • the elevation actuator 28 is provided in the drive section 23 and includes, for example, hydraulic cylinders such as lift cylinders and tilt cylinders. The hydraulic cylinder changes the angle of the arm portion 24 in the tilt direction or moves the position of the arm portion 24 up and down according to the amount of operation of an operation lever (not shown) installed in the driver's seat.
  • the carriage 30 is a pallet made of resin, and as shown in FIG.
  • the main body 30a is, for example, a pallet made of reusable resin such as PP (polypropylene), and has an upper surface on which the load 31 is placed, four side surfaces, and a bottom surface. Four side surfaces of the main body portion 30a are formed with holes 30b into which the arm portions 24 of the forklift 20 can be inserted.
  • Two holes (receiving portions) 30b are provided on each of the four side surfaces of the body portion 30a, and the two arm portions 24 of the forklift 20 are inserted therein.
  • the holes 30b into which the arm portions 24 of the forklift 20 are inserted may be provided on all four side surfaces of the main body portion 30a, or may be provided only on a set of two opposing side surfaces. , or may be provided on only one surface.
  • the carrier 30 carried by the forklift 20 as shown in FIG. It may be the carriage 130 .
  • the arm portion 24 of the forklift 20 is inserted between the floor surface FL and the upper surface forming the recess 130b, and is conveyed so as to support the recess 130b from below. Platform 130 can be lifted.
  • Conveyance state detector 10 As shown in FIG. 1, the transport state detection device 10 of the present embodiment is attached to the upper part of the drive unit 23, detects the transport table 30 transported by the forklift 20, and The state (position, range, height, balance, etc.) of the loaded cargo 31 is detected.
  • the transport state detection device 10 includes an illumination unit (illumination device) 11, a light receiving unit 12, a control unit (determination unit) 13, a distance measurement unit 14, a storage unit 15, and a transport table.
  • An information acquisition unit 16 and a load state acquisition unit (determination unit) 17 are provided.
  • the illumination unit (illumination device) 11 has, for example, an LED, and irradiates an object such as the carrier 30 or the load 31 with light L1 having a desired wavelength.
  • the illumination unit 11 is provided with a projection lens (not shown) that guides the light L1 emitted from the LED toward the object.
  • the light receiving unit 12 includes, for example, a light receiving lens and an imaging device.
  • the light-receiving lens is provided to receive reflected light emitted from the illumination unit 11 to the object and reflected by the object, and guide the light to the imaging device.
  • the imaging element has a plurality of pixels, and each of the plurality of pixels receives the reflected light received by the light receiving lens, and transmits an electric signal photoelectrically converted to the control unit 13 .
  • An electric signal corresponding to the amount of reflected light received by the image sensor is used by the control unit 13 to calculate distance information.
  • the control unit (determining unit) 13 reads various control programs stored in the storage unit 15 and controls the lighting unit 11 that irradiates light onto the object. More specifically, the control unit 13 controls the illumination unit 11 so as to irradiate the optimum light according to the distance to the object irradiated with the light, the properties of the object such as the shape, color, and the like. In addition, the control unit 13 determines whether or not the object is the carriage 30 based on the characteristics of the object, which will be described later. It is determined whether or not the loading state of the cargo 31 is appropriate.
  • control unit 13 adjusts the exposure time of the light receiving unit 12 for detecting the amount of reflected light of the illumination unit 11 and the light emitted from the illumination unit 11, for example, according to the distance to the object. .
  • control unit 13 adjusts the exposure times of the illumination unit 11 and the light receiving unit 12 depending on whether or not binarized data (to be described later) can be acquired.
  • control unit 13 adjusts the exposure time to be short when the distance to the object is short, and adjusts the exposure time to be long when the distance to the object is long. do.
  • the distance measurement unit 14 calculates distance information to the object for each pixel based on the electrical signal corresponding to each pixel received from the image sensor included in the light receiving unit 12 . Calculation of distance information to an object by the distance measuring unit 14 of this embodiment will be described below with reference to FIG.
  • the distance measurement unit 14 detects an AM-modulated constant frequency projection wave such as a sine wave or a square wave emitted from the illumination unit 11, The distance to the object is calculated based on the phase difference ⁇ (see FIG. 4) between the light received by the imaging device included in the light receiving unit 12 and the received wave.
  • the phase difference ⁇ is represented by the following relational expression (1).
  • D (c/(2 ⁇ f LED )) ⁇ ( ⁇ /2 ⁇ )+D OFFSET (2)
  • c is the speed of light ( ⁇ 3 ⁇ 10 8 m/s)
  • f LED is the modulation frequency of the LED projection wave
  • D OFFSET is the distance offset.
  • the storage unit 15 stores various programs for controlling the operation of the transport state detection device 10, and also registers information about the characteristics of the transport table 30 detected as the transport table 30 (for example, the size, the position of the hole 30b, etc.).
  • a carriage database (DB) 15a is stored.
  • the carriage DB 15a stores a carriage table (see FIG. 5) including information such as the external dimensions of the object determined as the carriage 30 and the type of receiving portion (hole or recess). Thus, the carriage DB 15a is referred to when determining which type of carriage the detected object is.
  • the carriage information acquisition unit 16 acquires object information necessary for determining whether or not the object, which will be described later, is the carriage 30 . Specifically, the carriage information acquisition unit 16 acquires information such as the size (width, height, etc.) of an object assumed to be the carriage 30, the presence or absence of a receiving part (hole, recess, etc.), and the position thereof. get.
  • the load state acquisition unit 17 detects the state of the load 31 placed on the object determined to be the carrier 30 . As shown in FIG. 3, the load state acquisition unit 17 has a position information acquisition unit 17a, a posture information acquisition unit 17b, a shape information acquisition unit 17c, and a height information acquisition unit 17d.
  • the position information acquisition unit 17 a detects the position of the load 31 on the object determined to be the carrier 30 .
  • the orientation information acquisition unit 17b detects the orientation of the load 31 with respect to the object determined to be the carriage 30 .
  • the shape information acquisition unit 17c detects information on the shape (external shape, etc.) of the load 31 on the object determined to be the carrier 30 .
  • the height information acquisition unit 17d detects height information of the load 31 on the object determined to be the carriage 30 .
  • z ⁇ is the mounting angle of the light receiving unit 12 (imaging device) with respect to the floor FL
  • the transport state detection device 10 3D shape information (outer shape Pv, plane Ps, depth information Pp) of the object (object P) assumed to be the carriage 30 detected by , and 3D shape information (outer shape Pv, receiving part type Ps), 3D shape information of the target (Q) assumed to be the cargo 31 (outer shape Qv, plane Qs, features Qp such as unevenness), initially set exposure time Inti of the light receiving unit 12 (imaging device), received light
  • the plane Sy plane of the portion 12 is defined as the center point S (Sx/2) of the light receiving portion 12 (see FIGS. 8A and 8B).
  • the x-axis is the direction perpendicular to the traveling direction (horizontal direction)
  • the y-axis is the longitudinal direction (the traveling direction of the forklift 20)
  • the z-axis is the height direction (vertical direction) from the floor FL.
  • the exposure times of the illumination unit 11 (illumination device) and the light receiving unit (imaging device) 12 of the transport state detection device 10 are set to initial set values.
  • step S12 using the distance information measured (acquired) by the distance measuring unit 14 using the TOF method described above, a three-dimensional (3D ) information is obtained.
  • step S15 binarized data is acquired based on the information PX of the object P (distance or brightness information).
  • the binary data to be acquired is preferably acquired based on brightness information rather than distance information from the viewpoint that it can be stably acquired regardless of resolution.
  • step S16 it is determined whether or not the binarized data has been properly acquired, that is, whether or not the edge of the object P (and object Q) has been detected.
  • the process proceeds to step S17.
  • step S20 the exposure time Inti of the illumination unit 11 (illumination device) and the light receiving unit 12 (imaging device).
  • step S17 Pvx (outer shape of object P) is defined using the binarized data because it was determined in step S16 that the binarized data was properly acquired.
  • step S18 a plane Psx (surface information of the object P) within the range of the outer shape Pvx of the object P is defined from the distance information corresponding to each pixel of the image sensor acquired by the TOF method.
  • the side surface portion of the object P where the receiving portion such as the hole 30b may be formed is defined as the plane Psx.
  • step S19 it is determined whether or not the plane Psx has been acquired. If the plane Psx has been acquired, the process proceeds to the flowchart shown in FIG. device) and the light receiving unit 12 (imaging device) are adjusted, and the process returns to step S18 again.
  • step S20 since it was determined in step S16 that the binarized data was not properly acquired, the exposure time Inti is adjusted based on the brightness information acquired by the light receiving unit 12 (imaging device). .
  • the exposure time is adjusted to be shorter.
  • the exposure time is adjusted to be longer.
  • step S21 a plane Psz having the same z-coordinate as the base Psx of the carriage 30 is defined, and a space formed by a plane including the plane Psx and a plane including the plane Psz is defined as a side.
  • Z-coordinate information is obtained while scanning from Px in the y-axis direction (see FIGS. 8B and 8C).
  • step S22 it is determined whether or not the z-axis information (height) is constant in the x-axis direction or the y-axis direction.
  • the process proceeds to step S28.
  • step S23 since it was determined in step S22 that the z-axis information (height) on the base Px is constant, the object P is not irregularly shaped, and there is a possibility that it is the carriage 30 on which the load 31 is not placed. is tentatively determined as a certain object.
  • step S24 depth information Ppx of the object P is defined from the plane Psx. At this time, the exposure time may be adjusted, or the forklift 20 may be moved, so that the depth information Ppx representing holes and recesses can be easily obtained.
  • step S25 it is determined from the depth information Ppx whether or not there is a depth within the plane Psx, that is, whether or not there is a receiving portion such as the hole 30b within the plane Psx.
  • the TOF method is employed as described above, and the distance information corresponding to each pixel of the imaging device is measured (obtained) by the distance measuring section 14 .
  • FIG. 9(a) an object P having a black pattern on the side surface and an object P having a hole 30b having depth information formed in the side surface as shown in FIG. 9(b). can be discerned based on the obtained distance information.
  • step S26 if it is determined that the plane Psx has a depth, that is, a receiving portion such as a hole 30b (see FIG. 9B), the process proceeds to step S26, and there is no depth (receiving portion such as a hole 30b) (see FIG. 9B). 9(b)), the process proceeds to step S27.
  • step S26 since it was determined in step S25 that the depth (hole 30b) exists within the plane Psx, it is determined that the object P is the carriage 30 having the receiving portion (hole 30b) based on the depth information Ppx. . Then, a carriage table (see FIG. 5) is created in which information such as the outer shape, size, type of receiving portion (hole, recess), etc. of the carriage 30 is registered.
  • step S27 since it was determined in step S25 that there is no depth (the hole 30b) (they are substantially flat), the object P does not have a receiving portion for inserting the arm portion 24 of the forklift 20, and is transported. It is determined that it is not the platform 30, and the process is terminated.
  • step S28 since it was determined in step S22 that the z-axis information (height) is not constant in the x-axis direction or the y-axis direction, the object P is placed on the carriage 30 on which the load 31 is placed or the carriage It is tentatively determined to be an odd-shaped object that is not.
  • step S29 the object P tentatively determined in step S28 is matched with the carriage 30 registered in the carriage table by referring to the carriage DB 15a. That is, in step S29, a part of the object P (particularly, the lower part) is matched to determine whether or not the outer shape, size, hole position, etc. of the carriage 30 already registered in the carriage table match.
  • step S30 it is determined whether or not the object P includes the carriage 30 according to whether or not part of the object P matches the registered carriage 30 as a result of matching in step S29. be done.
  • the process proceeds to step S26, the information of the carriage 30 is registered in the carriage table, and the process ends.
  • step S26 the information of the carriage 30 is registered in the carriage table, and the process ends.
  • part of the object P does not match the registered carriage 30 as a result of matching, it is determined that the object P is not the carriage 30, and the process ends.
  • the front surface of the object P as seen from the light receiving unit 12 Py is defined, and the length of the front surface Py in the x-axis direction is Px.
  • the plane of the object Q having the y coordinate closest to the front face Py of the object P is defined as a plane Qy, and the length of the plane Qy in the x-axis direction is defined as Qx (see FIG. 8A).
  • step S31 it is determined whether or not the three-dimensional shape information (outer shape Qv and plane Qs) of the object Q assumed to be the cargo 31 distinguished from the object P determined to be the carriage 30 has been acquired.
  • the process proceeds to step S32.
  • the adjustment of the exposure time Inti is repeated until the time Inti is adjusted, the process returns to step S31, and the outline Qv and the plane Qs are obtained.
  • step S32 depth information Qpx of the object Q is defined from the plane Qy of the object Q placed on the upper surface of the object P detected as the carrier 30.
  • FIG. At this time, adjustment of the exposure time of the illumination unit 11 (illumination device) and the light receiving unit 12, movement of the forklift 20, and the like may be performed so that the depth information of the object Q can be easily acquired.
  • the depth information of the object Q similarly to the object P, the depth information of the object Q can be obtained by using the distance information obtained by the TOF method and obtained in each pixel of the image sensor.
  • step S33 in order to detect how the object Q is placed on the object P, the base Px of the plane Psx of the object P and the base Qx of the plane Qy of the object Q are calculated (Fig. 8(a)).
  • the base Px and the base Qx are the object P determined to be the carriage 30 and the load 31 placed on its upper surface using the information of the carriage 30 registered in the carriage table. is calculated after separating the object Q assumed to be .
  • the front face Py of the object P is defined from the outline Pvx and the plane Psx of the object P, and the length of the base Px of the front face Py in the x-axis direction is calculated. If the plane of the object Q having the y coordinate closest to the front face Py of the object P is defined as a plane Qy, the length Qx of the plane Qy in the x-axis direction is calculated. The height Qz of the object Q is the maximum size of the plane Qy in the z-axis direction.
  • step S34 the base Px of the object P and the base Qx of the object Q calculated in step S33 are compared, and how the object Q is positioned on the object P is detected. Specifically, for example, whether or not the object Q protrudes from the upper surface of the object P is detected using the x-axis information (Px) of the object P and the x-axis information (Qx) of the object Q.
  • step S35 in order to determine the state of the load 31 placed on the upper surface of the carriage 30, first, the state of the object P detected as the carriage 30 facing the light receiving unit 12 (imaging device) is directly facing. (Angle ⁇ 1) is confirmed.
  • the angle ⁇ 1 is the plane Sy of the light receiving unit 12 and its length Sx in the x-axis direction as shown in FIGS. is calculated as an angle indicating the position (orientation) of the front face Py of the object P detected as .
  • step S36 an angle ⁇ 2 shown in FIG. 12 is calculated in order to detect how the object Q (cargo 31) is placed on the upper surface of the object P (carriage 30).
  • the center point Px/2 of the base Px of the front face Py of the object P, the center point Qx/2 of the base Qx of the plane Qy of the object Q, the point P(x, y), the point Q(x, y ), and the intersection point of the center line of the object P passing through the point P and the center line of the object Q passing through the point Q is the point R. ).
  • RP RQ
  • the conveying state detection device 10 of this embodiment is a device for detecting a conveying table 30 conveyed by a forklift 20 with a load 31 placed thereon, and includes a distance measuring section 14 and a control section 13. .
  • the distance measurement unit 14 measures the distance to the object according to the amount of reflection of the light emitted from the illumination unit 11 to the object.
  • the control unit 13 determines whether or not the object is the carriage 30 based on the distance to the object measured by the distance measuring unit 14 .
  • the characteristics of the carrier 30 conveyed by the forklift 20 (for example, the arm portion 24 of the forklift 20 is inserted) It is possible to detect the presence or absence of a receiving portion such as a hole 30b, etc., to be inserted using the distance information. As a result, it is possible to accurately determine whether or not the detected object is the 30 transports.
  • the conveying state detection device 10 of the present embodiment is a device for detecting the state of the load 31 on the carrier 30 which is transported by the forklift 20 with the load 31 placed thereon. and
  • the distance measuring unit 14 acquires information about the distance to the object according to the amount of reflection of the light emitted from the illumination unit 11 to the object.
  • the control unit 13 determines the state of the load 31 on the carriage 30 based on the distance information to the object acquired by the distance measurement unit 14 .
  • the state of the load 31 on the carriage 30, such as the position, orientation, size, and deviation of the load 31 (object Q) on the object P detected as the carriage 30, can be determined using the distance information. can be easily detected. As a result, it is possible to accurately determine whether the detected state of the cargo 31 on the carrier 30 is suitable for transportation.
  • the present invention may be implemented as a program that causes a computer to execute the carriage detection method described above.
  • This program is stored in the memory (storage unit) mounted on the carriage detection device, and the CPU reads the carriage detection program stored in the memory and causes the hardware to execute each step. More specifically, the same effect as described above can be obtained by causing the CPU to read the carriage detection program and execute the above-described distance information acquisition step and determination step.
  • the present invention may be implemented as a recording medium storing a carriage detection program.
  • the transport state detection device (transport platform detection device) 10 is mounted on a forklift (transport device) 20 .
  • the present invention is not limited to this.
  • a carrier detection device may be used as a device installed separately from the carrier device.
  • the transport state detection device (transport platform detection device) of the present invention may be installed in a controller of a transport device such as a forklift.
  • the electromagnetic waves irradiated from the irradiation device to the target object include, in addition to broadly defined light (ultraviolet light and visible light), ⁇ (gamma) rays with shorter wavelengths than light, X-rays, and Other electromagnetic waves such as microwaves, radio waves for broadcasting (short, medium, and long waves), ultrasonic waves, elastic waves, and quantum waves may be used.
  • the carriage detection device of the present invention may be mounted on other transportation devices such as transportation robots such as AGVs (Automatic Guided Vehicles) and AMRs (Autonomous Mobile Robots). Further, the carriage detection device of the present invention may be mounted on a non-traveling conveying device in addition to being mounted on a self-propelled conveying device.
  • transportation robots such as AGVs (Automatic Guided Vehicles) and AMRs (Autonomous Mobile Robots).
  • AMRs Autonomous Mobile Robots
  • the carriage detection device of the present invention may be mounted on a non-traveling conveying device in addition to being mounted on a self-propelled conveying device.
  • the carriage database includes a carriage table (see FIG. 5) in which information about the characteristics (size, shape, etc.) of the carriage 30 is registered in the conveyance state detection device 10. 15a has been described.
  • the present invention is not limited to this.
  • other storage means such as a server provided outside may be used as the storage unit for storing the carriage database.
  • the conveying table 30 made of resin is detected by the conveying state detection device 10 of the present invention.
  • the present invention is not limited to this.
  • the material of the carriage is not limited to resin, and may be wood, metal, rubber, or other material other than resin.
  • a configuration may be adopted in which the reflection of light irradiated toward the rear or side of the transport device is detected to detect the transport table or the like behind or to the side of the transport device.
  • the carriage detection device of the present invention has the effect of being able to accurately determine whether or not a detected object is a carriage, so it can be widely applied to various devices that detect carriages. is.
  • Conveyance state detection device Conveyance table detection device, Conveyance state detection device
  • lighting unit lighting unit
  • light receiving unit control unit (determining unit)
  • distance measurement unit distance information acquisition unit
  • storage unit 15a carriage database (carriage DB)
  • carriage information acquisition unit 17 load state acquisition unit 17a position information acquisition unit 17b posture information acquisition unit 17c shape information acquisition unit 17d height information acquisition unit
  • forklift (conveyor) 21 Vehicle body parts 22a, 22b Wheels 23 Driving part 24 Arm part 25 Transfer control part 25a Traveling control part 25b Arm control part 26 Traveling actuator 27 Braking device 28
  • Elevating actuator Carrier 30a Body part 30b Hole (receiving part) 31
  • Cargo 130 Conveyor 130a Main body 130b Recess (receiving part) FL Floor surface IR Infrared rays (electromagnetic waves) L1 light (electromagnetic waves) P object Q object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Image Analysis (AREA)

Abstract

搬送状態検出装置(10)は、積み荷(31)を載せた状態でフォークリフト(20)によって搬送される搬送台(30)上の積み荷(31)の状態を検出するとともに、距離測定部(14)と、制御部(13)とを備えている。距離測定部(14)は、照明部(11)から対象物に対して照射された光の反射量に応じて対象物までの距離情報を取得する。制御部(13)は、距離測定部(14)において取得された対象物までの距離情報に基づいて、搬送台(30)上における積み荷(31)の状態を判定する。

Description

搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム
 本発明は、例えば、積み荷を載せた状態で搬送される搬送台上の積み荷の状態を検出する搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラムに関する。
 近年、パレットのような搬送台に積載された荷物を、搬送台ごと持ち上げて運搬する搬送装置として、フォークリフト等が広く用いられている。
 このような搬送装置の中には、周囲に存在する物体を検出する物体検出装置を搭載したフォークリフトがある(例えば、特許文献1を参照)。
 特許文献1に記載された物体検出装置は、ステレオカメラによって撮像された画像を処理することで、フォークリフトの進行を妨げる物体(障害物や壁など)の位置を検出する。フォークリフトのメインコントローラは、このような物体との衝突を回避するため、物体検出装置の検出結果に基づいて減速処理を行う。
特開2020-57258号公報
 しかしながら、上記従来の搬送装置では、以下に示すような問題点を有している。
 すなわち、上記公報に開示された搬送装置では、ステレオカメラによって撮影された画像を処理して、物体の位置や大きさを検出している。しかし、検出された物体が、フォークリフト等によって搬送されるパレット等の搬送台上に積み荷が適正に配置されているか否かを正確に判定することは困難であった。
 ここで、搬送台上の積み荷の状態とは、例えば、搬送台上の積み荷が、搬送台の範囲外へ飛び出していないか、搬送台上の積み荷に偏りがないか、搬送台に対する積み荷の向き、大きさが適正か、等が含まれる。
 本発明の課題は、搬送台上の積み荷の状態を正確に判定することが可能な搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラムを提供することにある。
 第1の発明に係る搬送状態検出装置は、積み荷を載せた状態で搬送装置によって搬送される搬送台上の積み荷の状態を検出する搬送状態検出装置であって、距離情報取得部と、判定部と、を備えている。距離情報取得部は、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。判定部は、距離情報取得部において取得された対象物までの距離情報に基づいて、搬送台上における積み荷の状態を判定する。
 ここでは、例えば、光源としてLED(Light Emitting Diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time of Flight)センサから取得した対象物までの距離情報を用いて、搬送台上における積み荷の状態が搬送に適しているか否かを判定する。
 ここで、本発明の搬送状態検出装置は、例えば、フォークリフトや搬送用ロボット等の搬送装置に搭載されていてもよいし、搬送装置とは別の装置として設けられていてもよい。
 また、積み荷が載せられる搬送台は、木製、樹脂製等、素材は問わず、例えば、フォークリフト等の搬送装置のアーム部が挿入される穴、凹部等の受け部を有している。
 照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
 なお、距離情報取得部は、電磁波の反射を検出して距離情報を算出する構成であってもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得する構成であってもよい。
 これにより、例えば、搬送台として検出された物体上にある積み荷の位置、向き、大きさ、偏り等の搬送台上における積み荷の状態を、距離情報を用いて容易に検出することができる。
 この結果、検出された搬送台上における積み荷の状態が搬送に適しているか否かを正確に判定することができる。
 第2の発明に係る搬送状態検出装置は、第1の発明に係る搬送状態検出装置であって、判定部は、距離情報を用いて、搬送台上における積み荷の位置、向き、大きさ、偏りを判定する。
 これにより、距離情報を用いて、搬送台とその上の積み荷を正確に検出して、搬送台に対する積み荷の位置、向き、大きさ、偏りに問題がないかを正確に判定することができる。
 第3の発明に係る搬送状態検出装置は、第1または第2の発明に係る搬送状態検出装置であって、判定部は、距離情報に基づいて、対象物が搬送台であるか否かを判定する。
 これにより、例えば、床面に置かれた対象物の側面に黒い絵柄等が記載されている場合でも、搬送装置によって搬送される搬送台の特徴(例えば、搬送装置のアーム部等が挿入される穴、凹部等の受け部)の有無を、距離情報を用いて検出することができる。
 この結果、検出された物体が搬送台であるか否かを正確に判定することができる。
 第4の発明に係る搬送状態検出装置は、第3の発明に係る搬送状態検出装置であって、搬送台は、搬送装置のアーム部材が挿入される受け部を有している。判定部は、距離情報を用いて、受け部の有無、大きさ、位置の少なくとも1つに応じて、対象物が搬送台であるか否かを判定する。
 これにより、搬送台の主要な特徴部分である受け部を、距離情報を用いて検出することで、受け部の有無、大きさ、位置等に応じて、対象物が搬送台であるか否かを判定することができる。
 第5の発明に係る搬送状態検出装置は、第3または第4の発明に係る搬送搬送状態検出装置であって、判定部は、距離情報を用いて、受け部の有無、大きさ、位置の少なくとも1つに応じて、対象物が、単独の搬送台、積み荷が載せられた搬送台、搬送台以外の物体のいずれかであることを判定する。
 これにより、取得された距離情報を用いて検出される受け部の有無、大きさ、位置等に応じて、搬送台の状態(単体、積み荷あり、搬送台ではない)を正確に判定することができる。
 第6の発明に係る搬送状態検出装置は、第3から第5の発明のいずれか1つに係る搬送状態検出装置であって、判定部は、距離情報を用いて、対象物が置かれた床面を検出し、床面から高さを有する物体を、搬送台の候補として検出する。
 これにより、取得された距離情報を用いて対象物が置かれた床面を検出することで、その床面から高さを有する物体を搬送体の候補として検出することができる。
 第7の発明に係る搬送状態検出装置は、第6の発明に係る搬送状態検出装置であって、判定部は、搬送台の候補として検出された物体について、距離情報に基づいて、その外形を設定する。
 これにより、取得された距離情報を用いて、搬送台の候補として検出された物体の外形を正確に設定することができる。
 第8の発明に係る搬送状態検出装置は、第7の発明に係る搬送状態検出装置であって、判定部は、距離情報または対象物を撮像した画像の明暗情報に基づいて得られる2値化処理されたデータを用いて、外形を設定する。
 これにより、対象物の外形を、距離情報または対象物を撮像した画像の明暗情報に基づいて得られる2値化処理されたデータを用いて設定することができる。
 第9の発明に係る搬送状態検出装置は、第7または第8の発明に係る搬送状態検出装置であって、判定部において2値化処理されたデータが得られない場合には、照明装置から照射された電磁波を照射・受光する露光時間が調整される。
 これにより、2値化処理されたデータが得られない場合には、照明装置から照射された電磁波を照射・受光する露光時間が調整されることで、適正に2値化処理されたデータを得て、対象物の外形を正確に設定することができる。
 第10の発明に係る搬送状態検出装置は、第7から第9の発明のいずれか1つに係る搬送状態検出装置であって、判定部は、設定された外形に基づいて、受け部が形成されていると想定される検出面を設定する。
 これにより、設定された外形から、受け部があると思われる検出面を設定することができる。
 第11の発明に係る搬送状態検出装置は、第10の発明に係る搬送状態検出装置であって、判定部は、検出面における受け部の奥行情報に応じて、搬送台であるか否かを判定する。
 これにより、取得された距離情報を用いて、検出面における奥行の有無を検出することで、対象物が受け部を有する搬送台であるか否かを正確に判定することができる。
 第12の発明に係る搬送状態検出装置は、第10または第11の発明に係る搬送状態検出装置であって、判定部は、搬送台と想定される物体の検出面と同じ軸座標上に存在する積み荷の略水平方向における位置を検出して、積み荷の状態を判定する。
 これにより、搬送台と想定される物体の検出面と同じ軸座標(例えば、x軸および/またはy軸)上に存在する積み荷の略水平方向における位置を検出することで、積み荷の位置、大きさ、偏り等の状態を判定することができる。
 第13の発明に係る搬送搬送状態検出装置は、第10から第12の発明のいずれか1つに係る搬送状態検出装置であって、判定部は、搬送台と想定される物体の検出面に対する積み荷の向きを検出して、積み荷の状態を判定する。
 これにより、搬送台と想定される物体の検出面に対する積み荷の向きを検出することで、搬送台に対する積み荷の向き、偏り等の状態を判定することができる。
 第14の発明に係る搬送状態検出装置は、第3から第13の発明のいずれか1つに係る搬送状態検出装置であって、判定部において搬送台上であると判定された搬送台の検出データを保存する記憶部を、さらに備えている。
 これにより、搬送台として判定された搬送台のデータ(外形、大きさ、受け部の位置等)を記憶部に登録していくことで、例えば、その後、搬送台と搬送台上に載置された積み荷との境界を認識して、積み荷のバランス等を判定することができる。
 第15の発明に係る搬送状態検出装置は、第1から第14の発明のいずれか1つに係る搬送状態検出装置であって、電磁波は、赤外線である。
 これにより、赤外線の反射量に応じて算出される距離情報を取得することで、例えば、暗所で搬送作業を実施する場合でも、搬送台であるか否かを正確に判定することができる。
 第16の発明に係る搬送状態検出システムは、第1から第15の発明のいずれか1つに係る搬送状態検出装置と、対象物に対して電磁波を照射する照明装置と、照明装置から照射された電磁波の反射量を検出する受光部と、を備えている。
 これにより、照明装置から照射された電磁波の対象物からの反射を受光部が検出することで、反射量に応じて対象物までの距離情報を算出(取得)することができる。よって、算出された距離情報に応じて、搬送台上における積み荷の状態が搬送に適した状態であるか否かを正確に判定するシステムを構築することができる。
 第17の発明に係る搬送状態検出システムは、第16の発明に係る搬送状態検出システムであって、照明装置からの電磁波の照射量および受光部が電磁波の反射量を検出するための露光時間を調整する制御部を、さらに備えている。
 これにより、制御部によって露光時間が調整されることで、対象物までの距離に応じて適正な露光時間で電磁波を照射・電磁波の反射を受光することができる。
 また、2値化処理されたデータを得るために適正な露光時間に調整されることで、距離情報を用いて、正確に搬送台であるか否かを判定することができる。
 また、2値化処理されたデータを得るために適正な露光時間に調整されることで、距離情報を用いて、正確に搬送台であるか否かを判定することができる。
 第18の発明に係る搬送状態検出システムは、第17の発明に係る搬送状態検出システムであって、制御部は、対象物までの距離に応じて、露光時間を調整する。
 これにより、制御部が、例えば、対象物までの距離が近い場合には露光時間を短くし、対象物までの距離が遠い場合には露光時間を長くすることで、対象物までの距離に応じて適正な露光時間で電磁波を照射・電磁波の反射を受光することができる。
 第19の発明に係る搬送状態検出方法は、積み荷を載せた状態で搬送装置によって搬送される搬送台上の積み荷の状態を検出する搬送状態検出方法であって、距離情報取得ステップと、判定ステップと、を備えている。距離情報取得ステップでは、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。判定ステップでは、距離情報取得ステップにおいて取得された対象物までの距離情報に基づいて、搬送台上における積み荷の状態を判定する。
 ここでは、例えば、光源としてLED(Light Emitting Diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time of Flight)センサから取得した対象物までの距離情報を用いて、搬送台上における積み荷の状態が搬送に適しているか否かを判定する。
 ここで、積み荷が載せられる搬送台は、木製、樹脂製等、素材は問わず、例えば、フォークリフト等の搬送装置のアーム部が挿入される穴、凹部等の受け部を有している。
 照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
 なお、距離情報取得ステップでは、電磁波の反射を検出して距離情報を算出してもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得してもよい。
 これにより、例えば、搬送台として検出された物体上にある積み荷の位置、向き、大きさ、偏り等の搬送台上における積み荷の状態を、距離情報を用いて容易に検出することができる。
 この結果、検出された搬送台上における積み荷の状態が搬送に適しているか否かを正確に判定することができる。
 第20の発明に係る搬送状態検出プログラムは、積み荷を載せた状態で搬送装置によって搬送される搬送台上の積み荷の状態を検出する搬送状態検出方プログラムであって、距離情報取得ステップと、判定ステップと、を備えている搬送状態検出方法をコンピュータに実行させる。距離情報取得ステップでは、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。判定ステップでは、距離情報取得ステップにおいて取得された対象物までの距離情報に基づいて、搬送台上における積み荷の状態を判定する。
 ここでは、例えば、光源としてLED(Light Emitting Diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time of Flight)センサから取得した対象物までの距離情報を用いて、搬送台上における積み荷の状態が搬送に適しているか否かを判定する。
 ここで、積み荷が載せられる搬送台は、木製、樹脂製等、素材は問わず、例えば、フォークリフト等の搬送装置のアーム部が挿入される穴、凹部等の受け部を有している。
 照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
 なお、距離情報取得ステップでは、電磁波の反射を検出して距離情報を算出してもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得してもよい。
 これにより、例えば、搬送台として検出された物体上にある積み荷の位置、向き、大きさ、偏り等の搬送台上における積み荷の状態を、距離情報を用いて容易に検出することができる。
 この結果、検出された搬送台上における積み荷の状態が搬送に適しているか否かを正確に判定することができる。
(発明の効果)
 本発明に係る搬送状態検出装置によれば、搬送台上の積み荷の状態を正確に判定することができる。
本発明の一実施形態に係る搬送状態検出装置を搭載したフォークリフトと搬送対象である搬送台を示す図。 (a)は、図1のフォークリフトによって搬送される搬送台を示す斜視図。(b)は、搬送台の他の例を示す斜視図。 図1のフォークリフトおよびフォークリフトに搭載された搬送状態検出装置の制御ブロック図。 図1の搬送状態検出装置による対象物までの距離をTOF方式で算出する原理を説明する図。 図3の搬送状態検出装置に含まれる記憶部に保存される搬送台テーブルを示す図。 図1の搬送状態検出装置による搬送台検出方法の処理の流れを示すフローチャート。 図1の搬送状態検出装置による搬送台検出方法の処理の流れを示すフローチャート。 (a),(b),(c)は、搬送台の検出工程について説明する模式図。 (a)は、図10のフローチャートにおいて定義された平面とその平面における奥行情報(穴)がない物体を示す斜視図。(b)は、図10のフローチャートにおいて定義された平面とその平面における奥行情報(穴)がある物体を示す斜視図。 図1の搬送状態検出装置による搬送状態検出方法の処理の流れを示すフローチャート。 (a)は、搬送状態検出装置の検出面のx軸方向のサイズを示す正面図。(b)は、搬送状態検出部の検出方向を示す平面図。(c)は、搬送状態検出装置の検出方向と搬送台との位置関係を示す平面図。 搬送台とその上に載置された積み荷との位置関係を示す平面図。 暗室での搬送台の検出について説明する概念図。
 本発明の一実施形態に係る搬送状態検出装置(搬送台検出装置、搬送状態検出装置)10を搭載したフォークリフト(搬送装置)20について、図1から図12を用いて説明すれば以下の通りである。
(1)フォークリフト20
 フォークリフト(搬送装置)20は、図1に示すように、積み荷31が載せられた搬送台30を所望の位置まで搬送するために使用される装置であって、車体部21と、4つの車輪22a,22bと、駆動部23と、アーム部24と、搬送制御部25(図3参照)と、走行アクチュエータ26(図3参照)と、制動装置27(図3参照)と、昇降アクチュエータ28(図3参照)とを備えている。
 本実施形態のフォークリフト20は、運転者が乗車して操作されるものであって、搬送状態検出装置10における搬送台30の検出および搬送台30上の積み荷31の状態の検出結果に基づいて、運転者による運転操作をアシストする。
 なお、フォークリフト20は、運転者による運転操作が不要な自動運転が可能であって、搬送状態検出装置10における搬送台30の検出および搬送台30上の積み荷31の状態の検出結果に基づいて自動運転を行う自動搬送装置として使用されてもよい。
 車体部21は、内部にエンジンやモータ等の駆動源等を収納しており、その前方にはアーム部(フォーク)24を上下に駆動する駆動部23が設けられている。
 車輪22a,22bは、車体部21の前後に2輪ずつ設けられており、搬送制御部25によって前輪側の車輪22aが回転駆動され、ハンドル操作によって後輪側の車輪22bが操舵されることで、走行、旋回することができる。
 駆動部23は、車体部21の前方に取り付けられており、マスト、スプロケット、チェーン、油圧シリンダ等の昇降アクチュエータを含む。駆動部23は、運転者による操作レバー(図示せず)の操作に応じて、アーム部24を上下方向あるいはチルト方向において駆動する。これにより、アーム部24によって支持された搬送台30等を持ち上げて搬送することができる。
 アーム部24は、駆動部23によって上下方向において駆動され、前方に向かって延伸する2つの爪状部材であって、搬送台30に設けられた穴(受け部)30b等に挿入される。
 搬送制御部25は、フォークリフト20の搬送制御を行うコントローラであって、図3に示すように、走行制御部25aと、アーム制御部25bとを有している。
 走行制御部25aは、フォークリフト20の車速が目標速度になるように、エンジンやモータ等の駆動源の出力を制御する。
 アーム制御部25bは、車体部21に設けられた運転席に設置された操作レバー(図示せず)の操作量に応じて、アーム部24の昇降を制御する。また、アーム制御部25bは、後述する搬送台30の検出結果に応じて、検出された搬送台30の穴30bの位置に合わせて2本のアーム部24の間隔を自動的に調整するように制御してもよい。
 走行アクチュエータ26は、エンジンやモータ等の駆動源と、駆動源の出力を駆動側の車輪22aに伝達する駆動伝達手段とを含むように構成されている。
 制動装置27は、走行中のフォークリフト20の車速を低下させたり、停止させたりするために設けられている。制動装置27は、運転席に設けられたブレーキペダルに操作量に応じたブレーキ力を、車輪22aに対して付与する。
 昇降アクチュエータ28は、駆動部23に設けられ、例えば、リフトシリンダ、チルトシリンダ等の油圧シリンダを含んでいる。油圧シリンダは、運転席に設置された操作レバー(図示せず)の操作量に応じて、アーム部24のチルト方向における角度を変化させたり、アーム部24の位置を上下に移動させたりする。
(2)搬送台30
 ここで、本実施形態のフォークリフト20によって搬送される搬送台30について、図2(a)および図2(b)を用いて説明する。
 搬送台30は、樹脂製のパレットであって、図2(a)に示すように、本体部30aと、穴(受け部)30bとを有している。
 本体部30aは、例えば、再利用可能なPP(ポリプロピレン)等の樹脂製のパレットであって、積み荷31が載置される上面と、4つの側面と、底面とを有している。
 本体部30aの4つの側面には、それぞれ、フォークリフト20のアーム部24が挿入可能な穴30bが形成されている。
 穴(受け部)30bは、本体部30aの4つの側面にそれぞれ2つずつ設けられており、フォークリフト20の2本のアーム部24が挿入される。
 なお、フォークリフト20のアーム部24が挿入される穴30bは、例えば、本体部30aの4つの側面の全てに設けられていてもよいし、対向する1組の2つの側面のみに設けられていてもよいし、1つの面のみに設けられていてもよい。
 フォークリフト20によって搬送される搬送台30の種類としては、図2(b)に示すように、アーム部24が挿入される穴30bの代わりに、凹部130bが本体部130aの両側面に設けられた搬送台130であってもよい。
 この場合には、フォークリフト20のアーム部24は、穴30bへ挿入される代わりに、床面FLと凹部130bを形成する上面との間に挿入され、下方から凹部130bを支持するように、搬送台130を持ち上げることができる。
(3)搬送状態検出装置10
 本実施形態の搬送状態検出装置10は、図1に示すように、駆動部23の上部に取り付けられており、フォークリフト20によって搬送される搬送台30を検出するとともに、搬送台30上に載置された積み荷31の状態(位置、範囲、高さ、バランス等)を検出する。
 搬送状態検出装置10は、図3に示すように、照明部(照明装置)11と、受光部12と、制御部(判定部)13と、距離測定部14と、記憶部15と、搬送台情報取得部16と、積載物状態取得部(判定部)17と、を備えている。
 照明部(照明装置)11は、例えば、LEDを有しており、搬送台30や積み荷31等の対象物に対して所望の波長を有する光L1を照射する。なお、照明部11には、LEDから照射された光L1を対象物の方向へ導く投光レンズ(図示せず)が設けられている。
 受光部12は、例えば、受光レンズと撮像素子等を含んでいる。
 受光レンズは、照明部11から対象物に対して照射され、対象物において反射した反射光を受光して、撮像素子へと導くために設けられている。
 撮像素子は、複数の画素を有しており、受光レンズにおいて受光された反射光を、複数の画素のそれぞれにおいて受光して、光電変換した電気信号を制御部13へと送信する。また、撮像素子において検出される反射光の受光量に対応する電気信号は、制御部13において距離情報の算出に用いられる。
 制御部(判定部)13は、記憶部15に保存された各種制御プログラムを読み込んで、対象物に対して光を照射する照明部11を制御する。より詳細には、制御部13は、光が照射される対象物までの距離、形状、色等の対象物の性質等に応じて最適な光を照射するように、照明部11を制御する。また、制御部13は、後述する対象物の特徴に基づいて、対象物が搬送台30であるか否かの判定を行うとともに、搬送台30として判定された搬送台30上に載置された積み荷31の積載状態が適正であるか否かの判定を行う。
 また、制御部13は、例えば、対象物までの距離に応じて、照明部11の照射光、照明部11から照射された光の反射量を検出するための受光部12の露光時間を調整する。あるいは、制御部13は、後述する2値化データの取得の可否に応じて、照明部11および受光部12の露光時間を調整する。
 具体的には、制御部13は、対象物までの距離が近い場合には、露光時間を短くするように調整し、対象物までの距離が遠い場合には、露光時間を長くするように調整する。
 なお、制御部13による搬送台30の検出(判定)および搬送状態の検出(判定)については、後段にて詳述する。
 距離測定部14は、受光部12に含まれる撮像素子から受信した各画素に対応する電気信号に基づいて、各画素ごとに、対象物までの距離情報を算出する。
 ここで、本実施形態の距離測定部14による対象物までの距離情報の算出について、図4を用いて説明すれば以下の通りである。
 すなわち、本実施形態では、いわゆるTOF(Time of Flight)方式を用いて、距離測定部14が、照明部11から照射された正弦波や矩形波等のAM変調された一定周波数の投光波と、受光部12に含まれる撮像素子において受光した光の受光波との位相差Φ(図4参照)に基づいて、対象物までの距離を算出する。
 ここで、位相差Φは、以下の関係式(1)によって示される。
   Φ=atan(y/x) ・・・・・(1)
(x=a2-a0,y=a3-a1、a0~a3は、受光波を90度間隔で4回サンプリングしたポイントにおける振幅)
 そして、位相差Φから距離Dへの変換式は、以下の関係式(2)によって示される。
    D=(c/(2×fLED))×(Φ/2π)+DOFFSET ・・・・・(2)
(cは、光速(≒3×10m/s)、fLEDは、LEDの投光波の変調周波数、DOFFSETは、距離オフセット。)
 これにより、距離測定部14は、照明部11から照射された光の反射光を受光して、その位相差を比較することで、光速cを用いて、対象物までの距離を容易に算出することができる。
 記憶部15は、搬送状態検出装置10の動作を制御する各種プログラムを保存するとともに、搬送台30として検出された搬送台30の特徴(例えば、サイズ、穴30bの位置等)に関する情報が登録された搬送台データベース(DB)15aを保存している。
 搬送台DB15aは、搬送台30として判定された対象物の外形寸法、受け部のタイプ(穴または凹部)等の情報を含む搬送台テーブル(図5参照)が保存されている。これにより、搬送台DB15aは、検出された対象物がどのタイプの搬送台であるかを判定する際に参照される。
 搬送台情報取得部16は、後述する対象物が搬送台30であるか否かを判定するために必要な対象物の情報を取得する。具体的には、搬送台情報取得部16は、搬送台30であると想定される対象物のサイズ(幅、高さ等)、受け部(穴、凹部等)の有無および位置等の情報を取得する。
 積載物状態取得部17は、搬送台30と判定された対象物の上に載置された積み荷31の状態を検出する。積載物状態取得部17は、図3に示すように、位置情報取得部17aと、姿勢情報取得部17bと、形状情報取得部17cと、高さ情報取得部17dとを有している。
 位置情報取得部17aは、搬送台30と判定された対象物上における積み荷31の位置を検出する。
 姿勢情報取得部17bは、搬送台30と判定された対象物に対する積み荷31の向きを検出する。
 形状情報取得部17cは、搬送台30と判定された対象物上の積み荷31の形状(外形等)の情報を検出する。
 高さ情報取得部17dは、搬送台30と判定された対象物上の積み荷31の高さの情報を検出する。
 <搬送台検出方法>
 本実施形態の搬送台検出方法では、まず、図6および図7に示すフローチャートに従って、距離測定部14において測定された対象物までの距離情報を用いて、検出された対象物が搬送台30であるか否かを判定する。
 ここで、床面FL(z=0)からの相対的な受光部12(撮像素子)の取付位置をzs、床面FLに対する受光部12(撮像素子)の取付角度zθ、搬送状態検出装置10によって検出された搬送台30と想定される対象物(物体P)の3D形状情報(外形Pv、平面Ps、奥行き情報Pp)、図5に示す搬送台テーブルの3D形状情報(外形Pv、受け部タイプPs)、積み荷31と想定される対象物(Q)の3D形状情報(外形Qv、平面Qs、凹凸等の特徴Qp)、受光部12(撮像素子)の初期設定された露光時間Inti、受光部12の平面Sy面、受光部12の中心点S(Sx/2)と定義される(図8(a)および図8(b)参照)。
 なお、x軸を進行方向に直交する方向(水平方向)、y軸を長手方向(フォークリフト20の進行方向)、z軸を床面FLからの高さ方向(鉛直方向)とする。
 図6に示すように、ステップS11では、搬送状態検出装置10の照明部11(照明装置)および受光部(撮像素子)12の露光時間が、初期設定値にセットされる。
 次に、ステップS12では、上述したTOF方式を採用して距離測定部14において測定(取得)される距離情報を用いて、搬送状態検出装置10が搭載されたフォークリフト20の前方の3次元(3D)情報が取得される。
 なお、ここでは、搬送状態検出装置10の照明部11から照射される光が、フォークリフト20の前方へ照射される場合について説明する。
 次に、ステップS13では、ステップS12において取得された3次元情報と、受光部12(撮像素子)の取付位置zsおよび取付角度zθから、床面FL(z=0)が定義される。
 なお、ここで取得される3次元情報の範囲は、受光部12の撮像素子の性能(画角等)に応じて決まる。
 次に、ステップS14では、床面FL(z=0)に対してz>0となる物体P、つまり、床面FLから高さのある物体が検出される。
 次に、ステップS15では、物体Pの情報PX(距離または明暗の情報)に基づいて、2値化データが取得される。
 なお、取得される2値化データとしては、分解能に依らずに安定的に取得できるという観点から、距離情報よりも明暗情報に基づいて取得されることが好ましい。
 次に、ステップS16では、適正に2値化データが取得されたか否か、つまり、物体P(および物体Q)のエッジを検出できたか否かが判定される。ここで、適正に2値化データが取得されていれば、ステップS17へ進む。一方、適正に2値化データが取得されていなければ、ステップS20へ進み、照明部11(照明装置)および受光部12(撮像素子)の露光時間Intiが調整される。
 次に、ステップS17では、ステップS16において適正に2値化データが取得されたと判定されたため、2値化データを用いてPvx(物体Pの外形)が定義される。
 次に、ステップS18では、TOF方式で取得された撮像素子の各画素に対応する距離情報から、物体Pの外形Pvxの範囲内にある平面Psx(物体Pの面情報)が定義される。
 なお、本実施形態では、穴30b等の受け部が形成されている可能性がある物体Pの側面部分が、平面Psxとして定義される。
 次に、ステップS19では、平面Psxが取得されたか否かが判定され、取得されていれば、図7に示すフローチャートへ進み、取得されていなければ、ステップS20と同様に、照明部11(照明装置)および受光部12(撮像素子)の露光時間Intiが調整されて、再度、ステップS18へ戻る。
 ここで、ステップS20では、ステップS16において適正に2値化データが取得されていないと判定されたため、受光部12(撮像素子)において取得された明暗情報に基づいて、露光時間Intiが調整される。
 例えば、物体Pの情報PXの明度が高い場合には、サチレーションが発生しているおそれがあるため、露光時間が短くなる方向に調整される。一方、物体Pの情報PXの明度が低い場合には、撮像素子に十分な光量が検出できていないおそれがあるため、露光時間が長くなる方向に調整される。
 続いて、図7に示すように、ステップS21では、搬送台30の底辺Psxとz座標を同じくする面Pszを定義し、面Psxを含む面と面Pszを含む面により形成される空間を辺Pxからy軸方向に走査しながらz座標情報を取得する(図8(b)および図8(c)参照)。
 次に、ステップS22では、z軸情報(高さ)はx軸方向あるいはy軸方向において一定であるか否かが判定される。ここで、図8(b)に示すように、z軸情報(高さ)が一定であると判定されると、ステップS23へ進み、図8(c)に示すように、z軸情報(高さ)が一定ではないと判定されるとステップS28へ進む。
 次に、ステップS23では、ステップS22において底辺Px上のz軸情報(高さ)は一定であると判定されたため、物体Pは、異形ではなく、積み荷31が乗っていない搬送台30の可能性がある物体として仮判定される。
 次に、ステップS24では、平面Psxから物体Pの奥行情報Ppxが定義される。
 なお、このとき、穴や凹部を意味する奥行情報Ppxが得やすいように、露光時間が調整されてもよいし、フォークリフト20が移動してもよい。
 次に、ステップS25では、奥行情報Ppxから平面Psx内に奥行があるか否か、つまり、平面Psx内における穴30b等の受け部の有無が判定される。
 ここで、本実施形態の搬送状態検出装置10では、上述したようにTOF方式を採用して、距離測定部14において撮像素子の各画素に対応する距離情報が測定(取得)される。このため、図9(a)に示すように、側面に黒い絵柄が付された物体Pと、図9(b)に示すように、側面に奥行情報を持つ穴30bが形成された物体Pとを、取得された距離情報に基づいて見分けることができる。
 ここで、平面Psx内に奥行、つまり穴30b等の受け部がある(図9(b)参照)と判定されると、ステップS26へ進み、奥行(穴30b等の受け部)がない(図9(b)参照)と判定されると、ステップS27へ進む。
 次に、ステップS26では、ステップS25において平面Psx内に奥行(穴30b)があると判定されたため、奥行情報Ppxに基づいて物体Pが受け部(穴30b)を有する搬送台30と判定される。そして、その搬送台30の外形、サイズ、受け部のタイプ(穴、凹部)等の情報が登録された搬送台テーブル(図5参照)が作成される。
 次に、ステップS27では、ステップS25において奥行(穴30b)がない(ほぼ平面である)と判定されたため、その物体Pは、フォークリフト20のアーム部24を挿入するための受け部がなく、搬送台30ではないと判定されて処理を終了する。
 一方、ステップS28では、ステップS22においてz軸情報(高さ)はx軸方向あるいは y軸方向において一定ではないと判定されたため、物体Pは、積み荷31が乗っている搬送台30、あるいは搬送台ではない異形の物体であるとして仮判定される。
 次に、ステップS29では、ステップS28において仮判定された物体Pについて、搬送台DB15aを参照して、搬送台テーブルに登録された搬送台30とマッチングを行う。
 すなわち、ステップS29では、物体Pの一部(特に、下部)が、搬送台テーブルに登録済みの搬送台30の外形、サイズ、穴の位置等が一致するか否かをマッチングする。
 次に、ステップS30では、ステップS29におけるマッチングの結果、物体Pの一部が、登録済みの搬送台30と一致するか否かに応じて、物体Pが搬送台30を含むか否かが判定される。
 ここで、登録済みの搬送台30と一致すると判定されると、ステップS26へ進み、搬送台30の情報が搬送台テーブルに登録されて処理を終了する。
 一方、マッチングの結果、物体Pの一部が、登録済みの搬送台30と一致しないと判定された場合には、物体Pは搬送台30ではないと判定され、そのまま処理を終了する。
 <搬送状態検出方法>
 本実施形態の搬送状態検出方法では、図10に示すフローチャートに従って、以上のような搬送台検出処理によって検出された搬送台30上に載置された積み荷31の状態の適否を判定する。
 まず、ステップS30において搬送台30と判定された物体Pと積み荷31としてその上面に載置された物体Qとについて、物体Pの外形Pvxおよび平面Psxから、受光部12から見て物体Pの正面Pyが定義され、正面Pyの面のx軸方向における長さをPxとする。そして、物体Pの正面Pyに最も近いy座標を有する物体Qの平面を平面Qyとし、平面Qyのx軸方向における長さをQxとする(図8(a)参照)。
 まず、ステップS31では、搬送台30と判定された物体Pと区別される積み荷31と想定される物体Qについて、3次元形状情報(外形Qvおよび平面Qs)が取得されたか否かを判定する。
 ここで、外形Qvおよび平面Qsが取得された場合には、ステップS32へ進み、取得されていない場合には、ステップS20において、照明部11(照明装置)および受光部12(撮像素子)の露光時間Intiが調整されて、再度、ステップS31へ戻り、外形Qvおよび平面Qsが取得されるまで、露光時間Intiの調整が繰り返される。
 次に、ステップS32では、搬送台30として検出された物体Pの上面に載置された物体Qの平面Qyから、物体Qの奥行情報Qpxが定義される。
 このとき、物体Qの奥行情報が取得しやすいように、照明部11(照明装置)および受光部12の露光時間の調整、フォークリフト20の移動等が行われてもよい。
 これにより、物体Pと同様に、物体Qについても、TOF方式によって取得され撮像素子の各画素において得られた距離情報を用いて、物体Qの奥行情報を得ることができる。
 次に、ステップS33では、物体P上に物体Qがどのように載置されているかを検出するために、物体Pの平面Psxの底辺Pxおよび物体Qの平面Qyの底辺Qxを算出する(図8(a)参照)。
 ここで、底辺Pxおよび底辺Qxは、上述したように、搬送台テーブルに登録された搬送台30の情報を用いて、搬送台30と判定された物体Pと、その上面に載置され積み荷31と想定される物体Qとを分離した後で算出される。
 そして、物体Pの外形Pvxおよび平面Psxから物体Pの正面Pyが定義され、正面Pyのx軸方向における底辺Pxの長さが算出される。
 また、物体Pの正面Pyに最も近いy座標を有する物体Qの平面を平面Qyとすると、平面Qyのx軸方向における長さQxが算出される。
 なお、物体Qの高さQzは、平面Qyのz軸方向における大きさの最大値とする。
 次に、ステップS34では、ステップS33において算出された物体Pの底辺Pxと物体Qの底辺Qxとを比較し、物体P上に物体Qがどのように位置しているかを検出する。
 具体的には、例えば、物体Pの上面から物体Qがはみ出していないかを、物体Pのx軸情報(Px)と物体Qのx軸情報(Qx)とを用いて検出する。
 次に、ステップS35では、搬送台30の上面に載置された積み荷31の状態を判定するために、まず、受光部12(撮像素子)に対する搬送台30として検出された物体Pの正対状態(角度θ1)を確認する。
 ここで、角度θ1は、図11(a)から図11(c)に示すように、受光部12の平面Sy、そのx軸方向における長さSxとすると、受光部12から見て搬送台30として検出された物体Pの正面Pyがどの位置(向き)にあるかを示す角度として算出される。
 具体的には、角度θ1は、受光部12と物体Pとの間の距離(y軸方向における距離)と、受光部12と物体Pとの正対関係とを用いて、図11(c)に示すように、物体Pの底辺Pxの延長線上に点T、Sxと平行でy座標=ypの線上に点Uを置くと、以下の関係式(1)によって算出される。
    PT・PU=|PT||PU|cosθ1 ・・・・・(1)(太字はベクトル)
 この関係式(1)により、受光部12に対する物体P(搬送台30)の角度θ1を算出することができる。
 次に、ステップS36では、物体P(搬送台30)の上面に物体Q(積み荷31)がどのように載っているかを検出するために、図12に示す角度θ2が算出される。
 具体的には、物体Pの正面Pyの底辺Pxの中心点Px/2、物体Qの平面Qyの底辺Qxの中心点Qx/2、それぞれ点P(x,y)、点Q(x,y)、点Pを通る物体Pの中心線、点Qを通る物体Qの中心線の交点を点Rとすると、物体P上における物体Qの積載状態を示す角度θ2は、以下の関係式(2)によって算出される。
    RP・RQ=|RP||RQ|cosθ2 ・・・・・(2)(太字はベクトル)
 この関係式(2)により、物体P(搬送台30)の上面に載置された物体Q(積み荷31)の角度θ2を算出することで、積み荷31が搬送台30上において、適正な範囲、向き、位置に載置されているかを判定することができる。
 この結果、例えば、搬送台30上の積み荷31の状態が搬送には適さないと判定されると、搬送を停止し、積み荷31の位置を修正する等の対応を採ることができる。
 <主な特徴1>
 本実施形態の搬送状態検出装置10は、積み荷31を載せた状態でフォークリフト20によって搬送される搬送台30を検出する装置であって、距離測定部14と、制御部13と、を備えている。距離測定部14は、照明部11から対象物に対して照射された光の反射量に応じて対象物までの距離を測定する。制御部13は、距離測定部14において測定された対象物までの距離に基づいて、対象物が搬送台30であるか否かを判定する。
 これにより、例えば、床面FLに置かれた対象物の側面に黒い絵柄等が記載されている場合でも、フォークリフト20によって搬送される搬送台30の特徴(例えば、フォークリフト20のアーム部24が挿入される穴30b等の受け部)の有無を、距離情報を用いて検出することができる。
 この結果、検出された物体が搬送30台であるか否かを正確に判定することができる。
 <主な特徴2>
 本実施形態の搬送状態検出装置10は、積み荷31を載せた状態でフォークリフト20によって搬送される搬送台30上の積み荷31の状態を検出する装置であって、距離測定部14と、制御部13とを備えている。距離測定部14は、照明部11から対象物に対して照射された光の反射量に応じて対象物までの距離情報を取得する。制御部13は、距離測定部14において取得された対象物までの距離情報に基づいて、搬送台30上における積み荷31の状態を判定する。
 これにより、例えば、搬送台30として検出された物体P上にある積み荷31(物体Q)の位置、向き、大きさ、偏り等の搬送台30上における積み荷31の状態を、距離情報を用いて容易に検出することができる。
 この結果、検出された搬送台30上における積み荷31の状態が搬送に適しているか否かを正確に判定することができる。
 [他の実施形態]
 以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
 (A)
 上記実施形態では、搬送台検出装置および搬送台検出方法として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、上述した搬送台検出方法をコンピュータに実行させるプログラムとして本発明を実現してもよい。
 このプログラムは、搬送台検出装置に搭載されたメモリ(記憶部)に保存されており、CPUがメモリに保存された搬送台検出プログラムを読み込んで、ハードウェアに各ステップを実行させる。より具体的には、CPUが搬送台検出プログラムを読み込んで、上述した距離情報取得ステップと、判定ステップと、を実行することで、上記と同様の効果を得ることができる。
 また、本発明は、搬送台検出プログラムを保存した記録媒体として実現されてもよい。
 (B)
 上記実施形態では、照明部11から対象物に対して照射される電磁波として、広義の光が用いられた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、照明装置から対象物に対して照射される光として、赤外光IRを用いた場合には、図13に示すように、暗室内における搬送作業を行う場合でも、搬送状態検出装置10によって、赤外光IRの反射を検出して対象物までの距離情報を得ることで、搬送台30の検出および搬送台30上における積み荷31の状態の検出が可能になるという、上記と同様の効果を得ることができる。
 (C)
 上記実施形態では、搬送状態検出装置(搬送台検出装置)10が、フォークリフト(搬送装置)20に搭載された例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、搬送装置とは別に設置される装置として、搬送台検出装置が用いられてもよい。
 あるいは、フォークリフト等の搬送装置のコントローラ内に、本発明の搬送状態検出装置(搬送台検出装置)が搭載された構成であってもよい。
 (D)
 上記実施形態では、検出された物体Pが搬送台30であるか否かの判定を、受け部(穴30b)の有無によって行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、受け部の有無に加えて、受け部の大きさや位置等の他の要素を加えて、搬送台であるか否かを判定してもよい。
 (E)
 上記実施形態では、対象物に対して照射された光L1の反射量を検出して、距離情報を算出する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、装置外に設けられたTOFセンサにおいて算出された対象物までの距離情報を取得して、搬送台の検出、搬送状態の検出を実施してもよい。
 (F)
 上記実施形態では、照明部11から対象物に対して照射される電磁波として、広義の光が用いられる例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、照射装置から対象物に対して照射される電磁波としては、広義の光(紫外光・可視光)以外に、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等の他の電磁波であってもよい。
 (G)
 上記実施形態では、搬送状態検出装置(搬送台検出装置)10が搭載される搬送装置として、フォークリフト20が用いられる例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、本発明の搬送台検出装置は、AGV(Automatic Guided Vehicle)、AMR(Autonomous Mobile Robot)等の搬送用ロボット等、他の搬送装置に搭載されていてもよい。
 また、本発明の搬送台検出装置は、自走式の搬送装置に搭載される以外に、非走行型の搬送装置に搭載されていてもよい。
 (H)
 上記実施形態では、図3に示すように、搬送状態検出装置10内に、搬送台30の特徴(サイズ、形状等)に関する情報が登録された搬送台テーブル(図5参照)を含む搬送台データベース15aを保存する記憶部15が設けられている例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、搬送台データベースを保存する記憶部として、外部に設けられたサーバ等の他の記憶手段が用いられてもよい。
 (I)
 上記実施形態では、本発明の搬送状態検出装置10によって樹脂製の搬送台30が検出される例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、搬送台の材質としては、樹脂に限らず、木製であってもよいし、金属製、ゴム製等、樹脂以外の材料によって製造されていてもよい。
 (J)
 上記実施形態では、フォークリフト20等の搬送装置の前方に向かって照射された光の反射を検出して、搬送装置の前方における搬送台30等の検出を行う例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
 例えば、搬送装置の後方や側方に向かって照射された光の反射を検出して、搬送装置の後方や側方における搬送台等の検出を行う構成であってもよい。
 本発明の搬送台検出装置は、検出された物体が搬送台であるか否かを正確に判定することができるという効果を奏することから、搬送台の検出を行う各種装置に対して広く適用可能である。
10   搬送状態検出装置(搬送台検出装置、搬送状態検出装置)
11   照明部(照明装置)
12   受光部
13   制御部(判定部)
14   距離測定部(距離情報取得部)
15   記憶部
15a  搬送台データベース(搬送台DB)
16   搬送台情報取得部
17   積載物状態取得部
17a  位置情報取得部
17b  姿勢情報取得部
17c  形状情報取得部
17d  高さ情報取得部
20   フォークリフト(搬送装置)
21   車体部
22a,22b 車輪
23   駆動部
24   アーム部
25   搬送制御部
25a  走行制御部
25b  アーム制御部
26   走行アクチュエータ
27   制動装置
28   昇降アクチュエータ
30   搬送台
30a  本体部
30b  穴(受け部)
31   積み荷
130  搬送台
130a 本体部
130b 凹部(受け部)
FL   床面
IR   赤外線(電磁波)
L1   光(電磁波)
 P   物体
 Q   物体
 

Claims (20)

  1.  積み荷を載せた状態で搬送装置によって搬送される搬送台上の前記積み荷の状態を検出する搬送状態検出装置であって、
     照明装置から対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得部と、
     前記距離情報取得部において取得された前記対象物までの距離情報に基づいて、前記搬送台上における前記積み荷の状態を判定する判定部と、
    を備えている搬送状態検出装置。
  2.  前記判定部は、前記距離情報を用いて、前記搬送台上における前記積み荷の位置、向き、大きさ、偏りを判定する、
    請求項1に記載の搬送状態検出装置。
  3.  前記判定部は、前記距離情報に基づいて、前記対象物が前記搬送台であるか否かを判定する、
    請求項1または2に記載の搬送状態検出装置。
  4.  前記搬送台は、前記搬送装置のアーム部材が挿入される受け部を有しており、
     前記判定部は、前記距離情報を用いて、前記受け部の有無、大きさ、位置の少なくとも1つに応じて、前記対象物が前記搬送台であるか否かを判定する、
    請求項3に記載の搬送状態検出装置。
  5.  前記判定部は、前記距離情報を用いて、前記受け部の有無、大きさ、位置の少なくとも1つに応じて、前記対象物が、単独の前記搬送台、前記積み荷が載せられた前記搬送台、前記搬送台以外の物体のいずれかであることを判定する、
    請求項4に記載の搬送状態検出装置。
  6.  前記判定部は、前記距離情報を用いて、前記対象物が置かれた床面を検出し、前記床面から高さを有する物体を、前記搬送台の候補として検出する、
    請求項3から5のいずれか1項に記載の搬送状態検出装置。
  7.  前記判定部は、前記搬送台の候補として検出された物体について、前記距離情報に基づいて、その外形を設定する、
    請求項6に記載の搬送状態検出装置。
  8.  前記判定部は、前記距離情報または前記対象物を撮像した画像の明暗情報に基づいて得られる2値化処理されたデータを用いて、前記外形を設定する、
    請求項7に記載の搬送状態検出装置。
  9.  前記判定部において前記2値化処理されたデータが得られない場合には、前記照明装置から照射された前記電磁波を照射・受光する露光時間が調整される、
    請求項7または8に記載の搬送状態検出装置。
  10.  前記判定部は、設定された前記外形に基づいて、前記搬送装置のアーム部材が挿入される受け部が形成されていると想定される検出面を設定する、
    請求項7から9のいずれか1項に記載の搬送状態検出装置。
  11.  前記判定部は、前記検出面における前記受け部の奥行情報に応じて、前記搬送台であるか否かを判定する、
    請求項10に記載の搬送状態検出装置。
  12.  前記判定部は、前記搬送台と想定される前記物体の前記検出面と同じ軸座標上に存在する前記積み荷の略水平方向における位置を検出して、前記積み荷の状態を判定する、
    請求項10または11に記載の搬送状態検出装置。
  13.  前記判定部は、前記搬送台と想定される前記物体の前記検出面に対する前記積み荷の向きを検出して、前記積み荷の状態を判定する、
    請求項10から12のいずれか1項に記載の搬送状態検出装置。
  14.  前記判定部において前記搬送台上であると判定された前記搬送台の検出データを保存する記憶部を、さらに備えている、
    請求項3から13のいずれか1項に記載の搬送状態検出装置。
  15.  前記電磁波は、赤外線である、
    請求項1から14のいずれか1項に記載の搬送状態検出装置。
  16.  請求項1から15のいずれか1項に記載の搬送状態検出装置と、
     前記対象物に対して前記電磁波を照射する照明装置と、
     前記照明装置から照射された前記電磁波の反射量を検出する受光部と、
    を備えた搬送状態検出システム。
  17.  前記照明装置からの前記電磁波の照射量および前記受光部が前記電磁波の反射量を検出するための露光時間を調整する制御部を、さらに備えている、
    請求項16に記載の搬送状態検出システム。
  18.  前記制御部は、前記対象物までの距離に応じて、前記露光時間を調整する、
    請求項17に記載の搬送状態検出システム。
  19.  積み荷を載せた状態で搬送装置によって搬送される搬送台上の積み荷の状態を検出する搬送状態検出方法であって、
     照明装置から対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得ステップと、
     前記距離情報取得ステップにおいて取得された前記対象物までの距離情報に基づいて、前記搬送台上における前記積み荷の状態を判定する判定ステップと、
    を備えている搬送状態検出方法。
  20.  積み荷を載せた状態で搬送装置によって搬送される搬送台上の積み荷の状態を検出する搬送状態検出方プログラムであって、
     照明装置から対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得ステップと、
     前記距離情報取得ステップにおいて取得された前記対象物までの距離情報に基づいて、前記搬送台上における前記積み荷の状態を判定する判定ステップと、
    を備えている搬送状態検出方法をコンピュータに実行させる搬送状態検出プログラム。
PCT/JP2022/001314 2021-03-12 2022-01-17 搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム WO2022190629A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021040685A JP2022140049A (ja) 2021-03-12 2021-03-12 搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム
JP2021-040685 2021-03-12

Publications (1)

Publication Number Publication Date
WO2022190629A1 true WO2022190629A1 (ja) 2022-09-15

Family

ID=83226533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001314 WO2022190629A1 (ja) 2021-03-12 2022-01-17 搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム

Country Status (2)

Country Link
JP (1) JP2022140049A (ja)
WO (1) WO2022190629A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11278799A (ja) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法
JP2016210586A (ja) * 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11278799A (ja) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法
JP2016210586A (ja) * 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト

Also Published As

Publication number Publication date
JP2022140049A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
US10315697B2 (en) Vehicle comprising a manoeuvring system
WO2016181733A1 (ja) フォークリフト
US11643312B2 (en) Vehicle-mounted device, cargo handling machine, control circuit, control method, and program thereof
CN103030063B (zh) 用于确定集装箱吊架用的目标位置的方法和集装箱吊架
US11667503B2 (en) Vehicle-mounted device, cargo handling machine, control circuit, control method, and program thereof
US20080011554A1 (en) Movable sensor device on the loading means of a forklift
JPH11278799A (ja) 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法
US11970378B2 (en) Warehouse inspection system
CN111771175B (zh) 搬运车的行驶控制系统、以及搬运车的行驶控制方法
US20200024114A1 (en) Vehicle-mounted device, cargo handling machine, control circuit, control method, and program thereof
KR20200012298A (ko) 오토 포지셔닝 기술을 이용한 무인이송대차
WO2022190634A1 (ja) 搬送可否判定装置、測距装置、搬送ユニット、搬送可否判定方法、搬送可否判定プログラム
JP5397839B2 (ja) 搬送車両システム
WO2022190629A1 (ja) 搬送状態検出装置およびこれを備えた搬送状態検出システム、搬送状態検出方法および搬送状態検出プログラム
WO2022190628A1 (ja) 搬送台検出装置およびこれを備えた搬送台検出システム、搬送台検出方法、搬送台検出プログラム
WO2022190635A1 (ja) 搬送ユニット、搬送方法、搬送プログラム
CN117361331A (zh) 一种基于激光雷达的集装箱吊具位姿检测方法
US20230135740A1 (en) Distance measurement device, and mounting orientation sensing method and mounting orientation sensing program for same
US20240230903A9 (en) Transport possibility determination device, distance measurement device, transport unit, transport possibility determination method, and transport possibility determination program
SE542067C2 (en) System and method for determining a first steering angle of a forklift truck
JP4073203B2 (ja) 荷役岸壁用コンテナクレーンの搬送台車停止位置誘導装置
WO2020059842A1 (ja) コンテナクレーン装置及びコンテナクレーン装置の制御方法
JP2020189719A (ja) 自動運転フォークリフト用荷置き位置検出装置
KR102409821B1 (ko) 파렛트 홀 검출 장치 및 검출 방법
US20230140321A1 (en) Distance measurement system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766597

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22766597

Country of ref document: EP

Kind code of ref document: A1