WO2022172746A1 - 衣類処理装置、衣類処理方法、検出方法、及び学習装置 - Google Patents

衣類処理装置、衣類処理方法、検出方法、及び学習装置 Download PDF

Info

Publication number
WO2022172746A1
WO2022172746A1 PCT/JP2022/002703 JP2022002703W WO2022172746A1 WO 2022172746 A1 WO2022172746 A1 WO 2022172746A1 JP 2022002703 W JP2022002703 W JP 2022002703W WO 2022172746 A1 WO2022172746 A1 WO 2022172746A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
unit
captured image
processed
gripping
Prior art date
Application number
PCT/JP2022/002703
Other languages
English (en)
French (fr)
Inventor
祥平 谷口
星秀 春山
耕一 反田
明宏 細川
勇二 一丸
昌弘 中村
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021018814A external-priority patent/JP2022121856A/ja
Priority claimed from JP2021018815A external-priority patent/JP2022121857A/ja
Priority claimed from JP2021021905A external-priority patent/JP2022124249A/ja
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2022172746A1 publication Critical patent/WO2022172746A1/ja

Links

Images

Classifications

    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F67/00Details of ironing machines provided for in groups D06F61/00, D06F63/00, or D06F65/00
    • D06F67/04Arrangements for feeding or spreading the linen
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06FLAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F89/00Apparatus for folding textile articles with or without stapling
    • DTEXTILES; PAPER
    • D06TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06HMARKING, INSPECTING, SEAMING OR SEVERING TEXTILE MATERIALS
    • D06H3/00Inspecting textile materials
    • D06H3/08Inspecting textile materials by photo-electric or television means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present disclosure relates to a clothing processing apparatus, a clothing processing method, a detection method, and a learning device for processing objects such as clothing.
  • Patent Literature 1 discloses a processing apparatus including a plurality of holding devices capable of holding an arbitrary point of an object to be processed and a mounting device capable of placing the object to be processed. This processing device recognizes a workpiece having at least two longitudinal portions based on an image captured in a state in which at least two of the plurality of holding devices hold two end points of the workpiece; are deployed using a holding device and a mounting device.
  • Patent Literature 1 In the folding device of Patent Literature 1, it is necessary to hold the object to be processed many times in order to hold the two end points of the object to be processed. In order to improve the efficiency of processing an object to be processed, there is a need for a technique for shortening the time required to hold and deploy the object to be processed.
  • the present disclosure improves techniques for processing objects such as clothing.
  • the clothing processing apparatus includes a captured image acquisition unit that acquires a captured image of an object to be processed, and a gripping position that detects a gripping position for gripping the object in the unfolded state in the captured image of the object to be processed.
  • a detection unit and a coordinate calculation unit that calculates three-dimensional coordinates of the gripping position detected by the gripping position detection unit.
  • the gripping position detection unit receives a captured image of the processing object and detects the gripping position in the captured image of the processing object using a part detector that outputs information indicating the position of a specific part of the processing object. .
  • the method for processing clothes includes the steps of acquiring a captured image of an object to be processed; and calculating the three-dimensional coordinates of the gripped position.
  • a captured image of the processing object is input, and a region detector that outputs information indicating the position of a specific region of the processing target is used to detect the gripping position in the captured image of the processing target. including detecting.
  • a learning device includes a captured image acquisition unit that acquires a captured image of a processing target, and a region position information acquisition unit that acquires information indicating the position of a specific region of the processing target in the captured image of the processing target. , information indicating the position of a specific part of the processing target by inputting the captured image of the processing target using the captured image acquired by the captured image acquiring unit and the information acquired by the part position information acquiring unit as learning data; and a learning unit that learns a part detector that outputs
  • FIG. 1 is a perspective view of the clothes processing apparatus according to Embodiment 1 Schematic front configuration diagram of the clothes processing apparatus according to Embodiment 1 Schematic side view of the clothes processing apparatus according to Embodiment 1
  • FIG. 2 is a perspective view of the holding portion of the clothes processing apparatus according to Embodiment 1;
  • Schematic vertical cross-sectional view of the Yaw portion of the holding portion of the clothes processing apparatus according to Embodiment 1 Schematic vertical cross-sectional view of the hand portion of the holding portion of the clothes processing apparatus according to Embodiment 1
  • Schematic front view and schematic side view of the work plate device of the clothes processing apparatus according to Embodiment 1 Schematic side view of the imaging device of the clothing processing apparatus according to Embodiment 1
  • Schematic side view of the support part of the clothes processing apparatus according to Embodiment 1 Schematic diagram showing the operation of the storage device of the clothes processing apparatus according to Embodiment 1
  • FIG. Functional configuration diagram of the control device according to the first embodiment Diagrams showing examples of gripping positions of various types of objects to be processed
  • Functional configuration diagram of the learning device according to the first embodiment 4 is a flow chart showing the procedure of the clothes processing method according to the first embodiment
  • Functional configuration diagram of a control device according to Embodiment 2 The figure which shows the example of the captured image of a receiving part The figure which shows the example of the captured image of a receiving part The figure which shows the example of the captured image of a receiving part
  • FIG. 10 is a diagram showing an example of gripping positions when the object to be processed accommodated in the receiving unit has a doughnut-like shape
  • FIG. 10 is a diagram showing an example of gripping positions when the object to be processed accommodated in the receiving unit has a doughnut-like shape
  • FIG. 10 is a diagram showing an example of gripping positions when the object to be processed accommodated in the receiving unit has a doughnut-like shape
  • FIG. 10 is a diagram showing an example of gripping positions when the object to be processed accommodated in the receiving unit has a doughnut-like shape
  • FIG. 10 is a diagram showing an example of gripping positions when the object to be processed accommodated in the receiving unit has a doughnut-like shape
  • FIG. 10 is a diagram showing an example of gripping positions when the object to be processed accommodated in the receiving unit has a doughnut-like shape
  • FIG. Functional configuration diagram of a control device according to Embodiment 3 Functional configuration diagram of a learning device according to Embodiment 3 Diagram showing examples of development end shapes of various types of processing objects A diagram showing an example of a captured image of a long-sleeve shirt A diagram showing an example of a captured image of a long-sleeve shirt A diagram showing an example of a captured image of trousers A diagram showing an example of a captured image of trousers A diagram showing an example of a captured image of a captured image of a long-sleeved shirt Enlarged view of the twisted sleeve part of a long-sleeved shirt Enlarged view of the twisted sleeve part of a long-sleeved shirt Enlarged view of the twisted s
  • the inventors discovered such a problem, and came to constitute the subject of the present disclosure in order to solve the problem.
  • the clothing processing apparatus uses a region detector that inputs a captured image of a processing target and outputs information indicating the position of a specific region of the processing target to determine a gripping position in the processing target in the captured image. Then, the three-dimensional coordinates of the detected grip position are calculated. As a result, the gripping position is directly gripped based on the three-dimensional coordinates, and by eliminating unnecessary gripping movements, the processing efficiency can be improved because it is possible to shorten the time required to hold the object to be processed in an unfolded state. can be improved.
  • FIG. 1 Regarding the three directions of the clothes processing apparatus 1, when viewed from the front, the left and right width directions are indicated by arrows in the X direction (left direction X1 and right direction X2), and the front and rear depth directions are indicated by arrows in the Y direction (forward direction). Y1, backward direction Y2), and vertical height directions are described as Z directions (upward direction Z1, downward direction Z2) indicated by arrows.
  • the clothes processing apparatus 1 is a device that holds, recognizes, folds, and stores an object T to be processed, which is a deformable thin object.
  • the clothes processing apparatus 1 includes a housing 100, and a receiving section 200, a holding device 300, a work plate device 400, an imaging device 500, and a housing 100. It includes a support section 600 , a storage device 700 and a control device 900 .
  • the receiving unit 200 and the processing space above it are configured in one housing, and the storage device 700 and the like are configured in another housing, and the respective housings are connected to be integrated. good too.
  • the object to be processed T is a deformable thin object represented by, for example, cloth such as clothing and towels, film, paper, and sheet.
  • the shape may be rectangular like towels, or substantially rectangular like T-shirts, running shirts, long-sleeved shirts, and trousers.
  • the housing 100 includes a frame 110 forming a rectangular parallelepiped frame and an outer shell 120 provided on a predetermined surface of the rectangular parallelepiped.
  • the frame 110 and the shell 120 may be integrally formed.
  • the receiving part 200 is a receiving part that receives the processing target T from the outside. As shown in FIGS. 1 to 3, the receiving portion 200 has a box-like shape with an open top. The receiving part 200 is arranged at the bottom of the clothes processing apparatus 1 so as to be easily accessible by the user, and is arranged so that it can be taken in and out in the depth direction (Y direction). For example, the receiving portion 200 is provided with a guide rail 210 at its lower portion and is pulled forward in the Y1 direction. The object to be processed T is put into the pulled-out receiving section 200 from above. The receiving part 200 is returned in the rearward direction Y2 along the guide rails 210 and housed in the housing 100 when the processing object T is put therein.
  • the receiving section 200 may be configured so that the processing objects T are gathered near the center of the bottom surface of the receiving section 200 .
  • the bottom surface of the receiving part 200 may be formed so as to be inclined toward the center. Due to this inclination, the processing objects T are collected near the center of the bottom surface after being placed in the receiving section 200 . This makes it easier to identify the position of the processing object T that has been put into the receiving unit 200, which can contribute to shortening the processing time.
  • the holding device 300 is a device that holds a processing object T in order to process the processing object T. As shown in FIG.
  • the holding device 300 includes a holding section 310 that holds the processing target T, and a moving mechanism that moves the holding section 310 in three directions: the width direction (X direction), the depth direction (Y direction), and the height direction (Z direction). 320 and.
  • a plurality of holding devices 300 are provided, and hold and lift the processing object T placed in the receiving part 200, and cooperate with the work plate device 400 on which the processing object T can be placed temporarily to perform processing. Unfolding and folding are performed while changing the grip of the object T.
  • the clothes processing apparatus 1 includes two holding devices 300A and 300B as holding devices 300, as shown in FIGS.
  • the holding device 300A has one holding portion 310A as the holding portion 310, and a moving mechanism 320A for moving the holding portion 310A in three directions.
  • the holding device 300B has two holding portions 310B and 311B as the holding portion 310, and a moving mechanism 320B for moving the holding portions 310B and 311B in three directions.
  • the holding parts 310A, 310B, and 311B are relatively movable in the width direction, the depth direction, and the height direction with respect to a work plate 410 of a work plate device 400, which will be described later.
  • the moving mechanisms 320A, 320B can be positioned so that the retainers 310A, 310B, 311B are aligned along the edge of the working plate 410. FIG.
  • the holding devices 300A and 300B are communicably connected to a control device 900, which will be described later, by wire or wirelessly.
  • the controller 900 controls the operations of the holding units 310A, 310B, 311B and the moving mechanisms 320A, 320B.
  • Moving mechanisms 320A and 320B used in holding devices 300A and 300B will be described using the configuration of moving mechanism 320A of holding device 300A.
  • the configuration of the moving mechanism 320B of the holding device 300B is basically the same as that of the holding device 300A except for the number of holding portions. Therefore, for the holding device 300B, the reference numeral "A" in the reference numeral for the holding device 300A is replaced with "B", and the description thereof is omitted.
  • the movement mechanism 320A includes a width direction movement mechanism 330A, a height direction movement mechanism 340A, and a depth direction movement mechanism 350A.
  • the width direction moving mechanism 330A moves the holding portion 310A in the width direction (X direction).
  • the width direction moving mechanism 330A has a width direction driving portion 332A that serves as a driving force source for moving the holding portion 310A, and an X guide 334A that serves as a movement guide.
  • the width direction driving section 332A is a motor capable of forward and reverse rotation and has a pinion gear.
  • the X guide 334A is a rack gear and a rail to which the power of the width direction driving portion 332A is transmitted via a pinion gear, and is arranged such that its longitudinal direction is along the width direction.
  • the width direction driving portion 332A slides along the X guide 334A when energized.
  • the holding portion 310A fixed to the width direction driving portion 332A also moves in the width direction.
  • the height direction moving mechanism 340A moves the holding portion 310A in the height direction (Z direction) together with the width direction moving mechanism 330A.
  • the height direction moving mechanism 340A is provided at both the left and right ends of the width direction moving mechanism 330A, and includes a height direction driving portion 342A as a driving force source for moving the width direction moving mechanism 330A, and a Z direction driving portion 342A as a movement guide. It has a guide 344A.
  • the height direction drive unit 342A is a motor capable of forward and reverse rotation, and has a pinion gear.
  • the height direction driving portion 342A has a transmission shaft that is fixed to the left end of the frame of the width direction movement mechanism 330A and transmits driving force to the right end.
  • the two left and right Z guides 344A are rack gears and rails to which the power of the height direction driving part 342A is transmitted via pinion gears and transmission shafts, and are arranged so that their longitudinal direction is along the height direction. .
  • the two left and right Z guides 344A are connected at their upper ends and configured in an arch shape. By energizing the height direction driving portion 342A, the width direction moving mechanism 330A moves along the height direction.
  • the depth direction moving mechanism 350A moves the entire holding device 300A (height direction moving mechanism 340A, width direction moving mechanism 330A and holding section 310A) in the depth direction (Y direction).
  • the depth direction moving mechanism 350A has a depth direction driving section 352A that serves as a power source for moving the height direction moving mechanism 340A, and a plurality of Y guides 354 that serve as movement guides.
  • the depth direction driving section 352A is a motor capable of forward and reverse rotation and has a pinion gear.
  • the depth direction driving portion 352A is fixed to the left end of the connecting portion on the top of the frame of the height direction moving mechanism 340A, and has a transmission shaft that transmits driving force to the right end.
  • the Y guides 354 are rack gears and rails to which the power of the depth direction driving portion 352A is transmitted, and are arranged at the upper and lower ends of the left and right Z guides 344A so that the longitudinal direction of the Y guides 354 extends along the depth direction.
  • the power of the depth direction driving part 352A is transmitted to the upper Y guide 354 through the transmission shaft, as described above.
  • Driving force is transmitted to the lower Y guide 354 from a transmission shaft provided in the upper portion via a gear belt provided in the frame body of the height direction movement mechanism 340A.
  • the arch-shaped height direction moving mechanism 340A moves parallel along the depth direction, and the width direction moving mechanism 330A and the holding portion 310A also move.
  • the two holding devices 300A and 300B share four vertical and horizontal Y guides 354 in order to move in the depth direction (Y direction). Therefore, the holding device 300A is always located behind the holding device 300B.
  • the two holding portions 310B and 311B share the X guide 334B in order to move in the width direction (X direction). Therefore, the holding portion 310B is always located on the left side of the holding portion 311B.
  • the movement mechanism 320 has been described above.
  • the moving mechanism is of a rack and pinion type, and the motor of the drive unit is also moved, but the present invention is not limited to this.
  • a configuration in which a ball screw is used and the motor does not move may be used.
  • FIG. 310 The configuration of the holding portion 310 will be described with reference to FIGS. 4 to 6.
  • FIG. 310 three holding portions 310, holding portions 310A, 310B, and 311B, are provided.
  • the configurations of the three holding portions 310 are basically the same, although there are some symmetrical portions.
  • the holding portion 310 is configured by connecting four units, a Yaw portion 312, a Pitch portion 313, a Roll portion 314, and a Hand portion 315, respectively via a rotating shaft 316 (FIG. 5). be done.
  • the Yaw portion 312 incorporates a driving portion that rotates the Hand portion 315 about the Yaw axis in the depth direction (Y direction).
  • the driving section is composed of a motor 312a and a plurality of reduction gears 312b including a worm gear, and finally drives a rotating shaft 316 to rotate.
  • the rotation shaft 316 is provided with a position detection sensor 316a.
  • the rotary shaft 316 has a tubular shape, and power lines and signal lines can be wired to each unit through a hole in the center.
  • a control board 312 c is provided inside the Yaw portion 312 .
  • a torque limiter 312d may be incorporated in one of the reduction gears 312b.
  • the secondary side may If the motor 312a is driven in a state in which it does not move any more (locked state), the motor 312a may be damaged. Therefore, the torque limiter 312d idles when a predetermined load or more is applied, so that damage to the motor 312a can be prevented even in such an abnormal state.
  • a torque sensor 312e may be provided on any one of the shafts constituting the driving section.
  • the torque sensor 312e detects torque when the shaft rotates.
  • the force applied to the processing object T held by the hand unit 315 can be estimated, and an excessive load applied to the processing object T can be prevented, and the processing object T can be held with an appropriate load. It is possible to control such as stopping in the event of an abnormality.
  • the holding part 310A may have a force sensor 317.
  • the force sensor 317 detects force and moment applied to the processing object T held by the hand portion 315 . As a result, it is possible to prevent an excessive load from being applied to the processing object T, and control can be performed so that the processing object T is held with an appropriate load.
  • the configuration position is not limited to this.
  • it can be configured between the Roll section 314 and the Hand section 315 .
  • the control board and wiring of the force sensor 317 can be configured outside the holding section 310A, so that the holding section 310A can be made smaller.
  • the force sensor 317 is provided at a position closer to the hand portion 315, the force and moment applied to the processing object T can be detected with high accuracy.
  • the basic configurations of the Pitch section 313 and Roll section 314 are the same as the Yaw section 312 .
  • the pitch section 313 rotates the hand section 315 about the pitch axis in the width direction (X direction).
  • the Roll section 314 rotates the Hand section 315 around the Roll axis (Z direction).
  • the holding part 310A since the holding part 310A has the rotation axes of the Yaw axis, the Pitch axis, and the Roll axis, it can freely hold the processing object T and can hold the processing object T in another way.
  • the processing object T can be freely handled by further holding it with the parts 310B and 311B.
  • each unit may incorporate a control board 312c for motor driving and sensor value detection of each unit of the holding section 310A.
  • processing can be performed with short wiring from the built-in control board 312c, and the number of wires passing through the holes of the rotating shaft 316 connecting each unit is reduced, and the size of the rotating shaft 316 is suppressed.
  • maintenance parts can be reduced in size.
  • the hand section 315 is composed of two fingers 315a facing each other for holding the object T to be processed, and a driving section for opening and closing the fingers 315a.
  • the drive unit is composed of a motor 315b, a plurality of reduction gears 315c, and a rotating gear 315d, and finally rotates and opens and closes the two fingers 315a that are opposed to each other.
  • the finger 315a has a leaf spring 315e at its root portion fixed to the last rotating gear 315d.
  • a leaf spring 315e at its root portion fixed to the last rotating gear 315d.
  • a driving portion of the hand portion 315 may be provided with a torque limiter 315f in the same manner as the driving portion of the holding portion 310A described above. As a result, it is possible to prevent an excessive load from being applied to the processing object T held by the fingers 315a, and to hold the processing object T with an appropriate load.
  • the work plate device 400 is a device that rotates and moves a work plate 410 on which the processing object T is placed during recognition processing and folding processing. As shown in FIG. 7 , the work plate device 400 is composed of a work plate 410 , a rotation drive section 420 , a travel drive section 430 and a transmission section 440 .
  • the working plate device 400 is a rotating mechanism capable of infinitely rotating the working plate 410 as it is.
  • the work plate 410 is fixed to a rotary shaft 421 provided in the rotary drive section 420 .
  • the rotation drive unit 420 rotates the work plate 410 around a rotation shaft 421 in the width direction (X direction).
  • the traveling drive unit 430 moves the working plate 410 in the height direction.
  • the transmission part 440 is provided with a gear, a belt, and the like for transmitting the driving force of the motor.
  • the work plate device 400 has a mechanism for movement similar to the movement mechanism 320 described above.
  • the work plate device 400 also serves as the Z guide 344A of the moving mechanism 320A provided with the holding portion 310B, and is combined with the traveling drive portion 430. As shown in FIG. Therefore, the work plate device 400 is configured to always move up and down below the holding portion 310A in the Z guide 344A.
  • the working plate 410 is, as shown in FIG. 2, a substantially rectangular plate with chamfered corners on the working plane. Since the working plate 410 is formed so as to have no corners, it is possible to suppress the problem that the processing target T such as cloth is caught.
  • the working plate 410 is fixed to the rotating shaft 421 so that the longitudinal direction of the working plate 410 , that is, the two edges of the long sides are parallel to the rotating shaft 421 . This facilitates processing with both edges.
  • the work plate 410 may be arranged eccentrically with respect to the rotating shaft 421 . In this case, the distance from the rotating shaft 421 to the edge of the working plate 410 is different for each edge.
  • the processing object T by bringing the processing object T into contact with the edge on the side with the longer distance from the rotating shaft 421, if the same width and the same inclination angle (for example, 60 degrees)
  • the object to be processed T can be lifted higher by using the upper arm, and the limited space in the clothes processing apparatus 1 can be used more effectively.
  • side end plates 411 may be provided on the left and right end surfaces of the work plate 410 instead of chamfering the corners of the work plate 410 .
  • the side end plates 411 are flat plates provided at both longitudinal ends of the working plate 410 at right angles to the working plate 410 and having chamfered corners.
  • the side end plate 411 covers the corners of the work plate 410 and is also rounded, thereby eliminating the corners of the work plate 410 and further suppressing the problem of the object T being caught.
  • the workability can be improved by lengthening the straight portion of the long side edge of the work plate 410, and the problem caused by the processing object T jumping out to the transmission portion 440 of the work plate 410 can be suppressed.
  • one of the two-sided work planes may be formed as a slippery surface and the other as a non-slip surface.
  • one of the two long side edges may be formed as a slippery edge and the other may be formed as a non-slippery edge.
  • the object to be treated T can be freely treated by retracting the projection when the object is to be slid and protruding to lock the object T when the object is not to be slid.
  • non-slip protrusions may be configured to move left and right on the work plane or edge of the work plate 410 . Thereby, the processing target T on the work plate 410 can be moved. Moreover, the protrusions configured separately on the left and right sides may be configured to move outward. Thereby, the wrinkled processing object T on the work plate 410 can be spread out.
  • the rotation drive unit 420 and the travel drive unit 430 combine drive mechanisms such as a motor, a reduction gear, a torque limiter, and a torque sensor, like the drive unit of the holding unit 310 described above, to perform appropriate rotation. It is configured to be a speed or travel speed.
  • the rotation motor 422 of the rotation drive unit 420 is provided on the right side.
  • the rotation shaft 421 of the rotation drive unit 420 has a hollow structure, and the transmission shaft 431 of the traveling drive unit 430 is provided through the inner space.
  • a rotating shaft 421 that rotates the work plate 410 is provided with a rotation position detection sensor (not shown) and configured to be infinitely rotatable in any direction.
  • the origin setting configuration for initializing the orientation of the work plate 410 is not particularly limited, for example, as shown in FIG.
  • a protrusion may be provided at a predetermined position on the circumference of the portion, and the rotation of the working plate 410 may be stopped by the protrusion at a predetermined timing by means of a structure such as a link.
  • the drive mechanism of the travel drive unit 430 is provided on the left and right. Although not shown in detail, the travel drive unit 430 transmits driving force from a travel motor 432 provided on the left side to the right side through a belt and a transmission shaft 431 provided in the transmission unit 440, drive the gear. Then, the work plate 410 is moved up and down so as not to cause left-right imbalance.
  • a travel position detection sensor is provided in the travel drive unit 430 .
  • the work plate device 400 is controlled to operate in conjunction with the movement of the holding device 300.
  • the control device 900 rotates the processing object T, which is held by the holding device 300 and hangs down in the downward direction Z2, in a predetermined direction. Place it across the surface or edge. Then, one end of the object T to be treated is pulled and displaced in the horizontal direction so that the object T to be treated is separated from the bottom surface of the clothes processing apparatus 1 and its length in the vertical direction is reduced.
  • a large object to be processed T can be lifted by the holding device 300 and held in cooperation with the work plate device 400 so that the bottom end of the object to be processed T is separated from the bottom surface of the receiving part 200.
  • the height dimension of the clothes processing apparatus 1 can be reduced compared to the case where the object T to be processed is lifted in the upward direction Z1 only by the holding device 300.
  • the work plate device 400 can set folding lines on the processing object T by hooking the processing object T on the edge of the work plate 410 during the folding process of folding the processing object T.
  • the imaging device 500 is a device that detects end points and the like of the processing object T when the processing object T is received and then subjected to gripping processing, recognition processing, and folding processing. As shown in FIGS. 2 and 3, the imaging device 500 includes a first imaging section 510, a second imaging section 520, and a third imaging section 530.
  • the first imaging unit 510 and the second imaging unit 520 are, for example, digital still cameras, and are used for end point detection, discrimination of the type of the object T to be processed, and the like.
  • the third imaging unit 530 uses, for example, a stereo camera, and is used to measure the distance in the depth direction and the width of the processing object T for edge point detection. Both imaging units are provided on the frame on the front inner wall side, and the orientation of the lens is the rearward direction Y2.
  • a wide-angle lens may be used as the digital still camera lens of the first imaging unit 510 and the second imaging unit 520 .
  • a larger processing object T can be imaged by one imaging unit.
  • a varifocal lens may be used as the lens to image the processing object T at an arbitrary magnification.
  • a wide field of view can be secured at a low magnification, and high-magnification magnified photography is possible as necessary.
  • the material of the processing object T can be detected. If the material of the object T to be processed can be grasped, gripping, folding, or the like suitable for the material becomes possible.
  • FIG. 8 is a diagram showing an example of an imaging range of each imaging unit.
  • the first imaging unit 510 is provided slightly above the receiving unit 200, and the orientation of the lens is the oblique downward direction Z2. Specifically, the first imaging unit 510 can image the range from A11 to A12. That is, the first imaging unit 510 images the processing object T received in the receiving unit 200 .
  • the image data of the object to be processed T is used, for example, to obtain image data for picking up the first garment, or to check the progress of folding.
  • the second imaging unit 520 is provided near the center of the front and has an imaging range of A21 to A22. As shown in FIG. 8, the imaging range of A21 to A22 is wide, and for example, an object to be processed T in the range from the ceiling to the bottom inside the clothing processing apparatus 1 is imaged.
  • the second imaging unit 520 for example, images the processing object T when it is unfolded and when it is folded.
  • the captured image data is used to capture an image for collating the processing object T in determining the type, part, or the like of the processing object T.
  • the third imaging section 530 is provided between the first imaging section 510 and the second imaging section 520, and has an imaging range of A31 to A32.
  • the third imaging unit 530 is, for example, a stereo camera having two lenses arranged side by side, and is used to measure the distance of the object T to be processed in the depth direction.
  • the image data captured by the third imaging unit 530 may be used to acquire distance measurement data such as the lowest point during folding and the clothing width.
  • the working plate 410 is included in the imaging range A31 to A32 of the third imaging section 530 .
  • the third imaging unit 530 may acquire distance data using an infrared camera instead of the stereo camera.
  • the imaging device 500 is not movable in order to stabilize the coordinate system, but is not limited to this.
  • some imaging units may be provided in the holding unit 310 and may be configured to be able to image the processing object T by appropriately changing the position and angle.
  • the control device 900 can change the position of the imaging unit as necessary, acquire necessary image data, and recognize the object T to be processed in more detail.
  • any one of the first imaging unit 510, the second imaging unit 520, and the third imaging unit 530 is provided in order to prevent dust, etc., floating in the housing of the clothing processing apparatus 1 from adhering to the lens and stacking.
  • the lenses of a plurality of cameras may be directed obliquely downward Z2, or a lens cover may be provided in front of the lenses.
  • a removal device may be provided to remove dust adhering to these lenses or lens covers.
  • the removing device is not particularly limited, but may be, for example, a wiper for wiping the lens or lens cover with cloth or a brush, or a blower for blowing off dust.
  • a wiper for wiping the lens or lens cover with cloth or a brush, or a blower for blowing off dust.
  • the processing target T may be configured to touch the lens or the lens cover at least once. As a result, the adhesion of dust to the lens or lens cover is always suppressed, and a clear image can be obtained.
  • the support part 600 is a wall surface that supports the object T to be processed, such as holding down the folding line and smoothing wrinkles of the object T when the object T is folded.
  • the support part 600 includes at least one of a front side support part 610 provided in front of the working plate 410 and a rear side support part 620 provided in the rear thereof.
  • the work plate 410 holds the suspended processing object T held by the holding portion 310 and folds it along the folding line. It is sandwiched and held with the front side support portion 610 .
  • the holding part 310 moves so as to hang the processing object T on the working plate 410 .
  • the processing target T can be folded around the edge of the work plate 410, so that it can be folded appropriately along the folding lines.
  • the support part 600 determines the size of the object T that can be processed by the clothes processing apparatus 1, and the front side support part 610 and the back side support part 620 of the corresponding size are positioned at a predetermined height. may be provided.
  • the support section 600 may be configured to have a mechanism for moving in the height direction so that it can move up and down. Thereby, the length of the object to be processed T or the position of the folding line can be handled more flexibly.
  • the storage device 700 receives and stores the processed processing object T from the holding device 300 .
  • the storage device 700 includes a plurality of storage units 710 and a transport unit 720 that receives and stores an object T to be processed in each storage unit 710, as shown in FIGS. 1, 10A and 10B.
  • the storage device 700 is arranged adjacent to the processing space in which the receiving part 200 and the holding device 300 are stored. .
  • the storage device 700 includes five storage sections 710 arranged in the height direction.
  • each container 710 may be provided with a transporter 720 that transports the object T to be processed.
  • the transportation unit 720 includes a moving device (not shown), and is stored near the wall in the processing space during processing such as folding of the processing target T. As shown in FIG.
  • the transport section 720 includes three clamping plates 721a, 721b, and 721c (collectively referred to as the clamping plates 721), rails 722a and 722b, connecting portions 723a and 723b, A rotating shaft 724 and a hinge 725 are provided.
  • the rail 722a allows the clamping plates 721a and 721b to slide integrally in the horizontal direction.
  • the rail 722b allows the clamping plate 721c to slide horizontally.
  • the connecting portion 723a connects the clamping plate 721a and the clamping plate 721b.
  • the connecting portion 723b connects the clamping plates 721a and 721b and the clamping plate 721c.
  • the rotating shaft 724 is provided parallel to the longitudinal direction of the clamping plate 721 .
  • a hinge 725 rotates the three clamping plates 721 around a rotation axis 724 .
  • FIG. 10A shows a procedure for sandwiching the folded processing object T between the sandwiching plates 721.
  • the clamping plate 721 is rotated to stand vertically.
  • the object to be processed T is held by the holding part 310 and inserted between the holding plate 721b and the holding plate 721c from directly above the holding plate 721 .
  • the clamping plate 721b is provided rotatably around the connecting portion 723a. Accordingly, the gap between the clamping plates 721b and 721c can be increased or decreased according to the thickness of the processing target T, so that processing targets T of various thicknesses can be appropriately held.
  • the clamping plate 721b is urged in a direction to close the gap with the clamping plate 721c.
  • the object to be processed T can be held between the holding plate 721b and the holding plate 721c with an appropriate force.
  • the sandwiching plate 721 is rotated to return to the horizontal position.
  • FIG. 10B shows a procedure for storing the processing object T sandwiched between the sandwiching plates 721 in the storage section 710.
  • FIG. Each storage unit 710 has a door 711 that is supported at the top on the side surface on the processing space side and closed by gravity.
  • the transporter 720 pushes open the door 711 of the predetermined storage section 710 and enters the storage section 710 according to the sorting instruction from the control device 900 .
  • the transporting part 720 opens the front side of the lower clamping plate 721 to slide down the processing object T, places the processing target T on the bottom of the storage unit 710, and closes the clamping plate 721. exit.
  • a plurality of storage portions 710 move up and down individually, and a space is provided above a predetermined storage portion 710 so that the carrying portion 720 can enter.
  • the clamping plate 721 may be configured to open and close downward in a double-door configuration.
  • a structure in which the clamping plate 721c is vigorously pulled out in the horizontal direction may be used.
  • the connection by the connecting portion 723 may be released, the clamping plates 721 a and 721 b may remain inside the storage portion 710 , and only the clamping plate 721 c may be pulled out of the storage portion 710 .
  • the clamping surface of the clamping plate 721b prevents the processing target T from slipping
  • the clamping surface of the clamping plate 721c prevents the processing target T from slipping.
  • the T may be configured to be slippery. With these configurations, a plurality of processing objects T can be neatly stacked in one storage unit 710 .
  • a predetermined storage section 710 may be drawn into the processing space, and the holding section 310 may be configured to store the processing target T directly.
  • the control device 900 supervises the control of each section in the clothing processing apparatus 1 .
  • the control device 900 is mainly composed of a ROM, a RAM, an arithmetic unit, and an input/output interface.
  • the ROM stores an operating system, a control program for controlling each part of the clothes processing apparatus 1, and data necessary for executing the control program.
  • the arithmetic unit is provided for loading the control program stored in the ROM into the RAM or executing it directly from the ROM. In other words, the control device 900 can control the clothes processing device 1 by the execution of the control program by the arithmetic device.
  • the data processed by the arithmetic device is transmitted to each part (holding device 300, work plate device 400, etc.) of the clothes processing apparatus 1 via the input/output interface.
  • Data required for processing by the arithmetic unit is received from each unit (such as the imaging device 500) of the clothing processing apparatus 1 via an input/output interface.
  • the control device 900 includes a holding device control section 901, a work plate device control section 902, an imaging device control section 903, a storage device control section 904, a type recognition section 910, a part detection section 911, a length detection section 911, and a length detection section. It includes a unit 912 , a deviation correction unit 913 , a singular event detection unit 914 , a first point detection unit 915 , a second point detection unit 916 and an end point detection unit 917 .
  • the holding device control section 901 controls the operation of the holding section 310 and the movement mechanisms 320 of the holding device 300 .
  • the holding device control unit 901 controls various motors in the holding unit 310 to adjust the orientation of the hand unit 315, move the opposing fingers 315a toward or away from each other, and grip the object T or hold it. Open up.
  • the holding device control section 901 controls the operation of the width direction moving mechanism 330 in the moving mechanism 320, so that the holding section 310 moves in the width direction (X direction).
  • the holding device control section 901 controls the operation of the height direction moving mechanism 340 in the moving mechanism 320, so that the holding section 310 moves in the height direction (Z direction).
  • the holding device control section 901 controls the operation of the depth direction moving mechanism 350 in the moving mechanism 320, so that the holding section 310 moves in the depth direction (Y direction).
  • the work plate device control section 902 controls the operations of the rotation drive section 420 and the travel drive section 430 in the work plate device 400 .
  • the work plate device control section 902 controls the operation of the rotation drive section 420 so that the work plate 410 rotates and maintains a predetermined angle.
  • the work plate device control section 902 controls the operation of the traveling drive section 430 to move the work plate 410 in the height direction (Z direction).
  • the imaging device control unit 903 controls operations of the first imaging unit 510 , the second imaging unit 520 , and the third imaging unit 530 in the imaging device 500 . That is, by controlling the first imaging unit 510, the second imaging unit 520, and the third imaging unit 530 by the imaging device control unit 903, digital images can be acquired at desired timing.
  • the acquired image data is stored in RAM or the like.
  • the storage device control section 904 controls the operation of the transport section 720 in the storage device 700 .
  • the type recognition unit 910 recognizes the type of the processing object T based on the image data obtained by the first imaging unit 510, the second imaging unit 520, and the third imaging unit 530 in the imaging device 500. To describe this type identification, the type recognition unit 910 preliminarily collects image data (learning image data) of various processing objects T such as T-shirts, running shirts, skirts, towels, handkerchiefs, films, paper, or sheets. ) using a predetermined machine learning algorithm. The type recognition unit 910 calculates the feature amount of the processing object T currently being processed, which is captured in the image data obtained by the second imaging unit 520 and the third imaging unit 530 .
  • the type recognition unit 910 uses a machine learning algorithm to calculate the probability that the processing target T corresponds to a certain type (for example, T-shirt, running shirt, long-sleeved shirt, pants, towel, etc.) for each calculated feature amount. Calculate the percentage for each type. After that, the one with the highest probability (that is, the highest percentage) is recognized as the type of the object T to be processed.
  • the folding method is determined in advance for each type of the processing object T, and the folding method for each type is accumulated as "folding information".
  • the part detection unit 911 detects characteristic parts such as the sleeves of the object T to be processed based on the image data obtained by the imaging device 500 .
  • the length detection unit 912 Based on the image data obtained by the imaging device 500, the length detection unit 912 detects the vertical length (for example, the length of a T-shirt) and the horizontal length (for example, the length of a T-shirt) of the object T to be processed. width).
  • the deviation correction unit 913 corrects the deviation of the processing object T while the processing object T is hung on the work plate 410 . For example, in a state where the processing object T is hung on the work plate 410, if the edge in the longitudinal direction (X direction) of the work plate 410 and the edge in the X direction of the processing object T are not substantially parallel, the misalignment occurs. is occurring. At this time, the deviation correction unit 913 performs deviation correction so that the edge of the work plate 410 in the longitudinal direction (X direction) and the edge of the object T in the X direction are substantially parallel to each other.
  • the peculiar event detection unit 914 detects an abnormal event that affects the folding method of the processing object T based on the image data obtained by the imaging device 500 .
  • the peculiar phenomena of the processing object T include the state in which the sleeves and hem are unintentionally folded or twisted, the state in which the processing object T is thicker than expected, the state in which a part protrudes during folding, the string Including the state in which ancillary things such as hanging down.
  • the first point detection section 915 detects an arbitrary point on the processing object T placed on the bottom surface of the receiving section 200 .
  • the first point detection unit 915 detects the highest position of the processing target T as the first point P1.
  • the second point detection unit 916 identifies arbitrary points other than the endpoints of the processing object T held by the holding unit 310 . For example, when two long-sleeved portions of the object to be processed T are specified, the second point detection section 916 may set an intermediate position between the long-sleeved portions as an arbitrary point.
  • the end point detection unit 917 detects the position of the lowest point (end point) in the height direction with respect to the processing object T held by the holding unit 310 . Specifically, using the image captured by the third imaging unit 530, the coordinates of the lowest point of the processing target T in the width direction and the depth direction are obtained in addition to the height direction.
  • FIG. 12 shows the functional configuration of the control device 900 according to the first embodiment.
  • FIG. 12 mainly shows, of the functional configuration of the control device 900 , the functional configuration for controlling the operation of gripping and deploying the processing target T by the holding section 310 .
  • the control device 900 includes a captured image acquisition section 930 , a gripping position detection section 931 , a coordinate calculation section 932 and a part detector 933 .
  • the captured image acquisition unit 930 acquires the captured image of the processing object T captured by the second imaging unit 520 or the third imaging unit 530 .
  • the captured image acquisition section 930 may acquire a captured image of the processing target T held and suspended by the holding section 310 .
  • the gripping position detection unit 931 detects a gripping position for gripping the processing target T in the unfolded state in the captured image of the processing target T.
  • the gripping position detection unit 931 inputs a captured image of the processing target T, and uses a part detector 933 that outputs information indicating the position of a specific part of the processing target T to detect the Detect grip position.
  • the coordinate calculation unit 932 calculates the three-dimensional coordinates of the grip position detected by the grip position detection unit 931.
  • the coordinate calculation unit 932 may calculate the three-dimensional coordinates of the detected gripping position using distance information in the depth direction included in the captured image of the processing target T captured by the third imaging unit 530 .
  • FIG. 13 shows examples of gripping positions of various types of objects T to be processed.
  • the gripping positions H1 and H2 for deploying the processing object T are determined in advance according to the type of the processing object T.
  • the long-sleeve shirt T1, the short-sleeve shirt T2, and the sleeveless shirt T3 are all held at two points near both ends of the waist-side ends, and then turned upside down and unfolded.
  • the trousers T4, the shorts T5, and the trunks T6 are all grasped at two points near both ends on the waist side and unfolded.
  • the towel T7 is unfolded by gripping at two points near both ends of the short side.
  • All of the processing objects T other than the trunks T6 are gripped at two points near both ends of the short side portion of the periphery of the processing object T in the unfolded state.
  • a long processing object T such as a long-sleeved shirt T1, trousers T4, and a towel T7 can be unfolded and held.
  • FIG. 14 shows an example of a captured image of the processing object T.
  • FIG. 14 a long-sleeve shirt T1 is gripped and suspended by the holding portion 310.
  • the gripping position detection unit 931 may detect the position of the sleeve first, and then detect the gripping position H1 based on the detected position of the sleeve and the overall shape. As a result, it is possible to detect the grip position after detecting the characteristic part, so that the detection accuracy can be improved.
  • the site detector 933 may detect sleeves, collars, pockets, buttons, belt loops, and the like.
  • a machine-learned part detector 933 may be used to detect characteristic parts.
  • the part detector 933 may input a captured image of the processing target T and output information indicating the position of a specific part of the processing target T.
  • FIG. When the part detector 933 is used, the part detector 933 may directly detect the grasping position. That is, the part detector 933 may receive the captured image of the processing target T and output information indicating the gripping position of the processing target T.
  • FIG. 15 shows the functional configuration of the learning device 10 according to the first embodiment.
  • the learning device 10 includes a captured image acquisition section 11 , a part position information acquisition section 12 , a learning section 13 and a part detector 14 .
  • the learning device 10 learns the part detector 14 by machine learning.
  • the captured image acquisition unit 11 acquires a captured image of the processing object T captured by the imaging device.
  • the captured image acquisition unit 11 may acquire the captured image of the processing object T captured by the second imaging unit 520 or the third imaging unit 530 .
  • captured images captured under the same conditions as when detecting the parts of the processing target T can be used as learning data, so the accuracy of the part detector 14 can be improved.
  • the part position information acquisition unit 12 acquires information indicating the position of a specific part of the processing target T in the captured image of the processing target T. This information is used as teacher data in supervised learning.
  • the learning unit 13 learns the part detector 14 by supervised learning using the captured image acquired by the captured image acquiring unit 11 and the information acquired by the part position information acquiring unit 12 as learning data.
  • the site detector 14 may be a neural network or the like that inputs a captured image of the processing target T to an input layer and outputs information indicating the position of a specific site of the processing target T from an output layer. In this case, when the data of the captured image acquired by the captured image acquiring unit 11 is input to the input layer of the neural network, the learning unit 13 uses the information acquired by the part position information acquiring unit 12 as the output of the neural network.
  • the site detector 14 may be trained by adjusting the intermediate layers of the neural network as output from the layers.
  • the part detector 14 learned by the learning unit 13 is provided to the clothing processing apparatus 1 .
  • the clothes processing apparatus 1 may acquire information indicating the correct position and additionally learn the part detector 933 .
  • the clothing processing apparatus 1 may acquire the part detector 14 additionally learned by the learning device 10 at a predetermined timing and update the part detector 933 .
  • FIG. 16 is a flow chart showing the procedure of the clothes processing method according to the first embodiment.
  • the holding device control unit 901 causes the holding unit 310A to hold an arbitrary position of the processing object T, and suspends the processing object T (S10).
  • the captured image acquisition unit 930 acquires the captured image of the processing object T captured by the second imaging unit 520 or the third imaging unit 530 (S12).
  • the gripping position detection unit 931 detects the gripping position (H1 or H2) for gripping the processing target T in the unfolded state in the captured image of the processing target T (S14).
  • the coordinate calculator 932 calculates the three-dimensional coordinates of the grip position (H1 or H2) detected by the grip position detector 931 (S16).
  • the holding device control unit 901 moves the holding unit 310B or 311B to the coordinates calculated by the coordinate calculation unit 932, and grips the processing target T at the gripping position (H1 or H2) (S18).
  • the gripping positions (H1 and H2) are gripped by the holding part 310 (Y in S20)
  • the development is completed and the next process is performed.
  • the process returns to S10 to detect the next gripping position. In this case, the next gripping position is detected in the captured image of the processing target T that is gripped and suspended at the previously detected gripping position.
  • the clothing processing apparatus 1 includes the captured image acquisition unit 930 that acquires the captured image of the processing target T, and the processing target T in the captured image of the processing target T.
  • a gripping position detection unit 931 that detects a gripping position for gripping in a state
  • a coordinate calculation unit 932 that calculates the three-dimensional coordinates of the gripping position detected by the gripping position detection unit 931.
  • the gripping position detection unit 931 inputs a captured image of the processing target T, and uses a site detector 933 that outputs information indicating the position of a specific site of the processing target T to determine the gripping position (H1 or H2) is detected.
  • the gripping positions (H1 and H2) are directly gripped based on the three-dimensional coordinates, and by eliminating unnecessary gripping motions, it is possible to shorten the time required to grip and deploy the object T to be processed. , the processing efficiency of the processing object T can be improved.
  • the gripping position detection unit 931 detects a predetermined gripping position according to the type of the processing target T. Thereby, the processing object T can be expanded appropriately.
  • the gripping positions are near both ends of the short sides of the periphery of the processing object T when the processing object T is unfolded. As a result, even a long processing object T can be properly developed.
  • the gripping positions of the trousers T4, the shorts T5, and the trunks T6 are near both ends of the waist of the object to be processed. Thereby, the processing object T can be expanded appropriately.
  • the clothing processing apparatus 1 causes the holding section 310 for gripping the processing target T to grip the processing target T at two or more gripping positions detected by the gripping position detection section 931. By doing so, the object T to be processed is developed. Thereby, the processing object T can be expanded appropriately.
  • the part detector 933 is trained using a captured image of the processing object T and information indicating the position of a specific part of the processing object T in the captured image. be. Thereby, the detection accuracy of the gripping position of the processing target T can be improved.
  • the method for processing clothes includes the step of acquiring the captured image of the processing target T, and the gripping position for gripping the processing target T in the unfolded state in the captured image of the processing target T. and calculating the three-dimensional coordinates of the gripped position detected. It includes a step of detecting the gripping position in the captured image of the processing object T using a part detector 933 that outputs information indicating the position of the part.
  • the learning device 10 includes a captured image acquisition unit 11 that acquires a captured image of the processing target T, and a position of a specific part of the processing target T in the captured image of the processing target T.
  • a picked-up image of the processing target T is obtained by using the part position information acquisition unit 12 for acquiring information, the captured image acquired by the picked-up image acquisition unit 11, and the information acquired by the part position information acquisition unit 12 as learning data.
  • a learning unit 13 that learns a part detector 14 that inputs and outputs information indicating the position of a specific part of the object T to be processed. Thereby, the detection accuracy of the part detector 14 can be improved.
  • Embodiment 2 (Background technology of Embodiment 2) 2. Description of the Related Art
  • a processing apparatus that unfolds and folds an object to be processed such as clothing.
  • International Publication No. WO 2016/194703 discloses a folding device including a plurality of holding devices capable of holding arbitrary points of an object to be processed and a mounting device capable of placing the object to be processed.
  • This folding device contains an object to be processed, and includes a storage section that can move up and down within a housing. During folding, etc., the storage part is moved to the top or bottom of the housing so as not to interfere with the movement of the holding device, the mounting plate, etc., and when the object to be processed is taken out, the storage part is moved, for example, by the user. It can be moved to the height of the upper body or waist, making it easier to take out the object to be processed.
  • Embodiment 2 (Problems to be solved by Embodiment 2) In the above-mentioned folding device, it is necessary to automatically select the processing object to be processed next from among the processing objects accommodated in the processing object receiving section, and to grip and pick up the selected processing object. There is The present inventors have improved the techniques described in the above documents, and arrived at the technique of the present disclosure.
  • Embodiment 2 of the present disclosure improves technology for processing objects such as clothing.
  • the laundry processing apparatus includes a captured image acquisition unit that acquires captured images of a receiving unit for receiving a processing target inside the clothing processing device that processes the processing target, and a receiving unit captured at a plurality of different points in time. a detection unit that detects the position or movement of an object existing inside the receiving unit by comparing captured images of the units.
  • the method for processing clothes comprises the steps of: acquiring captured images of a receiving unit for receiving an object to be processed inside a clothing processing apparatus for processing the object; and detecting the position or movement of objects present inside the receptacle by comparing the images.
  • a clothing processing apparatus includes a receiving section for receiving and storing an object to be processed, below a processing space for folding an object to be processed such as clothes. It is necessary for the clothes processing apparatus to automatically select the processing object to be processed next from among the processing objects accommodated in the receiving section, and to grip and pick up the selected processing object. In addition, it is necessary to quickly detect any intrusion of living organisms into the receiving section.
  • the inventors discovered such a problem, and came to constitute the subject of the present disclosure in order to solve the problem.
  • the clothing processing apparatus detects the position or movement of an object existing inside the receiving section by comparing captured images of the receiving section captured at a plurality of different points in time. As a result, the position of the object to be processed stored in the receiving part can be specified, and the object to be processed can be properly gripped and picked up. In addition, it is possible to quickly detect the intrusion of living things into the receiving section and take appropriate measures.
  • FIG. 17 shows the functional configuration of the control device 900 according to the second embodiment.
  • FIG. 17 mainly shows the functional configuration for controlling the operation of gripping and picking up the processing object T accommodated in the receiving section 200 by the holding device 300, among the functional configuration of the control device 900. .
  • the control device 900 includes a captured image acquisition section 921 , a detection section 922 , an imaging region extraction section 925 , a gripping target determination section 926 , a gripping position determination section 927 , and a storage number determination section 928 .
  • the detector 922 includes a position detector 923 and a moving object detector 924 .
  • the captured image acquisition section 921 acquires the captured image of the receiving section 200 captured by the first imaging section 510 .
  • the detection unit 922 compares the captured images of the receiving unit 200 captured at a plurality of different points in time to determine the position of the object to be processed T existing inside the receiving unit 200 or the moving object other than the object to be processed T. Detect motion.
  • the position detection unit 923 detects a first image that is a captured image of the receiving unit 200 before the processing target T is received, and a second image that is a captured image of the receiving unit 200 after the processing target T is received. , the position of the processing object T accommodated in the receiving unit 200 is detected.
  • the first image may be captured in advance and held in the control device 900 before shipment of the clothing processing apparatus 1 or when the use of the apparatus is started.
  • FIG. 18A, 18B, and 18C show examples of captured images of the receiving unit 200.
  • FIG. FIG. 18A is an example of the first image.
  • FIG. 18B is an example of the second image.
  • FIG. 18C is a difference image between the first image and the second image.
  • the imaging region extraction unit 925 extracts imaging regions in which each of the plurality of processing objects T is captured in the difference image.
  • the imaging region extracting unit 925 captures an image of each processing target T based on pixel values such as color and luminance of each pixel of the second image or the difference image, and values such as saturation that can be calculated from the pixel values. Regions may be extracted.
  • the imaging area extracting unit 925 may extract the imaging area based on the pattern of the processing object T, or extract the imaging area based on the texture, fiber, surface processing, etc. of the processing object T. good too.
  • the imaging region extraction unit 925 may detect the contour of the imaging region of each processing object T using a contour detection technique or the like.
  • the imaging region extracting unit 925 may extract the area in which each of the plurality of processing objects T is captured in the second image.
  • FIG. 19 shows an example of the imaging area of the processing object T.
  • the difference image is divided into a plurality of imaging regions of the processing target T.
  • FIG. 19 shows an example of the imaging area of the processing object T.
  • the stored number determination unit 928 determines the number of processing objects T stored in the receiving unit 200 .
  • the contained number determination unit 928 may determine whether the number of processing objects T contained in the receiving unit 200 is one or plural based on the color information of the difference image or the second image. Based on the imaging area extracted by the imaging area extraction unit 925, the storage number determination unit 928 determines whether the number of processing objects T stored in the reception unit 200 is one or multiple. good.
  • the gripping target determination unit 926 determines the processing target T to be gripped by the holding unit 310 based on the position of the processing target T detected by the position detection unit 923 .
  • the gripping target determination unit 926 may determine the topmost processing target T as the gripping target.
  • the gripping target determination unit 926 may determine a processing target T whose imaging area is larger than that of another processing target T as a gripping target. In the example shown in FIG. 19, the processing object T corresponding to the largest imaging area S may be determined as the gripping object.
  • the gripping object determination unit 926 determines the uppermost processing object T based on the height information of each pixel of the second image or the difference image. You may Thereby, the processing target T can be properly gripped and picked up one by one.
  • the gripping target determination unit 926 may determine, as the gripping target, the processing target T, which is a curved line in which the entire outline of the imaging region continues smoothly.
  • the gripping target determination unit 926 may determine, as the gripping target, the processing target T whose entire outline of the imaging region is differentiable. As a result, the processing objects T that are not covered by other processing objects T can be preferentially grasped, so that the processing objects T can be properly grasped and picked up one by one.
  • the gripping object determining unit 926 may omit the determination of the gripping object. good.
  • the gripping position determination unit 927 determines the position of the processing object T to be gripped by the holding unit 310 based on the position of the processing object T detected by the position detection unit 923 .
  • the gripping position determination section 927 is an example of the first point detection section 915 .
  • the gripping position determination unit 927 may determine the vicinity of the center of the imaging region of the processing target T to be gripped as the gripping position. For example, the gripping position determination unit 927 may determine the vicinity of the center of gravity of the imaging region as the gripping position. Thereby, when gripping the processing target T to be gripped, the possibility of gripping the processing target T other than the gripping target can be reduced. Moreover, even if the position of the holding part 310 deviates to some extent, the object to be processed T to be gripped can be reliably gripped.
  • FIG. 20 shows an example of gripping positions of the object T to be processed.
  • the gripped position determination unit 927 may determine the vicinity of the midpoint of the maximum line segment in a predetermined direction in the imaging region of the processing target T to be gripped as the gripped position.
  • the vicinity of the midpoint Mx of the line segment Lx that is the maximum in the X direction may be determined as the gripping position, or the vicinity of the midpoint My of the line segment Ly that is the maximum in the Y direction may be determined as the gripping position.
  • the predetermined direction may be any direction.
  • the predetermined direction may be a fixed direction, or may be changed according to the size and shape of the imaging area.
  • the gripping position determination unit 927 may determine the vicinity of the intersection of the maximum line segments in two different directions in the imaging area of the processing target T to be gripped as the gripping position. For example, in FIG. 20, the vicinity of the intersection point C of the line segment Lx that is the largest in the X direction and the line segment Ly that is the largest in the Y direction may be determined as the gripping position.
  • the predetermined direction may be any direction.
  • the predetermined direction may be a fixed direction, or may be changed according to the size and shape of the imaging area.
  • 21A, 21B, 21C, 21D, and 21E show examples of gripping positions when the processing object T accommodated in the receiving section 200 has a donut shape.
  • 21A and 21C show an example in which the midpoint Mx of the line segment Lx that is the maximum in the X direction or the midpoint My of the line segment Ly that is the maximum in the Y direction is set as the gripping position.
  • 21B and 21D show an example in which the grip position is the intersection point C of the line segment Lx that is the largest in the X direction and the line segment Ly that is the largest in the Y direction.
  • the processing object T can be gripped at the gripping position.
  • FIG. 21E shows an example in which the center of gravity O of the imaging region is set as the grasping position. Since the processing target T does not exist at the position of the center of gravity O, the processing target T cannot be gripped in this example.
  • the gripping position determination unit 927 may determine the gripping position by another method.
  • the gripping position determination unit 927 determines that the determined gripping position is in the vicinity of the outline when there is an imaging area of another processing target T within a predetermined distance range centering on the determined gripping position.
  • the gripping position determination unit 927 may repeat determination of the gripping position until a gripping position other than the contour portion is determined. Thereby, when gripping the processing target T to be gripped, the possibility of gripping the processing target T other than the gripping target can be reduced.
  • the object to be processed T to be gripped can be reliably gripped.
  • the accommodation number determination unit 928 determines that the number of processing objects T accommodated in the receiving unit 200 is one, processing objects T other than the gripping target may be gripped together. Since there is no need to consider the nature, the gripped position determination unit 927 may determine the vicinity of the outline as the gripped position.
  • the gripping position determination unit 927 uses a gripping position determination algorithm machine-learned using an image including an imaging region of the processing target T and information indicating the position to be gripped to determine the target processing target to be gripped.
  • the gripping position may be determined from an image including the T imaging region.
  • the gripping position determination algorithm may be an algorithm that inputs the difference image or the second image and outputs the gripping position.
  • a learning device (not shown) uses an image including an imaging region of the processing target T and information indicating the gripping position of the processing target T in the image as teacher data, and learns a gripping position determination algorithm by supervised learning. may be provided to the clothes processing apparatus 1.
  • a pattern for detecting the height of the processing object T may be drawn on the inner surface of the receiving unit 200 .
  • the pattern may be, for example, a handle, pattern, mark, figure, symbol, or the like.
  • the position detection unit 923 may detect the height of the processing target T based on the pattern included in the second image.
  • the position detection unit 923 holds the correspondence relationship between the pattern on the inner surface of the receiving unit 200 and its height, and detects the height of the boundary between the pattern shown in the second image and the pattern not shown. You may Thereby, the accuracy of gripping the processing object T by the holding part 310 can be improved. It is also possible to detect dents, distortions, flaws, and the like on the inner surface of the receiving portion 200 based on changes in the patterns and the like included in the second image.
  • the holding device control unit 901 controls the holding unit 310 to grip the gripping target processing object T at the gripping position.
  • processing such as unfolding and folding of the processing object T is executed. If the gripping fails, the same processing target T may be gripped again, or another processing target T may be set as the gripping target.
  • the gripping target determination unit 926 may divide the inside of the receiving unit 200 into a plurality of search areas, and switch the search area for searching for the processing target T to be gripped by the holding unit 310 . After finishing the processing of the processing object T determined to be the gripping target in a certain search area, the gripping target determination unit 926 may search for the gripping target in another search area. As a result, the plurality of processing objects T accommodated in the receiving section 200 can be uniformly processed. Even if the gripping of the processing target T determined as the gripping target in a certain search area fails, the gripping target determination unit 926 may search for the gripping target in another search area. As a result, processing can be performed starting from the processing object T that is easy to grip, so processing efficiency can be improved.
  • a moving object detection unit 924 detects a moving object other than an object to be processed.
  • the moving object detection unit 924 may detect the presence or absence of a moving object by comparing captured images inside the receiving unit 200 captured at a plurality of different points in time.
  • the first imaging section 510 may capture the inside of the receiving section 200 at relatively short intervals, for example, at intervals of several seconds to several tens of seconds. As a result, it is possible to quickly detect a moving object that has entered the inside of the receiving unit 200 and take measures such as stopping the movement of the holding unit 310 or turning off the power of the laundry processing apparatus 1. The safety of the processing device 1 can be improved.
  • FIG. 22 is a flow chart showing the procedure of the clothes processing method according to the second embodiment.
  • the first imaging section 510 captures an image of the inside of the receiving section 200 (S110).
  • the captured image acquisition unit 921 acquires a captured image of the interior of the receiving unit 200 captured by the first imaging unit 510 (S112).
  • the position detection unit 923 detects a first image, which is a captured image of the receiving unit 200 before the processing object T is received, and a second image, which is a captured image of the receiving unit 200 after the processing object T is received.
  • a difference image is calculated (S114).
  • the imaging region extraction unit 925 extracts imaging regions in which each of the plurality of processing objects T is captured in the difference image (S116).
  • the stored number determination unit 928 determines the number of processing objects T stored in the receiving unit 200 (S118).
  • the gripping target determination unit 926 determines the processing target T to be gripped by the holding unit 310 based on the position of the processing target T detected by the position detection unit 923 (S120).
  • the gripping position determination unit 927 determines the position at which the gripping target processing object T is gripped by the holding unit 310 (S122).
  • the holding device control unit 901 controls the holding unit 310 to hold the processing object T to be gripped at the gripping position (S124).
  • the clothes processing apparatus 1 executes processing such as unfolding and folding of the processing target T gripped by the holding section 310 (S126).
  • the gripping target determination unit 926 switches the search area for determining the gripping target (S130), returns to S110, and performs the next processing. Processing of the processing object T is started.
  • the clothing processing apparatus 1 obtains a captured image of the receiving unit 200 for receiving the processing target T inside the clothing processing apparatus 1 for processing the processing target T.
  • An acquisition unit 921 and a detection unit 922 that detects the position or movement of an object existing inside the reception unit 200 by comparing captured images of the reception unit 200 captured at a plurality of different points in time.
  • the processing object T accommodated in the receiving part 200 can be properly gripped and picked up.
  • the detection unit 922 captures the first image, which is the captured image of the receiving unit 200 before the processing target T is received, and the image capturing of the receiving unit 200 after the processing target T is received. It includes a position detection unit 923 that detects the position of the processing object T accommodated in the receiving unit 200 by comparing it with the second image, which is an image. Thereby, the processing object T accommodated in the receiving part 200 can be properly gripped and picked up.
  • the clothing processing apparatus 1 extracts an imaging area in which each of a plurality of objects to be processed is captured in the second image or the difference image between the first image and the second image.
  • a portion 925 is further provided. Thereby, the processing object T accommodated in the receiving part 200 can be properly gripped and picked up.
  • the clothing processing apparatus 1 selects the processing object T to be gripped by the holding unit 310 that grips the processing object T, based on the position of the processing object T detected by the position detection unit 923. It further includes a gripping object determination unit 926 for determination. Thereby, the processing object T accommodated in the receiving part 200 can be properly gripped and picked up.
  • the gripping target determination unit 926 determines the processing target T having a larger imaging area as a gripping target. Thereby, the uppermost processing object T can be properly gripped and picked up.
  • the gripping target determination unit 926 divides the inside of the receiving unit 200 into a plurality of search regions, and switches the search regions for searching for the processing target T to be gripped by the holding unit 310 .
  • the plurality of processing objects T accommodated in the receiving section 200 can be uniformly processed.
  • the clothing processing apparatus 1 determines the position at which the holding unit 310 that grips the processing target T grips the processing target T based on the position of the processing target T detected by the position detection unit 923.
  • a position determination unit 927 is further provided. Thereby, the processing object T accommodated in the receiving part 200 can be properly gripped and picked up.
  • the gripping position determination unit 927 determines that the gripping position is near the center of the imaging region of the processing target T that is the gripping target. Thereby, the processing target T can be properly gripped and picked up.
  • the gripping position determination unit 927 determines the gripping position to be near the midpoint of the maximum line segment in the predetermined direction in the imaging region of the processing target T to be gripped. Thereby, the processing target T can be properly gripped and picked up.
  • the gripping position determination unit 927 determines the gripping position to be near the intersection of the maximum line segments in two different directions in the imaging region of the processing target T to be gripped. Thereby, the processing target T can be properly gripped and picked up.
  • the gripping position determination unit 927 uses a gripping position determination algorithm machine-learned using an image including the imaging region of the processing target T and information indicating the position to be gripped. A gripping position is determined from an image including an imaging area of the processing target T to be gripped. Thereby, the processing target T can be properly gripped and picked up.
  • the gripping position determination unit 927 determines the gripping position again when the determined gripping position is near the contour of the imaging region. Therefore, when gripping the processing target T to be gripped, the possibility of gripping the processing target T other than the gripping target can be reduced.
  • the clothing processing apparatus 1 determines the number of processing objects T accommodated in the receiving section 200 based on the second image or the difference image between the first image and the second image. It further includes an accommodation number determination unit 928 for determining the capacity. Thereby, the efficiency of gripping the processing target T can be improved.
  • a pattern is drawn on the inner surface of the receiving unit 200, and the position detection unit 923 detects the height of the processing object T based on the pattern included in the second image.
  • the height of the processing object T can be detected with a simple configuration, so the manufacturing cost of the clothes processing apparatus 1 can be reduced.
  • the detection unit 922 includes a moving object detection unit 924 that detects a moving object other than the processing target T. As a result, it is possible to quickly detect a living thing or the like that has entered the receiving section 200 and to take appropriate measures.
  • the clothing processing method includes the step of obtaining a captured image of the receiving unit 200 for receiving the processing target T inside the clothing processing apparatus 1 for processing the processing target T, and detecting the position or movement of an object existing inside the receiving part 200 by comparing the captured images of the receiving part 200 captured at the time.
  • the processing object T accommodated in the receiving part 200 can be properly gripped and picked up.
  • Embodiment 3 (Background technology of Embodiment 3) A processing apparatus for unfolding and folding an object to be processed such as clothing has been proposed.
  • Japanese Unexamined Patent Application Publication No. 2020-054473 discloses a processing apparatus provided with a plurality of holding devices capable of holding an arbitrary point of an object to be processed and a mounting device capable of placing the object to be processed.
  • This processing device recognizes a workpiece having at least two longitudinal portions based on an image captured in a state in which at least two of the plurality of holding devices hold two end points of the workpiece; are deployed using a holding device and a mounting device.
  • Embodiment 3 folds the object to be processed according to a predetermined procedure, there are cases where the object to be processed is in an unexpected state. A technique for appropriately coping with such a peculiar event is required.
  • Embodiment 3 of the present disclosure improves technology for processing objects such as clothing.
  • the clothing processing apparatus includes a captured image acquisition unit that acquires a captured image of a processing target, and a predetermined folding method of the processing target based on the captured image of the processing target acquired by the captured image acquisition unit.
  • a singular event detection unit that detects a singular event that differs from the state or attribute of the processing target specified in the folding information, and if a singular event is detected by the singular event detection unit, a process corresponding to the singular event is executed. and a singular event processing unit.
  • the detection method includes the step of acquiring a captured image of the processing target, and the processing target defined in folding information that predetermines how to fold the processing target based on the acquired captured image of the processing target. detecting a singular event different from the state or attribute of the object.
  • a method for processing clothes according to the present disclosure includes steps of acquiring a captured image of an object to be processed; The method includes the steps of detecting a singular event different from the state or attribute of the object, and executing processing according to the singular event when the singular event is detected.
  • Embodiment 3 of the present disclosure it is possible to improve the technology for processing objects such as clothing.
  • a clothing processing apparatus processes an object to be processed according to folding information that predetermines how to fold the object according to the type of the object to be processed.
  • the object to be processed may be twisted, one part of the object to be processed may ride on another part, or the folded object to be processed may hang down when stored.
  • the object to be processed is thick enough to degrade the finished quality of the folded storage, or the object to be processed is attached with strings. In this way, there is a need for a technique for appropriately coping when a peculiar event occurs in which the state or attributes of the object to be processed are different from those expected.
  • a clothing processing apparatus detects a peculiar event based on a captured image of an object to be processed, and executes processing according to the peculiar event when the peculiar event is detected. As a result, even if a singular event occurs, the singular event can be quickly detected and appropriately dealt with. In addition, it is possible to improve the storage finish quality by excluding elements that deteriorate the storage finish quality.
  • a singular event may occur in which the state or attributes of the processing object T are different from those expected in the folding information. Details of techniques for detecting such a singular event and appropriately coping with the detected singular event will be described.
  • FIG. 23 shows the functional configuration of the control device 900 according to the third embodiment.
  • FIG. 23 mainly shows a functional configuration for detecting and coping with a peculiar event among the functional configurations of the control device 900 .
  • the control device 900 includes a captured image acquisition section 940 , a singular event detection section 941 , a singular event processing section 942 , and a singular event detector 943 .
  • the captured image acquisition unit 940 acquires the captured image of the processing object T captured by the second imaging unit 520 or the third imaging unit 530 .
  • the peculiar event detection unit 941 detects the state of the processing object T determined in the folding information that predetermines how to fold the processing object T based on the captured image of the processing object T acquired by the captured image acquiring unit 940. Or detect a singular event different from the attribute.
  • the peculiar event detection unit 941 may detect a peculiar event by using a peculiar event detector 943 that inputs a captured image of the processing object T and outputs information indicating the presence or absence or content of a peculiar event.
  • the peculiar event detection unit 941 may detect the peculiar event by performing image processing on the captured image of the object T to be processed.
  • the singular event processing unit 942 executes processing according to the singular event.
  • the peculiar event processing unit 942 may execute processing for resolving the peculiar event.
  • the peculiar event detection unit 941 may confirm whether or not the peculiar event has been resolved after the processing by the peculiar event processing unit 942 is completed.
  • the captured image acquisition unit 940 acquires the captured image of the processing object T captured after the processing by the peculiar event processing unit 942 is completed, and the peculiar event detection unit 941 acquires the captured image acquired by the captured image acquisition unit 940.
  • a peculiar event is detected based on the picked-up image of the object T to be processed. If no peculiar event is detected, processing of the processing object T is continued. If the peculiar event is detected again, the peculiar event processing unit 942 may re-execute the processing for eliminating the peculiar event. If there are multiple types of processing for resolving a singular event, the singular event processing unit 942 may execute processing different from the processing already executed.
  • the peculiar event processing unit 942 excludes the processing object T from the processing target and terminates the processing. good. In this case, the peculiar event processing section 942 may return the processing target T to the receiving section 200 or store it in the storage section 710 in a place where the processing target T that cannot be processed is stored.
  • FIG. 24 shows the functional configuration of the learning device 20 according to the third embodiment.
  • the learning device 20 includes a captured image acquiring section 21 , a singular event information acquiring section 22 , a learning section 23 and a singular event detector 24 .
  • the learning device 20 learns the singular event detector 24 by machine learning.
  • the captured image acquisition unit 21 acquires a captured image of the processing object T captured by the imaging device.
  • the captured image acquisition unit 21 acquires a captured image of the processing object T when the peculiar event occurs.
  • the captured image acquisition unit 21 may further acquire a captured image of the processing object T when no peculiar event has occurred.
  • the captured image acquisition unit 21 may acquire the captured image of the processing object T captured by the second imaging unit 520 or the third imaging unit 530 .
  • the peculiar event information acquisition unit 22 acquires information indicating the presence and content of a peculiar event in the captured image of the processing target T. This information is used as teacher data in supervised learning.
  • the learning unit 23 learns the peculiar event detector 24 by supervised learning using the captured image acquired by the captured image acquisition unit 21 and the information acquired by the peculiar event information acquisition unit 22 as learning data.
  • the peculiar event detector 24 may be a neural network or the like that inputs the captured image of the processing target T to the input layer and outputs information indicating the presence or absence or content of the peculiar event from the output layer. In this case, when the captured image data acquired by the captured image acquiring unit 21 is input to the input layer of the neural network, the learning unit 23 outputs the information acquired by the peculiar event information acquiring unit 22 to the neural network.
  • the singular event detector 24 may be trained by adjusting the intermediate layers of the neural network as output from the layers.
  • the singular event detector 24 learned by the learning unit 23 is provided to the clothing processing apparatus 1.
  • the clothing processing apparatus 1 acquires information indicating the correct presence or absence or content of a singular event, and additionally learns the singular event detector 943. good.
  • the clothes processing apparatus 1 may update the peculiar event detector 943 by acquiring the peculiar event detector 24 additionally learned by the learning device 20 at a predetermined timing.
  • FIG. 25 shows examples of the development end shapes of various types of processing objects T.
  • FIG. The expansion end shape of the processing object T is predetermined according to the type of the processing object T.
  • the long-sleeve shirt T1, the short-sleeve shirt T2, and the sleeveless shirt T3 are all turned upside down and finished unfolding in a state in which two points near both ends on the waist side are held by two holding parts 310.
  • the trousers T4, the shorts T5, and the trunks T6 all finish unfolding in a state in which the two holding portions 310 grip two points near both ends on the waist side.
  • the towel T7 finishes unfolding in a state in which two points near both ends of the short side are gripped by the two holding portions 310 .
  • FIGS. 26A and 26B show examples of captured images of the long-sleeve shirt T1.
  • FIG. 26A shows a normal state in which both sleeves are held by two holding portions 310 when the long-sleeved shirt T1 is unfolded.
  • FIG. 26B shows a state in which the torso part rides on the neck part when both sleeves of the long-sleeve shirt T1 are gripped by the two holding parts 310.
  • FIG. The peculiar event detector 941 detects the state shown in FIG. 26B as a peculiar event.
  • FIGS. 27A and 27B show examples of captured images of pants T4.
  • FIG. 27A shows a normal state in which both hemlines are held by two holding portions 310 when the trousers T4 are unfolded.
  • FIG. 27B shows a state in which the waist portion rides over the crotch portion when both hemlines of the trousers T4 are gripped by the two holding portions 310.
  • FIG. The peculiar event detector 941 detects the state shown in FIG. 27B as a peculiar event.
  • the peculiar event detector 941 uses the peculiar event detector 943 to detect a running-over state.
  • the peculiar event detector 943 detects the captured image of the processing object T in the run-on state as shown in FIGS. 26B and 27B, and the captured image of the processing object T in the normal state as shown in FIGS. and information indicating whether the processing object T shown in the captured image is in a run-on state or in a normal state as learning data, and may be learned by supervised learning.
  • the peculiar event processing unit 942 executes processing to eliminate the run-on state. For example, the peculiar event processing unit 942 may alternately move the two holding units 310 holding the processing object T up and down to shake the processing object T, thereby loosening the overridden portion. The peculiar event processing unit 942 may place the run-on part on the work plate 410, raise the work plate 410, and then rotate it to drop the run-on part. The peculiar event processing unit 942 cancels the run-on state by releasing the holding by one of the two or more holding units 310 holding the processing target T, and then removes the processing target by the holding unit 310. The object T may be held again.
  • the singular event processing unit 942 may arbitrarily combine or repeat the above operations. As a result, the processing object T can be neatly folded while holding the processing object T in the expanded end shape determined in the folding information, and the processing efficiency of the processing object T can be improved.
  • FIG. 28 shows an example of a captured image of the long-sleeve shirt T1.
  • FIG. 28 shows a state in which the sleeve portions are twisted when the body portion of the long-sleeved shirt T1 is placed on the work plate 410.
  • FIG. The peculiar event detector 941 detects the state shown in FIG. 28 as a peculiar event.
  • 29A, 29B, 29C, and 29D are enlarged views of the twisted sleeve portion of the long-sleeve shirt T1.
  • the left side of each figure is a captured image including depth information
  • the right side is a sketch of the sleeve portion.
  • the upper part (shoulder side) of the sleeve part is on the back left and the lower part (hand side) is on the front right side, so the sleeve part is twisted clockwise.
  • FIG. 29B the upper part of the sleeve is on the front left and the lower part is on the back right, so the sleeve is twisted clockwise.
  • FIG. 29A the upper part of the sleeve part is on the front left and the lower part is on the back right, so the sleeve is twisted clockwise.
  • the upper portion of the sleeve portion is on the right front and the lower portion is on the left rear, so the sleeve portion is twisted counterclockwise.
  • the upper portion of the sleeve portion is on the back right and the lower portion is on the front left side, so the sleeve portion is twisted counterclockwise.
  • the peculiar event detection unit 941 detects the presence or absence and direction of twist based on the shape and depth information of the processing target T in the captured image.
  • the peculiar event detector 941 may use the peculiar event detector 943 to detect the twisted state.
  • the peculiar event detector 943 detects the captured images of the processing object T in a twisted state as shown in FIGS. 28, 29A, 29B, 29C, and 29D, and and information indicating whether the processing object T shown in the captured image is in a twisted state or a normal state, and if it is twisted, the direction of twisting is used as learning data, and learning is performed by supervised learning. may have been
  • the peculiar event processing unit 942 twists the processing object T in the opposite direction to eliminate the twisted state.
  • the peculiar event processing unit 942 rotates the Roll part 314 of the holding unit 310 holding the processing target T in a direction opposite to the twisting direction of the processing target T, thereby changing the twisted state to the untwisted state. You can restore the state.
  • the peculiar event processing unit 942 holds the twisted portion of the processing object T by a holding unit 310 different from the holding unit 310 holding the processing object T, and moves or rotates the other holding unit 310. , the twisted portion of the object T may be returned to the untwisted state and held. As a result, wrinkles due to the object T being folded in a twisted state can be prevented from remaining, and the storage finish quality can be improved.
  • FIG. 30A and 30B show examples of captured images of the long-sleeve shirt T1.
  • FIG. 30A shows a normal state in which the folded long-sleeve shirt T1 is held by two holding portions 310.
  • FIG. 30B shows a state in which when the folded long-sleeve shirt T1 is gripped by the two holding parts 310, the non-gripped portions hang down.
  • the peculiar event detector 941 detects the state shown in FIG. 30B as a peculiar event.
  • FIG. 31 is a diagram for explaining a method for detecting a drooping state.
  • the peculiar event detection unit 941 defines a rectangle R surrounding the processing target T in the captured image of the processing target T, and calculates the area ratio of the imaging region of the processing target T to the defined rectangle R. In the drooping state, the area of the rectangle R increases, so the area ratio of the imaging region of the processing target T decreases.
  • a threshold value of the area ratio for judging the drooping state is determined in advance by experiment or the like.
  • the peculiar event detection unit 941 determines that the object T is drooping if the calculated area ratio of the imaging region of the object T is smaller than the threshold value.
  • the threshold may be set according to the type and size of the processing target T, and the like.
  • the peculiar event detector 941 may detect the drooping state using the peculiar event detector 943 .
  • the peculiar event detector 943 detects the captured image of the processing target T in the hanging state as shown in FIG. 30B, the captured image of the processing target T in the normal state without hanging as shown in FIG. It may be learned by supervised learning using information indicating whether the processing target T shown in the captured image is in a drooping state or in a normal state as learning data.
  • the peculiar event processing unit 942 executes processing to eliminate the sagging state. For example, the peculiar event processing unit 942 places the processing object T on the work plate 410 so that the longitudinal centerline of the processing object T is on the edge of the work plate 410, and further halves the processing object T. can be folded into Since it is the processing object T of thin fabric that is likely to hang down, there is no problem in the storage finish of the processing object T even if it is further folded in half. As a result, it is possible to prevent the processing target T from being stored in a state in which the folded shape has collapsed, thereby improving the quality of the storage finish.
  • the center line of the processing object T in the folded state may deviate from the center line of the processing object T, resulting in left-right asymmetry, or the size of the folded state may vary depending on the thickness.
  • the storage finish quality may be deteriorated due to falling apart. Therefore, it is necessary to detect the thickness of the processing object T and adjust the folding position according to the thickness. Also, if the object T to be processed is so thick that it cannot be folded, it must be excluded from the object to be processed.
  • FIG. 32 is a diagram for explaining a method for detecting the thickness of the object T to be processed.
  • the object to be processed T is placed on the work plate 410, and the work plate 410 is moved so that the upper end of the work plate 410 is almost at the same height as the lens of the second imaging unit 520 or the third imaging unit 530.
  • the object to be processed T and the working plate 410 are imaged by the second imaging unit 520 or the third imaging unit 530 .
  • the peculiar event detection unit 941 detects the difference between the height of the upper end of the work plate 410 and the height of the upper end of the processing target T as the thickness of the processing target T in the captured images of the processing target T and the work plate 410 .
  • the peculiar event detection unit 941 calculates the difference between the height of the upper end of the work plate 410 and the height of the upper end of the processing object T at a plurality of positions, and processes statistical values such as the average value, maximum value, and median value thereof. It may be the thickness of the object T.
  • the peculiar event processing unit 942 adjusts the folding position of the processing object T according to the thickness of the processing object T detected by the peculiar event detection unit 941 so that the symmetry and size are the same. If the thickness of the processing object T detected by the peculiar event detection unit 941 is equal to or greater than a predetermined value such that folding is impossible or difficult, the peculiar event processing unit 942 removes the processing object T from the processing object. The object is excluded, the processing is terminated, and the object is stored in a predetermined place. As a result, it is possible to exclude processing objects T that are thick enough to degrade the storage finish quality, thereby improving the storage finish quality.
  • FIG. 33 shows an example of a captured image of the processing object T.
  • the processing object T has a string V.
  • the peculiar event detection unit 941 detects a processing object T with a string V as shown in FIG.
  • the peculiar event detection unit 941 uses the peculiar event detector 943 to detect the processing object T with the string V attached.
  • This peculiar event detector 943 has a captured image of a processing object T with a string V as shown in FIG. 33, a captured image of a processing object T without a string V, and a It may be learned by supervised learning using information indicating whether or not the string V is attached to the processing object T as learning data.
  • the peculiar event processing unit 942 When the peculiar event detection unit 941 detects a processing target T with a string V attached, the peculiar event processing unit 942 excludes the processing target T from the processing target, terminates the processing, and stores it in a predetermined place. do. As a result, it is possible to prevent damage to the object T to be processed and to induce failure or breakage of the constituent elements of the clothes processing apparatus 1, thereby improving the processing efficiency of the object T to be processed.
  • FIG. 34 is a flow chart showing the procedure of the clothes processing method according to the third embodiment.
  • the procedure shown in this figure is executed periodically at a predetermined point in time or at predetermined time intervals while the clothes processing apparatus 1 is processing the processing target T.
  • FIG. The procedure shown in the figure may be executed after the processing of the object T to be processed by the clothing processing apparatus 1 is temporarily interrupted, or may be executed in parallel with the processing of the object T to be processed.
  • the control device 900 detects a peculiar event at a predetermined timing during execution of the normal folding process (S206). Until the timing of detecting the peculiar event arrives (N of S208), the process returns to S206 and the normal folding process of the object T to be processed is continued.
  • the captured image acquiring unit 940 acquires the captured image of the processing object T captured by the second imaging unit 520 or the third imaging unit 530 (S210).
  • the peculiar event detection unit 941 detects a peculiar event based on the captured image of the processing object T acquired by the captured image acquisition unit 940 (S212).
  • the process returns to S206 to continue the normal folding process of the object T to be processed. If a singular event is detected by the singular event detection unit 941 (Y of S212), the singular event processing unit 942 executes processing according to the singular event.
  • the peculiar event processing unit 942 executes processing for resolving the peculiar event (S216). For example, if the peculiar event detected by the peculiar event detection unit 941 is a run-on state, a twisted state, a drooping state, or the like, the peculiar event processing unit 942 executes the above-described peculiar event resolution processing. Further, when the peculiar event detection unit 941 detects that the thickness of the object T to be processed is thicker than expected, the peculiar event processing unit 942 adjusts the folding position according to the thickness of the object T to be processed.
  • the process returns to S206, and the normal folding process of the object T to be processed is continued.
  • the peculiar event detection section 941 may check whether the peculiar event has been resolved based on the captured image of the processing object T after the peculiar event processing section 942 has executed the processing.
  • the peculiar event processing unit 942 excludes the processing target T from the processing target (S218 ), and the object T to be processed is stored in a predetermined place (S220). For example, when the peculiar event detection unit 941 detects that the thickness of the processing object T is a predetermined value or more, or that the processing object T has a string V attached, the peculiar event processing unit 942 The processing target T is excluded from the processing targets, and the processing is terminated.
  • the clothing processing apparatus 1 includes the captured image acquisition unit 940 that acquires the captured image of the processing target T, and the captured image of the processing target T acquired by the captured image acquisition unit 940. Based on, a singular event detection unit 941 that detects a singular event different from the state or attribute of the processing object T determined in the folding information that defines the folding method of the processing object T in advance, and the singular event detection unit 941 and a peculiar event processing unit 942 that executes processing according to the peculiar event when the peculiar event is detected. As a result, the peculiar event can be accurately detected and appropriately dealt with, so that the processing efficiency of the processing object T can be improved. In addition, it is possible to improve the storage finish quality by excluding elements that deteriorate the storage finish quality.
  • the peculiar event detection unit 941 detects a peculiar event based on the captured image of the processing object T captured by the third imaging unit 530 capable of acquiring depth information. Thereby, detection accuracy can be improved.
  • the peculiar event detection unit 941 receives the captured image of the processing target T and detects the peculiar event using the peculiar event detector 943 that outputs the presence or absence or content of the peculiar event. Thereby, detection accuracy can be improved.
  • the peculiar event includes a state in which a part of the object to be processed runs over another part. As a result, it is possible to accurately detect the run-on state and appropriately deal with it.
  • the peculiar event processing section 942 moves the holding section 310 holding the object T to drop the part on which it runs. As a result, the riding-up state can be appropriately eliminated.
  • the peculiar event processing unit 942 places the object T to be processed on the rotatably provided work plate 410, and rotates the work plate 410 to drop the part on which it runs. As a result, the riding-up state can be appropriately eliminated.
  • the peculiar event processing unit 942 releases the holding by one of the two or more holding units 310 holding the processing object T, and the holding unit 310 holds the processing object again. Hold.
  • the riding-up state can be appropriately eliminated.
  • the peculiar event includes a state in which the processing object T is twisted.
  • the torsion state can be accurately detected and appropriate countermeasures can be taken.
  • the peculiar event processing unit 942 rotates the holding unit 310 holding the processing target T in a direction opposite to the twisting direction of the processing target T, thereby correcting the twisted state. Return to untwisted state. As a result, the twisted state can be properly resolved.
  • the peculiar event processing unit 942 holds the twisted portion of the processing object T by a holding unit 310 different from the holding unit 310 holding the processing object T, By moving or rotating the portion 310, the twisted portion of the workpiece T is returned to its untwisted state and held. As a result, the twisted state can be properly resolved.
  • the peculiar event includes a state in which the folded processing object hangs down. As a result, it is possible to accurately detect the drooping state and appropriately deal with it.
  • the peculiar event processing unit 942 further folds the processing object T. As a result, the sagging state can be appropriately eliminated.
  • the peculiar event detection unit 941 performs , to detect the state in which the processing object T hangs down. Thereby, detection accuracy can be improved.
  • the peculiar event includes the case where the thickness of the processing target T is different from the value defined in the folding information.
  • the thickness of the processing target T is different from the value defined in the folding information.
  • the peculiar event processing section 942 adjusts the folding position of the processing object T according to the thickness of the processing object T. Thereby, the storage finish of the processing target T can be improved.
  • the peculiar event detection unit 941 detects the difference between the height of the upper end of the work plate 410 and the height of the processing object T in the captured image of the processing object T placed on the work plate 410. The thickness of the processing object T is detected. Thereby, detection accuracy can be improved.
  • the peculiar event detection unit 941 detects a peculiar event based on the captured image of the processing object T after the peculiar event processing unit 942 has executed the processing. This makes it possible to confirm whether or not the peculiar event has been resolved.
  • the peculiar event includes the case where the thickness of the processing object T is equal to or greater than a predetermined value.
  • a predetermined value As a result, it is possible to accurately detect that the thickness of the processing object T is equal to or greater than the predetermined value, and to take appropriate measures.
  • the peculiar event includes the case where the processing object T includes a string.
  • the processing object T includes a string.
  • the peculiar event processing unit 942 excludes processing targets from processing targets. As a result, it is possible to exclude the processing targets T, which are impossible or difficult to process, from the processing targets.
  • the detection method includes the step of acquiring the captured image of the processing target T, and the folding method of the processing target T being determined in advance based on the acquired captured image of the processing target T. and detecting a singular event different from the state or attributes of the object T defined in the folding information. This makes it possible to accurately detect a singular event.
  • the method for processing clothes includes the step of acquiring the captured image of the processing target T, and the folding method of the processing target T being determined in advance based on the acquired captured image of the processing target T. a step of detecting a peculiar event different from the state or attribute of the processing object T defined in the folding information; As a result, the peculiar event can be accurately detected and appropriately dealt with, so that the processing efficiency of the processing object T can be improved.
  • Embodiments 1 to 3 have been described as examples of the technology disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like.
  • the present disclosure can be used for clothing processing devices.
  • T1 clothing processing apparatus C intersection point Lx, Ly line segment Mx, My midpoint O center of gravity S imaging area H1, H2 gripping position R rectangle t thickness T Objects to be processed, T1 long-sleeved shirt, T2 short-sleeved shirt, T3 sleeveless shirt, T4 trousers, T5 shorts, T6 trunks, T7 towel, V string, X1 left, X2 right, Y1 Forward direction Y2 Backward Z1 Upward Z2 Downward 10 Learning device 11 Captured image acquisition unit 12 Part position information acquisition unit 13 Learning unit 14 Part detector 20... Learning device, 21... Captured image acquisition unit, 22... Unique event information acquisition unit, 23... Learning unit, 24... Unique event detector, 100... Housing, 110... Frame, 120...
  • End point detection unit 921 Captured image acquisition unit 922 Detection unit 923 Position detection unit 924 Moving body detection unit 925 Imaged area extraction unit 926 Gripping target determination unit 927 Gripping position determination unit 928 Accommodated number determination unit 930 Captured image acquisition unit 931 Grasping position detection unit 932 Coordinate calculation unit 933 Part detector 940 Captured image acquisition unit 941 Unique event detection unit 942 Unique event Processing unit, 943...Singular event detector.

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Materials Engineering (AREA)
  • Manipulator (AREA)

Abstract

衣類処理装置は、処理対象物の撮像画像を取得する撮像画像取得部930と、処理対象物の撮像画像において、処理対象物を展開した状態で把持するための把持位置を検出する把持位置検出部931と、把持位置検出部931により検出された把持位置の三次元座標を算出する座標算出部932と、を備える。把持位置検出部931は、処理対象物の撮像画像を入力し、処理対象物の特定の部位の位置を示す情報を出力する部位検出器933を用いて、処理対象物の撮像画像において把持位置を検出する。

Description

衣類処理装置、衣類処理方法、検出方法、及び学習装置
 本開示は、衣類などの処理対象物を処理するための衣類処理装置、衣類処理方法、検出方法、及び学習装置に関する。
 衣類などの処理対象物を展開して折り畳む処理装置が提案されている。例えば、特許文献1には、被処理物の任意の点を保持可能な複数の保持装置と、被処理物を載置可能な載置装置を備える処理装置が開示されている。この処理装置は、複数の保持装置の少なくとも2つが被処理物の2つの端点を保持している状態において撮像された画像に基づいて、少なくとも2つの長手部分を有する被処理物を認識し、複数の保持装置及び載置装置を用いて展開する。
特開2020-054473号公報
 特許文献1の折り畳み装置では、被処理物の2つの端点を保持するために、被処理物を何度も持ち替える必要がある。被処理物を処理する効率を向上させるために、被処理物を保持して展開するまでの時間を短縮するための技術が必要である。
 本開示は、衣類などの処理対象物を処理するための技術を向上させる。
 本開示における衣類処理装置は、処理対象物の撮像画像を取得する撮像画像取得部と、処理対象物の撮像画像において、処理対象物を展開した状態で把持するための把持位置を検出する把持位置検出部と、把持位置検出部により検出された把持位置の三次元座標を算出する座標算出部と、を備える。把持位置検出部は、処理対象物の撮像画像を入力し、処理対象物の特定の部位の位置を示す情報を出力する部位検出器を用いて、処理対象物の撮像画像において把持位置を検出する。
 本開示における衣類処理方法は、処理対象物の撮像画像を取得するステップと、処理対象物の撮像画像において、処理対象物を展開した状態で把持するための把持位置を検出するステップと、検出された把持位置の三次元座標を算出するステップと、を備える。把持位置を検出するステップは、処理対象物の撮像画像を入力し、処理対象物の特定の部位の位置を示す情報を出力する部位検出器を用いて、処理対象物の撮像画像において把持位置を検出するステップを含む。
 本開示における学習装置は、処理対象物の撮像画像を取得する撮像画像取得部と、処理対象物の撮像画像における処理対象物の特定の部位の位置を示す情報を取得する部位位置情報取得部と、撮像画像取得部により取得された撮像画像と、部位位置情報取得部により取得された情報とを学習データとして、処理対象物の撮像画像を入力し処理対象物の特定の部位の位置を示す情報を出力する部位検出器を学習する学習部と、を備える。
 本開示の技術によれば、衣類などの処理対象物を処理するための技術を向上させることができる。
実施の形態1における衣類処理装置の斜視図 実施の形態1における衣類処理装置の正面概略構成図 実施の形態1における衣類処理装置の側面概略構成図 実施の形態1における衣類処理装置の保持部の斜視図 実施の形態1における衣類処理装置の保持部のYaw部の縦断面模式図 実施の形態1における衣類処理装置の保持部のHand部の縦断面模式図 実施の形態1における衣類処理装置の作業板装置の正面模式図及び側面模式図 実施の形態1における衣類処理装置の撮像装置の側面模式図 実施の形態1における衣類処理装置の支持部の側面模式図 実施の形態1における衣類処理装置の収納装置の動作を示す模式図 実施の形態1における衣類処理装置の収納装置の動作を示す正面模式図 実施の形態1における衣類処理装置の制御装置のブロック図 実施の形態1に係る制御装置の機能構成図 様々な種類の処理対象物の把持位置の例を示す図 処理対象物の撮像画像の例を示す図 実施の形態1に係る学習装置の機能構成図 実施の形態1に係る衣類処理方法の手順を示すフローチャート 実施の形態2に係る制御装置の機能構成図 受入部の撮像画像の例を示す図 受入部の撮像画像の例を示す図 受入部の撮像画像の例を示す図 処理対象物の撮像領域の例を示す図 処理対象物の把持位置の例を示す図 受入部に収容された処理対象物がドーナツ状の形状となっている場合の把持位置の例を示す図 受入部に収容された処理対象物がドーナツ状の形状となっている場合の把持位置の例を示す図 受入部に収容された処理対象物がドーナツ状の形状となっている場合の把持位置の例を示す図 受入部に収容された処理対象物がドーナツ状の形状となっている場合の把持位置の例を示す図 受入部に収容された処理対象物がドーナツ状の形状となっている場合の把持位置の例を示す図 実施の形態2に係る衣類処理方法の手順を示すフローチャートである。 実施の形態3に係る制御装置の機能構成図 実施の形態3に係る学習装置の機能構成図 様々な種類の処理対象物の展開終了形状の例を示す図 長袖シャツの撮像画像の例を示す図 長袖シャツの撮像画像の例を示す図 ズボンの撮像画像の例を示す図 ズボンの撮像画像の例を示す図 長袖シャツの撮像画像の例を示す図 長袖シャツのねじれた袖部分の拡大図 長袖シャツのねじれた袖部分の拡大図 長袖シャツのねじれた袖部分の拡大図 長袖シャツのねじれた袖部分の拡大図 長袖シャツの撮像画像の例を示す図 長袖シャツの撮像画像の例を示す図 垂れ状態を検出するための方法を説明するための図 処理対象物の厚みを検出する方法を説明するための図 処理対象物の撮像画像の例を示す図 実施の形態3に係る衣類処理方法の手順を示すフローチャート
 (本開示の実施の形態1の基礎となった知見等)
 本開示に係る衣類処理装置において、衣類などの処理対象物を折り畳むために、まず処理対象物を展開した状態で保持する必要がある。受入部に収容された処理対象物を掴み上げて、展開した状態で保持するまでに、何度も処理対象物を持ち替えていると、処理に時間がかかってしまう。
 このような課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。本開示に係る衣類処理装置は、処理対象物の撮像画像を入力し処理対象物の特定の部位の位置を示す情報を出力する部位検出器を用いて、処理対象物の撮像画像において把持位置を検出し、検出された把持位置の三次元座標を算出する。これにより、三次元座標に基づいて把持位置を直接把持し、余計な持ち替え動作をなくすことで、処理対象物を展開した状態で保持するまでの時間を短縮することができるので、処理の効率を向上させることができる。
 以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
 なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
 (実施の形態1)
 以下、図1~図16を用いて、実施の形態1を説明する。なお、衣類処理装置1の3方向について、前側正面から見て、左右の幅方向を矢印で示すX方向(左方向X1、右方向X2)、前後の奥行き方向を矢印で示すY方向(前方向Y1、後方向Y2)、上下の高さ方向を矢印で示すZ方向(上方向Z1、下方向Z2)として説明する。
 [1-1.構成]
 [1-1-1.衣類処理装置の全体構成]
 衣類処理装置1は、変形性薄物としての処理対象物Tを保持、認識、折り畳み、及び、収納する装置である。図1に示されるように、衣類処理装置1は、筐体100、及び、筐体100内に構成される、受入部200と、保持装置300と、作業板装置400と、撮像装置500と、支持部600と、収納装置700と、制御装置900と、を備える。なお、受入部200及びその上方の処理空間が1つの筐体に構成され、収納装置700などは別の筐体内に構成されて、それぞれの筐体が連結されて一体となるように構成されてもよい。
 処理対象物Tは、例えば、衣類及びタオル類などの布地、フィルム、紙ならびにシートなどに代表される変形性薄物である。その形状は、タオル類のように矩形であってもよいし、Tシャツやランニングシャツ、長袖シャツ、ズボンのような略矩形であってもよい。
 <筐体100>
 筐体100は、直方体の枠を形成するフレーム110と、直方体の所定の面に外郭120が設けられて構成される。フレーム110と外郭120とは、一体に形成されてもよい。
 <受入部200>
 受入部200は、処理対象物Tを外部から受け入れる収容部である。図1から図3に示されるように、受入部200は、上面が開口した箱型形状を有する。受入部200は、ユーザがアクセスし易いように、衣類処理装置1における底部に配設され、奥行き方向(Y方向)に出し入れ可能に配設される。例えば、受入部200は、下部にガイドレール210が設けられ、前方向Y1に引き出される。処理対象物Tは、引き出された受入部200に上方から入れられる。受入部200は、処理対象物Tが入れられると、ガイドレール210に沿って後方向Y2に戻され、筐体100内に収められる。
 受入部200は、処理対象物Tが受入部200の底面中央付近に集まるように構成されてもよい。例えば、受入部200の底面が、中央に向けて傾斜するように形成されてもよい。この傾斜によって、処理対象物Tは、受入部200に入れられた後、底面中央付近に集められる。これにより、受入部200に投入された処理対象物Tの位置が特定されやすくなり、処理の短時間化に寄与できる。
 [1-1-2.保持装置の構成]
 保持装置300は、処理対象物Tを処理するために、処理対象物Tを保持する装置である。保持装置300は、処理対象物Tを保持する保持部310と、保持部310を幅方向(X方向)、奥行き方向(Y方向)、高さ方向(Z方向)の3方向に移動させる移動機構320と、を含む。保持装置300は、複数設けられ、受入部200内に入れられた処理対象物Tを保持して持ち上げるとともに、処理対象物Tを一時的に載置できる作業板装置400と協働して、処理対象物Tを持ち替えながら展開及び折り畳みを行う。
 衣類処理装置1は、図1から図3に示されるように、保持装置300として2基の保持装置300A,300Bを備える。保持装置300Aは、保持部310として1つの保持部310Aを有し、保持部310Aを3方向に移動させる移動機構320Aを有する。保持装置300Bは、保持部310として2基の保持部310B,311Bを有し、保持部310B,311Bをそれぞれ3方向に移動させる移動機構320Bを有する。
 保持部310A,310B,311Bは、後述する作業板装置400の作業板410に対して、幅方向、奥行き方向、高さ方向にそれぞれ相対移動可能である。例えば、移動機構320A、320Bは、保持部310A,310B,311Bが作業板410の縁部に沿って一列に並ぶように位置させることができる。
 保持装置300A、300Bは、後述する制御装置900と有線又は無線により通信可能に接続される。そして、制御装置900により、保持部310A、310B,311B及び移動機構320A、320Bの動作が制御される。
 <移動機構320>
 保持装置300A,300Bに用いられる移動機構320A,320Bについて、保持装置300Aの移動機構320Aの構成を用いて説明する。保持装置300Bの移動機構320Bの構成は、保持部の数を除いて保持装置300Aの構成と基本的に同じである。よって、保持装置300Bは、保持装置300Aの符号中「A」を「B」に置き換えた符号を用いればよく、その説明を省略する。
 移動機構320Aは、図2に示されるように、幅方向移動機構330Aと、高さ方向移動機構340Aと、奥行き方向移動機構350Aと、を備える。
 幅方向移動機構330Aは、保持部310Aを幅方向(X方向)に移動させる。幅方向移動機構330Aは、保持部310Aを移動させるための駆動力源となる幅方向駆動部332A、及び、移動のガイドとなるXガイド334Aを有する。詳細は図示しないが、幅方向駆動部332Aは、正転及び逆転が可能なモータであり、ピニオンギアを有する。Xガイド334Aは、幅方向駆動部332Aの動力がピニオンギアを介して伝達されるラックギア及びレールであり、その長手方向が幅方向に沿うように配置される。幅方向駆動部332Aは、通電により、Xガイド334Aに沿ってスライド移動する。幅方向駆動部332AがXガイド334Aに沿って幅方向に移動すると、幅方向駆動部332Aに固定された保持部310Aも幅方向に移動する。
 高さ方向移動機構340Aは、幅方向移動機構330Aとともに保持部310Aを高さ方向(Z方向)に移動させる。高さ方向移動機構340Aは、幅方向移動機構330Aの左右両端に設けられ、幅方向移動機構330Aを移動させるための駆動力源となる高さ方向駆動部342A、及び、移動のガイドとなるZガイド344Aを有する。高さ方向駆動部342Aは、正転及び逆転が可能なモータであり、ピニオンギアを有する。詳細は図示しないが、高さ方向駆動部342Aは、幅方向移動機構330Aの枠体の左端に固定され、右端へ駆動力を伝達する伝動シャフトを有する。左右2本のZガイド344Aは、高さ方向駆動部342Aの動力がピニオンギア及び伝動シャフトを介して伝達されるラックギア及びレールであり、その長手方向が高さ方向に沿うようにして配置される。左右2本のZガイド344Aは、上端で連結され、アーチ型に構成される。高さ方向駆動部342Aへの通電により、幅方向移動機構330Aが高さ方向に沿って移動する。
 奥行き方向移動機構350Aは、保持装置300A全体(高さ方向移動機構340A、幅方向移動機構330A及び保持部310A)を奥行き方向(Y方向)に移動させる。奥行き方向移動機構350Aは、高さ方向移動機構340Aを移動させるための動力源となる奥行き方向駆動部352A、及び、移動のガイドとなる複数のYガイド354を有する。詳細は図示しないが、奥行き方向駆動部352Aは、正転及び逆転が可能なモータであり、ピニオンギアを有する。奥行き方向駆動部352Aは、高さ方向移動機構340Aの枠体上部の連結部左端に固定され、右端へ駆動力を伝達する伝動シャフトを有する。Yガイド354は、奥行き方向駆動部352Aの動力が伝達されるラックギア及びレールであり、その長手方向が奥行き方向に沿うようにして、左右のZガイド344Aそれぞれの上下端に配置される。
 Yガイド354への駆動力の伝達について、上部のYガイド354には、上述したように、奥行き方向駆動部352Aの動力が伝動シャフトで伝達される。そして、下部のYガイド354には、高さ方向移動機構340Aの枠体内に設けられるギアベルトを介して上部に設けられる伝動シャフトから駆動力が伝達される。奥行き方向駆動部352Aへの通電により、アーチ型の高さ方向移動機構340Aが奥行き方向に沿って平行に移動し、幅方向移動機構330A及び保持部310Aも同じく移動する。
 なお、本実施の形態において、2基の保持装置300A,300Bは、奥行き方向(Y方向)に移動するために上下左右4本のYガイド354を共用する。このため、常に保持装置300Aは保持装置300Bより後側に位置する。また、保持装置300Bにおいて、2つの保持部310B,311Bは幅方向(X方向)に移動するためにXガイド334Bを共用する。このため、常に保持部310Bは保持部311Bより左側に位置する。
 以上、移動機構320について説明した。本実施の形態では、移動機構としてラック&ピニオン式で、駆動部のモータも移動する構成としたが、これに限られない。例えば、ボールねじを利用し、モータは移動しない構成などでもよい。
 <保持部310>
 図4~図6を用いて、保持部310の構成について説明する。本実施の形態では、保持部310A、310B、311Bの3つの保持部310が配設される。3つの保持部310の構成は、左右対称の部分もあるが、基本的に同じである。
 図4に示すように、保持部310は、Yaw部312、Pitch部313、Roll部314、及びHand部315の4つのユニットが、それぞれ回動シャフト316(図5)を介して連結して構成される。
 また、図5に示すように、Yaw部312は、Hand部315を奥行き方向(Y方向)のYaw軸を中心に回動させる駆動部が内蔵される。駆動部は、モータ312aとウォームギヤを含む複数の減速ギヤ312bからなり、最終的に回動シャフト316を回転駆動させる。回動シャフト316には、位置検出センサ316aが設けられる。回動シャフト316は管状であり、中央の穴から各ユニットへ電源線や信号線を配線することができる。また、制御基板312cがYaw部312内部に設けられる。
 減速ギヤ312bの1つに、トルクリミッタ312dが内蔵されてもよい。なんらかのエラーで指令値と異なる動作をした保持部310Aが周囲のユニットに衝突したり、処理対象物Tがどこかに引っかかった状態で駆動しようとしたりする場合などの異常事態において、2次側がこれ以上動かない状態(ロック状態)でモータ312aが駆動されるとモータ312aが破損する可能性がある。そこで、所定以上の負荷がかかるとトルクリミッタ312dが空回りすることで、このような異常状態においてもモータ312aの破損を防止できる。
 異常状態の回避としては、駆動部を構成するいずれかひとつの軸部にトルクセンサ312eが設けられてもよい。トルクセンサ312eは、軸部が回動するときのトルクを検出する。これにより、Hand部315が保持する処理対象物Tにかかる力を推定し、処理対象物Tへ必要以上の負荷をかけてしまうことを防止し、適切な負荷で処理対象物Tを保持できるとともに、異常時には停止するなどの制御が可能となる。
 保持部310Aは、力覚センサ317を有してもよい。力覚センサ317は、Hand部315が保持する処理対象物Tにかかる力やモーメントを検出する。これにより、処理対象物Tへ必要以上の負荷をかけてしまうことを防止し、適切な負荷で処理対象物Tを保持するように制御できる。
 なお、本実施の形態では、Yaw部312の一次側に力覚センサ317を構成したが、構成位置はこれに限られない。例えば、Roll部314とHand部315との間に構成することもできる。前者の場合、力覚センサ317の制御基板や配線を保持部310Aの外部に構成することができるため、保持部310Aの小型化が図れる。後者の場合、Hand部315により近い位置に力覚センサ317が設けられるため、処理対象物Tにかかる力やモーメントを高い精度で検出できる。
 Pitch部313及びRoll部314の基本構成は、Yaw部312と同様である。Pitch部313は、Hand部315を幅方向(X方向)のPitch軸を中心に回動させる。Roll部314は、Hand部315をRoll軸(Z方向)中心に回動させる。
 このように、保持部310AはYaw軸、Pitch軸、及びRoll軸の回動軸を有するため、処理対象物Tを自在に保持したり、保持している処理対象物Tに対して他の保持部310B、311Bでさらに保持したりして、処理対象物Tを自在に扱うことができる。
 なお、図5に示すように、保持部310Aの各ユニットのモータ駆動やセンサ値の検出を行う制御基板312cを各ユニットの中に内蔵してもよい。これにより、内蔵された制御基板312cからの短い配線で処理できるとともに、各ユニットを連結している回動シャフト316の穴を通る配線の本数が減り、回動シャフト316の大きさが抑制されて保持部310Aを小型化できる。
 <Hand部315>
 図6に示すように、Hand部315は、処理対象物Tを保持するために対向する2本のフィンガ315a、及び、フィンガ315aを開閉する駆動部で構成される。駆動部は、モータ315bと、複数の減速ギヤ315cと、回動ギヤ315dと、からなり、最終的に対向する2本のフィンガ315aを連動させて回転駆動し、開閉させる。
 フィンガ315aは、最後の回動ギヤ315dに固定される付け根部分が板バネ315eで構成される。これにより、保持する処理対象物Tに必要以上の負荷をかけてしまうことを防止し、適切な負荷で処理対象物Tを保持できる。また、例えば、作業板410に掛けられた処理対象物Tをフィンガ315aで作業板410ごと一旦保持し、次に作業板410から処理対象物Tだけを引き抜くときに、板バネ315eの付勢力によりフィンガ315aを作業板410の厚み分だけ自動的に閉じることができ、モータ315bをさらに動作させなくても処理対象物Tを把持し続けることができる。
 Hand部315の駆動部には、上述した保持部310Aの駆動部と同様に、トルクリミッタ315fが設けられてもよい。これにより、フィンガ315aが保持する処理対象物Tへ必要以上の負荷をかけてしまうことを防止し、適切な負荷で処理対象物Tを保持できる。
 [1-1-3.作業板装置の構成]
 作業板装置400は、認識処理や折り畳み処理の際に処理対象物Tを載置する作業板410を回転及び移動させる装置である。図7に示すように、作業板装置400は、作業板410、回転駆動部420、走行駆動部430、及び伝動部440で構成される。作業板装置400は、そのままでは作業板410を無限に回転させられる回転機構である。
 作業板410は、回転駆動部420に設けられる回転軸421に固定される。回転駆動部420は、作業板410を幅方向(X方向)の回転軸421を中心にして回転させる。走行駆動部430は、作業板410を高さ方向に移動させる。伝動部440は、モータの駆動力を伝えるギヤ及びベルトなどが設けられる。
 作業板装置400は、上述した移動機構320と同様の移動するための機構を備える。本実施の形態において、作業板装置400は、保持部310Bが設けられる移動機構320AのZガイド344Aを兼用して、走行駆動部430が組み合わされる。このため、作業板装置400は、Zガイド344Aにおいて、常に保持部310Aの下方で上下に移動するように構成される。
 <作業板410>
 作業板410は、図2に示すように、作業平面の角部を面取りされた略矩形の板材である。作業板410は、角部の角がないように形成されることにより、布類などの処理対象物Tが引っ掛かる不具合が抑制される。
 作業板410は、作業板410の長手方向、つまり、長辺の2つの縁部がそれぞれ回転軸421と平行になるように回転軸421に固定される。このため、両方の縁部を用いての処理が容易となる。なお、図7に示すように、作業板410が回転軸421に対して偏心して配置されてもよい。この場合、回転軸421から作業板410の縁部までの距離が、それぞれの縁部ごとに異なる。これにより、例えば、処理対象物Tを回転軸421からの距離が長い側の縁部に当接させることで、同じ幅、同じ傾斜角(例えば60度)であれば、偏心していない場合に比べてより高く処理対象物Tを持ち上げることができ、衣類処理装置1内の限られたスペースをより有効に活用できる。
 なお、図1及び図7に示すように、作業板410の角部を面取りする代わりに、作業板410の左右端面に側端板411が設けられてもよい。側端板411は、作業板410の長手方向両端に作業板410に対して直角に設けられ、角部を面取りされた平板である。これにより、側端板411は、作業板410の角部を覆うとともに、自身も丸みを帯びることにより、作業板410に角をなくし、処理対象物Tが引っ掛かる不具合をより抑制できる。さらに、作業板410の長辺縁部の直線部分を長くして作業性を向上できるとともに、処理対象物Tが作業板410の伝動部440にまで飛び出して不具合が発生することを抑制できる。
 また、処理対象物Tの処理中、作業板410の作業平面及び縁部において、処理対象物Tを滑らせたいとき、又は、滑らせたくないとき、の両方がある。このような場合に備えて、裏表ある作業平面の一方を滑りやすい面に形成し、他方を滑りにくい面に形成してもよい。また、2つある長辺の縁部の一方を滑りやすい縁部に形成し、他方を滑りにくい縁部に形成してもよい。これらを使い分けることにより、処理対象物Tを自在に処理できる。
 あるいは、作業平面及び縁部のいずれにおいても、滑り止めとなる突起部が出没自在の構成としてもよい。これにより、滑らせたいときには突起部が没入し、滑らせたくないときには突起部が突出して処理対象物Tを係止すれば、処理対象物Tを自在に処理できる。
 さらに、作業板410の作業平面又は縁部において、上記した滑り止めとなるような突起部が、左右に移動するように構成されてもよい。これにより、作業板410上の処理対象物Tを移動させることができる。また、左右に分離して構成される突起部が、それぞれ外側に移動するように構成されてもよい。これにより、作業板410上で皺になった処理対象物Tを広げることができる。
 <作業板装置400の駆動部>
 回転駆動部420及び走行駆動部430は、図示しないが、いずれも上述した保持部310の駆動部のように、モータ、減速ギヤ、トルクリミッタ、及びトルクセンサ等の駆動機構を組み合わせ、適切な回転速度又は移動速度になるように構成される。
 回転駆動部420の回転用モータ422は、右側に設けられる。回転駆動部420の回転軸421は、中空構造であり、内部空間に走行駆動部430の伝動シャフト431が貫通して設けられる。作業板410を回転させる回転軸421は、回転位置検出センサ(図示せず)が設けられ、いずれの方向にも無限に回転できるように構成される。作業板410の向きを初期化する原点設定構成は、特に限られないが、例えば、図7に示すように、筐体100内の下部に初期化機構450が設けられ、回転軸421などの回転部の円周の所定位置に突起部が設けられ、所定のタイミングでリンク等の構成により突起部により作業板410の回転を係止することにより行われてもよい。
 走行駆動部430の駆動機構は、左右に設けられる。走行駆動部430は、詳細は図示しないが、左側に設けられた走行用モータ432から伝動部440に設けられるベルト及び伝動シャフト431を介して右側にも駆動力を伝達し、左右に設けられる走行ギヤを駆動する。そして、左右のアンバランスが発生しないようにして作業板410を上下に移動させる。また、走行位置検出センサが走行駆動部430に設けられる。
 作業板装置400は、保持装置300の動きと連動して動作するように制御される。制御装置900は、例えば、処理対象物Tの種類を認識する認識処理の際に、保持装置300に保持され下方向Z2に垂れ下がる処理対象物Tを、所定の向きに回転させた作業板410の表面又は縁部にまたがるように載置する。そして、処理対象物Tの一端を水平方向に引っ張って変位させて処理対象物Tを衣類処理装置1の底面から離間させつつその上下方向の長さを小さくする。これにより、大きな処理対象物Tであっても保持装置300によって持ち上げて、作業板装置400と協働して処理対象物Tの最下端を受入部200の底面から離して、保持することができる。また、処理対象物Tを保持装置300のみで上方向Z1に持ち上げるだけの場合に比べ、衣類処理装置1の高さ寸法を小さくすることができる。また、作業板装置400は、処理対象物Tを折り畳む折畳処理の際に、作業板410の縁部に処理対象物Tを引っ掛けることで、処理対象物Tに折り畳み線を設定できる。
 [1-1-4.撮像装置の構成]
 撮像装置500は、処理対象物Tを受け入れた後の掴み処理、認識処理及び折り畳み処理する際に、当該処理対象物Tの端点等を検出する装置である。図2及び図3に示すように、撮像装置500は、第1撮像部510と、第2撮像部520と、第3撮像部530と、を含む。第1撮像部510及び第2撮像部520は、例えばデジタルスチルカメラが使用され、端点検出や、処理対象物Tの種類の判別などに使用される。第3撮像部530は、例えばステレオカメラが使用され、端点検出のための奥行き方向の距離や処理対象物Tの幅を測定するために使用される。いずれの撮像部も正面内壁側のフレームに設けられ、レンズの向きは後方向Y2である。
 第1撮像部510及び第2撮像部520のデジタルスチルカメラのレンズとして、広角レンズを使用してもよい。この場合、第1撮像部510及び第2撮像部520の視野が広がるので、1つの撮像部でより大きな処理対象物Tを撮像できる。また、レンズとして可変焦点レンズを用いて処理対象物Tを任意の倍率で撮像するようにしてもよい。この場合、低倍率で広い視野を確保することができるとともに、必要に応じて高倍率の拡大撮影が可能となり、第1撮像部510又は第2撮像部520によって、処理対象物Tの織り目状態から処理対象物Tの材質を検知することができる。処理対象物Tの材質を把握できれば、その材質に適した把持や折り畳み等も可能になる。
 図8は、各撮像部の撮像範囲の一例を示す図である。第1撮像部510は、受入部200の少し上方に設けられ、レンズの向きは斜めの下方向Z2である。具体的には、第1撮像部510は、A11~A12の範囲を撮像可能である。つまり、第1撮像部510は、受入部200に入れられた処理対象物Tを撮像する。この処理対象物Tの画像データは、例えば、初めの衣類の掴み上げのための画像データを取得するために使われたり、また折り畳みの進捗をチェックするために用いられたりする。
 第2撮像部520は、正面の中央部近傍に設けられ、A21~A22の撮像範囲を有する。図8に示すように、A21~A22の撮像範囲は広く、例えば衣類処理装置1内の天井から底までの範囲にある処理対象物Tを撮像する。第2撮像部520は、例えば、展開時及び折り畳み時の処理対象物Tを撮像する。撮像された画像データは、処理対象物Tの種類又は部位等の判別において、処理対象物Tを照合するための画像を撮像するために用いられる。
 第3撮像部530は、第1撮像部510と第2撮像部520との間に設けられ、A31~A32の撮像範囲を有する。第3撮像部530は、例えば左右に並んだ2つのレンズを有するステレオカメラであり、処理対象物Tの奥行き方向の距離を測定するために用いられる。第3撮像部530により撮像された画像データは、折り畳み中の最下点や衣類幅等の測距データを取得するために用いられてもよい。第3撮像部530の撮像範囲A31~A32には、作業板410が含まれる。
 なお、デジタルスチルカメラのイメージセンサとしては、例えば、モノクロ又はカラーのCCD又はCMOSを用いることができる。カラーのCCD又はCMOSを用いた場合は、処理対象物Tの認識工程において、処理対象物Tの「色」を認識の判断ための一要素として用いることができる。また、第3撮像部530は、ステレオカメラに代えて、赤外線カメラを用いて距離データを取得してもよい。
 また、撮像装置500は、座標系を安定させるため移動可能ではないが、これに限られるものではない。例えば、いくつかの撮像部は保持部310に設けられ、適宜、位置および角度を変えて、処理対象物Tを撮像できるように構成されてもよい。これにより、制御装置900は、必要に応じて撮像部の位置を変えて必要とする画像データを取得し、処理対象物Tについて、より詳細に認識することができる。
 <ホコリの除去装置>
 図示しないが、衣類処理装置1の筐体内で舞うホコリ等がレンズに付着し、積層することを抑制するために、第1撮像部510、第2撮像部520、及び第3撮像部530のいずれか又は複数のカメラのレンズを斜めの下方向Z2に向けたり、レンズ前方にレンズカバーを設けたりしてもよい。
 さらに、これらのレンズ又はレンズカバーに付着したホコリを除去する除去装置が設けられてもよい。除去装置は、特に限られないが、例えば、レンズ又はレンズカバーを布類又は刷毛等で拭うワイパーでもよいし、ホコリを風で吹き飛ばすブロアでもよい。これにより、衣類処理装置1の筐体内で舞うホコリ等がレンズ又はレンズカバーに付着し、積層することをより抑制できる。特に、このような除去装置を頻繁に作動させることが望ましい。なお、ワイパーの一例として、処理対象物Tを処理するたびに、処理対象物Tが少なくとも1回はレンズ又はレンズカバーに触れるように構成されてもよい。これにより、常にレンズ又はレンズカバーへのホコリの付着が抑制され、きれいな画像を取得できる。
 [1-1-5.その他の主要構成]
 <支持部600>
 支持部600は、処理対象物Tの折り畳みの際に、折り畳みラインを押さえておいたり、処理対象物Tの皺を伸ばしたりなど、処理対象物Tを支持する壁面である。例えば、支持部600は、作業板410の前方に設けられる正面側支持部610及び後方に設けられる背面側支持部620のうち少なくともいずれか一方を含む。例えば、図9に示すように、折り畳みの際に、作業板410は、保持部310に保持されて垂れ下がった処理対象物Tを、その折り畳み線に沿うように、作業板410の前縁部と正面側支持部610とで挟んでホールドする。そして、保持部310が処理対象物Tを作業板410に掛けるように移動する。これにより、処理対象物Tは、作業板410の縁部を軸にして折り畳まれるため、折り畳み線で適切に折り畳むことができる。
 なお、支持部600は、衣類処理装置1で処理できる処理対象物Tの大きさを見極めておき、それに応じた大きさの正面側支持部610及び背面側支持部620が所定の高さ位置に設けられてもよい。あるいは、支持部600は、高さ方向の移動機構を備え、上下に移動できるように構成されてもよい。これにより、処理対象物Tの長さ又は折り畳み線の位置に対して、より柔軟に対応できる。
 <収納装置700>
 収納装置700は、処理された処理対象物Tを保持装置300から受け取って収納する。収納装置700は、図1、図10A及び図10Bに示されるように、複数の収納部710、及び、処理対象物Tを受け取り各収納部710に格納する運搬部720を含む。収納装置700は、受入部200及び保持装置300などが収納される処理空間の横に隣接して配設されており、処理空間と収納装置700とを合わせて、衣類処理装置1が構成される。
 本実施の形態において、図2に示すように、収納装置700は、5つの収納部710を高さ方向に配列して備える。収納の機構及び動作は、特に限られないが、一例を簡単に説明する。例えば、図10A及び図10Bに示すように、各収納部710に処理対象物Tを運ぶ運搬部720を備えてもよい。運搬部720は、図示しない移動装置を含み、処理対象物Tの折り畳みなどの処理中は、処理空間内の壁際に格納される。
 図10Aに示すように、運搬部720は、3枚の挟持板721a、721b、721c(これらを総称して「挟持板721」という)と、レール722a、722bと、連結部723a、723bと、回転軸724と、蝶番725とを備える。レール722aは、挟持板721a及び721bを水平方向に一体的に摺動させる。レール722bは、挟持板721cを水平方向に摺動させる。連結部723aは、挟持板721aと挟持板721bとを連結する。連結部723bは、挟持板721a及び721bと挟持板721cとを連結する。連結部723bにより挟持板721a及び721bと挟持板721cとが連結されているときは、3枚の挟持板721が一体的に移動する。連結部723bによる連結が解除されているときは、挟持板721a及び721bと挟持板721cとは独立して移動する。回転軸724は、挟持板721の長手方向に平行に設けられる。蝶番725は、回転軸724の周りで3枚の挟持板721を回転させる。
 図10Aは、折り畳まれた処理対象物Tを挟持板721で挟持する手順を示す。まず、挟持板721を回転させて垂直に立てる。処理対象物Tを保持部310で保持し、挟持板721の直上から挟持板721bと挟持板721cの間に挿入する。挟持板721bは、連結部723aを軸として回転可能に設けられている。これにより、処理対象物Tの厚みに応じて挟持板721bと挟持板721cとの間の隙間を増減させることができるので、様々な厚みの処理対象物Tを適切に保持することができる。挟持板721bは、挟持板721cとの間の隙間を閉じる方向に付勢されている。これにより、挟持板721bと挟持板721cとの間に処理対象物Tを適度な力で挟持することができる。処理対象物Tが挟持板721bと挟持板721cとの間に挟持されると、挟持板721を回転させて水平に戻す。
 図10Bは、挟持板721に挟持された処理対象物Tを収納部710に収納する手順を示す。各収納部710は、その処理空間側の側面に上部で支持され重力で閉じるドア711を有する。運搬部720は、制御装置900による仕分けの指示に従って、所定の収納部710のドア711を押し開けて収納部710の内部に進入する。そして、運搬部720は、下側の挟持板721の進入前側を開放して処理対象物Tを滑り落とし、処理対象物Tを収納部710の底に載置しつつ、挟持板721を閉じながら退出する。
 なお、上記のように収納部710の側面にドア711が設けられるのではなく、複数の収納部710が個別に上下して、所定の収納部710の上部に運搬部720が進入できる空間が設けられるように構成されてもよい。また、挟持板721は、観音開き構成で下向きに開閉する構成でもよい。あるいは、図10Bの最下段に示すように、挟持板721cが水平方向に勢いよく引き抜かれる構成でもよい。この場合、連結部723による連結が解除され、挟持板721a及び721bは収納部710の内部に残り、挟持板721cのみが収納部710の外部に引き抜かれてもよい。処理対象物Tが挟持板721cとともに移動することなく収納部710の内部に落ちやすくするために、挟持板721bの挟持面は処理対象物Tが滑りにくく、挟持板721cの挟持面は処理対象物Tが滑りやすいように構成されてもよい。これらの構成であれば、1つの収納部710に複数の処理対象物Tをきれいに積み重ねることができる。さらに、所定の収納部710が処理空間に引き込まれ、保持部310が処理対象物Tを直接収納するように構成されてもよい。
 <制御装置900>
 制御装置900は、衣類処理装置1における各部の制御を統括する。制御装置900は、主として、ROM、RAM、演算装置、及び入出力インターフェイスから構成される。ROMには、オペレーティングシステム、衣類処理装置1の各部を制御するための制御プログラム、及び、制御プログラムの実行に必要なデータが格納されている。また、演算装置は、ROMに格納されている制御プログラムをRAMにロードしたり、ROMから直接実行したりするために設けられる。つまり、制御装置900は、演算装置が制御プログラムを実行することにより、衣類処理装置1を制御できる。そして、演算装置が処理したデータは、入出力インターフェイスを介して、衣類処理装置1の各部(保持装置300、作業板装置400等)へ送信される。演算装置の処理に必要なデータは、衣類処理装置1の各部(撮像装置500等)から入出力インターフェイスを介して受信される。
 図11に示すように、制御装置900は、保持装置制御部901、作業板装置制御部902、撮像装置制御部903、収納装置制御部904、種類認識部910、部位検出部911、長さ検出部912、ずれ補正部913、特異事象検出部914、第1点検出部915、第2点検出部916、端点検出部917、を備える。
 保持装置制御部901は、保持装置300における保持部310、及びそれぞれの移動機構320の動作を制御する。つまり、保持装置制御部901が、保持部310における各種モータを制御することにより、Hand部315の向きを調節、及び、対向するフィンガ315aを互いに近接又は離間させ、処理対象物Tの把持又はその開放を行う。また、保持装置制御部901が移動機構320における幅方向移動機構330の動作を制御することにより、保持部310が幅方向(X方向)に移動する。また、保持装置制御部901が移動機構320における高さ方向移動機構340の動作を制御することにより、保持部310が高さ方向(Z方向)に移動する。また、保持装置制御部901が移動機構320における奥行き方向移動機構350の動作を制御することにより、保持部310が奥行き方向(Y方向)に移動する。
 作業板装置制御部902は、作業板装置400における回転駆動部420及び走行駆動部430の動作を制御する。つまり、作業板装置制御部902が回転駆動部420の動作を制御することにより、作業板410が回転するとともに所定の角度を保持する。また、作業板装置制御部902が走行駆動部430の動作を制御することにより、作業板410が高さ方向(Z方向)に移動する。
 撮像装置制御部903は、撮像装置500における第1撮像部510、第2撮像部520、及び第3撮像部530の動作を制御する。つまり、撮像装置制御部903が第1撮像部510、第2撮像部520、及び第3撮像部530を制御することにより、所望のタイミングでデジタル画像を取得できる。取得された画像データは、RAM等に記憶される。
 収納装置制御部904は、収納装置700における運搬部720の動作を制御する。
 種類認識部910は、撮像装置500における第1撮像部510、第2撮像部520、及び第3撮像部530で得られた画像データに基づいて処理対象物Tの種類等を認識する。この種類識別について説明すると、種類認識部910は、予め、Tシャツ、ランニングシャツ、スカート、タオル、ハンカチ、フィルム、紙、あるいは、シートといった多種多様な処理対象物Tの画像データ(学習用画像データ)から抽出された特徴量に基づき、所定の機械学習アルゴリズムを用いて学習する。種類認識部910は、第2撮像部520及び第3撮像部530で得られた画像データに写された、現在処理中の処理対象物Tの特徴量を算出する。そして、種類認識部910は、算出した特徴量毎に機械学習アルゴリズムを用いて当該処理対象物Tがある種類(例えば、Tシャツ、ランニングシャツ、長袖シャツ、ズボン、タオル等)に該当する確率を種類毎にパーセンテージで計算する。然る後、最も確率の高い(すなわち、パーセンテージの高い)ものを当該処理対象物Tの種類として認識する。また、種類認識部910では、処理対象物Tの種類毎に折り畳み方が予め決められており、各種類の折り畳み方が「折り畳み情報」として蓄積されている。
 部位検出部911は、撮像装置500で得られた画像データに基づいて、処理対象物Tの袖などの特徴的な部位を検出する。
 長さ検出部912は、撮像装置500で得られた画像データに基づいて、処理対象物Tの縦方向の長さ(例えば、Tシャツの着丈寸法)及び横方向の長さ(例えば、Tシャツの幅寸法)を得る。
 ずれ補正部913は、処理対象物Tが作業板410に掛けられている状態で、処理対象物Tのずれを補正する。例えば、処理対象物Tが作業板410に掛けられている状態で、作業板410の長手方向(X方向)の縁と、処理対象物TのX方向の縁とが略平行でない場合、ずれが生じている。このとき、ずれ補正部913は、作業板410の長手方向(X方向)の縁と、処理対象物TのX方向の縁とが略平行になるようにずれ補正を行う。
 特異事象検出部914は、撮像装置500で得られた画像データに基づいて、処理対象物Tの折り畳み方法に影響する異常な事象を検出する。つまり、処理対象物Tの特異事象とは、袖及び裾などが意図せずに折り重なったりねじれたりした状態、処理対象物Tが想定以上に厚い状態、折り畳み途中で一部がはみ出た状態、紐などの付属的なものが垂れた状態、などを含む。
 第1点検出部915は、受入部200における底面に載置された処理対象物Tの任意の点を検出する。例えば、第1点検出部915は、処理対象物Tの最も高い位置を第1点P1として検出する。
 第2点検出部916は、保持部310が保持する処理対象物Tに対し、端点以外の任意の点を特定する。第2点検出部916は、例えば、処理対象物Tの2つの長袖部分を特定した場合、長袖部分の中間位置を任意の点としてもよい。
 端点検出部917は、保持部310が保持する処理対象物Tに対し、高さ方向における最下点(端点)の位置を検出する。具体的には、第3撮像部530により撮像された画像を用いて、高さ方向に加えて、幅方向及び奥行き方向における処理対象物Tの最下点の座標を取得する。
 なお、衣類処理装置1の処理としては、処理対象物Tを保持して展開したり、種類などを認識したり、折り畳んだり、収納したりすることができるが、ここでは具体的には説明しない。各構成において、必要に応じて説明される。
 [1-1-6.処理対象物を展開する動作の詳細]
 処理対象物Tを保持部310により把持して展開する動作の詳細について説明する。
 図12は、実施の形態1に係る制御装置900の機能構成を示す。図12では、制御装置900の機能構成のうち、処理対象物Tを保持部310により把持して展開する動作を制御するための機能構成を主に示している。
 制御装置900は、撮像画像取得部930、把持位置検出部931、座標算出部932、及び部位検出器933を備える。
 撮像画像取得部930は、第2撮像部520又は第3撮像部530により撮像された処理対象物Tの撮像画像を取得する。撮像画像取得部930は、処理対象物Tが保持部310により保持されて吊り下げられた状態の撮像画像を取得してもよい。
 把持位置検出部931は、処理対象物Tの撮像画像において、処理対象物Tを展開した状態で把持するための把持位置を検出する。把持位置検出部931は、処理対象物Tの撮像画像を入力し、処理対象物Tの特定の部位の位置を示す情報を出力する部位検出器933を用いて、処理対象物Tの撮像画像において把持位置を検出する。
 座標算出部932は、把持位置検出部931により検出された把持位置の三次元座標を算出する。座標算出部932は、第3撮像部530により撮像された処理対象物Tの撮像画像に含まれる奥行き方向の距離情報を用いて、検出された把持位置の三次元座標を算出してもよい。
 図13は、様々な種類の処理対象物Tの把持位置の例を示す。処理対象物Tを展開するための把持位置H1及びH2は、処理対象物Tの種類に応じて予め定められている。長袖シャツT1、半袖シャツT2、ノースリーブシャツT3は、いずれも、腰側の端部の両端付近の2点で把持し、上下を逆にして展開する。ズボンT4、短パンT5、トランクスT6は、いずれも、腰側の端部の両端付近の2点で把持して展開する。タオルT7は、短辺の両端付近の2点で把持して展開する。トランクスT6以外の処理対象物Tは、いずれも、展開した状態における処理対象物Tの周縁の短手部分の両端付近の2点で把持することになる。これにより、長袖シャツT1、ズボンT4、タオルT7など、長い処理対象物Tであっても展開して保持することができる。つまり、様々な形状の処理対象物Tを形状に応じて適切に展開することができる。
 図14は、処理対象物Tの撮像画像の例を示す。図14に示す例では、長袖シャツT1が保持部310により把持され、吊り下げられている。この撮像画像において、両腕の袖が最下端に写っており、それらの間に、裾の把持位置H1が写っている。把持位置検出部931は、まず袖の位置を検出し、検出した袖の位置と全体の形状に基づいて、把持位置H1を検出してもよい。これにより、特徴的な部位を検出してから把持位置を検出することができるので、検出精度を向上させることができる。部位検出器933は、袖、襟、ポケット、ボタン、ベルトループなどを検出してもよい。
 特徴的な部位を検出するために、機械学習による学習済みの部位検出器933が用いられてもよい。部位検出器933は、処理対象物Tの撮像画像を入力し、処理対象物Tの特定の部位の位置を示す情報を出力してもよい。部位検出器933を用いる場合は、部位検出器933により直接把持位置を検出してもよい。すなわち、部位検出器933は、処理対象物Tの撮像画像を入力し、処理対象物Tの把持位置を示す情報を出力してもよい。
 図15は、実施の形態1に係る学習装置10の機能構成を示す。学習装置10は、撮像画像取得部11、部位位置情報取得部12、学習部13、及び部位検出器14を備える。学習装置10は、機械学習により部位検出器14を学習する。
 撮像画像取得部11は、撮像装置により撮像された処理対象物Tの撮像画像を取得する。撮像画像取得部11は、第2撮像部520又は第3撮像部530により撮像された処理対象物Tの撮像画像を取得してもよい。これにより、処理対象物Tの部位を検出するときと同様の条件で撮像された撮像画像を学習データとして使用することができるので、部位検出器14の精度を向上させることができる。
 部位位置情報取得部12は、処理対象物Tの撮像画像における処理対象物Tの特定の部位の位置を示す情報を取得する。この情報は、教師あり学習における教師データとして使用される。
 学習部13は、撮像画像取得部11により取得された撮像画像と、部位位置情報取得部12により取得された情報とを学習データとして、教師あり学習により部位検出器14を学習する。部位検出器14は、処理対象物Tの撮像画像を入力層に入力し、処理対象物Tの特定の部位の位置を示す情報を出力層から出力するニューラルネットワークなどであってもよい。この場合、学習部13は、撮像画像取得部11により取得された撮像画像のデータがニューラルネットワークの入力層に入力されたときに、部位位置情報取得部12により取得された情報がニューラルネットワークの出力層から出力されるように、ニューラルネットワークの中間層を調整することにより、部位検出器14を学習してもよい。
 学習部13により学習された部位検出器14は、衣類処理装置1に提供される。衣類処理装置1は、部位検出器933により特定の部位の位置が誤検出された場合、正しい位置を示す情報を取得し、部位検出器933を追加学習してもよい。衣類処理装置1は、所定のタイミングで、学習装置10により追加学習された部位検出器14を取得して、部位検出器933を更新してもよい。
 [1-2.動作]
 以上のように構成された衣類処理装置1について、以下その動作、作用を説明する。
 図16は、実施の形態1に係る衣類処理方法の手順を示すフローチャートである。保持装置制御部901は、処理対象物Tの任意の位置を保持部310Aに把持させて、処理対象物Tを吊り下げる(S10)。撮像画像取得部930は、第2撮像部520又は第3撮像部530により撮像された処理対象物Tの撮像画像を取得する(S12)。把持位置検出部931は、処理対象物Tの撮像画像において、処理対象物Tを展開した状態で把持するための把持位置(H1又はH2)を検出する(S14)。座標算出部932は、把持位置検出部931により検出された把持位置(H1又はH2)の三次元座標を算出する(S16)。保持装置制御部901は、座標算出部932により算出された座標に保持部310B又は311Bを移動し、処理対象物Tを把持位置(H1又はH2)で把持させる(S18)。全ての把持位置(H1及びH2)を保持部310により把持すると(S20のY)、展開を終了して次の処理に移る。把持していない把持位置が残っている場合は(S20のN)、S10に戻って次の把持位置を検出する。この場合、先に検出された把持位置で把持されて吊り下げられた状態の処理対象物Tの撮像画像において、次の把持位置が検出される。
 [1-3.効果等]
 以上のように、本実施の形態において、衣類処理装置1は、処理対象物Tの撮像画像を取得する撮像画像取得部930と、処理対象物Tの撮像画像において、処理対象物Tを展開した状態で把持するための把持位置を検出する把持位置検出部931と、把持位置検出部931により検出された把持位置の三次元座標を算出する座標算出部932と、を備え、把持位置検出部931は、処理対象物Tの撮像画像を入力し、処理対象物Tの特定の部位の位置を示す情報を出力する部位検出器933を用いて、処理対象物Tの撮像画像において把持位置(H1又はH2)を検出する。これにより、三次元座標に基づいて把持位置(H1及びH2)を直接把持し、余計な持ち替え動作をなくすことで、処理対象物Tを把持して展開するまでの時間を短縮することができるので、処理対象物Tの処理効率を向上させることができる。
 また、本実施の形態において、把持位置検出部931は、処理対象物Tの種類に応じて予め定められた把持位置を検出する。これにより、処理対象物Tを適切に展開することができる。
 また、本実施の形態において、把持位置は、処理対象物Tを展開した状態における処理対象物の周縁の短手部分の両端付近である。これにより、長い処理対象物Tであっても適切に展開することができる。
 また、本実施の形態において、例えば、ズボンT4、短パンT5、トランクスT6の把持位置は、処理対象物の腰部の両端付近である。これにより、処理対象物Tを適切に展開することができる。
 また、本実施の形態において、衣類処理装置1は、処理対象物Tを把持するための保持部310に、把持位置検出部931により検出された2以上の把持位置で処理対象物Tを把持させることにより、処理対象物Tを展開する。これにより、処理対象物Tを適切に展開することができる。
 また、本実施の形態において、部位検出器933は、処理対象物Tの撮像画像と、その撮像画像における処理対象物Tの特定の部位の位置を示す情報とを使用して学習されたものである。これにより、処理対象物Tの把持位置の検出精度を向上させることができる。
 また、本実施の形態において、衣類処理方法は、処理対象物Tの撮像画像を取得するステップと、処理対象物Tの撮像画像において、処理対象物Tを展開した状態で把持するための把持位置を検出するステップと、検出された把持位置の三次元座標を算出するステップと、を備え、把持位置を検出するステップは、処理対象物Tの撮像画像を入力し、処理対象物Tの特定の部位の位置を示す情報を出力する部位検出器933を用いて、処理対象物Tの撮像画像において把持位置を検出するステップを含む。
 また、本実施の形態において、学習装置10は、処理対象物Tの撮像画像を取得する撮像画像取得部11と、処理対象物Tの撮像画像における処理対象物Tの特定の部位の位置を示す情報を取得する部位位置情報取得部12と、撮像画像取得部11により取得された撮像画像と、部位位置情報取得部12により取得された情報とを学習データとして、処理対象物Tの撮像画像を入力し処理対象物Tの特定の部位の位置を示す情報を出力する部位検出器14を学習する学習部13と、を備える。これにより、部位検出器14の検出精度を向上させることができる。
 (実施の形態2)
 (実施の形態2の背景技術)
 衣類などの被処理物を展開して折り畳む処理装置が提案されている。例えば、国際公開第2016/194703号には、被処理物の任意の点を保持可能な複数の保持装置と、被処理物を載置可能な載置装置を備える折り畳み装置が開示されている。この折り畳み装置は、被処理物を収容し、筐体内を上下に移動可能な収納部を備える。折り畳み等の間は、収納部を筐体の最上部又は最下部に移動させ、保持装置や載置板等の移動の邪魔にならないようにし、被処理物の取り出し時には、収納部を例えばユーザの上半身や腰の高さまで移動させ、被処理物を取り出しやすくすることができる。
 (実施の形態2が解決しようとする課題)
 上記の折り畳み装置では、処理対象物を受け入れる受入部に収容されている処理対象物の中から次に処理する処理対象物を自動的に選択し、選択した処理対象物を把持して掴み上げる必要がある。本発明者らは、上記の文献に記載された技術を改良し、本開示の技術に想到した。
 本開示の実施の形態2は、衣類などの処理対象物を処理するための技術を向上させる。
 (実施の形態2の課題を解決するための手段)
 本開示における衣類処理装置は、処理対象物を処理する衣類処理装置の内部に処理対象物を受け入れるための受入部の撮像画像を取得する撮像画像取得部と、異なる複数の時点において撮像された受入部の撮像画像を比較することにより、受入部の内部に存在する物の位置又は動きを検知する検知部と、を備える。
 本開示における衣類処理方法は、処理対象物を処理する衣類処理装置の内部に処理対象物を受け入れるための受入部の撮像画像を取得するステップと、異なる複数の時点において撮像された受入部の撮像画像を比較することにより、受入部の内部に存在する物の位置又は動きを検知するステップと、を備える。
 (実施の形態2の効果)
 本開示の実施の形態2によれば、衣類などの処理対象物を処理するための技術を向上させることができる。
 (実施の形態2の基礎となった知見等)
 本開示に係る衣類処理装置は、衣類などの処理対象物を折り畳む作業を行うための処理空間の下方に、処理対象物を受け入れて収容するための受入部を備える。衣類処理装置は、受入部に収容されている処理対象物の中から次に処理する処理対象物を自動的に選択し、選択した処理対象物を把持して掴み上げる必要がある。また、受入部の中に生物などが侵入した場合は、迅速に検知する必要がある。
 このような課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。本開示に係る衣類処理装置は、異なる複数の時点において撮像された受入部の撮像画像を比較することにより、受入部の内部に存在する物の位置又は動きを検知する。これにより、受入部に収容されている処理対象物の位置を特定し、適切に把持して掴み上げることができる。また、受入部の中に生物などが侵入したことを迅速に検知して、適切に対処することができる。
 [2-1.構成]
 [2-1-1.衣類処理装置の全体構成]
 実施の形態2における衣類処理装置1の全体構成は、実施の形態1における衣類処理装置1の全体構成と同様である。
 [2-1-2.処理対象物を保持する動作の詳細]
 受入部200内に入れられた処理対象物Tを保持装置300により保持して持ち上げる動作の詳細について説明する。
 図17は、実施の形態2に係る制御装置900の機能構成を示す。図17では、制御装置900の機能構成のうち、受入部200内に収容されている処理対象物Tを保持装置300により把持して掴み上げる動作を制御するための機能構成を主に示している。
 制御装置900は、撮像画像取得部921、検知部922、撮像領域抽出部925、把持対象判定部926、把持位置判定部927、及び収容数判定部928を備える。検知部922は、位置検知部923及び動体検知部924を含む。
 撮像画像取得部921は、第1撮像部510により撮像された受入部200の撮像画像を取得する。検知部922は、異なる複数の時点において撮像された受入部200の撮像画像を比較することにより、受入部200の内部に存在する処理対象物T物の位置、又は処理対象物T以外の動体の動きを検知する。
 位置検知部923は、処理対象物Tが受け入れられる前の受入部200の撮像画像である第1画像と、処理対象物Tが受け入れられた後の受入部200の撮像画像である第2画像とを比較することにより、受入部200に収容されている処理対象物Tの位置を検知する。第1画像は、衣類処理装置1の出荷前や使用開始時などに予め撮像されて制御装置900に保持されてもよい。
 図18A、図18B、図18Cは、受入部200の撮像画像の例を示す。図18Aは、第1画像の例である。図18Bは、第2画像の例である。図18Cは、第1画像と第2画像の差分画像である。処理対象物Tと背景が写っている第2画像から、処理対象物Tが入っていない状態の背景を除くことにより、処理対象物Tの撮像画像のみを抽出することができる。位置検知部923は、第1画像と第2画像の差分画像を算出し、差分画像に基づいて処理対象物Tの位置を検知する。
 撮像領域抽出部925は、差分画像において複数の処理対象物Tのそれぞれが写っている撮像領域を抽出する。撮像領域抽出部925は、第2画像又は差分画像のそれぞれの画素の色や輝度などの画素値や、画素値から算出可能な彩度などの値に基づいて、それぞれの処理対象物Tの撮像領域を抽出してもよい。撮像領域抽出部925は、処理対象物Tの柄や模様などに基づいて撮像領域を抽出してもよいし、処理対象物Tの生地、繊維、表面加工などに基づいて撮像領域を抽出してもよい。撮像領域抽出部925は、輪郭検出技術などを用いて、それぞれの処理対象物Tの撮像領域の輪郭を検出してもよい。撮像領域抽出部925は、第2画像において複数の処理対象物Tのそれぞれが写っている面積を抽出してもよい。
 図19は、処理対象物Tの撮像領域の例を示す。図19の例では、差分画像が複数の処理対象物Tの撮像領域に分割されている。
 収容数判定部928は、受入部200に収容されている処理対象物Tの数を判定する。収容数判定部928は、差分画像又は第2画像の色情報に基づいて、受入部200に収容されている処理対象物Tが1枚であるか複数枚であるかを判定してもよい。収容数判定部928は、撮像領域抽出部925により抽出された撮像領域に基づいて、受入部200に収容されている処理対象物Tが1枚であるか複数枚であるかを判定してもよい。
 把持対象判定部926は、位置検知部923により検知された処理対象物Tの位置に基づいて、保持部310に把持させる処理対象物Tを判定する。把持対象判定部926は、複数の処理対象物Tが受入部200に収容されている場合、最上にある処理対象物Tを把持対象と判定してもよい。例えば、把持対象判定部926は、撮像領域の面積が他の処理対象物Tの撮像領域の面積より大きい処理対象物Tを把持対象と判定してもよい。図19に示した例では、最大の撮像領域Sに対応する処理対象物Tが把持対象と判定されてもよい。第1撮像部510が測距機能を有している場合は、把持対象判定部926は、第2画像又は差分画像の各画素の高さ情報に基づいて、最上にある処理対象物Tを判定してもよい。これにより、処理対象物Tを1つずつ適切に把持して掴み上げることができる。把持対象判定部926は、撮像領域の輪郭線の全体が滑らかに連続する曲線である処理対象物Tを把持対象と判定してもよい。把持対象判定部926は、撮像領域の輪郭線の全体が微分可能である処理対象物Tを把持対象と判定してもよい。これにより、他の処理対象物Tにより覆われていない処理対象物Tを優先的に把持対象とすることができるので、処理対象物Tを1つずつ適切に把持して掴み上げることができる。収容数判定部928により、受入部200に収容されている処理対象物Tの数が1枚であると判定されている場合は、把持対象判定部926は、把持対象の判定を省略してもよい。
 把持位置判定部927は、位置検知部923により検知された処理対象物Tの位置に基づいて、保持部310に把持させる処理対象物Tの位置を判定する。把持位置判定部927は、第1点検出部915の一例である。
 把持位置判定部927は、把持対象とされた処理対象物Tの撮像領域の中央付近を把持位置と判定してもよい。例えば、把持位置判定部927は、撮像領域の重心位置付近を把持位置と判定してもよい。これにより、把持対象の処理対象物Tを把持する際に、把持対象以外の処理対象物Tを一緒に把持してしまう可能性を低減させることができる。また、保持部310の位置が多少ずれても確実に把持対象の処理対象物Tを把持することができる。
 図20は、処理対象物Tの把持位置の例を示す。把持位置判定部927は、把持対象とされた処理対象物Tの撮像領域において所定方向で最大となる線分の中点付近を把持位置と判定してもよい。例えば、図20において、X方向で最大となる線分Lxの中点Mx付近が把持位置と判定されてもよいし、Y方向で最大となる線分Lyの中点My付近が把持位置と判定されてもよい。所定方向は、任意の方向であってもよい。所定方向は、固定された方向であってもよいし、撮像領域のサイズや形状などに応じて変更されてもよい。
 把持位置判定部927は、把持対象とされた処理対象物Tの撮像領域において異なる2つの方向で最大となる線分の交点付近を把持位置と判定してもよい。例えば、図20において、X方向で最大となる線分LxとY方向で最大となる線分Lyの交点C付近が把持位置と判定されてもよい。所定方向は、任意の方向であってもよい。所定方向は、固定された方向であってもよいし、撮像領域のサイズや形状などに応じて変更されてもよい。
 図20に示した例のように把持位置を判定することにより、処理対象物Tがイレギュラーな形状となっている場合でも、処理対象物Tを適切に把持することができる。図21A、図21B、図21C、図21D、及び図21Eは、受入部200に収容された処理対象物Tがドーナツ状の形状となっている場合の把持位置の例を示す。図21A及び図21Cは、X方向で最大となる線分Lxの中点Mx、又はY方向で最大となる線分Lyの中点Myを把持位置とした例を示す。図21B及び図21Dは、X方向で最大となる線分LxとY方向で最大となる線分Lyの交点Cを把持位置とした例を示す。これらの例では、処理対象物Tを把持位置で把持することができる。図21Eは、撮像領域の重心Oを把持位置とした例を示す。重心Oの位置には処理対象物Tが存在しないので、この例では、処理対象物Tを把持することができない。
 把持位置判定部927は、判定された把持位置が、把持対象の処理対象物Tの撮像領域の輪郭部付近であった場合、別の方法で把持位置を判定してもよい。把持位置判定部927は、判定された把持位置を中心として所定の距離の範囲内に、別の処理対象物Tの撮像領域がある場合、判定された把持位置が輪郭部付近にあると判定してもよい。把持位置判定部927は、輪郭部以外の把持位置が判定されるまで、把持位置の判定を繰り返してもよい。これにより、把持対象の処理対象物Tを把持する際に、把持対象以外の処理対象物Tを一緒に把持してしまう可能性を低減させることができる。また、保持部310の位置が多少ずれても確実に把持対象の処理対象物Tを把持することができる。収容数判定部928により、受入部200に収容されている処理対象物Tの数が1枚であると判定されている場合は、把持対象以外の処理対象物Tを一緒に把持してしまう可能性を考慮する必要がないので、把持位置判定部927は、輪郭部付近を把持位置と判定してもよい。
 把持位置判定部927は、処理対象物Tの撮像領域を含む画像と把持すべき位置を示す情報とを使用して機械学習された把持位置判定アルゴリズムを用いて、把持対象とされた処理対象物Tの撮像領域を含む画像から把持位置を判定してもよい。把持位置判定アルゴリズムは、差分画像又は第2画像を入力し、把持位置を出力するアルゴリズムであってもよい。図示しない学習装置は、処理対象物Tの撮像領域を含む画像と、その画像において処理対象物Tの把持位置を示す情報とを教師データとして使用し、教師あり学習により把持位置判定アルゴリズムを学習して、衣類処理装置1に提供してもよい。
 受入部200の内面に、処理対象物Tの高さを検知するための模様が描かれてもよい。模様は、例えば、柄、パターン、マーク、図形、記号などであってもよい。位置検知部923は、第2画像に含まれる模様に基づいて、処理対象物Tの高さを検知してもよい。例えば、位置検知部923は、受入部200の内面の模様と、その高さとの対応関係を保持しておき、第2画像に写っている模様と写っていない模様との境界の高さを検知してもよい。これにより、保持部310により処理対象物Tを把持する精度を向上させることができる。第2画像に含まれる模様などの変化に基づいて、受入部200の内面の凹み、歪み、きずなどを検知することもできる。
 把持対象の処理対象物Tと把持位置が決定されると、保持装置制御部901は、保持部310を制御して、把持対象の処理対象物Tを把持位置で把持させる。把持に成功すると、処理対象物Tの展開、折り畳み等の処理が実行される。把持に失敗した場合は、同じ処理対象物Tの把持を再度実行してもよいし、別の処理対象物Tを把持対象としてもよい。
 把持対象判定部926は、受入部200の内部を複数の探索領域に分割し、保持部310に把持させる処理対象物Tを探索する探索領域を切り替えてもよい。ある探索領域において把持対象と判定された処理対象物Tの処理が終了すると、把持対象判定部926は、別の探索領域において把持対象を探索してもよい。これにより、受入部200に収容された複数の処理対象物Tを万遍なく処理することができる。ある探索領域において把持対象と判定された処理対象物Tの把持に失敗した場合も、把持対象判定部926は、別の探索領域において把持対象を探索してもよい。これにより、把持しやすい処理対象物Tから処理していくことができるので、処理の効率を向上させることができる。
 動体検知部924は、処理対象物以外の動体を検知する。動体検知部924は、異なる複数の時点において撮像された受入部200の内部の撮像画像を比較することにより、動体の存否を検知してもよい。第1撮像部510は、動体の動きを検知する場合は、比較的短い間隔、例えば数秒~数十秒間隔で受入部200の内部を撮像してもよい。これにより、受入部200の内部に侵入した動体を迅速に検知し、保持部310の動きを停止させたり、衣類処理装置1の電源をオフにしたりするなどの措置を講じることができるので、衣類処理装置1の安全性を向上させることができる。
 [2-2.動作]
 以上のように構成された衣類処理装置1について、以下その動作、作用を説明する。
 図22は、実施の形態2に係る衣類処理方法の手順を示すフローチャートである。受入部200に収容された処理対象物Tの処理を開始する前に、第1撮像部510は、受入部200の内部を撮像する(S110)。撮像画像取得部921は、第1撮像部510により撮像された受入部200の内部の撮像画像を取得する(S112)。位置検知部923は、処理対象物Tが受け入れられる前の受入部200の撮像画像である第1画像と、処理対象物Tが受け入れられた後の受入部200の撮像画像である第2画像の差分画像を算出する(S114)。撮像領域抽出部925は、差分画像において複数の処理対象物Tのそれぞれが写っている撮像領域を抽出する(S116)。収容数判定部928は、受入部200に収容されている処理対象物Tの数を判定する(S118)。把持対象判定部926は、位置検知部923により検知された処理対象物Tの位置に基づいて、保持部310に把持させる処理対象物Tを判定する(S120)。把持位置判定部927は、把持対象の処理対象物Tを保持部310に把持させる位置を判定する(S122)。
 保持装置制御部901は、保持部310を制御して、把持対象の処理対象物Tを把持位置で把持させる(S124)。衣類処理装置1は、保持部310により把持された処理対象物Tの展開、折り畳み等の処理を実行する(S126)。受入部200に収容されていた全ての処理対象物Tを収納部710に収納すると(S128のN)、処理を終了する。受入部200に未処理の処理対象物Tが残っている場合は(S128のY)、把持対象判定部926は、把持対象を判定する探索領域を切り替え(S130)、S110に戻って、次の処理対象物Tの処理を開始する。
 [2-3.効果等]
 以上のように、本実施の形態において、衣類処理装置1は、処理対象物Tを処理する衣類処理装置1の内部に処理対象物Tを受け入れるための受入部200の撮像画像を取得する撮像画像取得部921と、異なる複数の時点において撮像された受入部200の撮像画像を比較することにより、受入部200の内部に存在する物の位置又は動きを検知する検知部922と、を備える。これにより、受入部200に収容されている処理対象物Tを適切に把持して掴み上げることができる。また、受入部200の中に生物などが侵入したことを迅速に検知することができる。
 また、本実施の形態において、検知部922は、処理対象物Tが受け入れられる前の受入部200の撮像画像である第1画像と、処理対象物Tが受け入れられた後の受入部200の撮像画像である第2画像とを比較することにより、受入部200に収容されている処理対象物Tの位置を検知する位置検知部923を含む。これにより、受入部200に収容されている処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、衣類処理装置1は、第2画像、又は第1画像と第2画像との差分画像において複数の処理対象物のそれぞれが写っている撮像領域を抽出する撮像領域抽出部925を更に備える。これにより、受入部200に収容されている処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、衣類処理装置1は、位置検知部923により検知された処理対象物Tの位置に基づいて、処理対象物Tを把持する保持部310に把持させる処理対象物Tを判定する把持対象判定部926を更に備える。これにより、受入部200に収容されている処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、把持対象判定部926は、撮像領域がより大きい処理対象物Tを把持対象と判定する。これにより、最上の処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、把持対象判定部926は、受入部200の内部を複数の探索領域に分割し、保持部310に把持させる処理対象物Tを探索する探索領域を切り替える。これにより、受入部200に収容された複数の処理対象物Tを万遍なく処理することができる。
 また、本実施の形態において、衣類処理装置1は、位置検知部923により検知された処理対象物Tの位置に基づいて、処理対象物Tを把持する保持部310に把持させる位置を判定する把持位置判定部927を更に備える。これにより、受入部200に収容されている処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、把持位置判定部927は、把持対象とされた処理対象物Tの撮像領域の中央付近を把持位置と判定する。これにより、処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、把持位置判定部927は、把持対象とされた処理対象物Tの撮像領域において所定方向で最大となる線分の中点付近を把持位置と判定する。これにより、処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、把持位置判定部927は、把持対象とされた処理対象物Tの撮像領域において異なる2つの方向で最大となる線分の交点付近を把持位置と判定する。これにより、処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、把持位置判定部927は、処理対象物Tの撮像領域を含む画像と把持すべき位置を示す情報とを使用して機械学習された把持位置判定アルゴリズムを用いて、把持対象とされた処理対象物Tの撮像領域を含む画像から把持位置を判定する。これにより、処理対象物Tを適切に把持して掴み上げることができる。
 また、本実施の形態において、把持位置判定部927は、判定された把持位置が撮像領域の輪郭部付近であった場合、再度把持位置を判定する。これにより、把持対象の処理対象物Tを把持する際に、把持対象以外の処理対象物Tを一緒に把持してしまう可能性を低減させることができる。
 また、本実施の形態において、衣類処理装置1は、第2画像、又は第1画像と第2画像との差分画像に基づいて、受入部200に収容されている処理対象物Tの数を判定する収容数判定部928を更に備える。これにより、処理対象物Tを把持する効率を向上させることができる。
 また、本実施の形態において、受入部200の内面に模様が描かれ、位置検知部923は、第2画像に含まれる模様に基づいて、処理対象物Tの高さを検知する。これにより、簡易な構成で処理対象物Tの高さを検知することができるので、衣類処理装置1の製造コストを低減させることができる。
 また、本実施の形態において、検知部922は、処理対象物T以外の動体を検知する動体検知部924を含む。これにより、受入部200に侵入した生物などを迅速に検知し、適切に対処することができる。
 また、本実施の形態において、衣類処理方法は、処理対象物Tを処理する衣類処理装置1の内部に処理対象物Tを受け入れるための受入部200の撮像画像を取得するステップと、異なる複数の時点において撮像された受入部200の撮像画像を比較することにより、受入部200の内部に存在する物の位置又は動きを検知するステップと、を備える。これにより、受入部200に収容されている処理対象物Tを適切に把持して掴み上げることができる。また、受入部200の中に生物などが侵入したことを迅速に検知することができる。
 (実施の形態3)
 (実施の形態3の背景技術)
 衣類などの処理対象物を展開して折り畳む処理装置が提案されている。例えば、特開2020-054473号公報には、被処理物の任意の点を保持可能な複数の保持装置と、被処理物を載置可能な載置装置を備える処理装置が開示されている。この処理装置は、複数の保持装置の少なくとも2つが被処理物の2つの端点を保持している状態において撮像された画像に基づいて、少なくとも2つの長手部分を有する被処理物を認識し、複数の保持装置及び載置装置を用いて展開する。
 (実施の形態3が解決しようとする課題)
 上記の折り畳み装置は、予め定められた手順にしたがって処理対象物を折り畳むが、処理対象物が予定されていなかった状態となる場合がある。このような特異な事象が生じた場合に、適切に対処する技術が必要である。
 本開示の実施の形態3は、衣類などの処理対象物を処理するための技術を向上させる。
 (実施の形態3の課題を解決するための手段)
 本開示における衣類処理装置は、処理対象物の撮像画像を取得する撮像画像取得部と、撮像画像取得部により取得された処理対象物の撮像画像に基づいて、処理対象物の折り畳み方を予め定めた折り畳み情報において定められた処理対象物の状態又は属性とは異なる特異事象を検出する特異事象検出部と、特異事象検出部により特異事象が検出された場合、特異事象に応じた処理を実行する特異事象処理部と、を備える。
 本開示における検出方法は、処理対象物の撮像画像を取得するステップと、取得された処理対象物の撮像画像に基づいて、処理対象物の折り畳み方を予め定めた折り畳み情報において定められた処理対象物の状態又は属性とは異なる特異事象を検出するステップと、を備える。
 本開示における衣類処理方法は、処理対象物の撮像画像を取得するステップと、取得された処理対象物の撮像画像に基づいて、処理対象物の折り畳み方を予め定めた折り畳み情報において定められた処理対象物の状態又は属性とは異なる特異事象を検出するステップと、特異事象が検出された場合、特異事象に応じた処理を実行するステップと、を備える。
 (実施の形態3の効果)
 本開示の実施の形態3によれば、衣類などの処理対象物を処理するための技術を向上させることができる。
 (実施の形態3の基礎となった知見等)
 本開示に係る衣類処理装置は、処理対象物の種類に応じて折り畳み方を予め定めた折り畳み情報にしたがって処理対象物を処理する。処理の途中で、処理対象物がねじれたり、処理対象物の一部が別の部分の上に乗り上げたり、折り畳んだ処理対象物が収納する際に垂れ下がったりする場合がある。また、処理対象物が折り畳みの収納仕上がり品質を低下させるほど厚かったり、処理対象物に紐が付いていたりする場合がある。このように、処理対象物の状態や属性が予定されていたものとは異なる特異事象が生じた場合に、適切に対処する技術が必要である。
 このような課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。本開示に係る衣類処理装置は、処理対象物の撮像画像に基づいて特異事象を検出し、特異事象が検出された場合は特異事象に応じた処理を実行する。これにより、特異事象が生じた場合であっても、特異事象を迅速に検出し、適切に対処することができる。また、収納仕上がり品質を低下させる要素を除外し、収納仕上がり品質を向上させることができる。
 [3-1.構成]
 [3-1-1.衣類処理装置の全体構成]
 実施の形態3における衣類処理装置1の全体構成は、実施の形態1における衣類処理装置1の全体構成と同様である。
 [3-1-2.特異事象への対処の詳細]
 処理対象物Tの状態や属性が折り畳み情報において予定されていたものとは異なる特異事象が生じる場合がある。このような特異事象を検出し、検出された特異事象に適切に対処する技術の詳細について説明する。
 図23は、実施の形態3に係る制御装置900の機能構成を示す。図23では、制御装置900の機能構成のうち、特異事象を検出して対処するための機能構成を主に示している。
 制御装置900は、撮像画像取得部940、特異事象検出部941、特異事象処理部942、及び特異事象検出器943を備える。
 撮像画像取得部940は、第2撮像部520又は第3撮像部530により撮像された処理対象物Tの撮像画像を取得する。
 特異事象検出部941は、撮像画像取得部940により取得された処理対象物Tの撮像画像に基づいて、処理対象物Tの折り畳み方を予め定めた折り畳み情報において定められた処理対象物Tの状態又は属性とは異なる特異事象を検出する。特異事象検出部941は、処理対象物Tの撮像画像を入力し、特異事象の有無又は内容を示す情報を出力する特異事象検出器943を用いて特異事象を検出してもよい。特異事象検出部941は、処理対象物Tの撮像画像を画像処理することにより特異事象を検出してもよい。
 特異事象処理部942は、特異事象検出部941により特異事象が検出された場合、特異事象に応じた処理を実行する。
 特異事象検出部941により検出された特異事象が、解消可能な特異事象である場合、特異事象処理部942は、特異事象を解消するための処理を実行してもよい。特異事象検出部941は、特異事象処理部942による処理が終了した後に、特異事象が解消したか否かを確認してもよい。この場合、撮像画像取得部940は、特異事象処理部942による処理が終了した後に撮像された処理対象物Tの撮像画像を取得し、特異事象検出部941は、撮像画像取得部940により取得された処理対象物Tの撮像画像に基づいて、特異事象を検出する。特異事象が検出されなければ、処理対象物Tの処理が続行される。特異事象が再び検出された場合は、特異事象処理部942は、特異事象を解消するための処理を再度実行してもよい。特異事象を解消するための処理の種類が複数ある場合は、特異事象処理部942は、既に実行した処理とは異なる処理を実行してもよい。
 特異事象検出部941により検出された特異事象が、解消不可能又は解消困難な特異事象である場合、特異事象処理部942は、処理対象物Tを処理対象から除外して処理を終了してもよい。この場合、特異事象処理部942は、処理対象物Tを受入部200に戻してもよいし、収納部710の処理不能な処理対象物Tを収納する場所に収納してもよい。
 図24は、実施の形態3に係る学習装置20の機能構成を示す。学習装置20は、撮像画像取得部21、特異事象情報取得部22、学習部23、及び特異事象検出器24を備える。学習装置20は、機械学習により特異事象検出器24を学習する。
 撮像画像取得部21は、撮像装置により撮像された処理対象物Tの撮像画像を取得する。撮像画像取得部21は、特異事象が生じているときの処理対象物Tの撮像画像を取得する。撮像画像取得部21は、特異事象が生じていないときの処理対象物Tの撮像画像を更に取得してもよい。撮像画像取得部21は、第2撮像部520又は第3撮像部530により撮像された処理対象物Tの撮像画像を取得してもよい。これにより、処理対象物Tの特異事象を検出するときと同様の条件で撮像された撮像画像を学習データとして使用することができるので、特異事象検出器24の精度を向上させることができる。
 特異事象情報取得部22は、処理対象物Tの撮像画像における特異事象の有無及び内容を示す情報を取得する。この情報は、教師あり学習における教師データとして使用される。
 学習部23は、撮像画像取得部21により取得された撮像画像と、特異事象情報取得部22により取得された情報とを学習データとして、教師あり学習により特異事象検出器24を学習する。特異事象検出器24は、処理対象物Tの撮像画像を入力層に入力し、特異事象の有無又は内容を示す情報を出力層から出力するニューラルネットワークなどであってもよい。この場合、学習部23は、撮像画像取得部21により取得された撮像画像のデータがニューラルネットワークの入力層に入力されたときに、特異事象情報取得部22により取得された情報がニューラルネットワークの出力層から出力されるように、ニューラルネットワークの中間層を調整することにより、特異事象検出器24を学習してもよい。
 学習部23により学習された特異事象検出器24は、衣類処理装置1に提供される。衣類処理装置1は、特異事象検出器943により特異事象の有無又は内容が誤検出された場合、正しい特異事象の有無又は内容を示す情報を取得し、特異事象検出器943を追加学習してもよい。衣類処理装置1は、所定のタイミングで、学習装置20により追加学習された特異事象検出器24を取得して、特異事象検出器943を更新してもよい。
 以下、特異事象の具体例と、その特異事象を検出する方法、及びその特異事象に対処するための方法について詳述する。
[3-1-2-1.乗り上げ]
 処理対象物Tの一部が、処理対象物Tの別の部分の上に乗り上げた状態になると、折り畳み情報において定められた展開終了形状で処理対象物Tを保持することができないので、処理対象物Tをきれいに折り畳むことができない。したがって、乗り上げ状態になったことを検出して、乗り上げ状態を解消する必要がある。
 図25は、様々な種類の処理対象物Tの展開終了形状の例を示す。処理対象物Tの展開終了形状は、処理対象物Tの種類に応じて予め定められている。長袖シャツT1、半袖シャツT2、ノースリーブシャツT3は、いずれも、上下を逆にして、腰側の端部の両端付近の2点を2つの保持部310により把持した状態で展開を終了する。ズボンT4、短パンT5、トランクスT6は、いずれも、腰側の端部の両端付近の2点を2つの保持部310により把持した状態で展開を終了する。タオルT7は、短辺の両端付近の2点を2つの保持部310により把持した状態で展開を終了する。
 図26A及び図26Bは、長袖シャツT1の撮像画像の例を示す。図26Aは、長袖シャツT1を展開しているときに、両袖を2つの保持部310により把持した正常状態を示す。図26Bは、長袖シャツT1の両袖を2つの保持部310により把持したときに、胴体部分が首部分の上に乗り上げた状態を示す。特異事象検出部941は、図26Bに示した状態を特異事象として検出する。
 図27A及び図27Bは、ズボンT4の撮像画像の例を示す。図27Aは、ズボンT4を展開しているときに、両裾を2つの保持部310により把持した正常状態を示す。図27Bは、ズボンT4の両裾を2つの保持部310により把持したときに、腰部分が股部分の上に乗り上げた状態を示す。特異事象検出部941は、図27Bに示した状態を特異事象として検出する。
 特異事象検出部941は、特異事象検出器943を用いて乗り上げ状態を検出する。この特異事象検出器943は、図26B及び図27Bに示したような乗り上げ状態の処理対象物Tの撮像画像や、図26A及び図27Aに示したような正常状態の処理対象物Tの撮像画像と、その撮像画像に写っている処理対象物Tが乗り上げ状態であるか正常状態であるかを示す情報とを学習データとして、教師あり学習により学習されたものであってもよい。
 特異事象検出部941により乗り上げ状態が検出された場合、特異事象処理部942は、乗り上げ状態を解消するための処理を実行する。例えば、特異事象処理部942は、処理対象物Tを把持している2つの保持部310を交互に上下させて処理対象物Tを揺することにより、乗り上げた部分をほぐしてもよい。特異事象処理部942は、乗り上げた部分を作業板410に載置し、作業板410を上昇させてから回転させることにより、乗り上げた部分を落下させてもよい。特異事象処理部942は、処理対象物Tを保持している2以上の保持部310のうち、いずれかによる保持を解放することにより、乗り上げ状態を解消してから、その保持部310により処理対象物Tを再度保持してもよい。1回の動作で乗り上げ状態を解消できない場合は、特異事象処理部942は、上記の動作を任意に組み合わせたり、繰り返したりしてもよい。これにより、折り畳み情報において定められた展開終了形状で処理対象物Tを保持して処理対象物Tをきれいに折り畳むことができるようになり、処理対象物Tの処理効率を向上させることができる。
[3-1-2-2.ねじれ]
 処理対象物Tの一部がねじれた状態のまま折り畳まれると、処理対象物Tを使用する際にしわが残る場合がある。したがって、ねじれ状態になったことを検出して、ねじれ状態を解消する必要がある。
 図28は、長袖シャツT1の撮像画像の例を示す。図28は、長袖シャツT1の胴体部分を作業板410に載置したときに、袖部分がねじれた状態を示す。特異事象検出部941は、図28に示した状態を特異事象として検出する。
 図29A、図29B、図29C、及び図29Dは、長袖シャツT1のねじれた袖部分の拡大図である。それぞれの図の左側は、奥行き情報を含む撮像画像であり、右側は、袖部分のスケッチである。図29Aの例では、袖部分の上部(肩側)が左奥、下部(手側)が右手前にあるので、袖部分は時計回りにねじれている。図29Bの例では、袖部分の上部が左手前、下部が右奥にあるので、袖部分は時計回りにねじれている。図29Cの例では、袖部分の上部が右手前、下部が左奥にあるので、袖部分は反時計回りにねじれている。図29Dの例では、袖部分の上部が右奥、下部が左手前にあるので、袖部分は反時計回りにねじれている。このように、特異事象検出部941は、撮像画像における処理対象物Tの形状や奥行き情報などに基づいて、ねじれの有無及び向きを検出する。
 特異事象検出部941は、特異事象検出器943を用いてねじれ状態を検出してもよい。この特異事象検出器943は、図28、図29A、図29B、図29C、及び図29Dに示したようなねじれ状態の処理対象物Tの撮像画像や、ねじれていない正常状態の処理対象物Tの撮像画像と、その撮像画像に写っている処理対象物Tがねじれ状態であるか正常状態であるか、ねじれている場合はねじれの向きを示す情報とを学習データとして、教師あり学習により学習されたものであってもよい。
 特異事象検出部941によりねじれ状態が検出された場合、特異事象処理部942は、ねじれ状態を解消するために処理対象物Tを逆方向にねじる動作を行う。特異事象処理部942は、処理対象物Tを保持している保持部310のRoll部314などを、処理対象物Tのねじれ方向と逆の方向に回転させることにより、ねじれた状態をねじれていない状態に戻してもよい。特異事象処理部942は、処理対象物Tを保持している保持部310とは別の保持部310により処理対象物Tのねじれた部分を保持し、別の保持部310を移動又は回転させることにより処理対象物Tのねじれた部分をねじれていない状態に戻して保持してもよい。これにより、処理対象物Tがねじれた状態のまま折り畳まれたことによるしわが残るようなことを抑制し、収納仕上がり品質を向上させることができる。
[3-1-2-3.垂れ]
 処理対象物Tを折り畳んだ状態で保持部310により保持したときに、処理対象物Tが垂れ下がる場合がある。とくに、薄い生地の処理対象物Tで垂れ状態が発生しやすい。折り畳まれた処理対象物Tを保持部310により保持して収納部710に収納する際に、処理対象物Tが垂れ下がった状態のまま収納部710に収納すると、形状が崩れた状態で収納される場合がある。したがって、垂れ状態を検出して、垂れ状態を解消する必要がある。
 図30A及び図30Bは、長袖シャツT1の撮像画像の例を示す。図30Aは、折り畳まれた長袖シャツT1を2つの保持部310により把持した正常状態を示す。図30Bは、折り畳まれた長袖シャツT1を2つの保持部310により把持したときに、把持していない部分が垂れ下がった状態を示す。特異事象検出部941は、図30Bに示した状態を特異事象として検出する。
 図31は、垂れ状態を検出するための方法を説明するための図である。特異事象検出部941は、処理対象物Tの撮像画像において、処理対象物Tを囲む矩形Rを定義し、定義された矩形Rに対する処理対象物Tの撮像領域の面積比を算出する。垂れ状態になると、矩形Rの面積が大きくなるので、処理対象物Tの撮像領域の面積比は小さくなる。垂れ状態と判定するための面積比の閾値を実験などにより予め定めておく。特異事象検出部941は、算出した処理対象物Tの撮像領域の面積比が閾値よりも小さければ、垂れ状態であると判定する。閾値は、処理対象物Tの種類やサイズなどに応じて設定されてもよい。
 特異事象検出部941は、特異事象検出器943を用いて垂れ状態を検出してもよい。この特異事象検出器943は、図30Bに示したような垂れ状態の処理対象物Tの撮像画像や、図30Aに示したような垂れ下がっていない正常状態の処理対象物Tの撮像画像と、その撮像画像に写っている処理対象物Tが垂れ状態であるか正常状態であるかを示す情報とを学習データとして、教師あり学習により学習されたものであってもよい。
 特異事象検出部941により垂れ状態が検出された場合、特異事象処理部942は、垂れ状態を解消するための処理を実行する。例えば、特異事象処理部942は、処理対象物Tの長手方向の中心線が作業板410の縁部に乗るように処理対象物Tを作業板410に載置し、処理対象物Tを更に半分に折り畳んでもよい。垂れ状態が発生しやすいのは薄い生地の処理対象物Tであるため、更に半分に折り畳んでも処理対象物Tの収納仕上がりは問題ない。これにより、処理対象物Tの折り畳み形状が崩れた状態で収納されることを抑制し、収納仕上がり品質を向上させることができる。
[3-1-2-4.厚み]
 処理対象物Tの厚みが、折り畳み情報において予定されたとは異なる場合、折り畳んだ状態の中心線が処理対象物Tの中心線とずれて左右非対称になったり、折り畳んだ状態のサイズが厚みに応じてばらばらになってしまったりして、収納仕上がり品質が悪くなる場合がある。したがって、処理対象物Tの厚みを検出して、厚みに応じて折り位置を調整する必要がある。また、処理対象物Tが折り畳めないほど厚い場合は、処理対象から除外する必要がある。
 図32は、処理対象物Tの厚みを検出する方法を説明するための図である。処理対象物Tを作業板410に載置して、作業板410の上端が第2撮像部520又は第3撮像部530のレンズとほぼ同じ高さになるように作業板410を移動させ、第2撮像部520又は第3撮像部530により処理対象物Tと作業板410を撮像する。特異事象検出部941は、処理対象物Tと作業板410の撮像画像において、作業板410の上端の高さと処理対象物Tの上端の高さの差を処理対象物Tの厚みとして検出する。特異事象検出部941は、複数の位置において作業板410の上端の高さと処理対象物Tの上端の高さの差を算出し、それらの平均値、最大値、中央値などの統計値を処理対象物Tの厚みとしてもよい。
 特異事象処理部942は、特異事象検出部941により検出された処理対象物Tの厚みに応じて、対称性とサイズが揃うように、処理対象物Tの折り位置を調整する。特異事象処理部942は、特異事象検出部941により検出された処理対象物Tの厚みが、折り畳みが不可能又は困難であるような所定値以上である場合、その処理対象物Tを処理対象から除外して処理を終了し、所定の場所に収納する。これにより、収納仕上がり品質を低下させるほどの厚さの処理対象物Tを除外し、収納仕上がり品質を向上させることができる。
[3-1-2-5.紐]
 肩紐、腰紐、飾り紐などの紐が付いた処理対象物Tは、保持部310や作業板410などに紐が引っ掛かるなどして、処理対象物Tにダメージを与えたり、衣類処理装置1の構成要素の故障や破損を誘発したりする可能性がある。したがって、紐の付いた処理対象物Tを検出して処理対象から除外する必要がある。
 図33は、処理対象物Tの撮像画像の例を示す。処理対象物Tは、紐Vを有する。特異事象検出部941は、図33に示すような紐Vの付いた処理対象物Tを検出する。
 特異事象検出部941は、特異事象検出器943を用いて紐Vの付いた処理対象物Tを検出する。この特異事象検出器943は、図33に示したような紐Vの付いた処理対象物Tの撮像画像や、紐の付いていない処理対象物Tの撮像画像と、その撮像画像に写っている処理対象物Tに紐Vが付いているか否かを示す情報とを学習データとして、教師あり学習により学習されたものであってもよい。
 特異事象処理部942は、特異事象検出部941により紐Vが付いた処理対象物Tが検出された場合、その処理対象物Tを処理対象から除外して処理を終了し、所定の場所に収納する。これにより、処理対象物Tにダメージを与えたり、衣類処理装置1の構成要素の故障や破損を誘発したりすることを抑制し、処理対象物Tの処理効率を向上させることができる。
 [3-2.動作]
 以上のように構成された衣類処理装置1について、以下その動作、作用を説明する。
 図34は、実施の形態3に係る衣類処理方法の手順を示すフローチャートである。本図の手順は、衣類処理装置1が処理対象物Tを処理している間、所定の時点で、又は、所定の時間間隔で定期的に実行される。本図の手順は、衣類処理装置1による処理対象物Tの処理を一時中断してから実行されてもよいし、処理対象物Tの処理と並行して実行されてもよい。
 制御装置900は、通常折り畳み処理の実行中に(S206)、所定のタイミングで特異事象を検出する。特異事象を検出するタイミングが到来するまでは(S208のN)、S206に戻り、処理対象物Tの通常折り畳み処理を継続する。特異事象を検出するタイミングが到来すると(S208のY)、撮像画像取得部940は、第2撮像部520又は第3撮像部530により撮像された処理対象物Tの撮像画像を取得する(S210)。特異事象検出部941は、撮像画像取得部940により取得された処理対象物Tの撮像画像に基づいて特異事象を検出する(S212)。特異事象検出部941により特異事象が検出されない場合(S212のN)、S206に戻り、処理対象物Tの通常折り畳み処理を継続する。特異事象検出部941により特異事象が検出された場合(S212のY)、特異事象処理部942は、特異事象に応じた処理を実行する。
 特異事象検出部941により検出された特異事象が、解消可能な特異事象である場合(S214のY)、特異事象処理部942は、特異事象を解消するための処理を実行する(S216)。例えば、特異事象検出部941により検出された特異事象が、乗り上げ状態、ねじれ状態、垂れ状態などである場合、特異事象処理部942は、上述した特異事象解消処理を実行する。また、特異事象検出部941により、処理対象物Tの厚みが予定より厚いことが検出された場合、特異事象処理部942は、処理対象物Tの厚みに応じて折り位置を調整する。特異事象解消処理が終了すると、S206に戻り、処理対象物Tの通常折り畳み処理を継続する。特異事象解消処理終了後に、特異事象検出部941は、特異事象処理部942が処理を実行した後の処理対象物Tの撮像画像に基づいて、特異事象が解消されたかどうか確認してもよい。
 特異事象検出部941により検出された特異事象が、解消不可能又は解消困難な特異事象である場合(S214のN)、特異事象処理部942は、処理対象物Tを処理対象から除外し(S218)、処理対象物Tを所定場所に収納する(S220)。例えば、特異事象検出部941により、処理対象物Tの厚みが所定値以上であることや、処理対象物Tに紐Vが付いていることなどが検出された場合、特異事象処理部942は、その処理対象物Tを処理対象から除外して処理を終了する。
 [3-3.効果等]
 以上のように、本実施の形態において、衣類処理装置1は、処理対象物Tの撮像画像を取得する撮像画像取得部940と、撮像画像取得部940により取得された処理対象物Tの撮像画像に基づいて、処理対象物Tの折り畳み方を予め定めた折り畳み情報において定められた処理対象物Tの状態又は属性とは異なる特異事象を検出する特異事象検出部941と、特異事象検出部941により特異事象が検出された場合、特異事象に応じた処理を実行する特異事象処理部942と、を備える。これにより、特異事象を的確に検出して、適切に対処することができるので、処理対象物Tの処理効率を向上させることができる。また、収納仕上がり品質を低下させる要素を除外し、収納仕上がり品質を向上させることができる。
 また、本実施の形態において、特異事象検出部941は、奥行き情報を取得可能な第3撮像部530により撮像された処理対象物Tの撮像画像に基づいて特異事象を検出する。これにより、検出精度を向上させることができる。
 また、本実施の形態において、特異事象検出部941は、処理対象物Tの撮像画像を入力し、特異事象の有無又は内容を出力する特異事象検出器943を用いて特異事象を検出する。これにより、検出精度を向上させることができる。
 また、本実施の形態において、特異事象は、処理対象物の一部が別の部分の上に乗り上げた状態を含む。これにより、乗り上げ状態を的確に検出して、適切に対処することができる。
 また、本実施の形態において、特異事象処理部942は、処理対象物Tを保持している保持部310を移動させることにより、乗り上げた部分を落下させる。これにより、乗り上げ状態を適切に解消することができる。
 また、本実施の形態において、特異事象処理部942は、回転可能に設けられた作業板410に処理対象物Tを載置し、作業板410を回転させることにより、乗り上げた部分を落下させる。これにより、乗り上げ状態を適切に解消することができる。
 また、本実施の形態において、特異事象処理部942は、処理対象物Tを保持している2以上の保持部310のうちいずれかによる保持を解放し、その保持部310により再度処理対象物を保持する。これにより、乗り上げ状態を適切に解消することができる。
 また、本実施の形態において、特異事象は、処理対象物Tがねじれた状態を含む。これにより、ねじれ状態を的確に検出して、適切に対処することができる。
 また、本実施の形態において、特異事象処理部942は、処理対象物Tを保持している保持部310を、処理対象物Tのねじれ方向と逆の方向に回転させることにより、ねじれた状態をねじれていない状態に戻す。これにより、ねじれ状態を適切に解消することができる。
 また、本実施の形態において、特異事象処理部942は、処理対象物Tを保持している保持部310とは別の保持部310により処理対象物Tのねじれた部分を保持し、別の保持部310を移動又は回転させることにより、処理対象物Tのねじれた部分をねじれていない状態に戻して保持する。これにより、ねじれ状態を適切に解消することができる。
 また、本実施の形態において、特異事象は、折り畳まれた処理対象物が垂れ下がった状態を含む。これにより、垂れ状態を的確に検出して、適切に対処することができる。
 また、本実施の形態において、特異事象処理部942は、処理対象物Tを更に折り畳む。これにより、垂れ状態を適切に解消することができる。
 また、本実施の形態において、特異事象検出部941は、処理対象物Tの撮像画像において、処理対象物Tを囲む矩形Rに対する処理対象物Tの領域の面積比が所定値以下である場合に、処理対象物Tが垂れ下がった状態を検出する。これにより、検出精度を向上させることができる。
 また、本実施の形態において、特異事象は、処理対象物Tの厚みが折り畳み情報において定められた値とは異なる場合を含む。これにより、処理対象物Tの厚みが折り畳み情報において定められた値とは異なることを的確に検出して、適切に対処することができる。
 また、本実施の形態において、特異事象処理部942は、処理対象物Tの厚みに応じて処理対象物Tの折り位置を調整する。これにより、処理対象物Tの収納仕上がりを向上させることができる。
 また、本実施の形態において、特異事象検出部941は、作業板410に載置された処理対象物Tの撮像画像において、作業板410の上端の高さと処理対象物Tの高さの差から処理対象物Tの厚みを検出する。これにより、検出精度を向上させることができる。
 また、本実施の形態において、特異事象検出部941は、特異事象処理部942が処理を実行した後の処理対象物Tの撮像画像に基づいて、特異事象を検出する。これにより、特異事象が解消されたか否かを確認することができる。
 また、本実施の形態において、特異事象は、処理対象物Tの厚みが所定値以上である場合を含む。これにより、処理対象物Tの厚みが所定値以上であることを的確に検出して、適切に対処することができる。
 また、本実施の形態において、特異事象は、処理対象物Tが紐を含む場合を含む。これにより、処理対象物Tに紐が付いていることを的確に検出して、適切に対処することができる。
 また、本実施の形態において、特異事象処理部942は、処理対象物を処理対象から除外する。これにより、処理が不可能又は困難である処理対象物Tを処理対象から除外することができる。
 また、本実施の形態において、検出方法は、処理対象物Tの撮像画像を取得するステップと、取得された処理対象物Tの撮像画像に基づいて、処理対象物Tの折り畳み方を予め定めた折り畳み情報において定められた処理対象物Tの状態又は属性とは異なる特異事象を検出するステップと、を備える。これにより、特異事象を的確に検出することができる。
 また、本実施の形態において、衣類処理方法は、処理対象物Tの撮像画像を取得するステップと、取得された処理対象物Tの撮像画像に基づいて、処理対象物Tの折り畳み方を予め定めた折り畳み情報において定められた処理対象物Tの状態又は属性とは異なる特異事象を検出するステップと、特異事象が検出された場合、特異事象に応じた処理を実行するステップと、を備える。これにより、特異事象を的確に検出して、適切に対処することができるので、処理対象物Tの処理効率を向上させることができる。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1~3を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態1~3で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示は、衣類処理装置に利用可能である。
 1…衣類処理装置、C…交点、Lx、Ly…線分、Mx、My…中点、O…重心、S…撮像領域、H1、H2…把持位置、R…矩形、t…厚み、T…処理対象物、T1…長袖シャツ、T2…半袖シャツ、T3…ノースリーブシャツ、T4…ズボン、T5…短パン、T6…トランクス、T7…タオル、V…紐、X1…左方向、X2…右方向、Y1…前方向、Y2…後方向、Z1…上方向、Z2…下方向、10…学習装置、11…撮像画像取得部、12…部位位置情報取得部、13…学習部、14…部位検出器、20…学習装置、21…撮像画像取得部、22…特異事象情報取得部、23…学習部、24…特異事象検出器、100…筐体、110…フレーム、120…外郭、200…受入部、210…ガイドレール、300…保持装置、300A、300B…保持装置、310、310A、310B、311B…保持部、312…Yaw部、312a…モータ、312b…減速ギヤ、312c…制御基板、312d…トルクリミッタ、312e…トルクセンサ、313…Pitch部、314…Roll部、315…Hand部、315a…フィンガ、315b…モータ、315c…減速ギヤ、315d…回動ギヤ、315e…板バネ、315f…トルクリミッタ、316…回動シャフト、316a…位置検出センサ、317…力覚センサ、320、320A、320B…移動機構、330、330A、330B…幅方向移動機構、332A、332B…幅方向駆動部、334A、334B…Xガイド、340A、340B…高さ方向移動機構、342A、342B…高さ方向駆動部、344A、344B…Zガイド、350A、350B…奥行き方向移動機構、352A、352B…奥行き方向駆動部、354A、354B…Yガイド、400…作業板装置、410…作業板、411…側端板、420…回転駆動部、421…回転軸、422…回転用モータ、430…走行駆動部、431…伝動シャフト、432…走行用モータ、440…伝動部、450…初期化機構、500…撮像装置、510…第1撮像部、520…第2撮像部、530…第3撮像部、600…支持部、610…正面側支持部、620…背面側支持部、700…収納装置、710、710a、710b、710c、710d、710e…収納部、711…ドア、720…運搬部、721、721a、721b、721c…挟持板、722a、722b…レール、723…連結部、724…回転軸、725…蝶番、900…制御装置、901…保持装置制御部、902…作業板装置制御部、903…撮像装置制御部、904…収納装置制御部、910…種類認識部、911…部位検出部、912…長さ検出部、913…ずれ補正部、914…特異事象検出部、915…第1点検出部、916…第2点検出部、917…端点検出部、921…撮像画像取得部、922…検知部、923…位置検知部、924…動体検知部、925…撮像領域抽出部、926…把持対象判定部、927…把持位置判定部、928…収容数判定部、930…撮像画像取得部、931…把持位置検出部、932…座標算出部、933…部位検出器、940…撮像画像取得部、941…特異事象検出部、942…特異事象処理部、943…特異事象検出器。

Claims (46)

  1.  処理対象物の撮像画像を取得する撮像画像取得部と、
     前記処理対象物の撮像画像において、前記処理対象物を展開した状態で把持するための把持位置を検出する把持位置検出部と、
     前記把持位置検出部により検出された把持位置の三次元座標を算出する座標算出部と、
    を備え、
     前記把持位置検出部は、前記処理対象物の撮像画像を入力し、前記処理対象物の特定の部位の位置を示す情報を出力する部位検出器を用いて、前記処理対象物の撮像画像において前記把持位置を検出する
    衣類処理装置。
  2.  前記把持位置検出部は、前記処理対象物の種類に応じて予め定められた把持位置を検出する
    請求項1に記載の衣類処理装置。
  3.  前記把持位置は、前記処理対象物を展開した状態における前記処理対象物の周縁の短手部分の両端付近である
    請求項1又は2に記載の衣類処理装置。
  4.  前記把持位置は、前記処理対象物の腰部の両端付近である
    請求項1から3のいずれかに記載の衣類処理装置。
  5.  前記処理対象物を把持するための保持部に、前記把持位置検出部により検出された2以上の把持位置で前記処理対象物を把持させることにより、前記処理対象物を展開する
    請求項1から4のいずれかに記載の衣類処理装置。
  6.  前記部位検出器は、処理対象物の撮像画像と、その撮像画像における処理対象物の特定の部位の位置を示す情報とを使用して学習されたものである
    請求項1から5のいずれかに記載の衣類処理装置。
  7.  処理対象物の撮像画像を取得するステップと、
     前記処理対象物の撮像画像において、前記処理対象物を展開した状態で把持するための把持位置を検出するステップと、
     検出された把持位置の三次元座標を算出するステップと、
    を備え、
     前記把持位置を検出するステップは、前記処理対象物の撮像画像を入力し、前記処理対象物の特定の部位の位置を示す情報を出力する部位検出器を用いて、前記処理対象物の撮像画像において前記把持位置を検出するステップを含む
    衣類処理方法。
  8.  処理対象物の撮像画像を取得する撮像画像取得部と、
     前記処理対象物の撮像画像における前記処理対象物の特定の部位の位置を示す情報を取得する部位位置情報取得部と、
     前記撮像画像取得部により取得された撮像画像と、前記部位位置情報取得部により取得された情報とを学習データとして、処理対象物の撮像画像を入力し前記処理対象物の特定の部位の位置を示す情報を出力する部位検出器を学習する学習部と、
    を備える学習装置。
  9.  処理対象物を処理する衣類処理装置の内部に処理対象物を受け入れるための受入部の撮像画像を取得する撮像画像取得部と、
     異なる複数の時点において撮像された前記受入部の撮像画像を比較することにより、前記受入部の内部に存在する物の位置又は動きを検知する検知部と、
    を備える
    衣類処理装置。
  10.  前記検知部は、処理対象物が受け入れられる前の前記受入部の撮像画像である第1画像と、処理対象物が受け入れられた後の前記受入部の撮像画像である第2画像とを比較することにより、前記受入部に収容されている処理対象物の位置を検知する位置検知部を含む
    請求項9に記載の衣類処理装置。
  11.  前記第2画像、又は前記第1画像と前記第2画像との差分画像において複数の処理対象物のそれぞれが写っている撮像領域を抽出する撮像領域抽出部を更に備える
    請求項10に記載の衣類処理装置。
  12.  前記位置検知部により検知された前記処理対象物の位置に基づいて、前記処理対象物を把持する把持部に把持させる処理対象物を判定する把持対象判定部
    を更に備える
    請求項10又は11に記載の衣類処理装置。
  13.  前記把持対象判定部は、撮像領域がより大きい処理対象物を把持対象と判定する
    請求項12に記載の衣類処理装置。
  14.  前記把持対象判定部は、前記受入部の内部を複数の探索領域に分割し、前記把持部に把持させる処理対象物を探索する探索領域を切り替える
    請求項12又は13に記載の衣類処理装置。
  15.  前記位置検知部により検知された前記処理対象物の位置に基づいて、前記処理対象物を把持する把持部に把持させる位置を判定する把持位置判定部
    を更に備える
    請求項10から14のいずれかに記載の衣類処理装置。
  16.  前記把持位置判定部は、把持対象とされた処理対象物の撮像領域の中央付近を把持位置と判定する
    請求項15に記載の衣類処理装置。
  17.  前記把持位置判定部は、把持対象とされた処理対象物の撮像領域において所定方向で最大となる線分の中点付近を把持位置と判定する
    請求項15に記載の衣類処理装置。
  18.  前記把持位置判定部は、把持対象とされた処理対象物の撮像領域において異なる2つの方向で最大となる線分の交点付近を把持位置と判定する
    請求項15に記載の衣類処理装置。
  19.  前記把持位置判定部は、処理対象物の撮像領域を含む画像と把持すべき位置を示す情報とを使用して機械学習された把持位置判定アルゴリズムを用いて、把持対象とされた処理対象物の撮像領域を含む画像から把持位置を判定する
    請求項15に記載の衣類処理装置。
  20.  前記把持位置判定部は、判定された把持位置が撮像領域の輪郭部付近であった場合、再度把持位置を判定する
    請求項15から19のいずれかに記載の衣類処理装置。
  21.  前記第2画像、又は前記第1画像と前記第2画像との差分画像に基づいて、前記受入部に収容されている処理対象物の数を判定する収容数判定部を更に備える
    請求項10から20のいずれかに記載の衣類処理装置。
  22.  前記受入部の内面に模様が描かれ、
     前記位置検知部は、前記第2画像に含まれる前記模様に基づいて、前記処理対象物の高さを検知する
    請求項10から21のいずれかに記載の衣類処理装置。
  23.  前記検知部は、処理対象物以外の動体を検知する動体検知部を含む
    請求項9から22のいずれかに記載の衣類処理装置。
  24.  処理対象物を処理する衣類処理装置の内部に処理対象物を受け入れるための受入部の撮像画像を取得するステップと、
     異なる複数の時点において撮像された前記受入部の撮像画像を比較することにより、前記受入部の内部に存在する物の位置又は動きを検知するステップと、
    を備える
    衣類処理方法。
  25.  処理対象物の撮像画像を取得する撮像画像取得部と、
     前記撮像画像取得部により取得された前記処理対象物の撮像画像に基づいて、前記処理対象物の折り畳み方を予め定めた折り畳み情報において定められた前記処理対象物の状態又は属性とは異なる特異事象を検出する特異事象検出部と、
     前記特異事象検出部により特異事象が検出された場合、特異事象に応じた処理を実行する特異事象処理部と、
    を備える衣類処理装置。
  26.  前記特異事象検出部は、奥行き情報を取得可能な撮像装置により撮像された前記処理対象物の撮像画像に基づいて特異事象を検出する
    請求項25に記載の衣類処理装置。
  27.  前記特異事象検出部は、前記処理対象物の撮像画像を入力し、特異事象の有無又は内容を出力する特異事象検出器を用いて特異事象を検出する
    請求項25又は26に記載の衣類処理装置。
  28.  前記特異事象は、前記処理対象物の一部が別の部分の上に乗り上げた状態を含む
    請求項25から27のいずれかに記載の衣類処理装置。
  29.  前記特異事象処理部は、前記処理対象物を保持している保持部を移動させることにより、乗り上げた部分を落下させる
    請求項28に記載の衣類処理装置。
  30.  前記特異事象処理部は、回転可能に設けられた作業板に前記処理対象物を載置し、前記作業板を回転させることにより、乗り上げた部分を落下させる
    請求項28又は29に記載の衣類処理装置。
  31.  前記特異事象処理部は、前記処理対象物を保持している2以上の保持部のうちいずれかによる保持を解放し、その保持部により再度前記処理対象物を保持する
    請求項28から30のいずれかに記載の衣類処理装置。
  32.  前記特異事象は、前記処理対象物がねじれた状態を含む
    請求項25から31のいずれかに記載の衣類処理装置。
  33.  前記特異事象処理部は、前記処理対象物を保持している保持部を、前記処理対象物のねじれ方向と逆の方向に回転させることにより、ねじれた状態をねじれていない状態に戻す
    請求項32に記載の衣類処理装置。
  34.  前記特異事象処理部は、前記処理対象物を保持している保持部とは別の保持部により前記処理対象物のねじれた部分を保持し、前記別の保持部を移動又は回転させることにより、前記処理対象物のねじれた部分をねじれていない状態に戻して保持する
    請求項32に記載の衣類処理装置。
  35.  前記特異事象は、折り畳まれた前記処理対象物が垂れ下がった状態を含む
    請求項25から34のいずれかに記載の衣類処理装置。
  36.  前記特異事象処理部は、前記処理対象物を更に折り畳む
    請求項35に記載の衣類処理装置。
  37.  前記特異事象検出部は、前記処理対象物の撮像画像において、前記処理対象物を囲む矩形に対する前記処理対象物の領域の面積比が所定値以下である場合に、前記処理対象物が垂れ下がった状態を検出する
    請求項35又は36に記載の衣類処理装置。
  38.  前記特異事象は、前記処理対象物の厚みが前記折り畳み情報において定められた値とは異なる場合を含む
    請求項25から37のいずれかに記載の衣類処理装置。
  39.  前記特異事象処理部は、前記処理対象物の厚みに応じて前記処理対象物の折り位置を調整する
    請求項38に記載の衣類処理装置。
  40.  前記特異事象検出部は、作業板に載置された前記処理対象物の撮像画像において、前記作業板の上端の高さと前記処理対象物の高さの差から前記処理対象物の厚みを検出する
    請求項38又は39に記載の衣類処理装置。
  41.  前記特異事象検出部は、前記特異事象処理部が処理を実行した後の前記処理対象物の撮像画像に基づいて、前記特異事象を検出する
    請求項25から40のいずれかに記載の衣類処理装置。
  42.  前記特異事象は、前記処理対象物の厚みが所定値以上である場合を含む
    請求項25から41のいずれかに記載の衣類処理装置。
  43.  前記特異事象は、前記処理対象物が紐を含む場合を含む
    請求項25から42のいずれかに記載の衣類処理装置。
  44.  前記特異事象処理部は、前記処理対象物を処理対象から除外する
    請求項42又は43に記載の衣類処理装置。
  45.  処理対象物の撮像画像を取得するステップと、
     取得された前記処理対象物の撮像画像に基づいて、前記処理対象物の折り畳み方を予め定めた折り畳み情報において定められた前記処理対象物の状態又は属性とは異なる特異事象を検出するステップと、
    を備える検出方法。
  46.  処理対象物の撮像画像を取得するステップと、
     取得された前記処理対象物の撮像画像に基づいて、前記処理対象物の折り畳み方を予め定めた折り畳み情報において定められた前記処理対象物の状態又は属性とは異なる特異事象を検出するステップと、
     特異事象が検出された場合、特異事象に応じた処理を実行するステップと、
    を備える衣類処理方法。
PCT/JP2022/002703 2021-02-09 2022-01-25 衣類処理装置、衣類処理方法、検出方法、及び学習装置 WO2022172746A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2021-018814 2021-02-09
JP2021018814A JP2022121856A (ja) 2021-02-09 2021-02-09 衣類処理装置、衣類処理方法、及び学習装置
JP2021-018815 2021-02-09
JP2021018815A JP2022121857A (ja) 2021-02-09 2021-02-09 衣類処理装置及び衣類処理方法
JP2021-021905 2021-02-15
JP2021021905A JP2022124249A (ja) 2021-02-15 2021-02-15 衣類処理装置、検出方法、及び衣類処理方法

Publications (1)

Publication Number Publication Date
WO2022172746A1 true WO2022172746A1 (ja) 2022-08-18

Family

ID=82838784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002703 WO2022172746A1 (ja) 2021-02-09 2022-01-25 衣類処理装置、衣類処理方法、検出方法、及び学習装置

Country Status (1)

Country Link
WO (1) WO2022172746A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194703A1 (ja) * 2015-05-29 2016-12-08 seven dreamers laboratories株式会社 被処理物の処理装置
JP2018115883A (ja) * 2017-01-16 2018-07-26 倉敷紡績株式会社 布片把持装置用三次元計測装置
CN109594288A (zh) * 2018-12-03 2019-04-09 珠海格力电器股份有限公司 一种衣物洗涤方法、系统及洗衣机
JP2019056966A (ja) * 2017-09-19 2019-04-11 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194703A1 (ja) * 2015-05-29 2016-12-08 seven dreamers laboratories株式会社 被処理物の処理装置
JP2018115883A (ja) * 2017-01-16 2018-07-26 倉敷紡績株式会社 布片把持装置用三次元計測装置
JP2019056966A (ja) * 2017-09-19 2019-04-11 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
CN109594288A (zh) * 2018-12-03 2019-04-09 珠海格力电器股份有限公司 一种衣物洗涤方法、系统及洗衣机

Similar Documents

Publication Publication Date Title
Maitin-Shepard et al. Cloth grasp point detection based on multiple-view geometric cues with application to robotic towel folding
CN107735524B (zh) 被处理物的处理装置
JP5396155B2 (ja) 布物の自動展開投入装置
CN107075784B (zh) 被处理物的处理装置
EP3366831B1 (en) Fabric type identifying apparatus and fabric type identifying method
WO2020067413A1 (ja) 被処理物の処理装置
WO2022172746A1 (ja) 衣類処理装置、衣類処理方法、検出方法、及び学習装置
JP6892268B2 (ja) 布片把持装置用三次元計測装置
JP2022124249A (ja) 衣類処理装置、検出方法、及び衣類処理方法
JP2022121856A (ja) 衣類処理装置、衣類処理方法、及び学習装置
JP2022121857A (ja) 衣類処理装置及び衣類処理方法
JP2022130827A (ja) 衣類処理装置、汚れ除去方法、及び学習装置
JP6912812B2 (ja) 折り畳みユニット、および折り畳み方法
JP2022115515A (ja) 回転体及び衣類処理装置
JP2022115516A (ja) 回転位置初期化装置及び回転位置初期化方法
JP2022115517A (ja) 衣類処理装置及び衣類収納方法
WO2022181162A1 (ja) 衣類処理装置及び衣類処理方法
JP2022115514A (ja) 衣類処理装置及び衣類処理方法
JP2022128710A (ja) 制御装置、制御方法、及び衣類処理装置
Hata et al. Robot system for cloth handling
JP2022130828A (ja) 移動装置及び衣類処理装置
JP2022130830A (ja) 衣類処理装置及び衣類処理方法
JP2022130829A (ja) 衣類処理装置及び衣類処理方法
JP2022117468A (ja) 衣類処理装置及び衣類処理方法
JP2023031895A (ja) 衣類処理装置及び判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22752576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22752576

Country of ref document: EP

Kind code of ref document: A1