WO2022064691A1 - 集荷支援装置、集荷支援方法、及び、プログラム記録媒体 - Google Patents

集荷支援装置、集荷支援方法、及び、プログラム記録媒体 Download PDF

Info

Publication number
WO2022064691A1
WO2022064691A1 PCT/JP2020/036625 JP2020036625W WO2022064691A1 WO 2022064691 A1 WO2022064691 A1 WO 2022064691A1 JP 2020036625 W JP2020036625 W JP 2020036625W WO 2022064691 A1 WO2022064691 A1 WO 2022064691A1
Authority
WO
WIPO (PCT)
Prior art keywords
pickup
target
collection
support device
appearance
Prior art date
Application number
PCT/JP2020/036625
Other languages
English (en)
French (fr)
Inventor
隼輔 津田
肇 萩森
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US18/021,659 priority Critical patent/US20230306713A1/en
Priority to PCT/JP2020/036625 priority patent/WO2022064691A1/ja
Priority to JP2022551091A priority patent/JPWO2022064691A5/ja
Publication of WO2022064691A1 publication Critical patent/WO2022064691A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/905—Control arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • This disclosure relates to a pickup support device and the like.
  • a service in which the workers of the collection and delivery company (hereinafter, simply referred to as workers) leave the luggage in the place specified by the recipient.
  • workers the workers of the collection and delivery company
  • it is also being considered to provide a service in which a pickup requester puts a pickup request for pickup in a pickup place designated by the client, such as in front of a front door, and a worker collects the cargo.
  • a collection service it is necessary to specify the package to be collected at the collection location.
  • Patent Document 1 an air vehicle that detects a sign for identifying a load to be picked up in an image of a pickup area, acquires a pickup position of the load based on the position of the sign, and flies to the pickup position. It has been disclosed.
  • the sign is a code indicating the identification information of the cargo, and is added to the cargo to be collected and the case for storing the cargo.
  • Patent Document 2 discloses a technique for presenting the position of an article to be collected in an article collection place such as an article warehouse.
  • the collection requester When using the flying object according to Patent Document 1, the collection requester needs to prepare a case with a sign or attach the sign to the luggage. That is, the collection requester needs to add information for identifying the package to be collected to the package.
  • the information for identifying the package is an identification number and code (bar code, two-dimensional code) for identifying the package, such as the above-mentioned sign printed on the package or on the collection slip attached to the package. Including) etc.
  • the information for identifying such a package identifies the package to be collected.
  • One of the purposes of the present disclosure is to solve the above-mentioned problems and provide a pickup support device or the like that can determine the pickup target at the place indicated in the pickup request even when the information for identifying the luggage is not attached to the luggage. It is to be.
  • the pickup support device is a determination means for determining whether or not the object is the pickup target based on the information on the appearance of the pickup target and the information on the appearance of the object at the position related to the pickup request. It is provided with an output means for outputting the determined result.
  • the collection support method determines whether or not the object is the collection target based on the information on the appearance of the collection target and the information on the appearance of the object at the position related to the collection request, and the result of the determination. Is output.
  • the program recording medium determines whether or not the object is the pickup target based on the information on the appearance of the pickup target and the information on the appearance of the object at the position related to the pickup request on the computer.
  • the program that executes the processing and the output processing that outputs the judgment result is recorded non-temporarily.
  • the pickup target can be determined at the place indicated in the pickup request.
  • First Embodiment In the first embodiment, a case where a collection / delivery company instructs a worker to collect a load based on a collection request from a collection requester, and the worker collects the load placed at the collection position will be described.
  • the place to put the goods at the pick-up position can be appropriately selected by the pick-up requester, for example, next to the entrance door, in the post box, in the luggage receiving box, or in the locker.
  • the worker may receive the luggage from a person at the collection position.
  • the luggage may be three-dimensional or flat.
  • the collected luggage is collected, for example, at a luggage collection point and then delivered to the delivery location indicated in the pickup request.
  • FIG. 1 is a block diagram illustrating the configuration of the pickup support system 1 according to the first embodiment.
  • the pickup support system 1 includes a pickup support device 100, a client terminal 200, and a worker terminal 300.
  • the collection support device 100 is a server or the like used by a collection / delivery company.
  • the pickup support device 100 receives information regarding the appearance of the pickup target A related to the pickup request from the client terminal 200. Further, in the first embodiment, the pickup support device 100 receives information regarding the appearance of the object X placed at the pickup position from the worker terminal 300.
  • the information on the appearance includes, for example, photographing data obtained by photographing an object (collection target A or object X), the size of the object, and the three-dimensional shape (three-dimensional shape) of the object. Further, the information regarding the appearance may include information regarding the color, pattern, or type of the package of the object.
  • the information regarding the type of the package is, for example, information indicating whether the object is contained in a cardboard box, a paper bag or a plastic bag, or is wrapped in a cushioning material.
  • the shooting data to be received may be a still image or a moving image.
  • the client terminal 200 is a mobile phone, a tablet, a personal computer, or the like used by a user who requests collection.
  • the client terminal 200 accepts the input of the pickup request by the user.
  • the client terminal 200 includes a camera that captures the pickup target A. If the client terminal 200 is not provided with a camera, the client terminal 200 may receive shooting data of the pickup target A from an external device (not shown).
  • the client terminal 200 transmits the shooting data of the pickup target A to the pickup support device 100. Further, the client terminal 200 generates a pickup request including the pickup position and transmits it to the pickup support device 100.
  • the pickup request generated by the client terminal 200 may include the address of the pickup position, as well as the place where the pickup target A is placed at the pickup position such as the side of the entrance door, the inside of the post, or the inside of the luggage receiving box. .. Further, the pickup request may include the requester's desired pickup time zone, the weight of the pickup target A, information for identifying the pickup requester, and the like.
  • the worker terminal 300 is a mobile phone, a tablet, a wearable device, or the like used by a worker who collects the pickup target A.
  • the worker terminal 300 includes a camera that photographs an object X placed at a pickup position.
  • the worker terminal 300 may receive the photographing data of the object X from an external device (not shown).
  • the worker terminal 300 transmits the photographed data of the object X to the pickup support device 100. Further, the worker terminal 300 may receive the determination result from the pickup support device 100 and display it on a display (not shown).
  • the client terminal 200 and the worker terminal 300 do not have to be equipped with a camera. Further, in this case, the client terminal 200 and the worker terminal 300 do not have to receive the shooting data from the external device.
  • FIG. 2 is a block diagram illustrating the configuration of the pickup support device 100.
  • the pickup support device 100 includes a determination unit 101 and an output unit 102.
  • the determination unit 101 determines whether or not the object is a pickup target based on the information regarding the appearance of the pickup target and the information regarding the appearance of the object at the position related to the pickup request.
  • the output unit 102 outputs the result determined by the determination unit 101.
  • the determination result includes the determination that the object at the position related to the pickup request is the pickup target or the determination that the object is not the pickup target.
  • the output unit 102 outputs the determination result to, for example, the worker terminal 300.
  • the determination unit 101 may determine whether or not the object is a pickup target by using the photographing data obtained by photographing the object as the information regarding the appearance of the object.
  • the client places the pickup target A in an arbitrary place, shoots the pickup target A from one or more directions using the client terminal 200, and acquires the shooting data.
  • the client can see the appearance when viewed from six directions of front, back, left and right side surfaces, top surface, and bottom surface when a certain direction toward the pickup target A having a three-dimensional shape is set as the front surface.
  • you may shoot from two or more directions. It should be noted that photography of some surfaces such as the bottom surface may be omitted as appropriate.
  • the worker uses the worker terminal 300 to shoot the object X placed at the pickup position from one or more directions, and acquires the shooting data.
  • the worker may photograph the object X from two or more directions in the same manner as the client.
  • the determination unit 101 determines, for example, whether the shooting data of the pickup target A from one direction matches any of the plurality of shooting data of the object X from the plurality of directions. Alternatively, the determination unit 101 may determine whether the imaging data of the object X from one direction matches any of the plurality of imaging data of the pickup target A from the plurality of directions.
  • the determination unit 101 uses, for example, a known image similarity calculation technique to compare the captured data of the object X with the captured data of the pickup target A to calculate the similarity, and the similarity is equal to or higher than the threshold value. In this case, it may be determined that the shooting data match. In this case, the determination unit 101 calculates the degree of similarity by using, for example, the color of each region in the shooting data, the pattern, and the shape of the object included in the shooting data as feature quantities.
  • the determination unit 101 uses a known pattern matching technique to compare the image of the object X extracted from the captured data with the image of the pickup target A to calculate the similarity, and when the similarity is equal to or higher than the threshold value. In addition, it may be determined that the shooting data match.
  • the determination unit 101 determines that, for example, in a set of a predetermined number or more of the shooting data of the collection target A and the shooting data of the object X, the object X matches the shooting data of the object X and the shooting data of the collection target A. It is determined that the item is to be collected.
  • the shooting data taken at the time of collection may include images of a plurality of objects X.
  • the determination unit 101 may, for example, extract images of a plurality of objects X and compare the images with the images of the pickup target A. Then, the determination unit 101 determines, for example, the object X whose similarity is larger than that of the other objects X among the plurality of objects X as the collection target A.
  • the collection target A related to the collection request may be photographed by the client terminal 200 with the collection target A placed at the collection position, and photography data including the background of the collection target A may be acquired.
  • the worker terminal 300 may acquire shooting data including the background of the object X.
  • the determination unit 101 may compare the photographed data of the pickup target A including the background with the photographed data of the object X including the background. As a result, it is possible to prevent the object placed in a place different from the collection request from being collected.
  • the determination unit 101 may further determine whether the object X is the collection target A based on the size of the collection target A and the size of the object X at the collection position. According to this, the determination unit 101 can discriminate objects having similar shapes and different sizes.
  • the determination unit 101 may further include a measurement unit (not shown) that measures the size of the object (collection target A and object X) from the shooting data.
  • the client terminal 200 and the worker terminal 300 may have a part or all of the functions of the measuring unit. In this case, the determination unit 101 receives the size of the object measured from the client terminal 200 and the worker terminal 300.
  • the measuring unit recognizes the shape of an object from shooting data shot from one direction using existing image recognition technology. After that, the measuring unit measures the size of the object.
  • the measuring unit measures, for example, the height and width of the object when the object is viewed from one direction.
  • the measuring unit may measure the length of each side of the recognized object shape, the length from one side to the other side, the length from the center of gravity of the shape to an arbitrary point of the contour, and the like. ..
  • the measuring unit may measure the size of the object by using, for example, the parallax of two shooting data shot from substantially the same direction. Further, the measuring unit may measure the size of the object based on the size of the reference object whose size is known together with the object.
  • the measuring unit predicts the three-dimensional shape of the object in the depth direction from the data taken from one direction, and measures the depth in addition to the height and width of the object as the size of the object. good.
  • the measuring unit may recognize the shape of the object and measure the size of the object based on the distance information instead of the shooting data.
  • the distance information represents the distance between the object and the sensor.
  • the distance information is acquired by an infrared sensor or the like provided in the client terminal 200 and the worker terminal 300, and is transmitted to the measurement unit. When distance information is used, it is not necessary to use the shooting data for measuring the size.
  • the measuring unit may further measure the size of the object viewed from another direction by the same method.
  • the determination unit 101 may further include a collation unit (not shown) that collates the size of the pickup target A viewed from one or more directions with the size of the object X viewed from one or more directions.
  • the collating unit determines that the sizes of the pickup target A and the object X match.
  • the determination unit 101 sets the object X to the collection target A. Is determined to be.
  • the collating unit may collate whether the size of the pickup target A in a certain direction matches any of the sizes of the objects X from a plurality of directions.
  • the determination unit 101 may determine that the object X is the pickup target A when the measured sizes match in the set of two or more directions.
  • the determination unit 101 may determine the collection target A based on the three-dimensional data of the collection target A related to the collection request and the three-dimensional data of the object X at the collection position.
  • the three-dimensional data represents, for example, the position of the surface of an object in a predetermined three-dimensional coordinate space.
  • the three-dimensional data indicates the three-dimensional shape of the object, and may also indicate the size of the object. Since the three-dimensional shape of the object can be compared by comparing the three-dimensional data, the determination unit 101 can discriminate even if the pickup target has a different shape depending on the viewing direction.
  • the determination unit 101 may include a three-dimensional data generation unit (not shown) that generates the three-dimensional data.
  • the determination unit 101 compares the three-dimensional data of the generated object X with the three-dimensional data of the pickup target A.
  • the resolution of the three-dimensional data may be such that the rough overall shape can be measured.
  • the function of the three-dimensional data generation unit may be provided in the client terminal 200 and the worker terminal 300. In this case, the determination unit 101 receives the three-dimensional data from the client terminal 200 and the worker terminal 300.
  • the three-dimensional data generation unit may generate three-dimensional data using shooting data obtained by shooting an object from a plurality of directions received from the client terminal 200 or the worker terminal 300.
  • the three-dimensional data generation unit may estimate the three-dimensional shape of the object from one or more still images and generate the three-dimensional data.
  • the 3D data generation unit may generate 3D data based on the 3D scan data of the object obtained by using the infrared rays and the laser provided in the client terminal 200 or the worker terminal 300.
  • the collection support device 100 does not use the shooting data for generating the three-dimensional data, the collection support device 100 does not have to receive the shooting data from the client terminal 200 and the worker terminal 300.
  • the determination unit 101 may include a collation unit (not shown) that collates the three-dimensional shape of the object.
  • the collating unit calculates the similarity by comparing the three-dimensional data of the object X with the three-dimensional data of the pickup target A using a known three-dimensional (three-dimensional) shape similarity calculation technique, and when the similarity is equal to or higher than the threshold value. It is determined that the three-dimensional shapes match.
  • the determination unit 101 determines that the object X is the collection target A.
  • the collection target A and the object X at the collection position may be photographed while being held by the collection requester or the worker.
  • the determination unit 101 compares the shooting data, the size of the object, and the three-dimensional shape of the object based on the color, shape, position, etc. of the hand, excluding the hand included in the shooting data or the three-dimensional data. You may.
  • FIG. 3 is a flowchart illustrating the processing of the pickup support device 100.
  • the determination unit 101 determines whether or not the object is a pickup target based on the information regarding the appearance of the pickup target and the information regarding the appearance of the object at the position related to the pickup request (step S101).
  • the output unit 102 outputs the determination result (step S102).
  • FIG. 4 is a sequence diagram showing an operation example of the pickup support system 1.
  • the client terminal 200 photographs the pickup target under the pickup requester (step S201).
  • the client terminal 200 transmits a collection request including shooting data to be collected and information for specifying the collection position to the collection support device 100.
  • FIG. 5 is a diagram showing an example of a pickup request screen displayed on the requester terminal 200 when receiving input of information relating to a pickup request. For example, on the pickup request screen, the client inputs the pickup date and time, the pickup position, the destination of the luggage, and the shooting data of the pickup target A.
  • the pickup support device 100 transmits the pickup instruction to the worker terminal 300.
  • the pickup instruction includes the pickup date and time and the pickup position. Further, the pickup instruction may include shooting data of the pickup target A related to the pickup request.
  • the worker who sees the delivery instruction heads for the pickup position indicated in the pickup instruction at the pickup date and time.
  • the worker searches for a pickup target by referring to the shooting data of the pickup target A related to the pickup request.
  • the worker terminal 300 photographs the object X found by the worker at the pickup position (step S203), and transmits the photographed data to the pickup support device 100.
  • the determination unit 101 of the pickup support device 100 determines whether the photographed object X is the pickup target A based on the received imaging data of the object (step S204). Next, the output unit 102 of the pickup support device outputs the determination result (step S205), and transmits the determination result to the worker terminal 300.
  • the worker confirms the determination result displayed on the display of the worker terminal 300, and if the photographed object is the object to be picked up, the worker picks up the object.
  • the worker terminal 300 transmits a pickup completion notification to the client terminal 200 via the pickup support device 100.
  • the pickup support device 100 may transmit a pickup completion notification including the shooting data used for determining the pickup target to the requester terminal 200.
  • the collection target can be determined at the place indicated in the collection request.
  • the reason is that the determination unit 101 determines whether or not the object is a pickup target based on the information regarding the appearance of the pickup target and the information regarding the appearance of the object at the position related to the pickup request.
  • the worker may add information for specifying the package to the collection target.
  • the printing unit (not shown) of the worker terminal 300 may print a collection slip based on a collection request once the collection target is specified.
  • the pickup slip indicates, for example, an identification number for identifying the pickup / delivery request or the cargo, which is given by the pickup support device 100 or the like, and the destination of the cargo included in the pickup request.
  • the worker attaches the printed collection slip to the collection target.
  • the worker terminal 300 When there is no candidate for pickup, the worker terminal 300 cannot transmit the information regarding the appearance of the object X described above to the pickup support device 100. In this case, the worker terminal 300 may transmit an image of the pickup position and the position information of the current location to the pickup support device 100.
  • the determination unit 101 compares the received image and position information of the pickup position with the image and position information related to the pickup request, and determines that there is no pickup target A at the pickup position.
  • FIG. 6 is a diagram showing an example of a confirmation screen displayed on the display of the client terminal 200.
  • the determination unit 101 determines that the object X is the pickup target A.
  • the determination unit 101 determines that the object X is not a pickup target.
  • the worker terminal 300 may transmit information regarding the appearance of another object X to the pickup support device 100. Further, the worker terminal 300 may perform an operation when there is no object at the above-mentioned collection position.
  • the worker terminal 300 tells the collection support device 100 to stop the collection. You may send it.
  • the pickup support device 100 may send a pickup cancellation notice including an image of the pickup position to the client terminal 200.
  • the determination unit 101 cannot determine the pickup target.
  • the collection support device 100 sets the detected plurality of objects X as candidates for collection, and transmits the shooting data including the plurality of candidates to the client terminal 200.
  • the client terminal 200 displays the shooting data and accepts the selection of the pickup target A from the pickup requester.
  • the determination unit 101 determines that the selected object X is the pickup target A.
  • the collection support device 100 notifies the worker terminal 300 of the object X selected in the determination result, and the worker collects the selected collection target A.
  • the pickup support device 100 may send an instruction to stop the pickup to the worker terminal 300.
  • the collection support device 100 can specify the collection target.
  • the reason is that the collection support device 100 transmits the photographing data of the object X to the collection requester, and the determination unit 101 determines that the object X is the collection target A based on the input by the collection requester. be.
  • the robot may collect the load. That is, in the above description, the action of the worker may be replaced with the action performed by the robot.
  • Robots that collect cargo include unmanned ground vehicles and unmanned aerial vehicles (drones).
  • the worker terminal 300 is replaced with a robot.
  • the collection support device 100 may be mounted on the robot, or may be provided on the server of the collection / delivery company that manages the robot.
  • FIG. 7 is a block diagram illustrating the configuration of the pickup support system 1 according to this modification.
  • the pickup support device 100 may include an instruction unit 103 that instructs the robot to collect the cargo at the position related to the pickup request.
  • the same parts as those of the above-described embodiment will be omitted.
  • the robot acquires the position information of the robot by GPS (Global Positioning System) or the like.
  • GPS Global Positioning System
  • the robot stores the road, the exterior of the building, the image of the interior of the building, etc. in advance by associating it with the map, compares the stored image with the image taken by the camera, and acquires the current position information. May be good. If a flying drone picks up luggage, the drone may pick up luggage placed on the balcony of the building.
  • the robot transmits the information on the appearance of the object X acquired from the object X at the position to the collection support device 100 at the position related to the collection request.
  • the output unit 102 of the pickup support device 100 notifies the robot of the determination result.
  • the robot collects the object X.
  • the robot may grab the object X by an arm, or may hook the object by an arbitrary mechanism.
  • the packing service worker or the robot may bring a case such as a box suitable for the collection target to the collection position according to the three-dimensional data related to the collection request. After the pickup target is determined, the worker or the robot stores the pickup target in the case. Further, the robot may pack the pickup target by using the packing material that can be freely deformed by using the three-dimensional data of the object X at the pickup position.
  • the robot may use, for example, a stretchable box, a sheet, or the like as a packing material.
  • the present disclosure may be used for the collection of garbage and recycled products in addition to the collection of deliveries.
  • a user who wishes to collect garbage uses the client terminal 200 to take a picture of the garbage and sends a collection request (collection request) to the collection support device 100.
  • the garbage collector sends a collection instruction to the worker terminal 300.
  • the determination unit 101 determines that the garbage placed at the designated place is the collection target, the worker collects the garbage.
  • each component of the pickup support device 100 indicates a block of functional units.
  • a part or all of each component of each device may be realized by any combination of the computer 500 and the program.
  • the pickup support device 100 and the client terminal 200 may be realized by a single computer 500.
  • the pickup support device 100 and the worker terminal 300 may be realized by a single computer 500.
  • the worker terminal 300 may include each component (determination unit 101, output unit 102) of the collection support device 100.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of the computer 500.
  • the computer 500 may include, for example, a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, a program 504, a storage device 505, a drive device 507, and a communication interface 508. , Input device 509, input / output interface 511, and bus 512.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • program 504 a storage device 505, a drive device 507, and a communication interface 508.
  • Input device 509 input / output interface 511, and bus 512.
  • the program 504 includes an instruction for realizing each function of each device.
  • the program 504 is stored in the ROM 502, the RAM 503, and the storage device 505 in advance.
  • the CPU 501 realizes each function of each device by executing the instruction included in the program 504.
  • the CPU 501 of the pickup support device 100 realizes the function of the pickup support device 100 by executing the instruction included in the program 504.
  • the RAM 503 may store data processed in each function of each device.
  • the pickup request of the pickup support device 100 may be stored in the RAM 503 of the computer 500.
  • the drive device 507 reads and writes the recording medium 506.
  • the communication interface 508 provides an interface with a communication network.
  • the input device 509 is, for example, a mouse, a keyboard, or the like, and receives input of information from a collection and delivery company or the like.
  • the output device 510 is, for example, a display, and outputs (displays) information to a collection / delivery company or the like.
  • the input / output interface 511 provides an interface with peripheral devices. Bus 512 connects each component of these hardware.
  • the program 504 may be supplied to the CPU 501 via the communication network, or may be stored in the recording medium 506 in advance, read by the drive device 507, and supplied to the CPU 501.
  • FIG. 8 Note that the hardware configuration shown in FIG. 8 is an example, and components other than these may be added or may not include some components.
  • each device may be realized by any combination of a computer and a program, which are different for each component.
  • a plurality of components included in each device may be realized by any combination of one computer and a program.
  • each component of each device may be realized by a general-purpose or dedicated circuitry including a processor or the like, or a combination thereof. These circuits may be composed of a single chip or a plurality of chips connected via a bus. A part or all of each component of each device may be realized by the combination of the circuit or the like and the program described above.
  • each component of each device when a part or all of each component of each device is realized by a plurality of computers, circuits, etc., the plurality of computers, circuits, etc. may be centrally arranged or distributed.
  • At least a part of the pickup support system 1 may be provided in the SAAS (Software as a Service) format. That is, at least a part of the functions for realizing the pickup support device 100 may be executed by software executed via the network.
  • SAAS Software as a Service
  • [Appendix 1] A determination means for determining whether or not the object is the pickup target based on the information on the appearance of the pickup target and the information on the appearance of the object at the position related to the pickup request. Output means to output the judgment result and A pickup support device equipped with.
  • the determination means determines whether or not the object is the pickup target by comparing the imaging data of the collection target with the imaging data of the object as information regarding the appearance.
  • the pickup support device according to Appendix 1.
  • the shooting data of the pickup target and the shooting data of the object include the background of the pickup target and the background of the object, respectively.
  • the determination means determines whether or not the object is the collection target by comparing the shape of the collection target with the shape of the object as information regarding the appearance.
  • the pickup support device according to any one of Supplementary note 1 to 3.
  • the robot is further provided with an instruction means for instructing the robot to collect the cargo at the position.
  • the output means notifies the robot of the determination result, and the output means notifies the robot.
  • the robot transmits information on the appearance of the object acquired from the object at the position at the position to the collection support device, and when the collection support device notifies that the object is the object to be collected, the robot is notified.
  • the collection support device according to any one of Supplementary note 1 to 4, which collects an object.
  • the determination process determines whether or not the object is the collection target by comparing the shape of the collection target with the shape of the object as information regarding the appearance.
  • the program recording medium according to any one of Supplementary note 16 to 18.
  • the program includes a process of instructing the robot to collect the goods at the position when the collection request is received. Further including a process of receiving information on the appearance of the object acquired from the object at the position at the position from the robot. The output process notifies the robot of the determination result, and the output process notifies the robot.
  • the program recording medium according to any one of Supplementary note 16 to 19, wherein the robot collects the object when notified that the object is the object to be collected.
  • Collection support device 101 Judgment unit 102 Output unit 200 Client terminal 300 Worker terminal 500 Computer

Abstract

荷物を特定する情報が荷物に付加されていない場合にも、集荷依頼に示される場所において集荷対象を判別できる集荷支援装置を提供する。集荷支援装置は、集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、物体が集荷対象であるかどうかを判定する判定手段と、判定した結果を出力する出力手段と、を備える。

Description

集荷支援装置、集荷支援方法、及び、プログラム記録媒体
本開示は、集荷支援装置等に関する。
　荷物を効率的に届けるために、集配業者の作業員（以下、単に作業員と記載）が荷物を受取人の指定する配置場所に置いておくサービスが提供されている。また、集荷依頼人が、集荷を依頼する荷物を玄関ドアの前など、依頼人が指定する集荷場所に置いておき、作業員が集荷を行うサービスの提供も検討されている。このような集荷サービスでは、集荷場所において、集荷対象の荷物を特定する必要がある。
　例えば、特許文献１には、集荷領域の画像において、集荷対象の荷物を識別するための標識を検出し、標識の位置に基づいて荷物の集荷位置を取得し、集荷位置へ飛行する飛行体が開示されている。特許文献１において、標識は、荷物の識別情報を示すコードであり、集荷する荷物や荷物を収納するケースに付加される。
　なお、関連技術として、特許文献２には、物品倉庫等の物品収集場において、集荷対象物品の位置を提示する技術が開示されている。
特開２０１９－００６３５６号公報 特許第５２４７８５４号
　特許文献１に係る飛行体を利用する場合、集荷依頼人は標識の付加されたケースを用意するか、標識を荷物に貼り付ける必要がある。すなわち、集荷依頼人は、集荷対象の荷物を特定する情報を、当該荷物に付加する必要がある。ここで、荷物を特定する情報とは、荷物に、あるいは、荷物に貼付される集荷伝票等に印刷される、上記標識のような、荷物を識別する識別番号、コード（バーコード、２次元コードを含む）等である。一般的に、このような荷物を特定する情報により、集荷対象の荷物が特定される。
　本開示の目的の一つは、上述の課題を解決し、荷物を特定する情報が荷物に付加されていない場合にも、集荷依頼に示される場所において集荷対象を判別できる集荷支援装置等を提供することである。
　本開示に係る集荷支援装置は、集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定する判定手段と、判定した結果を出力する出力手段と、を備える。
　本開示に係る集荷支援方法は、集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定し、判定した結果を出力する。
　本開示に係るプログラム記録媒体は、コンピュータに、集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定する判定処理と、判定した結果を出力する出力処理を実行させるプログラムを非一時的に記録する。
　本開示によれば、荷物を特定する情報が荷物に付加されていない場合にも、集荷依頼に示される場所において集荷対象を判別できる。
第１実施形態に係る集荷支援システム１の構成を例示するブロック図である。 集荷支援装置１００の構成を例示するブロック図である。 集荷支援装置１００の処理を例示するフローチャートである。 集荷支援システム１の動作例を示すシーケンス図である。 集荷依頼画面の例を示す図である。 確認画面の例を示す図である。 変形例に係る集荷支援システム１の構成を例示するブロック図である。 コンピュータ５００のハードウェア構成の例を示すブロック図である。
　［第１実施形態］
　第１実施形態において、集荷依頼人からの集荷依頼に基づいて、集配業者が作業員に集荷を指示し、作業員が集荷位置に置かれた荷物を集荷する場合について説明する。集荷位置における置き場所は、例えば、玄関ドアの横、ポストの中、荷物受取ボックスの中、ロッカーの中など、集荷依頼人が適宜選択することができる。なお、作業員は集荷位置おいて、人から荷物を受け取ってもよい。荷物は立体的であっても、平らであってもよい。集荷された荷物は、例えば荷物の集積所に集められ、その後、集荷依頼に示される配達場所に配達される。
　（構成）
　図１は、第１実施形態に係る集荷支援システム１の構成を例示するブロック図である。集荷支援システム１は、集荷支援装置１００、依頼人端末２００、及び、作業員端末３００を備える。
　集荷支援装置１００は、集配業者が利用するサーバなどである。第１実施形態において集荷支援装置１００は、集荷依頼に係る集荷対象Ａの外観に関する情報を依頼人端末２００から受信する。さらに、第１実施形態において集荷支援装置１００は、集荷位置に置かれた物体Ｘの外観に関する情報を作業員端末３００から受信する。外観に関する情報とは、例えば、対象物（集荷対象Ａまたは物体Ｘ）を撮影した撮影データや、対象物の大きさ、対象物の立体的形状（３次元形状）を含む。さらに、外観に関する情報には、対象物の色、模様、または、梱包物の種別に関する情報が含まれてもよい。梱包物の種別に関する情報とは、例えば、対象物が段ボールに入っているか、紙袋やプラスチック袋に入っているか、緩衝材に包まれているか等を示す情報である。受信する撮影データは静止画であっても、動画であってもよい。
　依頼人端末２００は、集荷を依頼するユーザが使用する、携帯電話、タブレット、パーソナルコンピュータなどである。依頼人端末２００はユーザによる集荷依頼の入力を受け付ける。依頼人端末２００は、集荷対象Ａを撮影するカメラを備える。なお、依頼人端末２００は、カメラを備えない場合、図示しない外部装置から集荷対象Ａの撮影データを受信してもよい。依頼人端末２００は、集荷対象Ａの撮影データを集荷支援装置１００に送信する。また、依頼人端末２００は、集荷位置を含む集荷依頼を生成し、集荷支援装置１００に送信する。
　依頼人端末２００が生成する集荷依頼には、集荷位置の住所の他、玄関ドアの横、ポストの中、荷物受取ボックスの中などの集荷位置における集荷対象Ａの置き場所が含まれてもよい。さらに、集荷依頼には、依頼人の集荷希望時間帯、集荷対象Ａの重さ、または、集荷依頼人を識別する情報等が含まれてもよい。
　作業員端末３００は、集荷対象Ａを集荷する作業員が使用する携帯電話、タブレット、ウェアラブルデバイスなどである。作業員端末３００は、集荷位置に置かれた物体Ｘを撮影するカメラを備える。なお、作業員端末３００は、図示しない外部装置から物体Ｘの撮影データを受信してもよい。作業員端末３００は、物体Ｘの撮影データを集荷支援装置１００に送信する。さらに、作業員端末３００は、集荷支援装置１００から、判定結果を受信し、図示しないディスプレイに表示してもよい。
　各種変形例において、撮影データが用いられない場合、依頼人端末２００、及び作業員端末３００はカメラを備えていなくてもよい。また、この場合、依頼人端末２００、及び作業員端末３００は、撮影データを外部装置から受信しなくてもよい。
　図２は、集荷支援装置１００の構成を例示するブロック図である。集荷支援装置１００は、判定部１０１と出力部１０２を備える。
　判定部１０１は、集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、物体が集荷対象であるか判定する。
　出力部１０２は、判定部１０１が判定した結果を出力する。判定した結果とは、集荷依頼に係る位置にある物体が、集荷対象であると判定したこと、あるいは、集荷対象でないと判定したことを含む。第１実施形態において、出力部１０２は、例えば、作業員端末３００に、判定結果を出力する。
　以下、判定部１０１による判定方法について説明する。
　（撮影データによる判定）
　判定部１０１は、対象物の外観に関する情報として、対象物を撮影した撮影データを用いて、物体が集荷対象であるかを判定してもよい。
　この場合、依頼人は、例えば、集荷対象Ａを任意の場所に置き、依頼人端末２００を用いて、１以上の方向から集荷対象Ａを撮影し、撮影データを取得する。依頼人は、例えば、立体的な形状を有する集荷対象Ａに向かうある方向を正面とした場合に、正面、背面、左右の側面、上面、底面の６つの方向から見た際の外観が分かるように、２以上の方向から撮影してもよい。なお、底面など、いくつかの面の撮影は適宜省略されてもよい。
　作業員は、作業員端末３００を用いて、集荷位置に置かれた物体Ｘを１以上の方向から撮影し、撮影データを取得する。作業員は、依頼人と同様の方法で、物体Ｘを２以上の方向から撮影してもよい。
　判定部１０１は、例えば、１方向からの集荷対象Ａの撮影データが、複数の方向からの物体Ｘの複数の撮影データのいずれかと一致するか判定する。または、判定部１０１は、１方向からの物体Ｘの撮影データが、複数の方向からの集荷対象Ａの複数の撮影データのいずれかと一致するか判定してもよい。ここで、判定部１０１は、例えば、既知の画像類似度算出技術を用いて、物体Ｘの撮影データと集荷対象Ａの撮影データを比較して類似度を算出し、類似度が閾値以上である場合に、撮影データが一致すると判定してもよい。この場合、判定部１０１は、例えば、撮影データにおける各領域の色や、模様、撮影データに含まれる対象物の形状を特徴量として、類似度を算出する。
　また、判定部１０１は、既知のパターンマッチング技術を用いて、撮影データから抽出される物体Ｘの画像と集荷対象Ａの画像を比較して類似度を算出し、類似度が閾値以上である場合に、撮影データが一致すると判定してもよい。
　そして、判定部１０１は、例えば、集荷対象Ａの撮影データと物体Ｘの撮影データの所定数以上の組において、物体Ｘの撮影データと集荷対象Ａの撮影データが一致した場合に、物体Ｘが集荷対象Ａであると判定する。
　なお、集荷の際に撮影した撮影データには、複数の物体Ｘの画像が含まれてもよい。この場合、判定部１０１は、例えば、複数の物体Ｘの画像を夫々抽出し、その画像と、集荷対象Ａの画像との比較を行ってもよい。そして、判定部１０１は、例えば、複数の物体Ｘのうち、類似度が他の物体Ｘより大きな物体Ｘを、集荷対象Ａと判定する。
　また、集荷依頼に係る集荷対象Ａは、集荷対象Ａを集荷位置に置いた状態で依頼人端末２００によって撮影され、集荷対象Ａの背景を含む撮影データが取得されてもよい。同様に、作業員端末３００により、物体Ｘの背景を含む撮影データが取得されてもよい。この場合、判定部１０１は、背景を含む集荷対象Ａの撮影データと、背景を含む物体Ｘの撮影データの比較を行ってもよい。これにより、集荷依頼と異なる場所に置かれた物体を集荷してしまうことを防ぐことができる。
　（大きさによる判定）
　判定部１０１は、さらに、集荷対象Ａの大きさと、集荷位置の物体Ｘの大きさに基づき、物体Ｘが集荷対象Ａであるか判定してもよい。これによれば、判定部１０１は、形状は類似し、大きさが異なる対象物を判別することが可能になる。
　この場合、判定部１０１は、撮影データから対象物（集荷対象Ａと物体Ｘ）の大きさを計測する、図示しない計測部をさらに備えてもよい。計測部の機能の一部または全部は、依頼人端末２００と作業員端末３００が備えていてもよい。この場合、判定部１０１は、依頼人端末２００及び作業員端末３００から計測された対象物の大きさを受信する。
　計測部は、例えば、一方向から撮影された撮影データから、既存の画像認識技術を用いて対象物の形状を認識する。その後、計測部は対象物の大きさを計測する。計測部は例えば、対象物を一方向から見た際の対象物の高さと幅を計測する。計測部は、認識した対象物の形状の各辺の長さ、あるいは、一辺から他辺までの長さ、あるいは、形状の重心から輪郭の任意の点までの長さ等を計測してもよい。
　また、計測部は、例えば、略同じ方向から撮影された２つの撮影データの視差を用いて対象物の大きさを計測してもよい。また、計測部は対象物と一緒に撮影された大きさが既知の基準物の大きさに基づいて、対象物の大きさを計測してもよい。
　なお、計測部は、一方向からの撮影データから、対象物の奥行方向の立体的形状を予測し、対象物の大きさとして、対象物の高さと幅に加えて、奥行を計測してもよい。
　また、計測部は、撮影データの代わりに、距離情報に基づいて、対象物の形状を認識し、対象物の大きさを計測してもよい。距離情報は、物体とセンサの距離を表す。この場合、距離情報は、依頼人端末２００及び作業員端末３００に備えられる赤外線センサ等により取得され、計測部に送信される。距離情報を用いる場合、大きさの計測に撮影データは用いなくてもよい。
　計測部はさらに、同様の手法で、他の方向から見た対象物の大きさを計測してもよい。
　また、判定部１０１は、１以上の方向から見た集荷対象Ａの大きさと、１以上の方向から見た物体Ｘの大きさとを照合する、図示しない照合部をさらに備えてもよい。照合部は、集荷対象Ａと物体Ｘの大きさの差が所定の誤差範囲内である場合、集荷対象Ａと物体Ｘの大きさが一致すると判定する。
　そして、判定部１０１は、例えば、物体Ｘの撮影データと集荷対象Ａの撮影データが一致し、かつ、物体Ｘの大きさと集荷対象Ａの大きさが一致した場合に、物体Ｘが集荷対象Ａであると判定する。
　なお、照合部は、ある方向の集荷対象Ａの大きさが、複数の方向からの物体Ｘの大きさのうちのいずれかと一致するか照合してもよい。この場合、判定部１０１は、２以上の方向の組において、計測された大きさが一致した場合に、物体Ｘが集荷対象Ａであると判定してもよい。
　（３次元形状による判定）
　判定部１０１は、集荷依頼に係る集荷対象Ａの立体データと、集荷位置の物体Ｘの立体データに基づいて、集荷対象Ａを判別してもよい。
　立体データは、例えば、所定の３次元座標空間における対象物の表面の位置を表す。立体データは、対象物の３次元形状を示し、対象物の大きさも示してもよい。立体データの比較により、対象物の３次元形状を比較することができるため、判定部１０１は、見る方向によって形状が異なる集荷対象であっても判別することが可能になる。
　判定部１０１は、当該立体データを生成する、図示しない立体データ生成部を備えていてもよい。判定部１０１は、生成された物体Ｘの立体データと集荷対象Ａの立体データを比較する。立体データの解像度は大まかな全体の形状を測定できる程度であってもよい。立体データ生成部の機能は、依頼人端末２００及び作業員端末３００が備えていてもよい。この場合、判定部１０１は、依頼人端末２００及び作業員端末３００から立体データを受信する。
　例えば、立体データ生成部は、依頼人端末２００または作業員端末３００から受信した、複数方向から対象物を撮影した撮影データを用いて、立体データを生成してもよい。立体データ生成部は、１以上の静止画から対象物の立体的形状を推定し、立体データを生成してもよい。
　また、立体データ生成部は、依頼人端末２００または作業員端末３００が備える赤外線、レーザを使って得られた対象物の３Ｄスキャンデータに基づいて、立体データを生成してもよい。集荷支援装置１００は、立体データの生成に撮影データを用いない場合、依頼人端末２００及び作業員端末３００から撮影データを受信しなくてもよい。
　判定部１０１は、対象物の３次元形状を照合する、図示しない照合部を備えていてもよい。照合部は、既知の立体（３次元）形状類似度算出技術を用いて、物体Ｘの立体データと集荷対象Ａの立体データを比較して類似度を算出し、類似度が閾値以上である場合に、３次元形状が一致すると判定する。
　そして、判定部１０１は、物体Ｘの３次元形状と集荷対象Ａの３次元形状が一致した場合に、物体Ｘが集荷対象Ａであると判定する。
　（手に持った状態の画像で比較）
　集荷対象Ａと集荷位置の物体Ｘは、集荷依頼人または作業員が手に持った状態で撮影されてもよい。このとき判定部１０１は、手の色、形、位置等に基づいて、撮影データまたは立体データに含まれる手を除いて、撮影データや、対象物の大きさ、対象物の立体的形状を比較してもよい。
　（動作）
　図３は、集荷支援装置１００の処理を例示するフローチャートである。判定部１０１は、集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、物体が集荷対象であるか判定する（ステップＳ１０１）。出力部１０２は、判定結果を出力する（ステップＳ１０２）。
　図４は、集荷支援システム１の動作例を示すシーケンス図である。図４において、対象物の撮影データが用いられる場合について説明する。まず、依頼人端末２００は、集荷依頼人の元にある集荷対象を撮影する（ステップＳ２０１）。次に、依頼人端末２００は、集荷対象の撮影データと集荷位置を特定する情報を含む集荷依頼を集荷支援装置１００に送信する。図５は、集荷依頼に係る情報の入力を受け付ける際に、依頼人端末２００に表示される集荷依頼画面の例を示す図である。依頼人は、例えば、集荷依頼画面において、集荷日時、集荷位置、荷物の宛先、及び、集荷対象Ａの撮影データを入力する。
　集荷支援装置１００は、集荷依頼を受け付けると（ステップＳ２０２）、集荷指示を作業員端末３００に送信する。集荷指示には、集荷日時、及び、集荷位置が含まれる。さらに、集荷指示には、集荷依頼に係る集荷対象Ａの撮影データが含まれてもよい。配達指示を見た作業員は、集荷日時に集荷指示に示される集荷位置へ向かう。作業員は集荷依頼に係る集荷対象Ａの撮影データを参考に、集荷対象を探す。作業員端末３００は、集荷位置において作業員が見つけた物体Ｘを撮影し（ステップＳ２０３）、撮影データを集荷支援装置１００に送信する。
　集荷支援装置１００の判定部１０１は、受信した対象物の撮影データに基づいて、撮影された物体Ｘが集荷対象Ａであるか判定する（ステップＳ２０４）。次に、集荷支援装置の出力部１０２は、判定結果を出力し（ステップＳ２０５）、判定結果を作業員端末３００に送信する。
　作業員は作業員端末３００のディスプレイに表示された判定結果を確認し、撮影した物体が集荷対象であれば、物体を集荷する。作業員端末３００は、集荷支援装置１００を介して、依頼人端末２００に集荷完了通知を送信する。集荷支援装置１００は、集荷対象の判別に用いた撮影データを含む集荷完了通知を依頼人端末２００に送信してもよい。
　（効果）
　第１実施形態によれば、荷物を特定する情報が荷物に付加されていない場合にも、集荷依頼に示される場所において集荷対象を判別できる。その理由は、判定部１０１が、集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、物体が集荷対象であるか判定するためである。
　なお、本開示において、集荷支援装置１００により、集荷対象が特定された後で、作業員により、集荷対象に、荷物を特定する情報が付加されてもよい。例えば、作業員端末３００の図示しない印刷部は、集荷対象が特定されると、集荷依頼に基づいて、集荷伝票を印刷してもよい。集荷伝票には、例えば、集荷支援装置１００等により付与される、集配依頼や荷物を識別する識別番号や、集荷依頼に含まれる荷物の宛先が示される。作業員は印刷された集荷伝票を集荷対象に貼付する。
　［第２実施形態］
　第２実施形態において、集荷対象を判別できなかった場合の集荷支援システム１の処理について説明する。第２実施形態の構成について、第１実施形態と同様の構成については説明を省略する。
　（集荷対象の候補がない場合）
　集荷位置に物体がない場合、作業員端末３００は、上述の物体Ｘの外観に関する情報を集荷支援装置１００に送信することができない。この場合、作業員端末３００は、集荷位置を撮影した画像と現在地の位置情報とを集荷支援装置１００に送信してもよい。判定部１０１は、受信した集荷位置の画像及び位置情報を、集荷依頼に係る画像及び位置情報と比較して、集荷位置に集荷対象Ａがないことを判定する。
　また、物体Ｘと集荷依頼に係る集荷対象Ａの比較の結果、算出した類似度が閾値未満である場合、判定部１０１は集荷対象Ａを判別できない。対象物の外観に関する情報に基づいて集荷対象を判別できない場合、集荷支援装置１００は、依頼人端末２００に集荷位置に置かれた物体Ｘの撮影データを送信し、集荷依頼人に確認を要求してもよい。図６は、依頼人端末２００のディスプレイに表示される確認画面の一例を示す図である。図６において「はい」が選択されると、判定部１０１は、物体Ｘが集荷対象Ａであると判定する。図６において「いいえ」が選択されると、判定部１０１は、物体Xは集荷対象でないと判定する。集荷支援装置１００が、物体Xは集荷対象でないと判定した結果を出力した場合、作業員端末３００は、他の物体Xの外観に関する情報を集荷支援装置１００に送信してもよい。また、作業員端末３００は、上述の集荷位置に物体がない場合の動作を行ってもよい。
　このように、集荷位置に物体がない場合、物体Ｘが集荷対象Ａであると判定できない場合等、集荷対象Ａの候補がない場合、作業員端末３００は、集荷の中止を集荷支援装置１００に送信してもよい。集荷支援装置１００は、集荷位置を撮影した画像を含む集荷中止通知を依頼人端末２００に送信してもよい。
　（集荷対象の候補が複数ある場合）
　集荷位置の物体Ｘを集荷対象Ａと比較した結果、集荷対象Ａと撮影データが一致する物体Ｘが複数検出された場合、判定部１０１は、集荷対象を判別できない。このとき集荷支援装置１００は、検出された複数の物体Ｘを集荷対象の候補とし、当該複数の候補を含む撮影データを依頼人端末２００に送信する。依頼人端末２００は、当該撮影データを表示し、集荷依頼人から集荷対象Ａの選択を受け付ける。判定部１０１は、選択された物体Ｘが集荷対象Ａであると判定する。集荷支援装置１００は、判定結果において選択された物体Ｘを作業員端末３００に通知し、作業員は選択された集荷対象Ａを集荷する。
　なお、集荷依頼人による選択がない場合、例えば集荷支援装置１００は、集荷の中止の指示を作業員端末３００へ送信してもよい。
　（効果）
　第２実施形態によれば、集荷支援装置１００が対象物の外観に関する情報に基づいて、集荷対象Ａを判別できない場合にも、集荷対象を特定することが可能になる。その理由は、集荷支援装置１００が、物体Ｘの撮影データを集荷依頼人に送信し、判定部１０１は、集荷依頼人による入力に基づいて、物体Ｘが集荷対象Ａであると判定するためである。
　［変形例］ロボットによる集荷
　上述の各実施形態において、荷物の集荷はロボットが行ってもよい。すなわち、上記説明において、作業員の行為は、ロボットにより実行される動作に置き換えられてもよい。集荷するロボットは、無人地上車両、無人航空機（ドローン）を含む。本変形例において、作業員端末３００は、ロボットに置き換えられる。また、集荷支援装置１００は、ロボットに搭載されてもよく、ロボットを管理する集配業者のサーバに備えられてもよい。
　図７は、本変形例に係る集荷支援システム１の構成を例示するブロック図である。本変形例において、集荷支援装置１００は、上述の実施形態で説明した構成に加えて、集荷依頼に係る位置への集荷をロボットに指示する指示部１０３を備えてもよい。図７に示す他の構成について、上述の実施形態の構成と同様の部分は説明を省略する。
　ロボットは、ＧＰＳ（Global Positioning System）などによりロボットの位置情報を取得する。ロボットは、道路、建物の外観、建物の内装の画像などをマップに対応づけて予め記憶し、記憶された画像とカメラで撮影された画像とを比較して、現在の位置情報を取得してもよい。飛行型ドローンが荷物を集荷する場合、ドローンは建物のバルコニーに置かれた荷物を集荷してもよい。
　作業員が集荷をする場合と同様に、ロボットは集荷依頼に係る位置において、当該位置にある物体Ｘから取得した物体Ｘの外観に関する情報を集荷支援装置１００に送信する。集荷支援装置１００の出力部１０２は、判定結果をロボットに通知する。ロボットは物体Ｘが集荷対象Ａであることを通知されると、物体Ｘを集荷する。集荷をする時、ロボットはアームにより物体Ｘを掴んでもよいし、または、任意の機構により物体を引っ掛けてもよい。
　［変形例］梱包サービス
　作業員またはロボットは、集荷依頼に係る立体データに合わせて、集荷対象に合う箱などのケースを集荷位置に持ってきてもよい。作業員またはロボットは集荷対象が判別された後、ケースに集荷対象を収納する。また、ロボットは、集荷位置の物体Ｘの立体データを用いて、自在に変形可能な梱包材を用いて集荷対象を梱包してもよい。ロボットは、梱包材として、例えば伸縮可能な箱や、シート等を用いてもよい。
　本変形例のような梱包サービスを採用すれば、集荷依頼人は集荷対象を梱包する必要がない。
　［変形例］他の適用例
　本開示は配達物の集荷の他に、ごみやリサイクル品の収集に用いられてもよい。例えば、ごみの収集を希望するユーザは、依頼人端末２００を用いて、ごみを撮影し、収集依頼（集荷依頼）を集荷支援装置１００に送信する。ごみ収集業者は、作業員端末３００に収集の指示を送信する。作業員は、判定部１０１によって、指示された場所に置かれたごみが収集対象であることが判定されたら、該ごみを収集する。
　［ハードウェア構成］
　上述した各実施形態において、集荷支援装置１００の各構成要素は、機能単位のブロックを示している。各装置（集荷支援装置１００、依頼人端末２００、作業員端末３００）の各構成要素の一部又は全部は、コンピュータ５００とプログラムとの任意の組み合わせにより実現されてもよい。集荷支援装置１００と依頼人端末２００は単一のコンピュータ５００により実現されてもよい。集荷支援装置１００と作業員端末３００は単一のコンピュータ５００により実現されてもよい。この場合、作業員端末３００が、集荷支援装置１００の各構成要素（判定部１０１、出力部１０２）を含んでいてもよい。
　図８は、コンピュータ５００のハードウェア構成の例を示すブロック図である。図８を参照すると、コンピュータ５００は、例えば、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、プログラム５０４、記憶装置５０５、ドライブ装置５０７、通信インタフェース５０８、入力装置５０９、入出力インタフェース５１１、及び、バス５１２を含む。
　プログラム５０４は、各装置の各機能を実現するための命令（instruction）を含む。プログラム５０４は、予め、ＲＯＭ５０２やＲＡＭ５０３、記憶装置５０５に格納される。ＣＰＵ５０１は、プログラム５０４に含まれる命令を実行することにより、各装置の各機能を実現する。例えば、集荷支援装置１００のＣＰＵ５０１がプログラム５０４に含まれる命令を実行することにより、集荷支援装置１００の機能を実現する。また、ＲＡＭ５０３は、各装置の各機能において処理されるデータを記憶してもよい。例えば、コンピュータ５００のＲＡＭ５０３に、集荷支援装置１００の集荷依頼を記憶してもよい。
　ドライブ装置５０７は、記録媒体５０６の読み書きを行う。通信インタフェース５０８は、通信ネットワークとのインタフェースを提供する。入力装置５０９は、例えば、マウスやキーボード等であり、集配業者等からの情報の入力を受け付ける。出力装置５１０は、例えば、ディスプレイであり、集配業者等へ情報を出力（表示）する。入出力インタフェース５１１は、周辺機器とのインタフェースを提供する。バス５１２は、これらハードウェアの各構成要素を接続する。なお、プログラム５０４は、通信ネットワークを介してＣＰＵ５０１に供給されてもよいし、予め、記録媒体５０６に格納され、ドライブ装置５０７により読み出され、ＣＰＵ５０１に供給されてもよい。
　なお、図８に示されているハードウェア構成は例示であり、これら以外の構成要素が追加されていてもよく、一部の構成要素を含まなくてもよい。
　各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ異なるコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つのコンピュータとプログラムとの任意の組み合わせにより実現されてもよい。
　また、各装置の各構成要素の一部又は全部は、プロセッサ等を含む汎用又は専用の回路（circuitry）や、これらの組み合わせによって実現されてもよい。これらの回路は、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　また、各装置の各構成要素の一部又は全部が複数のコンピュータや回路等により実現される場合、複数のコンピュータや回路等は、集中配置されてもよいし、分散配置されてもよい。
　また、集荷支援システム１の少なくとも一部がＳａａＳ（Software as a Service）形式で提供されてよい。すなわち、集荷支援装置１００を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。
　以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、各実施形態における構成は、本開示のスコープを逸脱しない限りにおいて、互いに組み合わせることが可能である。
　上記実施形態の一部または全部は、以下の付記のように記載され得るが、以下には限られない。
　［付記１］
　集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定する判定手段と、
　判定した結果を出力する出力手段と、
を備える、集荷支援装置。
［付記２］
　前記判定手段は、前記外観に関する情報として、前記集荷対象の撮影データと前記物体の撮影データを比較することで、前記物体が前記集荷対象であるかどうかを判定する、
付記１に記載の集荷支援装置。
［付記３］
　前記集荷対象の撮影データと前記物体の撮影データは、それぞれ、前記集荷対象の背景と前記物体の背景を含む、
付記２に記載の集荷支援装置。
［付記４］
　前記判定手段は、前記外観に関する情報として、前記集荷対象の形状と前記物体の形状を比較することで、前記物体が前記集荷対象であるかどうかを判定する、
付記１乃至３のいずれか１つに記載の集荷支援装置。
［付記５］
　前記集荷依頼が受け付けられると、前記位置への集荷をロボットに指示する指示手段、をさらに備え、
　前記出力手段は、前記判定した結果を前記ロボットに通知し、
　前記ロボットは、前記位置において当該位置にある物体から取得した当該物体の外観に関する情報を前記集荷支援装置に送信し、前記集荷支援装置から前記物体が前記集荷対象であることを通知されると当該物体を集荷する
付記１乃至４のいずれか１つに記載の集荷支援装置。
［付記６］
　前記判定手段は、前記外観に関する情報に基づいて、前記物体が前記集荷対象であると判定できない場合、前記物体の撮影データを集荷依頼人に送信し、前記集荷依頼人による入力に基づいて、前記物体が前記集荷対象であるかどうかを判定する、
付記１乃至５のいずれか１つに記載の集荷支援装置。
［付記７］
　前記物体が前記集荷対象であると判定できない場合は、前記集荷対象と前記物体の類似度が閾値未満である場合、及び、前記集荷対象の候補が複数ある場合のうちの少なくとも一方を含む、
付記６に記載の集荷支援装置。
［付記８］
　前記判定手段は、前記集荷対象の候補がない場合、前記位置を撮影した画像に基づいて、前記位置に前記集荷対象がないことを判定する
付記１乃至７のいずれか１つに記載の集荷支援装置。
［付記９］
　前記物体が前記集荷対象であると判定できない場合、または、前記位置に物体がない場合、集荷依頼人に集荷の中止を通知する、
付記１乃至８のいずれか１つに記載の集荷支援装置。
［付記１０］
　集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定し、
　判定した結果を出力する、
　集荷支援方法。
［付記１１］
　前記外観に関する情報として、前記集荷対象の撮影データと前記物体の撮影データを比較することで、前記物体が前記集荷対象であるかどうかを判定する、
付記１０に記載の集荷支援方法。
［付記１２］
　前記集荷対象の撮影データと前記物体の撮影データは、それぞれ、前記集荷対象の背景と前記物体の背景を含む、
付記１１に記載の集荷支援方法。
［付記１３］
　前記外観に関する情報として、前記集荷対象の形状と前記物体の形状を比較することで、前記物体が前記集荷対象であるかどうかを判定する、
付記１０乃至１２のいずれか１つに記載の集荷支援方法。
［付記１４］
　前記集荷依頼が受け付けられると、前記位置への集荷をロボットに指示し、
　前記位置において当該位置にある物体から前記ロボットが取得した当該物体の外観に関する情報を前記ロボットから受信し、
　前記判定した結果を前記ロボットに通知し、
　前記ロボットは、前記物体が前記集荷対象であることを通知されると当該物体を集荷する
付記１０乃至１３のいずれか１つに記載の集荷支援方法。
［付記１５］
　前記外観に関する情報に基づいて、前記物体が前記集荷対象であると判定できない場合、前記物体の撮影データを集荷依頼人に送信し、前記集荷依頼人による入力に基づいて、前記物体が前記集荷対象であるかどうかを判定する、
付記１０乃至１４のいずれか１つに記載の集荷支援方法。
［付記１６］
　コンピュータに、
　集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定する判定処理と、
　判定した結果を出力する出力処理とをコンピュータに実行させるプログラムを非一時的に記録するプログラム記録媒体。
［付記１７］
　前記判定処理は、前記外観に関する情報として、前記集荷対象の撮影データと前記物体の撮影データを比較することで、前記物体が前記集荷対象であるかどうかを判定する、
付記１６に記載のプログラム記録媒体。
［付記１８］
　前記集荷対象の撮影データと前記物体の撮影データは、それぞれ、前記集荷対象の背景と前記物体の背景を含む、
付記１７に記載のプログラム記録媒体。
［付記１９］
　前記判定処理は、前記外観に関する情報として、前記集荷対象の形状と前記物体の形状を比較することで、前記物体が前記集荷対象であるかどうかを判定する、
付記１６乃至１８のいずれか１つに記載のプログラム記録媒体。
［付記２０］
　前記プログラムは、前記集荷依頼が受け付けられると、前記位置への集荷をロボットに指示する処理と、
　前記位置において当該位置にある物体から取得した当該物体の外観に関する情報を前記ロボットから受信する処理とをさらに含み、
　前記出力処理は、前記判定した結果を前記ロボットに通知し、
　前記ロボットは、前記物体が前記集荷対象であることを通知されると当該物体を集荷する
付記１６乃至１９のいずれか１つに記載のプログラム記録媒体。
［付記２１］
　前記プログラムは、前記外観に関する情報に基づいて、前記物体が前記集荷対象であると判定できない場合、前記物体の撮影データを集荷依頼人に送信し、前記集荷依頼人による入力に基づいて、前記物体が前記集荷対象であるかどうかを判定する処理をさらに含む、
付記１６乃至２０のいずれか１つに記載のプログラム記録媒体。
　１００　　集荷支援装置
　１０１　　判定部
　１０２　　出力部
　２００　　依頼人端末
　３００　　作業員端末
　５００　　コンピュータ

Claims (11)

  1. 　集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定する判定手段と、
    　判定した結果を出力する出力手段と、
    を備える、集荷支援装置。
  2. 　前記判定手段は、前記外観に関する情報として、前記集荷対象の撮影データと前記物体の撮影データを比較することで、前記物体が前記集荷対象であるかどうかを判定する、
    請求項１に記載の集荷支援装置。
  3. 　前記集荷対象の撮影データと前記物体の撮影データは、それぞれ、前記集荷対象の背景と前記物体の背景を含む、
    請求項２に記載の集荷支援装置。
  4. 　前記判定手段は、前記外観に関する情報として、前記集荷対象の形状と前記物体の形状を比較することで、前記物体が前記集荷対象であるかどうかを判定する、
    請求項１乃至３のいずれか１項に記載の集荷支援装置。
  5. 　前記集荷依頼が受け付けられると、前記位置への集荷をロボットに指示する指示手段、をさらに備え、
    　前記出力手段は、前記判定した結果を前記ロボットに通知し、
    　前記ロボットは、前記位置において当該位置にある物体から取得した当該物体の外観に関する情報を前記集荷支援装置に送信し、前記集荷支援装置から前記物体が前記集荷対象であることを通知されると当該物体を集荷する、
    請求項１乃至４のいずれか１項に記載の集荷支援装置。
  6. 　前記判定手段は、前記外観に関する情報に基づいて、前記物体が前記集荷対象であると判定できない場合、前記物体の撮影データを集荷依頼人に送信し、前記集荷依頼人による入力に基づいて、前記物体が前記集荷対象であるかどうかを判定する、
    請求項１乃至５のいずれか１項に記載の集荷支援装置。
  7. 　前記物体が前記集荷対象であると判定できない場合は、前記集荷対象と前記物体の類似度が閾値未満である場合、及び、前記集荷対象の候補が複数ある場合のうちの少なくとも一方を含む、
    　請求項６に記載の集荷支援装置。
  8. 　前記判定手段は、前記集荷対象の候補がない場合、前記位置を撮影した画像に基づいて、前記位置に前記集荷対象がないことを判定する
    　請求項１乃至７のいずれか１項に記載の集荷支援装置。
  9. 　前記物体が前記集荷対象であると判定できない場合、または、前記位置に物体がない場合、集荷依頼人に集荷の中止を通知する、
    　請求項１乃至８のいずれか１項に記載の集荷支援装置。
  10. 　集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定し、
    　判定した結果を出力する、
    　集荷支援方法。
  11. 　集荷対象の外観に関する情報と、集荷依頼に係る位置にある物体の外観に関する情報とに基づき、前記物体が前記集荷対象であるかどうかを判定する判定処理と、
    　判定した結果を出力する出力処理とをコンピュータに実行させるプログラムを非一時的に記録するプログラム記録媒体。
PCT/JP2020/036625 2020-09-28 2020-09-28 集荷支援装置、集荷支援方法、及び、プログラム記録媒体 WO2022064691A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/021,659 US20230306713A1 (en) 2020-09-28 2020-09-28 Pickup support device, pickup support method, and program recording medium
PCT/JP2020/036625 WO2022064691A1 (ja) 2020-09-28 2020-09-28 集荷支援装置、集荷支援方法、及び、プログラム記録媒体
JP2022551091A JPWO2022064691A5 (ja) 2020-09-28 集荷支援装置、集荷支援方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/036625 WO2022064691A1 (ja) 2020-09-28 2020-09-28 集荷支援装置、集荷支援方法、及び、プログラム記録媒体

Publications (1)

Publication Number Publication Date
WO2022064691A1 true WO2022064691A1 (ja) 2022-03-31

Family

ID=80845081

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036625 WO2022064691A1 (ja) 2020-09-28 2020-09-28 集荷支援装置、集荷支援方法、及び、プログラム記録媒体

Country Status (2)

Country Link
US (1) US20230306713A1 (ja)
WO (1) WO2022064691A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154595A1 (ja) * 2016-03-11 2017-09-14 株式会社プロドローン 生体探索システム
JP2019006356A (ja) * 2017-06-28 2019-01-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体
WO2020084976A1 (ja) * 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 集荷システム、及び、集荷方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154595A1 (ja) * 2016-03-11 2017-09-14 株式会社プロドローン 生体探索システム
JP2019006356A (ja) * 2017-06-28 2019-01-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体
WO2020084976A1 (ja) * 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 集荷システム、及び、集荷方法

Also Published As

Publication number Publication date
JPWO2022064691A1 (ja) 2022-03-31
US20230306713A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
US11315262B1 (en) Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
US11373320B1 (en) Detecting inventory changes by comparing image data
US10268892B1 (en) System and methods for volume dimensioning for supply chains and shelf sets
US11783613B1 (en) Recognizing and tracking poses using digital imagery captured from multiple fields of view
US11030442B1 (en) Associating events with actors based on digital imagery
JP7251569B2 (ja) 店舗装置、店舗管理方法、プログラム
US10157452B1 (en) Image processing system for image rectification
US11393207B1 (en) Multi-video annotation
US11284041B1 (en) Associating items with actors based on digital imagery
JP6889046B2 (ja) 飛行体、集荷支援装置、集荷制御方法、集荷支援方法、プログラム、及び記録媒体
WO2017163714A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP6918651B2 (ja) 荷物管理システム
US10346659B1 (en) System for reading tags
US20220016764A1 (en) Object grasping system
US11301984B1 (en) System to determine user interaction with fixture
GB2581655A (en) Sytems and methods to establish digital chain of custody
US11468681B1 (en) Associating events with actors using digital imagery and machine learning
WO2017163709A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
US11482045B1 (en) Associating events with actors using digital imagery and machine learning
JP6590153B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2022064691A1 (ja) 集荷支援装置、集荷支援方法、及び、プログラム記録媒体
US11195140B1 (en) Determination of untidy item return to an inventory location using weight
US11117744B1 (en) Determination of untidy item return to an inventory location
US11398094B1 (en) Locally and globally locating actors by digital cameras and machine learning
KR102488693B1 (ko) 무인택배 관리시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20955284

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022551091

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20955284

Country of ref document: EP

Kind code of ref document: A1