WO2020054744A1 - 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 - Google Patents

情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 Download PDF

Info

Publication number
WO2020054744A1
WO2020054744A1 PCT/JP2019/035610 JP2019035610W WO2020054744A1 WO 2020054744 A1 WO2020054744 A1 WO 2020054744A1 JP 2019035610 W JP2019035610 W JP 2019035610W WO 2020054744 A1 WO2020054744 A1 WO 2020054744A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
captured
threshold
client device
captured image
Prior art date
Application number
PCT/JP2019/035610
Other languages
English (en)
French (fr)
Inventor
正知 小宮山
Original Assignee
日鉄ソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日鉄ソリューションズ株式会社 filed Critical 日鉄ソリューションズ株式会社
Priority to CN201980057206.9A priority Critical patent/CN112638818B/zh
Priority to US17/269,474 priority patent/US11483524B2/en
Priority to CA3110037A priority patent/CA3110037C/en
Priority to MX2021002811A priority patent/MX2021002811A/es
Publication of WO2020054744A1 publication Critical patent/WO2020054744A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1373—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses
    • B65G1/1375—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed for fulfilling orders in warehouses the orders being assembled on a commissioning stacker-crane or truck
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an information processing system, a client device, an information processing method, a program, and a storage medium.
  • the entry / exit management system of Patent Document 1 takes a photograph including the brand of the luggage and a photograph including the forklift ID when the forklift loaded with the pallet loaded with the luggage enters the warehouse. Then, when the forklift places the pallet at a predetermined location, the entry / exit management system takes a picture including the location ID and the forklift ID. Then, based on the forklift ID of the photo, the entry / exit management system compares the brand and location ID of the luggage in the photo with the entry / exit information, and arranges the luggage that matches the entry / exit information at a location that matches the entry / exit information. It is determined whether or not it has been performed.
  • An information processing system is an information processing system including a client device provided on a moving body and a server device, wherein the client device is provided on the moving body so as to continuously capture images.
  • a photographing control unit for controlling a photographing unit; and if it is determined that the size of a marker photographed in the photographed image photographed by the photographing unit has changed so as to cross a predetermined threshold, the photographing control unit controls the photographing image.
  • First transmitting means for transmitting information about the marker to the server device, wherein the server device controls the storage device to store the information about the marker transmitted by the first transmitting device. 1 storage control means.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of the article management system.
  • FIG. 2A is a diagram illustrating an example of a hardware configuration of a client device.
  • FIG. 2B is a diagram illustrating an example of a hardware configuration of the server device.
  • FIG. 3A is a diagram illustrating an example of the configuration of the article management DB.
  • FIG. 3B is a diagram illustrating an example of the configuration of the image management DB.
  • FIG. 4A is a diagram illustrating an operation example of the client device.
  • FIG. 4B is a diagram illustrating an operation example of the client device.
  • FIG. 4C is a diagram illustrating an operation example of the client device.
  • FIG. 4D is a diagram illustrating an operation example of the client device.
  • FIG. 5 is a flowchart illustrating an example of the marker analysis process.
  • FIG. 6 is a flowchart illustrating an example of the marker analysis process.
  • FIG. 7 is a flowchart illustrating an
  • FIG. 1 is a diagram illustrating an example of the overall configuration of the article management system 1.
  • the article management system 1 manages articles 20 stored on shelves 10 arranged in a warehouse or the like.
  • the article management system 1 includes a forklift 300, a client device 100, and a server device 200.
  • the article management system 1 is an example of an information processing system.
  • the forklift 300 conveys article 20.
  • the article management system 1 has one forklift 300, but may have a plurality of forklifts 300.
  • the forklift 300 is an example of a movable movable body.
  • the client device 100 is provided in the forklift 300, and is an imaging device that continuously shoots while moving with the forklift 300.
  • the client device 100 can transmit and receive data to and from the server device 200 via the network 400.
  • a wireless communication network is used.
  • a wired communication network may be used as the network 400.
  • the client device 100 is attached to the forklift 300 so that the front of the forklift 300 can be photographed.
  • the server device 200 receives data from the client device 100 via the network 400, and based on the received data, an article management DB (database) 210, an image management DB 220, and an image file area 230, which will be described later. Manage.
  • the database is a set of predetermined information.
  • Each of the client device 100 and the server device 200 is an example of an information processing device (computer).
  • the client device 100 continuously and continuously photographs the shelf 10, the article 20, and the like while moving with the forklift 300.
  • the shelf 10 has one or more storage spaces 11.
  • the storage space 11 is a storage place for the articles 20.
  • the front of the storage space 11 is open.
  • Each storage space 11 can store one or more articles 20.
  • the shelf 10 has four storage spaces 11 from a first storage space 11A to a fourth storage space 11D.
  • the marker 30 is attached to the shelf 10 and the article 20.
  • the marker 30 is of an optical reading type, and information predetermined for each marker 30 is recorded.
  • the markers 30 include a storage location marker 12 and an article marker 21.
  • the marker 30 is a square such as a square or a rectangle.
  • the storage location marker 12 is associated with the storage space 11. For each storage space 11, there is a storage location marker 12 associated with the storage space 11.
  • a storage location ID representing the corresponding storage space 11 is recorded.
  • the storage location ID is an identifier that can identify the storage space 11.
  • the storage location markers 12 are attached to the front surfaces of the shelves arranged above the corresponding storage spaces 11.
  • the first storage location marker 12A corresponds to the first storage space 11A.
  • the second storage location marker 12B to the fourth storage location marker 12D correspond to the second storage space 11B to the fourth storage space 11D, respectively.
  • the storage location marker 12 is larger than the article marker 21.
  • the article marker 21 is associated with the article 20. For each article 20, there is an article marker 21 associated with the article 20.
  • the article marker 21 records an article ID representing the corresponding article 20.
  • the article ID is an identifier that can identify the article 20.
  • the article marker 21 is provided on the front surface of the article 20. In the present embodiment, a worker or the like in the warehouse stores the article 20 in the storage space 11 such that the article marker 21 attached to the article 20 faces the front of the shelf 10.
  • the article marker 21 is not limited to the front face of the shelf 10 and may be attached to the top face, side face, or the like of the article 20.
  • the worker in the warehouse or the like places the article 20 in the storage space 11 so that the article marker 21 attached to the article 20 faces a direction other than the front of the shelf 10. May be stored.
  • the types of the marker 30 include a QR code (registered trademark), a color bit (registered trademark), and a bar code.
  • a two-dimensional code such as a QR code or a color bit may be used, or a one-dimensional code such as a bar code may be used.
  • the client device 100 reads the storage location marker 12 attached to the shelf 10 and the article marker 21 attached to the article 20 stored in the shelf 10 by photographing the shelf 10. In the present embodiment, the client device 100 reads only one type of the marker 30. For example, the client device 100 reads only the color bit marker 30. However, when a plurality of types of markers 30 are used, the client device 100 may read the plurality of types of markers 30.
  • FIG. 2A is a diagram illustrating an example of a hardware configuration of the client device 100.
  • the client device 100 includes, as hardware, a CPU 101, a storage device 102, a communication interface 103, an image sensor 104, and a bus 105 connecting these.
  • the CPU 101 controls the entire client device 100.
  • the CPU 101 executes processing based on programs stored in the storage device 102 and the like, various functions of the client device 100 and the processing of the flowcharts shown in FIGS. 5, 6, and 7 are realized.
  • the storage device 102 is a RAM, a ROM, an HDD, or the like, and stores a program, and stores data used when the CPU 101 executes processing based on the program.
  • the storage device 102 is an example of a storage medium.
  • the communication interface 103 controls communication between the client device 100 and an external device such as the server device 200.
  • the image sensor 104 is used when the client device 100 captures an image.
  • the image sensor 104 generates a digital image to be a captured image based on light passing through the lens.
  • the image sensor 104 is provided on the forklift 300 together with the client device 100.
  • the image sensor 104 is an example of a photographing unit.
  • FIG. 2B is a diagram illustrating an example of a hardware configuration of the server device 200.
  • the server device 200 includes, as hardware, a CPU 201, a storage device 202, a communication interface 203, and a bus 204 connecting these.
  • the CPU 201 controls the entire server device 200.
  • Various functions and processes of the server device 200 are realized by the CPU 201 executing processes based on programs stored in the storage device 202 and the like.
  • the storage device 202 is a RAM, a ROM, an HDD, or the like, and stores a program, and stores data used when the CPU 201 executes processing based on the program.
  • the storage device 202 has an article management DB 210, an image management DB 220, and an image file area 230 described later in a storage area.
  • the storage device 202 is an example of a storage medium.
  • the storage device 202 is an example of a storage unit.
  • the communication interface 203 controls communication between the server device 200 and an external device such as the client device 100.
  • FIGS. 4A to 4D are diagrams illustrating an operation example of the client device 100.
  • the shelf 10 is omitted in the captured images 41A to 41L in FIGS. 4A to 4D.
  • the CPU 101 of the client device 100 controls the image sensor 104 to continuously shoot.
  • the client device 100 transmits the article storage information, the captured image, and the like to the client device 100.
  • the storage location marker 12 is used for comparison with the marker threshold.
  • the marker threshold is set to “200”.
  • the size of a marker is represented by its diagonal length. The unit of the size of the marker is arbitrarily determined.
  • the proximity region 50 shown in FIGS. 4A to 4D will be described.
  • the proximity area 50 is an area set before the shelf 10.
  • the size of the storage location marker 12 captured in the captured image captured by the client device 100 is equal to or larger than the marker threshold.
  • the size of the storage location marker 12 captured in the captured image captured by the client device 100 is smaller than the marker threshold.
  • the size of the storage location marker 12 captured in the captured image changes from less than the marker threshold to more than the marker threshold.
  • the client device 100 When the client device 100 goes out of the proximity area 50 to the outside of the proximity area 50, the size of the storage location marker 12 captured in the captured image changes from the marker threshold to the marker threshold. In these cases, the client device 100 transmits the article storage information, the captured image, and the like to the server device 200.
  • the article storage information is information indicating a place where the article 20 is stored.
  • the position 40B is a position between the position 40A and the position 40C.
  • the position 40A and the position 40B are outside the proximity region 50.
  • the position 40C is within the proximity region 50.
  • the size of the storage location marker 12 captured in the captured images 41A, F, G, and L captured by the client device 100 at the position 40A is “80”.
  • the size of the storage location marker 12 captured on the captured images 41B, E, H, and K captured by the client device 100 at the position 40B is “150”.
  • the size of the storage location marker 12 captured on the captured images 41C, D, I, and J captured by the client device 100 at the position 40C is “220”.
  • the client device 100 when the forklift 300 on which the article 20 is placed on the fork advances toward the shelf 10 and stores the article 20 in the storage space 11 of the shelf 10 will be described. I do. While the forklift 300 is moving forward outside the proximity area 50, the size of the storage location marker 12 shown in the captured image is always less than the marker threshold “200”. Therefore, the client device 100 does not transmit the article storage information, the captured image, and the like to the server device 200. When the forklift 300 enters the proximity area 50 from outside the proximity area 50, the size of the storage location marker 12 captured in the captured image changes from less than the marker threshold to more than the marker threshold.
  • the size of the storage location marker 12 captured in the captured image changes from “150” in the captured image 41B at the position 40B to “220” in the captured image 41C at the position 40C, Becomes the marker threshold or more. Therefore, the client device 100 transmits the article storage information, the captured image, and the like to the server device 200. While the forklift 300 is moving forward in the proximity area 50, the size of the storage location marker 12 captured in the captured image is always equal to or greater than the marker threshold value “200”. Therefore, the client device 100 does not transmit the article storage information, the captured image, and the like to the server device 200.
  • the client device 100 when the forklift 300 storing the articles 20 in the storage space 11 retreats from the shelf 10 will be described. While the forklift 300 is retreating in the proximity area 50, the size of the storage location marker 12 shown in the captured image is always equal to or greater than the marker threshold value “200”. Therefore, the client device 100 does not transmit the article storage information, the captured image, and the like to the server device 200. When the forklift 300 moves out of the proximity area 50 to the outside of the proximity area 50, the size of the storage location marker 12 captured in the captured image changes from the marker threshold to the marker threshold.
  • the size of the storage location marker 12 captured in the captured image changes from “220” in the captured image 41D at the position 40C to “150” in the captured image 41E at the position 40B, It will be less than the marker threshold. Therefore, the client device 100 transmits the article storage information, the captured image, and the like to the server device 200. While the forklift 300 is retreating outside the proximity area 50, the size of the storage location marker 12 shown in the captured image is always less than the marker threshold “200”. Therefore, the client device 100 does not transmit the article storage information, the captured image, and the like to the server device 200.
  • FIG. 4C shows an operation of the client device 100 when the forklift 300 without the article 20 on the fork advances toward the shelf 10 and takes out the article 20 stored in the storage space 11.
  • the operation of the client device 100 in this case is the same as the operation described with reference to FIG. 4A.
  • FIG. 4D shows the operation of the client device 100 when the article 20 is taken out of the storage space 11 and the forklift 300 on which the article 20 is placed on a fork retreats from the shelf 10.
  • the operation of the client device 100 in this case is the same as the operation described with reference to FIG. 4B.
  • FIG. 3A is a diagram illustrating an example of the configuration of the article management DB 210.
  • the article management DB 210 is a database stored in the storage device 202 of the server device 200.
  • the article management DB 210 manages the storage location of the article 20.
  • the article management DB 210 can store a plurality of article management records 211.
  • the article management record 211 is information in which the storage location ID and the article ID are associated with each other, and corresponds to the article storage information described above.
  • the article management record 211 indicates that the article 20 corresponding to the article ID is stored in the storage space 11 corresponding to the storage location ID.
  • FIG. 3B is a diagram illustrating an example of the configuration of the image management DB 220.
  • the image management DB 220 is a database stored in the storage device 202 of the server device 200.
  • the image management DB 220 manages the captured images captured by the client device 100 and capturing the storage space 11.
  • the image management DB 220 can store a plurality of image management records 221. In one image management record 221, a storage location ID, forward information, and backward information are associated with each other.
  • the forward information is information on the forward captured image.
  • the forward photographed image is a photographed image when the client device 100 enters the proximity area 50 from outside the proximity area 50.
  • the advance information includes a time and an image file storage location.
  • the time of the advance information is the photographing time of the forward photographed image.
  • the forward photographed image is stored in the image file area 230.
  • the image file storage location of the forward information is represented by the path of the forward captured image in the image file area 230 and the file name of the forward captured image.
  • the backward information is information on backward captured images.
  • the backward photographed image is a photographed image when the client device 100 goes out of the proximity area 50 and out of the proximity area 50.
  • the retreat information includes a time and an image file storage location.
  • the time of the backward information is the photographing time of the backward photographed image.
  • the backward photographed image is stored in the image file area 230.
  • the image file storage location of the backward information is represented by the path of the backward captured image in the image file area 230 and the file name of the backward captured image.
  • the storage location ID of the image management record 221 indicates that the storage space 11 corresponding to the storage location ID is captured in the forward captured image and the backward captured image.
  • FIG. 5 is a flowchart illustrating an example of the marker analysis process.
  • the CPU 101 of the client device 100 sets the approach flag to OFF in the initial state.
  • the approach flag indicates whether the client device 100 exists in the proximity area 50.
  • the approach flag is OFF, it indicates that the client device 100 exists outside the proximity area 50.
  • the approach flag is ON, it indicates that the client device 100 exists in the proximity area 50.
  • step S101 the CPU 101 determines whether to end the marker analysis processing. For example, when an end instruction is given from an operator or the like via the operation unit of the client device 100, or when an end instruction is received from the server device 200, the CPU 101 determines to end the marker analysis process. If it is determined that the marker analysis process is to be ended, the CPU 101 ends the marker analysis process of FIG. 5, and if it is determined that the marker analysis process is not to be ended, the CPU 101 advances the process to step S102. In step S102, based on the control of the CPU 101, the image sensor 104 performs photographing to generate a photographed image.
  • step S102 the CPU 101 sets the captured image captured in step S102 as a target image which is a captured image to be processed in the marker analysis process.
  • the CPU 101 controls the image sensor 104 to continuously shoot by repeatedly executing step S102.
  • the process in step S102 is an example of a shooting control process.
  • step S103 the CPU 101 reads, from the target image, all the markers 30 captured on the target image.
  • step S104 the CPU 101 determines whether the storage location marker 12 has been successfully read in step S103.
  • the CPU 101 advances the process to step S105, and when determining that the storage location marker 12 cannot be read, the CPU 101 returns the process to step S101.
  • step S105 the CPU 101 acquires the size of the storage location marker 12 read in step S103 in the target image.
  • the CPU 101 acquires the length of the diagonal line of the storage location marker 12 in the target image as the size of the storage location marker 12 in the target image.
  • step S106 the CPU 101 acquires a marker threshold from the storage device 102 of the client device 100. Then, the CPU 101 determines whether or not the size of the storage location marker 12 obtained in step S106 is equal to or larger than the marker threshold. When determining that the size of the storage location marker 12 acquired in step S106 is equal to or greater than the marker threshold, the CPU 101 advances the process to step S107, and determining that the size of the storage location marker 12 is less than the marker threshold, the CPU 101 The process proceeds to step S113. When a plurality of storage location markers 12 are captured in the target image, the CPU 101 uses any one of the average value, the maximum value, and the minimum value of the plurality of storage location markers 12 to generate a marker. You may judge whether it is more than a threshold.
  • step S107 the CPU 101 determines whether the approach flag is OFF.
  • the CPU 101 advances the process to step S108, and when determining that the approach flag is ON, the CPU 101 returns the process to step S101.
  • the processing in steps S106 and S107 is processing for determining whether or not the size of the storage location marker 12 captured in the captured image has changed from less than the marker threshold to more than the marker threshold.
  • the case where the process proceeds to step S108 corresponds to the case where it is determined that the size of the storage location marker 12 captured in the captured image has changed from less than the marker threshold to not less than the marker threshold.
  • step S108 the CPU 101 sets the approach flag to ON.
  • step S109 the CPU 101 creates article storage information representing a combination of the article 20 and the storage space 11 in which the article 20 is stored, based on the marker 30 read from the target image in step S103. More specifically, First, the CPU 101 classifies the marker 30 read from the target image into the storage location marker 12 and the article marker 21. Next, the CPU 101 determines, for each article marker 21 in the target image, the storage location marker 12 closest to the article marker 21 as the storage location marker 12 corresponding to the article marker 21. Next, the CPU 101 creates article storage information indicating a combination of the article marker 21 and the storage location marker 12 corresponding to the article marker 21.
  • the article storage information is represented by a combination of the article ID recorded on the article marker 21 and the storage location ID recorded on the storage location marker 12 corresponding to the article marker 21.
  • the CPU 101 determines the article corresponding to the storage location ID recorded in the storage location marker 12.
  • Article storage information indicating that the ID does not exist is created.
  • the CPU 101 creates a plurality of article storage information.
  • step S110 the CPU 101 transmits the article storage information created in step S109 to the server device 200 via the communication interface 103.
  • the process in step S110 is an example of a first transmission process.
  • the CPU 201 of the server device 200 receives the article storage information from the client device 100 via the communication interface 203.
  • the CPU 201 updates the article management DB 210 based on the article storage information received from the client device 100. More specifically, for each article storage information received from the client device 100, the CPU 201 assigns the article ID of the article management record 211 having the same storage location ID as the storage location ID of the article storage information to the article ID of the article storage information. Is controlled to be updated.
  • the process of updating the article management DB 210 is an example of a first storage control process.
  • step S111 the CPU 101 creates image correspondence information indicating the correspondence between the storage space 11 and the target image based on the marker 30 read from the target image.
  • the image correspondence information is information indicating the storage space 11 captured in the target image.
  • the image correspondence information is represented by a storage location ID recorded on the storage location marker 12 captured on the target image and information on the target image.
  • the information on the target image includes the shooting time of the target image.
  • step S112 the CPU 101 transmits the image correspondence information created in step S111 and the target image to the server device 200 via the communication interface 103.
  • the process in step S112 is an example of a second transmission process.
  • the CPU 201 of the server device 200 receives the image correspondence information and the target image from the client device 100 via the communication interface 203.
  • the CPU 201 stores the target image received from the client device 100 in the image file area 230 as an image file.
  • the target image stored by the CPU 201 here is the forward photographed image already described.
  • the process of storing the target image is an example of a second storage control process.
  • the CPU 201 updates the image management DB 220 based on the image correspondence information received from the client device 100.
  • the CPU 201 updates the advance information of the image management record 221 having the same storage location ID as the storage location ID of the image correspondence information for each piece of the image correspondence information received from the client device 100.
  • the time of the updated forward information is the photographing time included in the image correspondence information.
  • the image file storage location of the updated advance information is the storage location of the captured image stored in the image file area 230.
  • step S113 the CPU 101 determines whether the approach flag is ON. If it is determined that the approach flag is ON, the CPU 101 advances the process to step S114. If it is determined that the approach flag is OFF, the CPU 101 returns the process to step S101.
  • the processing of steps S106 and S113 is processing for determining whether or not the size of the storage location marker 12 captured in the captured image has changed from the marker threshold to the marker threshold.
  • the case where the process proceeds to step S114 corresponds to the case where it is determined that the size of the storage location marker 12 captured in the captured image has changed from the marker threshold to the marker threshold below the marker threshold.
  • step S114 the CPU 101 sets the approach flag to OFF.
  • the processing from steps S115 to S118 is the same as the processing from steps S109 to S112.
  • the CPU 201 of the server device 200 receives the image correspondence information and the target image transmitted by the client device 100 in the process of step S118, the CPU 201 performs the following process.
  • the CPU 201 processes the target image as a backward photographed image. Further, the CPU 201 updates the retreat information of the image management record 221 based on the image correspondence information.
  • the client device 100 transmits the article storage information, the captured image, and the like to the server device 200.
  • the server device 200 controls the storage device 202 to store the article storage information received from the client device 100, the captured image, and the like. Therefore, the client device 100 is prevented from transmitting the article storage information, the captured image, and the like to the server device 200 each time the captured image is captured. Therefore, the communication amount between the client device 100 and the server device 200 can be reduced.
  • the article management system 1 does not require a special device such as a sensor for creating the article storage information. Therefore, complicated operations such as installation and maintenance of devices such as sensors can be avoided.
  • the client device 100 transmits the article storage information to the server device 200.
  • the server apparatus 200 controls to store the article storage information received from the client apparatus 100 in the article management DB 210. Therefore, in the article management DB 210, the state of the storage space 11 and the information of the storage space 11 in which the article 20 is stored can be maintained in the latest state.
  • the client device 100 is attached to a forklift 300 that transports the articles 20.
  • the client device 100 photographs the storage space 11. Therefore, in the article management DB 210, the state of the storage space 11 and the information of the storage space 11 in which the article 20 is stored can be maintained in the latest state.
  • the client device 100 transmits the target image to the server device 200.
  • the server device 200 stores the target image received from the client device 100 in the image file area 230. Therefore, the administrator of the article management system 1 can grasp the package by referring to the photographed image stored in the image file area 230.
  • the usage rate of each storage space 11 can be calculated based on the captured images stored in the image file area 230, and can be used to manage the articles 20 and the like.
  • by showing the photographed image stored in the image file area 230 to the worker who carries the article 20 or the like it is possible to prevent the worker from taking out the wrong article 20 or the like.
  • the client device 100 uses the storage location marker 12 for comparison with a marker threshold.
  • the client device 100 uses the determination marker for comparison with the marker threshold.
  • the determination marker is a marker 30 included in a plurality of markers 30 captured in a captured image captured in the past and captured in a recently captured image. The process of determining the determination marker will be described later with reference to FIG.
  • the storage location marker 12 may be used as a judgment marker.
  • FIG. 6 is a flowchart illustrating an example of the marker analysis process.
  • the marker analysis process in FIG. 6 differs from the marker analysis process in FIG. 5 in that the processes in steps S104 to S106 in FIG. 5 are replaced with the processes in steps S200 to S203.
  • the processing from steps S200 to S203 will be described.
  • step S200 the CPU 101 determines whether or not the reading of the marker 30 has been successful in step S103.
  • the CPU 101 advances the process to step S201.
  • step S201 the CPU 101 executes a determination marker determination process shown in FIG. The specific processing of the determination marker determination processing will be described later with reference to FIG.
  • step S202 the CPU 101 acquires the size of the determination marker in the target image. More specifically, the CPU 101 acquires the length of the diagonal line of the determination marker in the target image as the size of the determination marker in the target image.
  • step S203 the CPU 101 acquires a marker threshold from the storage device 102 of the client device 100.
  • the CPU 101 determines whether or not the size of the determination marker acquired in step S202 is equal to or larger than the marker threshold.
  • the CPU 101 advances the process to step S107, and when determining that the size of the determination marker is less than the marker threshold, the CPU 101 advances the process to step S113.
  • FIG. 7 is a flowchart illustrating an example of the determination marker determination process.
  • the CPU 101 determines whether or not there is a candidate marker that is a candidate for a determination marker of the target image. If the current determination marker determination processing is the first determination marker determination processing after the start of the marker analysis processing of FIG. 6, the candidate marker is determined for the first time in step S304, and the CPU 101 determines that there is no candidate marker. judge.
  • the CPU 101 advances the process to step S301, and when determining that the candidate marker does not exist, the CPU 101 advances the process to step S303.
  • step S301 the CPU 101 determines whether at least one of the markers 30 read from the target image matches any of the candidate markers.
  • the coincidence of the markers 30 indicates that the information recorded on the markers 30 is equal. For example, when the two markers 30 are both the storage location markers 12 and the storage location IDs recorded in the two markers 30 are equal, the two markers 30 match.
  • the CPU 101 advances the process to step S302. If all of the markers 30 read from the target image do not match any of the candidate markers, the CPU 101 advances the processing to step S303.
  • step S302 the CPU 101 determines the marker 30 that has been read from the target image and matches the candidate marker of the comparison image as the determination marker of the target image.
  • step S303 the CPU 101 determines a predetermined number of N (N is an integer equal to or greater than 1) markers 30 as a predetermined number based on the size of each of the markers 30 read from the target image. Determined as a marker. More specifically, from among the markers 30 read from the target image, the CPU 101 sets N (N is an integer of 1 or more) predetermined numbers of the markers 30 in descending order of the marker 30 in the target image. Is determined.
  • the value of N is set in the storage device 102 of the client device 100, and the CPU 101 acquires the value of N from the storage device 102 in advance.
  • step S304 the CPU 101 determines the determination marker of the target image determined in step S303 as a new candidate marker.
  • the candidate marker determined by the CPU 101 is used as a candidate marker when the determination marker determination process of FIG. 7 is next executed.
  • the CPU 101 ends the processing in FIG. 7, and advances the processing to step S202 in FIG.
  • step S304 the client device 100 selects a plurality of candidate markers. Therefore, in step S301 of the next determination marker determination process, at least one of the markers 30 read from the target image matches any of the candidate markers without comparing all of the markers read from the target image with the candidate markers. Is more likely to be determined. Therefore, the speed of the determination marker determination process is increased.
  • N may be “1”. Further, in the second embodiment, as in the first embodiment, complicated work can be avoided and the communication amount can be reduced.
  • candidate markers are determined in step S304 in FIG.
  • the candidate markers may be predetermined.
  • the candidate markers are stored in the storage device 102 of the client device 100, and the CPU 101 reads the candidate markers from the storage device 102.
  • the client device 100 if the size of the marker 30 changes from less than the marker threshold to the marker threshold or more, or if it changes from the marker threshold to the marker threshold, the client device 100 stores the article storage information, The captured image and the like are transmitted to the server device 200.
  • the client device 100 may transmit the article storage information, the captured image, and the like to the server device 200 only when the size of the marker 30 changes from less than the marker threshold to more than the marker threshold.
  • the client device 100 may transmit the article storage information, the captured image, and the like to the server device 200 only when the size of the marker 30 changes from the marker threshold to the marker threshold to the marker threshold. Thereby, the communication amount between the client device 100 and the server device 200 can be reduced.
  • the client device 100 when it is determined that the size of the marker 30 captured in the captured image has changed so as to exceed the marker threshold, the client device 100 stores the article storage information and the captured image. And the like to the server device 200.
  • the client 30 determines that the size of the marker 30 captured in the captured image has changed so as to straddle the marker threshold.
  • the client device 100 determines that the size of the marker 30 captured in the captured image straddles the marker threshold. It is determined that it has changed.
  • the client device 100 only when the size of the marker 30 changes from the marker threshold or more to the marker threshold or less, the client device 100 sets the size of the marker 30 captured in the captured image so as to straddle the marker threshold. It is determined that it has changed.
  • the client device 100 reads only one type of the marker 30.
  • the client device 100 may read a plurality of types of markers 30.
  • the CPU 101 sets the types of the markers 30 determined based on the predetermined priority information to the marker thresholds. It may be compared with.
  • the priority information is information defining a priority for each type of the marker 30.
  • the priority is determined such that the type of the marker 30 having the longer maximum recognition distance has a higher priority.
  • the maximum recognition distance is a photographed image obtained by photographing the actual marker 30 with the photographing setting of the client device 100 set to a predetermined state, and a condition that the client device 100 can read the marker 30 from the photographed image. Is the maximum value of the photographing distance of the photographed image satisfying the condition.
  • the photographing distance is the distance at the time of photographing from the client device 100 to the actual marker 30 attached to the shelf 10 or the like as the subject.
  • the priority information is stored in the storage device 102 of the client device 100, and the CPU 101 acquires the priority information from the storage device 102 in advance. As a result, the client device 100 uses the marker 30 that can be read with high precision and compares it with the marker threshold. The possibility that an erroneous determination will occur in comparison with the marker threshold value is reduced.
  • the length of the diagonal line of the marker 30 in the captured image is used as the size of the marker 30.
  • the size of the marker 30 may be other than the length of the diagonal line.
  • the size of the marker 30 may be the area of the marker 30 in the captured image.
  • the size of the marker 30 may be represented by a ratio of the size of the marker 30 in the captured image. More specifically, the size of the marker 30 is set to “(diagonal length of marker 30 in captured image) / (length of long side of captured image)” or “(area of marker 30 in captured image) ) / (Area of captured image) ”or the like.
  • the client device 100 creates the article storage information and the image correspondence information.
  • the client device 100 may transmit information such as the coordinates of the marker 30 in the target image and information recorded on the marker 30 to the server device 200.
  • the server apparatus 200 creates article storage information and image correspondence information based on the information received from the client apparatus 100, and based on the article storage information and image correspondence information, the article management DB 210, , The image management DB 220 may be updated.
  • the client device 100 is a photographing device including the image sensor 104.
  • the article management system 1 may include an imaging device separately from the client device 100.
  • the imaging device is provided on the forklift 300 together with the client device 100. Then, in step S102, the client device 100 receives a photographed image photographed by the photographing device from the photographing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Civil Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Facsimiles In General (AREA)

Abstract

情報処理システムは、移動体に設けられたクライアント装置と、サーバ装置と、を含む情報処理システムであって、クライアント装置は、継続的に撮影するよう、移動体に設けられた撮影手段を制御する撮影制御手段と、撮影手段によって撮影された撮影画像に写されたマーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、撮影画像に写されたマーカに関する情報をサーバ装置に送信する第１の送信手段と、を有し、サーバ装置は、第１の送信手段によって送信されたマーカに関する情報を記憶手段に記憶させるよう制御する第１の記憶制御手段と、を有する。

Description

情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体
　本発明は、情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体に関する。
　特許文献１の入出庫管理システムは、荷物を積載したパレットを積載したフォークリフトが倉庫内に入るときに、荷物の銘柄を含む写真及びフォークリフトＩＤを含む写真を撮影する。そして、入出庫管理システムは、フォークリフトがパレットを所定のロケーションに載置したときに、ロケーションＩＤ及びフォークリフトＩＤを含む写真を撮影する。そして、入出庫管理システムは、写真のフォークリフトＩＤに基づいて、写真の荷物の銘柄及びロケーションＩＤと入出庫情報とを照合し、入出庫情報に一致する荷物が入出庫情報に一致するロケーションに配置されているかどうかを判定する。
特開２００３－１２１２２号公報
　しかしながら、特許文献１の入出庫管理システムでは、フォークリフトがパレットを所定のロケーションに載置したことを検出するためのセンサ等が必要となり、センサ等の設置やセンサ等のメンテナンスの作業が煩雑である。
　また、フォークリフト等の移動体に設けられた撮影装置が、マーカが付された物品や棚等を撮影してマーカを読み取り、読み取った情報をサーバ装置に送信する場合、撮影装置とサーバ装置との通信量が多くなり、通信速度が低下する。
　本発明の情報処理システムは、移動体に設けられたクライアント装置と、サーバ装置と、を含む情報処理システムであって、前記クライアント装置は、継続的に撮影するよう、前記移動体に設けられた撮影手段を制御する撮影制御手段と、前記撮影手段によって撮影された撮影画像に写されたマーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写されたマーカに関する情報を前記サーバ装置に送信する第１の送信手段と、を有し、前記サーバ装置は、前記第１の送信手段によって送信されたマーカに関する情報を記憶手段に記憶させるよう制御する第１の記憶制御手段と、を有する。
　本発明によれば、煩雑な作業を回避し、通信量を低減できる。
図１は、物品管理システムの全体構成の一例を示す図である。 図２Ａは、クライアント装置のハードウェア構成の一例を示す図である。 図２Ｂは、サーバ装置のハードウェア構成の一例を示す図である。 図３Ａは、物品管理ＤＢの構成の一例を示す図である。 図３Ｂは、画像管理ＤＢの構成の一例を示す図である。 図４Ａは、クライアント装置の動作例を示す図である。 図４Ｂは、クライアント装置の動作例を示す図である。 図４Ｃは、クライアント装置の動作例を示す図である。 図４Ｄは、クライアント装置の動作例を示す図である。 図５は、マーカ解析処理の一例を示すフローチャートである。 図６は、マーカ解析処理の一例を示すフローチャートである。 図７は、判定マーカ決定処理の一例を示すフローチャートである。
＜第１の実施形態＞
［物品管理システムの全体構成］
　まず、図１を参照して物品管理システム１の全体構成について説明する。図１は、物品管理システム１の全体構成の一例を示す図である。物品管理システム１は、倉庫等に配置された棚１０に格納される物品２０を管理する。物品管理システム１は、フォークリフト３００とクライアント装置１００とサーバ装置２００とを有する。物品管理システム１は、情報処理システムの一例である。
　フォークリフト３００は、物品２０を搬送する。本実施形態では、物品管理システム１は、１台のフォークリフト３００を有するが、フォークリフト３００を複数台有していてもよい。フォークリフト３００は、移動可能な移動体の一例である。
　クライアント装置１００は、フォークリフト３００に設けられており、フォークリフト３００と共に移動しながら連続撮影する撮影装置である。クライアント装置１００は、ネットワーク４００経由で、サーバ装置２００とデータの送受信が可能である。ネットワーク４００として、無線通信ネットワークが使われる。ただし、ネットワーク４００として、有線通信ネットワークが使われてもよい。クライアント装置１００は、フォークリフト３００の前方を撮影できるように、フォークリフト３００に取り付けられている。
　サーバ装置２００は、クライアント装置１００から、ネットワーク４００を経由してデータを受信して、受信したデータに基づいて、後に説明する物品管理ＤＢ（データベース）２１０、画像管理ＤＢ２２０、及び、画像ファイル領域２３０を管理する。データベースは、所定の情報の集まりである。
　クライアント装置１００、及び、サーバ装置２００は、それぞれ、情報処理装置（コンピュータ）の一例である。
　クライアント装置１００は、フォークリフト３００と共に移動しながら、棚１０、及び、物品２０等を連続して継続的に撮影する。棚１０は、１つ以上の格納スペース１１を有する。格納スペース１１は、物品２０の格納場所である。格納スペース１１の前方は開放されている。それぞれの格納スペース１１には、１個以上の物品２０を格納できる。図１の例では、棚１０は、第１の格納スペース１１Ａから第４の格納スペース１１Ｄまでの４つの格納スペース１１を有する。
［マーカ］
　次に、マーカ３０について説明する。
　マーカ３０は、棚１０及び物品２０に付されている。マーカ３０は、光学読取式であり、マーカ３０ごとに予め定められた情報が記録される。マーカ３０には、格納場所マーカ１２と物品マーカ２１とがある。マーカ３０は、正方形や長方形等の四角形である。
　格納場所マーカ１２は、格納スペース１１に対応付けられている。格納スペース１１ごとに、格納スペース１１に対応付けられた格納場所マーカ１２が存在する。格納場所マーカ１２には、対応する格納スペース１１を表す格納場所ＩＤが記録されている。格納場所ＩＤは、格納スペース１１を識別可能な識別子である。本実施形態では、格納場所マーカ１２は、対応する格納スペース１１の上側に配置された棚板の前面に付されている。第１の格納場所マーカ１２Ａは第１の格納スペース１１Ａに対応する。同様に、第２の格納場所マーカ１２Ｂから第４の格納場所マーカ１２Ｄまでは、それぞれ、第２の格納スペース１１Ｂから第４の格納スペース１１Ｄまでに対応する。格納場所マーカ１２は、物品マーカ２１より大きい。
　物品マーカ２１は、物品２０に対応付けられている。物品２０ごとに、物品２０に対応付けられた物品マーカ２１が存在する。物品マーカ２１には、対応する物品２０を表す物品ＩＤが記録されている。物品ＩＤは、物品２０を識別可能な識別子である。物品マーカ２１は、物品２０の前面に付されている。本実施形態では、倉庫内の作業者等は、物品２０に付された物品マーカ２１が棚１０の前面を向くように、物品２０を格納スペース１１に格納する。物品マーカ２１は、棚１０の前面に限らず、物品２０の上面や側面等に付されていてよい。また、後述するイメージセンサ１０４で撮影可能であれば、倉庫内の作業者等は、物品２０に付された物品マーカ２１が棚１０の前面以外の方向を向くように、物品２０を格納スペース１１に格納してもよい。
　マーカ３０の種類には、ＱＲコード（登録商標）、カラービット（登録商標）、バーコード等がある。マーカ３０として、ＱＲコードやカラービット等の二次元コードを使用してもよく、バーコード等の一次元コードを使用してもよい。
　クライアント装置１００は、棚１０を撮影することで、棚１０に付された格納場所マーカ１２や、棚１０に格納された物品２０に付された物品マーカ２１を読み取る。本実施形態では、クライアント装置１００は、１種類のマーカ３０のみを読み取る。例えば、クライアント装置１００は、カラービットのマーカ３０のみを読み取る。ただし、複数の種類のマーカ３０が使用される場合、クライアント装置１００は、複数の種類のマーカ３０を読み取ってもよい。
［ハードウェア構成］
　次に、図２Ａを参照して、クライアント装置１００のハードウェア構成について説明する。図２Ａは、クライアント装置１００のハードウェア構成の一例を示す図である。クライアント装置１００は、ハードウェアとして、ＣＰＵ１０１と、記憶装置１０２と、通信インタフェース１０３と、イメージセンサ１０４と、これらを接続するバス１０５とを含む。
　ＣＰＵ１０１は、クライアント装置１００の全体を制御する。ＣＰＵ１０１が記憶装置１０２等に記憶されているプログラムに基づき処理を実行することによって、クライアント装置１００の各種の機能や、図５、図６、図７に示すフローチャートの処理が実現される。
　記憶装置１０２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等であって、プログラムを記憶したり、ＣＰＵ１０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶装置１０２は、記憶媒体の一例である。
　通信インタフェース１０３は、クライアント装置１００と、サーバ装置２００等の外部装置との通信の制御を司る。
　イメージセンサ１０４は、クライアント装置１００が撮影する際に用いられる。イメージセンサ１０４は、レンズを通った光に基づいて、撮影画像となるデジタル画像を生成する。イメージセンサ１０４は、クライアント装置１００と共に、フォークリフト３００に設けられている。イメージセンサ１０４は、撮影手段の一例である。
　次に、図２Ｂを参照して、サーバ装置２００のハードウェア構成について説明する。図２Ｂは、サーバ装置２００のハードウェア構成の一例を示す図である。サーバ装置２００は、ハードウェアとして、ＣＰＵ２０１と、記憶装置２０２と、通信インタフェース２０３と、これらを接続するバス２０４とを含む。
　ＣＰＵ２０１は、サーバ装置２００の全体を制御する。ＣＰＵ２０１が記憶装置２０２等に記憶されているプログラムに基づき処理を実行することによって、サーバ装置２００の各種の機能や処理が実現される。
　記憶装置２０２は、ＲＡＭ、ＲＯＭ、ＨＤＤ等であって、プログラムを記憶したり、ＣＰＵ２０１がプログラムに基づき処理を実行する際に利用するデータ等を記憶したりする。記憶装置２０２は、記憶領域に、後述の物品管理ＤＢ２１０、画像管理ＤＢ２２０、及び、画像ファイル領域２３０を有する。記憶装置２０２は、記憶媒体の一例である。また、記憶装置２０２は、記憶手段の一例である。
　通信インタフェース２０３は、サーバ装置２００と、クライアント装置１００等の外部装置との通信の制御を司る。
［動作例］
　次に、図４Ａから図４Ｄまでを参照して、クライアント装置１００の動作例について説明する。図４Ａから図４Ｄまでは、クライアント装置１００の動作例を示す図である。図４Ａから図４Ｄまでの撮影画像４１Ａから撮影画像４１Ｌまででは、棚１０は省略されている。
　クライアント装置１００のＣＰＵ１０１は、継続的に撮影するようイメージセンサ１０４を制御する。撮影画像に写されたマーカ３０の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写されたマーカ３０の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をクライアント装置１００に送信する。本実施形態では、マーカ閾値との比較には、格納場所マーカ１２が使われる。また、マーカ閾値は「２００」とする。マーカの大きさは、その対角線の長さで表す。マーカの大きさの単位は任意に定める。
　クライアント装置１００が棚１０に近いほど、クライアント装置１００が撮影した撮影画像に写される格納場所マーカ１２が大きくなる。
　ここで、図４Ａから図４Ｄまでに示される近接領域５０について説明する。近接領域５０は、棚１０の前に設定される領域である。クライアント装置１００が近接領域５０内に位置する場合、クライアント装置１００が撮影する撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上となる。また、クライアント装置１００が近接領域５０外に位置する場合、クライアント装置１００が撮影する撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満となる。
　クライアント装置１００が近接領域５０外から近接領域５０内に入った場合、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化する。クライアント装置１００が近接領域５０内から近接領域５０外に出た場合、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化する。これらの場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。物品格納情報は、物品２０が格納された場所を表す情報である。
　図４Ａから図４Ｄまでの位置４０Ａ、４０Ｂ、４０Ｃでは、位置４０Ａが棚１０から最も遠く、位置４０Ｃが棚１０に最も近い。位置４０Ｂは位置４０Ａと位置４０Ｃとの間の位置である。位置４０Ａ、位置４０Ｂは、近接領域５０外である。位置４０Ｃは、近接領域５０内である。位置４０Ａでクライアント装置１００が撮影する撮影画像４１Ａ、Ｆ、Ｇ、Ｌに写された格納場所マーカ１２の大きさは「８０」である。位置４０Ｂでクライアント装置１００が撮影する撮影画像４１Ｂ、Ｅ、Ｈ、Ｋに写された格納場所マーカ１２の大きさは「１５０」である。位置４０Ｃでクライアント装置１００が撮影する撮影画像４１Ｃ、Ｄ、Ｉ、Ｊに写された格納場所マーカ１２の大きさは「２２０」である。
　まず、図４Ａを参照して、フォークに物品２０を載せたフォークリフト３００が、棚１０に向かって前進して、棚１０の格納スペース１１に物品２０を格納する場合のクライアント装置１００の動作について説明する。
　フォークリフト３００が近接領域５０外で前進している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」未満である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
　フォークリフト３００が近接領域５０外から近接領域５０内に入ると、撮影画像に写された格納場所マーカ１２の大きさは、マーカ閾値未満からマーカ閾値以上に変化する。より具体的には、撮影画像に写された格納場所マーカ１２の大きさが、位置４０Ｂの撮影画像４１Ｂでの「１５０」から、位置４０Ｃの撮影画像４１Ｃでの「２２０」に変化して、マーカ閾値以上になる。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。
　フォークリフト３００が近接領域５０内で前進している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」以上である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
　次に、図４Ｂを参照して、格納スペース１１に物品２０を格納したフォークリフト３００が、棚１０から後退する場合のクライアント装置１００の動作について説明する。
　フォークリフト３００が近接領域５０内で後退している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」以上である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
　フォークリフト３００が近接領域５０内から近接領域５０外に出ると、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化する。より具体的には、撮影画像に写された格納場所マーカ１２の大きさが、位置４０Ｃの撮影画像４１Ｄでの「２２０」から、位置４０Ｂの撮影画像４１Ｅでの「１５０」に変化して、マーカ閾値未満になる。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。
　フォークリフト３００が近接領域５０外で後退している間は、撮影画像に写された格納場所マーカ１２の大きさは常にマーカ閾値「２００」未満である。したがって、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信しない。
　図４Ｃは、フォークに物品２０を載せていないフォークリフト３００が、棚１０に向かって前進して、格納スペース１１に格納された物品２０を取り出す場合のクライアント装置１００の動作を示す。この場合のクライアント装置１００の動作は、図４Ａを参照して説明した動作と同様である。
　図４Ｄは、格納スペース１１から物品２０を取り出して、フォークに物品２０を載せたフォークリフト３００が、棚１０から後退する場合のクライアント装置１００の動作を示す。この場合のクライアント装置１００の動作は、図４Ｂを参照して説明した動作と同様である。
［データベース等］
　次に、図３Ａを参照して、物品管理ＤＢ２１０について説明する。図３Ａは、物品管理ＤＢ２１０の構成の一例を示す図である。物品管理ＤＢ２１０は、サーバ装置２００の記憶装置２０２に記憶されるデータベースである。物品管理ＤＢ２１０は、物品２０の格納場所を管理する。
　物品管理ＤＢ２１０は、複数の物品管理レコード２１１を記憶できる。物品管理レコード２１１は、格納場所ＩＤと物品ＩＤとが関連付けられた情報であり、既に説明した物品格納情報に対応する。物品管理レコード２１１は、格納場所ＩＤに対応する格納スペース１１に、物品ＩＤに対応する物品２０が格納されていることを表す。格納場所ＩＤに関連付けられた物品ＩＤが存在しない場合、この格納場所ＩＤに対応する格納スペース１１には物品２０が格納されていないことを表す。また、１つの格納場所ＩＤに、複数の物品ＩＤが関連付けられていてもよい。このとき、格納スペース１１に、複数の物品２０が格納されていることを表す。
　次に、図３Ｂを参照して、画像管理ＤＢ２２０について説明する。図３Ｂは、画像管理ＤＢ２２０の構成の一例を示す図である。画像管理ＤＢ２２０は、サーバ装置２００の記憶装置２０２に記憶されるデータベースである。画像管理ＤＢ２２０は、クライアント装置１００が撮影した撮影画像であって、格納スペース１１を写した撮影画像を管理する。
　画像管理ＤＢ２２０は、複数の画像管理レコード２２１を記憶できる。１件の画像管理レコード２２１では、格納場所ＩＤと前進情報と後退情報とが関連付けられている。
　前進情報は、前進撮影画像についての情報である。前進撮影画像は、クライアント装置１００が近接領域５０外から近接領域５０内に入った際の撮影画像である。前進情報は、時刻と画像ファイル保存場所とを含む。前進情報の時刻は、前進撮影画像の撮影時刻である。前進撮影画像は、画像ファイル領域２３０に保存される。前進情報の画像ファイル保存場所は、画像ファイル領域２３０における前進撮影画像のパス、及び、前進撮影画像のファイル名で表される。
　後退情報は、後退撮影画像についての情報である。後退撮影画像は、クライアント装置１００が近接領域５０内から近接領域５０外に出た際の撮影画像である。後退情報は、時刻と画像ファイル保存場所とを含む。後退情報の時刻は、後退撮影画像の撮影時刻である。後退撮影画像は、画像ファイル領域２３０に保存される。後退情報の画像ファイル保存場所は、画像ファイル領域２３０における後退撮影画像のパス、及び、後退撮影画像のファイル名で表される。
　画像管理レコード２２１の格納場所ＩＤは、格納場所ＩＤに対応する格納スペース１１が前進撮影画像及び後退撮影画像に写されていることを表す。
［マーカ解析処理］
　次に、図５を参照して、マーカ解析処理について説明する。図５は、マーカ解析処理の一例を示すフローチャートである。
　ステップＳ１００において、クライアント装置１００のＣＰＵ１０１は、接近フラグを初期状態のＯＦＦに設定する。接近フラグは、クライアント装置１００が近接領域５０内に存在するか否かを表す。接近フラグがＯＦＦの場合、クライアント装置１００が近接領域５０外に存在することを表す。接近フラグがＯＮの場合、クライアント装置１００が近接領域５０内に存在することを表す。
　ステップＳ１０１において、ＣＰＵ１０１は、マーカ解析処理を終了するか否かを判定する。例えば、クライアント装置１００の操作部を介して作業者等から終了指示がされた場合、又は、サーバ装置２００から終了指示を受信した場合、ＣＰＵ１０１は、マーカ解析処理を終了すると判定する。マーカ解析処理を終了すると判定した場合、ＣＰＵ１０１は、図５のマーカ解析処理を終了し、マーカ解析処理を終了しないと判定した場合、ＣＰＵ１０１は、処理をステップＳ１０２に進める。
　ステップＳ１０２において、ＣＰＵ１０１の制御に基づいて、イメージセンサ１０４は撮影を行って、撮影画像を生成する。ＣＰＵ１０１は、次のステップＳ１０２が実行されるまで、ステップＳ１０２で撮影された撮影画像を、マーカ解析処理における処理対象の撮影画像である対象画像とする。ＣＰＵ１０１は、ステップＳ１０２を繰り返し実行することで、継続的に撮影するようイメージセンサ１０４を制御する。ステップＳ１０２の処理は、撮影制御処理の一例である。
　ステップＳ１０３において、ＣＰＵ１０１は、対象画像から、対象画像に写された全てのマーカ３０を読み取る。
　ステップＳ１０４において、ＣＰＵ１０１は、ステップＳ１０３において格納場所マーカ１２の読み取りに成功したか否かを判定する。格納場所マーカ１２の読み取りに成功したと判定した場合、ＣＰＵ１０１は、処理をステップＳ１０５に進め、格納場所マーカ１２を読み取れなかったと判定した場合、ＣＰＵ１０１は、処理をステップＳ１０１に戻す。
　ステップＳ１０５において、ＣＰＵ１０１は、ステップＳ１０３で読み取られた格納場所マーカ１２の対象画像における大きさを取得する。ＣＰＵ１０１は、対象画像における格納場所マーカ１２の大きさとして、対象画像における格納場所マーカ１２の対角線の長さを取得する。
　ステップＳ１０６において、ＣＰＵ１０１は、クライアント装置１００の記憶装置１０２からマーカ閾値を取得する。そして、ＣＰＵ１０１は、ステップＳ１０６で取得した格納場所マーカ１２の大きさがマーカ閾値以上か否かを判定する。ステップＳ１０６で取得した格納場所マーカ１２の大きさがマーカ閾値以上と判定した場合、ＣＰＵ１０１は、処理をステップＳ１０７に進め、格納場所マーカ１２の大きさがマーカ閾値未満と判定した場合、ＣＰＵ１０１は、処理をステップＳ１１３に進める。対象画像に複数の格納場所マーカ１２が写されていた場合、ＣＰＵ１０１は、複数の格納場所マーカ１２の大きさの平均値、最大値、及び、最小値の何れかの値を使用して、マーカ閾値以上か否かを判定してもよい。
　ステップＳ１０７において、ＣＰＵ１０１は、接近フラグがＯＦＦか否かを判定する。接近フラグがＯＦＦと判定した場合、ＣＰＵ１０１は、処理をステップＳ１０８に進め、接近フラグがＯＮと判定した場合、ＣＰＵ１０１は、処理をステップＳ１０１に戻す。
　ステップＳ１０６とＳ１０７の処理が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化したか否かを判定する処理である。処理がステップＳ１０８に進む場合が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化したと判定された場合に対応する。
　ステップＳ１０８において、ＣＰＵ１０１は、接近フラグをＯＮに設定する。
　ステップＳ１０９において、ＣＰＵ１０１は、ステップＳ１０３で対象画像から読み取ったマーカ３０に基づいて、物品２０と物品２０が格納された格納スペース１１との組み合わせを表す物品格納情報を作成する
　より具体的には、まず、ＣＰＵ１０１は、対象画像から読み取ったマーカ３０を、格納場所マーカ１２と物品マーカ２１とに分類する。
　次いで、ＣＰＵ１０１は、対象画像において、物品マーカ２１ごとに、物品マーカ２１に最も近い位置にある格納場所マーカ１２を、物品マーカ２１に対応する格納場所マーカ１２と決定する。
　次いで、ＣＰＵ１０１は、物品マーカ２１と物品マーカ２１に対応する格納場所マーカ１２との組み合わせを表す物品格納情報を作成する。
　物品格納情報は、物品マーカ２１に記録された物品ＩＤと、物品マーカ２１に対応する格納場所マーカ１２に記録された格納場所ＩＤとの組み合わせで表される。ＣＰＵ１０１は、対象画像に格納場所マーカ１２が写っている場合であって、格納場所マーカ１２に対応する物品マーカ２１が存在しない場合、この格納場所マーカ１２に記録された格納場所ＩＤに対応する物品ＩＤが存在しないことを表す物品格納情報を作成する。格納場所マーカ１２が複数ある場合は、ＣＰＵ１０１は、物品格納情報を複数作成する。
　ステップＳ１１０において、ＣＰＵ１０１は、ステップＳ１０９で作成した物品格納情報を、通信インタフェース１０３を介して、サーバ装置２００に送信する。ステップＳ１１０の処理は、第１の送信処理の一例である。
　サーバ装置２００のＣＰＵ２０１は、通信インタフェース２０３を介して、クライアント装置１００から、物品格納情報を受信する。ＣＰＵ２０１は、クライアント装置１００から受信した物品格納情報に基づいて、物品管理ＤＢ２１０を更新する。より具体的には、ＣＰＵ２０１は、クライアント装置１００から受信した物品格納情報ごとに、物品格納情報の格納場所ＩＤと同じ格納場所ＩＤを持つ物品管理レコード２１１の物品ＩＤを、物品格納情報の物品ＩＤに更新するよう制御する。物品管理ＤＢ２１０を更新する処理は、第１の記憶制御処理の一例である。
　ステップＳ１１１において、ＣＰＵ１０１は、対象画像から読み取ったマーカ３０に基づいて、格納スペース１１と対象画像との対応関係を表す画像対応情報を作成する。画像対応情報は、対象画像に写された格納スペース１１を示す情報である。画像対応情報は、対象画像に写された格納場所マーカ１２に記録された格納場所ＩＤと、対象画像の情報とで表される。対象画像の情報は、対象画像の撮影時刻を含む。対象画像に格納場所マーカ１２が複数写されている場合、ＣＰＵ１０１は、画像対応情報を複数作成する。
　ステップＳ１１２において、ＣＰＵ１０１は、ステップＳ１１１で作成した画像対応情報、及び、対象画像を、通信インタフェース１０３を介して、サーバ装置２００に送信する。ステップＳ１１２の処理は、第２の送信処理の一例である。
　サーバ装置２００のＣＰＵ２０１は、通信インタフェース２０３を介して、クライアント装置１００から、画像対応情報、及び、対象画像を受信する。
　ＣＰＵ２０１は、クライアント装置１００から受信した対象画像を、画像ファイル領域２３０に画像ファイルとして記憶する。ＣＰＵ２０１がここで記憶する対象画像は、既に説明した前進撮影画像である。対象画像を記憶する処理は、第２の記憶制御処理の一例である。
　また、ＣＰＵ２０１は、クライアント装置１００から受信した画像対応情報に基づいて、画像管理ＤＢ２２０を更新する。より具体的には、ＣＰＵ２０１は、クライアント装置１００から受信した画像対応情報ごとに、画像対応情報の格納場所ＩＤと同じ格納場所ＩＤを持つ画像管理レコード２２１の前進情報を更新する。更新後の前進情報の時刻は、画像対応情報に含まれる撮影時刻である。更新後の前進情報の画像ファイル保存場所は、画像ファイル領域２３０に記憶した撮影画像の保存場所である。
　ステップＳ１１２の処理の後、ＣＰＵ１０１は、処理をステップＳ１０１に戻す。
　ステップＳ１１３において、ＣＰＵ１０１は、接近フラグがＯＮか否かを判定する。接近フラグがＯＮと判定した場合、ＣＰＵ１０１は、処理をステップＳ１１４に進め、接近フラグがＯＦＦと判定した場合、ＣＰＵ１０１は、処理をステップＳ１０１に戻す。
　ステップＳ１０６とＳ１１３の処理が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化したか否かを判定する処理である。処理がステップＳ１１４に進む場合が、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化したと判定された場合に対応する。
　ステップＳ１１４において、ＣＰＵ１０１は、接近フラグをＯＦＦに設定する。
　ステップＳ１１５からＳ１１８までの処理は、ステップＳ１０９からＳ１１２までの処理と同様である。ただし、サーバ装置２００のＣＰＵ２０１は、ステップＳ１１８の処理でクライアント装置１００が送信した画像対応情報、及び、対象画像を受信した場合、次のように処理する。ＣＰＵ２０１は、対象画像を後退撮影画像として処理する。また、ＣＰＵ２０１は、画像対応情報に基づいて、画像管理レコード２２１の後退情報を更新する。
［効果］
　以上説明したように、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。サーバ装置２００は、クライアント装置１００から受信した物品格納情報、及び、撮影画像等を記憶装置２０２に記憶するよう制御する。
　したがって、クライアント装置１００は、撮影画像を撮影するごとに物品格納情報、及び、撮影画像等をサーバ装置２００に送信することが回避される。よって、クライアント装置１００とサーバ装置２００との通信量を低減できる。
　また、物品管理システム１では、物品格納情報の作成にあたり、センサ等の特別な装置を必要としない。よって、センサ等の装置の設置やメンテナンス等の煩雑な作業を回避できる。
　また、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報をサーバ装置２００に送信する。サーバ装置２００は、クライアント装置１００から受信した物品格納情報を物品管理ＤＢ２１０に記憶するよう制御する。よって、物品管理ＤＢ２１０では、格納スペース１１の状態や、物品２０が格納された格納スペース１１の情報を最新の状態に維持できる。
　特に、クライアント装置１００は、物品２０を搬送するフォークリフト３００に取り付けられている。したがって、物品２０が格納スペース１１に新たに格納されたり、物品２０が格納スペース１１から取り出されたりする場合、クライアント装置１００は格納スペース１１を撮影することになる。よって、物品管理ＤＢ２１０では、格納スペース１１の状態や、物品２０が格納された格納スペース１１の情報を最新の状態に維持できる。
　また、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値未満からマーカ閾値以上に変化した場合、又は、撮影画像に写された格納場所マーカ１２の大きさがマーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、対象画像をサーバ装置２００に送信する。サーバ装置２００は、クライアント装置１００から受信した対象画像を画像ファイル領域２３０に記憶する。
　よって、物品管理システム１の管理者等は、画像ファイル領域２３０に記憶された撮影画像を参照することで、荷姿を把握できる。また、画像ファイル領域２３０に記憶された撮影画像に基づいて格納スペース１１ごとの使用率を算出する等して、物品２０等の管理に役立てることができる。また、物品２０等の運搬等を行う作業者に画像ファイル領域２３０に記憶された撮影画像を見せることで、作業者が取り出す物品２０を誤ること等のミスを防止できる。
＜第２の実施形態＞
　次に、第２の実施形態について説明する。以下に記載する第２の実施形態の説明では、第１の実施形態と共通する事項について説明を省略し、第１の実施形態と異なる事項についての説明を行う。また、第１の実施形態と同じ要素については同じ符号を付しており、その詳細な説明は省略する。
　第１の実施形態では、クライアント装置１００は、マーカ閾値との比較に格納場所マーカ１２を使用する。しかし、第２の実施形態では、クライアント装置１００は、マーカ閾値との比較に判定マーカを使用する。判定マーカは、過去に撮影された撮影画像に写された複数のマーカ３０に含まれ、直近に撮影された撮影画像に写されたマーカ３０である。判定マーカを決定する処理は、後に図７を参照して説明する。判定マーカとして、格納場所マーカ１２が使われることもある。
［マーカ解析処理］
　まず、図６を参照して、第２の実施形態のマーカ解析処理について説明する。図６は、マーカ解析処理の一例を示すフローチャートである。図６のマーカ解析処理における図５のマーカ解析処理との相違点は、図５のステップＳ１０４からＳ１０６までの処理がステップＳ２００からＳ２０３までの処理に入れ替わっている点である。以下では、ステップＳ２００からＳ２０３までの処理について説明する。
　ステップＳ２００において、ＣＰＵ１０１は、ステップＳ１０３においてマーカ３０の読み取りに成功したか否かを判定する。マーカ３０の読み取りに成功したと判定した場合、ＣＰＵ１０１は、処理をステップＳ２０１に進め、マーカ３０を読み取れなかったと判定した場合、ＣＰＵ１０１は、処理をステップＳ１０１に戻す。
　ステップＳ２０１において、ＣＰＵ１０１は、図７に示す判定マーカ決定処理を実行する。判定マーカ決定処理の具体的な処理は、後に図７を参照して説明する。
　ステップＳ２０２において、ＣＰＵ１０１は、対象画像における判定マーカの大きさを取得する。より具体的には、ＣＰＵ１０１は、対象画像における判定マーカの大きさとして、対象画像における、判定マーカの対角線の長さを取得する。
　ステップＳ２０３において、ＣＰＵ１０１は、クライアント装置１００の記憶装置１０２からマーカ閾値を取得する。そして、ＣＰＵ１０１は、ステップＳ２０２で取得した判定マーカの大きさがマーカ閾値以上か否かを判定する。判定マーカの大きさがマーカ閾値以上と判定した場合、ＣＰＵ１０１は、処理をステップＳ１０７に進め、判定マーカの大きさがマーカ閾値未満と判定した場合、ＣＰＵ１０１は、処理をステップＳ１１３に進める。
［判定マーカ決定処理］
　次に、図７を参照して、判定マーカ決定処理について説明する。図７は、判定マーカ決定処理の一例を示すフローチャートである。
　ステップＳ３００において、ＣＰＵ１０１は、対象画像の判定マーカの候補となる候補マーカが存在するか否かを判定する。今回の判定マーカ決定処理が、図６のマーカ解析処理の開始後、初回の判定マーカ決定処理である場合、候補マーカは、ステップＳ３０４で初めて決定されるため、ＣＰＵ１０１は、候補マーカが存在しないと判定する。候補マーカが存在すると判定した場合、ＣＰＵ１０１は、処理をステップＳ３０１に進め、候補マーカが存在しないと判定した場合、ＣＰＵ１０１は、処理をステップＳ３０３に進める。
　ステップＳ３０１において、ＣＰＵ１０１は、対象画像から読み取ったマーカ３０の少なくとも１個が、候補マーカの何れかと一致するか否かを判定する。マーカ３０が一致するとは、マーカ３０に記録された情報が等しいことを表す。例えば、２個のマーカ３０が共に格納場所マーカ１２であり、この２個のマーカ３０に記録された格納場所ＩＤが等しい場合、この２個のマーカ３０は一致する。
　対象画像から読み取ったマーカ３０の少なくとも１個が、候補マーカの何れかと一致すると判定した場合、ＣＰＵ１０１は、処理をステップＳ３０２に進める。対象画像から読み取ったマーカ３０の全てが、候補マーカの何れとも一致しない場合、ＣＰＵ１０１は、処理をステップＳ３０３に進める。
　ステップＳ３０２において、ＣＰＵ１０１は、対象画像から読み取られたマーカ３０であって、比較画像の候補マーカと一致するマーカ３０を、対象画像の判定マーカと決定する。
　ステップＳ３０３において、ＣＰＵ１０１は、対象画像から読み取られたマーカ３０のそれぞれの大きさに基づいて、予め定められた数であるＮ（Ｎは１以上の整数）個のマーカ３０を、対象画像の判定マーカと決定する。より具体的には、ＣＰＵ１０１は、対象画像から読み取られたマーカ３０の中から、マーカ３０が大きい順に予め定められた数であるＮ（Ｎは１以上の整数）個のマーカ３０を、対象画像の判定マーカと決定する。Ｎの値は、クライアント装置１００の記憶装置１０２に設定されており、ＣＰＵ１０１は、予め記憶装置１０２からＮの値を取得する。Ｎの値として例えば「３」が使われる。
　ステップＳ３０４において、ＣＰＵ１０１は、ステップＳ３０３で決定した対象画像の判定マーカを、新たな候補マーカと決定する。ここでＣＰＵ１０１が決定する候補マーカは、図７の判定マーカ決定処理が次に実行される際の候補マーカとして使われる。
　ＣＰＵ１０１は、ステップＳ３０２又はＳ３０４の処理の後、図７の処理を終了して、処理を図６のステップＳ２０２に進める。
［効果］
　ステップＳ３０３で説明した予め定められた数であるＮを「２」以上に設定した場合、ステップＳ３０４において、クライアント装置１００は、候補マーカを複数個選択する。したがって、次回の判定マーカ決定処理のステップＳ３０１において、対象画像から読み取ったマーカの全てについて候補マーカと比較しなくても、対象画像から読み取ったマーカ３０の少なくとも１個が候補マーカの何れかと一致する、と判定できる可能性が高まる。よって、判定マーカ決定処理が高速化される。ただし、Ｎは「１」であってもよい。また、第２の実施形態でも第１の実施形態と同様に、煩雑な作業を回避し、通信量を低減できる。
＜第２の実施形態の変形例＞
　第２の実施形態では、候補マーカは、図７のステップＳ３０４で決定される。しかし、候補マーカは、予め定められていてもよい。この場合、候補マーカは、クライアント装置１００の記憶装置１０２に記憶されており、ＣＰＵ１０１は、記憶装置１０２から候補マーカを読み取る。
＜その他の実施形態＞
　上記の実施形態では、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合、又は、マーカ閾値以上からマーカ閾値未満に変化した場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。しかし、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合にのみ、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信してもよい。また、マーカ３０の大きさが、マーカ閾値以上からマーカ閾値未満に変化した場合にのみ、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信してもよい。これにより、クライアント装置１００とサーバ装置２００との通信量を低減できる。
　このように、何れの実施形態においても、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定された場合、クライアント装置１００は、物品格納情報、及び、撮影画像等をサーバ装置２００に送信する。この判定についてより具体的に説明すると、ある実施形態では、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合、又は、マーカ閾値以上からマーカ閾値未満に変化した場合に、クライアント装置１００は、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定する。他の実施形態では、マーカ３０の大きさが、マーカ閾値未満からマーカ閾値以上に変化した場合にのみ、クライアント装置１００は、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定する。他の実施形態では、マーカ３０の大きさが、マーカ閾値以上からマーカ閾値未満に変化した場合にのみ、クライアント装置１００は、撮影画像に写されたマーカ３０の大きさがマーカ閾値を跨ぐように変化したと判定する。
　また、上記の実施形態では、クライアント装置１００は、１種類のマーカ３０のみを読み取る。しかし、クライアント装置１００は、複数の種類のマーカ３０を読み取ってもよい。このとき、図５、及び、図６の処理において、対象画像から読み取ったマーカ３０の種類が複数ある場合、ＣＰＵ１０１は、予め定められた優先度情報に基づいて定まる種類のマーカ３０を、マーカ閾値と比較してもよい。
　優先度情報は、マーカ３０の種類ごとに優先度を定めた情報である。優先度情報では、最大認識距離が大きいマーカ３０の種類ほど、優先度が高くなるように、優先度が定められている。最大認識距離は、クライアント装置１００の撮影に関する設定を予め定めた状態に設定にして実際のマーカ３０を撮影した撮影画像であって、クライアント装置１００が撮影画像からマーカ３０を読み取ることができるという条件を満たす撮影画像の撮影距離の最大値である。この撮影距離は、クライアント装置１００から被写体である棚１０等に付された実際のマーカ３０までの撮影時の距離である。優先度情報は、クライアント装置１００の記憶装置１０２に記憶されており、ＣＰＵ１０１は、予め記憶装置１０２から優先度情報を取得する。
　これにより、クライアント装置１００は、高精度に読み取ることができるマーカ３０を使って、マーカ閾値と比較する。マーカ閾値との比較で誤判定が生じるおそれが低減する。
　また、上記の実施形態では、マーカ３０の大きさとして、撮影画像におけるマーカ３０の対角線の長さが使われる。しかし、マーカ３０の大きさは、対角線の長さ以外であってもよい。例えば、マーカ３０の大きさは、撮影画像におけるマーカ３０の面積であってもよい。また、マーカ３０の大きさは、撮影画像におけるマーカ３０の大きさの割合で表してもよい。より具体的には、マーカ３０の大きさを、「（撮影画像におけるマーカ３０の対角線の長さ）／（撮影画像の長辺の長さ）」、又は、「（撮影画像におけるマーカ３０の面積）／（撮影画像の面積）」等で表してもよい。
　また、上記の実施形態では、クライアント装置１００が、物品格納情報、及び、画像対応情報を作成した。しかし、クライアント装置１００は、対象画像におけるマーカ３０の座標やマーカ３０に記録された情報等の情報をサーバ装置２００に送信してもよい。この場合、サーバ装置２００は、クライアント装置１００から受信した情報に基づいて、物品格納情報、及び、画像対応情報を作成し、物品格納情報、及び、画像対応情報に基づいて、物品管理ＤＢ２１０、及び、画像管理ＤＢ２２０を更新してもよい。
　また、上記の実施形態では、クライアント装置１００は、イメージセンサ１０４を備えた撮影装置である。しかし、物品管理システム１は、クライアント装置１００とは別に、撮影装置を有していてもよい。この場合、撮影装置は、クライアント装置１００と共に、フォークリフト３００に設けられている。そして、ステップＳ１０２において、クライアント装置１００は、撮影装置から撮影装置が撮影した撮影画像を受信する。
　以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されず、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上記の実施形態を任意に組み合わせて実施してもよい。
　上述した実施形態によれば、煩雑な作業を回避し、通信量を低減できる。
　本発明によれば、煩雑な作業を回避し、通信量を低減できる。

Claims (10)

  1. 　移動体に設けられたクライアント装置と、サーバ装置と、を含む情報処理システムであって、
    　前記クライアント装置は、
    　継続的に撮影するよう、前記移動体に設けられた撮影手段を制御する撮影制御手段と、
    　前記撮影手段によって撮影された撮影画像に写されたマーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写されたマーカに関する情報を前記サーバ装置に送信する第１の送信手段と、
    を有し、
    　前記サーバ装置は、
    　前記第１の送信手段によって送信されたマーカに関する情報を記憶手段に記憶させるよう制御する第１の記憶制御手段と、
    を有する情報処理システム。
  2. 　前記クライアント装置は、
    　前記撮影画像に写されたマーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記撮影画像に写された物品のマーカと格納場所のマーカとに基づいて、マーカに関する情報として、物品と物品が格納された格納場所との組み合わせを表す物品格納情報を作成する作成手段を更に有し、
    　前記第１の送信手段は、前記撮影画像に写されたマーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記作成手段によって作成された前記物品格納情報を前記サーバ装置に送信し、
    　前記第１の記憶制御手段は、前記第１の送信手段によって送信された前記物品格納情報を前記記憶手段に記憶させるよう制御する請求項１記載の情報処理システム。
  3. 　前記クライアント装置は、
    　前記撮影画像に写されたマーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記撮影画像を前記サーバ装置に送信する第２の送信手段を更に有し、
    　前記サーバ装置は、
    　前記第２の送信手段によって送信された前記撮影画像を前記記憶手段に記憶させるよう制御する第２の記憶制御手段を更に有する請求項１又は２記載の情報処理システム。
  4. 　前記クライアント装置は、
    　前記撮影手段によって撮影された前記撮影画像に写されたマーカの大きさが前記閾値未満から前記閾値以上に変化した場合、又は、前記撮影画像に写されたマーカの大きさが前記閾値以上から前記閾値未満に変化した場合、前記撮影画像に写されたマーカの大きさが前記閾値を跨ぐように変化したと判定する判定手段を更に有し、
    　前記第１の送信手段は、前記判定手段によって前記撮影画像に写されたマーカの大きさが前記閾値を跨ぐように変化したと判定された場合、前記撮影画像に写されたマーカに関する情報を前記サーバ装置に送信する請求項１乃至３何れか１項記載の情報処理システム。
  5. 　前記撮影手段によって過去に撮影された撮影画像に写された複数のマーカに含まれるマーカであって、かつ、前記撮影手段によって直近に撮影された撮影画像に写されたマーカと一致するマーカである判定マーカの大きさが前記閾値未満から前記閾値以上に変化した場合、及び、前記判定マーカの大きさが前記閾値以上から前記閾値未満に変化した場合の少なくとも何れかの場合、前記判定手段は、前記撮影画像に写されたマーカの大きさが前記閾値を跨ぐように変化したと判定する請求項４記載の情報処理システム。
  6. 　前記移動体は、フォークリフトである請求項１乃至５何れか１項記載の情報処理システム。
  7. 　継続的に撮影するよう、移動体に設けられた撮影手段を制御する撮影制御手段と、
    　撮影手段によって撮影された撮影画像に写されたマーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写されたマーカに関する情報を送信する送信手段と、
    を有するクライアント装置。
  8. 　移動体に設けられたクライアント装置と、サーバ装置と、を含む情報処理システムにおける情報処理方法であって、
    　前記クライアント装置が、継続的に撮影するよう、前記移動体に設けられた撮影手段を制御する撮影制御ステップと、
    　前記クライアント装置が、前記撮影手段によって撮影された撮影画像に写されたマーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写されたマーカに関する情報を前記サーバ装置に送信する送信ステップと、
    　前記サーバ装置が、前記送信ステップによって送信されたマーカに関する情報を記憶手段に記憶させるよう制御する記憶制御ステップと、
    を含む情報処理方法。
  9. 　コンピュータを、
    　継続的に撮影するよう、移動体に設けられた撮影手段を制御する撮影制御手段、及び、
    　前記撮影手段によって撮影された撮影画像に写されたマーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写されたマーカに関する情報を送信する送信手段、
    として機能させるためのプログラム。
  10. 　コンピュータを、
    　継続的に撮影するよう、移動体に設けられた撮影手段を制御する撮影制御手段、及び、
    　前記撮影手段によって撮影された撮影画像に写されたマーカの大きさが定められた閾値を跨ぐように変化したと判定された場合、前記撮影画像に写されたマーカに関する情報を送信する送信手段、
    として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
PCT/JP2019/035610 2018-09-12 2019-09-11 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体 WO2020054744A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980057206.9A CN112638818B (zh) 2018-09-12 2019-09-11 信息处理系统、客户端装置、信息处理方法、以及储存介质
US17/269,474 US11483524B2 (en) 2018-09-12 2019-09-11 Information processing system, client device, information processing method, program, and storage medium
CA3110037A CA3110037C (en) 2018-09-12 2019-09-11 Information processing system and method
MX2021002811A MX2021002811A (es) 2018-09-12 2019-09-11 Sistema de procesamiento de informacion, dispositivo cliente, metodo de procesamiento de informacion, programa, y medio de almacenamiento.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-170387 2018-09-12
JP2018170387A JP7022671B2 (ja) 2018-09-12 2018-09-12 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体

Publications (1)

Publication Number Publication Date
WO2020054744A1 true WO2020054744A1 (ja) 2020-03-19

Family

ID=69778353

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035610 WO2020054744A1 (ja) 2018-09-12 2019-09-11 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体

Country Status (6)

Country Link
US (1) US11483524B2 (ja)
JP (1) JP7022671B2 (ja)
CN (1) CN112638818B (ja)
CA (1) CA3110037C (ja)
MX (1) MX2021002811A (ja)
WO (1) WO2020054744A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240038B1 (ja) * 2022-01-27 2023-03-15 ユーピーアール株式会社 荷物位置管理システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004210431A (ja) * 2002-12-27 2004-07-29 Nippon Yusoki Co Ltd フォークリフト
JP2005070725A (ja) * 2003-08-07 2005-03-17 Tetsuo Tanaka キャンペーン用ラベル、該ラベルを読み取るためのプログラムおよびキャンペーン開催方法
JP2009120380A (ja) * 2007-11-19 2009-06-04 Nippon Express Co Ltd 保管荷物のロケーション管理システム
JP2010145199A (ja) * 2008-12-18 2010-07-01 Seiko Epson Corp バーコードを利用した認識方法および認識システム、ならびに、バーコードを利用した制御方法および制御システム
JP2015084139A (ja) * 2013-10-25 2015-04-30 ユーピーアール株式会社 パレット管理システム、パレット管理装置およびフォークリフト
JP2018002331A (ja) * 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 システム、情報処理装置、情報処理方法、及び、プログラム
JP2018127298A (ja) * 2017-02-07 2018-08-16 ユーピーアール株式会社 物品位置管理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739580B2 (ja) 2001-06-28 2011-08-03 株式会社日清製粉グループ本社 入出庫管理システム
JP4205036B2 (ja) 2004-10-04 2009-01-07 日本電信電話株式会社 物品管理システム、方法及びプログラム
US8934667B2 (en) * 2011-06-20 2015-01-13 Sony Corporation System and method for confidence-based marker adjustment
JP5435067B2 (ja) * 2012-04-25 2014-03-05 カシオ計算機株式会社 通信システム、情報端末、通信方法及びプログラム
JP2017157032A (ja) * 2016-03-02 2017-09-07 東芝テック株式会社 欠品検出装置及び欠品検出システム
US10685197B2 (en) * 2017-11-17 2020-06-16 Divine Logic, Inc. Systems and methods for tracking items
US10242273B1 (en) * 2018-05-30 2019-03-26 Lineage Logistics, LLC Tracking vehicles in a warehouse environment
JP2020033173A (ja) * 2018-08-31 2020-03-05 富士通株式会社 管理システム、位置算出プログラム、位置算出方法及び管理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004210431A (ja) * 2002-12-27 2004-07-29 Nippon Yusoki Co Ltd フォークリフト
JP2005070725A (ja) * 2003-08-07 2005-03-17 Tetsuo Tanaka キャンペーン用ラベル、該ラベルを読み取るためのプログラムおよびキャンペーン開催方法
JP2009120380A (ja) * 2007-11-19 2009-06-04 Nippon Express Co Ltd 保管荷物のロケーション管理システム
JP2010145199A (ja) * 2008-12-18 2010-07-01 Seiko Epson Corp バーコードを利用した認識方法および認識システム、ならびに、バーコードを利用した制御方法および制御システム
JP2015084139A (ja) * 2013-10-25 2015-04-30 ユーピーアール株式会社 パレット管理システム、パレット管理装置およびフォークリフト
JP2018002331A (ja) * 2016-06-28 2018-01-11 新日鉄住金ソリューションズ株式会社 システム、情報処理装置、情報処理方法、及び、プログラム
JP2018127298A (ja) * 2017-02-07 2018-08-16 ユーピーアール株式会社 物品位置管理システム

Also Published As

Publication number Publication date
US11483524B2 (en) 2022-10-25
MX2021002811A (es) 2021-05-12
CA3110037A1 (en) 2020-03-19
US20210314534A1 (en) 2021-10-07
CN112638818A (zh) 2021-04-09
JP2020042613A (ja) 2020-03-19
JP7022671B2 (ja) 2022-02-18
CN112638818B (zh) 2023-02-03
CA3110037C (en) 2023-08-01

Similar Documents

Publication Publication Date Title
JP6262809B2 (ja) システム、情報処理装置、情報処理方法、及び、プログラム
WO2018003710A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及び、プログラム
EP3824365B1 (en) System for vehicle position calibration using rack leg identification
JP6386311B2 (ja) 携帯情報端末、情報処理方法、及びプログラム
JP6562716B2 (ja) 情報処理装置、情報処理方法、プログラム、及びフォークリフト
WO2020054744A1 (ja) 情報処理システム、クライアント装置、情報処理方法、プログラム、及び、記憶媒体
CN112605993B (zh) 基于双目视觉引导的自动抓取档案机器人控制系统及方法
JP6113631B2 (ja) 作業確認システム
CN105072348A (zh) 一种快速对焦人脸的方法、装置及终端
JP7029728B2 (ja) 搬送システム、搬送装置、計算機、学習方法
KR102119161B1 (ko) 운송 로봇의 실내 위치 인식 시스템
CN113744305B (zh) 目标物检测方法、装置、电子设备和计算机存储介质
CN113264313A (zh) 取/放货的拍摄方法、拍摄模块以及搬运机器人
JP2016066277A (ja) 物体管理システム、物体管理装置、物体管理方法及び物体管理プログラム
JP6008399B2 (ja) 管理システム、管理装置、管理方法、及びプログラム
JP2011170430A (ja) 読取システム、光学的情報読取装置、及び情報コード
US11800230B2 (en) Image processing apparatus of reducing whole operation time of arrival inspection, image processing method, and storage medium
JP7422343B1 (ja) 文字認識装置、文字認識方法および文字認識システム
JP7361836B2 (ja) 入出庫管理装置、入出庫管理方法、及び、コンピュータプログラム
EP4109428A1 (en) Information processing system, information processing device, and information processing method
CN111413929A (zh) 一种基于web通讯的仓储堆栈自动防错系统及方法
CN117355129A (zh) 于贴片后扫描识别数据以匹配电路板的系统及方法
JP2020101369A (ja) コード位置検出装置及びコード位置検出方法
JP5335460B2 (ja) 画像記録装置、制御方法、及びプログラム
JP2019156613A (ja) 管理装置、管理システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860372

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3110037

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2101001400

Country of ref document: TH

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19860372

Country of ref document: EP

Kind code of ref document: A1