WO2022114173A1 - トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム - Google Patents

トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム Download PDF

Info

Publication number
WO2022114173A1
WO2022114173A1 PCT/JP2021/043580 JP2021043580W WO2022114173A1 WO 2022114173 A1 WO2022114173 A1 WO 2022114173A1 JP 2021043580 W JP2021043580 W JP 2021043580W WO 2022114173 A1 WO2022114173 A1 WO 2022114173A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
display
article
stencil
image pickup
Prior art date
Application number
PCT/JP2021/043580
Other languages
English (en)
French (fr)
Inventor
多一郎 福田
Original Assignee
日本製鉄株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本製鉄株式会社 filed Critical 日本製鉄株式会社
Priority to JP2022552726A priority Critical patent/JP7288231B2/ja
Priority to KR1020237015306A priority patent/KR102595542B1/ko
Priority to CN202180076082.6A priority patent/CN116472239B/zh
Publication of WO2022114173A1 publication Critical patent/WO2022114173A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0214—Articles of special size, shape or weigh
    • B65G2201/0223—Heavy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02—Control or detection
    • B65G2203/0208—Control or detection relating to the transported articles
    • B65G2203/0216—Codes or marks on the article
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04—Detection means
    • B65G2203/041—Camera

Definitions

  • the present invention relates to a tracking device, a tracking method, a data structure of tracking data, and a program, and is particularly suitable for use for tracking an article.
  • Tracking is to track and identify the position of an object.
  • the steel plate is tracked by registering the XY coordinates of the overhead crane when the steel plate is unloaded together with the steel plate number of the steel plate.
  • the stationary location of the steel material indicated by the three-dimensional coordinates is calculated by the stationary location calculation program based on the horizontal and vertical movement of the hoist and the operation such as load detection.
  • the stationary location information indicating the calculated stationary location is stored in association with the steel material identification information of the steel material.
  • the information used for tracking the steel plate is the XY coordinates of the overhead crane. Therefore, tracking can be performed only within the range that can be transported by an overhead crane. Further, in the technique described in Patent Document 1, since the Z coordinate cannot be specified from the XY coordinates of the overhead crane, for example, when a plurality of steel plates are stacked, the plurality of steel plates can be accurately specified. Can not.
  • the three-dimensional coordinates of the steel material are calculated.
  • tracking can be performed only within a range that can be conveyed by a hoist.
  • the three-dimensional coordinates of the steel material calculated by the technique described in Patent Document 2 are the three-dimensional coordinates of the stationary place calculated by the stationary place calculation program. Therefore, in the technique described in Patent Document 2, the steel material can be tracked only at the stationary place predetermined by the stationary place calculation program.
  • the product is transported by various transport devices.
  • a worker may transport a product without using a transport device.
  • the product may be placed in a storage area where the storage address is not specified.
  • the present invention has been made in view of the above problems, and an object thereof is to improve the accuracy of tracking an article.
  • the tracking device of the present invention is a tracking device for tracking an article, and is one or more image acquisition means for acquiring an captured image of a region including display information displayed on the article, and identification information of the article.
  • the identification information acquisition means for acquiring the information
  • the position derivation means for deriving the information display position which is the three-dimensional position where the display information is displayed based on the captured image acquired by the image acquisition means, and the position. It is characterized by having a storage means for storing the information display position in the article derived by the derivation means in a storage medium in association with the identification information of the article acquired by the identification information acquisition means.
  • the tracking method of the present invention is a tracking method for tracking an article, and is one or more image acquisition steps for acquiring an image of a region including display information displayed on the article, and identification information of the article.
  • the identification information acquisition step for acquiring the information
  • the position derivation step for deriving the information display position which is the three-dimensional position where the display information is displayed, and the position based on the captured image acquired by the image acquisition step. It is characterized by having a storage step of associating the information display position in the article derived by the derivation step with the identification information of the article acquired by the identification information acquisition step and storing the information in a storage medium.
  • the data structure of the tracking data of the present invention includes display information displayed on the article and non-display information not displayed on the article, and the non-display information is at a three-dimensional position where the display information is displayed.
  • a tracking device is used to derive the information display position in the article based on a captured image of a region containing the display information displayed on the article, including a certain information display position.
  • the program of the present invention is a program for causing a computer to execute a process of tracking an article, and includes one or more image acquisition steps of acquiring an captured image of a region including display information displayed on the article. , A position for deriving an information display position, which is a three-dimensional position where the display information is displayed, based on the identification information acquisition step of acquiring the identification information of the article and the captured image acquired by the image acquisition step.
  • a computer has a derivation step and a storage step of associating the information display position in the article derived by the position derivation step with the identification information of the article acquired by the identification information acquisition step and storing it in a storage medium. It is characterized by being executed.
  • FIG. 1 is a diagram illustrating an example of a product flow in a factory.
  • FIG. 2 is a diagram showing an example of a display area for a plank.
  • FIG. 3A is a diagram showing an example of display contents by a stencil.
  • FIG. 3B is a diagram showing an example of display contents by a label.
  • FIG. 4 is a diagram showing an example of how a plank is loaded and unloaded with respect to a transport ship.
  • FIG. 5 is a view of the thick plate being lifted by the cargo handling device from the extending direction (y-axis direction) of the garter.
  • FIG. 6A is a diagram showing a first example of a transport mode of a thick plate.
  • FIG. 6B is a diagram showing a second example of the transport mode of the thick plate.
  • FIG. 6A is a diagram showing a first example of a transport mode of a thick plate.
  • FIG. 6B is a diagram showing a second example of the transport mode of the thick plate.
  • FIG. 6C is a diagram showing a third example of the transport mode of the thick plate.
  • FIG. 6D is a diagram showing a fourth example of the transport mode of the thick plate.
  • FIG. 6E is a diagram showing a fifth example of the transport mode of the thick plate.
  • FIG. 7 is a diagram showing an example of how planks are loaded and unloaded with respect to a transport vehicle.
  • FIG. 8 is a diagram showing an example of a state in which planks are loaded on a transport vehicle.
  • FIG. 9A is a diagram showing a first example of a plank placed in a storage place in a factory.
  • FIG. 9B is a diagram showing a second example of a plank placed in a storage place in a factory.
  • FIG. 9A is a diagram showing a first example of a plank placed in a storage place in a factory.
  • FIG. 9B is a diagram showing a second example of a plank placed in a storage place in a factory.
  • FIG. 9C is a diagram showing a third example of a plank placed in a storage place in a factory.
  • FIG. 10 is a diagram showing an example of how a thick plate is processed in a production facility.
  • FIG. 11 is a diagram showing an example of the original plank and the plank after cutting.
  • FIG. 12 is a diagram showing an example of a functional configuration of the tracking device.
  • FIG. 13 is a diagram showing an example of a management table.
  • FIG. 14 is a diagram showing an example of the position of the stencil in the article and the position of the component of each display item in the display by the stencil.
  • FIG. 15 is a diagram showing an example of the position of the label in the article and the position of the component of each display item in the display by the label.
  • FIG. 10 is a diagram showing an example of how a thick plate is processed in a production facility.
  • FIG. 11 is a diagram showing an example of the original plank and the plank after cutting.
  • FIG. 12 is a diagram
  • FIG. 16A is a diagram showing a first example of information stored in the management table.
  • FIG. 16B is a diagram showing a second example of information stored in the management table.
  • FIG. 17 is a flowchart illustrating an example of processing of the tracking device when tracking a thick plate.
  • FIG. 18 is a diagram illustrating an example of a method of deriving a three-dimensional position of a display area by a stencil.
  • FIG. 19 is a diagram illustrating an example of a method of deriving a position in the height direction (z-axis direction) of a display area by a stencil.
  • FIG. 20 is a diagram illustrating a modified example of a method of deriving a three-dimensional position of a display area by a stencil.
  • FIG. 21 is a diagram showing an example of the hardware configuration of the tracking device.
  • FIG. 1 is a diagram illustrating an example of a product flow in a factory to which the present embodiment is applied.
  • the planks manufactured at the steelworks are loaded onto a transport ship.
  • the transport vessel then berths at the quay near the factory.
  • the planks are unloaded from the transport ship and loaded onto transport vehicles (trucks, etc.).
  • transport vehicles trucks, etc.
  • the planks transported by the transport vehicle arrive at the factory, they are placed in the storage area in the factory.
  • the planks placed in the storage area are placed in the warehouse after being subjected to heat treatment, cutting (gas cutting), and the like. The planks are then shipped from the factory to the consumer.
  • FIG. 2 is a diagram showing an example of a display area for a plank.
  • the x-axis, y-axis, and z-axis shown in FIG. 2 indicate the relationship between FIG. 2 and FIGS. 3A, 3B, 14 to 15, and 18 to 20, which will be described later. It does not necessarily correspond to the orientation of the xyz coordinates shown in FIGS. 4 and 5.
  • the xyz coordinates are, for example, coordinates represented in the world coordinate system.
  • the display area 201 is a stencil display area.
  • the display area 201 by the stencil exists on the plate surface of the thick plate.
  • the broken line shown in FIG. 2 is a virtual line and is not actually displayed.
  • the label (side label) 202 is attached to the side surface (thick portion) of the plank.
  • FIG. 3A is a diagram showing an example of display contents by a stencil.
  • the xyz coordinates shown in FIG. 3A indicate the relationship of orientation with FIG. 2 and the like. Further, in the xyz coordinates shown in FIG. 3A, the symbol with a black circle ( ⁇ ) in the white circle ( ⁇ ) indicates that the symbol goes from the back side to the front side of the paper. The notation of such xyz coordinates is the same in other figures.
  • the stencil display includes mark 301, consumer name 302, standard 303, size 304, ID 305, consumer code 306, and order number 307.
  • the mark 301 is a mark representing the manufacturer of the thick plate.
  • the consumer name 302 is information indicating a consumer (purchaser) of the plank.
  • the standard 303 is information indicating the standard of the thick plate.
  • the size 304 is information indicating the size of the plank (for example, thickness ⁇ width ⁇ length).
  • ID305 is information for uniquely identifying the thick plate, and in the example shown in FIG. 3A, it is a plate number (identification number of the thick plate). Therefore, the same ID is not attached to different planks.
  • the consumer code 306 is information specified by the manufacturer of the thick plate to be attached to the thick plate by the consumer.
  • the order number 307 is a part of the number for identifying the plank order from the consumer.
  • the mark 301, the consumer name 302, the standard 303, the size 304, the ID 305, the consumer code 306, and the order number 307 are information that can be generally displayed on the plank.
  • Information other than ID305 may not be included in the display by the stencil.
  • information other than the above-mentioned information may be included in the display by the stencil.
  • the number of digits of the customer code 306 differs depending on the customer, and the notation method of the standard 303 differs depending on the steelworks that manufacture the thick plate. Further, for example, the order number 307 may or may not be attached by the consumer.
  • the size of the displayed items may also differ depending on the steelworks that manufacture the planks.
  • the position of the display area by the stencil may also differ depending on the steelworks that manufacture the planks. As described above, the content, position, and size of the display by the stencil differ depending on the steelworks that manufacture the planks, the consumers, and the like.
  • the mark 301, the consumer name 302, the standard 303, the size 304, the ID 305, the consumer code 306, and the order number 307 are information managed by the plate manufacturer. Further, the mark 301, the consumer name 302, the standard 303, the size 304, the ID 305, the consumer code 306, and the order number 307 are information that can be identified by a person. Information that can be identified by a person means that the person can understand the meaning of the information when he / she sees the information. Information that requires machine encoding and decoding to create and read information, such as barcodes and two-dimensional codes, is not human identifiable information.
  • the mark 301, the consumer name 302, the standard 303, the size 304, the ID 305, the consumer code 306, and the order number 307 are at least letters, numbers, and symbols as information that does not need to be machine decoded for reading. Contains one and does not contain information that requires machine decoding for reading.
  • FIG. 3B is a diagram showing an example of display contents by a label.
  • the xyz coordinates shown in FIG. 3B indicate the relationship of orientation with FIG. 2 and the like. Further, in the xyz coordinates shown in FIG. 3B, the symbols marked with x in the white circles indicate the direction from the front side to the back side of the paper. The notation of such xyz coordinates is the same in other figures.
  • the label display includes standard 311, ID 312, size 313, delivery date 314, and consumer code 315.
  • the delivery date 314 is information indicating the delivery date of the plank.
  • the standard 311 and ID 312, size 313, and consumer code 315 are the same as the standard 303, size 304, ID 305, and consumer code 306, respectively.
  • Information other than ID 312 may not be included in the label display.
  • information other than the above-mentioned information may be included in the label display.
  • the content, position, and size of the label label also differ depending on the steelworks and consumers who manufacture the planks, as with the stencil label.
  • the meaning of the same display item for the same plank is the same for the display by the stencil and the display by the label. Therefore, when the display by the stencil shown in FIG. 3A and the display by the label shown in FIG. 3B are performed on the same thick plate, the ID 305 displayed by the stencil and the ID 312 displayed by the label mean the same contents. Will be the one to do. Further, the standard 303 displayed by the stencil and the standard 311 displayed on the label mean the same contents. The size 313 and the consumer code 315 have the same contents as the size 304 and the consumer code 306, respectively. As described above, the standard 303, the ID 305, the size 304, and the consumer code 306 are information managed by the plate manufacturer.
  • the standard 311 and the ID 312, the size 313, and the consumer code 315 are also information managed by the plate manufacturer. Further, the delivery date 314 of the thick plate is also information managed by the manufacturer of the thick plate. Further, the standard 311 and the ID 312, the size 313, the delivery date 314, and the consumer code 315 are information that can be identified by a person. In addition to the above indications, the planks may be indicated by, for example, engraved.
  • FIG. 4 is a diagram showing an example of how a plank is loaded and unloaded with respect to a transport ship.
  • FIG. 4 illustrates a case where a gantry crane 410 is used to load and unload planks for a transport ship 400.
  • FIG. 5 is a view of the plank 420 being lifted by the cargo handling device 411 as viewed from the extending direction (y-axis direction) of the garter 412.
  • the xyz coordinates shown in FIGS. 4 and 5 indicate the relationship between the orientations of FIGS. 4 and 5.
  • the gantry crane 410 has a cargo handling device (trolley, etc.) 411, a garter (traverse girder) 412, and a leg structure 413. Move along the axial direction).
  • FIG. 4 shows how the plank 420 is lifted and moved by the cargo handling device 411.
  • a view of the plank 420 being lifted by the cargo handling device 411 from the extending direction (y-axis direction) of the garter 412 is as shown in FIG.
  • FIGS. 4 and 5 illustrate how one plate 420 is lifted by the cargo handling device 411.
  • the transport mode of the thick plate by the cargo handling device 411 is not limited to such a transport mode.
  • 6A to 6E are views showing first to fifth examples of transport modes of thick plates. 6A to 6E show the cargo handling device 411 in a more simplified manner.
  • FIG. 6A exemplifies a state in which two planks are arranged side by side in the horizontal plane (xy plane) and simultaneously transported by the cargo handling device 411.
  • FIG. 6B illustrates a state in which one thick plate is conveyed on the top side (negative direction side of the x-axis) of the cargo handling device 411.
  • FIG. 6C illustrates a state in which one thick plate is conveyed on the bottom side (the positive direction side of the x-axis) of the cargo handling device 411.
  • FIG. 6D illustrates a state in which one plank is conveyed in the center of the cargo handling device 411.
  • FIG. 6E illustrates a state in which a plurality of (two) planks are stacked and simultaneously conveyed by the cargo handling device 411. As described above, in the present embodiment, a plurality of thick plates may be simultaneously transported in a stacked state.
  • the transport mode of the thick plate by the cargo handling device 411 is not limited. Further, the method of lifting the thick plate by the cargo handling device 411 may be a method using magnetic attraction by a magnet, a method using a hacker, or another method. Since the gantry crane 410 itself can be described by a known technique, detailed description thereof will be omitted here.
  • planks manufactured at the steelworks are carried to the quay and placed in a designated storage area that can be transported by the gantry crane 410.
  • a plurality of planks may be placed in a predetermined storage place in a stacked state.
  • planks are placed one by one in a predetermined storage area.
  • FIG. 4 and the like for convenience of notation, a case where the thickness (plate thickness) of a plurality of thick plates is the same is illustrated.
  • the thickness of the plurality of planks may differ. That is, at least one of the thickness, width, and length of the planks placed in the predetermined storage area may be different.
  • FIG. 4 illustrates a case where a plurality of thick plates are stacked so that the plate surface of the thick plate is parallel to the surface on which the thick plate is placed.
  • the method of stacking the planks is not limited to such a method.
  • a plurality of planks may be placed on top of each other so that the plate surface of the planks is perpendicular to or close to the angle on which the planks are placed. This also applies to positions other than the designated storage area on the quay.
  • the first image pickup devices 430a to 430f are attached to the garter 412 and the leg structure 413.
  • the number and position of the first image pickup devices 430a to 430f are set so that as many display areas of the thick plate as possible are imaged as the display area 201 by the stencil of the thick plate and the display area by the label 202.
  • the first image pickup device 430 g to 430 m is also attached to the cargo handling device 411.
  • the number and position of the first image pickup devices 430a to 430 m are based on the display area 201 and the label 202 by the stencil of the plate 420 being conveyed by the gantry crane 410 in at least one image pickup device of the first image pickup devices 430a to 430 m. At least one of the display areas is set to be imaged as much as possible.
  • the first imaging devices 430a to 430m can adjust imaging conditions (imaging direction, angle of view, zoom magnification, aperture (F value), etc.).
  • the adjustment of the imaging condition may be performed by the operator (worker) operating the first imaging device, or may be automatically performed based on an instruction from the external device.
  • the first image pickup device 430i to 430 m attached to a position close to the plate 420 being transported may be a fiberscope camera. ..
  • a fiberscope camera for example, it is possible to take close-up shots of the display area 201 by the stencil of the plate 420 and the display area by the label 202 during transportation.
  • the captured image captured by the first imaging device is not limited to a still image, but may be a moving image.
  • the image captured by the first image pickup device is a moving image
  • the image taken out from the moving image captured by the first image pickup device is the tracking device 1200 described later. Used in.
  • the fact that the captured image captured by the image pickup device is not limited to the still image is the same in the second image pickup device to the seventh image pickup device described later.
  • the planks transported from the steelworks are placed in the designated storage area of the gantry crane 410.
  • the area including the display area 201 by the stencil of the plank placed in the predetermined storage place of the gantry crane 410 is imaged by the first image pickup devices 430c to 430f.
  • the operator operates the information processing terminal in the operation room of the gantry crane 410 or the information processing terminal (tablet terminal or the like) of the operator (worker) of the gantry crane 410 to operate the first image pickup device.
  • the display instruction of the preview image is given to 430c to 430f.
  • the first image pickup devices 430c to 430f transmit the preview image to the information processing terminal based on the display instruction of the preview image.
  • the preview image is displayed by the information processing terminal.
  • the operator operates the information processing terminal and gives an image pickup instruction to the first image pickup device that is capturing the preview image in which the display area by the stencil to be photographed is displayed.
  • the first imaging devices 430c to 430f capture an image captured in a region including the display region 201 by the stencil.
  • the preview image is a live image displayed for confirmation by the operator (worker), and is displayed based on the display instruction of the preview image.
  • the captured image is assumed to be an image captured based on an imaging instruction when the preview image is displayed. Further, although the case of displaying the preview image is illustrated here, it is not always necessary to display the preview image.
  • the display area 201 by the stencil and the display area by the label 202 may not be included in the image pickup range of the first image pickup apparatus 430c to 430f.
  • the operator operates the unmanned aerial vehicles (drones) 440a to 440b provided with the first image pickup device to display the desired plank in the area including the display area 201 by the stencil (or the display by the label 202).
  • the captured image of the region including the region) may be captured by using the first imaging device.
  • the first image pickup device on hand of the operator (worker) is used to capture an image of the desired thick plate in the area including the display area 201 by the stencil (or the area including the display area by the label 202). good.
  • the first image pickup device on hand by the operator (worker) may be, for example, an information terminal device (tablet terminal, smartphone, or the like) provided with the first image pickup device.
  • the display of the preview image and the imaging of the captured image by the first imaging devices 430c to 430f described above are similarly performed in the first imaging devices 430a to 430b and 430g to 430w other than the first imaging devices 430c to 430f. Will be executed. Further, when a plurality of thick plates are stacked and conveyed at the same time, it is possible to capture an image captured in a region including a display region by the label 202 as a first imaging device other than the first imaging devices 430c to 430f. The same is performed for 430a to 430b and 430g to 430w.
  • the image pickup method is the first image pickup device other than the first image pickup apparatus 430c to 430f.
  • planks are placed in a predetermined storage place of the gantry crane 410 and then loaded onto the transport ship 400 by the gantry crane 410.
  • a plurality of planks may be stacked and loaded onto the transport ship 400 at the same time.
  • planks are loaded one by one on the transport ship 400.
  • at least one of the thickness, width, and length of the planks loaded on the transport vessel 400 may differ.
  • An image captured by the area including the display area 201 by the stencil of the plank being conveyed by the gantry crane 410 is imaged by the first image pickup device 430 g to 430 m attached to the cargo handling device 411.
  • the captured image of the region of the planks including the stencil display region 201 is the first image pickup device 430a-430b or the transport vessel 400 attached to the garter 412.
  • the image is taken by the first image pickup device 430n attached to the above.
  • the first image pickup device 430n attached to the transport ship 400 also adjusts the image pickup conditions (imaging direction, angle of view, zoom magnification, aperture (F value), etc.) in the same manner as the first image pickup devices 430a to 430m. It is possible to do.
  • the number of first image pickup devices attached to the transport ship 400 is one.
  • the transport ship 400 is equipped with a plurality of first image pickup devices so that the area where the planks are placed is included in the image pickup range.
  • the transport ship 400 loaded with planks as described above berths at the quay near the factory.
  • the planks are unloaded from the transport ship 400.
  • the plank is unloaded using the gantry crane 410.
  • the captured image is taken in the same manner as when it is loaded on the transport ship 400.
  • the plank is also transported from the steelworks and placed in the predetermined storage place of the gantry crane 410. The captured image is captured.
  • FIG. 7 is a diagram showing an example of how planks are loaded and unloaded with respect to a transport vehicle.
  • the planks placed in the predetermined storage areas of the Gandley crane 410 are loaded onto the transport vehicle 700 using a crane or the like (not shown).
  • a plurality of planks may be stacked and loaded onto the transport vehicle 700 at the same time.
  • the planks may be loaded one by one on the transport vehicle 700.
  • at least one of the thickness, width, and length of the planks loaded on the transport vehicle 700 may differ.
  • the planks may be conveyed and loaded on the transport vehicle 700 as shown in FIGS. 6A to 6E.
  • FIG. 8 is a diagram showing an example of a state in which planks are loaded on the transport vehicle 700.
  • the first image pickup devices 430o to 430p are attached to the structure installed at the standby position of the transport vehicle 700. As for the number and position of the first image pickup devices 430o to 430p, as many thick plate display areas as possible are imaged as the display area 201 by the stencil of the thick plate loaded on the transport vehicle 700 and the display area by the label 202. Is set to be done. Further, the first image pickup device 430q is also attached to the transport vehicle 700. Similar to the first image pickup devices 430a to 430 m, the first image pickup devices 430o to 430q can also adjust the image pickup conditions (imaging direction, angle of view, zoom magnification, aperture (F value), etc.). ing.
  • image pickup conditions imaging direction, angle of view, zoom magnification, aperture (F value), etc.
  • the area of the planks loaded on the transport vehicle 700 including the stencil display area 201 is imaged by the first image pickup devices 430o to 430q.
  • planks are unloaded from the transport vehicle 700.
  • the planks loaded on the transport vehicle 700 are unloaded from the transport vehicle 700 using a crane or the like (not shown).
  • a plurality of planks may be unloaded from the transport vehicle 700 at the same time in a stacked state.
  • the planks may be unloaded one by one from the transport vehicle 700.
  • at least one of the thickness, width, and length of the planks unloaded from the transport vehicle 700 may differ.
  • the planks may be conveyed and unloaded from the transport vehicle 700 as shown in FIGS. 6A to 6E.
  • a transport device (gantry crane 410) used to transport the thick plate from the transport ship 400 to a predetermined storage place of the gantry crane 410, and a transport device used to transport the thick plate from the transport vehicle 700 to the storage site in the factory. It is a transport device different from (crane etc. not shown). In this way, the plank transported to a certain storage place by a certain transport equipment is transported to another storage place that cannot be transported by the certain transport equipment by a transport equipment different from the certain transport equipment. May occur. This is also the case when the planks are transported between each storage place in the factory and other storage places.
  • FIGS. 9A to 9C are diagrams showing the first to third examples of the state of the planks placed in the storage place in the factory.
  • the first image pickup devices 430r to 430w are attached to the structure installed in the storage place in the factory. As shown in FIGS. 9A-9C, the planks are placed in various ways in the yard in the factory. Therefore, in the number and position of the first image pickup devices 430r to 430w, as many display areas of the thick plate as possible are imaged as the display area 201 by the stencil of the thick plate placed in the storage place and the display area by the label 202. Is set to. Similar to the first image pickup devices 430a to 430 m, the first image pickup devices 430r to 430w can also adjust the image pickup conditions (imaging direction, angle of view, zoom magnification, aperture (F value), etc.). ing.
  • image pickup conditions imaging direction, angle of view, zoom magnification, aperture (F value), etc.
  • the area including the display area 201 by the stencil of the plank placed in the storage place in the factory is imaged by the first image pickup apparatus 430r to 430w.
  • the area of the plank including the display area 201 by the stencil (or the display area by the label 202) is imaged by the first image pickup apparatus 430r to 430w as described above. Ru.
  • FIG. 10 is a diagram showing an example of how a thick plate is processed in a production facility.
  • the production equipment 1000 is, for example, equipment for performing heat treatment and equipment for performing gas cutting.
  • FIG. 10 illustrates a case where the thick plates 1002a and 1002b are transported by using the transport roll 1001. It should be noted that the transfer of the thick plate between the storage place and the transfer roll 1001 is realized by using a transfer device (not shown) or the like.
  • the first image pickup device 430x to 430y is attached to the structure installed on the production line of the factory.
  • the number and position of the first image pickup devices 430x to 430y are set so that the display area 201 by the stencils of the thick plates 1002a and 1002b is imaged. Similar to the first image pickup devices 430a to 430 m, the first image pickup devices 430x to 430y can also adjust the image pickup conditions (imaging direction, angle of view, zoom magnification, aperture (F value), etc.). ing. It is assumed that the thick plates 1002a and 1002b transported on the transport roll 1001 are not stacked. Further, the transport paths of the thick plates 1002a and 1002b on the transport roll 1001 are assumed in advance.
  • the display region 201 by the stencils of the thick plates 1002a and 1002b is not not imaged by the first image pickup apparatus 430x to 430y.
  • an unmanned aerial vehicle equipped with the first image pickup device may be used to image the display area 201 by the stencils of the thick plates 1002a and 1002b.
  • the broken line indicates the transport path of the thick plates 1002a and 1002b on the transport roll 1001, and does not actually exist.
  • the plank 1002a transported from the storage place in the factory is placed on the transport roll 1001 and transported by the transport roll 1001.
  • the region including the stencil display region 201 of the plate 1002a being transported on the transport roll 1001 before entering the production facility 1000 is imaged by the first image pickup apparatus 430x. Further, after the processing is completed in the production equipment 1000 and the plate 1002b is being transported on the transport roll 1001, the region including the display area 201 by the stencil is imaged by the first image pickup device 430y. Will be done.
  • the planks are placed in a storage place as illustrated in FIGS. 9A to 9C in the warehouse.
  • the area including the display area 201 (or the display area by the label 202) by the stencil of the plank placed in the storage place in the factory is imaged by the first image pickup apparatus 430r to 430w.
  • the planks are moved from the warehouse to the shipping yard.
  • the area including the display area 201 (or the display area by the label 202) by the stencil of the plank placed in the shipping place is imaged by the first image pickup apparatus 430r to 430w.
  • planks may be placed in a stacked state. In some cases, one plank is placed in each storage area in the factory. In addition, at least one of the thickness, width, and length of the planks placed in each storage place in the factory may be different.
  • FIG. 11 is a diagram showing an example of the original plank and the plank after cutting.
  • FIG. 11 illustrates a case where the thick plate 1100 is cut to manufacture the thick plates 1110, 1120, 1130, and 1140. After the thick plates 1110, 1120, 1130, and 1140 are manufactured in this way, indications are given to the respective thick plates 1110, 1120, 1130, and 1140.
  • FIG. 11 shows display areas 1111, 1121, 1131, 1141 for thick plates 1110, 1120, 1130, 1140. Information including IDs of thick plates 1110, 1120, 1130, and 1140 is displayed in the display areas 1111, 1121, 1131, and 1141.
  • a stencil is used for display.
  • at least one of the engraved display and the label display may be performed.
  • the display in the display areas 1111, 1121, 1131, 1141 may be a handwritten display.
  • the ID of the original thick plate 1100 may be displayed in the display areas 1111, 1121, 1131, 1141.
  • the display areas 1111, 1121, 1131, 1141 for example, a stencil is used for display.
  • the display in the display areas 1111, 1121, 1131, 1141 may be handwritten. This also applies to the display on the display area 201 and the display by the label 202.
  • the display areas 1111, 1121, 1131, and 1141 are stencil display areas.
  • the operator's (worker's) first imaging device can be used to display the stencil display areas 1111, 1121, 1131, 1141 of the desired planks.
  • the captured image of the included region may be captured.
  • the first image pickup device on hand by the operator (worker) may be, for example, an information terminal device (tablet terminal, smartphone, or the like) provided with the first image pickup device.
  • the operator (worker) operates an unmanned aerial vehicle equipped with the first image pickup device, and obtains a captured image of a desired thick plate in a region including the display areas 1111, 1121, 1131, 1141 by the stencil. It may be imaged by the captured image of 1.
  • the vehicle is placed on the transport ship 400, when it is unloaded from the transport ship 400 and loaded on the transport vehicle 700, and when it is placed in the gantry crane 410 and each storage place of the factory.
  • a captured image of a region including a display region 201, 1111, 1121, 1131, 1141 by a stencil and a region including a display region by a label 202 of each plank can be obtained.
  • the position of the plank is automatically tracked by the tracking device using the captured image captured as described above.
  • the display area 201 by the stencil can be imaged, so that the captured image of the area including the display area by the label 202 becomes unnecessary.
  • the display by the stencil and the display by the label 202 are generically referred to as the display by the stencil (label), if necessary.
  • the display area by the stencil 201, 1111, 1121, 1131, 1141 and the display area by the label 202 are collectively referred to, the display area by the stencil (label) is described as necessary.
  • FIG. 12 is a diagram showing an example of a functional configuration of the tracking device 1200.
  • the hardware of the tracking device 1200 is realized by using, for example, a CPU, a ROM, a RAM, an HDD, an information processing device having various interfaces, or dedicated hardware.
  • FIG. 13 is a diagram showing an example of a management table 1300 managed by the tracking device 1200.
  • the tracking device 1200 includes a first image acquisition unit 1201, a recognition unit 1202, an acquisition unit 1203, a collation unit 1204, a specific unit 1205, and a position derivation unit 1206. , A storage unit 1207, an output unit 1208, and a second image acquisition unit 1209.
  • the first image acquisition unit 1201 acquires the first captured image of the area including the display area by the stencil (label).
  • the recognition unit 1202 recognizes the components, positions, and the like of the display items in the display by the stencil (label) from the first captured image acquired by the first image acquisition unit 1201.
  • the acquisition unit 1203 acquires the information stored in the ID column of the actual product display column in the management table 1300 described later.
  • the collation unit 1204 collates the information recognized by the recognition unit 1202 with the information acquired by the acquisition unit 1203.
  • the specifying unit 1205 identifies one plate from the plates managed in the management table 1300 based on the collation result in the collating unit 1204.
  • the identification information acquisition unit 1210 for acquiring the identification information of the thick plate has a recognition unit 1202, an acquisition unit 1203, a collation unit 1204, and a specific unit 1205.
  • the position derivation unit 1206 derives the xyz coordinates (three-dimensional coordinates) of the display area by the stencil (label) as the three-dimensional position of the plank specified by the specific unit 1205.
  • the storage unit 1207 stores information indicating the three-dimensional position of the plank in the management table 1300.
  • the output unit 1208 outputs information indicating the three-dimensional position of the plank.
  • the second image acquisition unit 1209 acquires a second captured image for specifying the position in the height direction (z-axis direction) of the display area by the stencil (label) in the position derivation unit 1206.
  • a detailed example of the tracking device 1200 will be described later with reference to the flowchart of FIG.
  • the management table 1300 stores information used by the tracking device 1200 to track the plank.
  • the information stored in the management table 1300 includes information managed by the plate manufacturer. However, a part of the information stored in the management table 1300 may be information that can be utilized also in distribution and the like.
  • the information managed by the thick plate manufacturer is the information set or acquired by the thick plate manufacturer.
  • the information managed by the plate manufacturer includes information that allows an operator who is an employee of the plate manufacturer to understand the meaning of the information. More specifically, the information managed by the thick plate manufacturer is, for example, information created by the thick plate manufacturer and stored in the management table 1300.
  • the information stored in the management table 1300 is an example of tracking data, and by storing each information in the management table 1300, an example of the data structure of the tracking data is realized.
  • the information in the same column becomes the identification information for the same thick plate (the column below the same No. is the column in which the identification information for the same thick plate is stored).
  • information regarding each display item displayed by the stencil (label) is stored in the actual product display column.
  • Information other than the information related to each display item displayed by the stencil (label) is stored in the non-actual product display column.
  • the information stored in the actual product display column is an example of the display information included in the tracking data
  • the information stored in the non-actual product display column is an example of the non-display information included in the tracking data. ..
  • Information about the stencil is stored in the stencil column in the item display column.
  • information indicating the contents and positions of the components of ID 305 included in the display by the stencil is stored.
  • the constituent elements refer to individual information constituting display items such as characters, numbers, symbols, and marks.
  • information indicating the content and position of the component of the consumer name 302 included in the display by the stencil is stored.
  • the size column of the stencil column stores information indicating the content and position of the component of size 304 included in the display by the stencil.
  • information indicating the contents and positions of the components of the standard 303 included in the display by the stencil is stored.
  • information indicating the content and position of the component of the consumer code 306 included in the display by the stencil is stored.
  • the order number column of the stencil column information indicating the content and position of the component of the order number 307 included in the display by the stencil is stored.
  • the contents of the display items that may be displayed as the display items displayed by the stencil are also stored in the management table 1300.
  • the "" under the additional information column in the stencil column of FIG. 13 indicates this.
  • the display item itself may be added and / or deleted.
  • the label column In the actual product display column, information about the label is stored in the label column.
  • the ID column of the label column information indicating the content and position of the component of ID 312 included in the display by the label is stored.
  • the size column of the label column information indicating the content and position of the component of size 313 included in the display by the label is stored.
  • the standard column of the label column information indicating the contents and positions of the components of the standard 311 included in the display by the label is stored.
  • the delivery date column of the label column information indicating the content and position of the component of the delivery date 314 included in the display by the label is stored.
  • the consumer code column of the label column information indicating the content and position of the component of the consumer code 315 included in the display by the label is stored.
  • the contents of the display items that may be displayed as the display items displayed by the labels are also stored in the management table 1300.
  • the "" under the consumer code column in the label column of FIG. 13 indicates this.
  • the display item itself may be added and / or deleted.
  • Information indicating the position of the display area when a predetermined position on the plate is set as the origin (reference) is stored in the column of the position in the article.
  • Information indicating the position of the display area by the stencil when a predetermined position on the plate is set as the origin (reference) is stored in the stencil column of the column of the position in the article.
  • Information indicating the position of the display area by the label when a predetermined position on the plank is set as the origin (reference) is stored in the label column of the column of the position in the article.
  • Information indicating the three-dimensional position of the plank is stored in the article position column.
  • the information stored in the article position column is information indicating the three-dimensional position of the plank specified by the tracking device 1200. Therefore, the three-dimensional position of the same plank specified by the tracking device 1200 may change not only the x-coordinate and the y-coordinate but also the z-coordinate as the tracking progresses (movement of the plank). Therefore, the three-dimensional position of the information display position of the same thick plate specified by the tracking device 1200 is not only the x-coordinate and the y-coordinate (position in the horizontal plane direction) but also z as the tracking progresses (movement of the thick plate). Coordinates (position in the height direction) may also change.
  • the registration time column information indicating the date and time when the plank was placed at the current position (timing determined by the date and time) is stored.
  • the parent ID column information indicating the ID of the original plank is stored. Plates may be cut at the factory.
  • the original plank refers to the plank before cutting. Therefore, when the information indicating the ID of the original plank is stored in the column of the parent ID, the information stored in the column of the same column as the column of the parent ID is the information for the plank after cutting. become.
  • the thick plates 1110, 1120, 1130, and 1140 are manufactured as shown in FIG. 11, in the management table 1300, the display areas 1111, 1121 are displayed in the actual product display column for the thick plates 1110, 1120, 1130, 1140. Information indicating the contents and positions of the components of the display items displayed in 1131 and 1141 is stored.
  • the column of the parent ID for the thick plate 1110, 1120, 1130, 1140 information indicating the ID of the thick plate 1100 is stored.
  • the case where the information on the thick plate after cutting is managed as a new column (No) in the management table 1300 shown in FIG. 13 is exemplified.
  • the management table 1300 information on the thick plate after cutting is stored in the columns of the actual product display and the non-actual product display.
  • the plank 1110 may be cut to manufacture yet another plurality of planks.
  • information indicating the ID of the plate 1110 is stored in the column of the parent ID for the other plurality of plate plates.
  • Information indicating the ID of the plank 1100 is stored in the column of the parent ID for the plank 1110.
  • the arrangement of the thick plates obtained by tracing the information stored in the column of the parent ID is referred to as a cut plate series of the thick plates.
  • the cutting plate series of the thick plate 1110 is the thick plate 1100 and 1110.
  • the column of the parent ID of each plank for example, not only the information indicating the ID of the latest plank but also the IDs of all the planks belonging to the cut series are shown so that the cut board series can be known. Information may be stored. In this case, any ID defined by the manufacturer is used.
  • the ID of the thick plate carrier is stored in the carrier ID column.
  • the tracking device 1200 may store information indicating the ID of the transport vessel 400, for example, as follows. First, the tracking device 1200 acquires the ID of the plank and the ID of the transport ship 400 (so-called ship number). Then, the tracking device 1200 identifies a column in which information indicating the same ID as the acquired plate ID is stored from the ID column of the management table 1300. Then, the tracking device 1200 stores the information indicating the acquired ID of the transport ship 400 in the column of the carrier ID of the specified row.
  • the first image pickup apparatus 430a, 430b, 430n captures an captured image including a display area 201 by a stencil or a display area by a label 202 and an area in which information indicating an ID of a transport ship 400 is displayed. May be good.
  • the tracking device 1200 may recognize and acquire the ID of the plank and the ID of the transport ship 400 from the captured image.
  • the captured image including the area in which the information indicating the ID of the transport ship 400 is displayed may be imaged next to the captured image including the display area 201 by the stencil or the display area by the label 202.
  • the tracking device 1200 captures an image including an ID recognized from the captured image including the display area 201 by the stencil or the display area by the label 202 and an area in which information indicating the ID of the transport ship 400 is displayed.
  • the ID recognized from the image may be acquired as the ID of the plate and the ID of the transport ship 400.
  • the operator (worker) of the transport ship 400 may input the ID of the plate and the ID of the transport ship 400 into the information processing terminal (tablet terminal or the like) on hand.
  • the information processing terminal transmits the ID of the plank and the ID of the transport ship 400 to the tracking device 1200, so that the tracking device 1200 can use the ID of the plank and the ID of the transport ship 400. And may be obtained.
  • the tracking device 1200 may store information indicating the ID of the transport vehicle 700, for example, as follows. First, the tracking device 1200 acquires the ID of the plank and the ID of the transport vehicle 700 (for example, license plate information). Then, the tracking device 1200 identifies a column in which information indicating the same ID as the acquired plate ID is stored from the ID column of the management table 1300. Then, the tracking device 1200 stores the information indicating the acquired ID of the transport vehicle 700 in the column of the carrier ID of the specified row.
  • the tracking device 1200 acquires the ID of the plank and the ID of the transport vehicle 700 (for example, license plate information). Then, the tracking device 1200 identifies a column in which information indicating the same ID as the acquired plate ID is stored from the ID column of the management table 1300. Then, the tracking device 1200 stores the information indicating the acquired ID of the transport vehicle 700 in the column of the carrier ID of the specified row.
  • the first image pickup apparatus 430o to 430q may capture an captured image including a display area 201 by a stencil or a display area by a label 202 and an area in which information indicating an ID of a transport vehicle 700 is displayed. ..
  • the tracking device 1200 may recognize and acquire the ID of the plank and the ID of the transport vehicle 700 from the captured image.
  • the first image pickup apparatus 430o to 430q captures an image captured by the stencil display area 201 or a label 202, and an image image including an area in which information indicating the ID of the transport vehicle 700 is displayed. You may.
  • the captured image including the area in which the information indicating the ID of the transport vehicle 700 is displayed may be captured next to the captured image including the display area 201 by the stencil or the display area by the label 202.
  • the tracking device 1200 includes an ID recognized from the captured image including the display area 201 by the stencil or the display area by the label 202, and an image capture including an area in which information indicating the ID of the transport vehicle 700 is displayed.
  • the ID recognized from the image may be acquired as the ID of the thick plate and the ID of the transport vehicle 700.
  • the operator (worker) of the transport vehicle 700 may input the ID of the plate and the ID of the transport vehicle 700 into the information processing terminal (tablet terminal or the like) on hand.
  • the information processing terminal transmits the ID of the plank and the ID of the transport vehicle 700 to the tracking device 1200, so that the tracking device 1200 can use the ID of the plank and the ID of the transport vehicle 700. And may be obtained.
  • the data structure of the management table 1300 is also a data structure in which the information stored in each column of the management table 1300 (for example, the position of the article and the registration time) is updated every time the plank is placed in a new position. good. Further, the data structure of the management table 1300 may be a data structure to which information is added. The latter case has the advantage of being able to track the tracking history.
  • FIG. 14 is a diagram showing an example of the position of the stencil in the article and the position of the component of each display item in the display by the stencil.
  • FIG. 14 illustrates a case where the display position shown in FIG. 2 and the content shown in FIG. 3A are displayed by a stencil.
  • the apex 203 shown in FIG. 14 of the eight vertices of the rectangular parallelepiped thick plate, the apex 203 shown in FIG.
  • the xy coordinates with the direction along the vertical direction as the positive direction of the x-axis represent the position in the article of the stencil and the position of the component of each display item by the stencil.
  • the circumscribed circle is determined by the position of the maximum value of the x-axis, the minimum value of the x-axis, the maximum value of the y-axis, and the minimum value of the y-axis.
  • the xy coordinates of the two vertices on the diagonal line are set as the positions in the article of the stencil.
  • FIG. 14 shows that the xy coordinates (Ls10, Ws10) and (Ls11, Ws11) of the two vertices 1401a and 1401b of the circumscribed rectangle are the positions in the article of the stencil.
  • the circumscribed rectangle is assumed to be a rectangle parallel to the coordinate axes (x-axis and y-axis in the example shown in FIG. 14) representing the position inside the article.
  • the xy coordinate of the position of the center of gravity (or the center of gravity) of the component (character, number, symbol, mark) of each display item in the display by the stencil is set as the position of the component.
  • the y-axis coordinates of 5, 6, 3, 4, 9, 7, 7, 0, and 1, which are the components of ID 305 included in the display by the stencil are Ws1, Ws2, Ws3, Ws4, and Ws5, respectively.
  • Ws6, Ws7, Ws8, Ws9 indicating that the x-axis coordinates are all Ls1.
  • the position of each component of each display item displayed by the stencil is represented by xy coordinates.
  • FIG. 15 is a diagram showing an example of the position of the label in the article and the position of the component of each display item in the display by the label.
  • FIG. 15 illustrates a case where labels are displayed at the display positions shown in FIG. 2 and the display contents shown in FIG. 3B.
  • the apex 204 shown in FIG. 2 is set as the origin, and the direction along the width direction of the thick plate from the apex 204 is the positive direction of the y-axis, and the thick plate plate.
  • the yz coordinates with the direction along the thickness direction as the positive direction of the z-axis represent the position in the article of the label and the position of the component of each display item by the label.
  • the label has a rectangular shape.
  • the yz coordinates of the two vertices on the diagonal line are set as the positions in the article of the label.
  • the yz coordinate of the position of the center of gravity (or the center of gravity) of the component of each display item displayed by the label is set as the position of the component.
  • FIG. 15 it is shown that the yz coordinates of the two vertices 1501a and 1501b of the label are the positions in the article of the label.
  • the positions of the components are (Ls1, Ws1), (Ls2, Ws1), (Ls3, Ws1), (Ls4, Ws1), (Ls5). , Ws1), (Ls6, Ws1), (Ls7, Ws1), (Ls8, Ws1), (Ls9, Ws1) are stored.
  • information indicating the content and position of the component of the display item is stored in the other display item column of the actual product display column.
  • the information indicating the position of the component of each display item in the label column is not the xy coordinate but the yz coordinate.
  • the stencil column of the column of the position in the article of the non-actual product display column as information indicating the position of the stencil in the article (Ls10, Ws10),. (Ls11, Ws11) is stored.
  • the label column in the article internal position column Similar to the stencil column in the article internal position column, the label column in the article internal position column also stores information indicating the article internal position of the label. As described above, the information indicating the position of the label in the article is not the xy coordinate but the yz coordinate.
  • the operator may operate the user interface of the tracking device 1200 to input information to be stored in each column of the management table 1300 into the tracking device 1200. Further, the tracking device 1200 may receive information to be stored in each column of the management table 1300 from an external device such as a computer that manages the operation of the factory.
  • the information stored in the actual product display column of the management table 1300 and the information stored in the article internal position and parent ID column in the non-actual product display column may be determined after the display on the plank is performed. For example, it may be set before the marking on the plank is made. Therefore, if the information to be stored in the column is determined before the display on the plate is performed, the tracking device 1200 acquires, for example, the information to be stored in the column as described above. , Stored in each column of the management table 1300.
  • the tracking device 1200 acquires the information to be stored in the column at the timing when the information to be stored in the column is obtained, and stores the information in each column of the management table 1300.
  • the registration time column the date and time when the information stored in the article position column is changed is stored. In this case, the date and time when the plank is placed at the current position is registered in the registration time column.
  • the information is stored in the column of the item only when the information of the item is acquired, and when the information of the item is not acquired, the information of the item is acquired. No information is stored in the field. Further, if the information stored in the article position column is not updated even after a predetermined time has elapsed from the date and time stored in the registration time column, the tracking device 1200 can specify the position of the plate (tracking). It is preferable to determine that the item has been lost and reset the information stored in the column of the article position and the registration time.
  • the tracking device 1200 performs the following when resetting the information stored in the column of the article position and the registration time. That is, the tracking device 1200 is a thick plate in which a date and time later than the date and time described in the column of the registration time to be reset is stored in the column of the registration time, and is stored in the column of the article position to be reset. If there is a thick plate in the same 3D position as the 3D position, it is desirable to give a sign to confirm with an alarm or the like.
  • FIG. 17 is a flowchart illustrating an example of processing of the tracking device 1200 when tracking a thick plate. An example of the function of the tracking device 1200 will be described with reference to FIG.
  • the first image acquisition unit 1201 acquires the first captured image.
  • the first image captured is one of the first image pickup devices 430a to 430y, the first image pickup devices included in the unmanned aerial vehicles 440a to 440c, and the first image pickup device on hand by the operator (worker). It is an image taken by the first image pickup apparatus.
  • the first captured image may be transmitted directly from the first image pickup device to the tracking device 1200, or may be transmitted from the first image pickup device to the tracking device 1200 via the information terminal device.
  • the 17 is performed by any one of the first image pickup device 430a to 430y, the first image pickup device included in the unmanned aerial vehicle 440a to 440c, and the first image pickup device owned by the operator (worker). It is executed every time the captured image captured by one imaging device is received by the tracking device 1200. In the present embodiment, it is assumed that the ID of the first image pickup device that has captured the first captured image and the imaging conditions when the first captured image is captured are transmitted together with the first captured image. ..
  • the first image acquisition unit 1201 acquires, together with the first captured image, the ID of the first image pickup device that captured the first captured image and the imaging conditions when the first captured image is captured. do.
  • the imaging condition includes, among the information set by the imaging apparatus at the time of imaging, information necessary for specifying the position of the display area by the stencil or the display area by the label as described later.
  • the position information of the first image pickup device when the first captured image is captured is the first image pickup. Sent with the image.
  • the unmanned aerial vehicles 440a to 440c can determine the three-dimensional coordinates (xyz coordinates) of the unmanned aerial vehicle using GPS (Global Positioning System), the first unmanned aerial vehicle is provided.
  • the three-dimensional coordinates may be transmitted as the position information of the image pickup device.
  • the first image pickup device 430n attached to the transport ship 400, the first image pickup device 430 g to 430 m attached to the cargo handling device 411, and the first image pickup device 430q attached to the transport vehicle 700 also Similar to the unmanned aerial vehicles 440a to 440c, the position information of the first image pickup device may be transmitted together with the first image pickup image. This also applies to the first image pickup device held by the operator (worker). If the first image pickup device cannot capture a region to be included in the first image pickup image, the image pickup conditions (image pickup direction, angle of view, zoom) of the first image pickup device are prior to the processing of step S1701. Magnification, aperture (F value), etc.) are adjusted.
  • step S1702 the recognition unit 1202 recognizes the components (characters, numbers, symbols, marks) of the display items in the display by the stencil (label) from the first captured image acquired in step S1701. Since the process of recognizing the contents of the components of the display item can be realized by, for example, a technique using a known OCR (Optical character recognition), detailed description thereof will be omitted here.
  • the process of step S1702 may be realized by using a technique using AI (Artificial Intelligence) such as NN (Neural Network) or a technique using a combination of AI and OCR (so-called AI OCR).
  • AI Artificial Intelligence
  • NN Neural Network
  • AI OCR a technique using a combination of AI and OCR
  • the recognition unit 1202 specifies whether the component of the display item is the display by the stencil or the display by the label. For example, the recognition unit 1202 performs edge detection processing based on the first captured image acquired in step S1701, detects the edge of the thick plate, and identifies the region of the thick plate based on the detected result. Then, the recognition unit 1202 determines whether the specified region is the plate surface portion of the thick plate or the side surface (plate thickness) portion of the thick plate. This determination is realized, for example, based on the aspect ratio of the specified area. As a result of this determination, when the specified region is the plate surface portion of the thick plate, the recognition unit 1202 recognizes that the component of the display item is the one displayed by the stencil. On the other hand, when the specified region is the side surface (plate thickness) portion of the plate, the recognition unit 1202 recognizes that the component of the display item is the one displayed by the label.
  • the recognition unit 1202 performs edge detection processing based on the first captured image, and when the region of the rectangular label 202 is detected, the component of the display item is the one displayed by the label. It may be recognized, and if not, it may be recognized that the component of the display item is the one displayed by the stencil. In the present embodiment, for the sake of simplicity, it is assumed that the first captured image includes the display area 201 by the stencil instead of the display area by the label 202 for the thick plate at the uppermost stage. ..
  • the recognition unit 1202 derives the position of the display item. An example of a method in which the first recognition unit 1202 derives the position of the display item will be described. First, the recognition unit 1202 performs edge detection processing based on the first captured image acquired in step S1701 to detect the edge of the thick plate. Then, the recognition unit 1202 detects the origin of the position inside the article (a predetermined position on the plank) in the first captured image.
  • the recognition unit 1202 is, for example, an article in a captured image based on a positional relationship preset as a positional relationship between a display area by a stencil (label) and an origin of a position in an article among eight vertices of a rectangular parallelepiped plate. The apex that is the origin of the inner position (predetermined position on the plank) is derived.
  • the following information may be preset in the tracking device 1200 as the positional relationship between the display area by the stencil (label) and the origin of the position in the article. That is, when the component of the display item displayed by the stencil (label) is viewed so that the top of the component is located on the upper side, the display by the stencil (label) is displayed on the same surface as the display by the stencil (label). Information that the apex located on the lower right side of the article is the origin of the position in the article may be preset in the tracking device 1200.
  • the recognition unit 1202 derives a position based on the origin of the position in the article in the captured image as the position of the component of the display item in the display by the stencil (label).
  • step S1703 the acquisition unit 1203 acquires the information stored in the ID column of the actual product display column in the management table 1300 stored in the storage unit 1207.
  • step S1704 the collating unit 1204 collates the information recognized in step S1702 with the information obtained in step S1703.
  • the collating unit 1204 puts in the ID column of the stencil column of the information obtained in step S1703.
  • the stored information is collated with the information recognized in step S1702.
  • the collating unit 1204 has the ID of the label column of the actual product display column among the information obtained in step S1703.
  • the information stored in the column is collated with the information recognized in step S1702.
  • step S1705 the specifying unit 1205 identifies one plank from the planks managed in the management table 1300 based on the collation result of step S1703. Specifically, the specifying unit 1205 identifies information that matches the information recognized in step S1702 from the information obtained in step S1703.
  • the match means that the information recognized in step S1702 completely matches the content and the order of the components stored in the stencil column of the actual product display column or the ID column of the label column. It means that there is a part that is.
  • the contents of the components of ID 305 and 312 displayed by the stencil or the label are 5, 6, 3, 4, 9, 7, ⁇ , 0, 1, and the order is From the left, the order is 5, 6, 3, 4, 9, 7,-, 0, 1. Therefore, the specifying unit 1205 specifies the information in which 5, 6, 3, 4, 9, 7, ⁇ , 0, and 1 are arranged in this order from the left from the column of the ID managed in the management table 1300. ..
  • step S1702 In the information recognized in step S1702, not only when some of these components are missing, but also when components other than these components are lined up, the information recognized in step S1702 is obtained. , It is assumed that the information does not completely match the contents and the order of the components stored in the stencil column of the actual product display column or the ID column of the label column.
  • step S1706 whether or not the position derivation unit 1206 knows the position of the first image pickup device that has captured the first captured image acquired in step S1701 based on the information acquired in step S1701. Is determined.
  • the first image pickup devices 430a to 430f attached to the garter 412 and the leg structure 413, and the first image pickup device 430o attached to the structure installed at the standby position of the transport vehicle 700.
  • ⁇ 430p the first image pickup device 430r ⁇ 430w attached to the structure installed in the yard in the factory, and the first image pickup device attached to the structure installed in the production line of the factory. It is assumed that the three-dimensional positions of 430x to 430y are known.
  • the ID of the first image pickup device and the position information (three-dimensional coordinates (xyz coordinates)) of the first image pickup device are associated with each other. It is assumed that it is registered in advance in the tracking device 1200.
  • the position derivation unit 1206 acquires in step S1701 when the position information (three-dimensional coordinates) associated with the same ID as the ID of the first image pickup apparatus acquired in step S1701 is registered in the tracking apparatus 1200 in advance. It is determined that the position of the first image pickup device that has captured the first captured image is known, and if not, the position of the first image pickup device that has captured the first captured image acquired in step S1701 is known. It is determined that it is not.
  • step S1707 the position derivation unit 1206 determines whether or not the position information of the first image pickup apparatus that has captured the first captured image is acquired in step S1701. As a result of this determination, if the position information of the first image pickup apparatus that has captured the first captured image is not acquired in step S1701, the process proceeds to step S1712 described later.
  • step S1706 the position of the first image pickup device that captured the first captured image acquired in step S1701 is known, and as a result of the determination in step S1707, the first captured image is captured.
  • step S1708 the position derivation unit 1206 determines whether or not the position in the height direction (z-axis direction) of the display area by the stencil (label) can be specified. A specific example of the case where the position in the height direction (z-axis direction) of the display area by the stencil (label) can be specified will be described later. If, as a result of the determination in step S1708, the position in the height direction (z-axis direction) of the display area by the stencil (label) cannot be specified, the process proceeds to step S1712 described later.
  • step S1709 the position derivation unit 1206 derives the three-dimensional coordinates (xyz coordinates) of the display area by the stencil (label) as the three-dimensional positions of the plank specified in step S1705.
  • step S1710 the storage unit 1207 derives the information stored in the article position column of the non-actual product display column of the management table 1300 as the information for the plank specified in step S1705 in step S1709. Update to the information indicating the three-dimensional position of the plank.
  • the case where the information stored in the column of the article position in the column of the non-actual product display of the management table 1300 is the information display position is exemplified.
  • the information stored in the column of the article position in the column of the non-actual product display of the management table 1300 is the xyz coordinates of the display area by the stencil (label). Therefore, the information display position is a three-dimensional position.
  • the output unit 1208 outputs information indicating the three-dimensional position of the plank specified in step S1705.
  • the output unit 1208 causes the computer display to display information indicating the three-dimensional position of the plank specified in step S1705. Then, the process according to the flowchart of FIG. 17 is completed.
  • FIG. 2 is a diagram illustrating an example of a method of deriving a three-dimensional position of the display area 201 by a stencil.
  • the point P indicates the three-dimensional position of the first image pickup apparatus (the x-y-z coordinates of the point P are (x p , y p , z p )).
  • the three-dimensional position of the first image pickup device is, for example, the central position of the optical system (lens) of the first image pickup device.
  • the z-axis is assumed to be in the direction perpendicular to the surface of the plank (the surface on which the display region 201 formed by the stencil is formed).
  • the y-axis is assumed to be a direction parallel to the direction in which the components of the same display item are arranged in the display area 201 by the stencil.
  • the x-axis is a direction parallel to the direction in which different display items are arranged in the display area 201 by the stencil. Further, it is assumed that the x-axis, y-axis, and z-axis are perpendicular to each other. Further, here, for the sake of simplicity, it is assumed that the width direction of the plank is parallel to the y-axis and the length direction of the plank is parallel to the x-axis.
  • the point S indicates the position of the vertex located on the negative direction side of the x-axis and on the positive direction side of the y-axis among the four vertices of the display area 201 by the stencil (x-of the point S).
  • the yz coordinates are (x s , y s , z s )).
  • the point O is the foot of the perpendicular of the point P (relative to the xy plane) (the intersection of the perpendicular of the point P and the xy plane). In the example shown in FIG. 18, it is assumed that the point O is the origin.
  • the point Q is an intersection of a straight line passing through the point O and parallel to the x-axis and a straight line passing through the point S and parallel to the y-axis.
  • the length H of the line segment OP is a value obtained by subtracting the z coordinate z s of the display area 201 by the stencil from the z coordinate z p of the point P. Therefore, if the z coordinate of the display area 201 by the stencil (the position in the height direction (z-axis direction) of the display area 201 by the stencil) is specified, the length H of the line segment OP can be derived. Since FIG. 18 illustrates the case where the z-coordinate z s of the display area 201 by the stencil is 0 (zero), the length H of the line segment OP is equal to the z-coordinate z p of the point P.
  • the position of the point S in the first captured image is derived, for example, as follows.
  • the position derivation unit 1206 is based on the positions that are the maximum value of the x-axis, the minimum value of the x-axis, the maximum value of the y-axis, and the minimum value of the y-axis among the components of the display item by the stencil recognized in step S1702. Derive a fixed circumscribed rectangle. Then, when the position deriving unit 1206 is viewed so that the top of the component of the display item by the stencil is located on the upper side among the vertices of the circumscribed rectangle derived, for example, the lower left side (the negative direction side of the x-axis and the negative direction side of the x-axis).
  • the position of the apex located on the positive direction side of the y-axis is derived as the position of the point S in the first captured image.
  • the position derivation unit 1206 is viewed so that the top of the component of the display item by the stencil is located on the upper side of the vertices of the rectangular label.
  • the vertex located on the lower left side is derived as the position of the point S in the first captured image.
  • the position of the point Q in the first captured image is a position on a straight line passing through the position of the point S in the first captured image and parallel to the y-axis, and is a horizontal angle of view (image in the y-axis direction) at the time of imaging. It is the position corresponding to the center of the corner).
  • the point Q may be specified, for example, as follows. That is, a laser light is irradiated from the point P with a laser pointer or the like, and a straight line passing through the position of the point S and parallel to the y-axis is formed on the plate surface of the thick plate by the stencil display region 201. Display on the surface.
  • the position derivation unit 1206 may specify the point Q from the first captured image captured in a state where the intersection of the two straight lines displayed by the laser beam is displayed.
  • the direction in which the line segment PQ extends is specified by the straight line connecting the point Q in the first captured image and the center position of the optical system (lens) when the first captured image is captured.
  • ⁇ OPS ( ⁇ )
  • ⁇ OPQ ( ⁇ )
  • the position derivation unit 1206 is the length of the line segment PS and the point PQ based on the measured value of the distance measuring sensor (for example, a TOF (Time-of-Flight) type distance measuring sensor) included in the first image pickup device. Is derived.
  • the distance measuring sensor for example, a TOF (Time-of-Flight) type distance measuring sensor
  • the position derivation unit 1206 includes the angle of the laser beam emitted from the first image pickup device toward the point S and the angle of the laser beam emitted from the first image pickup device toward the point Q.
  • ⁇ OPS ( ⁇ )
  • ⁇ OPQ ( ⁇ )
  • the position derivation unit 1206 is a first image taken in a state where a grid-like laser beam is applied to a region of the plate surface of the thick plate including the surface on which the display region 201 formed by the stencil is formed and the point O.
  • the positions of the display areas 1111, 1121, 1131, and 1141 are also derived in the same manner as the method described with reference to FIG. Further, since the display area 201 by the stencil and the display area by the label 202 differ only in the surface arranged on the plate, the position of the display area by the label 202 is also described with reference to FIG. It can be derived according to. Therefore, the detailed description thereof will be omitted here.
  • step S1708 an example of a case where it is determined that the position of the display area by the stencil (label) in the height direction (z-axis direction) can be specified will be described.
  • the position derivation unit 1206 derives the distance in the height direction (z-axis direction) from the first image pickup apparatus to the display area by the stencil by using a laser range finder. Then, the position derivation unit 1206 sets the position obtained by subtracting the distance from the position in the height direction (z-axis direction) of the first image pickup apparatus to the position in the height direction (z-axis direction) of the display area 201 by the stencil. Derived as.
  • the position derivation unit 1206 has information indicating the position of the plank stored in the column of the article position of the management table 1300 and the thickness stored in the column of the registration time of the management table 1300. Using the information indicating the date and time when the board was placed at the current position, the position in the height direction (z-axis direction) of the display area by the stencil (label) is derived. An example of a method for deriving the position of the display area in the height direction (z-axis direction) by the stencil (label) in this way will be described.
  • the three-dimensional position of the plank stored in the column of the article position of the management table 1300 is referred to as an article position, if necessary. Further, here, for the sake of simplicity, it is assumed that the plank at the bottom of the plurality of stacked planks is placed on the ground.
  • the position derivation unit 1206 is the imaging range (xy coordinates) of the first imaging device that captures the first captured image acquired in step S1701 from a thick plate other than the thick plate specified in step S1705.
  • a plank containing at least a portion thereof is specified based on the article position stored in the management table 1300.
  • step S1705 When deriving the position of the display area 201 by the stencil in the height direction (z-axis direction), the plank specified in step S1705 is at the uppermost stage. Therefore, in step S1705, the position deriving unit 1206 has a plank whose image pickup range (xy coordinates) of the first image pickup apparatus that has captured the first image captured image acquired in step S1701 includes at least a part thereof. Judge that it is under the specified plank. In this case, all the sizes (thicknesses) stored in the management table 1300 as the information of the thick plate under the thick plate specified in step S1705 and the thickness of the thick plate specified in step S1705 are added. The value is the position in the height direction (z-axis direction) of the display area 201 by the stencil.
  • the position deriving unit 1206 has the thickness specified in step S1705 among the planks specified as described above.
  • the plate whose date and time later than the date and time stored in the registration time column of the management table 1300 as the plate information is stored in the registration time column is the plate under the plate specified in step S1705.
  • the value obtained by adding the value of the z-coordinate of the position in the article stored in the management table 1300 is the position in the height direction (z-axis direction) of the display area by the label 202.
  • the position derivation unit 1206 uses the stencil (label) based on the information. ) Can be derived from the position in the height direction (z-axis direction) of the display area.
  • An example of a method for deriving the position of the display area in the height direction (z-axis direction) by the stencil (label) in this way will be described.
  • the position derivation unit 1206 includes a structure in which a scale indicating a position in the height direction (z-axis direction) is displayed in the first captured image, the scale of the structure is displayed from the first captured image. Recognize.
  • the position derivation unit 1206 executes an edge detection process on the first captured image to extract the edge of the object, and extracts the structure from the extracted object. For example, information indicating the outline of an object and information in which the name of the object is associated with each other are registered in advance in the tracking device 1200. In this case, the position derivation unit 1206 may extract the object corresponding to the structure by comparing the edge of the object extracted as described above with the information. Further, the position derivation unit 1206 may extract the structure from the object extracted as described above by using AI (Artificial Intelligence) such as NN (Neural Network).
  • AI Artificial Intelligence
  • NN Neurological Network
  • the position derivation unit 1206 is based on the position of the display area by the stencil (label) in the first captured image and the position of the scale displayed on the structure in the first captured image, based on the stencil (label). ) Derives the position in the height direction (z-axis direction) of the display area.
  • the numbers attached to the scale in the first captured image are recognized by the same method as the method of recognizing the components of the display item by the stencil (label).
  • the position derivation unit 1206 derives the position in the height direction (z-axis direction) of the display region 201 by the stencil by using the second captured image acquired by the second image acquisition unit 1209. You may.
  • a step of acquiring a second captured image by the second image acquisition unit 1209 is added before the timing at which the process of step S1708 is started.
  • the second captured image was captured by a second image pickup device different from the first image pickup device (the image pickup device that captures the area including the display area by the stencil (label)) that captured the first captured image. It is a captured image.
  • the second captured image includes both the first image pickup device that captured the first captured image acquired in step S1701 and the plank specified in step S1705.
  • An example of a method of deriving the position of the display area 201 in the height direction (z-axis direction) by the stencil in this way will be described.
  • FIG. 19 is a diagram illustrating an example of a method of deriving the position of the display area 201 in the height direction (z-axis direction) by the stencil.
  • the point P indicates the position of the first image pickup apparatus (the x-y-z coordinates of the point P are (x p , y p , z p ). ).
  • the z-axis is a direction perpendicular to the surface of the plate (the surface on which the display region 201 formed by the stencil is formed).
  • the y-axis is a direction parallel to the direction in which the components of the same display item are arranged in the display area 201 by the stencil.
  • the x-axis is a direction parallel to the direction in which different display items are arranged in the display area 201 by the stencil. Further, it is assumed that the x-axis, y-axis, and z-axis are perpendicular to each other. Again, for the sake of simplicity, it is assumed that the width direction of the plank is parallel to the y-axis and the length direction of the plank is parallel to the x-axis.
  • the point O' is an intersection of the perpendicular line of the point P (relative to the xy plane) and the plane including the surface of the plank (the surface on which the display region 201 formed by the stencil is formed) (point O'. Corresponds to point O in FIG. 18).
  • the point O is the foot of the perpendicular of the point P (relative to the xy plane) (the intersection of the perpendicular of the point P and the xy plane).
  • the point R indicates the three-dimensional position of the second image pickup apparatus (the x-y-z coordinates of the point R are (x r , y r , z r )).
  • the three-dimensional position of the second image pickup device is, for example, the central position of the optical system (lens) of the second image pickup device.
  • the three-dimensional position of the second image pickup device can be specified by the tracking device 1200.
  • the ID of the second image pickup device and the three-dimensional coordinates (xyz coordinates) of the second image pickup device are associated with each other. It is registered in advance in the tracking device 1200.
  • the second image pickup device has three-dimensional coordinates (xyz coordinates) of the second image pickup device positioned using GPS. And the ID of the second image pickup device.
  • the second image acquisition unit 1209 acquires these information transmitted from the second image pickup apparatus.
  • the point D is the vertex closest to the point R among the vertices of the surface on which the display area 201 formed by the stencil is formed.
  • the point B is a vertex closest to the point R among the vertices of the bottom surface of the bottom plate among the plurality of stacked planks.
  • the direction in which the line segment RP extends is specified by the straight line connecting the point P in the second captured image and the center position of the optical system (lens) when the second captured image is captured.
  • the direction in which the line segment RB extends is specified by the straight line connecting the point B in the second captured image and the center position of the optical system (lens) when the second captured image is captured.
  • the direction in which the line segment RT extends is specified by the straight line connecting the point D in the second captured image and the center position of the optical system (lens) when the second captured image is captured.
  • the position derivation unit 1206 is based on the measured value of the distance measuring sensor (for example, a TOF (Time-of-Flight) type distance measuring sensor) included in the second image pickup device, and the length of the line segment RP (for example).
  • the length of the line segment RD (distance from the point R to the point D) and the length of the line segment RD (distance from the point R to the point P) are derived.
  • the position in the height direction (z-axis direction) of the display area 201 is derived.
  • FIG. 19 illustrates a case where the position of the second image pickup apparatus (point R) in the height direction (z-axis direction) is 0 (zero).
  • the position deriving unit 1206 is not only positioned in the height direction (z-axis direction) of the display area 201 by the stencil, but also in the height direction of the first image pickup device.
  • the position (z p ) in the (z-axis direction) can be derived.
  • the position derivation unit 1206 derives not only the position in the height direction (z-axis direction) but also the position in the x-axis direction (x p ) and the position in the y-axis direction (y p ) of the first image pickup apparatus.
  • x p and y p are derived based on the direction in which the line segment RP extends and yr + the length of the line segment RP ⁇ cos ⁇ P. That is, a vector connecting the points R and P is derived based on the direction in which the line segment RP extends and yr + the length of the line segment RP ⁇ cos ⁇ P.
  • the length of the x-axis component and the length of the y-axis component of the vector are xp and yp .
  • a case where the point P (first image pickup device) is included in the second captured image captured by the second image pickup device has been described as an example.
  • an image captured by at least one image pickup device different from the first image pickup device and the second image pickup device is used.
  • a third image pickup device is arranged in addition to the first image pickup device and the second image pickup device.
  • the third image pickup device includes the point P (first image pickup device) and the point R (second image pickup device) in the image pickup range, and does not include the point D in the image pickup range.
  • a point indicating the position of the third image pickup apparatus is designated as R'not shown.
  • the position derivation unit 1206 derives an elevation angle or a depression angle when the point R and the point P are viewed from the point R'based on the third image captured by the third image pickup device.
  • the image pickup range of the third image pickup device includes the point P (first image pickup device) and does not include the point R (second image pickup device), for example, the point R'(third image pickup device).
  • the fourth image captured by the fourth image pickup device including the image pickup device) and the point R (second image pickup device) may be further used.
  • the point R'( A fifth image captured by the fifth image pickup device including the third image pickup device) and the point P (first image pickup device) may be further used.
  • the position derivation unit 1206 identifies the position of the point P (first image pickup device) by using the sixth image pickup image taken by the sixth image pickup device including the first image pickup device in the image pickup range. You may. In this case, it is assumed that the sixth image pickup device is included in at least one image pickup range of the second image pickup device, the third image pickup device, and the fourth image pickup device. Further, a point indicating the position of the sixth image pickup apparatus is designated as P'not shown. Further, it is assumed that one or both of the position of the point P indicating the position of the first image pickup device and the position of the point P'indicating the position of the sixth image pickup device are predetermined.
  • the calculation is performed using the sixth image pickup device and the point P'instead of the first image pickup device and the point P. Then, for example, based on the result of this calculation, the sixth image, and the position of one or both of the points P and P', the first image pickup device (point P) and the second image pickup device are used.
  • the stencil is used.
  • the position of the display area 201 in the height direction (z-axis direction) can be derived.
  • the third to sixth captured images are acquired by, for example, the second image acquisition unit 1209. However, apart from the second image acquisition unit 1209, a third to sixth image acquisition unit that individually acquires the third to sixth captured images may be used. In this case, in the flowchart of FIG. 17, a step of acquiring a second captured image by the second image acquisition unit 1209 is executed at a timing before the timing at which the process of step S1708 is started.
  • a step of individually acquiring the third to sixth captured images is added at a timing different from the timing of the flow chart. If the position in the height direction (z-axis direction) of the display area by the stencil (label) can be specified without acquiring the second captured image or the like, the second image acquisition unit 1209 Is no longer needed.
  • the position derivation unit 1206 sets the position of the thick plates 1002a and 1002b placed on the transport table 1001 in the height direction (z-axis direction) of the display area 201 by the stencil to the position of the transport table 1001. And the size (thickness) stored in the management table 1300 as the information of the thick plates 1000a and 1002b may be derived. In this case, the position of the transport table 1001 is registered in advance in the tracking device 1200.
  • step S1708 if the position of the display area by the stencil (label) in the height direction (z-axis direction) can be derived in at least one of the above examples, the display area by the stencil (label) can be derived. It is determined that the position in the height direction (z-axis direction) can be specified.
  • the position deriving unit 1206 acquires the three-dimensional position of the plank in the carrier.
  • the carriers are a transport ship 400 and a transport vehicle 700. Therefore, in the present embodiment, the case where the carrier is a transport ship 400 and a transport vehicle 700 will be exemplified.
  • the position derivation section 1206 acquires the ID of the planks and information indicating the three-dimensional position of the planks on the transport ship 400. Then, the position derivation unit 1206 identifies a column in which information indicating the same ID as the acquired plate ID is stored from the ID column of the management table 1300.
  • the position derivation unit 1206 stores information indicating the three-dimensional position of the plank in the acquired transport ship 400 in the column of the article position in the specified row.
  • the operator (worker) of the transport ship 400 may input the ID of the plank and the information indicating the three-dimensional position of the plank on the transport ship 400 into the information processing terminal (tablet terminal or the like) on hand. ..
  • the information processing terminal transmits the ID of the plank and the information indicating the three-dimensional position of the plank in the transport ship 400 to the tracking device 1200, so that the position deriving unit 1206 has the thickness.
  • the ID of the plate and the information indicating the three-dimensional position of the plank on the transport ship 400 may be acquired.
  • the information indicating the three-dimensional position of the plank is, for example, the xyz coordinates of the display area by the stencil (label).
  • the position derivation unit 1206 acquires the ID of the plank and the information indicating the three-dimensional position of the plank in the transport vehicle 700. Then, the position derivation unit 1206 identifies a column in which information indicating the same ID as the acquired plate ID is stored from the ID column of the management table 1300. Then, the position derivation unit 1206 stores information indicating the three-dimensional position of the plank in the acquired transport vehicle 700 in the column of the article position in the specified row. For example, the operator (worker) of the transport vehicle 700 may input the ID of the plank and the information indicating the three-dimensional position of the plank in the transport vehicle 700 into the information processing terminal (tablet terminal or the like) on hand.
  • the information processing terminal tablet terminal or the like
  • the information processing terminal transmits the ID of the plank and the information indicating the three-dimensional position of the plank in the transport vehicle 700 to the tracking device 1200, so that the position derivation unit 1206 is concerned.
  • the ID of the plank and the information indicating the three-dimensional position of the plank in the transport vehicle 700 may be acquired.
  • the information indicating the three-dimensional position of the plank is, for example, the xyz coordinates of the display area by the stencil (label).
  • the carrier By acquiring the three-dimensional position of the planks in the carrier as described above, it is possible to specify the carrier that transports each plank. In addition, the carrier can accurately identify the three-dimensional position of the plank when the plank is being transported.
  • step S1712 if it is determined in step S1708 that the position of the display area in the height direction (z-axis direction) by the stencil (label) cannot be specified, the process of step S1712 is executed. Ru.
  • step S1712 the output unit 1208 outputs information indicating that the three-dimensional position of the plank cannot be specified and the ID of the first image pickup device that has imaged the plank.
  • the output unit 1208 causes the computer display to display information indicating that the three-dimensional position of the thick plate cannot be specified and the ID of the first imaging device that has taken an image of the thick plate.
  • the operator goes to the position where the corresponding first image pickup apparatus exists and identifies the three-dimensional position of the corresponding thick plate. Further, the operator (worker) may specify the three-dimensional position of the corresponding thick plate from the preview image of the corresponding first image pickup apparatus.
  • step S1713 the storage unit 1207 inputs information indicating the three-dimensional position of the plank specified by the operator (worker), and the information indicating the three-dimensional position of the plank is used as information for the plank in the non-actual display column of the management table 1300.
  • the information stored in the article position column is updated with the entered information.
  • the input form of the information indicating the three-dimensional position of the thick plate the input by operating the user interface of the tracking device 1200, the reception of the information transmitted from the external device, and the information stored in the portable storage medium are input. At least one of the reads can be adopted. Then, the process according to the flowchart of FIG. 17 is completed.
  • the tracking device 1200 has a display area in which the information displayed on the thick plate and the information managed by the manufacturer of the thick plate is displayed by the stencil (label).
  • the first captured image of the including area is acquired.
  • the tracking device 1200 derives a three-dimensional position of a display area by a stencil (label) based on the acquired first captured image and the position of the first image pickup device that captured the first captured image.
  • the information indicating the three-dimensional position is stored in the storage medium in association with the ID of the plank. Therefore, for example, when the plank is transported by using various transport devices (transport ship 400, transport vehicle 700, transport table 1001, etc.), or when the worker transports the plank, the storage address is determined.
  • the planks can be tracked even when the planks are placed in an unoccupied place or when the planks are stacked and placed. Therefore, the accuracy of tracking the thick plate can be improved.
  • the tracking device 1200 recognizes the information (ID 305, 312) displayed in the display area by the stencil (label) based on the first captured image. Then, the tracking device 1200 collates the recognized information with the information (ID) stored in the management table 1300, and identifies the plank based on the collated result. Therefore, the thick plate itself to be tracked can be reliably specified based on the first captured image. Therefore, for example, the accuracy of tracking the thick plate can be improved as compared with the case where the three-dimensional position of the thick plate is specified based on the operation of the transport device.
  • the tracking device 1200 acquires a second captured image captured by a second imaging device different from the first imaging device that captured the first captured image.
  • the second captured image includes the first captured image and a plank (targeted for tracking).
  • the tracking device 1200 derives the position of the display area 201 by the stencil in the height direction (z-axis direction) based on the acquired second captured image and the position of the second image pickup device. Then, the tracking device 1200 has a position in the height direction (z-axis direction) of the display area 201 by the stencil, a first captured image, and a position of the first image pickup device that has captured the first captured image.
  • the three-dimensional position of the display area 201 by the stencil is derived as the three-dimensional position of the thick plate. Therefore, even if the first captured image or the sensor included in the first captured image cannot be used to derive the position of the thick plate in the height direction, the thick plate can be tracked.
  • the display by the stencil and the display by the label are human identifiable information. Therefore, it becomes easy for the operator (worker) to manage the actual product. Therefore, the convenience of managing the actual product is improved.
  • the display by the stencil and the display by the label include information (information unique to the thick plate) individually determined for each thick plate. Therefore, the plank can be uniquely identified based on the first captured image. Therefore, the thick plate can be easily and quickly identified.
  • the tracking device 1200 derives three-dimensional coordinates (xyz coordinates) as the position of the display area by the stencil (label). Therefore, for example, even when a plurality of planks are stacked, the planks can be tracked.
  • the method of deriving the position of the display area by the stencil (label) included in the first captured image in step S1709 is not limited to the method described with reference to FIG.
  • the position deriving unit 1206 derives the position of the origin when determining the position in the article in the management table 1300 from the first captured image. Then, the position derivation unit 1206 displays by the stencil (label) included in the first captured image based on the position of the derived origin and the information stored in the column of the position in the article of the management table 1300. Derive the position of the region.
  • An example of a method for deriving the position of the display area by the stencil (label) included in the first captured image in this way will be described by taking the display area 201 by the stencil as an example.
  • FIG. 20 is a diagram illustrating an example of a method of deriving the position of the display area 201 by the stencil.
  • FIG. 20 illustrates a case where the xyz coordinates S (x s , ys s , z s ) of the point S are derived as the position of the display area 201 by the stencil, as in FIG.
  • the position in the article of the stencil has the apex 203 shown in FIG. 2 as the origin, and the direction along the width direction of the plate from the apex 203 is the positive direction of the y-axis and the thickness. It is represented by xy coordinates with the direction along the length direction of the plate as the positive direction of the x-axis.
  • the position of the point E in FIG. 20 is the origin of the position inside the article of the stencil.
  • the point F is a point among the vertices of the plate that is aligned in the width direction (y-axis direction) with respect to the point E (the point E and the point F form one side along the width direction of the plate).
  • the point T is the foot of the perpendicular line of the point P with respect to the line segment EF (the intersection of the perpendicular line of the point P and the line segment EF). Points P and O are the same as those shown in FIG.
  • the length l p of the line segment OT is expressed by the following equation (5).
  • the length w o2 of the line segment ET is expressed by the following equation (6).
  • the length H of the line segment OP is derived as described with reference to FIG.
  • the position of the point T in the first captured image is a position on the line segment EF in the first captured image, and is a position corresponding to the center of the horizontal angle of view (angle of view in the y-axis direction) at the time of imaging.
  • the direction in which the line segment PE extends is specified by the straight line connecting the point E in the first captured image and the center position of the optical system (lens) when the first captured image is captured.
  • the direction in which the line segment PT extends is specified by the straight line connecting the point T in the first captured image and the center position of the optical system (lens) when the first captured image is captured.
  • the length h 2 of the line segment PE is derived by using, for example, a distance measuring sensor (for example, a TOF (Time-of-Flight) type distance measuring sensor) included in the first image pickup apparatus.
  • the length h 2 of the line segment PE may be derived based on the length H of the line segment OP and ⁇ OPE.
  • a person identifies a consumer name 302, a standard 303, a size 304, an ID 305, a consumer code 306, an order number 307, a standard 311, ID 312, a size 313, a delivery date 314, and a consumer code 315. It is preferable that the information is possible because it facilitates the management of the actual product by the operator (worker). However, at least one of the consumer name 302, standard 303, size 304, ID305, consumer code 306, order number 307, standard 311, ID312, size 313, delivery date 314, and consumer code 315 can be a bar code or 2 It may be information converted (encoded) into information that cannot be identified by a person, such as a dimension code.
  • the number of digits of the consumer code may differ between the display by stencil and the display by label, but the consumer code is managed by the manufacturer. Also, regarding the size, all the digits of the dimension may not be shown. Even in such a case, information indicating that the different expressions and description contents have the same meaning is stored in the management table 1300.
  • the xyz coordinates of the display area by the stencil (label) are derived as the three-dimensional position of the display area by the stencil (label) is exemplified.
  • the three-dimensional position of the display area by the stencil (label) is not limited to the xyz coordinates.
  • the three-dimensional position of the display area by the stencil (label) may be a relative three-dimensional position with respect to the position of the first image pickup apparatus. In this case, it is not necessary to use the coordinates (x p , y p , z p ) of the point P indicating the three-dimensional position of the image pickup apparatus.
  • the three-dimensional position of the display area by the stencil (label) is the third even if it is expressed by the xyz coordinate.
  • the relative three-dimensional position with respect to the three-dimensional position of the image pickup apparatus of 1 is shown.
  • the identification information acquisition unit 1210 has a recognition unit 1202, an acquisition unit 1203, a collation unit 1204, and a specific unit 1205 is exemplified.
  • the identification information acquisition unit 1210 has acquired the identification information of the thick plate associated with the three-dimensional position derived by the position derivation unit 1206, it does not necessarily have to be the recognition unit 1202, the acquisition unit 1203, the collation unit 1204, and the identification unit. It is not necessary to have the unit 1205.
  • the identification information acquisition unit 1210 may have, for example, only the recognition unit 1202. Further, the identification information acquisition unit 1210 may have, for example, only the acquisition unit 1203.
  • the identification information acquisition unit 1210 may have, for example, only the recognition unit 1202 and the acquisition unit 1203.
  • the identification information acquisition unit 1210 may acquire the ID recognized by the recognition unit 1202 as the identification information of the plank.
  • the identification information acquisition unit 1210 may not have the acquisition unit 1203, the collation unit 1204, and the specific unit 1205.
  • the identification information acquisition unit 1210 may acquire the ID acquired by the acquisition unit 1203 as the identification information of the plank. In this case, the identification information acquisition unit 1210 may not have the recognition unit 1202, the collation unit 1204, and the specific unit 1205.
  • the identification information acquisition unit 1210 uses the recognition unit 1202 when the plate is specified only from the information recognized by the recognition unit 1202, and the article to be tracked is limited to one in advance. If so, the acquisition unit 1203 may be used. In this case, the identification information acquisition unit 1210 may not have the collation unit 1204 and the specific unit 1205 (may have only the recognition unit 1202 and the acquisition unit 1203).
  • the article is not limited to planks.
  • the article may be a product other than a plank.
  • the article may be a product displaying information controlled by the manufacturer.
  • the product may be, for example, a slab, a billet, a sheet coil, or a steel pipe. Further, it may be an article other than the manufactured product.
  • the article may be, for example, a container.
  • the embodiment of the present invention described above can be realized by executing a program by a computer. Further, a computer-readable recording medium on which the program is recorded and a computer program product such as the program can also be applied as an embodiment of the present invention.
  • the recording medium for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, a ROM, or the like can be used.
  • the embodiment of the present invention may be realized by a PLC (Programmable Logic Controller) or by dedicated hardware such as an ASIC (Application Specific Integrated Circuit).
  • the tracking device 1200 includes a CPU 2101, a main storage device 2102, an auxiliary storage device 2103, a communication circuit 2104, a signal processing circuit 2105, an image processing circuit 2106, an I / F circuit 2107, a user interface 2108, a display 2109, and a bus.
  • a bus has 2110.
  • the CPU 2101 controls the entire tracking device 1200 in an integrated manner.
  • the CPU 2101 uses the main storage device 2102 as a work area to execute a program stored in the auxiliary storage device 2103.
  • the main storage device 2102 temporarily stores the data.
  • the auxiliary storage device 2103 stores various data in addition to the program executed by the CPU 2101.
  • the communication circuit 2104 is a circuit for communicating with the outside of the tracking device 1200.
  • the communication circuit 2104 may perform wireless communication or wired communication with the outside of the tracking device 1200.
  • the signal processing circuit 2105 performs various signal processing on the signal received by the communication circuit 2104 and the signal input according to the control by the CPU 2101.
  • the image processing circuit 2106 performs various image processing on the signal input according to the control by the CPU 2101.
  • the signal subjected to this image processing is output to, for example, the display 2109.
  • the user interface 2108 is a part where the operator gives an instruction to the tracking device 1200.
  • the user interface 2108 includes, for example, buttons, switches, dials, and the like. Further, the user interface 2108 may have a graphical user interface using the display 2109.
  • the display 2109 displays an image based on the signal output from the image processing circuit 2106.
  • the I / F circuit 2107 exchanges data with a device connected to the I / F circuit 2107.
  • FIG. 21 shows a user interface 2108 and a display 2109 as devices connected to the I / F circuit 2107.
  • the device connected to the I / F circuit 2107 is not limited to these.
  • a portable storage medium may be connected to the I / F circuit 2107.
  • at least a part of the user interface 2108 and the display 2109 may be outside the tracking device 1200.
  • the output unit 1208 is realized by using, for example, at least one of a communication circuit 2104 and a signal processing circuit 2105, and an image processing circuit 2106, an I / F circuit 2107, and a display 2109.
  • the CPU 2101, the main storage device 2102, the auxiliary storage device 2103, the signal processing circuit 2105, the image processing circuit 2106, and the I / F circuit 2107 are connected to the bus 2110. Communication between these components takes place via bus 2110. Further, the hardware of the tracking device 1200 is not limited to that shown in FIG. 21 as long as the functions of the tracking device 1200 described above can be realized.
  • the present invention can be used, for example, to track an article.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Warehouses Or Storage Devices (AREA)
  • Image Analysis (AREA)

Abstract

トラッキング装置（１２００）は、第１の撮像画像と、当該第１の撮像画像を撮像した第１の撮像装置の位置と、に基づいて、ステンシル（ラベル）による表示領域の三次元位置を導出し、当該三次元位置を示す情報を、当該厚板の識別情報と関連付けて記憶媒体に記憶する。

Description

トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム
　本発明は、トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラムに関し、特に、物品をトラッキングするために用いて好適なものである。本願は、２０２０年１１月３０日に日本に出願された特願２０２０－１９８０６５号に基づき優先権を主張し、それらの内容を全てここに援用する。
　厚板を始めとする鉄鋼製品等の製造物は、様々な置場を移動する。そこで、製造物をトラッキングすることが行われる。トラッキングとは、対象物の位置を追跡して特定することである。
　特許文献１に記載の技術では、鋼板を降ろしたときの天井クレーンのＸ－Ｙ座標を当該鋼板の鋼板番号と共に登録することにより鋼板のトラッキングを行う。
　また、特許文献２に記載の技術では、起重機の水平および垂直方向への移動並びに荷重検出等の動作に基づいて、定置場所算出プログラムにより、三次元座標により示される鋼材の定置場所を算出し、算出した定置場所を示す定置場所情報を当該鋼材の鋼材識別情報に対応付けて記憶する。
特許第５１０９４５１号公報 特許第３７３４４１９号公報
　しかしながら、特許文献１に記載の技術では、鋼板のトラッキングに用いる情報が天井クレーンのＸ－Ｙ座標である。このため、天井クレーンで搬送することができる範囲でしかトラッキングを行うことができない。また、特許文献１に記載の技術では、天井クレーンのＸ－Ｙ座標からＺ座標を特定することができないので、例えば、複数の鋼板が積み重なる場合に、当該複数の鋼板を正確に特定することができない。
　また、特許文献２に記載の技術では、鋼材の三次元座標が算出される。しかしながら、特許文献１と同様に、起重機で搬送することができる範囲でしかトラッキングを行うことができない。また、特許文献２に記載の技術で算出される鋼材の三次元座標は、定置場所算出プログラムにより算出される定置場所の三次元座標である。従って、特許文献２に記載の技術では、定置場所算出プログラムで予め定められている定置場所でしか、鋼材をトラッキングすることができない。
　実際の製造現場においては、製造物は様々な搬送装置で搬送される。また、搬送装置を用いずに作業員が製造物を搬送することもある。また、置場番地が定められていない置場に製造物が置かれることがある。更に、製造物の置き方も様々である。特許文献１、２に記載の技術では、このような製造物をトラッキングすることが容易ではない。これらの課題は、製造物以外の物品においても同様に存在する。
　本発明は、以上のような問題点に鑑みてなされたものであり、物品のトラッキングの精度を向上させることを目的とする。
　本発明のトラッキング装置は、物品をトラッキングするトラッキング装置であって、前記物品に表示されている表示情報を含む領域の撮像画像を取得する１または２以上の画像取得手段と、前記物品の識別情報を取得する識別情報取得手段と、前記画像取得手段により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出手段と、前記位置導出手段により導出された前記物品における前記情報表示位置を、前記識別情報取得手段により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶手段と、を有することを特徴とする。
　本発明のトラッキング方法は、物品をトラッキングするトラッキング方法であって、前記物品に表示されている表示情報を含む領域の撮像画像を取得する１または２以上の画像取得工程と、前記物品の識別情報を取得する識別情報取得工程と、前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、を有することを特徴とする。
　本発明のトラッキングデータのデータ構造は、物品に表示される表示情報と、前記物品に表示されない非表示情報と、有し、前記非表示情報は、前記表示情報が表示されている三次元位置である情報表示位置を含み、トラッキング装置が、前記物品に表示されている表示情報を含む領域の撮像画像に基づいて、当該物品における前記情報表示位置を導出するために用いられる。
　本発明のプログラムは、物品をトラッキングする処理をコンピュータに実行させるためのプログラムであって、前記物品に表示されている表示情報を含む領域の撮像画像を取得する１または２以上の画像取得工程と、前記物品の識別情報を取得する識別情報取得工程と、前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、をコンピュータに実行させることを特徴とする。
図１は、工場における製品の流れの一例を説明する図である。 図２は、厚板に対する表示領域の一例を示す図である。 図３Ａは、ステンシルによる表示内容の一例を示す図である。 図３Ｂは、ラベルによる表示内容の一例を示す図である。 図４は、輸送船に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。 図５は、厚板が荷役装置で吊り上げられている様子をガータの延設方向（ｙ軸方向）から見た図である。 図６Ａは、厚板の搬送形態の第１の例を示す図である。 図６Ｂは、厚板の搬送形態の第２の例を示す図である。 図６Ｃは、厚板の搬送形態の第３の例を示す図である。 図６Ｄは、厚板の搬送形態の第４の例を示す図である。 図６Ｅは、厚板の搬送形態の第５の例を示す図である。 図７は、輸送車両に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。 図８は、輸送車両に厚板が荷積みされた状態の一例を示す図である。 図９Ａは、工場内の置場に置かれた厚板の様子の第１の例を示す図である。 図９Ｂは、工場内の置場に置かれた厚板の様子の第２の例を示す図である。 図９Ｃは、工場内の置場に置かれた厚板の様子の第３の例を示す図である。 図１０は、生産設備で厚板が処理される様子の一例を示す図である。 図１１は、元の厚板と、切断後の厚板の一例を示す図である。 図１２は、トラッキング装置の機能的な構成の一例を示す図である。 図１３は、管理テーブルの一例を示す図である。 図１４は、ステンシルの物品内位置と、ステンシルによる表示における各表示項目の構成要素の位置の一例を示す図である。 図１５は、ラベルの物品内位置と、ラベルによる表示における各表示項目の構成要素の位置の一例を示す図である。 図１６Ａは、管理テーブルに記憶される情報の第１の例を示す図である。 図１６Ｂは、管理テーブルに記憶される情報の第２の例を示す図である。 図１７は、厚板をトラッキングする際のトラッキング装置の処理の一例を説明するフローチャートである。 図１８は、ステンシルによる表示領域の三次元位置を導出する方法の一例を説明する図である。 図１９は、ステンシルによる表示領域の高さ方向（ｚ軸方向）の位置を導出する方法の一例を説明する図である。 図２０は、ステンシルによる表示領域の三次元位置を導出する方法の変形例を説明する図である。 図２１は、トラッキング装置のハードウェアの構成の一例を示す図である。
　以下、図面を参照しながら、本発明の一実施形態を説明する。
　尚、長さ、位置、大きさ、間隔等、比較対象が同じであることは、厳密に同じである場合の他、発明の主旨を逸脱しない範囲で異なるもの（例えば、設計時に定められる公差の範囲内で異なるもの）も含むものとする。
＜工場の概要＞
　本実施形態では、複数の製鉄所で製造された各種の厚板（例えば厚鋼板）に対して、熱処理や切断等の各種の処理を行う工場を含む場所において、当該厚板をトラッキングする場合を例示する。図１は、本実施形態の適用対象の工場における製品の流れの一例を説明する図である。
　図１において、製鉄所で製造された厚板は輸送船に荷積みされる。その後輸送船は、工場の近くの岸壁に着岸する。厚板は、輸送船から荷下ろしされ、輸送車両（トラック等）に荷積みされる。輸送車両により輸送された厚板は、工場に入荷すると、工場内の置場に置かれる。置場に置かれた厚板は、熱処理や切断（ガス切断）等の処理が施された後、倉庫に置かれる。その後、厚板は、工場から需要家に向けて出荷される。
＜着想＞
　以上のようにして搬送される厚板の位置を、特許文献１、２に記載の技術のように、搬送機器の動作に基づいてトラッキングすると、トラッキングすることができる範囲に制約が生じる。そこで、本発明者らは、現品管理（各厚板の位置の管理）のために、厚板には、当該厚板の製造メーカによって管理されている情報が表示されていることに着目した。このような情報の表示位置をトラッキングすることは、厚板をトラッキングすることと等価である。そして、このような厚板の製造メーカによって管理されている情報を特定することができれば、厚板を識別することができる。本実施形態は、このような思想に基づいてなされたものである。
＜厚板に対して施される表示＞
　図２は、厚板に対する表示領域の一例を示す図である。尚、図２に示すｘ軸、ｙ軸、ｚ軸は、図２と、後述する図３Ａ、図３Ｂ、図１４～図１５、図１８～図２０との向きの関係を示すものであり、図４および図５に示すｘ－ｙ－ｚ座標の向きとは必ずしも対応しない。尚、ｘ－ｙ－ｚ座標は、例えば、世界座標系で表される座標である。
　図２において、表示領域２０１は、ステンシルによる表示領域である。図２に示す例では、ステンシルによる表示領域２０１は、厚板の板面に存在する。尚、図２に示す破線は仮想線であり、実際には表示されない。図２に示す例では、ラベル（サイドラベル）２０２は、厚板の側面（板厚部分）に貼り付けられる。
　図３Ａは、ステンシルによる表示内容の一例を示す図である。尚、前述したように図３Ａに示すｘ－ｙ－ｚ座標は、図２等との向きの関係を示すものである。また、図３Ａに示すｘ－ｙ－ｚ座標において、白丸（〇）の中に黒丸（●）を付している記号は、紙面の奥側から手前側に向かうことを示す。このようなｘ－ｙ－ｚ座標の表記は、その他の図でも同じである。
　図３Ａに示す例では、ステンシルによる表示には、マーク３０１、需要家名３０２、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６、および注文番号３０７が含まれる。
　マーク３０１は、厚板の製造メーカを表すマークである。需要家名３０２は、厚板の需要家（購入者）を示す情報である。規格３０３は、厚板の規格を示す情報である。サイズ３０４は、厚板のサイズ（例えば、厚み×幅×長さ）を示す情報である。ＩＤ３０５は、厚板を一意に識別するための情報であり、図３Ａに示す例では、板番号（厚板の識別番号）である。従って、同じＩＤが異なる厚板に付されることはない。需要家コード３０６は、厚板の製造メーカが需要家から厚板に対して付すことが指定された情報である。注文番号３０７は、需要家からの厚板の注文を識別するための番号の一部である。
　マーク３０１、需要家名３０２、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６、および注文番号３０７は、厚板に対して一般的に表示され得る情報である。尚、ＩＤ３０５以外の情報は、ステンシルによる表示に含まれていなくてもよい。また、前述した情報以外の情報が、ステンシルによる表示に含まれていてもよい。
　尚、例えば、需要家によって、需要家コード３０６の桁数が異なったり、厚板を製造する製鉄所によって規格３０３の表記方法が異なったりする。また、例えば、注文番号３０７は、需要家によって付される場合と付されない場合とがある。また、表示項目の大きさも、厚板を製造する製鉄所によって異なる場合がある。また、ステンシルによる表示領域の位置も、厚板を製造する製鉄所によって異なる場合がある。このように、ステンシルによる表示の内容、位置、および大きさは、厚板を製造する製鉄所および需要家等によって異なる。
　マーク３０１、需要家名３０２、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６、および注文番号３０７は、厚板の製造メーカで管理される情報である。また、マーク３０１、需要家名３０２、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６、および注文番号３０７は、人が識別可能な情報である。人が識別可能な情報とは、人が当該情報を見た場合に当該情報の意味を理解できることを指す。バーコードおよび２次元コードのように、情報の作成および読み取りに、機械によるエンコードおよびデコードが必要となる情報は、人が識別可能な情報ではない。具体的に、マーク３０１、需要家名３０２、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６、および注文番号３０７は、読み取りに機械によるデコードが不要な情報として、文字、数字、および記号の少なくとも１つを含み、読み取りに機械によるデコードが必要な情報を含まない。
　図３Ｂは、ラベルによる表示内容の一例を示す図である。尚、前述したように図３Ｂに示すｘ－ｙ－ｚ座標は、図２等との向きの関係を示すものである。また、図３Ｂに示すｘ－ｙ－ｚ座標において、白丸の中に×を付している記号は、紙面の手前側から奥側に向かう方向を示す。このようなｘ－ｙ－ｚ座標の表記は、その他の図でも同じである。
　図３Ｂに示す例では、ラベルによる表示には、規格３１１、ＩＤ３１２、サイズ３１３、納期３１４、および需要家コード３１５が含まれる。納期３１４は、厚板の納期を示す情報である。規格３１１、ＩＤ３１２、サイズ３１３、需要家コード３１５は、それぞれ、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６と同じものである。尚、ＩＤ３１２以外の情報は、ラベルによる表示に含まれていなくてもよい。また、前述した情報以外の情報が、ラベルによる表示に含まれていてもよい。ラベルによる表示の内容、位置、および大きさも、ステンシルによる表示と同様に、厚板を製造する製鉄所および需要家等によって異なる。
　ただし、同一の厚板に対する同一の表示項目が意味する内容は、ステンシルによる表示と、ラベルによる表示とで同じにする。従って、図３Ａに示すステンシルによる表示と、図３Ｂに示すラベルによる表示とが同じ厚板に対して行われる場合、ステンシルにより表示されるＩＤ３０５と、ラベルにより表示されるＩＤ３１２とは同じ内容を意味するものとなる。また、ステンシルにより表示される規格３０３と、ラベルに表示される規格３１１とは同じ内容を意味するものとなる。サイズ３１３、需要家コード３１５についても、それぞれ、サイズ３０４、需要家コード３０６と同じ内容を意味するものになる。前述したように、規格３０３、ＩＤ３０５、サイズ３０４、および需要家コード３０６は、厚板の製造メーカで管理される情報である。従って、規格３１１、ＩＤ３１２、サイズ３１３、および需要家コード３１５も、厚板の製造メーカで管理される情報である。また、厚板の納期３１４も、厚板の製造メーカで管理される情報である。また、規格３１１、ＩＤ３１２、サイズ３１３、納期３１４、および需要家コード３１５は、人が識別可能な情報である。
　尚、厚板には、以上のような表示の他に、例えば、刻印による表示が施されることがある。
＜厚板の搬送形態＞
<<輸送船による輸送>>
　図４は、輸送船に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。図４では、輸送船４００に対して、ガントリークレーン４１０を用いて厚板を荷積みおよび荷下ろしされる場合を例示する。図５は、厚板４２０が荷役装置４１１で吊り上げられている様子をガータ４１２の延設方向（ｙ軸方向）から見た図である。図４および図５に示すｘ－ｙ－ｚ座標は、図４および図５の向きの関係を示すものである。
　ガントリークレーン４１０は、荷役装置（トロリー等）４１１、ガータ（横行桁）４１２、および脚構造物４１３を有する、荷役装置４１１は、搬送対象物を吊り上げた状態で、ガータ４１２の延設方向（ｙ軸方向）に沿って移動する。図４では、厚板４２０が、荷役装置４１１で吊り上げられ移動する様子を示す。厚板４２０が荷役装置４１１で吊り上げられている様子をガータ４１２の延設方向（ｙ軸方向）から見ると、図５に示すようになる。
　尚、図４および図５では、荷役装置４１１により、１枚の厚板４２０が吊り上げられる様子を例示する。しかしながら、荷役装置４１１による厚板の搬送形態は、このような搬送形態に限定されない。図６Ａ～図６Ｅは、厚板の搬送形態の第１～第５の例を示す図である。図６Ａ～図６Ｅでは、荷役装置４１１をより簡略化して示す。
　図６Ａでは、水平面（ｘ－ｙ平面）方向に２枚の厚板が並べられた状態で荷役装置４１１により同時に搬送されている状態を例示する。図６Ｂでは、荷役装置４１１のtop側（ｘ軸の負の方向側）において１枚の厚板が搬送されている状態を例示する。図６Ｃでは、荷役装置４１１のbottom側（ｘ軸の正の方向側）において１枚の厚板が搬送されている状態を例示する。図６Ｄでは、荷役装置４１１の中央において１枚の厚板が搬送されている状態を例示する。図６Ｅでは、複数枚（２枚）の厚板が積み重ねられた状態で荷役装置４１１により同時に搬送されている状態を例示する。このように、本実施形態では、複数枚の厚板が積み重ねられた状態で同時に搬送されている場合がある。
　以上のように、荷役装置４１１による厚板の搬送形態は限定されない。また、荷役装置４１１による厚板の吊り上げの手法は、マグネットによる磁気吸引力を利用した手法でも、ハッカーを利用した手法でも、その他の手法でもよい。
　ガントリークレーン４１０自体は、公知の技術で説明することができるので、ここでは詳細な説明を省略する。
　製鉄所で製造された厚板は、岸壁に運ばれ、ガントリークレーン４１０で搬送可能な所定の置場に置かれる。図４に示すように複数枚の厚板は、積み重ねられた状態で所定の置場に置かれる場合がある。厚板が１枚ずつ所定の置場に置かれる場合もある。また、図４等では、表記の都合上、複数枚の厚板の厚み（板厚）が同じである場合を例示する。しかしながら、複数枚の厚板の厚みが異なる場合がある。即ち、所定の置場に置かれる厚板の厚み、幅、および長さの少なくとも１つが異なる場合がある。
　図４では、厚板の板面が、厚板が置かれる面と平行となるように複数の厚板を重ねて置く場合を例示する。ただし、厚板を重ねて置く方法は、このような方法に限定されない。例えば、厚板の板面が、厚板が置かれる面と垂直または垂直に近い角度となるように複数の厚板を重ねて置く場合もある。このことは、岸壁の所定の置場以外の位置においても同じである。
　本実施形態では、ガータ４１２および脚構造物４１３に、第１の撮像装置４３０ａ～４３０ｆが取り付けられている。第１の撮像装置４３０ａ～４３０ｆの数および位置は、厚板のステンシルによる表示領域２０１およびラベル２０２による表示領域としてできるだけ多くの厚板の表示領域が撮像されるように設定される。また、荷役装置４１１にも、第１の撮像装置４３０ｇ～４３０ｍが取り付けられている。第１の撮像装置４３０ａ～４３０ｍの数および位置は、第１の撮像装置４３０ａ～４３０ｍの少なくとも１つの撮像装置で、ガントリークレーン４１０により搬送中の厚板４２０のステンシルによる表示領域２０１およびラベル２０２による表示領域の少なくとも一方が可及的に撮像されるように設定される。
　第１の撮像装置４３０ａ～４３０ｍは、撮像条件（撮像方向、画角、ズーム倍率、および絞り（Ｆ値）等）を調整することが可能となっている。当該撮像条件の調整は、オペレータ（作業員）が第１の撮像装置を操作することにより行われても、外部装置からの指示に基づいて自動的に行われてもよい。また、例えば、ガータ４１２に取り付けられる第１の撮像装置４３０ｇ～４３０ｍのうち、搬送中の厚板４２０に近い位置に取り付けられる第１の撮像装置４３０ｉ～４３０ｍは、ファイバースコープカメラであってもよい。ファイバースコープカメラを用いれば、例えば、搬送中の厚板４２０のステンシルによる表示領域２０１およびラベル２０２による表示領域を接写することができる。
　尚、第１の撮像装置によって撮像される撮像画像は、静止画像に限定されず、動画像であってもよい。第１の撮像装置によって撮像される撮像画像が動画像である場合、第１の撮像装置によって撮像された動画像から取り出された画像（すなわち、動画像のフレームの画像）が後述するトラッキング装置１２００で用いられる。このようにする場合、第１の撮像装置によって撮像された動画像から、第１の撮像装置で撮像される被写体にできるだけピントが合った静止画像が取り出されるようにするのが好ましい。このように撮像装置によって撮像される撮像画像が静止画像に限定されないことは、後述する第２の撮像装置～第７の撮像装置においても同じである。
　製鉄所から搬送された厚板は、ガントリークレーン４１０の所定の置場に置かれる。ガントリークレーン４１０の所定の置場に置かれた厚板の、ステンシルによる表示領域２０１を含む領域が、第１の撮像装置４３０ｃ～４３０ｆにより撮像される。オペレータ（作業員）は、ガントリークレーン４１０の操作室にある情報処理端末や、ガントリークレーン４１０のオペレータ（作業員）の手持ちの情報処理端末（タブレット端末等）を操作して、第１の撮像装置４３０ｃ～４３０ｆに対してプレビュー画像の表示指示を行う。第１の撮像装置４３０ｃ～４３０ｆは、プレビュー画像の表示指示に基づいて、プレビュー画像を、当該情報処理端末に送信する。そうすると、当該情報処理端末によりプレビュー画像が表示される。オペレータ（作業員）は、当該情報処理端末を操作して、撮影すべきステンシルによる表示領域が表示されたプレビュー画像を撮像している第１の撮像装置に対して撮像指示を行う。第１の撮像装置４３０ｃ～４３０ｆは、撮像指示を受信すると、ステンシルによる表示領域２０１を含む領域の撮像画像を撮像する。尚、プレビュー画像は、オペレータ（作業員）による確認のために表示されるライブ画像であり、プレビュー画像の表示指示に基づいて表示されるものとする。撮像画像は、プレビュー画像が表示されているときに撮像指示に基づいて撮像される画像であるものとする。また、ここでは、プレビュー画像を表示する場合を例示するが、必ずしもプレビュー画像を表示する必要はない。
　複数枚の厚板が積み重ねられて同時に搬送される場合、下にある厚板については、ステンシルによる表示領域２０１を含む領域を撮像することができない。この場合、ステンシルによる表示領域２０１を含む領域の撮像画像に代えて、ラベル２０２による表示領域を含む領域の撮像画像が撮像される。
　厚板が置かれる位置によっては、ステンシルによる表示領域２０１およびラベル２０２による表示領域が、第１の撮像装置４３０ｃ～４３０ｆの撮像範囲に含まれない場合がある。この場合、オペレータ（作業員）は、第１の撮像装置を備える無人航空機（ドローン）４４０ａ～４４０ｂを操作して、所望の厚板の、ステンシルによる表示領域２０１を含む領域（またはラベル２０２による表示領域を含む領域）の撮像画像を、第１の撮像装置を用いて撮像してもよい。また、オペレータ（作業員）の手持ちの第１の撮像装置により、所望の厚板の、ステンシルによる表示領域２０１を含む領域（またはラベル２０２による表示領域を含む領域）の撮像画像を撮像してもよい。尚、オペレータ（作業員）の手持ちの第１の撮像装置は、例えば、第１の撮像装置を備える情報端末装置（タブレット端末やスマートフォン等）であってもよい。
　尚、前述した第１の撮像装置４３０ｃ～４３０ｆによるプレビュー画像の表示と撮像画像の撮像は、第１の撮像装置４３０ｃ～４３０ｆ以外の第１の撮像装置４３０ａ～４３０ｂ、４３０ｇ～４３０ｗにおいても同様に実行される。また、複数枚の厚板が積み重ねられて同時に搬送される場合に、ラベル２０２による表示領域を含む領域の撮像画像を撮像することは、第１の撮像装置４３０ｃ～４３０ｆ以外の第１の撮像装置４３０ａ～４３０ｂ、４３０ｇ～４３０ｗにおいても同様に実行される。また、ステンシルによる表示領域２０１およびラベル２０２による表示領域が、第１の撮像装置４３０ｃ～４３０ｆの撮像範囲に含まれない場合の撮像の方法は、第１の撮像装置４３０ｃ～４３０ｆ以外の第１の撮像装置４３０ａ～４３０ｂ、４３０ｇ～４３０ｗについても同じである。従って、以下において、第１の撮像装置４３０ｃ～４３０ｆ以外の第１の撮像装置４３０ａ～４３０ｂ、４３０ｇ～４３０ｗについてのこれらの詳細な説明を省略する。
　厚板は、ガントリークレーン４１０の所定の置場に置かれた後、ガントリークレーン４１０により輸送船４００に荷積みされる。複数枚の厚板が積み重ねられた状態で同時に輸送船４００に荷積みされる場合がある。厚板が１枚ずつ輸送船４００に荷積みされる場合もある。また、輸送船４００に荷積みされる厚板の厚み、幅、および長さの少なくとも１つが異なる場合がある。
　ガントリークレーン４１０により搬送中の厚板の、ステンシルによる表示領域２０１を含む領域の撮像画像が、荷役装置４１１に取り付けられている第１の撮像装置４３０ｇ～４３０ｍにより撮像される。
　厚板が輸送船４００に荷積みされると、当該厚板の、ステンシルによる表示領域２０１を含む領域の撮像画像が、ガータ４１２に取り付けられている第１の撮像装置４３０ａ～４３０ｂまたは輸送船４００に取り付けられている第１の撮像装置４３０ｎにより撮像される。輸送船４００に取り付けられている第１の撮像装置４３０ｎも、第１の撮像装置４３０ａ～４３０ｍと同様に、撮像条件（撮像方向、画角、ズーム倍率、および絞り（Ｆ値）等）を調整することが可能となっている。尚、図４では、表記の都合上、輸送船４００に取り付けられる第１の撮像装置の数を１つとしている。しかしながら、輸送船４００には、厚板が置かれる領域が撮像範囲に含まれるように複数の第１の撮像装置が取り付けられている。
　以上のようにして厚板が荷積みされた輸送船４００は、工場の近くの岸壁に着岸する。前述したように輸送船４００から厚板が荷下ろしされる。前述したように本実施形態では、ガントリークレーン４１０を用いて厚板が荷下ろしされる。ガントリークレーン４１０により搬送中の厚板についても、輸送船４００に荷積みする場合と同様にして撮像画像が撮像される。また、ガンドリークレーン４１０により荷下ろしされ、ガンドリークレーン４１０の所定の置場に置かれると、当該厚板についても、製鉄所から搬送されてガントリークレーン４１０の所定の置場に置かれる場合と同様にして撮像画像が撮像される。
<<輸送車両による輸送>>
　ガンドリークレーン４１０の所定の置場に置かれた厚板は、輸送車両に荷積みされる。図７は、輸送車両に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。ガンドリークレーン４１０の所定の置場に置かれた厚板は、不図示のクレーン等を用いて輸送車両７００に荷積みされる。図７に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両７００に荷積みされる場合がある。ただし、厚板が１枚ずつ輸送車両７００に荷積みされる場合もある。また、輸送車両７００に荷積みされる厚板の厚み、幅、および長さの少なくとも１つが異なる場合がある。また、図６Ａ～図６Ｅに示したようにして厚板を搬送して輸送車両７００に荷積みしてもよい。
　図８は、輸送車両７００に厚板が荷積みされた状態の一例を示す図である。輸送車両７００の待機位置に設置されている構造物に第１の撮像装置４３０ｏ～４３０ｐが取り付けられている。第１の撮像装置４３０ｏ～４３０ｐの数および位置は、輸送車両７００に荷積みされた厚板のステンシルによる表示領域２０１およびラベル２０２による表示領域として可及的に多くの厚板の表示領域が撮像されるように設定される。また、輸送車両７００にも第１の撮像装置４３０ｑが取り付けられている。第１の撮像装置４３０ｏ～４３０ｑも、第１の撮像装置４３０ａ～４３０ｍと同様に、撮像条件（撮像方向、画角、ズーム倍率、および絞り（Ｆ値）等）を調整することが可能となっている。
　輸送車両７００に荷積みされた厚板の、ステンシルによる表示領域２０１を含む領域が、第１の撮像装置４３０ｏ～４３０ｑにより撮像される。
<<工場内における搬送>>
　以上のようにして厚板が荷積みされた輸送車両７００が工場に到着すると、輸送車両７００から厚板が荷下ろしされる。輸送車両７００に荷積みされた厚板は、不図示のクレーン等を用いて輸送車両７００から荷下ろしされる。図７に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両７００から荷下ろしされる場合がある。ただし、厚板が１枚ずつ輸送車両７００から荷下ろしされる場合もある。また、輸送車両７００から荷下ろしされる厚板の厚み、幅、および長さの少なくとも１つが異なる場合がある。また、図６Ａ～図６Ｅに示したようにして厚板を搬送して輸送車両７００から荷下ろしされてもよい。尚、輸送船４００からガントリークレーン４１０の所定の置場に厚板を搬送する際に用いる搬送機器（ガントリークレーン４１０）と、輸送車両７００から工場内の置場に厚板を搬送する際に用いる搬送機器（不図示のクレーン等）とは異なる搬送機器である。このように、或る搬送機器で或る置場に搬送された厚板は、当該或る搬送機器とは別の搬送機器で、当該或る搬送機器では搬送することができない別の置場に搬送される場合がある。このことは、工場内の各置場間等のその他の置場間において厚板を搬送する場合においても同じである。
　図９Ａ～図９Ｃは、工場内の置場に置かれた厚板の様子の第１～第３の例を示す図である。工場内の置場に設置されている構造物に第１の撮像装置４３０ｒ～４３０ｗが取り付けられている。図９Ａ～図９Ｃに示すように、厚板は、工場内の置場に様々な態様で置かれる。そこで、第１の撮像装置４３０ｒ～４３０ｗの数および位置は、置場に置かれた厚板のステンシルによる表示領域２０１およびラベル２０２による表示領域として可及的に多くの厚板の表示領域が撮像されるように設定される。第１の撮像装置４３０ｒ～４３０ｗも、第１の撮像装置４３０ａ～４３０ｍと同様に、撮像条件（撮像方向、画角、ズーム倍率、および絞り（Ｆ値）等）を調整することが可能となっている。
　工場内の置場に置かれた厚板の、ステンシルによる表示領域２０１を含む領域が、第１の撮像装置４３０ｒ～４３０ｗにより撮像される。
　厚板が入荷用の置場に置かれると、当該厚板の、ステンシルによる表示領域２０１（またはラベル２０２による表示領域）を含む領域が、前述したように第１の撮像装置４３０ｒ～４３０ｗにより撮像される。
　その後、厚板は、生産設備に搬送される。図１０は、生産設備で厚板が処理される様子の一例を示す図である。図１０において生産設備１０００は、例えば、熱処理を行うための設備、および、ガス切断を行うための設備である。図１０では、搬送ロール１００１を用いて厚板１００２ａ、１００２ｂが搬送される場合を例示する。尚、置場と搬送ロール１００１との間の厚板の搬送は、不図示の搬送装置等を用いることにより実現される。
　工場の生産ラインに設置されている構造物に第１の撮像装置４３０ｘ～４３０ｙが取り付けられている。第１の撮像装置４３０ｘ～４３０ｙの数および位置は、厚板１００２ａ、１００２ｂのステンシルによる表示領域２０１が撮像されるように設定される。第１の撮像装置４３０ｘ～４３０ｙも、第１の撮像装置４３０ａ～４３０ｍと同様に、撮像条件（撮像方向、画角、ズーム倍率、および絞り（Ｆ値）等）を調整することが可能となっている。尚、搬送ロール１００１上を搬送される厚板１００２ａ、１００２ｂは、重ねられることはないものとする。また、搬送ロール１００１上の厚板１００２ａ、１００２ｂの搬送経路は、予め想定される。このため、本実施形態では、第１の撮像装置４３０ｘ～４３０ｙにより、厚板１００２ａ、１００２ｂのステンシルによる表示領域２０１が撮像されないことはないものとする。ただし、第１の撮像装置を備える無人航空機を用いて、厚板１００２ａ、１００２ｂのステンシルによる表示領域２０１を撮像してもよい。尚、図１０において、破線は、搬送ロール１００１上の厚板１００２ａ、１００２ｂの搬送経路を示し、実在するものではない。
　工場内の置場から搬送された厚板１００２ａは、搬送ロール１００１に載せられ、搬送ロール１００１により搬送される。生産設備１０００に入る前に搬送ロール１００１上を搬送中の厚板１００２ａの、ステンシルによる表示領域２０１を含む領域が、第１の撮像装置４３０ｘにより撮像される。また、生産設備１０００において処理が終了して生産設備１０００から出た後に、搬送ロール１００１上を搬送中の厚板１００２ｂの、ステンシルによる表示領域２０１を含む領域が、第１の撮像装置４３０ｙにより撮像される。
　その後、厚板は、倉庫内において、図９Ａ～図９Ｃに例示するような置場に置かれる。前述したように、工場内の置場に置かれた厚板の、ステンシルによる表示領域２０１（またはラベル２０２による表示領域）を含む領域が、第１の撮像装置４３０ｒ～４３０ｗにより撮像される。出荷時においては、厚板は、倉庫から出荷用の置場に移動される。出荷用の置場に置かれた厚板の、ステンシルによる表示領域２０１（またはラベル２０２による表示領域）を含む領域が、第１の撮像装置４３０ｒ～４３０ｗにより撮像される。
　工場内の各置場においても、複数枚の厚板が積み重ねられた状態で置かれる場合がある。厚板が１枚ずつ工場内の各置場に置かれる場合もある。また、工場内の各置場に置かれる厚板の厚み、幅、および長さの少なくとも１つが異なる場合がある。
　図１１は、元の厚板と、切断後の厚板の一例を示す図である。図１１では、厚板１１００が切断されて、厚板１１１０、１１２０、１１３０、１１４０が製造された場合を例示する。このようにして厚板１１１０、１１２０、１１３０、１１４０が製造された後、それぞれの厚板１１１０、１１２０、１１３０、１１４０に対して表示が施される。図１１では、厚板１１１０、１１２０、１１３０、１１４０に対する表示領域１１１１、１１２１、１１３１、１１４１を示す。表示領域１１１１、１１２１、１１３１、１１４１には、厚板１１１０、１１２０、１１３０、１１４０のＩＤを含む情報が表示される。表示領域１１１１、１１２１、１１３１、１１４１には、例えば、ステンシルによる表示が行われる。ステンシルによる表示に加えて、刻印による表示およびラベルによる表示の少なくとも一方を行ってもよい。また、表示領域１１１１、１１２１、１１３１、１１４１における表示は、手書きによる表示であってもよい。
　また、表示領域１１１１、１１２１、１１３１、１１４１に、元の厚板１１００のＩＤが表示されていてもよい。表示領域１１１１、１１２１、１１３１、１１４１には、例えば、ステンシルによる表示が行われる。ただし、表示領域１１１１、１１２１、１１３１、１１４１における表示は、手書きによる表示であってもよい。このことは、表示領域２０１に対する表示や、ラベル２０２による表示についても同じである。以下では、表示領域１１１１、１１２１、１１３１、１１４１は、ステンシルによる表示領域であるものとする。
　厚板１１１０、１１２０、１１３０、１１４０が製造された場合、例えば、オペレータ（作業員）の手持ちの第１の撮像装置により、所望の厚板の、ステンシルによる表示領域１１１１、１１２１、１１３１、１１４１を含む領域の撮像画像を撮像してもよい。尚、オペレータ（作業員）の手持ちの第１の撮像装置は、例えば、第１の撮像装置を備える情報端末装置（タブレット端末やスマートフォン等）であってもよい。また、オペレータ（作業員）は、第１の撮像装置を備える無人航空機を操作して、所望の厚板の、ステンシルによる表示領域１１１１、１１２１、１１３１、１１４１を含む領域の撮像画像を、当該第１の撮像画像により撮像してもよい。
　以上のように本実施形態では、少なくとも、輸送船４００に置かれたときと、輸送船４００から荷下ろしされ輸送車両７００に荷積みされたときと、ガントリークレーン４１０および工場の各置場に置かれたときに、各厚板の、ステンシルによる表示領域２０１、１１１１、１１２１、１１３１、１１４１を含む領域、ラベル２０２による表示領域を含む領域の撮像画像が得られる場合を例示する。
　本実施形態では、以上のようにして撮像される撮像画像を用いて、トラッキング装置により厚板の位置を自動的にトラッキングする。尚、厚板が１枚ずつ搬送される場合には、ステンシルによる表示領域２０１を撮像することができるので、ラベル２０２による表示領域を含む領域の撮像画像は不要になる。以下の説明では、ステンシルによる表示およびラベル２０２による表示を総称する場合、必要に応じて、ステンシル（ラベル）による表示と表記する。また、ステンシルによる表示領域２０１、１１１１、１１２１、１１３１、１１４１およびラベル２０２による表示領域を総称する場合、必要に応じて、ステンシル（ラベル）による表示領域と表記する。
＜トラッキング装置＞
　図１２は、トラッキング装置１２００の機能的な構成の一例を示す図である。トラッキング装置１２００のハードウェアは、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、および各種のインターフェースを備える情報処理装置、または専用のハードウェアを用いることにより実現される。図１３は、トラッキング装置１２００により管理される管理テーブル１３００の一例を示す図である。
　図１２に示すように本実施形態では、トラッキング装置１２００は、第１の画像取得部１２０１と、認識部１２０２と、入手部１２０３と、照合部１２０４と、特定部１２０５と、位置導出部１２０６と、記憶部１２０７と、出力部１２０８と、第２の画像取得部１２０９と、を有する。
　第１の画像取得部１２０１は、ステンシル（ラベル）による表示領域を含む領域の第１の撮像画像を取得する。認識部１２０２は、第１の画像取得部１２０１で取得された第１の撮像画像から、ステンシル（ラベル）による表示における表示項目の構成要素、位置等を認識する。入手部１２０３は、後述する管理テーブル１３００において現品表示の欄のＩＤの欄に記憶されている情報を入手する。照合部１２０４は、認識部１２０２で認識された情報と、入手部１２０３で入手された情報とを照合する。特定部１２０５は、照合部１２０４における照合の結果に基づいて、管理テーブル１３００において管理されている厚板から１つの厚板を特定する。本実施形態では、厚板の識別情報を取得する識別情報取得部１２１０は、認識部１２０２、入手部１２０３、照合部１２０４、および特定部１２０５を有する。位置導出部１２０６は、ステンシル（ラベル）による表示領域のｘ－ｙ－ｚ座標（三次元座標）を、特定部１２０５で特定された厚板の三次元位置として導出する。記憶部１２０７は、当該厚板の三次元位置を示す情報を管理テーブル１３００に記憶する。出力部１２０８は、当該厚板の三次元位置を示す情報を出力する。第２の画像取得部１２０９は、位置導出部１２０６において、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定するための第２の撮像画像を取得する。トラッキング装置１２００の詳細の一例については、図１７のフローチャートを参照しながら後述する。
　図１３において、管理テーブル１３００には、トラッキング装置１２００が厚板をトラッキングするために用いる情報が記憶される。管理テーブル１３００に記憶される情報には、厚板の製造メーカで管理される情報が含まれる。ただし、管理テーブル１３００に記憶される情報の一部は、流通等においても活用できる情報であってもよい。ここで、厚板の製造メーカで管理される情報とは厚板の製造メーカが設定または取得した情報である。厚板の製造メーカで管理される情報には、厚板の製造メーカの従業員であるオペレータが当該情報の意味を理解できる情報が含まれる。より具体的には、厚板の製造メーカで管理される情報は、例えば、厚板の製造メーカによって作成され、管理テーブル１３００に記憶された情報である。本実施形態では、管理テーブル１３００に記憶されている情報が、トラッキングデータの一例であり、管理テーブル１３００に各情報を格納することにより、トラッキングデータのデータ構造の一例が実現される。
　図１３において、同一の列における情報が同一の厚板に対する識別情報になる（同一のＮｏ．の下の欄は、同一の厚板に対する識別情報がそれぞれ記憶される欄になる）。
　図１３において、現品表示の欄には、ステンシル（ラベル）による表示の各表示項目に関する情報が記憶される。非現品表示の欄には、ステンシル（ラベル）による表示の各表示項目に関する情報以外の情報が記憶される。本実施形態では、現品表示の欄に記憶される情報がトラッキングデータに含まれる表示情報の一例であり、非現品表示の欄に記憶される情報がトラッキングデータに含まれる非表示情報の一例である。
　管理テーブル１３００の現品表示の欄に記憶される情報の一例について説明する。
　現品表示の欄において、ステンシルの欄には、ステンシルに関する情報が記憶される。
　ステンシルの欄のＩＤの欄には、ステンシルによる表示に含まれるＩＤ３０５の構成要素の内容および位置を示す情報が記憶される。尚、構成要素とは、文字、数字、記号、マーク等、表示項目を構成する個々の情報を指す。
　ステンシルの欄の需要家名の欄には、ステンシルによる表示に含まれる需要家名３０２の構成要素の内容および位置を示す情報が記憶される。
　ステンシルの欄のサイズの欄には、ステンシルによる表示に含まれるサイズ３０４の構成要素の内容および位置を示す情報が記憶される。
　ステンシルの欄の規格の欄には、ステンシルによる表示に含まれる規格３０３の構成要素の内容および位置を示す情報が記憶される。
　ステンシルの欄の需要家コードの欄には、ステンシルによる表示に含まれる需要家コード３０６の構成要素の内容および位置を示す情報が記憶される。
　ステンシルの欄の注文番号の欄には、ステンシルによる表示に含まれる注文番号３０７の構成要素の内容および位置を示す情報が記憶される。
　以上のステンシルによる表示における表示項目の他に、ステンシルによる表示の表示項目として表示される可能性のある表示項目の内容も、管理テーブル１３００に記憶される。図１３のステンシルの欄の追加情報の欄の下の「・・・」は、このことを示す。また、表示項目自体は追加および／または削除されてもよい。
　現品表示の欄において、ラベルの欄には、ラベルに関する情報が記憶される。
　ラベルの欄のＩＤの欄には、ラベルによる表示に含まれるＩＤ３１２の構成要素の内容および位置を示す情報が記憶される。
　ラベルの欄のサイズの欄には、ラベルによる表示に含まれるサイズ３１３の構成要素の内容および位置を示す情報が記憶される。
　ラベルの欄の規格の欄には、ラベルによる表示に含まれる規格３１１の構成要素の内容および位置を示す情報が記憶される。
　ラベルの欄の納期の欄には、ラベルによる表示に含まれる納期３１４の構成要素の内容および位置を示す情報が記憶される。
　ラベルの欄の需要家コードの欄には、ラベルによる表示に含まれる需要家コード３１５の構成要素の内容および位置を示す情報が記憶される。
　以上のラベルによる表示における表示項目の他に、ラベルによる表示の表示項目として表示される可能性のある表示項目の内容も、管理テーブル１３００に記憶される。図１３のラベルの欄の需要家コードの欄の下の「・・・」は、このことを示す。また、表示項目自体は追加および／または削除されてもよい。
　次に、管理テーブル１３００の非現品表示の欄に記憶される情報の一例について説明する。
　物品内位置の欄には、厚板における所定の位置を原点（基準）とした場合の表示領域の位置を示す情報が記憶される。
　物品内位置の欄のステンシルの欄には、厚板における所定の位置を原点（基準）とした場合の、ステンシルによる表示領域の位置を示す情報が記憶される。
　物品内位置の欄のラベルの欄には、厚板における所定の位置を原点（基準）とした場合の、ラベルによる表示領域の位置を示す情報が記憶される。
　物品位置の欄には、厚板の三次元位置を示す情報が記憶される。物品位置の欄に記憶される情報は、トラッキング装置１２００により特定された厚板の三次元位置を示す情報である。従って、トラッキング装置１２００により特定される同一の厚板の三次元位置は、トラッキングの進行（厚板の移動）に伴い、ｘ座標およびｙ座標だけでなくｚ座標も変わる場合がある。よって、トラッキング装置１２００により特定される同一の厚板の情報表示位置の三次元位置も、トラッキングの進行（厚板の移動）に伴い、ｘ座標およびｙ座標（水平面方向の位置）だけでなくｚ座標（高さ方向の位置）も変わる場合がある。
　登録時刻の欄には、厚板が現在の位置に置かれた日時（日付と時刻とから定まるタイミング）を示す情報が記憶される。
　親ＩＤの欄には、元の厚板のＩＤを示す情報が記憶される。工場において厚板が切断されることがある。元の厚板とは、切断前の厚板を指す。従って、親ＩＤの欄に、元の厚板のＩＤを示す情報が記憶されている場合、当該親ＩＤの欄と同一の列の欄に記憶されている情報は、切断後の厚板に対する情報になる。図１１に示すようにして厚板１１１０、１１２０、１１３０、１１４０が製造された場合、管理テーブル１３００において、当該厚板１１１０、１１２０、１１３０、１１４０に対する現品表示の欄には、表示領域１１１１、１１２１、１１３１、１１４１に表示される表示項目の構成要素の内容および位置を示す情報が記憶される。また、当該厚板１１１０、１１２０、１１３０、１１４０に対する親ＩＤの欄には、厚板１１００のＩＤを示す情報が記憶される。このように、本実施形態では、切断後の厚板の情報については、図１３に示す管理テーブル１３００において、新たな列（Ｎｏ）として管理される場合を例示する。管理テーブル１３００において、現品表示および非現品表示の欄に、切断後の厚板に対する情報が記憶される。
　ここで、例えば、厚板１１１０が切断されて更に別の複数の厚板が製造される場合がある。この場合、当該別の複数の厚板に対する親ＩＤの欄には、厚板１１１０のＩＤを示す情報が記憶される。厚板１１１０に対する親ＩＤの欄には、厚板１１００のＩＤを示す情報が記憶されている。このように、親ＩＤの欄に記憶されている情報をたどることにより、各厚板の変遷を特定することができる。このようにして或る厚板について、親ＩＤの欄に記憶されている情報をたどることにより得られる厚板の並びを、当該厚板の切り板系列と称することとする。例えば、厚板１１１０の切り板系列は、厚板１１００、１１１０となる。また、各厚板の親ＩＤの欄には、例えば、その切り板系列が分かるように、直近の厚板のＩＤを示す情報だけでなく、その切り系列に属する全ての厚板のＩＤを示す情報が記憶されていてもよい。この場合、何れのＩＤも製造メーカにおいて定義されたものが用いられる。
　運搬具ＩＤの欄には、厚板の運搬具のＩＤが記憶される。本実施形態では、運搬具が、輸送船４００および輸送車両７００である場合を例示する。
　厚板が輸送船４００に荷積みされると、トラッキング装置１２００は、例えば、以下のようにして輸送船４００のＩＤを示す情報を記憶してもよい。
　まず、トラッキング装置１２００は、当該厚板のＩＤと当該輸送船４００のＩＤ（いわゆる船番）を取得する。そして、トラッキング装置１２００は、管理テーブル１３００のＩＤの欄から、取得した厚板のＩＤと同じＩＤを示す情報が記憶されている列を特定する。そして、トラッキング装置１２００は、特定した列の運搬具ＩＤの欄に、取得した輸送船４００のＩＤを示す情報を記憶する。
　例えば、第１の撮像装置４３０ａ、４３０ｂ、４３０ｎにより、ステンシルによる表示領域２０１またはラベル２０２による表示領域と、輸送船４００のＩＤを示す情報が表示されている領域とを含む撮像画像を撮像してもよい。このようにする場合、トラッキング装置１２００は、当該撮像画像から、厚板のＩＤと輸送船４００のＩＤとを認識して取得してもよい。
　また、第１の撮像装置４３０ａ、４３０ｂ、４３０ｎにより、ステンシルによる表示領域２０１またはラベル２０２による表示領域を含む撮像画像と、輸送船４００のＩＤを示す情報が表示されている領域を含む撮像画像とを撮像してもよい。例えば、ステンシルによる表示領域２０１またはラベル２０２による表示領域を含む撮像画像の次に、輸送船４００のＩＤを示す情報が表示されている領域を含む撮像画像が撮像されるものとしてもよい。このようにする場合、トラッキング装置１２００は、ステンシルによる表示領域２０１またはラベル２０２による表示領域を含む撮像画像から認識されるＩＤと、輸送船４００のＩＤを示す情報が表示されている領域を含む撮像画像から認識されるＩＤとを、厚板のＩＤと輸送船４００のＩＤとして取得してもよい。
　また、例えば、輸送船４００のオペレータ（作業員）が、手持ちの情報処理端末（タブレット端末等）に厚板のＩＤと輸送船４００のＩＤとを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置１２００に、厚板のＩＤと輸送船４００のＩＤとを送信することで、トラッキング装置１２００が、当該厚板のＩＤと当該輸送船４００のＩＤとを取得してもよい。
　また、厚板が輸送車両７００に荷積みされると、トラッキング装置１２００は、例えば、以下のようにして輸送車両７００のＩＤを示す情報を記憶してもよい。
　まず、トラッキング装置１２００は、当該厚板のＩＤと当該輸送車両７００のＩＤ（例えば、ナンバープレートの情報）を取得する。そして、トラッキング装置１２００は、管理テーブル１３００のＩＤの欄から、取得した厚板のＩＤと同じＩＤを示す情報が記憶されている列を特定する。そして、トラッキング装置１２００は、特定した列の運搬具ＩＤの欄に、取得した輸送車両７００のＩＤを示す情報を記憶する。
　例えば、第１の撮像装置４３０ｏ～４３０ｑにより、ステンシルによる表示領域２０１またはラベル２０２による表示領域と、輸送車両７００のＩＤを示す情報が表示されている領域とを含む撮像画像を撮像してもよい。このようにする場合、トラッキング装置１２００は、当該撮像画像から、厚板のＩＤと輸送車両７００のＩＤとを認識して取得してもよい。
　また、第１の撮像装置４３０ｏ～４３０ｑにより、ステンシルによる表示領域２０１またはラベル２０２による表示領域を含む撮像画像と、輸送車両７００のＩＤを示す情報が表示されている領域を含む撮像画像とを撮像してもよい。例えば、ステンシルによる表示領域２０１またはラベル２０２による表示領域を含む撮像画像の次に、輸送車両７００のＩＤを示す情報が表示されている領域を含む撮像画像が撮像されるものとしてもよい。このようにする場合、トラッキング装置１２００は、ステンシルによる表示領域２０１またはラベル２０２による表示領域を含む撮像画像から認識されるＩＤと、輸送車両７００のＩＤを示す情報が表示されている領域を含む撮像画像から認識されるＩＤとを、厚板のＩＤと輸送車両７００のＩＤとして取得してもよい。
　また、例えば、輸送車両７００のオペレータ（作業員）が、手持ちの情報処理端末（タブレット端末等）に厚板のＩＤと輸送車両７００のＩＤとを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置１２００に、厚板のＩＤと輸送車両７００のＩＤとを送信することで、トラッキング装置１２００が、当該厚板のＩＤと当該輸送車両７００のＩＤとを取得してもよい。
　管理テーブル１３００のデータ構造は、管理テーブル１３００の各欄に記憶される情報（例えば、物品位置および登録時刻）が、厚板が新たな位置に置かれる度に、情報が更新されるデータ構造でもよい。また、管理テーブル１３００のデータ構造は、情報が追加されるデータ構造でもよい。後者の場合、トラッキングの履歴を追うことができる利点を有する。
　次に、管理テーブル１３００の現品表示の欄に記憶される内容と、非現品表示の欄の物品内位置の欄に記憶される内容の一例を、より具体的に説明する。
　図１４は、ステンシルの物品内位置と、ステンシルによる表示における各表示項目の構成要素の位置の一例を示す図である。図１４では、図２に示す表示位置および図３Ａに示す内容で、ステンシルによる表示がなされている場合を例示する。
　図１４では、直方体の厚板の８つの頂点のうち、図２に示す頂点２０３を原点とし、当該頂点２０３から、厚板の幅方向に沿う方向をｙ軸の正の方向、厚板の長さ方向に沿う方向をｘ軸の正の方向とするｘ－ｙ座標で、ステンシルの物品内位置と、ステンシルによる各表示項目の構成要素の位置とを表す。
　本実施形態では、ステンシルによる表示における各表示項目の構成要素の位置のうち、ｘ軸の最大値、ｘ軸の最小値、ｙ軸の最大値、およびｙ軸の最小値となる位置により定まる外接矩形の４つ頂点のうち、対角線上にある２つの頂点のｘ－ｙ座標を、ステンシルの物品内位置とする。図１４では、外接矩形の２つの頂点１４０１ａ、１４０１ｂのｘ－ｙ座標（Ｌｓ１０，Ｗｓ１０）、（Ｌｓ１１，Ｗｓ１１）が、ステンシルの物品内位置であることを示す。尚、ここでは説明を簡単にするため、外接矩形は、物品内位置を表現する座標軸（図１４に示す例ではｘ軸およびｙ軸）に平行な矩形であるものとする。
　また、ステンシルによる表示おける各表示項目の構成要素（文字、数字、記号、マーク）の重心（または図心）の位置のｘ－ｙ座標を、当該構成要素の位置とする。図１４では、ステンシルによる表示に含まれるＩＤ３０５の構成要素である５、６、３、４、９、７、－、０、１のｙ軸座標が、それぞれ、Ｗｓ１、Ｗｓ２、Ｗｓ３、Ｗｓ４、Ｗｓ５、Ｗｓ６、Ｗｓ７、Ｗｓ８、Ｗｓ９であり、ｘ軸座標が、何れもＬｓ１であることを示す。
　以上のようにしてステンシルによる表示の各表示項目の各構成要素の位置がｘ－ｙ座標で表される。
　図１５は、ラベルの物品内位置と、ラベルによる表示における各表示項目の構成要素の位置の一例を示す図である。図１５では、図２に示す表示位置および図３Ｂに示す表示内容で、ラベルによる表示が行われている場合を例示する。
　図１５では、直方体の厚板の８つの頂点のうち、図２に示す頂点２０４を原点とし、当該頂点２０４から、厚板の幅方向に沿う方向をｙ軸の正の方向、厚板の板厚方向に沿う方向をｚ軸の正の方向とするｙ－ｚ座標で、ラベルの物品内位置と、ラベルによる各表示項目の構成要素の位置とを表す。
　本実施形態では、ラベルが矩形状であるものとする。ラベルの４つの頂点のうち、対角線上にある２つの頂点のｙ－ｚ座標を、ラベルの物品内位置とする。また、ラベルによる表示おける各表示項目の構成要素の重心（または図心）の位置のｙ－ｚ座標を、当該構成要素の位置とする。図１５では、ラベルの２つの頂点１５０１ａ、１５０１ｂのｙ－ｚ座標が、ラベルの物品内位置であることを示す。
　前述したように、図１３に示す管理テーブル１３００において、現品表示の欄のステンシルの欄のＩＤの欄には、ステンシルによる表示に含まれるＩＤ３０５の構成要素の内容および位置を示す情報が記憶される。従って、図１６Ａに示すように、図１４に示す例では、現品表示の欄のステンシルの欄のＩＤの欄には、ステンシルによる表示に含まれるＩＤ３０５の構成要素の内容として、「５」、「６」、「３」、「４」、「９」、「７」、「－」、「０」、「１」が記憶される。また、現品表示の欄のステンシルの欄のＩＤの欄には、当該構成要素の位置として、（Ｌｓ１，Ｗｓ１）、（Ｌｓ２，Ｗｓ１）、（Ｌｓ３，Ｗｓ１）、（Ｌｓ４，Ｗｓ１）、（Ｌｓ５，Ｗｓ１）、（Ｌｓ６，Ｗｓ１）、（Ｌｓ７，Ｗｓ１）、（Ｌｓ８，Ｗｓ１）、（Ｌｓ９，Ｗｓ１）が記憶される。
　現品表示の欄のその他の表示項目の欄にも、ステンシルの欄のＩＤの欄と同様に、当該表示項目の構成要素の内容および位置を示す情報が記憶される。尚、ラベルの欄の各表示項目の構成要素の位置を示す情報は、ｘ－ｙ座標ではなく、ｙ－ｚ座標となる。
　また、図１６Ｂに示すように、図１４に示す例では、非現品表示の欄の物品内位置の欄のステンシルの欄には、ステンシルの物品内位置を示す情報として、（Ｌｓ１０，Ｗｓ１０）、（Ｌｓ１１，Ｗｓ１１）が記憶される。
　物品内位置の欄のラベルの欄にも、物品内位置の欄のステンシルの欄と同様に、ラベルの物品内位置を示す情報が記憶される。尚、前述したように、ラベルの物品内位置を示す情報は、ｘ－ｙ座標ではなく、ｙ－ｚ座標となる。
　管理テーブル１３００を作成するに際し、例えば、オペレータは、トラッキング装置１２００のユーザインターフェースを操作して、管理テーブル１３００の各欄に記憶すべき情報を、トラッキング装置１２００に入力してもよい。また、トラッキング装置１２００は、工場の操業を管理するコンピュータ等の外部装置から、管理テーブル１３００の各欄に記憶すべき情報を受信してもよい。
　管理テーブル１３００の現品表示の欄に記憶される情報と、非現品表示の欄の物品内位置および親ＩＤの欄に記憶される情報は、厚板に対する表示が行われた後に定められる場合もあれば、厚板に対する表示が行われる前に定められている場合もある。従って、当該欄に記憶すべき情報が厚板に対する表示が行われる前に定められている場合には、トラッキング装置１２００は、例えば、前述したようにして当該欄に記憶すべき情報を取得して、管理テーブル１３００の各欄に記憶する。
　一方、非現品表示の欄の物品位置および登録時刻の欄に記憶される情報は、厚板に対する表示が行われる前に定めることができない場合がある。従って、トラッキング装置１２００は、例えば、当該欄に記憶すべき情報が得られたタイミングで、当該欄に記憶すべき情報を取得して、管理テーブル１３００の各欄に記憶する。前述したように登録時刻の欄には、物品位置の欄に記憶される情報が変更された日時が記憶される。この場合、厚板が現在の位置に置かれた日時が登録時刻の欄に登録される。
　尚、非現品表示の欄の項目について、当該項目の情報が取得されている場合に限り、当該項目の欄に情報が記憶され、当該項目の情報が取得されていない場合には、当該項目の欄に情報は記憶されない。また、登録時刻の欄に記憶されている日時から所定時間が経過しても物品位置の欄に記憶されている情報が更新されない場合、トラッキング装置１２００は、厚板の位置の特定（トラッキング）が途絶えたと判断し、当該物品位置および登録時刻の欄に記憶されている情報をリセットするのが好ましい。また、同一の位置において、登録時刻の欄に記憶されている日時が早い厚板が、登録時刻の欄に記憶されている日時が遅い厚板よりも先に移動することはない（即ち、板の重なりがある場合、下にある板が突然なくなることはない）。このため、トラッキング装置１２００は、物品位置および登録時刻の欄に記憶されている情報のリセットを実行するに際し、以下のようにするのが好ましい。即ち、トラッキング装置１２００は、リセットする登録時刻の欄に記載されている日時よりも遅い日時が登録時刻の欄に記憶されている厚板であって、リセットする物品位置の欄に記憶されている三次元位置と同じ三次元位置の厚板がある場合、アラーム等で確認をするサインを出すことが望ましい。
　次に、トラッキング装置１２００の機能の一例を説明する。図１７は、厚板をトラッキングする際のトラッキング装置１２００の処理の一例を説明するフローチャートである。図１７を参照しながら、トラッキング装置１２００の機能の一例を説明する。
　図１７のステップＳ１７０１において、第１の画像取得部１２０１は、第１の撮像画像を取得する。第１の撮像画像は、第１の撮像装置４３０ａ～４３０ｙ、無人航空機４４０ａ～４４０ｃが備える第１の撮像装置、およびオペレータ（作業員）の手持ちの第１の撮像装置のうち、何れか１つの第１の撮像装置で撮像された撮像画像である。第１の撮像画像は、第１の撮像装置からトラッキング装置１２００に直接送信されても、情報端末装置を介して第１の撮像装置からトラッキング装置１２００に送信されてもよい。図１７のフローチャートによる処理は、第１の撮像装置４３０ａ～４３０ｙ、無人航空機４４０ａ～４４０ｃが備える第１の撮像装置、およびオペレータ（作業員）の手持ちの第１の撮像装置のうち、何れか１つの撮像装置で撮像された撮像画像がトラッキング装置１２００で受信される度に実行される。本実施形態では、第１の撮像画像を撮像した第１の撮像装置のＩＤと、当該第１の撮像画像を撮像した際の撮像条件とが、第１の撮像画像と共に送信されるものとする。
　第１の画像取得部１２０１は、第１の撮像画像と共に、当該第１の撮像画像を撮像した第１の撮像装置のＩＤと、当該第１の撮像画像を撮像した際の撮像条件とを取得する。撮像条件には、撮像の際に撮像装置で設定される情報のうち、後述するようにしてステンシルによる表示領域またはラベルによる表示領域の位置を特定するために必要となる情報が含まれる。
　また、第１の撮像画像を撮像したときの第１の撮像装置の位置が固定されていない場合、第１の撮像画像を撮像したときの第１の撮像装置の位置情報が、第１の撮像画像と共に送信される。例えば、無人航空機４４０ａ～４４０ｃが、ＧＰＳ（Global Positioning System）を用いて、当該無人航空機の三次元座標（ｘ－ｙ－ｚ座標）を測位することができる場合、当該無人航空機が備える第１の撮像装置の位置情報として、当該三次元座標が送信されるようにしてもよい。輸送船４００に取り付けられている第１の撮像装置４３０ｎ、荷役装置４１１に取り付けられている第１の撮像装置４３０ｇ～４３０ｍ、および輸送車両７００に取り付けられている第１の撮像装置４３０ｑについても、無人航空機４４０ａ～４４０ｃと同様にして、当該第１の撮像装置の位置情報が第１の撮像画像と共に送信されるようにしてもよい。このことは、オペレータ（作業員）の手持ちの第１の撮像装置についても同じである。
　尚、第１の撮像装置が、第１の撮像画像に含めるべき領域を撮像することができない場合、ステップＳ１７０１の処理に先立って、第１の撮像装置の撮像条件（撮像方向、画角、ズーム倍率、および絞り（Ｆ値）等）が調整される。
　次に、ステップＳ１７０２において、認識部１２０２は、ステップＳ１７０１で取得された第１の撮像画像から、ステンシル（ラベル）による表示における表示項目の構成要素（文字、数字、記号、マーク）を認識する。表示項目の構成要素の内容を認識する処理は、例えば、公知のＯＣＲ（Optical character recognition）を用いた技術で実現することができるので、ここでは、その詳細な説明を省略する。尚、ＮＮ（Neural Network）等のＡＩ（Artificial Intelligence）を用いた技術や、ＡＩとＯＣＲとを組み合わせた技術（いわゆるＡＩ ＯＣＲ）を用いて、ステップＳ１７０２の処理を実現してもよい。
　また、認識部１２０２は、表示項目の構成要素が、ステンシルによる表示とラベルによる表示との何れのものであるのかを特定する。例えば、認識部１２０２は、ステップＳ１７０１で取得された第１の撮像画像に基づいてエッジ検出処理を行い、厚板のエッジを検出し、検出した結果に基づいて、厚板の領域を特定する。そして、認識部１２０２は、特定した領域が、厚板の板面部分と厚板の側面（板厚）部分との何れであるかを判定する。この判定は、例えば、特定した領域の縦横比に基づいて実現される。この判定の結果、特定した領域が、厚板の板面部分である場合、認識部１２０２は、表示項目の構成要素が、ステンシルによる表示のものであると認識する。一方、特定した領域が、厚板の側面（板厚）部分である場合、認識部１２０２は、表示項目の構成要素が、ラベルによる表示のものであると認識する。
　また、認識部１２０２は、第１の撮像画像に基づいてエッジ検出処理を行い、矩形状のラベル２０２の領域が検出された場合に、表示項目の構成要素が、ラベルによる表示のものであると認識し、そうでない場合に、表示項目の構成要素が、ステンシルによる表示のものであると認識してもよい。
　尚、本実施形態では、説明を簡単にするために、最上段にある厚板については、第１の撮像画像には、ラベル２０２による表示領域ではなくステンシルによる表示領域２０１が含まれるものとする。
　また、認識部１２０２は、表示項目の位置を導出する。第１の認識部１２０２が表示項目の位置を導出する手法の一例を説明する。まず、認識部１２０２は、ステップＳ１７０１で取得された第１の撮像画像に基づいてエッジ検出処理を行い、厚板のエッジを検出する。そして、認識部１２０２は、第１の撮像画像における物品内位置の原点（厚板における所定の位置）を検出する。認識部１２０２は、例えば、直方体の厚板の８つの頂点のうち、ステンシル（ラベル）による表示領域と物品内位置の原点との位置関係として予め設定された位置関係に基づいて、撮像画像における物品内位置の原点（厚板における所定の位置）となる頂点を導出する。
　ステンシル（ラベル）による表示領域と物品内位置の原点との位置関係として、例えば、以下のような情報がトラッキング装置１２００に予め設定されていてもよい。即ち、ステンシル（ラベル）による表示の表示項目の構成要素を、当該構成要素の頂部が上側に位置するように見た場合に、ステンシル（ラベル）による表示と同一面において、ステンシル（ラベル）による表示の右下側に位置する頂点が、物品内位置の原点であるという情報がトラッキング装置１２００に予め設定されていてもよい。認識部１２０２は、ステンシル（ラベル）による表示における表示項目の構成要素の位置として、撮像画像における物品内位置の原点を基準とする位置を導出する。ステップＳ１７０２の処理が終了すると、ステップＳ１７０３の処理が実行される。
　ステップＳ１７０３において、入手部１２０３は、記憶部１２０７に記憶されている管理テーブル１３００において現品表示の欄のＩＤの欄に記憶されている情報を入手する。
　次に、ステップＳ１７０４において、照合部１２０４は、ステップＳ１７０２において認識された情報と、ステップＳ１７０３において入手された情報とを照合する。ステップＳ１７０２において認識された情報が、ステンシルによる表示の情報であると認識された場合、照合部１２０４は、ステップＳ１７０３において入手された情報のうち、現品表示の欄のステンシルの欄のＩＤの欄に記憶されている情報と、ステップＳ１７０２において認識された情報とを照合する。一方、ステップＳ１７０２において認識された情報が、ラベルによる表示の情報であると認識された場合、照合部１２０４は、ステップＳ１７０３において入手された情報のうち、現品表示の欄のラベルの欄のＩＤの欄に記憶されている情報と、ステップＳ１７０２において認識された情報とを照合する。
　次に、ステップＳ１７０５において、特定部１２０５は、ステップＳ１７０３の照合の結果に基づいて、管理テーブル１３００において管理されている厚板から１つの厚板を特定する。具体的に、特定部１２０５は、ステップＳ１７０３において入手された情報の中から、ステップＳ１７０２において認識された情報と一致する情報を特定する。
　ここで、一致とは、ステップＳ１７０２で認識された情報に、現品表示の欄のステンシルの欄またはラベルの欄のＩＤの欄に記憶されている構成要素と、内容および並び順が完全に一致している部分があることを指す。図３Ａおよび図３Ｂに示す例では、ステンシルまたはラベルにより表示されるＩＤ３０５、３１２の構成要素の内容は、５、６、３、４、９、７、－、０、１であり、並び順は、左から、５、６、３、４、９、７、－、０、１の順である。従って、特定部１２０５は、５、６、３、４、９、７、－、０、１が左からこの順で並んでいる情報を、管理テーブル１３００において管理されているＩＤの欄から特定する。ステップＳ１７０２で認識された情報において、これらの構成要素の一部が欠けている場合だけでなく、これらの構成要素以外の構成要素が並んでいる場合にも、当該ステップＳ１７０２で認識された情報は、現品表示の欄のステンシルの欄またはラベルの欄のＩＤの欄に記憶されている構成要素と、内容および並び順が完全に一致している情報ではないものとする。
　次に、ステップＳ１７０６において、位置導出部１２０６は、ステップＳ１７０１で取得された情報に基づいて、ステップＳ１７０１で取得した第１の撮像画像を撮像した第１の撮像装置の位置が既知であるか否かを判定する。本実施形態では、ガータ４１２および脚構造物４１３に取り付けられている第１の撮像装置４３０ａ～４３０ｆ、輸送車両７００の待機位置に設置されている構造物に取り付けられている第１の撮像装置４３０ｏ～４３０ｐ、工場内の置場に設置されている構造物に取り付けられている第１の撮像装置４３０ｒ～４３０ｗ、および工場の生産ラインに設置されている構造物に取り付けられている第１の撮像装置４３０ｘ～４３０ｙの三次元位置は既知であるものとする。これらの第１の撮像装置のそれぞれについて、第１の撮像装置のＩＤと、当該第１の撮像装置の位置情報（三次元座標（ｘ－ｙ－ｚ座標））と、が相互に関連付けられてトラッキング装置１２００に予め登録されているものとする。位置導出部１２０６は、ステップＳ１７０１で取得された第１の撮像装置のＩＤと同じＩＤと関連付けられている位置情報（三次元座標）がトラッキング装置１２００に予め登録されている場合、ステップＳ１７０１で取得した第１の撮像画像を撮像した第１の撮像装置の位置が既知であると判定し、そうでない場合、ステップＳ１７０１で取得した第１の撮像画像を撮像した第１の撮像装置の位置が既知でないと判定する。
　ステップＳ１７０６の判定の結果、ステップＳ１７０１で取得した第１の撮像画像を撮像した第１の撮像装置の位置が既知でない場合、ステップＳ１７０７の処理が実行される。ステップＳ１７０７において、位置導出部１２０６は、第１の撮像画像を撮像した第１の撮像装置の位置情報をステップＳ１７０１で取得したか否かを判定する。この判定の結果、第１の撮像画像を撮像した第１の撮像装置の位置情報をステップＳ１７０１で取得していない場合、処理は、後述するステップＳ１７１２に進む。
　ステップＳ１７０６の判定の結果、ステップＳ１７０１で取得した第１の撮像画像を撮像した第１の撮像装置の位置が既知である場合と、ステップＳ１７０７の判定の結果、第１の撮像画像を撮像した第１の撮像装置の位置情報をステップＳ１７０１で取得した場合には、ステップＳ１７０８の処理が実行される。ステップＳ１７０８において、位置導出部１２０６は、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができるか否かを判定する。尚、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができる場合の具体例については後述する。ステップＳ１７０８の判定の結果、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができない場合、処理は、後述するステップＳ１７１２に進む。
　一方、ステップＳ１７０８の判定の結果、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができた場合、ステップＳ１７０９の処理が実行される。ステップＳ１７０９において、位置導出部１２０６は、ステンシル（ラベル）による表示領域の三次元座標（ｘ－ｙ－ｚ座標）を、ステップＳ１７０５で特定された厚板の三次元位置として導出する。
　次に、ステップＳ１７１０において、記憶部１２０７は、ステップＳ１７０５で特定された厚板に対する情報として管理テーブル１３００の非現品表示の欄の物品位置の欄に記憶されている情報を、ステップＳ１７０９で導出された厚板の三次元位置を示す情報に更新する。このように本実施形態では、管理テーブル１３００の非現品表示の欄の物品位置の欄に記憶される情報が、情報表示位置である場合を例示する。管理テーブル１３００の非現品表示の欄の物品位置の欄に記憶される情報は、ステンシル（ラベル）による表示領域のｘ－ｙ－ｚ座標である。従って、情報表示位置は、三次元位置である。前述したように、同一の厚板の情報表示位置は、当該厚板の位置の移動に伴い、ｘ座標およびｙ座標だけでなくｚ座標（高さ方向の位置）も変化する。
　次に、ステップＳ１７１１において、出力部１２０８は、ステップＳ１７０５で特定された厚板の三次元位置を示す情報を出力する。例えば、出力部１２０８は、ステップＳ１７０５で特定された厚板の三次元位置を示す情報を、コンピュータディスプレイに表示させる。そして、図１７のフローチャートによる処理が終了する。
　ここで、ステップＳ１７０９においてステンシル（ラベル）による表示領域の三次元位置を導出する方法の一例を、図２に示したステンシルによる表示領域２０１を例に挙げて説明する。図２に示す例では、ステンシルによる表示領域２０１は、厚板の板面の領域のうち、厚板の幅方向（ｙ軸方向）の中央付近の領域であって、厚板の長さ方向の一端側（ｘ軸の負の方向側）の領域にある。本実施形態では、ステンシルによる表示領域２０１の三次元位置が、情報表示位置の一例である。
　図１８は、ステンシルによる表示領域２０１の三次元位置を導出する方法の一例を説明する図である。
　図１８において、点Ｐは、第１の撮像装置の三次元位置を示す（点Ｐのｘ－ｙ－ｚ座標は（ｘｐ，ｙｐ，ｚｐ）である）。第１の撮像装置の三次元位置は、例えば、第１の撮像装置の光学系（レンズ）の中心位置である。図１８に示す例では、ｚ軸は、厚板の表面（ステンシルによる表示領域２０１が形成されている面）に垂直な方向であるものとする。また、ｙ軸は、ステンシルによる表示領域２０１において同一の表示項目の構成要素が並ぶ方向に平行な方向であるものとする。また、ｘ軸は、ステンシルによる表示領域２０１において異なる表示項目が並ぶ方向に平行な方向であるものとする。また、ｘ軸、ｙ軸、ｚ軸は相互に垂直であるものとする。また、ここでは、説明を簡単にするために、厚板の幅方向はｙ軸に平行であり、厚板の長さ方向はｘ軸に平行であるものとする。
　点Ｓは、ステンシルによる表示領域２０１の４つの頂点のうち、ｘ軸の負の方向側に位置し、且つ、ｙ軸の正の方向側に位置する頂点の位置を示す（点Ｓのｘ－ｙ－ｚ座標は（ｘｓ，ｙｓ，ｚｓ）である）。点Ｏは、（ｘ－ｙ平面に対する）点Ｐの垂線の足（点Ｐの垂線とｘ－ｙ平面との交点）である。図１８に示す例では、点Ｏが原点であるものとする。点Ｑは、点Ｏを通り且つｘ軸に平行な直線と、点Ｓを通り且つｙ軸に平行な直線との交点である。
　∠ＯＰＱをβ（ｒａｄ）とし、線分ＯＰの長さ（点Ｏから点Ｐまでの距離）をＨとすると、∠ＯＱＰ（＝η）は、π／２－β（ｒａｄ）であるから、線分ＯＱの長さ（点Ｏから点Ｑまでの距離）Ｌは、以下の（１）式で表される。
　Ｌ＝Ｈｓｉｎβ／ｓｉｎ{（π／２－β）}　・・・（１）
　また、∠ＯＰＳをα（ｒａｄ）とすると、線分ＯＳの長さ（点Ｏから点Ｓまでの長さ）ｌは、以下の（２）式で表される。そして、∠ＳＰＱをδ（ｒａｄ）とすると、（２）式より、線分ＳＱの長さ（点Ｓから点Ｑまでの距離）ｗｙは、以下の（３）式で表される。
　ｌ＝Ｈ／ｔａｎα　・・・（２）
　ｗｙ＝ｌｓｉｎδ＝Ｈｓｉｎδ／ｔａｎα　・・・（３）
　従って、点Ｓのｘ－ｙ－ｚ座標Ｓ（ｘｓ，ｙｓ，ｚｓ）は、以下の（４）式で表される。
　Ｓ（ｘｓ，ｙｓ，ｚｓ）＝（Ｌ，ｗｙ，０）　・・・（４）
　本実施形態では、位置導出部１２０６が、点Ｓのｘ－ｙ－ｚ座標（ｘｓ，ｙｓ，ｚｓ）を、ステンシルによる表示領域２０１の位置として導出する場合を例示する。線分ＯＰの長さＨ、∠ＯＰＱ（＝β）、∠ＯＰＳ（＝α）、および∠ＳＰＱ（＝δ）が定まれば、点Ｓのｘ－ｙ－ｚ座標（ｘｓ，ｙｓ，ｚｓ）が定まる。
　線分ＯＰの長さＨは、点Ｐのｚ座標ｚｐから、ステンシルによる表示領域２０１のｚ座標ｚｓを減算した値である。従って、ステンシルによる表示領域２０１のｚ座標（ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置）が特定されていれば、線分ＯＰの長さＨを導出することができる。尚、図１８では、ステンシルによる表示領域２０１のｚ座標ｚｓが０（ゼロ）である場合を例示するので、線分ＯＰの長さＨは、点Ｐのｚ座標ｚｐに等しい。
　第１の撮像画像における点Ｓの位置は、例えば、以下のようにして導出される。位置導出部１２０６は、ステップＳ１７０２で認識されたステンシルによる表示項目の構成要素のうち、ｘ軸の最大値、ｘ軸の最小値、ｙ軸の最大値、およびｙ軸の最小値となる位置により定まる外接矩形を導出する。そして、位置導出部１２０６は、導出した外接矩形の頂点のうち、ステンシルによる表示項目の構成要素の頂部が上側に位置するように見た場合に、例えば左下側（ｘ軸の負の方向側およびｙ軸の正の方向側）に位置する頂点の位置を、第１の撮像画像における点Ｓの位置として導出する。尚、第１の撮像画像においてラベルによる表示がなされている場合、位置導出部１２０６は、矩形状のラベルの頂点のうち、ステンシルによる表示項目の構成要素の頂部が上側に位置するように見た場合に、例えば左下側に位置する頂点を、第１の撮像画像における点Ｓの位置として導出する。
　第１の撮像画像における点Ｑの位置は、第１の撮像画像における点Ｓの位置を通り且つｙ軸に平行な直線上の位置であって、撮像時の水平画角（ｙ軸方向の画角）の中心に対応する位置となる。尚、点Ｑの特定は、例えば、以下のようにして行ってもよい。即ち、レーザポインタ等で点Ｐからレーザ光を照射して、点Ｓの位置を通り、且つ、ｙ軸に平行な直線を、厚板の板面のうちステンシルによる表示領域２０１が形成されている面に表示する。また、レーザポインタ等で点Ｐからレーザ光を照射して、点Ｏを通り、且つ、ｘ軸に平行な直線を、厚板の板面のうちステンシルによる表示領域２０１が形成されている面に表示する。このようにする場合、レーザ光により表示される２つの直線の交点が点Ｑとなる。従って、位置導出部１２０６は、レーザ光により表示される２つの直線の交点が表示されている状態で撮像された第１の撮像画像から点Ｑを特定してもよい。このようにすれば、点Ｐ、点Ｏ、および点Ｑがｘ－ｚ平面上（ｙ＝０の平面上）にある場合、厚板の板面のうちステンシルによる表示領域２０１が形成されている面がｘ－ｙ平面に対して傾いていても、点Ｑの位置を特定することができる。
　∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）、および∠ＳＰＱ＝∠ＳＯＱ（＝δ）は、例えば、ステップＳ１７０１で取得した第１の撮像画像における点Ｓおよび点Ｑの位置と、当該第１の撮像画像を撮像した際の光学系（レンズ）の中心位置（焦点距離を定めるために使用される光学系の中心位置）と、に基づいて定められる。第１の撮像画像における点Ｓと、第１の撮像画像を撮像した際の光学系（レンズ）の中心位置とを結ぶ直線により、線分ＰＳが延びる方向が特定される。第１の撮像画像における点Ｑと、第１の撮像画像を撮像した際の光学系（レンズ）の中心位置とを結ぶ直線により、線分ＰＱが延びる方向が特定される。∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）、および∠ＳＰＱ＝∠ＳＯＱ（＝δ）は、線分ＰＳが延びる方向と、線分ＰＱが延びる方向と、ｚ軸方向と、に基づいて定められる。
　∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）、および∠ＳＰＱ＝∠ＳＯＱ（＝δ）を導出する方法は、このような方法に限定されない。例えば、位置導出部１２０６は、以下のようにして∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）、および∠ＳＰＱ＝∠ＳＯＱ（＝δ）を導出してもよい。まず、位置導出部１２０６は、第１の撮像装置が備える測距センサ（例えばＴＯＦ（Time-of-Flight）方式の測距センサ）の測定値に基づいて、線分ＰＳおよび点ＰＱの長さを導出する。そして、位置導出部１２０６は、ステンシルによる表示領域２０１が形成されている面がｘ－ｙ平面であり、線分ＱＳがｙ軸方向に延びる直線であるものとして、点Ｓおよび点Ｑの位置を特定する。そして、位置導出部１２０６は、点Ｐ、点Ｓ、点Ｑの位置に基づいて、∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）、および∠ＳＰＱ＝∠ＳＯＱ（＝δ）を導出する。
　また、例えば、位置導出部１２０６は、第１の撮像装置から点Ｓに向けて照射されたレーザ光の角度と、第１の撮像装置から点Ｑに向けて照射されたレーザ光の角度と、第１の撮像装置から点Ｓから点Ｑまでレーザ光が走査されたときの走査角度とに基づいて、∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）、および∠ＳＰＱ＝∠ＳＯＱ（＝δ）を導出してもよい。
　また、位置導出部１２０６は、厚板の板面のうちステンシルによる表示領域２０１が形成されている面と点Ｏとを含む領域に格子状のレーザ光を照射した状態で撮像された第１の撮像画像において格子状に並んでいる矩形の数を計数することにより、∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）、および∠ＳＰＱ＝∠ＳＯＱ（＝δ）を導出してもよい。このようにする場合、１つの矩形のｘ軸方向の長さは、例えば、∠ＯＰＳ（＝α）および∠ＯＰＱ（＝β）が１ｒａｄ変化すると変化するｘ軸方向の長さであり、ｙ軸方向の長さは、例えば、∠ＳＰＱ＝∠ＳＯＱ（＝δ）が１ｒａｄ変化すると変化するｙ軸方向の長さである。点Ｏに対応する位置にある矩形から、点Ｓ、Ｑに対応する矩形までの矩形の数の計数の結果に基づいて、∠ＯＰＳ（＝α）、∠ＯＰＱ（＝β）が導出される。また、点Ｓに対応する位置にある矩形から点Ｑに対応する位置にある矩形までの矩形の数の計数の結果に基づいて、∠ＳＰＱ（＝δ）が導出される。矩形の数の計数は、第１の撮像画像に対する画像処理の結果に基づいて行われる。
　尚、表示領域１１１１、１１２１、１１３１、１１４１の位置についても、図１８を参照しながら説明した手法と同様に導出される。また、ステンシルによる表示領域２０１と、ラベル２０２による表示領域とは、厚板において配置される面が異なるだけであるので、ラベル２０２による表示領域の位置についても、図１８を参照しながら説明した手法に倣って導出することができる。従って、ここでは、その詳細な説明を省略する。
　次に、ステップＳ１７０８において、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができると判定される場合の一例を説明する。
　第１の例として、まず、位置導出部１２０６は、レーザ距離計を用いて第１の撮像装置からステンシルによる表示領域までの高さ方向（ｚ軸方向）の距離を導出する。そして、位置導出部１２０６は、第１の撮像装置の高さ方向（ｚ軸方向）の位置から、当該距離を減算した位置を、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置として導出する。
　第２の例として、位置導出部１２０６は、管理テーブル１３００の物品位置の欄に記憶されている、厚板の位置を示す情報と、管理テーブル１３００の登録時刻の欄に記憶されている、厚板が現在の位置に置かれた日時を示す情報と、を用いて、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を導出する。このようにしてステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を導出する方法の一例を説明する。尚、ここでは、管理テーブル１３００の物品位置の欄に記憶されている、厚板の三次元位置を、必要に応じて、物品位置と称する。また、ここでは、説明を簡単にするため、積み重ねられている複数の厚板のうち最下段にある厚板が地面に置かれているものとする。
　まず、位置導出部１２０６は、ステップＳ１７０５で特定された厚板以外の厚板から、ステップＳ１７０１で取得された第１の撮像画像を撮像した第１の撮像装置の撮像範囲（ｘ－ｙ座標）に少なくとも一部が含まれる厚板を、管理テーブル１３００に記憶されている物品位置に基づいて特定する。
　ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を導出する場合には、ステップＳ１７０５で特定された厚板は最上段にある。従って、位置導出部１２０６は、ステップＳ１７０１で取得された第１の撮像画像を撮像した第１の撮像装置の撮像範囲（ｘ－ｙ座標）に少なくとも一部が含まれる厚板は、ステップＳ１７０５で特定された厚板の下にあると判断する。この場合、ステップＳ１７０５で特定された厚板の下にある厚板の情報として管理テーブル１３００に記憶されているサイズ（厚み）の全てと、ステップＳ１７０５で特定された厚板の厚みとを加算した値が、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置となる。
　一方、ラベルによる表示領域の高さ方向（ｚ軸方向）の位置を導出する場合には、位置導出部１２０６は、前述したようにして特定された厚板のうち、ステップＳ１７０５で特定された厚板の情報として管理テーブル１３００の登録時刻の欄に記憶されている日時よりも遅い日時が登録時刻の欄に記憶されている厚板が、ステップＳ１７０５で特定された厚板の下にある厚板であると判断する。この場合、ステップＳ１７０５で特定された厚板の下にある厚板の情報として管理テーブル１３００に記憶されているサイズ（厚み）の全ての加算値と、ステップＳ１７０５で特定された厚板の情報として管理テーブル１３００に記憶されている物品内位置のｚ座標の値とを加算した値が、ラベル２０２による表示領域の高さ方向（ｚ軸方向）の位置となる。
　第３の例として、第１の撮像画像に高さ方向（ｚ軸方向）を特定することが可能な情報が表示されている場合、位置導出部１２０６は、当該情報に基づいて、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を導出することができる。このようにしてステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を導出する方法の一例を説明する。例えば、位置導出部１２０６は、高さ方向（ｚ軸方向）の位置を示す目盛りが表示された構造物が第１の撮像画像に含まれる場合、第１の撮像画像から当該構造物の当該目盛りを認識する。例えば、位置導出部１２０６は、第１の撮像画像に対してエッジ検出処理を実行してオブジェクトのエッジを抽出し、抽出したオブジェクトから、当該構造物を抽出する。例えば、オブジェクトの輪郭を示す情報と、当該オブジェクトの名称とが相互に関連付けられた情報をトラッキング装置１２００に予め登録しておく。このようにする場合、位置導出部１２０６は、前述したようにして抽出されたオブジェクトのエッジと、当該情報とを比較することにより、当該構造物に対応するオブジェクトを抽出してもよい。また、位置導出部１２０６は、ＮＮ（Neural Network）等のＡＩ（Artificial Intelligence）を用いて、前述したようにして抽出されたオブジェクトから、当該構造物を抽出してもよい。
　そして、位置導出部１２０６は、第１の撮像画像におけるステンシル（ラベル）による表示領域の位置と、第１の撮像画像における当該構造物に表示されている目盛りの位置とに基づいて、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を導出する。尚、第１の撮像画像において目盛りに付されている数字は、ステンシル（ラベル）による表示項目の構成要素を認識する手法と同様の手法で認識される。
　第４の例として、位置導出部１２０６は、第２の画像取得部１２０９で取得される第２の撮像画像を用いて、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を導出してもよい。この場合、図１７のフローチャートにおいて、ステップＳ１７０８の処理が開始されるタイミングよりも前に、第２の画像取得部１２０９により第２の撮像画像を取得するステップが追加される。第２の撮像画像は、第１の撮像画像を撮像した第１の撮像装置（ステンシル（ラベル）による表示領域を含む領域を撮像する撮像装置）とは別の第２の撮像装置で撮像された撮像画像である。第２の撮像画像は、ステップＳ１７０１で取得された第１の撮像画像を撮像した第１の撮像装置と、ステップＳ１７０５で特定される厚板との双方を含む。このようにしてステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を導出する方法の一例を説明する。
　図１９は、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を導出する方法の一例を説明する図である。
　図１９に示す例においても、図１８と同様に、点Ｐは、第１の撮像装置の位置を示す（点Ｐのｘ－ｙ－ｚ座標は（ｘｐ，ｙｐ，ｚｐ）である）。また、ｚ軸は、厚板の表面（ステンシルによる表示領域２０１が形成されている面）に垂直な方向である。また、ｙ軸は、ステンシルによる表示領域２０１において同一の表示項目の構成要素が並ぶ方向に平行な方向である。また、ｘ軸は、ステンシルによる表示領域２０１において異なる表示項目が並ぶ方向に平行な方向である。また、ｘ軸、ｙ軸、ｚ軸は相互に垂直であるものとする。ここでも、説明を簡単にするために、厚板の幅方向はｙ軸に平行であり、厚板の長さ方向はｘ軸に平行であるものとする。
　また、点Ｏ’は、（ｘ－ｙ平面に対する）点Ｐの垂線と、厚板の表面（ステンシルによる表示領域２０１が形成されている面）を含む平面と、の交点である（点Ｏ’は図１８の点Ｏに対応する）。点Ｏは、（ｘ－ｙ平面に対する）点Ｐの垂線の足（点Ｐの垂線とｘ－ｙ平面との交点）である。図１９に示す例では、点Ｏが原点であるものとする。点Ｒは、第２の撮像装置の三次元位置を示す（点Ｒのｘ－ｙ－ｚ座標は（ｘｒ，ｙｒ，ｚｒ）である）。第２の撮像装置の三次元位置は、例えば、第２の撮像装置の光学系（レンズ）の中心位置である。
　第２の撮像装置の三次元位置は、トラッキング装置１２００で特定することが可能であるものとする。例えば、第２の撮像装置の三次元位置が固定である場合、第２の撮像装置のＩＤと、当該第２の撮像装置の三次元座標（ｘ－ｙ－ｚ座標）と、が相互に関連付けられてトラッキング装置１２００に予め登録される。また、第２の撮像装置の三次元位置が固定でない場合、例えば、第２の撮像装置は、ＧＰＳを用いて測位された当該第２の撮像装置の三次元座標（ｘ－ｙ－ｚ座標）と当該第２の撮像装置のＩＤとを送信する。この場合、第２の画像取得部１２０９は、第２の撮像装置から送信されたこれらの情報を取得する。
　図１９に示す例では、説明を簡単にするため、積み重ねられている複数の厚板のうち最下段にある厚板が地面に置かれているものとする。点Ｄは、ステンシルによる表示領域２０１が形成されている面の頂点のうち、点Ｒに最も近い位置にある頂点である。点Ｂは、積み重ねられている複数の厚板のうち最下段にある厚板の底面の頂点のうち、点Ｒに最も近い位置にある頂点である。
　図１９において、∠ＢＲＤ（＝φＢ）および∠ＰＲＯ（＝φＰ）は、例えば、第２の撮像画像における点Ｐ、点Ｂ、および点Ｄの位置と、当該第２の撮像画像を撮像した際の光学系（レンズ）の中心位置（焦点距離を定めるために使用される光学系の中心位置）と、に基づいて定められる。第２の撮像画像における点Ｐと、第２の撮像画像を撮像した際の光学系（レンズ）の中心位置とを結ぶ直線により、線分ＲＰが延びる方向が特定される。第２の撮像画像における点Ｂと、第２の撮像画像を撮像した際の光学系（レンズ）の中心位置とを結ぶ直線により、線分ＲＢが延びる方向が特定される。第２の撮像画像における点Ｄと、第２の撮像画像を撮像した際の光学系（レンズ）の中心位置とを結ぶ直線により、線分ＲＴが延びる方向が特定される。∠ＢＲＤ（＝φＢ）は、線分ＲＢが延びる方向と、線分ＲＤが延びる方向と、に基づいて定められる。∠ＰＲＯ（＝φＰ）は、線分ＲＰが延びる方向と、ｙ軸方向と、に基づいて定められる。
　また、例えば、位置導出部１２０６は、第２の撮像装置が備える測距センサ（例えばＴＯＦ（Time-of-Flight）方式の測距センサ）の測定値に基づいて、線分ＲＰの長さ（点Ｒから点Ｐまでの距離）および線分ＲＤ（点Ｒから点Ｄまでの距離）の長さを導出する。そして、位置導出部１２０６は、第２の撮像装置の高さ方向（ｚ軸方向）の位置（ｚｒ）と、線分ＲＰの長さと、∠ＰＲＯ（＝φＰ）とに基づいて、第１の撮像装置の高さ方向（ｚ軸方向）の位置（ｚｐ）を導出する（ｚｐ＝ｚｒ＋線分ＲＰの長さ×ｓｉｎφＰ）。同様に、位置導出部１２０６は、第２の撮像装置の高さ方向（ｚ軸方向）の位置（ｚｒ）と、線分ＲＤの長さと、∠ＢＲＤ（＝φＢ）に基づいて、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を導出する。
　尚、図１９では、第２の撮像装置（点Ｒ）の高さ方向（ｚ軸方向）の位置が０（ゼロ）である場合を例示する。また、以上のように第２の撮像画像を用いれば、位置導出部１２０６は、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置だけでなく、第１の撮像装置の高さ方向（ｚ軸方向）の位置（ｚｐ）を導出することができる。また、位置導出部１２０６は、高さ方向（ｚ軸方向）の位置だけでなく、第１の撮像装置のｘ軸方向の位置（ｘｐ）およびｙ軸方向の位置（ｙｐ）も導出することができる。例えば、ｘｐ、ｙｐは、線分ＲＰが延びる方向と、ｙｒ＋線分ＲＰの長さ×ｃｏｓφＰとに基づいて導出される。即ち、線分ＲＰが延びる方向と、ｙｒ＋線分ＲＰの長さ×ｃｏｓφＰとに基づいて、点Ｒ、Ｐを結ぶベクトルが導出される。当該ベクトルのｘ軸成分の長さ、ｙ軸成分の長さが、ｘｐ、ｙｐとなる。
　また、ここでは、第２の撮像装置により撮像される第２の撮像画像に点Ｐ（第１の撮像装置）が含まれる場合を例に挙げて説明した。しかしながら、第１の撮像装置（点Ｐ）と第２の撮像装置（点Ｒ）との相対的な位置関係（∠ＰＲＯ（＝φＰ）等）を導出することができれば、必ずしもこのようにする必要はない。このようにする場合、例えば、第１の撮像装置および第２の撮像装置と異なる少なくとも１つの撮像装置で撮像された撮像画像を用いる。このようにする場合の具体例を説明する。まず、第１の撮像装置および第２の撮像装置に加えて第３の撮像装置を配置する。第３の撮像装置は、点Ｐ（第１の撮像装置）および点Ｒ（第２の撮像装置）を撮像範囲に含み、点Ｄを撮像範囲に含まないものとする。また、第３の撮像装置の位置を示す点を不図示のＲ’とする。また、第２の撮像装置の位置を示す点Ｒの位置と第３の撮像装置の位置を示す点Ｒ’の位置との一方または両方が予め定められているものとする。この場合、位置導出部１２０６は、第３の撮像装置により撮像される第３の撮像画像に基づいて、点Ｒ’から点Ｒ、点Ｐを見たときの仰角または俯角を導出する、そして、位置導出部１２０６は、導出した仰角または俯角に基づいて、∠ＰＲＯ（＝φＰ）を導出する。角度、方向、および長さの導出は、図１９を参照しながら説明した手法と同様の手法で実現される。また、第３の撮像装置の撮像範囲に点Ｐ（第１の撮像装置）が含まれ、点Ｒ（第２の撮像装置）が含まれていない場合には、例えば、点Ｒ’（第３の撮像装置）および点Ｒ（第２の撮像装置）を撮像範囲に含む第４の撮像装置により撮像された第４の撮像画像を更に用いればよい。一方、例えば、第３の撮像装置の撮像範囲に点Ｒ（第２の撮像装置）が含まれ、点Ｐ（第１の撮像装置）が含まれていない場合には、例えば、点Ｒ’（第３の撮像装置）および点Ｐ（第１の撮像装置）を撮像範囲に含む第５の撮像装置により撮像された第５の撮像画像を更に用いればよい。
　また、位置導出部１２０６は、点Ｐ（第１の撮像装置）の位置を、第１の撮像装置を撮像範囲に含む第６の撮像装置により撮像される第６の撮像画像を用いて特定してもよい。この場合、第２の撮像装置、第３の撮像装置、および第４の撮像装置の少なくとも１つの撮像範囲に第６の撮像装置が含まれるものとする。また、第６の撮像装置の位置を示す点を不図示のＰ’とする。また、第１の撮像装置の位置を示す点Ｐの位置と第６の撮像装置の位置を示す点Ｐ’の位置との一方または両方が予め定められているものとする。この場合、例えば、前述した説明において、第１の撮像装置および点Ｐに代えて第６の撮像装置および点Ｐ’を用いた計算が行われる。そして、例えば、この計算の結果と、第６の撮像画像と、点Ｐおよび点Ｐ’の一方または両方の位置と、に基づいて、第１の撮像装置（点Ｐ）と第２の撮像装置（点Ｒ）との相対的な位置関係（∠ＰＲＯ（＝φＰ）等）が導出される。
　以上のようにすれば、第２の撮像装置の撮像範囲に第１の撮像装置と厚板との双方を含めるように第２の撮像装置を配置することができない場合であっても、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を導出することができる。尚、第３～第６の撮像画像は、例えば、第２の画像取得部１２０９により取得される。ただし、第２の画像取得部１２０９とは別に、第３～第６の撮像画像を個別に取得する第３～第６の画像取得部を用いてもよい。このようにする場合、図１７のフローチャートにおいて、ステップＳ１７０８の処理が開始されるタイミングよりも前のタイミングであって、第２の画像取得部１２０９により第２の撮像画像を取得するステップが実行されるタイミングとは別のタイミングに、第３～第６の撮像画像を個別に取得するステップが追加される。尚、第２の撮像画像等を取得しなくても、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができる場合には、第２の画像取得部１２０９は不要になる。
　第５の例として、位置導出部１２０６は、搬送テーブル１００１に置かれている厚板１００２ａ、１００２ｂの、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を、搬送テーブル１００１の位置と、厚板１０００ａ、１００２ｂの情報として管理テーブル１３００に記憶されているサイズ（厚み）とに基づいて導出してもよい。このようにする場合、搬送テーブル１００１の位置は、トラッキング装置１２００に予め登録される。
　例えば、以上の例の少なくとも１つの例において、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を導出することができる場合、ステップＳ１７０８において、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができると判定される。
　また、厚板が運搬具にある場合、ステップＳ１７０９において、位置導出部１２０６は、運搬具における厚板の三次元位置を取得する。本実施形態では、運搬具は、輸送船４００および輸送車両７００である。そこで、本実施形態では、運搬具が、輸送船４００および輸送車両７００である場合を例示する。
　例えば、厚板が輸送船４００に荷積みされると、位置導出部１２０６は、当該厚板のＩＤと当該輸送船４００における当該厚板の三次元位置を示す情報とを取得する。そして、位置導出部１２０６は、管理テーブル１３００のＩＤの欄から、取得した厚板のＩＤと同じＩＤを示す情報が記憶されている列を特定する。そして、位置導出部１２０６は、特定した列の物品位置の欄に、取得した輸送船４００における厚板の三次元位置を示す情報を記憶する。例えば、輸送船４００のオペレータ（作業員）が、手持ちの情報処理端末（タブレット端末等）に厚板のＩＤと輸送船４００における当該厚板の三次元位置を示す情報とを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置１２００に、厚板のＩＤと輸送船４００における当該厚板の三次元位置を示す情報とを送信することで、位置導出部１２０６は、当該厚板のＩＤと当該輸送船４００における当該厚板の三次元位置を示す情報とを取得してもよい。厚板の三次元位置を示す情報は、例えば、ステンシル（ラベル）による表示領域のｘ－ｙ－ｚ座標である。
　また、厚板が輸送車両７００に荷積みされると、位置導出部１２０６は、当該厚板のＩＤと当該輸送車両７００における厚板の三次元位置を示す情報とを取得する。そして、位置導出部１２０６は、は、管理テーブル１３００のＩＤの欄から、取得した厚板のＩＤと同じＩＤを示す情報が記憶されている列を特定する。そして、位置導出部１２０６は、特定した列の物品位置の欄に、取得した輸送車両７００における厚板の三次元位置を示す情報を記憶する。例えば、輸送車両７００のオペレータ（作業員）が、手持ちの情報処理端末（タブレット端末等）に厚板のＩＤと輸送車両７００における当該厚板の三次元位置を示す情報とを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置１２００に、厚板のＩＤと当該輸送車両７００における当該厚板の三次元位置を示す情報とを送信することで、位置導出部１２０６は、当該厚板のＩＤと当該輸送車両７００における当該厚板の三次元位置を示す情報とを取得してもよい。厚板の三次元位置を示す情報は、例えば、ステンシル（ラベル）による表示領域のｘ－ｙ－ｚ座標である。
　以上のように運搬具における厚板の三次元位置を取得することにより、各厚板を搬送する運搬具を特定することができる。また、運搬具により厚板が搬送中であるときの厚板の三次元位置を正確に特定することができる。
　図１７の説明に戻り、ステップＳ１７０８において、ステンシル（ラベル）による表示領域の高さ方向（ｚ軸方向）の位置を特定することができないと判定された場合には、ステップＳ１７１２の処理が実行される。ステップＳ１７１２において、出力部１２０８は、厚板の三次元位置を特定することができないことを示す情報と、当該厚板を撮像した第１の撮像装置のＩＤとを出力する。例えば、出力部１２０８は、厚板の三次元位置を特定することができないことを示す情報と、当該厚板を撮像した第１の撮像装置のＩＤとを、コンピュータディスプレイに表示させる。これらの情報が出力されると、オペレータ（作業員）は、該当する第１の撮像装置が存在する位置まで出向き、該当する厚板の三次元位置を特定する。また、オペレータ（作業員）は、該当する第１の撮像装置のプレビュー画像から、該当する厚板の三次元位置を特定してもよい。
　次に、ステップＳ１７１３において、記憶部１２０７は、オペレータ（作業員）により特定された厚板の三次元位置を示す情報を入力し、当該厚板に対する情報として管理テーブル１３００の非現品表示の欄の物品位置の欄に記憶されている情報を、当該入力した情報に更新する。尚、厚板の三次元位置を示す情報の入力の形態として、トラッキング装置１２００のユーザインターフェースの操作による入力、外部装置から送信された情報の受信、および可搬型の記憶媒体に記憶された情報の読み出しのうち、少なくとも１つを採用することができる。そして、図１７のフローチャートによる処理が終了する。
＜まとめ＞
　以上のように本実施形態では、トラッキング装置１２００は、厚板に表示されている情報であって、当該厚板の製造メーカによって管理されている情報がステンシル（ラベル）により表示された表示領域を含む領域の第１の撮像画像を取得する。トラッキング装置１２００は、当該取得した第１の撮像画像と、当該第１の撮像画像を撮像した第１の撮像装置の位置と、に基づいて、ステンシル（ラベル）による表示領域の三次元位置を導出し、当該三次元位置を示す情報を、当該厚板のＩＤと関連付けて記憶媒体に記憶する。従って、例えば、各種の搬送装置（輸送船４００、輸送車両７００、搬送テーブル１００１等）を用いて厚板を搬送したり、厚板を作業員が搬送したりする場合や、置場番地が定められていない置場に厚板が置かれる場合や、厚板が積み重ねられて置かれる場合であっても、厚板をトラッキングすることができる。よって、厚板のトラッキングの精度を向上させることができる。
　また、本実施形態では、トラッキング装置１２００は、第１の撮像画像に基づいて、ステンシル（ラベル）による表示領域に表示されている情報（ＩＤ３０５、３１２）を認識する。そして、トラッキング装置１２００は、認識した情報と、管理テーブル１３００に記憶されている情報（ＩＤ）とを照合し、照合した結果に基づいて、厚板を特定する。従って、トラッキングの対象となる厚板そのものを、第１の撮像画像に基づいて確実に特定することができる。よって、例えば、搬送機器の動作に基づいて、厚板の三次元位置を特定する場合に比べ、厚板のトラッキングの精度を向上させることができる。
　また、本実施形態では、トラッキング装置１２００は、第１の撮像画像を撮像した第１の撮像装置と異なる第２の撮像装置により撮像された第２の撮像画像を取得する。第２の撮像画像には、第１の撮像画像と、（トラッキングの対象となる）厚板とが含まれる。トラッキング装置１２００は、当該取得した第２の撮像画像と、第２の撮像装置の位置と、に基づいて、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置を導出する。そして、トラッキング装置１２００は、ステンシルによる表示領域２０１の高さ方向（ｚ軸方向）の位置と、第１の撮像画像と、当該第１の撮像画像を撮像した第１の撮像装置の位置と、に基づいて、ステンシルによる表示領域２０１の三次元位置を、厚板の三次元位置として導出する。従って、第１の撮像画像や第１の撮像画像が備えるセンサを用いても、厚板の高さ方向の位置を導出することができない場合でも、厚板をトラッキングすることができる。
　また、本実施形態では、ステンシルによる表示およびラベルによる表示を、人が識別可能な情報とする。従って、オペレータ（作業員）による現品管理が容易になる。よって、現品管理の利便性が向上する。
　また、本実施形態では、ステンシルによる表示およびラベルによる表示に、厚板ごとに個別に定められる情報（厚板に固有の情報）が含まれるようにした。従って、第１の撮像画像に基づいて、厚板を一意に識別することができる。よって、厚板の識別を容易に且つ迅速に行うことができる。
　また、本実施形態では、トラッキング装置１２００は、ステンシル（ラベル）による表示領域の位置として、三次元座標（ｘ－ｙ－ｚ座標）を導出する。従って、例えば、複数の厚板が積み重ねられている場合であっても、厚板をトラッキングすることができる。
＜変形例＞
<<第１の変形例>>
　ステップＳ１７０９において第１の撮像画像に含まれるステンシル（ラベル）による表示領域の位置を導出する方法は、図１８を参照しながら説明した手法に限定されない。例えば、位置導出部１２０６は、管理テーブル１３００において物品内位置を定める際の原点の位置を、第１の撮像画像から導出する。そして、位置導出部１２０６は、導出した原点の位置と、管理テーブル１３００の物品内位置の欄に記憶されている情報と、に基づいて、第１の撮像画像に含まれるステンシル（ラベル）による表示領域の位置を導出する。このようにして第１の撮像画像に含まれるステンシル（ラベル）による表示領域の位置を導出する手法の一例を、ステンシルによる表示領域２０１を例に挙げて説明する。
　図２０は、ステンシルによる表示領域２０１の位置を導出する方法の一例を説明する図である。図２０では、図１８と同様に、点Ｓのｘ－ｙ－ｚ座標Ｓ（ｘｓ，ｙｓ，ｚｓ）を、ステンシルによる表示領域２０１の位置として導出する場合を例示する。図１４を参照しながら説明したように、ステンシルの物品内位置は、図２に示す頂点２０３を原点とし、当該頂点２０３から、厚板の幅方向に沿う方向をｙ軸の正の方向、厚板の長さ方向に沿う方向をｘ軸の正の方向とするｘ－ｙ座標で表される。従って、図２０の点Ｅの位置が、ステンシルの物品内位置の原点となる。点Ｆは、厚板の頂点のうち、点Ｅに対して幅方向（ｙ軸方向）に並ぶ点である（点Ｅと点Ｆとで厚板の幅方向に沿う一辺が形成される）。点Ｔは、線分ＥＦに対する点Ｐの垂線の足（点Ｐの垂線と線分ＥＦとの交点）である。点Ｐおよび点Ｏは、図１８に示したものと同じである。
　図２０において、線分ＰＴの長さをｈｐとする。また、線分ＰＦの長さをｈ１とし、∠ＦＰＴをθ１（ｒａｄ）とし、線分ＰＥの長さをｈ２とし、∠ＥＰＴをθ２（ｒａｄ）とし、∠ＥＰＦをθ（ｒａｄ）（θ＝θ１＋θ２）とする。また、線分ＦＴの長さをｗ０１とし、線分ＥＴの長さをｗ０２とする。
　そうすると、点Ｅのｘ座標ｘｅは、点Ｐのｘ座標ｘｐに、線分ＯＴの長さｌｐを加算した値（ｘｅ＝ｘｐ＋ｌｐ）になる。点Ｅのｙ座標ｙｅは、点Ｐのｙ座標ｙｐから、線分ＥＴの長さｗｏ２を減算した値（ｙｅ＝ｙｐ－ｗｏ２）になる。従って、線分ＯＴの長さｌｐと、線分ＥＴの長さｗｏ２とが導出されれば、点Ｅの位置（ステンシルの物品内位置の原点）のｘ－ｙ座標（ｘｅ，ｙｅ）が導出される。
　線分ＯＴの長さｌｐは、以下の（５）式で表される。
　ｌｐ＝√（ｈｐ ２－Ｈ２）＝√（ｈ１ ２ｃｏｓ２θ１－Ｈ２）＝√（ｈ２ ２ｃｏｓ２θ２－Ｈ２）　・・・（５）
　線分ＥＴの長さｗｏ２は、以下の（６）式で表される。
　ｗｏ２＝ｈ２ｓｉｎθ２　・・・（６）
　従って、例えば、線分ＰＥの長さｈ２および∠ＥＰＴ（＝θ２）が導出されれば、線分ＯＴの長さｌｐおよび線分ＥＴの長さｗｏ２が導出される。尚、線分ＯＰの長さＨは、図１８を参照しながら説明したようにして導出される。
　第１の撮像画像における点Ｔの位置は、第１の撮像画像における線分ＥＦ上の位置であって、撮像時の水平画角（ｙ軸方向の画角）の中心に対応する位置となる。∠ＥＰＴ（＝θ２）は、例えば、ステップＳ１７０１で取得した第１の撮像画像における点Ｅおよび点Ｔの位置と、当該第１の撮像画像を撮像した際の光学系（レンズ）の中心位置（焦点距離を定めるために使用される光学系の中心位置）と、に基づいて定められる。第１の撮像画像における点Ｅと、第１の撮像画像を撮像した際の光学系（レンズ）の中心位置とを結ぶ直線により、線分ＰＥが延びる方向が特定される。第１の撮像画像における点Ｔと、第１の撮像画像を撮像した際の光学系（レンズ）の中心位置とを結ぶ直線により、線分ＰＴが延びる方向が特定される。∠ＥＰＴ（＝θ２）は、線分ＰＥが延びる方向と、線分ＰＴが延びる方向と、に基づいて定められる。
　線分ＰＥの長さｈ２は、例えば、第１の撮像装置が備える測距センサ（例えばＴＯＦ（Time-of-Flight）方式の測距センサ）を用いて導出される。この他、線分ＯＰの長さＨと、∠ＯＰＥとに基づいて、線分ＰＥの長さｈ２を導出してもよい。
　以上のようにして、点Ｅのｘ座標ｘｅおよびｙ座標ｙｅが導出される。そして、位置導出部１２０６は、ステップＳ１７０５で特定された厚板のラベルの情報として管理テーブル１３００の物品内位置の欄に記憶されている情報から、点Ｓに対応する位置のｘ－ｙ座標（Ｌｓ１０，Ｗｓ１０）を読み出す。そして、位置導出部１２０６は、点Ｅのｘ座標ｘｅにＬＳ１０を加算した値を点Ｓのｘ座標ｘｓとして導出する（ｘｓ＝ｘｅ＋ＬＳ１０）。また、位置導出部１２０６は、点Ｅのｙ座標ｘｙにＷＳ１０を加算した値を点Ｓのｙ座標ｙｓとして導出する（ｙｓ＝ｙｅ＋ＷＳ１０）。
<<第２の変形例>>
　本実施形態のように、需要家名３０２、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６、注文番号３０７、規格３１１、ＩＤ３１２、サイズ３１３、納期３１４、および需要家コード３１５を、人が識別可能な情報とすれば、オペレータ（作業員）による現品管理が容易になるので好ましい。しかしながら、需要家名３０２、規格３０３、サイズ３０４、ＩＤ３０５、需要家コード３０６、注文番号３０７、規格３１１、ＩＤ３１２、サイズ３１３、納期３１４、および需要家コード３１５の少なくとも１つを、バーコードや２次元コードのように、人が識別可能でない情報に変換（エンコード）された情報としてもよい。
<<第３の変形例>>
　本実施形態では、図３Ａ、図３Ｂに示すように、ステンシルにより表示されるＩＤ３０５と、ラベルにより表示されるＩＤ３１２とが同じである場合を例示した。しかしながら、これらのＩＤの表現および記載内容が異なる場合がある。例えば、ＩＤにおいて“ハイフン”がない形式もある。このような場合、これらのＩＤ（ステンシルによるＩＤ、ラベルによるＩＤ）が同一の厚板に対するものであることを示す情報を管理テーブル１３００に記憶させる。ＩＤ以外の表示項目についても、同一の表示項目の表現および記載内容が、ステンシルによる表示およびラベルによる表示で異なる場合がある。例えば、ステンシルおよびラベルの双方に規格が表示される場合、例えば、ラベルには規格の略称が表示される場合がある。また、ステンシルによる表示とラベルによる表示とで需要者コードの桁数が異なる場合があるが、需要者コードは製造メーカで管理されている。また、サイズについても、寸法の全ての桁を示さない場合がある。このような場合にも、それら異なる表現および記載内容が同等の意味であることを示す情報を管理テーブル１３００に記憶させる。
<<第４の変形例>>
　本実施形態では、ステンシル（ラベル）による表示領域のｘ－ｙ－ｚ座標を、ステンシル（ラベル）による表示領域の三次元位置として導出する場合を例示した。しかしながら、ステンシル（ラベル）による表示領域の三次元位置は、ｘ－ｙ－ｚ座標に限定されない。例えば、ステンシル（ラベル）による表示領域の三次元位置は、第１の撮像装置の位置を基準とする相対的な三次元位置であってもよい。このようにする場合、撮像装置の三次元位置を示す点Ｐの座標（ｘｐ，ｙｐ，ｚｐ）を用いなくてもよい。尚、ｘ－ｙ－ｚ座標の原点を、第１の撮像装置の三次元位置とする場合、ステンシル（ラベル）による表示領域の三次元位置は、ｘ－ｙ－ｚ座標で表しても、第１の撮像装置の三次元位置を基準とする相対的な三次元位置を示すことになる。
<<第５の変形例>>
　本実施形態では、識別情報取得部１２１０が、認識部１２０２、入手部１２０３、照合部１２０４、および特定部１２０５を有する場合を例示した。しかしながら、識別情報取得部１２１０は、位置導出部１２０６により導出された三次元位置に関連付ける厚板の識別情報を取得していれば、必ずしも、認識部１２０２、入手部１２０３、照合部１２０４、および特定部１２０５を有している必要はない。識別情報取得部１２１０は、例えば、認識部１２０２のみを有していてもよい。また、識別情報取得部１２１０は、例えば、入手部１２０３のみを有していてもよい。また、識別情報取得部１２１０は、例えば、認識部１２０２と入手部１２０３のみを有していてもよい。例えば、識別情報取得部１２１０は、認識部１２０２により認識されたＩＤを、厚板の識別情報として取得してもよい。この場合、識別情報取得部１２１０は、入手部１２０３、照合部１２０４および特定部１２０５を有していなくてもよい。また、例えば、トラッキングの対象となる物品が予め１つに限定されている場合、識別情報取得部１２１０は、入手部１２０３により入手されたＩＤを、厚板の識別情報として取得してもよい。この場合、識別情報取得部１２１０は、認識部１２０２、照合部１２０４および特定部１２０５を有していなくてもよい。また、例えば、識別情報取得部１２１０は、認識部１２０２により認識された情報のみから厚板を特定する場合には認識部１２０２を利用し、トラッキングの対象となる物品が予め１つに限定されている場合には入手部１２０３を利用してもよい。この場合、識別情報取得部１２１０は、照合部１２０４および特定部１２０５を有していなくてもよい（認識部１２０２および入手部１２０３のみを有していてもよい）。
<<第６の変形例>>
　本実施形態では、管理テーブル１３００がトラッキング装置１２００に記憶されている場合を例示した。しかしながら、管理テーブル１３００は、トラッキング装置１２００の外部にあってもよい。
<<第７の変形例>>
　本実施形態では、物品が厚板である場合を例示した。しかしながら、物品は、厚板に限定されない。例えば、物品は、厚板以外の製造物であってもよい。物品は、製造者によって管理されている情報が表示されている製造物であってもよい。製造物は、例えば、スラブ、ビレット、薄板コイル、または鋼管であってもよい。また、製造物以外の物品であってもよい。物品は、例えば、コンテナであってもよい。
<<その他の変形例>>
　尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。また、本発明の実施形態は、ＰＬＣ（Programmable Logic Controller）により実現されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）等の専用のハードウェアにより実現されてもよい。
　また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
＜ハードウェア＞
　トラッキング装置１２００のハードウェアの一例について説明する。図２１において、トラッキング装置１２００は、ＣＰＵ２１０１、主記憶装置２１０２、補助記憶装置２１０３、通信回路２１０４、信号処理回路２１０５、画像処理回路２１０６、Ｉ／Ｆ回路２１０７、ユーザインターフェース２１０８、ディスプレイ２１０９、およびバス２１１０を有する。
　ＣＰＵ２１０１は、トラッキング装置１２００の全体を統括制御する。ＣＰＵ２１０１は、主記憶装置２１０２をワークエリアとして用いて、補助記憶装置２１０３に記憶されているプログラムを実行する。主記憶装置２１０２は、データを一時的に格納する。補助記憶装置２１０３は、ＣＰＵ２１０１によって実行されるプログラムの他、各種のデータを記憶する。
　通信回路２１０４は、トラッキング装置１２００の外部との通信を行うための回路である。通信回路２１０４は、トラッキング装置１２００の外部と無線通信を行っても有線通信を行ってもよい。
　信号処理回路２１０５は、通信回路２１０４で受信された信号や、ＣＰＵ２１０１による制御に従って入力した信号に対し、各種の信号処理を行う。
　画像処理回路２１０６は、ＣＰＵ２１０１による制御に従って入力した信号に対し、各種の画像処理を行う。この画像処理が行われた信号は、例えば、ディスプレイ２１０９に出力される。
　ユーザインターフェース２１０８は、オペレータがトラッキング装置１２００に対して指示を行う部分である。ユーザインターフェース２１０８は、例えば、ボタン、スイッチ、およびダイヤル等を有する。また、ユーザインターフェース２１０８は、ディスプレイ２１０９を用いたグラフィカルユーザインターフェースを有していてもよい。
　ディスプレイ２１０９は、画像処理回路２１０６から出力された信号に基づく画像を表示する。Ｉ／Ｆ回路２１０７は、Ｉ／Ｆ回路２１０７に接続される装置との間でデータのやり取りを行う。図２１では、Ｉ／Ｆ回路２１０７に接続される装置として、ユーザインターフェース２１０８およびディスプレイ２１０９を示す。しかしながら、Ｉ／Ｆ回路２１０７に接続される装置は、これらに限定されない。例えば、可搬型の記憶媒体がＩ／Ｆ回路２１０７に接続されてもよい。また、ユーザインターフェース２１０８の少なくとも一部およびディスプレイ２１０９は、トラッキング装置１２００の外部にあってもよい。
　出力部１２０８は、例えば、通信回路２１０４および信号処理回路２１０５と、画像処理回路２１０６、Ｉ／Ｆ回路２１０７、およびディスプレイ２１０９との少なくとも何れか一方を用いることにより実現される。
　尚、ＣＰＵ２１０１、主記憶装置２１０２、補助記憶装置２１０３、信号処理回路２１０５、画像処理回路２１０６、およびＩ／Ｆ回路２１０７は、バス２１１０に接続される。これらの構成要素間の通信は、バス２１１０を介して行われる。また、トラッキング装置１２００のハードウェアは、前述したトラッキング装置１２００の機能を実現することができれば、図２１に示すものに限定されない。
　本発明は、例えば、物品をトラッキングすることに利用することができる。

Claims (8)

  1. 　物品をトラッキングするトラッキング装置であって、
    　前記物品に表示されている表示情報を含む領域の撮像画像を取得する１または２以上の画像取得手段と、
    　前記物品の識別情報を取得する識別情報取得手段と、
    　前記画像取得手段により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出手段と、
    　前記位置導出手段により導出された前記物品における前記情報表示位置を、前記識別情報取得手段により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶手段と、を有することを特徴とするトラッキング装置。
  2. 　前記物品に表示されている前記表示情報には、当該物品の識別情報が含まれており、
    　前記識別情報取得手段は、
    　前記画像取得手段により取得された前記撮像画像に基づいて、前記物品の識別情報を認識する認識手段と、
    　前記記憶手段に記憶されている前記物品の識別情報を入手する入手手段と、の少なくとも１つの手段を有することを特徴とする請求項１に記載のトラッキング装置。
  3. 　前記物品の識別情報と関連付けられて前記記憶媒体に記憶されている前記情報表示位置は、前記表示情報が表示されている三次元位置に関する情報として、当該物品の所定の位置を基準とする三次元位置に関する情報を含み、
    　前記画像取得手段により取得される前記撮像画像には、前記物品の所定の位置を含む領域が含まれることを特徴とする請求項２に記載のトラッキング装置。
  4. 　前記識別情報取得手段は、
    　前記認識手段と、
    　前記入手手段と、
    　前記認識手段により認識された前記物品の識別情報と、前記入手手段により入手された前記物品の識別情報とを照合する照合手段と、
    　前記照合手段による照合の結果に基づいて、前記画像取得手段により取得された前記撮像画像に含まれる、前記物品の識別情報を特定する特定手段と、を有することを特徴とする請求項２または３に記載のトラッキング装置。
  5. 　前記位置導出手段は、２以上の前記画像取得手段により取得された２以上の撮像画像に基づいて、前記表示情報が表示されている前記物品の面の高さ方向の位置を導出することを特徴とする請求項１～４の何れか１項に記載のトラッキング装置。
  6. 　物品をトラッキングするトラッキング方法であって、
    　前記物品に表示されている表示情報を含む領域の撮像画像を取得する１または２以上の画像取得工程と、
    　前記物品の識別情報を取得する識別情報取得工程と、
    　前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、
    　前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、を有することを特徴とするトラッキング方法。
  7. 　物品に表示される表示情報と、
    　前記物品に表示されない非表示情報と、有し、
    　前記非表示情報は、前記表示情報が表示されている三次元位置である情報表示位置を含み、
    　トラッキング装置が、前記物品に表示されている表示情報を含む領域の撮像画像に基づいて、当該物品における前記情報表示位置を導出するために用いられる、トラッキングデータのデータ構造。
  8. 　物品をトラッキングする処理をコンピュータに実行させるためのプログラムであって、
    　前記物品に表示されている表示情報を含む領域の撮像画像を取得する１または２以上の画像取得工程と、
    　前記物品の識別情報を取得する識別情報取得工程と、
    　前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、
    　前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2021/043580 2020-11-30 2021-11-29 トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム WO2022114173A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022552726A JP7288231B2 (ja) 2020-11-30 2021-11-29 トラッキング装置、トラッキング方法、およびプログラム
KR1020237015306A KR102595542B1 (ko) 2020-11-30 2021-11-29 트래킹 장치, 트래킹 방법, 트래킹 데이터의 데이터 구조 및 프로그램
CN202180076082.6A CN116472239B (zh) 2020-11-30 2021-11-29 跟踪装置、跟踪方法、跟踪数据的数据结构以及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-198065 2020-11-30
JP2020198065 2020-11-30

Publications (1)

Publication Number Publication Date
WO2022114173A1 true WO2022114173A1 (ja) 2022-06-02

Family

ID=81754524

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/043580 WO2022114173A1 (ja) 2020-11-30 2021-11-29 トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム

Country Status (4)

Country Link
JP (1) JP7288231B2 (ja)
KR (1) KR102595542B1 (ja)
CN (1) CN116472239B (ja)
WO (1) WO2022114173A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167396A (zh) * 2023-01-09 2023-05-26 太原重工股份有限公司 用于直缝焊管的物料跟踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126015A1 (en) * 2002-12-31 2004-07-01 Hadell Per Anders Container identification and tracking system
JP2007326700A (ja) * 2006-06-09 2007-12-20 Nippon Steel Corp 鋼材の管理方法と管理システム
WO2009052854A1 (en) * 2007-10-22 2009-04-30 Abb Ab Device, method and system for recording inspection data about a freight container
WO2014141534A1 (ja) * 2013-03-13 2014-09-18 日本電気株式会社 照合システム、端末装置、サーバ装置、照合方法及びプログラム
JP2017174284A (ja) * 2016-03-25 2017-09-28 株式会社日立ドキュメントソリューションズ ヤード管理装置及び方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS519451B1 (ja) 1970-09-11 1976-03-26
CN104724606B (zh) * 2015-03-18 2017-01-25 苏州盈兴信息技术有限公司 一种生产物料贮运作业图像自动跟踪装置和方法
JP6339633B2 (ja) * 2016-06-28 2018-06-06 新日鉄住金ソリューションズ株式会社 システム、情報処理装置、情報処理方法、及び、プログラム
CN108698761B (zh) * 2017-02-03 2020-04-28 日本托盘租赁株式会社 搬运对象物识别系统、搬运对象物识别方法及搬运对象物识别程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040126015A1 (en) * 2002-12-31 2004-07-01 Hadell Per Anders Container identification and tracking system
JP2007326700A (ja) * 2006-06-09 2007-12-20 Nippon Steel Corp 鋼材の管理方法と管理システム
WO2009052854A1 (en) * 2007-10-22 2009-04-30 Abb Ab Device, method and system for recording inspection data about a freight container
WO2014141534A1 (ja) * 2013-03-13 2014-09-18 日本電気株式会社 照合システム、端末装置、サーバ装置、照合方法及びプログラム
JP2017174284A (ja) * 2016-03-25 2017-09-28 株式会社日立ドキュメントソリューションズ ヤード管理装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167396A (zh) * 2023-01-09 2023-05-26 太原重工股份有限公司 用于直缝焊管的物料跟踪方法

Also Published As

Publication number Publication date
CN116472239B (zh) 2024-02-20
KR102595542B1 (ko) 2023-10-30
KR20230082662A (ko) 2023-06-08
JPWO2022114173A1 (ja) 2022-06-02
CN116472239A (zh) 2023-07-21
JP7288231B2 (ja) 2023-06-07

Similar Documents

Publication Publication Date Title
US10552933B1 (en) Image processing methods and arrangements useful in automated store shelf inspections
US20200279389A1 (en) Object measurement system
US20230288219A1 (en) Hands-free augmented reality system for picking and/or sorting assets
US20190197277A1 (en) Code recognition device
WO2020072208A1 (en) Smart terminal facility and method suitable for the handling of cargo containers
JP6011490B2 (ja) 物品保管設備
WO2009052854A1 (en) Device, method and system for recording inspection data about a freight container
US20230032233A1 (en) Systems and methods for managing multiple autonomous vehicles
WO2022114173A1 (ja) トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム
JP2012192490A (ja) 荷姿認識装置
CN113168189A (zh) 飞行作业方法、无人机及存储介质
US10929811B2 (en) Systems and methods for mapping locations of cartons in pallets and containers
US11120286B2 (en) Projection indication device, parcel sorting system, and projection indication method
US11369999B2 (en) Parcel determination device, parcel sorting system, and parcel determination method
EP3689791A1 (en) Projection instruction device, package sorting system, and projection instruction method
JP7506352B2 (ja) 物品管理装置、物品管理方法、およびプログラム
TWI841973B (zh) 物品管理裝置、物品管理方法、及程式
WO2023233506A1 (ja) 物品管理装置、物品管理方法、物品管理用データのデータ構造、およびプログラム
JP7129616B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
TW202349152A (zh) 物品管理裝置、物品管理方法、物品管理用資料之資料結構、及程式
US11594047B2 (en) Article distinguishing system
JP7235183B2 (ja) 識別装置、識別方法、およびプログラム
JP6299133B2 (ja) 位置検出装置、撮像装置、位置検出方法及び位置検出プログラム
KR102588246B1 (ko) 드론 영상을 이용한 조선소 적치장 모니터링 시스템 및 그 방법
US20240127471A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21898145

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022552726

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20237015306

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180076082.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21898145

Country of ref document: EP

Kind code of ref document: A1