WO2021171618A1 - 搬送システム、制御装置、制御方法 - Google Patents

搬送システム、制御装置、制御方法 Download PDF

Info

Publication number
WO2021171618A1
WO2021171618A1 PCT/JP2020/008528 JP2020008528W WO2021171618A1 WO 2021171618 A1 WO2021171618 A1 WO 2021171618A1 JP 2020008528 W JP2020008528 W JP 2020008528W WO 2021171618 A1 WO2021171618 A1 WO 2021171618A1
Authority
WO
WIPO (PCT)
Prior art keywords
transport
information
transported object
contact position
height
Prior art date
Application number
PCT/JP2020/008528
Other languages
English (en)
French (fr)
Inventor
安田 真也
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/800,413 priority Critical patent/US20230107626A1/en
Priority to JP2022503056A priority patent/JP7380829B2/ja
Priority to PCT/JP2020/008528 priority patent/WO2021171618A1/ja
Publication of WO2021171618A1 publication Critical patent/WO2021171618A1/ja
Priority to JP2023188751A priority patent/JP2024012512A/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/34Devices for discharging articles or materials from conveyor 
    • B65G47/46Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points
    • B65G47/50Devices for discharging articles or materials from conveyor  and distributing, e.g. automatically, to desired points according to destination signals stored in separate systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063Automatically guided
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0755Position control; Position detectors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0266Control or detection relating to the load carrier(s)
    • B65G2203/0283Position of the load carrier
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G61/00Use of pick-up or transfer devices or of manipulators for stacking or de-stacking articles not otherwise provided for

Definitions

  • the present invention relates to a transfer system, a control device, and a control method.
  • Patent Document 1 discloses a technique of a transport system for transporting a transported object using a robot.
  • Patent Document 1 discloses an example as an algorithm capable of efficiently and stably executing push and transport of a robot.
  • the technique of Patent Document 1 discloses a technique of controlling the moving direction of the robot.
  • an object of the present invention is to provide a transport system, a control device, and a control method that solve the above-mentioned problems.
  • the transport system is a transport system including a transport vehicle that transports the transported object, a sensor that acquires information about the transported object, and a control device that controls the transported vehicle. Therefore, the contact position with respect to the transported object that the transport vehicle comes into contact with when transporting the transported object is specified based on the information about the transported object, and the transport vehicle is controlled based on the contact position.
  • the control device is communicatively connected to a transport vehicle for transporting the transported object and a sensor for acquiring information on the transported object, and the transport is based on the information on the transported object.
  • the contact position with respect to the conveyed object that the vehicle comes into contact with when the conveyed object is conveyed is specified, and the conveyed vehicle is controlled based on the contact position.
  • the control method communicates with a transport vehicle for transporting the transported object and a sensor for acquiring information on the transported object, and the transport is based on the information on the transported object.
  • the contact position with respect to the conveyed object that the vehicle comes into contact with when the conveyed object is conveyed is specified, and the conveyed vehicle is controlled based on the contact position.
  • FIG. 1 It is a figure which shows the photographing state of the conveyed object in the case where the position of the circumscribed frame R by one Embodiment of this invention is a 2nd to 3rd pattern. It is a figure which shows the specific outline of the contact position by one Embodiment of this invention. It is a figure which shows the example of the display information by one Embodiment of this invention. It is a figure which shows the outline of calculation of the position of the conveyed object at a predetermined height by one Embodiment of this invention. It is a figure which shows the relationship between the circumscribed frame R and a specific area in the 1st pattern by one Embodiment of this invention.
  • FIG. 1 is a first diagram showing the relationship between the circumscribed frame R and the specific region in the second pattern according to the embodiment of the present invention. It is a second figure which shows the relationship between the circumscribed frame R and a specific area in the 2nd pattern by one Embodiment of this invention.
  • FIG. 1 is a first diagram showing the relationship between the circumscribed frame R and the specific region in the third pattern according to the embodiment of the present invention.
  • FIG. 2 is a second diagram showing the relationship between the circumscribed frame R and the specific region in the third pattern according to the embodiment of the present invention.
  • It is a schematic block diagram of the control system provided with the control device in the 2nd Embodiment of this invention. It is a schematic configuration of the transport system according to the third embodiment of the present invention. It is a schematic block diagram of the control device which concerns on 3rd Embodiment of this invention. It is a figure which shows the processing flow by the control apparatus which concerns on 3rd Embodiment of this invention.
  • FIG. 1 is a schematic configuration diagram of a transport system according to the present embodiment.
  • the transport system 100 includes a control device 1, a sensor 2, and a transport vehicle 3.
  • the sensor 2 measures information about the transported object 4.
  • the sensor 2 transmits the measured information about the transported object 4 to the control device 1.
  • the sensor 2 is a device that images the inside of a field in which the transport vehicle 3 can move.
  • the sensor 2 is, for example, a depth camera or a stereo camera.
  • the sensor 2 photographs the floor surface on which the transport vehicle 3 travels.
  • the senor 2 measures image information and distance information in a range centered on the lower axis from the vicinity of the ceiling where the sensor 2 is installed toward the floor surface.
  • the sensor 2 generates image information obtained by capturing the measurement range of the sensor 2 and distance information indicating the distance to each position of the measurement range of the sensor 2.
  • the distance information indicates, for example, the distance from the sensor 2 corresponding to each pixel of the image information in the measurement range.
  • the control device 1 controls the transport vehicle 3.
  • the control device 1 controls the transport vehicle 3 based on the acquired information.
  • the control device 1 communicates with the sensor 2 for measuring the transported object 4 and the transport vehicle 3.
  • the control device 1 acquires image information and distance information from the sensor 2.
  • the control device 1 identifies a position where the transport vehicle 3 contacts the transport object 4 when the transport vehicle 4 is transported based on the information (image information and distance information) about the transport object 4, and based on the contact position.
  • the control device 1 may control one transport vehicle 3 or may control a plurality of transport vehicles 3.
  • the transport vehicle 3 is an aspect of a robot.
  • FIG. 2 is a hardware configuration diagram of the control device according to the present embodiment.
  • the control device 1 is a computer server provided with hardware such as an arithmetic processing unit 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a storage unit 104, and a communication module 105.
  • the arithmetic processing unit 101 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the storage unit 104 is, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), a memory card, or the like. Further, the storage unit 104 may be a memory such as a RAM or a ROM.
  • the communication module 105 transmits and receives data to and from an external device. For example, the communication module 105 communicates with an external device via a wired or wireless communication path.
  • FIG. 3 is a functional block diagram of the control device according to the present embodiment.
  • the control device 1 is activated when the power is turned on, and executes a control program stored in advance. As a result, the control device 1 exerts the functions of the image information acquisition unit 11, the distance information acquisition unit 12, the difference detection unit 13, the survey unit 14, the contact position identification unit 15, the transport control unit 16, and the display unit 17.
  • the transported object 4 is an object to be transported, and an example is a cart or a trolley on which luggage is placed.
  • the transport vehicle 3 transports the transported object 4 based on the control of the control device 1.
  • the transport vehicle 3 receives information on the contact position indicating the position where the transport vehicle 3 contacts the transport object 4 from the control device 1, and conveys the transport object 4 by pushing or pulling the contact position.
  • the side surface of the transported object 4 may or may not be included in the captured image depending on the positional relationship between the sensor 2 and the transported object 4. be.
  • the conveyed object 4 is near the center of the measurement range of the sensor 2, the upper surface of the conveyed object 4 is reflected in the captured image, and the side surface is not reflected.
  • the conveyed object 4 is located at a position away from the center of the measurement range of the sensor 2, the conveyed object 4 is photographed from diagonally above, so that the upper surface and the side surface of the conveyed object 4 are reflected in the photographed image.
  • the control device 1 detects a region in the captured image in which the transported object 4 is projected using the captured image, the region may or may not include the side surface depending on the position of the transported object 4. do. Further, the closer the distance to the conveyed object 4 is to the sensor 2, the wider the upper surface area is reflected in the captured image. Therefore, even if the entire area of the transported object 4 displayed in the captured image differs depending on the height of the transported object 4 (distance from the sensor 2) and the positional relationship between the transported object 4 and the sensor 2, control is performed. The device needs to accurately calculate the contact position at a predetermined height at which the transport vehicle 3 can contact the transport object 4.
  • FIG. 4 is a diagram showing a processing flow of the transport system according to the present embodiment.
  • the sensor 2 transmits a number of image information such as 30 frames per second to the control device 1. Further, the sensor 2 transmits a number of distance information such as 30 frames per second to the control device 1. It is assumed that the timings of the image information transmitted by the sensor 2 and the distance information match. The image information and the distance information indicate information in the same area.
  • the image information acquisition unit 11 of the control device 1 acquires the image information (step S101).
  • the distance information acquisition unit 12 of the control device 1 acquires the distance information (step S102).
  • the image information acquisition unit 11 generates a background image based on the image information and records it in a storage unit such as a RAM 103.
  • the generation and recording of the background image may be performed before detecting the conveyed object 4.
  • the image information acquisition unit 11 may be performed at the time when the transfer system 100 starts operating, or may be performed at the timing when the administrator of the transfer system instructs the recording.
  • the background image is image information when the transport vehicle 3, the transport object 4, and other foreign substances are not included in the measurement range.
  • the image information acquisition unit 11 outputs the image information received from the sensor 2 to the difference detection unit 13.
  • the distance information acquisition unit 12 records the distance information received from the sensor 2 in a storage unit such as the RAM 103.
  • the image information acquisition unit 11 and the distance information acquisition unit 12 may each be assigned an ID or the like so that the relationship between the image information and the distance information corresponding to the transmission timing of the sensor 2 is linked.
  • the difference detection unit 13 generates difference information indicating the difference between the image information received from the image information acquisition unit 11 and the background image. Specifically, when the difference detection unit 13 acquires the image information, the difference detection unit 13 compares the image information with the background image. The difference detection unit 13 generates difference information indicating a region in which a change occurs between the image information and the background image (step S103). For example, the difference detection unit 13 binarizes the image information and the background image into pixels indicating "0" and "1" based on the brightness of each pixel, and binarizes the binarized image information and the binarized image information. Generates difference information indicating the difference between each pixel and the background image. A pixel whose difference is "1" in this difference information indicates that some object is located in the measurement range. The difference detection unit 13 outputs the difference information to the surveying unit 14.
  • the surveying unit 14 determines whether the acquired difference information includes the transported object 4 (step 104). For example, the surveying unit 14 determines whether the transport vehicle 3 is located in the measurement range, and if the difference information includes information other than the transport vehicle 3, it determines that the transport vehicle 4 is included.
  • the position information of the transport vehicle 3 may be detected by the transport vehicle 3 and transmitted to the control device 1, or may be detected by the sensor 2 and transmitted to the control device 1.
  • the measuring unit 14 determines whether or not the transport vehicle 3 is located in the measurement range by comparing the position information of the transport vehicle 3 with the position information of the measurement range measured by the sensor 2 stored in advance.
  • the measuring unit 14 detects the position of the transport vehicle 3 from the image information by using the characteristics (brightness, size, etc.) of the transport vehicle 3 stored in advance, and identifies whether or not the vehicle 3 is located within the measurement range. You may.
  • the method by which the measuring unit 14 detects the position of the transport vehicle 3 is not limited to the above.
  • the surveying unit 14 may mask the region of the transport vehicle 3 in the measurement range indicated by the difference information to generate the difference information.
  • the measuring unit 14 determines whether the transport vehicle 3 is located in the measurement range, and when the difference information acquired from the difference detection unit 13 includes information other than the transport vehicle 3, the transported object 4 is included.
  • the specification of whether or not the transported object 4 is included is not limited to the above.
  • the measuring unit 14 includes the transported object 4 in the difference information based on the information of the specified size of the transported object 4 even when the transported object 4 or the transport vehicle 3 is included in the measurement range. It may be determined whether or not.
  • the surveying unit 14 identifies an inclusion area including the transported object 4. For example, the surveying unit 14 determines the size of a region of a group of pixels indicating that there is a difference in the difference information.
  • the surveying unit 14 identifies the outer frame of the area as the circumscribed frame R of the conveyed object 4 (step S105). ).
  • the circumscribed frame R indicates a frame of an inclusion region including the upper surface and the side surface of the conveyed object 4 to be measured.
  • the method of specifying the outline frame R is not limited to the above method, and the surveying unit 14 may determine the circumscribed frame R of the region of the transported object 4 included in the difference information by another method.
  • FIG. 5 is a diagram showing a pattern of positions where the circumscribed frame R is detected in the measurement range.
  • it is determined which of the first pattern and the third pattern the position pattern of the circumscribed frame R detected by the surveying unit 14 in the captured image is (step S106).
  • the measurement range by the sensor 2 is divided into a vertical line 51 and a horizontal line 52 passing through the center of the measurement range, the upper right is the first region, the upper left is the second region, the lower left is the third region, and the lower right is the fourth region.
  • FIG. 5 (1) shows the first pattern of the position of the circumscribed frame R.
  • the first pattern is a pattern in which the four vertices of the circumscribed frame R are included in each of the first to fourth regions.
  • the first pattern is a pattern that appears when the circumscribed frame R including the conveyed object 4 is located at the center.
  • FIG. 5 (2) shows the second pattern of the position of the circumscribed frame R.
  • the second pattern is a pattern in which all four vertices of the circumscribed frame R are included in one of the first to fourth regions.
  • the second pattern is a pattern in which the circumscribed frame R including the conveyed object 4 appears only in any one of the first to fourth regions.
  • FIGS. 5 (3) and 5 (4) show the third pattern of the position of the circumscribed frame R.
  • the third pattern is a pattern in which the four vertices of the circumscribed frame R are located in the two regions, respectively.
  • the third pattern shown in FIG. 5 (3) includes a case where the circumscribed frame R including the transported object 4 straddles the first region and the second region, and a case where the circumscribed frame R straddles the third region and the fourth region.
  • the third pattern shown in FIG. 5 (4) includes a case where the circumscribed frame R including the transported object 4 straddles the second region and the third region, and a case where the circumscribed frame R straddles the first region and the fourth region.
  • FIG. 6 is a diagram showing a photographing state of the transported object when the position of the circumscribed frame R is the first pattern.
  • the position of the circumscribed frame R detected by the surveying unit 14 is the first pattern
  • the upper surface of the conveyed object 4 is reflected in the captured image, and the side surface is not reflected in the captured image. Further, the closer the upper surface of the conveyed object 4 is to the sensor 2, the wider the area of the upper surface in the captured image.
  • FIG. 7 is a diagram showing a photographing state of the transported object when the position of the circumscribed frame R is the second pattern or the third pattern.
  • the position of the circumscribed frame R detected by the measuring unit 14 is the second pattern, as shown in FIG. 7 (2), the conveyed object 4 that can be connected to the upper surface of the conveyed object 4 and the position of the sensor 2 in a straight line. The surface is reflected in the captured image.
  • the position of the circumscribed frame R detected by the surveying unit 14 is the third pattern, it is reflected in the captured image as shown in FIGS. 7 (3) and 7 (4).
  • the surveying unit 14 first Judge as a pattern.
  • the measuring unit 14 is one of four regions, the first region to the fourth region, in which all the coordinates of the pixels within the range of the circumscribed frame R are divided by a vertical line and a horizontal line passing through the center of the measurement range. If it is included only in, it is determined that it is the second pattern.
  • the measuring unit 14 when the coordinates of the pixels within the range of the circumscribed frame R are located in two regions separated by a vertical line 51 passing through the center of the measurement range, or when the coordinates of the pixels within the range of the circumscribed frame R are determined. When it is located in two regions separated by a horizontal line 52 passing through the center of the measurement range, it is determined to be the third pattern.
  • the surveying unit 14 specifies the first specific region R1 indicating the upper surface of the transported object 4 in the captured image (step S107). Specifically, the surveying unit 14 determines the relationship between the feature points appearing in the captured images of the plurality of circumscribed frames R specified in the circumscribed frame R and the height information of the feature points of the plurality of circumscribed frames R, and the circumscribed circle. Corresponding points appearing in captured images at predetermined heights that match the horizontal coordinates (horizontal position) of the feature points of the frame R and have different height coordinates, and the height information indicated by the predetermined height. Based on the relationship between, and, a plurality of corresponding points constituting the surface of the object at a predetermined height are calculated.
  • the plurality of corresponding points constituting the surface of the object at a predetermined height include estimated corresponding points that do not appear in the captured image.
  • the surveying unit 14 identifies the first specific region R1 indicating the upper surface of the transported object 4 in the captured image based on the plurality of corresponding points.
  • the surveying unit 14 identifies the second specific region R2 that shows the region of the transported object 4 at the height at which the transport vehicle 3 contacts the transported object 4 in the photographed image (step S108).
  • the contact position specifying unit 15 acquires the information of the second specific region R2 showing the region of the transported object 4 at the height h'when the transport vehicle 3 contacts the transported object 4 in the photographed image.
  • the contact position specifying unit 15 acquires information on the feature points indicated by the second specific area R2.
  • the contact position specifying unit 15 specifies a position in the captured image in which the transport vehicle 3 contacts the transported object 4 based on the information of the feature points indicated by the second specific region R2 (step S109).
  • FIG. 8 is a diagram showing a specific outline of the contact position.
  • the contact position specifying unit 15 when the rectangle of the second specific area R2 indicates the feature points P21, P22, P23, P24, the transport vehicle 3 transports the center of any side of the second specific area R2. It is specified as the contact position T1 in the captured image in contact with the object 4.
  • the contact position specifying unit 15 identifies the first side connecting the feature points P21 and P22 on the transport direction D side and the second side connecting the feature points P22 and P23, and among the normals of those sides.
  • the center of the second side having a small angle with the transport direction D is designated as the contact position T1 in the photographed image in which the transport vehicle 3 contacts the transport object 4.
  • the contact position specifying unit 15 outputs the contact position T1 to the transport control unit 16. For example, the transport vehicle 3 contacts the transport object 4 at the contact position T1 of the transport object 4 and pulls the transport object 4 in the transport direction D.
  • the contact position specifying portion 15 is the side of the second specific region R2, which is on the opposite side of the transport direction D and has a normal line formed by a small angle with the transport direction. It may be specified as the contact position P in the captured image in contact with 4. That is, the contact position specifying portion 15 identifies a third side connecting the feature points P21 and P24 on the opposite side of the transport direction D and a fourth side connecting the feature points P24 and P23, and among the sides, The center of the third side having a normal having a small angle with the transport direction D is specified as the contact position T2 in the captured image in which the transport vehicle 3 contacts the transport object 4.
  • the contact position specifying unit 15 outputs the contact position T2 to the transport control unit 16. In this case, the transport vehicle 3 comes into contact with the transport object 4 at the contact position of the transport object 4 and pushes the transport object 4 in the transport direction D.
  • the transport control unit 16 converts the contact positions T1 and T2 in the captured image into the contact positions T1'and T2'in the real space (step S110). For example, the transport control unit 16 stores in advance the relationship between the coordinates in the virtual space indicated by the captured image and the coordinates in the real space, and based on the correspondence, the contact positions T1 and T2 are set to the contact positions in the real space. Convert to T1'and T2'.
  • the transport control unit 16 transmits the contact positions T1'and T2'in the real space and the transport direction of the transport object 4 to the transport vehicle 3 (step S111).
  • the transport vehicle 3 moves toward the contact positions T1'and T2', contacts the contact positions T1'and T2', and transports the transported object in the transport direction.
  • the transported object 4 is conveyed by two transport vehicles 3, but a plurality of transport vehicles 3 are connected to the transport system 100 by communication, and the plurality of transport vehicles 3 connect the transported object 4 to the transport system 100.
  • One transport vehicle may be connected to the transport system 100 by communication, and one transport vehicle 3 may transport the transported object 4.
  • the transported object 4 may be transported by contacting the transported object 4 from all sides with four transport vehicles 3, or one transport vehicle 3 may contact and tow any surface of the transported object 4.
  • it may be conveyed by pushing it in.
  • the transport control unit 16 transmits the contact position T1 to the first transport vehicle 3 and the contact position T3 to the second transport vehicle 3.
  • the transport control unit 16 transmits the transport direction D to the first transport vehicle 3 and the second transport vehicle 3.
  • the first transport vehicle 3 comes into contact with the contact position T1 of the transport object 4.
  • the second transport vehicle 3 comes into contact with the contact position T2 of the transport object 4.
  • the first transport vehicle 3 and the second transport vehicle 3 sandwich the transport object 4 with each other and transport the transport object 4 in the transport direction.
  • the transport vehicle 3 comes into contact with the transport object 4, but the method of the transport vehicle 3 acting on the transport object 4 is not limited.
  • the transport vehicle 3 may, for example, press the equipment of the transport vehicle against the transport object 4, connect or push (fit) the equipment into the dents or protrusions of the transport object 4, or apply an impact from the transport object 4. You may try to accept it.
  • the transport vehicle 3 may grab the transport object 4 with an instrument that sandwiches the transport object 4 from two directions and tow it. For example, when the first transport vehicle 3 and the second transport vehicle 3 each come into contact with the transport object 4 to transport the transport object 4, the second transport vehicle 3 has the first force F1 at the contact position T2. And proceed in the direction of travel.
  • the first transport vehicle 3 applies a second force F2 smaller than the first force F1 to the contact position T1 and advances in the same transport direction at the same speed as the first transport vehicle 3.
  • the transported object 4 is transported by the second transport vehicle 3 of the first transport vehicle 3 and the second transport vehicle 3.
  • the first transport vehicle 3 is connected to the contact position T1 and towed, and the second transport vehicle 3 applies a force to the contact position T2 to move in the transport direction while controlling the transported object 4 so as not to wobble.
  • the second transport vehicle 3 is connected to the contact position T2 and pushes forward in the transport direction, and the first transport vehicle 3 applies a force to the contact position T1 to control the transport object 4 so as not to wobble in the transport direction. You may proceed.
  • the position where the transport vehicle comes into contact with the transported object can be specified. Further, according to the above-mentioned processing of the transport system, the transport vehicle can specify the contact position with the transported object with higher accuracy. Further, according to the processing of the transport system 100 described above, the region of the transport object 4 reflected in the captured image is determined according to the height of the transport object 4 (distance from the sensor 2) and the positional relationship between the transport object 4 and the sensor 2. Even if they are different, the contact position at a predetermined height at which the transport vehicle 3 can contact the transport object 4 can be calculated with higher accuracy.
  • FIG. 9 is a diagram showing an example of display information.
  • the display unit 17 outputs the information specified by the control device 1 to a predetermined output destination.
  • the display unit 17 acquires, for example, the circumscribed frame R, the first specific area R1, and the second specific area R2 from the photographed image to be processed and the surveying unit 14. Further, the display unit 17 acquires the contact position calculated based on the second specific area R2.
  • the display unit 17 generates the captured image, the circumscribed frame R, the first specific area R1, the second specific area R2, the contact position information, and the display information to be displayed.
  • the display unit 17 outputs display information to a predetermined output destination.
  • the display unit 17 outputs display information to an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube) display, a monitor provided in the control device 1, and a terminal for communication connection to the control device 1.
  • LCD Liquid Crystal Display
  • CRT Cathode Ray Tube
  • the display unit 17 may superimpose and display information on the circumscribed frame R, the first specific area R1, the second specific area R2, and the contact position as display information, or display each information separately.
  • Display information may be generated such that arbitrary information selected by the worker involved in the work is superimposed and displayed.
  • the processing of the surveying unit 14 for calculating the first specific area and the second specific area will be described in detail below.
  • the measuring unit 14 determines that the circumscribed frame R is the upper surface of the conveyed object 4.
  • the surveying unit 14 identifies a specific region (first specific region, second specific region) at a predetermined height of the transported object 4 included in the region of the external frame R based on the external frame R and its height information. ..
  • FIG. 10 is a diagram showing an outline of calculation of the position of the transported object at a predetermined height.
  • the focal length f when the sensor 2 captures image information an arbitrary feature point P1 on the upper surface of the transport object 4 in the real space, and the transport object whose coordinates X in the horizontal direction coincide with the feature point P1.
  • the distance of the feature point P1 in the real space in the height direction from the sensor 2 is z
  • the distance of the corresponding point P2 in the height direction from the sensor 2 is h
  • the distance of the feature point P1 and the corresponding point P2 in the horizontal direction from the sensor 2 is Let X be the distance. In this case, it is based on the relationship between the height distance from the sensor 2 and the horizontal distance in the real space, and the relationship between the focal length in the captured image and the horizontal distance of each point from the center point of the captured image. Therefore, the following two equations (1) and (2) can be derived.
  • Equations (3) and (4) are obtained as described above. Therefore,
  • Equation (5) represented by The point x1 corresponding to the feature point P1 on the upper surface in the captured image, z in the real space, and the height h can be acquired by the sensor 2. Therefore, it is possible to calculate the point x2 in the captured image corresponding to an arbitrary corresponding point P2 in the real space by using the equation (5).
  • the value of the height h may be measured by the sensor 2 at an arbitrary timing, or may be set as an initial value when the sensor 2 is installed, and the acquisition method thereof is not limited.
  • "/" indicates division.
  • indicates multiplication.
  • FIG. 11 is a diagram showing the relationship between the circumscribed frame R and the specific region in the first pattern.
  • FIG. 11 (1) shows the transported object 4 shown in the captured image
  • FIG. 11 (2) shows a perspective view of the corresponding transported object 4.
  • the predetermined height h'of the transported object 4 is defined as the height at which the transport vehicle 3 comes into contact with the transported object 4.
  • the height at which the transport vehicle 3 contacts the transported object 4 is a value known by the standard of the transport vehicle 3.
  • the circumscribed frame R on the upper surface of the conveyed object 4 is specified in the photographed image.
  • the circumscribed frame R specifies the circumscribed frame R as the first specific region R1.
  • the first specific region R1 in the first pattern is a region presumed to indicate the upper surface of the transported object 4.
  • the surveying unit 14 acquires a distance image corresponding to the captured image used to identify the circumscribed frame R of the transported object 4 from the storage unit or the like.
  • the surveying unit 14 acquires the height information z (height information of the first specific region R1) of the feature points P11, P12, P13, and P14 of the circumscribed frame R in the distance image.
  • the surveying unit 14 sets the position x1 of the feature points P11, P12, P13, and P14 specified in the circumscribed frame R in the equation (5), the height h'to h in the equation (5), and the height z to the equation (5).
  • Z and the points x2 in the captured image corresponding to the corresponding points P21, P22, P23, and P24 constituting the region of the transported object 4 at the height h'are calculated.
  • the surveying unit 14 identifies four vertices as feature points P11, P12, P13, and P14, and has a height h'corresponding to feature points P11, P12, P13, and P14.
  • Corresponding points P21, P22, P23, P24 of are calculated using the equation (5).
  • the heights of the feature points P11, P12, P13, and P14 are obtained from the distance information of each pixel of the circumscribed frame R.
  • the heights of the corresponding points P21, P22, P23, and P24 are the heights h'where the predetermined transport vehicle 3 comes into contact with the transport object 4.
  • the surveying unit 14 uses the region connecting the corresponding points P21, P22, P23, and P24 as the second specific region R2 showing the region of the transported object 4 at the height h'when the transport vehicle 3 contacts the transported object 4 in the photographed image. calculate.
  • the surveying unit 14 identifies a plurality of feature points of the circumscribing frame R based on the circumscribing frame R having a shape other than the rectangular shape, and secondly identifies a region connecting the corresponding points corresponding to the plurality of feature points. It may be calculated as region R2.
  • the surveying unit 14 outputs the information of the second specific region R2 showing the region of the transported object 4 at the height h'where the transport vehicle 3 contacts the transported object 4 in the photographed image to the contact position specifying unit 15.
  • the surveying unit 14 determines that the position of the circumscribed frame R of the transported object 4 is the second pattern, the circumscribed frame R includes the upper surface and the side surface of the transported object 4. Therefore, the surveying unit 14 specifies the first specific region R1 indicating the upper surface of the transported object 4 included in the region indicated by the circumscribed frame R as follows.
  • FIG. 12 is a first diagram showing the relationship between the circumscribed frame R and the specific region in the second pattern.
  • the surveying unit 14 specifies the position of the feature point in the circumscribed frame R by a predetermined method based on the shape of the circumscribed frame R and the pattern corresponding to the position of the circumscribed frame R. For example, when the circumscribed frame R is rectangular and the position of the circumscribed frame R is the second pattern, the four vertices P11, P12, P13, and P14 of the circumscribed frame R are specified as feature points.
  • the surveying unit 14 has a distance h (the height of the feature point P13 in the real space and the sensor) indicating the height information of the feature point P13 closest to the center of the captured image among the feature points P11, P12, P13, and P14 specified in the external frame R.
  • the distance from the height of 2) is acquired from the distance image, the background image, or the storage unit.
  • the information in the height direction indicated by the pixels other than the region of the conveyed object 4 or the conveyed vehicle 3 in the distance image or the background image indicates the vertical distance between the height of the floor surface and the height of the sensor 2.
  • the measuring unit 14 sets the distance z, which is the difference between the height of the feature point P11 farthest from the center of the captured image and the height of the sensor 2, among the feature points P11, P12, P13, and P14 specified in the circumscribed frame R. Is acquired from the distance image corresponding to the specified captured image.
  • the distance z is also information indicating the height of each point on the upper surface of the conveyed object 4 including the points in the real space corresponding to the feature points P11.
  • the surveying unit 14 sets the feature point P13 specified in the circumscribed frame R in the captured image as x2 of the equation (5), and sets the height information of the feature point P13 in the real space as h of the equation (5).
  • the height information of the unknown corresponding point P23 on the upper surface corresponding to the horizontal position of the feature point P13 in the real space (corresponding to the information indicating the height of the feature point P11) is set to z in the equation (5), and the photograph is taken.
  • the unknown corresponding point P23 (corresponding to x1 of the equation (5)) in the image is calculated.
  • the surveying unit 14 sets the coordinates of the feature point P12 as x2 of the equation (5), sets the height information of the feature point P12 in the real space as h of the equation (5), and places the feature in the real space.
  • the coordinates of the point P20 (corresponding to x1 of the equation (5)) of the height z corresponding to the horizontal position of the point P12 are obtained, and the line segment connecting P20 and P23 and the line segment connecting P11 and P12 are obtained.
  • the coordinates of the point P22 are calculated as the intersection of the points.
  • the remaining one point of the rectangle stretched by the points P11, P22, and P23 is obtained as the point P24.
  • the surveying unit 14 includes a corresponding point P23 in a captured image indicating a point corresponding to the feature point P13 and a point on the upper surface corresponding to the horizontal position in the real space, and the external frame R connecting the feature points P12, P13, and P14.
  • the intersections (P22, P24) connecting the straight line parallel to the side (the side connecting P12 and P13, the side connecting P13 and P14) and the circumscribing frame are specified as corresponding points.
  • the surveying unit 14 identifies the rectangular region connecting the corresponding points 22, 23, 24 and the feature point P11 indicating the upper surface as the first specific region R1 presumed to indicate the upper surface of the conveyed object 4 in the second pattern. do.
  • the surveying unit sets P11, P22, P23, and P24 as feature points (first corresponding points) of the first specific region R1.
  • FIG. 13 is a second diagram showing the relationship between the external frame R and the specific region in the second pattern.
  • the surveying unit 14 calculates the corresponding points P31, P32, P33, and P34 at the height h'where the transport vehicle 3 comes into contact with the transport object 4, and specifies the second specific region.
  • the surveying unit 14 acquires a distance image corresponding to the captured image used for specifying the circumscribed frame R of the transported object 4 from the storage unit or the like.
  • the surveying unit 14 acquires the height information z of the feature point P11 of the first specific region R1 in the distance image.
  • the surveying unit 14 sets the position of the captured image corresponding to the feature point P11 specified in the first specific region R1 to x1 in the equation (5), and sets the height information of the feature point P11 indicating the upper surface of the transported object 4 as x1.
  • the z of the formula (5) is set, the height h'of the transport vehicle 3 in contact with the transported object 4 is set to h of the formula (5), and they are input to the formula (5).
  • the surveying unit 14 can calculate the position x2 in the captured image corresponding to the corresponding point P31 whose horizontal position corresponds to the feature point P11 in the real space.
  • the surveying unit 14 similarly calculates the corresponding points P32, P33, and P34 of the height h'corresponding to the feature points P22, P23, and P24 when the transport vehicle 3 contacts the transported object 4, using the equation (5). do.
  • the surveying unit 14 shows the region connecting the corresponding points P31, P32, P33, and P34 (second corresponding point) in the photographed image, and shows the region of the transported object 4 at the height h'when the transport vehicle 3 contacts the transported object 4. Calculated as the second specific region R2.
  • the surveying unit 14 identifies a plurality of feature points of the circumscribing frame R based on the circumscribing frame R having a shape other than the rectangular shape, and secondly identifies a region connecting the corresponding points corresponding to the plurality of feature points. It may be calculated as region R2.
  • the surveying unit 14 outputs the information of the second specific region R2 showing the region of the transported object 4 at the height h'where the transport vehicle 3 contacts the transported object 4 in the photographed image to the contact position specifying unit 15.
  • the surveying unit 14 determines that the position of the circumscribed frame R of the transported object 4 is the third pattern, the circumscribed frame R includes the upper surface and the side surface of the transported object 4. Therefore, the surveying unit 14 specifies the first specific region R1 indicating the upper surface of the transported object 4 included in the region indicated by the circumscribed frame R as follows.
  • FIG. 14 is a first diagram showing the relationship between the circumscribed frame R and the specific region in the third pattern.
  • the surveying unit 14 specifies the position of the feature point in the circumscribed frame R by a predetermined method based on the shape of the circumscribed frame R and the pattern corresponding to the position of the circumscribed frame R. For example, when the circumscribed frame R is rectangular and the position of the circumscribed frame R is the third pattern, the four vertices P11, P12, P13, and P14 of the circumscribed frame R are specified as feature points.
  • the surveying unit 14 indicates a distance h (real space of the feature point P13 or P14) indicating the height information of the feature point P13 or P14 closest to the center of the captured image among the feature points P11, P12, P13, and P14 specified in the external frame R.
  • the distance between the height of the sensor 2 and the height of the sensor 2) is acquired from a distance image, a background image, or a storage unit.
  • the information in the height direction indicated by the pixels other than the region of the conveyed object 4 or the conveyed vehicle 3 in the distance image or the background image indicates the vertical distance between the height of the floor surface and the height of the sensor 2.
  • the surveying unit 14 externally attaches a distance z, which is the difference between the height of the feature point P11 or P12 farthest from the center of the captured image and the height of the sensor 2, among the feature points P11, P12, P13, and P14 specified in the external frame R.
  • the frame R is acquired from the distance image corresponding to the specified captured image.
  • the distance z is also information indicating the height of each point on the upper surface of the conveyed object 4 including the points in the real space corresponding to the feature points P11 or P12.
  • the surveying unit 14 sets the feature point P13 specified in the circumscribed frame R in the captured image as x2 of the equation (5), and sets the height information of the feature point P13 in the real space as h of the equation (5).
  • the height information of the unknown corresponding point P23 on the upper surface corresponding to the horizontal position of the feature point P13 in the real space (corresponding to the information indicating the height of the feature point P11) is set to z in the equation (5), and the photograph is taken.
  • the unknown corresponding point P23 (corresponding to x1 of the equation (5)) in the image is calculated.
  • the surveying unit 14 sets the feature point P14 specified in the circumscribed frame R in the captured image as x2 of the equation (5), and sets the height information of the feature point P14 in the real space as h of the equation (5).
  • the height information of the unknown corresponding point P24 on the upper surface corresponding to the horizontal position of the feature point P14 in the real space (corresponding to the information indicating the height of the feature point P11) is set to z in the equation (5).
  • An unknown corresponding point P24 (corresponding to x1 of the equation (5)) in the captured image is calculated.
  • the surveying unit 14 identifies the corresponding points P23'and P24' at which the straight lines of the corresponding points P23 and the corresponding points P24 intersect the circumscribed frame R as the corresponding points in the captured image corresponding to the points on the upper surface of the conveyed object 4.
  • the surveying unit 14 defines a rectangular region connecting the corresponding points 23'and 24'and the feature points P11 and P12 indicating the upper surface as the first specific region R1 presumed to indicate the upper surface of the conveyed object 4 in the third pattern. To specify.
  • the surveying unit sets P11, P12, P23', and P24'as feature points (first corresponding points) of the first specific region R1.
  • the surveying unit 14 calculates the corresponding points P31, P32, P33, and P34 at the height h'where the transport vehicle 3 comes into contact with the transport object 4, and specifies the second specific region.
  • the surveying unit 14 acquires a distance image corresponding to the captured image used for specifying the circumscribed frame R of the transported object 4 from the storage unit or the like.
  • the surveying unit 14 acquires the height information z of the feature point P11 of the first specific region R1 in the distance image.
  • the surveying unit 14 sets the position of the captured image corresponding to the feature point P11 specified in the first specific region R1 to x1 in the equation (5), and sets the height information of the feature point P11 indicating the upper surface of the transported object 4 as x1.
  • the z of the formula (5) is set, the height h'of the transport vehicle 3 in contact with the transported object 4 is set to h of the formula (5), and they are input to the formula (5).
  • the surveying unit 14 can calculate the position x2 in the captured image corresponding to the corresponding point P31 whose horizontal position corresponds to the feature point P11 in the real space.
  • the surveying unit 14 similarly uses the equation (5) for the corresponding points P32, P33, and P34 of the height h'corresponding to the feature points P12, P23', and P24', in which the transport vehicle 3 contacts the transported object 4. To calculate.
  • the surveying unit 14 shows the region connecting the corresponding points P31, P32, P33, and P34 (second corresponding point) in the photographed image, and shows the region of the transported object 4 at the height h'when the transport vehicle 3 contacts the transported object 4. Calculated as the second specific region R2.
  • the surveying unit 14 identifies a plurality of feature points of the circumscribing frame R based on the circumscribing frame R having a shape other than the rectangular shape, and secondly identifies a region connecting the corresponding points corresponding to the plurality of feature points. It may be calculated as region R2.
  • the surveying unit 14 outputs the information of the second specific region R2 showing the region of the transported object 4 at the height h'where the transport vehicle 3 contacts the transported object 4 in the photographed image to the contact position specifying unit 15.
  • the surveying unit 14 determines that the position of the circumscribed frame R of the transported object 4 is the third pattern, the circumscribed frame R includes the upper surface and the side surface of the transported object 4. Therefore, the surveying unit 14 specifies the first specific region R1 indicating the upper surface of the transported object 4 included in the region indicated by the circumscribed frame R as follows.
  • FIG. 15 is a second diagram showing the relationship between the circumscribed frame R and the specific region in the third pattern.
  • the surveying unit 14 specifies the position of the feature point in the circumscribed frame R by a predetermined method based on the shape of the circumscribed frame R and the pattern corresponding to the position of the circumscribed frame R. For example, when the circumscribed frame R is rectangular and the position of the circumscribed frame R is the third pattern, the four vertices P11, P12, P13, and P14 of the circumscribed frame R are specified as feature points.
  • the surveying unit 14 indicates a distance h (real space of the feature point P12 or P13) indicating the height information of the feature point P12 or P13 closest to the center of the captured image among the feature points P11, P12, P13, and P14 specified in the external frame R.
  • the distance between the height of the sensor 2 and the height of the sensor 2) is acquired from a distance image, a background image, or a storage unit.
  • the information in the height direction indicated by the pixels other than the region of the conveyed object 4 or the conveyed vehicle 3 in the distance image or the background image indicates the vertical distance between the height of the floor surface and the height of the sensor 2.
  • the surveying unit 14 circumscribes the distance z, which is the difference between the height of the feature points P11 or P14 farthest from the center of the captured image and the height of the sensor 2 among the feature points P11, P12, P13, and P14 specified in the circumscribed frame R.
  • the frame R is acquired from the distance image corresponding to the specified photographed image.
  • the distance z is also information indicating the height of each point on the upper surface of the conveyed object 4 including the points in the real space corresponding to the feature points P11 or P14.
  • the surveying unit 14 sets the feature point P12 specified in the circumscribed frame R in the captured image as x2 of the equation (5), and sets the height information of the feature point P12 in the real space as h of the equation (5).
  • the height information of the unknown corresponding point P24 on the upper surface corresponding to the horizontal position of the feature point P14 in the real space (corresponding to the information indicating the height of the feature point P11) is set to z in the equation (5), and the photograph is taken.
  • the unknown corresponding point P22 (corresponding to x1 of the equation (5)) in the image is calculated.
  • the surveying unit 14 sets the feature point P13 specified in the circumscribed frame R in the captured image as x2 of the equation (5), and sets the height information of the feature point P13 in the real space as h of the equation (5).
  • the height information of the unknown corresponding point P23 on the upper surface corresponding to the horizontal position of the feature point P13 in the real space (corresponding to the information indicating the height of the feature point P11) is set to z in the equation (5).
  • An unknown corresponding point P23 (corresponding to x1 of the equation (5)) in the captured image is calculated.
  • the surveying unit 14 identifies the corresponding points P22'and P23' at which the straight lines of the corresponding points P22 and the corresponding points P23 intersect the circumscribed frame R as the corresponding points in the captured image corresponding to the points on the upper surface of the conveyed object 4.
  • the surveying unit 14 defines a rectangular region connecting the corresponding points P22'and P23'and the feature points P11 and P14 indicating the upper surface as the first specific region R1 presumed to indicate the upper surface of the conveyed object 4 in the third pattern. To specify.
  • the surveying unit 14 sets P11, P22', P23', and P14 as feature points (first corresponding points) of the first specific region R1.
  • the surveying unit 14 acquires a distance image corresponding to the captured image used to identify the circumscribed frame R of the transported object 4 from the storage unit or the like.
  • the surveying unit 14 acquires the height information z of the feature point P11 of the first specific region R1 in the distance image.
  • the surveying unit 14 sets the position of the captured image corresponding to the feature point P11 specified in the first specific region R1 to x1 in the equation (5), and sets the height information of the feature point P11 indicating the upper surface of the transported object 4 as x1.
  • the z of the formula (5) is set, the height at which the transport vehicle 3 contacts the transported object 4 is set to h of the formula (5), and they are input to the formula (5).
  • the surveying unit 14 can calculate the position x2 in the captured image corresponding to the corresponding point P31 whose horizontal position corresponds to the feature point P11 in the real space.
  • the surveying unit 14 similarly uses the equation (5) for the corresponding points P32, P33, and P34 of the height h'corresponding to the feature points P22', P23', and P14, where the transport vehicle 3 contacts the transported object 4. To calculate.
  • the surveying unit 14 shows the region connecting the corresponding points P31, P32, P33, and P34 (second corresponding point) in the photographed image, and shows the region of the transported object 4 at the height h'when the transport vehicle 3 contacts the transported object 4. Calculated as the second specific region R2.
  • the surveying unit 14 identifies a plurality of feature points of the circumscribing frame R based on the circumscribing frame R having a shape other than the rectangular shape, and secondly identifies a region connecting the corresponding points corresponding to the plurality of feature points. It may be calculated as region R2.
  • the surveying unit 14 outputs the information of the second specific region R2 showing the region of the transported object 4 at the height h'where the transport vehicle 3 contacts the transported object 4 in the photographed image to the contact position specifying unit 15.
  • the processing of the first specific region R1 of the surveying unit 14 in the second pattern and the third pattern described above is the relationship between the four feature points in the circumscribed frame R (object inclusion region) and the height information of the four feature points.
  • the four first correspondence points at the height of the upper surface are calculated based on the above, and the first specification indicating the area of the object corresponding to the height of the upper surface of the specific regions based on the four first correspondence points. This is one aspect of the process of specifying the region.
  • the horizontal coordinates of the first corresponding point at the height of the contact position of the object, which is the second predetermined height, and the coordinates of the height indicate the coordinates of the height of the contact position.
  • four second corresponding points at the height of the contact position are calculated, and among the specific regions based on the four second corresponding points. It is one aspect of the process of specifying the second specific area indicating the area of the object corresponding to the height of the contact position of.
  • FIG. 16 is a schematic configuration diagram of a control system including the control device according to the second embodiment.
  • the conveyed object 4 is placed and moved on the belt conveyor 5 provided in the control system, and the control device included in the control system identifies the contact position with respect to the conveyed object 4, and the robot 6 provided in the control system.
  • the control may be performed based on the contact position of the conveyed object 4.
  • the control device 1 obtains the image information including the conveyed object 4 based on the change of the image information including the conveyed object 4 and the image information including the conveyed object 4.
  • the circumscribed frame R object inclusion area indicating the area where the pixel information including the conveyed object 4 has changed is specified.
  • the control device 1 identifies the circumscribed frame R of the conveyed object 4, the first specific area R1 (the area on the upper surface), and the second specific area R2 (the area at the height of the contact position).
  • the contact position is specified based on the second specific area R2.
  • the contact position of the conveyed object 4 of the robot 6 is such that the traveling direction of the belt conveyor 5 and the opposite sides formed by a small angle between the rectangular sides are opposed to each other. It may be specified, and the center of each of the two sides may be specified as the contact position.
  • the control device 1 may control the robot 6 to grasp its contact position.
  • the contact position of the transported object 4 is specified in the above-described embodiment, the contact position of another object may be specified.
  • the other object is a welding object or a decorative object, and the control device 1 specifies the contact position (welding position) of the welding object and the contact position (decorative position) of the decorative object. May be good.
  • the object surveying system includes a surveying device that is communicatively connected to a sensor 2 that acquires height information of an object and image information of the object. Similar to each of the above-described embodiments, the surveying device is a region in which the pixel information including the object is changed in the image information including the object based on the change in the image information not including the object and the image information including the object.
  • the object inclusion area indicating the above is specified, and the specific area at a predetermined height of the object included in the object inclusion area is specified based on the object inclusion area and the height information.
  • FIG. 17 is a schematic configuration of a transport system according to a third embodiment.
  • the transport system includes a control device 1, a sensor 2, a transport vehicle 3, and a transport 4.
  • the control device 1 is communicably connected to each of the sensor 2 and the transport vehicle 3 via a network.
  • FIG. 18 is a schematic configuration diagram of the control device 1 according to the third embodiment.
  • the control device 1 controls the transport vehicle 3.
  • the control device 1 is an information processing device such as a computer.
  • the control device 1 may be realized by cloud computing.
  • the control device 1 includes a contact position specifying unit 151 and a control unit 152.
  • the contact position specifying unit 151 specifies the contact position with respect to the transported object 4 that the transport vehicle 3 contacts when transporting the transported object 4 based on the information regarding the transported object 4.
  • the control unit 152 controls the transport vehicle 3 based on the contact position of the transport object 4.
  • the sensor acquires information about the transported object 4.
  • FIG. 19 is a diagram showing a processing flow by the control device 1 according to the third embodiment.
  • the contact position specifying unit 151 specifies the contact position of the transported object 4 by the transport vehicle 3 based on the information regarding the transported object 4 (step S1611).
  • the control unit 152 controls the transport vehicle 3 based on the contact position of the transport object 4 (step S1612).
  • the above-mentioned control device 1 has a computer system inside.
  • the process of each process described above is stored in a computer-readable recording medium in the form of a program, and the process is performed by the computer reading and executing this program.
  • the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • this computer program may be distributed to a computer via a communication line, and the computer receiving the distribution may execute the program.
  • the above program may be for realizing a part of the above-mentioned functions.
  • a so-called difference file difference program
  • difference program difference program
  • a transport system including a transport vehicle for transporting a transported object, a sensor for acquiring information on the transported object, and a control device for controlling the transported vehicle. Based on the information about the transported object, the contact position with respect to the transported object that the transport vehicle comes into contact with when transporting the transported object is specified. A transport system that controls the transport vehicle based on the contact position.
  • Appendix 2 The transport system according to Appendix 1, wherein the information regarding the transported object includes image information obtained by photographing the transported object and height information of the transported object.
  • Appendix 3 The transport system according to Appendix 1, wherein the control device controls the transport vehicle based on a contact position indicating the center of a side surface of the transport object.
  • the sensor measures the image information and the distance information of each position of the conveyed object, and measures the image information.
  • Appendix 6 The transport system according to Appendix 5, wherein the control device identifies a side surface for sandwiching the transported object by the plurality of transport vehicles, and controls each of the plurality of transport vehicles based on a contact position corresponding to the side surface. ..
  • a communication connection is made between the transport vehicle that transports the transported object and the sensor that acquires information about the transported object. Based on the information about the transported object, the contact position with respect to the transported object that the transport vehicle comes into contact with when transporting the transported object is specified.
  • a control device that controls the transport vehicle based on the contact position.
  • Appendix 8 The control device according to Appendix 7, wherein the information regarding the transported object includes image information obtained by photographing the transported object and height information of the transported object.
  • Appendix 9 The control device according to Appendix 7, which controls the transport vehicle based on a contact position indicating the center of a side surface of the transport object.
  • the sensor measures the image information and the distance information of each position of the conveyed object, and measures the image information.
  • the control device which specifies the contact position based on the image information and the distance information.
  • Appendix 12 The control device according to Appendix 11, wherein a side surface for sandwiching the transported object is specified by the plurality of transport vehicles, and each of the plurality of transport vehicles is controlled based on a contact position corresponding to the side surface.
  • a communication connection is made between the transport vehicle that transports the transported object and the sensor that acquires information about the transported object. Based on the information about the transported object, the contact position with respect to the transported object that the transport vehicle comes into contact with when transporting the transported object is specified. A control method for controlling the transport vehicle based on the contact position.
  • Appendix 14 The control method according to Appendix 13, wherein the information regarding the transported object includes image information obtained by photographing the transported object and height information of the transported object.
  • Appendix 15 The control method according to Appendix 13 for controlling the transport vehicle based on a contact position indicating the center of a side surface of the transport object.
  • the sensor measures the image information and the distance information of each position of the conveyed object, and measures the image information.
  • Appendix 18 The control method according to Appendix 17, wherein a side surface for sandwiching the transported object is specified by the plurality of transport vehicles, and each of the plurality of transport vehicles is controlled based on a contact position corresponding to the side surface.
  • a control system including a robot that comes into contact with an object, a sensor that acquires information about the object, and a control device that controls the robot. Based on the information about the object, the robot identifies the contact position with respect to the object in contact with the object, and determines the contact position with respect to the object. A control system that controls the robot based on the contact position.
  • Appendix 20 Communicate and connect to a robot that comes into contact with an object and a sensor that acquires information about the object. Based on the information about the object, the robot identifies the contact position with respect to the object in contact with the object, and determines the contact position with respect to the object. A control device that controls the robot based on the contact position.
  • a control device that communicates and connects to a robot that comes into contact with an object and a sensor that acquires information about the object. Based on the information about the object, the robot identifies the contact position with respect to the object in contact with the object, and determines the contact position with respect to the object. A control method for controlling the robot based on the contact position.
  • a surveying device that communicates and connects to a sensor that acquires the height information of the object and the image information of the object An object inclusion area indicating a region in which the pixel information including the object is changed in the image information including the object based on the change between the image information not including the object and the image information including the object. Identify and An object surveying system that identifies a specific region at a predetermined height of the object included in the object inclusion region based on the object inclusion region and the height information.
  • the surveying device is The relationship between the feature point in the object inclusion region and the height information of the feature point, and the corresponding point at the predetermined height corresponding to the feature point and the horizontal position and the height information indicated by the predetermined height.
  • the surveying device is The relationship between the plurality of feature points in the object inclusion region and the height information of the plurality of feature points, and the plurality of corresponding points and the predetermined heights at the predetermined heights whose horizontal positions correspond to the feature points
  • the object survey system according to Appendix 22 which calculates a plurality of the corresponding points at the predetermined height based on the relationship with the indicated height information, and specifies the specific area based on the plurality of corresponding points.
  • the surveying device is The relationship between the plurality of feature points in the object inclusion region and the height information of the plurality of feature points, and the horizontal position at the feature points at the height of the upper surface of the object, which is the first predetermined height. Based on the relationship between the plurality of corresponding first correspondence points and the height information indicated by the height of the upper surface, the plurality of first correspondence points at the height of the upper surface are calculated, and the plurality of first correspondence points are calculated.
  • the first specific region indicating the region of the object corresponding to the height of the upper surface of the specific region is specified based on the above.
  • the relationship between the height information of the plurality of first correspondence points and the plurality of first correspondence points in the first specific region, and the second height of the contact position of the object, which is the second predetermined height, is the first.
  • a plurality of the second corresponding points at the height of the contact position are calculated based on the relationship between the plurality of second corresponding points whose horizontal positions correspond to one corresponding point and the height information indicated by the height of the contact position.
  • a communication connection is made to a sensor that acquires the height information of the object and the image information of the object.
  • An object inclusion area indicating a region in which the pixel information including the object is changed in the image information including the object based on the change between the image information not including the object and the image information including the object.
  • Identify and A surveying device that identifies a specific region at a predetermined height of the object included in the object inclusion region based on the object inclusion region and the height information.
  • a surveying device that communicates and connects to a sensor that acquires the height information of the object and the image information of the object An object inclusion area indicating a region in which the pixel information including the object is changed in the image information including the object based on the change between the image information not including the object and the image information including the object. Identify and An object surveying method for specifying a specific region at a predetermined height of the object included in the object inclusion region based on the object inclusion region and the height information.
  • Control device Surveying device 2 ... Sensor 3 ... Transport vehicle 4 ... Transport (object) 5 ... Belt conveyor 6 ... Robot 11 ... Image information acquisition unit 12 ... Distance information acquisition unit 13 ... Difference detection unit 14 ... Survey unit 15 ... Contact position identification unit 16 ... ⁇ ⁇ Conveyor control unit 17 ⁇ ⁇ ⁇ Display unit 100 ⁇ ⁇ ⁇ Conveyor system (object survey system) 151 ... Contact position specifying unit 152 ... Control unit 200 ... Control system (object surveying system)

Abstract

搬送物を搬送する搬送車と、搬送物に関する情報を取得するセンサと、搬送車を制御する制御装置とを含む搬送システムが、搬送物に関する情報に基づいて搬送車が搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、接触位置に基づいて搬送車を制御する。

Description

搬送システム、制御装置、制御方法
 本発明は、搬送システム、制御装置、制御方法に関する。
 搬送物の搬送にロボットが利用されることが多い。ロボットを用いて搬送物を搬送する搬送システムの技術が特許文献1に開示されている。
 特許文献1には、ロボットの押し搬送を効率的かつ安定的に実行可能なアルゴリズムとしての一例が開示されている。この特許文献1の技術では、ロボットの移動方向を制御する技術が開示されている。
特開2011-108003号公報
 ところで搬送物を搬送する際には搬送物を搬送する搬送車が搬送物に接触する位置を特定する必要がある。
 そこでこの発明は、上述の課題を解決する搬送システム、制御装置、制御方法を提供することを目的としている。
 本発明の第1の態様によれば、搬送システムは、搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、前記搬送車を制御する制御装置とを含む搬送システムであって、前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、前記接触位置に基づいて前記搬送車を制御する。
 本発明の第2の態様によれば、制御装置は、搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、前記接触位置に基づいて前記搬送車を制御する。
 本発明の第3の態様によれば、制御方法は、搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、前記接触位置に基づいて前記搬送車を制御する。
 本発明によれば、搬送物を搬送する搬送車が搬送物に接触する位置を特定することができる。
本発明の一実施形態による搬送システムの概略構成図である。 本発明の一実施形態による制御装置のハードウェア構成図である。 本発明の一実施形態による制御装置の機能ブロック図である。 本発明の一実施形態による搬送システムの処理フローを示す図である。 本発明の一実施形態による接枠Rを検出した位置のパターンを示す図である。 本発明の一実施形態による外接枠Rの位置が第一パターンである場合の搬送物の撮影状態を示す図である。 本発明の一実施形態による外接枠Rの位置が第二~第三パターンである場合の搬送物の撮影状態を示す図である。 本発明の一実施形態による接触位置の特定概要を示す図である。 本発明の一実施形態による表示情報の例を示す図である。 本発明の一実施形態による所定の高さにおける搬送物の位置の算出概要を示す図である。 本発明の一実施形態による第一パターンにおける外接枠Rと特定領域との関係を示す図である。 本発明の一実施形態による第二パターンにおける外接枠Rと特定領域との関係を示す第一の図である。 本発明の一実施形態による第二パターンにおける外接枠Rと特定領域との関係を示す第二の図である。 本発明の一実施形態による第三パターンにおける外接枠Rと特定領域との関係を示す第一の図である。 本発明の一実施形態による第三パターンにおける外接枠Rと特定領域との関係を示す第二の図である。 本発明の第2の実施形態における制御装置を備えた制御システムの概略構成図である。 本発明の第3の実施形態に係る搬送システムの概略構成である。 本発明の第3の実施形態に係る制御装置の概略構成図である。 本発明の第3の実施形態に係る制御装置による処理フローを示す図である。
 以下、本発明の一実施形態による搬送システムを図面を参照して説明する。
 図1は本実施形態による搬送システムの概略構成図である。
 図1で示すように、搬送システム100は、制御装置1、センサ2、搬送車3を含んで構成される。
 センサ2は搬送物4に関する情報を測定する。センサ2は、測定した搬送物4に関する情報を制御装置1へ送信する。センサ2は、より詳細には、搬送車3が移動可能なフィールド内を撮像する装置である。センサ2とは、例えば、デプスカメラやステレオカメラである。センサ2は搬送車3が走行する床面を撮影する。本実施形態においてセンサ2は、センサ2の設置された天井近傍から床面へ向けた下方の軸を中心とする範囲の画像情報と距離情報を測定する。センサ2は、センサ2の測定範囲を撮影した画像情報と、センサ2の測定範囲の各位置までの距離を示す距離情報を生成する。距離情報は、例えば測定範囲の画像情報の各画素に対応するセンサ2からの距離を示す。
 制御装置1は搬送車3を制御する。制御装置1は、取得する情報を基に、搬送車3を制御する。制御装置1は、搬送物4を測定するセンサ2、搬送車3と通信接続する。制御装置1はセンサ2から画像情報と距離情報を取得する。制御装置1は搬送物4に関する情報(画像情報と距離情報)に基づいて搬送車3が搬送物4の搬送の際に当該搬送物4に接触する位置を特定し、その接触する位置に基づいて搬送車3を制御する。制御装置1は一台の搬送車3を制御してもよいし、複数台の搬送車3を制御してもよい。搬送車3はロボットの一態様である。
 図2は、本実施形態による制御装置のハードウェア構成図である。
 図2で示すように、制御装置1は、演算処理部101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶部104、通信モジュール105等の各ハードウェアを備えたコンピュータサーバである。
 演算処理部101は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等である。記憶部104は、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、またはメモリカード等である。また、記憶部104は、RAMやROM等のメモリであってもよい。通信モジュール105は、外部の装置との間でデータを送受信する。例えば、通信モジュール105は、有線通信路または無線通信路を介して外部装置と通信する。
 図3は、本実施形態による制御装置の機能ブロック図である。
 制御装置1は、電源が投入されると起動し、予め記憶する制御プログラムを実行する。これにより制御装置1は、画像情報取得部11、距離情報取得部12、差分検出部13、測量部14、接触位置特定部15、搬送制御部16、表示部17の各機能を発揮する。
 搬送物4は、搬送される対象物であり、一例としては、荷物が載せられたカートや台車などである。搬送車3は、制御装置1の制御に基づいて、搬送物4を搬送する。搬送車3は、搬送車3が搬送物4に接触する位置を示す接触位置の情報を制御装置1から受信し、当該接触位置を押すまたは引くなどして搬送物4を搬送する。
 ここで、センサ2が上方から下方にある搬送物4を撮影した場合、センサ2と搬送物4の位置関係によって、搬送物4の側面が撮影画像に含まれない場合と、含まれる場合とがある。例えば、センサ2の測定範囲の中心近傍に搬送物4がある場合、搬送物4の上面が撮影画像に映り、側面は映らない。他方、センサ2の測定範囲の中心から離れた位置に搬送物4がある場合、斜め上方から搬送物4を撮影することとなるため、搬送物4の上面と側面とが撮影画像に映る。つまり、制御装置1が撮影画像を用いて搬送物4が映る撮影画像内の領域を検出する際、搬送物4の位置に応じて、その領域に側面が含まれない場合と含まれる場合が発生する。また搬送物4までの距離がセンサ2に近いほど、上面の領域が広く撮影画像に映る。従って、搬送物4の高さ(センサ2からの距離)や、搬送物4とセンサ2との位置関係に応じて撮影画像に映る搬送物4の全体の領域が異なる場合であっても、制御装置は、搬送車3が搬送物4に接触できる予め規定された高さにおける接触位置を、精度高く算出する必要がある。
 図4は、本実施形態による搬送システムの処理フローを示す図である。
 次に、搬送システム100の処理フローについて順を追って説明する。
 まず、センサ2は毎秒30フレームなどの数の画像情報を制御装置1へ送信する。またセンサ2は毎秒30フレームなどの数の距離情報を制御装置1へ送信する。センサ2が送信する画像情報と距離情報のタイミングは一致しているものとする。画像情報と距離情報とは同じ領域の情報を示す。
 制御装置1の画像情報取得部11は、画像情報を取得する(ステップS101)。制御装置1の距離情報取得部12は距離情報を取得する(ステップS102)。
 画像情報取得部11は、画像情報に基づいて背景画像を生成し、RAM103等の記憶部に記録する。背景画像の生成および記録は、搬送物4を検出するより前に行われていてよい。例えば、画像情報取得部11は、搬送システム100が動作を開始した時点で行われても良いし、搬送システムの管理者が記録を指示したタイミングで行われても良い。背景画像は搬送車3や搬送物4やその他の異物が測定範囲に含まれない場合の画像情報である。画像情報取得部11は、記憶部に背景画像が記憶されている場合には、センサ2から受信した画像情報を差分検出部13へ出力する。距離情報取得部12はセンサ2から受信した距離情報をRAM103等の記憶部に記録する。なお画像情報取得部11と距離情報取得部12は、センサ2の送信タイミングが対応する画像情報と距離情報の関係が紐づくようにそれぞれにID等を付与してよい。
 差分検出部13は、画像情報取得部11から受信した画像情報と背景画像との差分を示す差分情報を生成する。具体的には、差分検出部13は画像情報を取得すると、その画像情報と背景画像とを比較する。差分検出部13は、画像情報と背景画像とで変化が生じている領域を示す差分情報を生成する(ステップS103)。差分検出部13は、例えば、画像情報と背景画像とをそれぞれ各画素の輝度に基づいて「0」と「1」を示す画素に2値化し、それら2値化した画像情報と、2値化した背景画像との各画素の差分を示す差分情報を生成する。この差分情報において差分が「1」を示す画素は、何らかの物体が測定範囲に位置していることを示す。差分検出部13は、差分情報を測量部14へ出力する。
 測量部14は、取得した差分情報に、搬送物4が含まれるかを判定する(ステップ104)。例えば、測量部14は、搬送車3が測定範囲に位置するかを判定し、差分情報に搬送車3以外の情報が含まれる場合に、搬送物4が含まれていると判定する。
 搬送車3の位置情報は、搬送車3が検出して制御装置1へ送信してもよいし、センサ2が搬送車3の位置を検出して制御装置1へ送信してもよい。測量部14は、搬送車3の位置情報と、予め記憶しているセンサ2が測定する測定範囲の位置情報と比較することで、搬送車3が測定範囲に位置するかを判定する。
 また、測量部14は、予め記憶している搬送車3の特徴(輝度、大きさ等)を用いて、画像情報から搬送車3の位置を検出し、測定範囲内に位置するかを特定してもよい。なお、測量部14が搬送車3の位置を検出する方法は、上記に限られるものではない。
 測量部14は搬送車3が測定範囲に位置する場合には、差分情報が示す測定範囲における搬送車3の領域をマスクして、差分情報を生成するようにしてもよい。
 なお、上記では測量部14が、搬送車3が測定範囲に位置するかを判定し、差分検出部13から取得した差分情報に搬送車3以外の情報が含まれる場合に、搬送物4が含まれるかを判定したが、搬送物4が含まれるかの特定は上記に限らない。
 例えば、測量部14は、搬送物4や搬送車3が測定範囲に含まれる場合であっても、搬送物4の規定の大きさの情報に基づいて、差分情報に、搬送物4が含まれるかを判定するようにしてもよい。
 測量部14は、搬送物4を包含する包含領域を特定する。例えば、測量部14は、差分情報において差分があることを示す画素の纏まりの領域の大きさを判定する。測量部14は、差分情報において差分が1を示す画素の纏まりの領域が、一定以上の大きさを有する場合、その領域の外枠を搬送物4の外接枠Rであると特定する(ステップS105)。外接枠Rは、測定対象である搬送物4の上面や側面を包含する包含領域の枠を示す。なお、概説枠Rの特定方法は、上記の方法に限られず、測量部14は他の手法により差分情報に含まれる搬送物4の領域の外接枠Rを判定してよい。
 図5は測定範囲において外接枠Rを検出した位置のパターンを示す図である。
 本実施形態において測量部14が検出した外接枠Rの撮影画像における位置のパターンが、第一パターンから第三パターンの何れのパターンかを判定する(ステップS106)。以降、センサ2による測定範囲を、測定範囲の中心を通る垂直線51と水平線52で区分けして、右上を第一領域、左上を第二領域、左下を第三領域、右下を第四領域として説明する。
 図5(1)は、外接枠Rの位置の第一パターンを示している。第一パターンは、外接枠Rの4つの頂点が、第一から第四領域のそれぞれに含まれるパターンである。第一パターンは、搬送物4を含む外接枠Rが中央に位置する場合に現れるパターンである。
 図5(2)は、外接枠Rの位置の第二パターンを示している。第二パターンは、外接枠Rの4つの頂点全てが、第一領域から第四領域のうちの一つの領域に含まれるパターンである。第二パターンは、搬送物4を含む外接枠Rが第一領域~第四領域のうちの何れかの領域のみに現れるパターンである。
 図5(3),図5(4)は、外接枠Rの位置の第三パターンを示している。第三パターンは、外接枠Rの4つの頂点が、2つの領域にそれぞれ位置するパターンである。図5(3)で示す第三パターンは、搬送物4を含む外接枠Rが第一領域と第二領域に跨る場合と、第三領域と第四領域にまたがる場合が含まれる。図5(4)で示す第三パターンは、搬送物4を含む外接枠Rが第二領域と第三領域に跨る場合と、第一領域と第四領域にまたがる場合が含まれる。
 図6は外接枠Rの位置が第一パターンである場合の搬送物の撮影状態を示す図である。
 測量部14が検出した外接枠Rの位置が第一パターンである場合、搬送物4の上面が撮影画像に映り、側面は撮影画像に映らない。また搬送物4の上面がセンサ2に近いほど、上面の撮影画像における領域は広くなる。
 図7は外接枠Rの位置が第二パターンまたは第三パターンである場合の搬送物の撮影状態を示す図である。
 測量部14が検出した外接枠Rの位置が第二パターンである場合、図7(2)で示すように、搬送物4の上面と、センサ2の位置と直線で結ぶことのできる搬送物4の面とが、撮影画像に映る。測量部14が検出した外接枠Rの位置が第三パターンである場合には図7(3)、図7(4)のように撮影画像に映る。
 測量部14は、外接枠Rの範囲内の画素の座標が、測定範囲の中心を通る垂直線と水平線で区分けされる第一領域~第四領域の4つの領域全てに含まれる場合、第一パターンであると判定する。測量部14は、外接枠Rの範囲内の画素の座標の全てが、測定範囲の中心を通る垂直線と水平線で区分けされる第一領域~第四領域の4つの領域のうちの一つの領域のみに含まれる場合、第二パターンであると判定する。測量部14は、外接枠Rの範囲内の画素の座標が、測定範囲の中心を通る垂直線51を隔てた2つの領域に位置する場合、または外接枠Rの範囲内の画素の座標が、測定範囲の中心を通る水平線52を隔てた2つの領域に位置する場合、第三パターンであると判定する。
 測量部14は、撮影画像中の搬送物4の上面を示す第一特定領域R1を特定する(ステップS107)。具体的には、測量部14は、外接枠Rにおいて特定した複数の外接枠Rの撮影画像に現れている特徴点と当該複数の外接枠Rの特徴点の高さ情報との関係と、外接枠Rの特徴点の水平方向の座標(水平位置)に一致し、かつ高さの座標が異なる所定の高さにおける撮影画像に現れている対応点とその所定の高さが示す高さ情報との関係と、に基づいて、所定の高さにおける対象物の面を構成する複数の対応点を算出する。所定の高さにおける対象物の面を構成する複数の対応点は、撮影画像に現れていない推定した対応点を含む。測量部14は、当該複数の対応点に基づいて撮影画像中の搬送物4の上面を示す第一特定領域R1を特定する。
 測量部14は第一特定領域に基づいて、搬送車3が搬送物4に接触する高さにおける搬送物4の領域を撮影画像において示す第二特定領域R2を特定する(ステップS108)。
 接触位置特定部15は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を取得する。接触位置特定部15は第二特定領域R2が示す特徴点の情報を取得する。接触位置特定部15は、第二特定領域R2が示す特徴点の情報に基づいて、搬送車3が搬送物4に接触する撮影画像における位置を特定する(ステップS109)。
 図8は接触位置の特定概要を示す図である。
 一例として、接触位置特定部15は、第二特定領域R2の矩形が特徴点P21、P22、P23、P24を示す場合、第二特定領域R2のいずれかの辺の中央を、搬送車3が搬送物4に接触する撮影画像における接触位置T1と特定する。例えば、接触位置特定部15は、搬送方向D側の特徴点P21とP22を結ぶ第一の辺と、特徴点P22とP23とを結ぶ第二の辺を特定し、それら辺の法線のうち、搬送方向Dとの成す角度が小さい第二の辺の中央を、搬送車3が搬送物4に接触する撮影画像における接触位置T1と特定する。接触位置特定部15は、搬送制御部16に、接触位置T1を出力する。例えば、搬送車3は、搬送物4の接触位置T1において搬送物4に接触し、搬送方向Dに搬送物4をけん引する。
 接触位置特定部15は、第二特定領域R2の辺のうち、搬送方向Dと反対側であって搬送方向との成す角度が小さい法線を有する辺の中央T2を、搬送車3が搬送物4に接触する撮影画像における接触位置Pと特定してもよい。つまり、接触位置特定部15は、搬送方向Dと反対側の特徴点P21とP24を結ぶ第三の辺と、特徴点P24とP23とを結ぶ第四の辺を特定し、その辺のうち、搬送方向Dとの成す角度が小さい法線を有する第三の辺の中央を、搬送車3が搬送物4に接触する撮影画像における接触位置T2と特定する。接触位置特定部15は、搬送制御部16に、接触位置T2を出力する。この場合、搬送車3は、搬送物4の接触位置において搬送物4と接触し、搬送方向Dに搬送物4を押し進む。
 搬送制御部16は、撮影画像における接触位置T1とT2を実空間における接触位置T1’とT2’に変換する(ステップS110)。例えば、搬送制御部16は、撮影画像が示す仮想空間における座標と、実空間の座標との関係を予め記憶しておき、該対応関係に基づいて、接触位置T1とT2を実空間における接触位置T1’とT2’に変換する。
 搬送制御部16は、実空間における接触位置T1’とT2’と、搬送物4の搬送方向とを、搬送車3へ送信する(ステップS111)。搬送車3は、接触位置T1’とT2’に向けて移動し、当該接触位置T1’,T2’に対して接触し、搬送物を搬送方向へ搬送する。
 上記の説明において、搬送物4は2台の搬送車3で搬送することで説明したが、複数台の搬送車3が搬送システム100に通信接続し、複数台の搬送車3で搬送物4を搬送してもよいし、1台の搬送車が搬送システム100に通信接続し、1台の搬送車3で搬送物4を搬送しても良い。例えば、搬送物4を4台の搬送車3で、搬送物4に四方から接触して搬送してもよいし、1台の搬送車3が搬送物4の何れかの面に接触してけん引または押し込むように搬送しても良い。例えば、図8の例を用いて説明すると、搬送制御部16は、第一の搬送車3に接触位置T1を送信し、第二の搬送車3に接触位置T3を送信する。また搬送制御部16は、搬送方向Dを第一の搬送車3と第二の搬送車3に送信する。第一の搬送車3は搬送物4の接触位置T1に接触する。第二の搬送車3は搬送物4の接触位置T2に接触する。第一の搬送車3と第二の搬送車3は、搬送物4を互いに挟み込んで搬送方向へ搬送物4を搬送する。
 上記の説明において、搬送車3は搬送物4に接触すると記載したが、搬送車3が搬送物4に作用する方法を限定するものではない。搬送車3は、例えば、搬送物4に搬送車の器具を押し当てても良いし、搬送物4の凹みや突起に器具を接続したり押し込み(はめ込み)したり、搬送物4からの衝撃を受け止めるようにしたりしてもよいし。また、搬送車3は、2方向から搬送物4を挟み込む器具で搬送物4を掴み、けん引してもよい。
 例えば、第一の搬送車3と第二の搬送車3がそれぞれ搬送物4に接触して搬送物4を搬送する場合には、第二の搬送車3は接触位置T2に第一の力F1を加えて進行方向に進む。第一の搬送車3は接触位置T1に第一の力F1よりも小さい第二の力F2を加えて第一の搬送車3と同じ速度で同じ搬送方向に進む。これにより、第一の搬送車3と第二の搬送車3の2第で搬送物4を搬送する。また例えば、第一の搬送車3が接触位置T1に接続してけん引し、第二の搬送車3が接触位置T2に力を加えて搬送物4にふらつきが無いよう制御しながら搬送方向に進んでもよい。または第二の搬送車3が接触位置T2に接続して搬送方向に押し進み、第一の搬送車3が接触位置T1に力を加えて搬送物4にふらつきが無いよう制御しながら搬送方向に進んでもよい。
 上述の搬送システムの処理によれば、搬送車が搬送物に接触する位置を特定することができる。また上述の搬送システムの処理によれば、搬送車が搬送物に接触位置をより精度高く特定することができる。さらに上述の搬送システム100の処理によれば、搬送物4の高さ(センサ2からの距離)や、搬送物4とセンサ2との位置関係に応じて撮影画像に映る搬送物4の領域が異なる場合であっても、搬送車3が搬送物4に接触できる予め規定された高さにおける接触位置を、より精度高く算出することができる。
 図9は表示情報の例を示す図である。
 表示部17は、制御装置1にて特定された情報を所定の出力先に出力する。表示部17は、例えば、処理対象となった撮影画像、測量部14から外接枠R、第一特定領域R1、第二特定領域R2を取得する。また表示部17は当該第二特定領域R2に基づいて算出された接触位置を取得する。表示部17は、撮影画像と、外接枠R、第一特定領域R1、第二特定領域R2、接触位置の情報と表示する表示情報を生成する。表示部17は所定の出力先に表示情報を出力する。例えば表示部17は、制御装置1に備わるLCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、モニタや、制御装置1に通信接続する端末に、表示情報を出力する。これにより、管理者等が、現在の搬送システムの制御状態を確認することができる。なお、表示部17は、表示情報として、外接枠R、第一特定領域R1、第二特定領域R2、接触位置の情報を重ねて表示してもよいし、それぞれの情報を別々に表示したり、作業に携わる作業者が選択した任意の情報を重ねて表示するような表示情報を生成してよい。
 第一特定領域と、第二特定領域とを算出する測量部14の処理について以下に詳細に説明する。
(第一パターンにおける測量部14の処理)
 測量部14は、搬送物4の外接枠Rの位置が第一パターンであると判定した場合、外接枠Rが搬送物4の上面であると判定する。測量部14は、外接枠Rとその高さ情報とに基づいて外接枠Rの領域に含まれる搬送物4の所定の高さにおける特定領域(第一特定領域、第二特定領域)を特定する。
 図10は所定の高さにおける搬送物の位置の算出概要を示す図である。
 図10で示すように、センサ2が画像情報を撮像する場合の焦点距離f、搬送物4の実空間における上面の任意の特徴点P1、特徴点P1と水平方向の座標Xが一致する搬送物4の実空間における対応点P2、特徴点P1に対応する撮影画像中の点x1、対応点P2に対応する撮影画像中の点x2とする。実空間における特徴点P1のセンサ2からの高さ方向の距離をz、対応点P2のセンサ2からの高さ方向の距離をh、特徴点P1と対応点P2のセンサ2からの水平方向の距離をXとする。この場合、実空間におけるセンサ2からの高さ方向の距離と水平方向の距離との関係と、撮影画像における焦点距離と撮影画像の中心点からの各点の水平方向の距離との関係に基づいて以下の式(1)、式(2)2つの式を導くことができる。
 x1/f=X/z    ・・・(1)
 x2/f=X/h    ・・・(2)
上述の式(1),(2)をそれぞれ変形すると、
 X・f=z・x1    ・・・(3)
 X・f=h・x2    ・・・(4)
のように、式(3)、式(4)が得られる。従って、
 z・x1=h・x2    ・・・(5)
で示す式(5)を導くことができる。撮影画像中において上面の特徴点P1に対応する点x1と、実空間におけるz、高さhは、センサ2によって取得可能である。従って、式(5)を用いて実空間における任意の対応点P2に対応する撮影画像中の点x2を算出することができる。なお、高さhの値は、センサ2が任意のタイミングで測定しても良いし、センサ2を設置する際に初期値として設定しても良く、その取得方法は限定されるものではない。上述の各式において「/」は除算を示す。また上述の各式において「・」は乗算を示す。
 図11は第一パターンにおける外接枠Rと特定領域との関係を示す図である。
 図11(1)は撮影画像に写る搬送物4を示し、図11(2)は対応する搬送物4の斜視図を示す。ここで、搬送物4の所定の高さh’を、搬送車3が搬送物4に接触する高さとする。搬送車3が搬送物4に接触する高さは、搬送車3の規格によって既知の値である。今、撮影画像において搬送物4の上面の外接枠Rが特定されている。測量部14は、搬送物4の位置が第一パターンであると特定した場合、外接枠Rを第一特定領域R1と特定する。第一パターンにおける第一特定領域R1は搬送物4の上面を示すと推定される領域である。
 測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における外接枠Rの特徴点P11,P12,P13,P14の高さ情報z(第一特定領域R1の高さ情報)を取得する。測量部14は、式(5)に外接枠Rにおいて特定した特徴点P11,P12,P13,P14の位置x1と、高さh’を式(5)のhに,高さzを式(5)のzに入力し、高さh’における搬送物4の領域を構成する対応点P21,P22,P23,P24に対応する撮影画像中の点x2を算出する。
 測量部14は、一例として外接枠Rが矩形である場合、4つの頂点を特徴点P11,P12,P13,P14と特定し、特徴点P11,P12,P13,P14に対応する、高さh’の対応点P21,P22,P23,P24を、式(5)を用いて算出する。この時、特徴点P11,P12,P13,P14の高さは、外接枠Rの各画素の距離情報から得られる。また対応点P21,P22,P23,P24の高さは、予め規定された搬送車3が搬送物4に接触する高さh’である。測量部14は、対応点P21,P22,P23,P24を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2として算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
(第二パターンにおける測量部14の処理)
 測量部14は、搬送物4の外接枠Rの位置が第二パターンであると判定した場合、外接枠Rには搬送物4の上面と側面とが含まれる。従って、測量部14は、外接枠Rが示す領域に含まれる搬送物4の上面を示す第一特定領域R1を、以下のように特定する。
 図12は第二パターンにおける外接枠Rと特定領域との関係を示す第一の図である。
 具体的には、測量部14は、外接枠Rの形状と、外接枠Rの位置に応じたパターンに基づいて、外接枠Rにおける特徴点の位置を予め定められた手法によって特定する。例えば、外接枠Rが矩形であり、当該外接枠Rの位置が第二パターンである場合、外接枠Rの4つの頂点P11、P12、P13、P14を特徴点と特定する。
 測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心に近い特徴点P13の高さ情報を示す距離h(特徴点P13の実空間の高さとセンサ2の高さとの距離)を、距離画像や背景画像または記憶部から取得する。距離画像や背景画像において搬送物4や搬送車3の領域以外の画素が示す高さ方向の情報は、床面の高さとセンサ2の高さとの鉛直方向の距離を示す。
 測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心から遠い特徴点P11の高さとセンサ2の高さとの差である距離zを、外接枠Rを特定した撮影画像に対応する距離画像から取得する。距離zは特徴点P11に対応する実空間上の点を含む搬送物4の上面の各点の高さを示す情報でもある。測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P13を式(5)のx2と設定し、特徴点P13の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P13の水平方向の位置が対応する上面の未知の対応点P23の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P23(式(5)のx1に相当)を算出する。
 測量部14は、さらに、特徴点P12の座標を式(5)のx2と設定し、特徴点P12の実空間における高さ情報を式(5)のhと設定し、実空間に置いて特徴点P12の水平方向の位置が対応する、高さzの図示しない点P20の座標(式(5)のx1に相当)を求め、P20とP23を結ぶ線分と、P11とP12を結ぶ線分の交点として、点P22の座標を算出する。点P11、点P22、点P23で張られる矩形の残りの1点を点P24として求める。
 測量部14は、実空間において特徴点P13に対応する点と水平方向の位置が対応する上面の点を示す撮影画像中の対応点P23を含み、特徴点P12、P13、P14が結ぶ外接枠Rの辺(P12とP13とを結ぶ辺、P13とP14とを結ぶ辺)に平行な直線と、外接枠とを結ぶ交点(P22、P24)を対応点と特定する。測量部14は、対応点22,23,24と、上面を示す特徴点P11とを結ぶ矩形の領域を、第二パターンにおいて搬送物4の上面を示すと推定される第一特定領域R1と特定する。測量部はP11、P22、P23、P24を第一特定領域R1の特徴点(第一対応点)と設定する。
 図13は第二パターンにおける外接枠Rと特定領域との関係を示す第二の図である。
 測量部14は、搬送車3が搬送物4に接触する高さh’の対応点P31,P32,P33,P34を算出し、第二特定領域を特定する。
 測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における第一特定領域R1の特徴点P11の高さ情報zを取得する。測量部14は、第一特定領域R1において特定した特徴点P11に対応する撮影画像の位置を式(5)中のx1と設定し、搬送物4の上面を示す特徴点P11の高さ情報を式(5)のzと設定し、搬送車3が搬送物4に接触する高さh’を式(5)のhに設定し、それらを式(5)に入力する。これにより測量部14は、特徴点P11に対応する実空間において水平方向の位置が対応する対応点P31に対応する撮影画像中の位置x2を算出することができる。
 測量部14は、特徴点P22,P23,P24に対応する、搬送車3が搬送物4に接触する高さh’の対応点P32,P33,P34を、同様に式(5)を用いて算出する。測量部14は、対応点P31,P32,P33,P34(第二対応点)を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2と算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
(第三パターンにおける測量部14の第一の処理)
 測量部14は、搬送物4の外接枠Rの位置が第三パターンであると判定した場合、外接枠Rには搬送物4の上面と側面とが含まれる。従って、測量部14は、外接枠Rが示す領域に含まれる搬送物4の上面を示す第一特定領域R1を、以下のように特定する。
 図14は第三パターンにおける外接枠Rと特定領域との関係を示す第一の図である。
 具体的には、測量部14は、外接枠Rの形状と、外接枠Rの位置に応じたパターンに基づいて、外接枠Rにおける特徴点の位置を予め定められた手法によって特定する。例えば、外接枠Rが矩形であり、当該外接枠Rの位置が第三パターンである場合、外接枠Rの4つの頂点P11、P12、P13、P14を特徴点と特定する。
 測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心に近い特徴点P13またはP14の高さ情報を示す距離h(特徴点P13またはP14の実空間の高さとセンサ2の高さとの距離)を、距離画像や背景画像または記憶部から取得する。距離画像や背景画像において搬送物4や搬送車3の領域以外の画素が示す高さ方向の情報は、床面の高さとセンサ2の高さとの鉛直方向の距離を示す。
 測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心から遠い特徴点P11またはP12の高さとセンサ2の高さとの差である距離zを、外接枠Rを特定した撮影画像に対応する距離画像から取得する。距離zは特徴点P11またはP12に対応する実空間上の点を含む搬送物4の上面の各点の高さを示す情報でもある。測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P13を式(5)のx2と設定し、特徴点P13の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P13の水平方向の位置が対応する上面の未知の対応点P23の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P23(式(5)のx1に相当)を算出する。また測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P14を式(5)のx2と設定し、特徴点P14の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P14の水平方向の位置が対応する上面の未知の対応点P24の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P24(式(5)のx1に相当)を算出する。
 測量部14は、対応点P23と対応点P24の直線が外接枠Rに交わる対応点P23’,P24’を、搬送物4の上面の点に対応する撮影画像中の対応点と特定する。測量部14は、対応点23’,24’と、上面を示す特徴点P11,P12とを結ぶ矩形の領域を、第三パターンにおいて搬送物4の上面を示すと推定される第一特定領域R1と特定する。測量部はP11、P12、P23’、P24’を第一特定領域R1の特徴点(第一対応点)と設定する。
 測量部14は、搬送車3が搬送物4に接触する高さh’の対応点P31,P32,P33,P34を算出し、第二特定領域を特定する。
 測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における第一特定領域R1の特徴点P11の高さ情報zを取得する。測量部14は、第一特定領域R1において特定した特徴点P11に対応する撮影画像の位置を式(5)中のx1と設定し、搬送物4の上面を示す特徴点P11の高さ情報を式(5)のzと設定し、搬送車3が搬送物4に接触する高さh’を式(5)のhに設定し、それらを式(5)に入力する。これにより測量部14は、特徴点P11に対応する実空間において水平方向の位置が対応する対応点P31に対応する撮影画像中の位置x2を算出することができる。
 測量部14は、特徴点P12、P23’、P24’に対応する、搬送車3が搬送物4に接触する高さh’の対応点P32,P33,P34を、同様に式(5)を用いて算出する。測量部14は、対応点P31,P32,P33,P34(第二対応点)を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2と算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
(第三パターンにおける測量部14の第二の処理)
 測量部14は、搬送物4の外接枠Rの位置が第三パターンであると判定した場合、外接枠Rには搬送物4の上面と側面とが含まれる。従って、測量部14は、外接枠Rが示す領域に含まれる搬送物4の上面を示す第一特定領域R1を、以下のように特定する。
 図15は第三パターンにおける外接枠Rと特定領域との関係を示す第二の図である。
 具体的には、測量部14は、外接枠Rの形状と、外接枠Rの位置に応じたパターンに基づいて、外接枠Rにおける特徴点の位置を予め定められた手法によって特定する。例えば、外接枠Rが矩形であり、当該外接枠Rの位置が第三パターンである場合、外接枠Rの4つの頂点P11、P12、P13、P14を特徴点と特定する。
 測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心に近い特徴点P12またはP13の高さ情報を示す距離h(特徴点P12またはP13の実空間の高さとセンサ2の高さとの距離)を、距離画像や背景画像または記憶部から取得する。距離画像や背景画像において搬送物4や搬送車3の領域以外の画素が示す高さ方向の情報は、床面の高さとセンサ2の高さとの鉛直方向の距離を示す。
 測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心から遠い特徴点P11またはP14の高さとセンサ2の高さとの差である距離zを、外接枠Rを特定した撮影画像に対応する距離画像から取得する。距離zは特徴点P11またはP14に対応する実空間上の点を含む搬送物4の上面の各点の高さを示す情報でもある。測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P12を式(5)のx2と設定し、特徴点P12の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P14の水平方向の位置が対応する上面の未知の対応点P24の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P22(式(5)のx1に相当)を算出する。また測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P13を式(5)のx2と設定し、特徴点P13の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P13の水平方向の位置が対応する上面の未知の対応点P23の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P23(式(5)のx1に相当)を算出する。
 測量部14は、対応点P22と対応点P23の直線が外接枠Rに交わる対応点P22’,P23’を、搬送物4の上面の点に対応する撮影画像中の対応点と特定する。測量部14は、対応点P22’,P23’と、上面を示す特徴点P11,P14とを結ぶ矩形の領域を、第三パターンにおいて搬送物4の上面を示すと推定される第一特定領域R1と特定する。測量部14はP11、P22’,P23’、P14を第一特定領域R1の特徴点(第一対応点)と設定する。
 測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における第一特定領域R1の特徴点P11の高さ情報zを取得する。測量部14は、第一特定領域R1において特定した特徴点P11に対応する撮影画像の位置を式(5)中のx1と設定し、搬送物4の上面を示す特徴点P11の高さ情報を式(5)のzと設定し、搬送車3が搬送物4に接触する高さを式(5)のhに設定し、それらを式(5)に入力する。これにより測量部14は、特徴点P11に対応する実空間において水平方向の位置が対応する対応点P31に対応する撮影画像中の位置x2を算出することができる。
 測量部14は、特徴点P22’,P23’、P14に対応する、搬送車3が搬送物4に接触する高さh’の対応点P32,P33,P34を、同様に式(5)を用いて算出する。測量部14は、対応点P31,P32,P33,P34(第二対応点)を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2と算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
 上述した第二パターンと第三パターンにおける測量部14の第一特定領域R1の処理は、外接枠R(対象物包含領域)における4つの特徴点と当該4つの特徴点の高さ情報の関係と、外接枠Rの特徴点の水平方向の座標(水平位置)に一致し、かつ高さの座標が異なる対象物の2つまたは3つの対応点と上面の高さが示す高さ情報との関係に基づいて、上面の高さにおける4つの第一対応点を算出し、当該4つの第一対応点に基づいて特定領域のうちの上面の高さに対応する対象物の領域を示す第一特定領域を特定する処理の一態様である。
 また、上述した第二パターンと第三パターンにおける測量部14の第二特定領域R2の処理は、第一特定領域における4つの第一対応点と当該4つの第一対応点の高さ情報の関係と、第二の所定の高さである対象物の接触位置の高さにおける第一対応点の水平座標が一致し、かつ高さの座標が接触位置の高さの座標を示す4つの第二対応点と接触位置の高さが示す高さ情報との関係に基づいて、接触位置の高さにおける4つの第二対応点を算出し、当該4つの第二対応点に基づいて特定領域のうちの接触位置の高さに対応する対象物の領域を示す第二特定領域を特定する処理の一態様である。
<第2の実施形態>
 上述の実施形態においては、搬送物4がカートや台車であり、搬送車の走行路面に置かれた搬送物4の接触位置を特定し、その接触位置に基づいて搬送車3を制御する場合の例を説明した。しかしながら、他の搬送物4、その他の対象物の接触位置を特定し、その接触位置を、所定の装置へ出力する制御システムに上述の技術を応用してよい。
 図16は第2の実施形態における制御装置を備えた制御システムの概略構成図である。
 例えば、制御システムに備わるベルトコンベア5に搬送物4が載置され移動しており、制御システムに含まれる制御装置が、この搬送物4に対する接触位置を特定し、制御システムに備わるロボット6を、搬送物4の接触位置に基づいて制御するようにしてもよい。
 この場合も第一実施形態のように、制御装置1が、センサ2から得た搬送物4を含まない画像情報と搬送物4を含む画像情報の変化に基づいて、搬送物4を含む画像情報において搬送物4を含む画素情報が変化した領域を示す外接枠R(対象物包含領域)を特定する。そして、第一実施形態と同様に制御装置1が搬送物4の外接枠R、第一特定領域R1(上面の領域)、第二特定領域R2(接触位置の高さの領域)を特定し、第二特定領域R2に基づいて接触位置を特定する。一例としてはロボット6の搬送物4の接触位置は、第二特定領域R2が矩形である場合には、ベルトコンベア5の進行方向と、当該矩形の辺との成す角度が小さい対抗する2辺を特定し、その2辺それぞれの中央を接触位置と特定してよい。制御装置1はロボット6がその接触位置を把持するよう制御するものであってよい。
 または、上述の実施形態においては搬送物4の接触位置を特定しているが、他の対象物の接触位置を特定してもよい。例えば、他の対象物は溶接対象物や、装飾対象物であり、制御装置1は、溶接対象物の接触位置(溶接位置)、装飾対象物の接触位置(装飾位置)を特定するようにしてもよい。
 上述の各実施形態の制御装置1と同一機能を有した測量装置として構成された物体測量システムとしても動作してよい。物体測量システムは、対象物の高さ情報と対象物の画像情報とを取得するセンサ2に通信接続した測量装置を備える。測量装置は、上述の各実施形態と同様に、対象物を含まない画像情報と対象物を含む画像情報の変化に基づいて、対象物を含む画像情報において対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、対象物包含領域と高さ情報とに基づいて対象物包含領域に含まれる対象物の所定の高さにおける特定領域を特定する。
<第3の実施例>
 図17は、第3の実施形態に係る搬送システムの概略構成である。
 図17を参照すると搬送システムは、制御装置1と、センサ2と、搬送車3と、搬送物4とを含む。制御装置1は、ネットワークを介してセンサ2、搬送車3のそれぞれと通信可能に接続している。
 図18は、第3の実施形態に係る制御装置1の概略構成図である。
 制御装置1は、搬送車3を制御する。制御装置1は、例えばコンピュータ等の情報処理装置である。制御装置1は、クラウドコンピューティングによって実現されてもよい。制御装置1は接触位置特定部151と、制御部152とを含む。
 接触位置特定部151は、搬送物4に関する情報に基づいて、搬送車3が搬送物4の搬送の際に接触する当該搬送物4に対する接触位置を特定する。
 制御部152は搬送物4の接触する位置に基づいて搬送車3を制御する。
 センサは、搬送物4に関する情報を取得する。
 図19は、第3の実施形態に係る制御装置1による処理フローを示す図である。
 接触位置特定部151は、搬送物4に関する情報に基づいて搬送車3が搬送物4の接触位置を特定する(ステップS1611)。
 制御部152は、搬送物4の接触する位置に基づいて搬送車3を制御する(ステップS1612)。
 上述の制御装置1は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
 また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
 上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
 搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、前記搬送車を制御する制御装置とを含む搬送システムであって、
 前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
 前記接触位置に基づいて前記搬送車を制御する
 搬送システム。
(付記2)
 前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む付記1に記載の搬送システム。
(付記3)
 前記制御装置は、前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
 付記1に記載の搬送システム。
(付記4)
 前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
 前記制御装置は、前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
 付記2に記載の搬送システム。
(付記5)
 前記制御装置は、前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
 付記1から付記4の何れか一つに記載の搬送システム。
(付記6)
 前記制御装置は、前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
 付記5に記載の搬送システム。
(付記7)
 搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、
 前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
 前記接触位置に基づいて前記搬送車を制御する
 制御装置。
(付記8)
 前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む付記7に記載の制御装置。
(付記9)
 前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
 付記7に記載の制御装置。
(付記10)
 前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
 前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
 付記8に記載の制御装置。
(付記11)
 前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
 付記7から付記10の何れか一つに記載の制御装置。
(付記12)
 前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
 付記11に記載の制御装置。
(付記13)
 搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、
 前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
 前記接触位置に基づいて前記搬送車を制御する
 制御方法。
(付記14)
 前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む付記13に記載の制御方法。
(付記15)
 前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
 付記13に記載の制御方法。
(付記16)
 前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
 前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
 付記14に記載の制御方法。
(付記17)
 前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
 付記13から付記16の何れか一つに記載の制御方法。
(付記18)
 前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
 付記17に記載の制御方法。
(付記19)
 対象物に接触するロボットと、前記対象物に関する情報を取得するセンサと、前記ロボットを制御する制御装置とを含む制御システムであって、
 前記対象物に関する情報に基づいて前記ロボットが前記対象物に接触する当該対象物に対する接触位置を特定し、
 前記接触位置に基づいて前記ロボットを制御する
 制御システム。
(付記20)
 対象物に接触するロボットと、前記対象物に関する情報を取得するセンサと、に通信接続し、
 前記対象物に関する情報に基づいて前記ロボットが前記対象物に接触する当該対象物に対する接触位置を特定し、
 前記接触位置に基づいて前記ロボットを制御する
 制御装置。
(付記21)
 対象物に接触するロボットと、前記対象物に関する情報を取得するセンサと、に通信接続する制御装置が、
 前記対象物に関する情報に基づいて前記ロボットが前記対象物に接触する当該対象物に対する接触位置を特定し、
 前記接触位置に基づいて前記ロボットを制御する
 制御方法。
(付記22)
 対象物の高さ情報と前記対象物の画像情報とを取得するセンサに通信接続した測量装置が、
 前記対象物を含まない前記画像情報と前記対象物を含む前記画像情報の変化に基づいて、前記対象物を含む画像情報において前記対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、
 前記対象物包含領域と前記高さ情報とに基づいて前記対象物包含領域に含まれる前記対象物の所定の高さにおける特定領域を特定する
 物体測量システム。
(付記23)
 前記測量装置は、
 前記対象物包含領域における特徴点と当該特徴点の高さ情報の関係と、前記特徴点と水平位置が対応する前記所定の高さにおける対応点と前記所定の高さが示す高さ情報との関係に基づいて、前記所定の高さにおける前記対応点を算出し、当該対応点に基づいて前記特定領域を特定する
 付記22に記載の物体測量システム。
(付記24)
 前記測量装置は、
 前記対象物包含領域における複数の特徴点と当該複数の特徴点の高さ情報の関係と、前記特徴点に水平位置が対応する前記所定の高さにおける複数の対応点と前記所定の高さが示す高さ情報との関係に基づいて、前記所定の高さにおける複数の前記対応点を算出し、当該複数の対応点に基づいて前記特定領域を特定する
 付記22に記載の物体測量システム。
(付記25)
 前記測量装置は、
 前記対象物包含領域における複数の特徴点と当該複数の特徴点の高さ情報の関係と、第一の前記所定の高さである前記対象物の上面の高さにおける前記特徴点に水平位置が対応する複数の第一対応点と前記上面の高さが示す高さ情報との関係に基づいて、前記上面の高さにおける複数の前記第一対応点を算出し、当該複数の第一対応点に基づいて前記特定領域のうちの前記上面の高さに対応する前記対象物の領域を示す第一特定領域を特定し、
 前記第一特定領域における複数の第一対応点と当該複数の第一対応点の高さ情報の関係と、第二の前記所定の高さである前記対象物の接触位置の高さにおける前記第一対応点に水平位置が対応する複数の第二対応点と前記接触位置の高さが示す高さ情報との関係に基づいて、前記接触位置の高さにおける複数の前記第二対応点を算出し、当該複数の第二対応点に基づいて前記特定領域のうちの前記接触位置の高さに対応する前記対象物の領域を示す第二特定領域を特定する
 付記22から付記24の何れか一つに記載の物体測量システム。
(付記26)
 前記特定領域に基づいて前記測量装置のサイズを算出するサイズ算出部と、
 を備える付記22から付記25の何れか一つに記載の物体測量システム。
(付記27)
 前記特定領域に基づいて前記対象物の搬送を制御する制御装置へ前記特定領域に関する情報を出力する
 付記22から付記26の何れか一つに記載の物体測量システム。
(付記28)
 対象物の高さ情報と前記対象物の画像情報とを取得するセンサに通信接続し、
 前記対象物を含まない前記画像情報と前記対象物を含む前記画像情報の変化に基づいて、前記対象物を含む画像情報において前記対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、
 前記対象物包含領域と前記高さ情報とに基づいて前記対象物包含領域に含まれる前記対象物の所定の高さにおける特定領域を特定する
 測量装置。
(付記29)
 対象物の高さ情報と前記対象物の画像情報とを取得するセンサに通信接続した測量装置が、
 前記対象物を含まない前記画像情報と前記対象物を含む前記画像情報の変化に基づいて、前記対象物を含む画像情報において前記対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、
 前記対象物包含領域と前記高さ情報とに基づいて前記対象物包含領域に含まれる前記対象物の所定の高さにおける特定領域を特定する
 物体測量方法。
1・・・制御装置(測量装置)
2・・・センサ
3・・・搬送車
4・・・搬送物(対象物)
5・・・ベルトコンベア
6・・・ロボット
11・・・画像情報取得部
12・・・距離情報取得部
13・・・差分検出部
14・・・測量部
15・・・接触位置特定部
16・・・搬送制御部
17・・・表示部
100・・・搬送システム(物体測量システム)
151・・・接触位置特定部
152・・・制御部
200・・・制御システム(物体測量システム)

Claims (18)

  1.  搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、前記搬送車を制御する制御装置とを含む搬送システムであって、
     前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
     前記接触位置に基づいて前記搬送車を制御する
     搬送システム。
  2.  前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む請求項1に記載の搬送システム。
  3.  前記制御装置は、前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
     請求項1に記載の搬送システム。
  4.  前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
     前記制御装置は、前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
     請求項2に記載の搬送システム。
  5.  前記制御装置は、前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
     請求項1から請求項4の何れか一項に記載の搬送システム。
  6.  前記制御装置は、前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
     請求項5に記載の搬送システム。
  7.  搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、
     前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
     前記接触位置に基づいて前記搬送車を制御する
     制御装置。
  8.  前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む請求項7に記載の制御装置。
  9.  前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
     請求項7に記載の制御装置。
  10.  前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
     前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
     請求項8に記載の制御装置。
  11.  前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
     請求項7から請求項10の何れか一項に記載の制御装置。
  12.  前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
     請求項11に記載の制御装置。
  13.  搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、
     前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
     前記接触位置に基づいて前記搬送車を制御する
     制御方法。
  14.  前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む請求項13に記載の制御方法。
  15.  前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
     請求項13に記載の制御方法。
  16.  前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
     前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
     請求項14に記載の制御方法。
  17.  前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
     請求項13から請求項16の何れか一項に記載の制御方法。
  18.  前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
     請求項17に記載の制御方法。
PCT/JP2020/008528 2020-02-28 2020-02-28 搬送システム、制御装置、制御方法 WO2021171618A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/800,413 US20230107626A1 (en) 2020-02-28 2020-02-28 Conveyance system, control device, and control method
JP2022503056A JP7380829B2 (ja) 2020-02-28 2020-02-28 搬送システム、制御装置、制御方法
PCT/JP2020/008528 WO2021171618A1 (ja) 2020-02-28 2020-02-28 搬送システム、制御装置、制御方法
JP2023188751A JP2024012512A (ja) 2020-02-28 2023-11-02 搬送システム、搬送制御装置、搬送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/008528 WO2021171618A1 (ja) 2020-02-28 2020-02-28 搬送システム、制御装置、制御方法

Publications (1)

Publication Number Publication Date
WO2021171618A1 true WO2021171618A1 (ja) 2021-09-02

Family

ID=77490857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008528 WO2021171618A1 (ja) 2020-02-28 2020-02-28 搬送システム、制御装置、制御方法

Country Status (3)

Country Link
US (1) US20230107626A1 (ja)
JP (2) JP7380829B2 (ja)
WO (1) WO2021171618A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539727A (ja) * 2006-06-09 2009-11-19 キヴァ システムズ,インコーポレイテッド 在庫品目を輸送する方法及びシステム
JP2011022700A (ja) * 2009-07-14 2011-02-03 Japan Science & Technology Agency ロボット制御システム及びロボット制御プログラム
JP2018092393A (ja) * 2016-12-05 2018-06-14 株式会社ディスコ 自動搬送車コントロールシステム
WO2020022479A1 (ja) * 2018-07-27 2020-01-30 日本電気株式会社 搬送ロボット、搬送システム、及び搬送方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393686B1 (en) * 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
US9152149B1 (en) * 2014-06-06 2015-10-06 Amazon Technologies, Inc. Fiducial markers with a small set of values
WO2017022048A1 (ja) * 2015-08-03 2017-02-09 株式会社日立製作所 棚搬送システム、棚搬送車、及び棚搬送方法
US10683171B2 (en) * 2016-09-30 2020-06-16 Staples, Inc. Hybrid modular storage fetching system
DE102016121769A1 (de) * 2016-11-14 2018-05-17 Cl Schutzrechtsverwaltungs Gmbh Anlage zur additiven Herstellung dreidimensionaler Objekte
CN111771175B (zh) * 2018-02-13 2024-01-19 精工爱普生株式会社 搬运车的行驶控制系统、以及搬运车的行驶控制方法
EP3807188A1 (en) * 2018-06-12 2021-04-21 Autostore Technology As Automated storage system
JP2022146514A (ja) * 2021-03-22 2022-10-05 株式会社東芝 無人搬送車、無人搬送システム及び搬送プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539727A (ja) * 2006-06-09 2009-11-19 キヴァ システムズ,インコーポレイテッド 在庫品目を輸送する方法及びシステム
JP2011022700A (ja) * 2009-07-14 2011-02-03 Japan Science & Technology Agency ロボット制御システム及びロボット制御プログラム
JP2018092393A (ja) * 2016-12-05 2018-06-14 株式会社ディスコ 自動搬送車コントロールシステム
WO2020022479A1 (ja) * 2018-07-27 2020-01-30 日本電気株式会社 搬送ロボット、搬送システム、及び搬送方法

Also Published As

Publication number Publication date
JP7380829B2 (ja) 2023-11-15
US20230107626A1 (en) 2023-04-06
JPWO2021171618A1 (ja) 2021-09-02
JP2024012512A (ja) 2024-01-30

Similar Documents

Publication Publication Date Title
US9736460B2 (en) Distance measuring apparatus and distance measuring method
JP6646854B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
US20160117824A1 (en) Posture estimation method and robot
JP2004090183A (ja) 物品の位置姿勢検出装置及び物品取出し装置
JPH10143659A (ja) 物体検出装置
JP2006071471A (ja) 移動体高さ判別装置
WO2017163710A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP2017151650A (ja) 物体状態特定方法、物体状態特定装置、および、搬送車
JP6646853B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
WO2017163711A1 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP3842988B2 (ja) 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
WO2021171618A1 (ja) 搬送システム、制御装置、制御方法
WO2021171610A1 (ja) 測量方法、測量装置、測量システム
WO2020137311A1 (ja) 測位装置及び移動体
JP2007278869A (ja) 測距装置、車両の周辺監視装置、測距方法、および測距用プログラム
JP7199020B2 (ja) 車両監視装置、車両、及び車両監視システム
JP2020114778A (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JP6628039B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
JPH06347365A (ja) 3次元軌跡計測型船舶試験装置
JP6628038B2 (ja) 投影指示装置、荷物仕分けシステムおよび投影指示方法
Lu et al. An Investigation on Accurate Road User Location Estimation in Aerial Images Collected by Drones
JPH05141919A (ja) 左,右カメラの撮像画像の対応点検索方法
JPH03165203A (ja) 移動体用距離・姿勢測定装置
JPS6228613A (ja) 3次元位置入力装置
JPH07151844A (ja) 3次元追尾装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20921650

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022503056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20921650

Country of ref document: EP

Kind code of ref document: A1