WO2024048278A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2024048278A1
WO2024048278A1 PCT/JP2023/029569 JP2023029569W WO2024048278A1 WO 2024048278 A1 WO2024048278 A1 WO 2024048278A1 JP 2023029569 W JP2023029569 W JP 2023029569W WO 2024048278 A1 WO2024048278 A1 WO 2024048278A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
camera
processing device
light source
change
Prior art date
Application number
PCT/JP2023/029569
Other languages
English (en)
French (fr)
Inventor
立太 岡元
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024048278A1 publication Critical patent/WO2024048278A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Definitions

  • the present technology relates to an information processing device, its method, and a program, and particularly relates to a technology for improving the accuracy of object recognition processing based on captured images.
  • target objects such as cardboard boxes are recognized by image analysis processing of captured images. Based on the recognition result of the target object, the operation of the robot arm that picks up the target object is controlled.
  • Patent Document 1 listed below discloses a technique for detecting the edge position of each box when a plurality of boxes exist within the imaging field of view. Specifically, Patent Document 1 discloses that parallel edge pairs are detected and intersecting edge pairs are combined to identify an edge set for each box.
  • band-shaped adhesive tape such as duct tape that is used to prevent the lid of a box-shaped object such as a cardboard box from opening, and a band of adhesive wrapped around the object.
  • objects such as bands. If these adherents such as adhesive tapes and binding bands are of a relatively dark color such as black, they are likely to be mistaken for grooves between target objects.
  • the present technology has been developed in view of the above circumstances, and its purpose is to make it possible to appropriately distinguish between the groove between the objects and the deposit when there is a deposit on the object.
  • the information processing device includes, as a process based on an image captured by a camera, a change in the direction of irradiation of light from a light source between a groove between the objects and an object attached to the object, with respect to an object to be imaged by the camera.
  • the apparatus further includes an identification processing section that performs identification processing for identifying the groove portion and the deposit based on the difference in reflection characteristics.
  • reflection characteristics used herein refers to the characteristics of changes in the amount of reflected light incident on the camera from the object to be imaged.
  • the amount of light reflected to the camera hardly changes even if the direction of light irradiation from the light source changes, but with deposits, the amount of light reflected back to the camera increases with changes in the direction of light irradiation from the light source. It can change.
  • the information processing device performs processing based on an image captured by a camera, with respect to an object to be imaged by the camera, from a light source between a groove between the objects and a substance attached to the object.
  • the information processing method performs an identification process for identifying the groove portion and the deposit based on a difference in reflection characteristics with respect to a change in the direction of light irradiation.
  • the program according to the present technology is a program that can be read by a computer device, and includes processing based on images captured by a camera, in which a groove between the objects and a deposit on the object are detected with respect to an object to be imaged by the camera.
  • This program causes the computer device to execute an identification process for identifying the groove portion and the deposit based on a difference in reflection characteristics with respect to a change in the direction of light irradiation from a light source between them.
  • FIG. 1 is a block diagram showing an example of the configuration of a handling system as an embodiment of the present technology. It is a block diagram showing an example of the internal configuration of a camera in an embodiment. 1 is a block diagram showing an example of a hardware configuration of an information processing device as an embodiment. FIG. FIG. 3 is an explanatory diagram of an example of deposits. FIG. 2 is a functional block diagram showing functions of an information processing device as an embodiment. FIG. 6 is a diagram for explaining the reflection characteristics of the imaged object with respect to changes in the direction of light irradiation from the light source when the imaged object is a deposit; FIG. FIG.
  • FIG. 7 is a diagram for explaining the reflection characteristics of the imaging target with respect to changes in the direction of light irradiation from the light source when the imaging target is a groove.
  • FIG. 3 is an explanatory diagram of a singular point and a position corresponding to the singular point.
  • FIG. 3 is a diagram for explaining an overview of processing performed by an identification processing unit in the embodiment.
  • 7 is a flowchart illustrating a specific example of a processing procedure for realizing an identification method according to an embodiment. Similarly, it is a flowchart showing an example of a specific processing procedure for realizing the identification method according to the embodiment.
  • FIG. 7 is an explanatory diagram of a modification example in which a light source of environmental light is used.
  • FIG. 13 is an explanatory diagram of singular points and singular point corresponding positions corresponding to the case of FIG. 12.
  • FIG. It is an explanatory view about a modification assuming depalletization. It is an explanatory view about another modification assuming depalletization.
  • 7 is a flowchart illustrating an example of a processing procedure when background separation processing is performed based on distance information.
  • FIG. 1 is a block diagram illustrating a configuration example of a handling system as an embodiment that includes an information processing device 1 as an embodiment according to the present technology.
  • the handling system according to the embodiment includes an information processing device 1, a robot arm 2, a belt conveyor 3, a camera 4, and a light source 5.
  • the robot arm 2 has a hand portion 2a that functions as a suction hand at the tip of the arm.
  • the robot arm 2 can adsorb the target object ob by pressing the hand part 2a against the target object ob, and can pick up the target object ob attracted to the hand part 2a by driving the arm. .
  • the camera 4 is an imaging device for imaging the target object ob, and is configured as a digital camera.
  • the information processing device 1 is configured with a computer device, and has a function of performing image analysis processing on images captured by the camera 4 and controlling the operation of the robot arm 2.
  • the handling system of this example is assumed to be applied to the field of logistics, and the target object ob is assumed to be a packing box (box-like object) such as a cardboard box, for example.
  • the packing box here has an outer shape of a cube or a rectangular parallelepiped, so it can be expressed as having a substantially rectangular shape when viewed from above.
  • the box-shaped target object ob is not limited to a cardboard box, and may include a wide range of box-shaped objects other than cardboard, such as wooden or plastic boxes.
  • a target object ob which is a cargo box that is transported (moved in the horizontal direction) by a belt conveyor 3, is picked up by the robot arm 2. Further, in this example, a case is assumed in which the robot arm 2 stacks the target objects ob picked up from the belt conveyor 3 on the pallet 6 in this way. The work of stacking the target objects ob on the pallet 6 in this way is called "palletizing".
  • the suction position by the hand section 2a should be set at a position where the target object ob can be stably held, such as the center position on the upper surface of the target object ob.
  • the information processing device 1 should appropriately recognize at least the object region (object existing region) of the target object ob when viewed from above.
  • the camera 4 is arranged above the belt conveyor 3 so as to image the belt conveyor 3 side. This makes it possible to obtain a captured image that captures the upper surface of the target object ob that is moved in the horizontal direction.
  • a light source 5 is provided.
  • the light source 5 is placed in a position close to the camera 4, such as being attached to the camera 4.
  • the light source 5 is installed in such a direction that it emits light in the same direction as the imaging direction by the camera 4.
  • an LED Light Emitting Diode
  • a fluorescent lamp a fluorescent lamp
  • an incandescent lamp etc.
  • the specific type of the light source 5 does not matter.
  • FIG. 2 is a block diagram showing an example of the internal configuration of the camera 4.
  • the camera 4 includes an imaging section 41, an image signal processing section 42, a memory section 43, a control section 44, and a communication section 45.
  • the imaging section 41, the image signal processing section 42, the memory section 43, the control section 44, and the communication section 45 are enabled to perform data communication with each other via the bus 46.
  • the imaging unit 41 includes an imaging optical system in which various optical elements for imaging such as a focus lens are arranged, and a CCD (Charge Coupled Device) sensor or CMOS (Complementary Device) that receives light incident through the imaging optical system.
  • the device is configured with an image sensor such as a Metal Oxide Semiconductor (Metal Oxide Semiconductor) sensor, etc., and captures an image of a subject, generates and outputs a digital image signal (a captured image using digital data).
  • the image signal processing unit 42 performs predetermined image signal processing on the captured image obtained by the imaging unit 41.
  • predetermined image signal processing such as demosaic processing, NR (noise reduction) processing, and AWB (auto white balance) processing for obtaining an RGB color image is performed.
  • the memory section 43 represents a nonvolatile storage device that can be used by the control section 44 and the image signal processing section 42 connected via the bus 46.
  • the memory section 43 can be used as a memory for recording image data captured by the imaging section 41.
  • the control unit 44 includes, for example, a microcomputer equipped with a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and the CPU executes programs stored in the ROM and the like. Overall control of the camera 4 is performed by executing processing according to a program loaded into the RAM. For example, the control unit 44 performs exposure control and focus adjustment control of the imaging optical system based on the image signal processing result by the image signal processing unit 42. As a result, TTL (through-the-lens) AF (autofocus) processing and AE (automatic exposure) processing are performed.
  • TTL through-the-lens
  • AF autofocus
  • AE automatic exposure
  • control unit 44 is able to perform data communication with an external device of the camera 4, particularly with the information processing device 1 in this embodiment, via the communication unit 45.
  • the communication unit 45 is a communication device for performing wired or wireless inter-device communication or network communication with an external device.
  • the control unit 44 is enabled to transmit captured image data obtained by the imaging unit 41 to the information processing device 1 via the communication unit 45.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the information processing device 1.
  • the information processing device 1 includes a CPU 11.
  • the CPU 11 functions as an arithmetic processing unit that executes various processes, and executes various processes according to programs stored in a ROM (Read Only Memory) 12 or programs loaded from a storage unit 19 to a RAM (Random Access Memory) 13. Execute processing.
  • the RAM 13 also appropriately stores data necessary for the CPU 11 to execute various processes.
  • the CPU 11, ROM 12, and RAM 13 are interconnected via a bus 14.
  • An input/output interface (I/F) 15 is also connected to this bus 14 .
  • the input/output interface 15 is connected to an input section 16 consisting of an operator or an operating device.
  • the input unit 16 may be various operators or operating devices such as a keyboard, mouse, keys, dial, touch panel, touch pad, or remote controller.
  • a user's operation is detected by the input unit 16, and a signal corresponding to the input operation is interpreted by the CPU 11.
  • the input/output interface 15 is connected to a display section 17 such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) panel, and an audio output section 18 such as a speaker, either integrally or separately.
  • the display unit 17 is used to display various types of information, and is configured by, for example, a display device provided in the casing of the information processing device 1, a separate display device connected to the information processing device 1, or the like.
  • the display unit 17 displays images for various image processing, moving images to be processed, etc. on the display screen based on instructions from the CPU 11. Further, the display unit 17 displays various operation menus, icons, messages, etc., ie, as a GUI (Graphical User Interface), based on instructions from the CPU 11.
  • GUI Graphic User Interface
  • the input/output interface 15 may be connected to a storage section 19 made up of an HDD (Hard Disk Drive), a solid-state memory, or the like, and a communication section 20 made up of a modem or the like.
  • a storage section 19 made up of an HDD (Hard Disk Drive), a solid-state memory, or the like
  • a communication section 20 made up of a modem or the like.
  • the communication unit 20 performs communication processing via a transmission path such as the Internet, and communicates with various devices by wire/wireless communication, bus communication, etc.
  • a drive 21 is also connected to the input/output interface 15 as necessary, and a removable recording medium 22 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory is appropriately installed.
  • the drive 21 can read data files such as programs used for each process from the removable recording medium 22.
  • the read data file is stored in the storage section 19, and images and sounds included in the data file are outputted on the display section 17 and the audio output section 18. Further, computer programs and the like read from the removable recording medium 22 are installed in the storage unit 19 as necessary.
  • software for processing according to the present embodiment can be installed, for example, via network communication by the communication unit 20 or the removable recording medium 22.
  • the software may be stored in the ROM 12, storage unit 19, etc. in advance.
  • FIG. 4 shows an example of deposits X.
  • FIG. 4 shows a top view of a state in which a plurality of target objects ob are arranged adjacent to each other.
  • the direction indicated by the arrow “M” in the figure represents the moving direction of the target object ob (in this example, the moving direction by the belt conveyor 3).
  • the deposit X is a black, strip-shaped adhesive tape that extends vertically across the upper surface of the target object ob.
  • the longitudinal section here is a longitudinal section when the horizontal direction is parallel to the moving direction of the target object ob.
  • the attached matter X crosses the upper surface of the target object ob, the area of the target object ob may be similarly misidentified. Specifically, in the illustrated example, if the attached matter There is a risk that the target object ob, which should be recognized as two, may be mistakenly recognized as three.
  • the definition of longitudinal and lateral directions can also be defined based on the direction of change in the positional relationship between the imaging field of view of the camera 4 and the target object ob.
  • the direction parallel to the direction of change in the positional relationship between the imaging field of view of the camera 4 and the target object ob is defined as the horizontal direction
  • the direction orthogonal thereto is defined as the vertical direction.
  • an identification method as described below is used as a method for identifying the deposits X and the groove D.
  • Adopt a method for identifying the deposits X and the groove D.
  • FIG. 5 is a functional block diagram showing the functions of the CPU 11 in the information processing device 1 as an embodiment.
  • the CPU 11 has a function as an identification processing section F1.
  • the identification processing unit F1 performs an identification process for identifying the groove D and the deposit X based on the captured image by the camera 4, and determines the reflection characteristics for changes in the direction of light irradiation from the light source 5 between the groove D and the deposit X. performs identification processing based on the difference between
  • the term "reflection characteristics" used herein means the characteristics of changes in the amount of reflected light incident on the camera from the object to be imaged.
  • FIG. 6 is a diagram for explaining the reflection characteristics of the imaging target with respect to changes in the direction of light irradiation from the light source 5 when the imaging target is the deposit X
  • FIG. FIG. 3 is a diagram illustrating the reflection characteristics of the imaging target with respect to changes in the direction of light irradiation from the light source 5 in the case of FIG.
  • the horizontal positional relationship between the object to be imaged by the camera 4 and the light source 5 changes, and accordingly, the light from the light source 5 to the object to be imaged changes.
  • the direction of irradiation changes. Specifically, in the transition from FIG. 6A to FIG. 6B and from FIG. 7A to FIG. 7B, the irradiation direction of the light from the light source 5 changes so that the irradiation angle of the light from the light source 5 gradually becomes shallower (smaller). do.
  • the amount of light reflected to the camera 4 may change as the direction of light irradiation from the light source 5 changes.
  • the image of the light source 5 changes in the process of changing the direction of light irradiation from the light source 5.
  • the amount of light reflected to the camera 4 hardly changes with respect to a change in the direction of light irradiation from the light source 5. Specifically, as the direction of light irradiation from the light source 5 changes, the amount of light reflected to the camera 4 remains small and substantially constant.
  • the identification processing unit F1 performs the following process. That is, the identification processing unit F1 calculates the amount of brightness change with respect to the change in the direction of light irradiation from the light source 5 for the image area detected as a candidate for the groove D, and based on this amount of brightness change, the detected image It is determined whether the area is the image area of the groove D or the image area of the deposit X. At this time, the identification processing unit F1 calculates the average brightness value of the candidate image area when the representative position in the candidate image area, which is the image area detected as a candidate for the groove D, reaches a predetermined position in the captured image, and the representative position. The difference between the brightness value and the average brightness value of the candidate image area before reaching the predetermined position is calculated as the brightness change amount described above.
  • the above-mentioned "predetermined position in the captured image” is the "singular point Pt" which is the changing point where the amount of reflected light from the attached object X to the camera 4 increases as shown in FIG. 6B.
  • the position in the image corresponds to
  • the position in the image corresponding to this singular point Pt will be referred to as "singular point corresponding position Ptp.”
  • FIG. 8 is an explanatory diagram of the singular point Pt and the singular point corresponding position Ptp.
  • the upper part of the figure shows the positional relationship between the camera 4, the light source 5, and the singular point Pt, and the lower part shows the relation between the singular point Pt and the singular point corresponding position Ptp as a position in the image.
  • the height position Ho represents the height position of the upper surface of the target object ob for convenience.
  • the singular point Pt is a position defined as follows.
  • a reflector such as the attached object
  • it means the position where the amount of light received by the camera 4 of the reflected light from the reflector is maximized.
  • the singular point Pt is a position within the field of view captured by the camera 4.
  • the singular point corresponding position Ptp is determined as a position corresponding to the singular point Pt within the image frame range of the image captured by the camera 4, as shown in the figure.
  • the identification processing unit F1 performs contour line detection on the image captured by the camera 4 by background separation.
  • this background separation is performed based on color difference.
  • the color of the cardboard box as the target object ob is light brown
  • the belt part of the belt conveyor 3 is a color other than light brown, such as black
  • the image area that becomes the background of the target object ob is separated based on these color differences.
  • a background separation process is performed to detect the outline of the target object ob based on the result of the background separation process.
  • the identification processing unit F1 detects line segments within the contour and extracts contour candidate lines, as shown in FIG. 9B.
  • contour candidate lines For line segment detection within the contour, a known technique for detecting line segments, such as Hough transform, is used.
  • the contour candidate line extraction process involves extracting what is presumed to be the groove D from the image area as a line segment detected within the contour. Specifically, Among the image regions as line segments, those whose average luminance value is less than or equal to a predetermined threshold value THa are extracted as contour candidate lines. At this time, if the deposit X is a relatively dark color such as black, the image area of the deposit X is likely to be extracted as a candidate contour line.
  • the identification processing unit F1 performs a process of storing the average brightness value when extracted as a contour candidate line as an initial average brightness value, for example, in the RAM 13 or the like. Performs processing to store it in a predetermined memory.
  • the identification processing unit F1 determines, for each extracted contour candidate line, whether the representative position of the contour candidate line has reached the singular point corresponding position Ptp, and if the representative position has reached the singular point corresponding position Ptp, calculates the average brightness value of the contour candidate line, and then calculates the difference between the calculated average brightness value (hereinafter referred to as "singular point average brightness value") and the initial average brightness value as the "brightness change amount”. Then, based on this amount of change in brightness, it is determined whether the image area as the contour candidate line is the image area of the groove D or the image area of the deposit X.
  • the representative position of the contour candidate line may be, for example, the gravity center position of the image area as the contour candidate line.
  • the representative position may be the center position in the horizontal direction of the image area as the outline candidate line.
  • the representative position of the outline candidate line may be any position determined as a representative position of the outline candidate line, and the specific method for setting the position is not limited to a specific method.
  • FIG. 9C illustrates a state in which the representative position of the contour candidate line of the attached matter X has reached the singular point corresponding position Ptp.
  • the above determination can be performed to appropriately identify the candidate outline as the deposit X.
  • the amount of change in luminance of the outline candidate line of the groove D is small, it becomes possible to appropriately identify the outline candidate line as the groove D by performing the above determination.
  • the CPU 11 performs area recognition of the target object ob based on the information on the outline of the target object ob identified as a result of the above-described identification process of the attached matter
  • the pickup operation of the target object ob by the arm 2 is controlled.
  • FIGS. 10 and 11 are flowcharts showing specific processing procedure examples for realizing the identification method as the embodiment described above. The processes shown in FIGS. 10 and 11 are executed by the CPU 11 of the information processing device 1 based on a program stored in a predetermined storage device such as the ROM 12.
  • the CPU 11 acquires a captured image from the camera 4 in step S101.
  • the captured images (frame images) to be processed are not limited to being sequentially acquired from the camera 4; for example, multiple frames of captured images transferred from the camera 4 may be buffered, and the buffered captured images may be It is also conceivable to read out the captured image of the frame to be processed.
  • step S102 the CPU 11 performs background separation processing based on color difference, and in subsequent step S103, determines whether there is an object other than the background. This corresponds to determining whether or not the target object ob is captured within the imaging field of view. If it is determined in step S103 that there is no object other than the background, the CPU 11 proceeds to step S104, acquires the next captured image from the camera 4, and performs the background separation process in step S102 again on the next captured image. Execute. That is, a loop process (steps S102 ⁇ S103 ⁇ S104 ⁇ S102) is formed in which the process waits until the target object ob is captured within the imaging field of view.
  • step S103 If it is determined in step S103 that there is an object other than the background, the CPU 11 proceeds to step S105 to acquire the next captured image from the camera 4, and then performs background separation processing based on color difference in step S106.
  • step S107 the CPU 11 determines whether the contour line is closed. That is, as described above, it is determined whether the contour line specified in the background separation process is closed. If it is determined in step S107 that the contour line is not closed, the CPU 11 returns to step S105. This forms a loop process (S105 ⁇ S106 ⁇ S107 ⁇ S105) that waits until the contour line is closed.
  • step S107 If it is determined in step S107 that the contour line is closed, the CPU 11 proceeds to step S108 and performs line segment detection processing within the contour. As described above, this line segment detection processing is performed by, for example, Hough transform.
  • step S109 the CPU 11 sets the total number M of detected line segments, and in the subsequent step S110, performs processing to set the line segment identifier i to "1".
  • the line segment identifier i is an identifier for identifying a line segment to be processed among the line segments detected in step S108.
  • step S111 following step S110 the CPU 11 calculates the average brightness value Li of the i-th line segment. That is, the average brightness value for the image area as the i-th line segment is calculated as the average brightness value Li.
  • step S112 the CPU 11 determines whether the average brightness value Li is less than or equal to the threshold value THa, and if it is determined that the average brightness value Li is less than or equal to the threshold value THa, in step S113, the A process is performed in which a line segment is used as a contour candidate line, and the average brightness value Li of the line segment is stored as an initial average brightness value. For example, a process is performed in which the initial average brightness value is stored in a predetermined memory such as the RAM 13. Thereafter, the CPU 11 advances the process to step S114.
  • step S112 determines whether the average luminance value Li is equal to or less than the threshold value THa. If it is determined in step S112 that the average luminance value Li is not equal to or less than the threshold value THa, the CPU 11 passes step S113 and advances the process to step S114. That is, even if a line segment is detected within the contour, if the average luminance value is not low, there is a low possibility that it is the groove D, and therefore it is not recognized as a contour candidate line.
  • step S114 the CPU 11 determines whether the line segment identifier i is greater than or equal to the total number of detections M. That is, it is determined whether all detected line segments have been subjected to the determination (S112) as to whether or not they are to be contour candidate lines.
  • step S114 If it is determined in step S114 that the line segment identifier i is not greater than or equal to the total number of detections M, the CPU 11 increments the value of the line segment identifier i by 1 in step S115, and then returns to step S111. As a result, it is determined whether or not the next line segment is a contour candidate line, and the initial average luminance value is stored when the next line segment is determined to be a contour candidate line.
  • step S114 if it is determined in step S114 that the line segment identifier i is greater than or equal to the total number of detections M, the CPU 11 advances the process to step S116 shown in FIG.
  • step S116 in FIG. 11 the CPU 11 performs processing to acquire the next captured image, and in subsequent step S117, performs contour candidate line detection and tracking processing. That is, for the newly acquired captured image in step S116, the same process as in FIG. 10 is performed to detect contour candidate lines within the contour, and the detected contour candidate lines are compared with the already detected contour candidate lines. The contour candidate line is tracked by matching. Depending on the process of step S117, a contour candidate line that has not been detected until then may be newly detected due to a change in the positional relationship between the imaging field of the camera 4 and the target object ob.
  • step S118 following step S117 the CPU 11 sets the total number N of candidate lines.
  • the total number of candidate lines N is set to the sum of the number of contour candidate lines tracked in step S117 and the number of contour candidate lines newly detected in step S117, if any.
  • step S119 the CPU 11 sets the candidate line identifier j to "1".
  • the candidate line identifier j is an identifier for identifying a contour candidate line to be processed.
  • step S120 the CPU 11 determines whether the representative position of the j-th candidate line has reached the singular point corresponding position Ptp. If it is determined in step S120 that the representative position of the j-th candidate line has reached the singular point corresponding position Ptp, the CPU 11 proceeds to step S121, calculates the average luminance value Lj of the j-th candidate line, and then proceeds to the following step.
  • step S122 the difference (Lj-Li) between the initial average brightness value Li and the average brightness value Lj of the j-th candidate line is calculated. This corresponds to calculating the luminance change amount described above. Then, in the subsequent step S123, the CPU 11 determines whether the difference (Lj-Li), that is, the amount of change in brightness, is equal to or greater than the threshold value THb.
  • step S123 If it is determined in step S123 that the difference (Lj-Li) is not equal to or greater than the threshold THb, the CPU 11 proceeds to step S124, determines the j-th candidate line to be the contour line, and proceeds to step S125. On the other hand, if it is determined in step S123 that the difference (Lj-Li) is greater than or equal to the threshold value THb, the CPU 11 passes step S124 and advances the process to step S125. In other words, if the amount of change in brightness of the contour candidate line whose representative position has reached the singular point corresponding position Ptp is not greater than the threshold THb, the contour candidate line can be considered to be the groove D. is determined to be a contour line.
  • the contour candidate line can be considered to be the attached matter X.
  • the contour candidate line is not determined to be a contour line.
  • step S125 the CPU 11 excludes the j-th candidate line from the outline candidate lines. That is, the contour candidate lines for which the groove D and the deposit X have already been identified are excluded from the contour candidate lines.
  • step S126 the CPU 11 determines whether the candidate line identifier j is equal to or greater than the total number of candidate lines N. If the candidate line identifier j is not equal to or greater than the total number of candidate lines N, the CPU 11 proceeds to step S127, increments the value of the candidate line identifier j by 1, and returns to step S120. As a result, for the next contour candidate line, if the representative position of the contour candidate line has reached the singular point corresponding position Ptp, a process for identifying whether it is the groove D or the deposit X is performed.
  • step S120 determines that the representative position of the j-th candidate line has not reached the singular point corresponding position Ptp. That is, since the above-mentioned luminance change amount cannot be calculated for the contour candidate line whose representative position does not reach the singular point corresponding position Ptp, the processing is put on hold.
  • step S126 If it is determined in step S126 that the candidate line identifier j is equal to or greater than the total number of candidate lines N, the CPU 11 proceeds to step S128, and determines whether there is a contour candidate line whose representative position has not reached the singular point corresponding position Ptp. do. If there is a contour candidate line whose representative position does not reach the singular point corresponding position Ptp, the CPU 11 returns to step S116. As a result, for a contour candidate line whose representative position has not reached the singular point corresponding position Ptp, the representative position of the contour candidate line changes to the singular point corresponding position Ptp due to a subsequent change in the positional relationship between the imaging field of view and the target object ob. It is possible to wait until the
  • step S129 the CPU 11 proceeds to step S129 and performs area recognition processing of the target object ob based on the contour line, as shown in FIGS. 10 and 11. This completes the series of processing.
  • FIG. 14 illustrates a configuration in which the camera 4 and the light source 5 attached to the camera 4 can be swung in a fixed direction by the swing mechanism of the camera 4.
  • FIG. 14 illustrates a configuration in which the camera 4 and the light source 5 attached to the camera 4 can be swung in a fixed direction by the swing mechanism of the camera 4.
  • a camera 4 with a light source 5 attached is attached to the hand portion 2a of the robot arm 2, and the camera 4 and the light source 5 are moved in a fixed direction by the swinging mechanism of the hand portion 2a.
  • a configuration that allows swinging is illustrated.
  • the background separation processing is performed based on color difference, but it is also possible that a depth sensor is provided together with the camera 4, and the background separation processing is performed based on distance information detected by the depth sensor.
  • the process shown in FIG. 10 is changed as shown in FIG. 16. That is, instead of the background separation processing based on color difference in steps S102 and S106, background separation processing based on distance information shown in steps S102A and S106A is performed.
  • a background separation process based on this distance information for example, a distance at which the upper surface of the target object ob should be detected may be determined, and the process may be performed using this distance as a reference.
  • the camera 4 as a visible light camera is used for the process of identifying the groove D and the deposit X, but an IR (infrared) camera can also be used as the camera 4.
  • an IR (infrared) camera can also be used as the camera 4.
  • the light source 5 a light source that emits IR light rather than visible light is used.
  • the information on the object area of the target object ob recognized based on the identification result between the groove D and the deposit X is used to control the pick-up position of the target object ob by the robot arm 2.
  • the area information may be used, for example, to label, wrap, or print the target object ob.
  • the information processing device 1 is separate from the camera 4, it is also conceivable that the information processing device 1 is configured integrally with the camera 4.
  • the information processing apparatus (1) performs processing based on the image captured by the camera (4) regarding the object to be imaged by the camera, and the groove between the objects (D) and the object.
  • An identification processing unit (F1) that performs identification processing to distinguish between the groove and the deposit based on the difference in reflection characteristics with respect to changes in the direction of light irradiation from the light source (5) between the deposit (X) and the deposit (X). It is prepared.
  • the amount of light reflected to the camera hardly changes even if the direction of light irradiation from the light source changes, but with deposits, the amount of light reflected back to the camera increases with changes in the direction of light irradiation from the light source.
  • the groove and the deposit can be properly identified. can be identified.
  • the identification processing unit calculates the amount of change in brightness with respect to a change in the direction of light irradiation from the light source for the image area detected as a candidate for the groove, and calculates the amount of change in brightness based on the amount of change in brightness. It is determined whether the image area is an image area of a groove portion or an image area of a deposit. As mentioned above, deposits can cause the amount of reflected light to the camera to change significantly depending on the direction of light irradiation from the light source. Specifically, the direction of light irradiation from the light source may vary depending on the camera. When the direction is such that the image can be captured, the brightness increases significantly. Therefore, according to the above configuration, it is possible to appropriately determine whether an image area detected as a groove candidate is a groove or a deposit.
  • the identification processing unit is configured to identify a candidate image area when a representative position within the candidate image area, which is an image area detected as a groove candidate, reaches a predetermined position within the captured image.
  • the difference between the average brightness value and the average brightness value of the candidate image area before the representative position reaches the predetermined position is calculated as the amount of change in brightness.
  • the amount of brightness change due to a change in the direction of light irradiation from the light source is determined at the timing when it is estimated that the image of the light source will be captured by the camera through the deposit if the groove candidate is a deposit. It becomes possible to calculate an appropriate amount of change in brightness based on the average brightness value. Therefore, it is possible to improve the accuracy of identifying the groove portion and the deposit.
  • the identification processing section performs identification processing based on the difference in reflection characteristics when the horizontal positional relationship between the light source and the object changes.
  • the direction of irradiation of the light from the light source to the groove or the deposit changes. Therefore, according to the above configuration, it is possible to appropriately identify the groove and the deposit based on the difference in reflection characteristics between the groove and the deposit with respect to a change in the direction of light irradiation from the light source.
  • the change in the positional relationship between the light source and the object is caused by the object being conveyed by the belt conveyor. This makes it possible to appropriately identify grooves and deposits in cases where objects transported by a belt conveyor are picked up by a robot arm, etc., such as during palletization, and the object is picked up by a robot arm, etc. control accuracy can be improved.
  • the identification processing unit performs identification processing based on the difference in reflection characteristics when the direction of the light source with respect to the object is changed (see FIGS. 14 and 15, etc.) .
  • This makes it possible to appropriately distinguish between grooves and deposits in cases where the object side is stationary, such as during depalletizing. Therefore, it is possible to improve the control accuracy of an operation such as depalletizing, in which a stationary object is picked up by a robot arm or the like.
  • the object has a substantially rectangular shape when viewed from above. If the object has a substantially rectangular shape when viewed from above, it is highly likely that it will be difficult to distinguish between the adhesion and the groove between the objects if there is an adhesion, and the object area will likely be misidentified. Therefore, it is preferable to apply the identification process according to the present technology.
  • the object is a box-shaped object. If the object is box-shaped, there is a high possibility that an adhesive tape or other substance will be attached to the lid to prevent the lid from opening, and the object area will be easily misidentified due to the substance. Therefore, it is preferable to apply the identification process according to the present technology.
  • the deposit crosses or extends across the top surface of the object. If a deposit crosses or extends across the upper surface of an object that is substantially rectangular in top view, it is highly likely that it will be difficult to distinguish between the deposit and the groove between the objects, making it easy to misidentify the object area. Therefore, it is preferable to apply the identification process according to the present technology.
  • the deposit is black. If the deposit is black, it is highly likely that it will be difficult to distinguish between the deposit and the groove between the objects, and the object area will likely be misidentified. Therefore, it is preferable to apply the identification process according to the present technology.
  • the deposit is a band-shaped adhesive tape. If the deposit is a band-shaped adhesive tape, it is likely to be mistaken for a groove (outline) due to its width, and the object area may be mistaken for it. Therefore, it is preferable to apply the identification process according to the present technology.
  • the attached matter is a binding band. If the deposit is a binding band, it is likely to be mistaken for a groove (contour line) due to its width, and thus to be mistaken for an object area. Therefore, it is preferable to apply the identification process according to the present technology.
  • the information processing apparatus performs processing based on an image captured by the camera, with respect to an object to be imaged by the camera, from a light source between a groove between the objects and a substance attached to the object.
  • This is an information processing method that performs identification processing to distinguish between grooves and deposits based on differences in reflection characteristics with respect to changes in the direction of light irradiation. Even with the information processing method as such an embodiment, the same operation and effect as the information processing apparatus as the embodiment described above can be obtained.
  • the program of the embodiment is a program that can be read by a computer device, and performs processing based on an image captured by a camera, with respect to an object to be imaged by the camera, between a groove between the objects and a substance attached to the object.
  • This is a program that causes a computer device to execute an identification process for identifying a groove portion and a deposit based on a difference in reflection characteristics with respect to a change in the direction of light irradiation from a light source.
  • the function of the above-mentioned identification processing section F1 can be realized by software processing by a computer device.
  • the above program can be recorded in advance on an HDD as a recording medium built into equipment such as a computer device, or a ROM in a microcomputer having a CPU.
  • a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a Blu-ray Disc (registered trademark), a magnetic disk, a semiconductor memory It can be stored (recorded) temporarily or permanently in a removable recording medium such as a memory card.
  • a removable recording medium can be provided as so-called package software.
  • a program In addition to installing such a program into a personal computer or the like from a removable recording medium, it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • Such a program is suitable for widely providing the information processing device 1 as the embodiment.
  • a program for example, by downloading a program to a personal computer, portable information processing device, mobile phone, game device, video device, PDA (Personal Digital Assistant), etc., the personal computer etc. can be processed as the information processing device 1 of the present disclosure. It can function as a device that realizes.
  • the present technology can also adopt the following configuration.
  • An information processing device comprising: an identification processing unit that performs identification processing to identify the adhering matter.
  • (2) The identification processing section For the image area detected as a candidate for the groove, the amount of change in brightness with respect to a change in the direction of light irradiation from the light source is calculated, and based on the amount of change in brightness, it is determined whether the image area is the image area of the groove.
  • the information processing device which determines whether the image area is a kimono image area. (3)
  • the identification processing section an average brightness value of the candidate image area when a representative position in the candidate image area that is an image area detected as a candidate for the groove reaches a predetermined position in the captured image; and an average brightness value of the candidate image area when the representative position reaches the predetermined position.
  • the information processing device according to (2) above, wherein a difference from an average brightness value of the previous candidate image area is calculated as the brightness change amount.
  • the identification processing section The information processing device according to any one of (1) to (3), wherein the identification process is performed based on the difference in the reflection characteristics when the horizontal positional relationship between the light source and the object changes.
  • the information processing device (4), wherein the change in the positional relationship between the light source and the object occurs when the object is transported by a belt conveyor.
  • the identification processing section The information processing device according to any one of (1) to (3), wherein the identification process is performed based on a difference in the reflection characteristics when the direction of the light source with respect to the object is changed.
  • the information processing device according to any one of (1) to (6), wherein the object has a substantially rectangular shape when viewed from above.
  • the information processing device according to (7), wherein the object is a box-shaped object.
  • the information processing device according to (7) or (8), wherein the deposit crosses or extends across the upper surface of the object.
  • the information processing device according to any one of (1) to (9), wherein the deposit is black.
  • the information processing device according to any one of (1) to (10), wherein the attached substance is a band-shaped adhesive tape.
  • the information processing device according to any one of (1) to (10), wherein the attached object is a binding band.
  • the information processing device As processing based on an image captured by the camera, the groove part of the object to be imaged by the camera is based on the difference in reflection characteristics with respect to a change in the direction of light irradiation from the light source between the groove part between the objects and the matter attached to the object. An information processing method that performs an identification process to identify the deposits and the deposits.
  • a program readable by a computer device As processing based on an image captured by the camera, the groove part of the object to be imaged by the camera is based on the difference in reflection characteristics with respect to a change in the direction of light irradiation from the light source between the groove part between the objects and the matter attached to the object.
  • a program that causes the computer device to perform an identification process for identifying the attached matter is based on the difference in reflection characteristics with respect to a change in the direction of light irradiation from the light source between the groove part between the objects and the matter attached to the object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本技術に係る情報処理装置は、カメラによる撮像画像に基づく処理として、カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき溝部と付着物とを識別する識別処理を行う識別処理部を備えている。

Description

情報処理装置、情報処理方法、プログラム
 本技術は、情報処理装置とその方法、及びプログラムに関するものであり、特には、撮像画像に基づく物体の認識処理について精度向上を図るための技術に関するものである。
 画像センシングに係る技術として様々な技術が存在する。例えば、カメラによる撮像画像について画像解析処理を行って物体のエッジ位置を推定したり形状を推定したりする技術がある。
 このような画像解析技術の応用として、例えば物流の分野等では、撮像画像についての画像解析処理により段ボール箱等の対象物体を認識するということが行われている。対象物体の認識結果に基づき、対象物体をピックアップするロボットアームの動作が制御される。
 ここで、段ボール箱等の対象物体を適切にピックアップするには、物体の認識処理において、個々の対象物体の領域を適切に識別することを要する。下記特許文献1には、撮像視野内に複数の箱が存在する場合に、各箱のエッジ位置を検出する技術が開示されている。具体的に特許文献1では、平行となるエッジ対を検出し、交差するエッジ対同士を組み合わせて箱ごとのエッジセットを特定することが開示されている。
特開2021-022383号公報
 しかしながら、物流の分野等では、対象物体に対し、対象物体間の溝部との誤認を生じさせ得る物体が付着されていることがある。この付着物の代表的な例としては、段ボール箱等の箱状の対象物体の蓋部が開かないように係止するためのガムテープ等の帯状の粘着テープや、対象物体に巻回される結束バンド等の物体を挙げることができる。これら粘着テープや結束バンド等の付着物が黒色等の比較的暗めの色とされている場合には、対象物体間の溝部との誤認が生じ易くなる。
 付着物が対象物体間の溝部として誤認されると、対象物体の領域を正しく認識することができず、ロボットアーム等による対象物体のピックアップ動作について制御精度の低下を招いてしまう。
 本技術は上記事情に鑑み為されたものであり、物体に対する付着物がある場合に、物体間の溝部と付着物とを適切に識別できるようにすることを目的とする。
 本技術に係る情報処理装置は、カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を行う識別処理部を備えたものである。
 ここで言う「反射特性」とは、撮像対象からカメラに入射される反射光量の変化特性を意味する。溝部は、光源からの光の照射向きが変化してもカメラへの反射光量が殆ど変化しないのに対し、付着物は、光源からの光の照射向きの変化に対しカメラへの反射光量が大きく変化し得る。
 また、本技術に係る情報処理方法は、情報処理装置が、カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を行う情報処理方法である。
 さらに、本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を、前記コンピュータ装置に実行させるプログラムである。
 これら情報処理方法やプログラムにより、上記した本技術に係る情報処理装置を実現する。
本技術に係る実施形態としてのハンドリングシステムの構成例を示したブロック図である。 実施形態におけるカメラの内部構成例を示したブロック図である。 実施形態としての情報処理装置のハードウェア構成例を示したブロック図である。 付着物の例の説明図である。 情報処理装置が有する実施形態としての機能を示した機能ブロック図である。 撮像対象が付着物である場合における光源からの光の照射向きの変化に対する撮像対象の反射特性を説明するための図である。 撮像対象が溝部である場合における光源からの光の照射向きの変化に対する撮像対象の反射特性を説明するための図である。 特異点及び特異点対応位置の説明図である。 実施形態における識別処理部が行う処理の概要を説明するための図である。 実施形態としての識別手法を実現するための具体的な処理手順例を示したフローチャートである。 同じく、実施形態としての識別手法を実現するための具体的な処理手順例を示したフローチャートである。 環境光の光源を流用する変形例についての説明図である。 図12の場合に対応した特異点及び特異点対応位置の説明図である。 デパレタイズを想定した変形例についての説明図である。 デパレタイズを想定した別の変形例についての説明図である。 距離情報に基づく背景分離処理を行う場合の処理手順例を示したフローチャートである。
 以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
<1.実施形態としてのハンドリングシステムの概要>
<2.装置構成例>
<3.実施形態としての識別手法>
<4.処理手順>
<5.変形例>
<6.実施形態のまとめ>
<7.本技術>
<1.実施形態としてのハンドリングシステムの概要>
 図1は、本技術に係る実施形態としての情報処理装置1を備えて構成される、実施形態としてのハンドリングシステムの構成例を示したブロック図である。
 図示のように実施形態としてのハンドリングシステムは、情報処理装置1、ロボットアーム2、ベルトコンベア3、カメラ4及び光源5を備えている。
 ロボットアーム2は、アーム先端部に吸着ハンドとして機能するハンド部2aを有している。ロボットアーム2は、ハンド部2aを対象物体obに押し当てることで対象物体obを吸着することができ、ハンド部2aに吸着された対象物体obをアームの駆動によりピックアップすることが可能とされる。
 カメラ4は、対象物体obを撮像するための撮像装置であり、デジタルカメラとして構成されている。
 情報処理装置1は、コンピュータ装置を有して構成され、カメラ4による撮像画像についての画像解析処理や、ロボットアーム2の動作制御を行う機能を有している。
 本例のハンドリングシステムは、物流の分野への適用を想定しており、対象物体obとしては例えば段ボール箱等の荷箱(箱状物体)を想定している。ここでの荷箱は、外形が立方体や直方体の形状とされるため、上面視による形状が略矩形状とされていると表現することができる。
 なお、箱状の対象物体obとしては、段ボール箱に限らず、木製やプラスチック製の箱等、段ボール製以外の箱状物体も広く含み得る。
 本例のハンドリングシステムでは、ベルトコンベア3により運搬される(水平方向に移動される)荷箱としての対象物体obをロボットアーム2によりピックアップするケースを想定している。また本例では、このようにベルトコンベア3よりピックアップした対象物体obを、ロボットアーム2がパレット6上に積み上げるケースを想定している。このように対象物体obをパレット6上に積み上げる作業は「パレタイズ」と呼ばれる。
 このとき、対象物体obを適切にピックアップするためには、ハンド部2aによる吸着位置を、例えば対象物体obの上面中央位置等、対象物体obを安定的に保持できる位置に定めるべきである。このためには、情報処理装置1において、少なくとも対象物体obの上面視における物体領域(物体存在領域)が適切に認識されるべきである。
 このような対象物体obの物体領域の認識を可能とするため、カメラ4は、ベルトコンベア3の上方において、ベルトコンベア3側を撮像するように配置されている。これにより、水平方向に移動される対象物体obの上面を捉える撮像画像を得ることが可能とされる。
 また、本実施形態のハンドリングシステムにおいては、光源5が設けられる。
 本例において、光源5は、カメラ4に取り付けられる等、カメラ4と近接した位置に配置されている。図示のように光源5は、カメラ4による撮像方向と同方向側に光を発する向きに設置されている。
 光源5には、例えばLED(Light Emitting Diode)や蛍光灯、白熱灯等を用いることが考えられるが、光源5の具体的な種類は問わない。
<2.装置構成例>
 図2は、カメラ4の内部構成例を示したブロック図である。
 図示のようにカメラ4は、撮像部41、画像信号処理部42、メモリ部43、制御部44、及び通信部45を備えている。撮像部41、画像信号処理部42、メモリ部43、制御部44、及び通信部45は、バス46を介して相互にデータ通信を行うことが可能とされる。
 撮像部41は、フォーカスレンズ等の撮像のための各種光学素子が配列された撮像光学系と、撮像光学系を介して入射する光を受光する、例えばCCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサ等によるイメージセンサとを有して構成され、被写体を撮像し、デジタル信号による撮像画像信号(デジタルデータによる撮像画像)を生成して出力する。
 画像信号処理部42は、撮像部41により得られた撮像画像に対して、所定の画像信号処理を行う。例えば、RGBのカラー画像を得るためのデモザイク処理やNR(ノイズリダクション)処理、AWB(オートホワイトバランス)処理等の所定の画像信号処理を行う。
 メモリ部43は、バス46を介して接続された制御部44や画像信号処理部42が利用可能な不揮発性の記憶デバイスを表したものである。特に、メモリ部43は、撮像部41による撮像画像データの記録用メモリとして用いることができる。
 制御部44は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等を備えたマイクロコンピュータを有して構成され、CPUが例えばROMに記憶されたプログラムやRAMにロードされたプログラムに従った処理を実行することで、カメラ4の全体制御を行う。
 例えば制御部44は、画像信号処理部42による画像信号処理結果に基づき、露光制御と撮像光学系の焦点調節制御とを行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理が行われる。
 また、制御部44は、通信部45を介して、カメラ4の外部装置、特に本実施形態では情報処理装置1との間でデータ通信を行うことが可能とされる。
 通信部45は、外部装置との間で、有線又は無線による機器間通信やネットワーク通信を行うための通信デバイスとされる。
 制御部44は、通信部45を介して、撮像部41により得られた撮像画像データを情報処理装置1に送信することが可能とされる。
 図3は、情報処理装置1のハードウェア構成例を示したブロック図である。
 図示のように情報処理装置1は、CPU11を備えている。CPU11は、各種の処理を実行する演算処理部として機能し、ROM(Read Only Memory)12に記憶されているプログラム、又は記憶部19からRAM(Random Access Memory)13にロードされたプログラムに従って各種の処理を実行する。RAM13にはまた、CPU11が各種の処理を実行する上において必要なデータなども適宜記憶される。
 CPU11、ROM12、及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インタフェース(I/F)15も接続されている。
 入出力インタフェース15には、操作子や操作デバイスよりなる入力部16が接続される。例えば、入力部16としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
 入力部16によりユーザの操作が検知され、入力された操作に応じた信号はCPU11によって解釈される。
 また入出力インタフェース15には、LCD(Liquid Crystal Display)或いは有機EL(Electro-Luminescence)パネルなどよりなる表示部17や、スピーカなどよりなる音声出力部18が一体又は別体として接続される。
 表示部17は各種の情報表示に用いられ、例えば情報処理装置1の筐体に設けられるディスプレイデバイスや、情報処理装置1に接続される別体のディスプレイデバイス等により構成される。
 表示部17は、CPU11の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部17はCPU11の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
 入出力インタフェース15には、HDD(Hard Disk Drive)や固体メモリなどより構成される記憶部19や、モデムなどより構成される通信部20が接続される場合もある。
 通信部20は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などによる通信を行う。
 入出力インタフェース15にはまた、必要に応じてドライブ21が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体22が適宜装着される。
 ドライブ21により、リムーバブル記録媒体22から各処理に用いられるプログラム等のデータファイルなどを読み出すことができる。読み出されたデータファイルは記憶部19に記憶されたり、データファイルに含まれる画像や音声が表示部17や音声出力部18で出力されたりする。またリムーバブル記録媒体22から読み出されたコンピュータプログラム等は必要に応じて記憶部19にインストールされる。
 上記のようなハードウェア構成を有する情報処理装置1では、例えば本実施形態の処理のためのソフトウェアを、通信部20によるネットワーク通信やリムーバブル記録媒体22を介してインストールすることができる。或いは、当該ソフトウェアは予めROM12や記憶部19等に記憶されていてもよい。
 CPU11が各種のプログラムに基づいて処理動作を行うことで、後述するような情報処理装置1としての必要な情報処理や通信処理が実行される。
<3.実施形態としての識別手法>
 ここで、本実施形態のように物流の分野を想定した場合、対象物体obには、対象物体ob間の溝部との誤認を生じさせ得る物体が付着されていることがある。その場合の付着物の代表的な例としては、荷箱としての対象物体obの蓋部が開かないように係止するためのガムテープ等の帯状の粘着テープや、対象物体に巻回される結束バンド等の物体を挙げることができる。
 なお以下の説明において、対象物体obに対する付着物を「付着物X」と表記し、対象物体ob間の溝部を「溝部D」と表記する。
 図4に、付着物Xの例を示す。
 図4では複数の対象物体obが隣接して配置されている状態を上面視している。図中「M」の矢印が示す方向は、対象物体obの移動方向(本例ではベルトコンベア3による移動方向)を表している。
 本例において、付着物Xは、黒色且つ帯状の粘着テープとされ、対象物体obの上面を縦断している。ここでの縦断とは、対象物体obの移動方向に平行な方向を横方向とした場合の縦断である。対象物体obにこのような付着物Xが付されていると、図示のように対象物体obが横方向に隣接配置されている場合における縦方向の溝部Dとの誤認が生じ易く、図中に示す例では、二つ認識されるべき対象物体obが三つに誤認されてしまう虞がある。
 また、図示は省略するが、付着物Xが対象物体obの上面を横断している場合も、同様に対象物体obの領域の誤認が生じ得る。具体的に、図示の例において、例えば右側の対象物体obの上面において付着物Xが縦断ではなく横断している場合には、該付着物Xが、縦方向に対象物体obが隣接配置された場合の横方向の溝部Dとして誤認される虞があり、これにより二つ認識されるべき対象物体obが三つに誤認されてしまう虞がある。
 なお、上記の縦断及び横断に関して、縦横の定義については、カメラ4による撮像視野と対象物体obとの位置関係の変化方向を基準とした定義とすることもできる。具体的には、カメラ4による撮像視野と対象物体obとの位置関係の変化方向に平行な方向を横方向、これに直交する方向を縦方向とするものである。
 上記のような付着物Xに起因した対象物体obの領域誤認の発生防止を図るべく、本実施形態では、付着物Xと溝部Dとを識別するための手法として、以下で説明するような識別手法を採る。
 図5は、情報処理装置1におけるCPU11が有する実施形態としての機能を示した機能ブロック図である。
 図示のようにCPU11は、識別処理部F1としての機能を有する。識別処理部F1は、カメラ4による撮像画像に基づき溝部Dと付着物Xとを識別する識別処理として、溝部Dと付着物Xとの間の光源5からの光の照射向きの変化に対する反射特性の差に基づく識別処理を行う。
 ここで言う「反射特性」とは、撮像対象からカメラに入射される反射光量の変化特性を意味するものである。
 図6は、撮像対象が付着物Xである場合における光源5からの光の照射向きの変化に対する撮像対象の反射特性を説明するための図であり、図7は、撮像対象が溝部Dである場合における光源5からの光の照射向きの変化に対する撮像対象の反射特性を説明する図である。
 本例では、ベルトコンベア3により対象物体ob側が移動されることで、カメラ4による撮像対象と光源5との水平方向における位置関係が変化し、これに伴い、撮像対象に対する光源5からの光の照射向きが変化していく。具体的に、図6Aから図6B、図7Aから図7Bの遷移においては、光源5からの光の照射向きは、光源5からの光の照射角が徐々に浅くなる(小さくなる)ように変化する。
 図6Aから図6Bへの遷移として示すように、付着物Xについては、光源5からの光の照射向きの変化に対しカメラ4への反射光量が変化し得る。具体的に、付着物Xとして、例えばビニール製の粘着テープ等の光沢を有する付着物Xが用いられた場合には、光源5からの光の照射向きが変化する過程で、光源5の像が付着物Xを介して(付着物Xで反射されて)カメラ4により捉えられるタイミングが到来するものとなり(図6B参照)、該タイミングにおいて、カメラ4への反射光量が大きくなる。
 一方で、溝部Dについては、図7Aから図7Bへの遷移として示すように、光源5からの光の照射向きの変化に対しカメラ4への反射光量が殆ど変化しない。具体的に、光源5からの光の照射向きの変化に対しカメラ4への反射光量は小さいまま、略一定となる。
 なお、図6で説明した付着物Xの反射特性、すなわち光源5からの光の照射向きの変化に対しカメラ4への反射光量が変化するという特性が得られるべく、付着物Xについては、少なくとも、溝部Dよりも上面の反射率(光源5からの光に対する反射率)が高いとの条件を満たすことが望ましい。
 上記のような反射特性の差を利用して溝部Dと付着物Xとを識別するための処理として、識別処理部F1は次のような処理を行う。すなわち、識別処理部F1は、溝部Dの候補として検出した画像領域について、光源5からの光の照射向きの変化に対する輝度変化量を計算し、この輝度変化量に基づいて、検出した上記の画像領域が溝部Dの画像領域であるか付着物Xの画像領域であるかを判定する。
 このとき、識別処理部F1は、溝部Dの候補として検出した画像領域である候補画像領域内の代表位置が撮像画像内の所定位置に達したときの候補画像領域の平均輝度値と、代表位置が所定位置に達する前における候補画像領域の平均輝度値との差を、上記した輝度変化量として計算する。
 ここで、本例では、上記の「撮像画像内の所定位置」は、先の図6Bに示したように付着物Xからカメラ4への反射光量が大きくなる変化点としての「特異点Pt」に対応した画像内位置とする。以下、この特異点Ptに対応した画像内位置のことを「特異点対応位置Ptp」と表記する。
 図8は、特異点Pt及び特異点対応位置Ptpの説明図である。
 図中の上段ではカメラ4及び光源5と特異点Ptとの位置関係を示し、下段では特異点Ptと画像内位置としての特異点対応位置Ptpとの関係を示している。また図中、高さ位置Hoは、便宜的に対象物体obの上面の高さ位置を表している。
 特異点Ptは、次のように定義される位置である。すなわち、カメラ4による撮像視野と対象物体obとの位置関係の変化方向に平行な方向(横方向)における位置のうち、本例で想定している付着物Xのような反射体が位置されたときに該反射体からの反射光のカメラ4による受光量が最大化する位置を意味する。具体的には、該反射体が位置されたときに該反射体を介して光源5の像がカメラ4に捉えられて該反射体からの反射光のカメラ4による受光量が最大化する位置である。
 図示のように特異点Ptは、カメラ4による撮像視野内の位置である。
 特異点対応位置Ptpは、図示のようにカメラ4による撮像画像の画枠範囲内における特異点Ptに対応した位置として定められるものである。
 上記の前提を踏まえ、図9を参照して識別処理部F1が行う処理の概要を説明する。
 図9Aに示すように、識別処理部F1は、カメラ4による撮像画像について、背景分離による輪郭線検出を行う。本例では、この背景分離は、色差に基づき行う。例えば、対象物体obとしての段ボール箱の色は薄茶色、ベルトコンベア3のベルト部は黒色等の薄茶色以外の色であり、これらの色差に基づいて対象物体obの背景となる画像領域を分離する背景分離処理を行い、該背景分離処理の結果に基づき、対象物体obの輪郭線を検出する。
 このとき、図9Aに例示するように対象物体obの全体が撮像視野内に捉えられておらず、輪郭線が閉じていない場合には、その後における対象物体obの移動に伴い輪郭線が閉じるまで背景分離による輪郭線検出を継続する。
 輪郭線が閉じていることが確認された場合、識別処理部F1は、図9Bに示すように輪郭内の線分検出及び輪郭候補線の抽出を行う。輪郭内の線分検出については、例えばハフ(Hough)変換等、線分を検出するための公知技術を用いる。
 輪郭候補線の抽出処理としては、輪郭内で検出された線分としての画像領域について、溝部Dと推定されるものを抽出する処理を行うものであり、具体的には、輪郭内で検出された線分としての画像領域のうち、平均輝度値が所定の閾値THa以下となるものを輪郭候補線として抽出する処理を行う。
 このとき、付着物Xが黒色等の比較的暗めの色である場合、輪郭候補線として付着物Xの画像領域が抽出され易くなる。
 ここで、識別処理部F1は、輪郭候補線として抽出した線分(画像領域)については、輪郭候補線として抽出したときの平均輝度値を、初期平均輝度値として記憶する処理、例えばRAM13等の所定のメモリに記憶させる処理を行う。
 その後、識別処理部F1は、抽出した輪郭候補線ごとに、輪郭候補線の代表位置が特異点対応位置Ptpに達したか否かを判定し、代表位置が特異点対応位置Ptpに達した場合は、該輪郭候補線の平均輝度値を計算した上で、該計算した平均輝度値(以下「特異点平均輝度値」と表記)と初期平均輝度値との差を「輝度変化量」として計算し、この輝度変化量に基づいて、該輪郭候補線としての画像領域が溝部Dの画像領域であるか付着物Xの画像領域であるかを判定する。具体的には、上記の輝度変化量(「特異点平均輝度値」-「初期平均輝度値」)が所定の閾値THb以上であるか否かを判定し、輝度変化量が閾値THb以上であれば該輪郭候補線の画像領域が付着物Xの画像領域であるとの判定結果を得、輝度変化量が閾値THb以上でなければ該輪郭候補線の画像領域が溝部D(つまり輪郭線)の画像領域であるとの判定結果を得る。
 ここで、輪郭候補線の代表位置としては、例えば輪郭候補線としての画像領域の重心位置とすることが考えられる。或いは、該代表位置は、輪郭候補線としての画像領域の横方向における中心位置とすること等も考えられる。このように輪郭候補線の代表位置としては、輪郭候補線を代表する位置として定められたものであればよく、具体的な位置の設定手法については特定手法に限定されない。
 図9Cでは、付着物Xの輪郭候補線の代表位置が特異点対応位置Ptpに達した状態を例示している。この場合、付着物Xの輪郭候補線については、輝度変化量が大きくなることから、上記の判定が行われることで、付着物Xであると適切に識別することが可能となる。
 一方で、溝部Dの輪郭候補線については、輝度変化量が小さくなることから、上記の判定が行われることで溝部Dであると適切に識別することが可能となる。
 CPU11は、上記のような付着物Xと溝部Dの識別処理の結果特定される、対象物体obの輪郭線の情報に基づき、対象物体obの領域認識を行い、該領域認識結果に基づいてロボットアーム2による対象物体obのピックアップ動作を制御する。
<4.処理手順>
 図10及び図11は、上記により説明した実施形態としての識別手法を実現するための具体的な処理手順例を示したフローチャートである。
 これら図10及び図11に示す処理は、情報処理装置1のCPU11がROM12等の所定の記憶装置に記憶されたプログラムに基づき実行する。
 先ず、CPU11はステップS101で、カメラ4より撮像画像を取得する。
 なお、処理対象とする撮像画像(フレーム画像)は、カメラ4より逐次取得することに限定されず、例えばカメラ4より転送される複数フレームの撮像画像をバッファリングし、バッファリングされた撮像画像のうちから処理対象とするフレームの撮像画像を読み出すようにすること等も考えられる。
 ステップS101に続くステップS102でCPU11は、色差に基づく背景分離処理を行い、さらに続くステップS103で、背景以外の物体があるか否かを判定する。これは、撮像視野内に対象物体obが捉えられているか否かを判定していることに相当する。
 ステップS103において、背景以外の物体がないと判定した場合、CPU11はステップS104に進んで次の撮像画像をカメラ4より取得し、該次の撮像画像を対象として、ステップS102の背景分離処理を再度実行する。すなわち、撮像視野内に対象物体obが捉えられるまで待機するループ処理(ステップS102→S103→S104→S102)が形成されるものである。
 ステップS103において、背景以外の物体があると判定した場合、CPU11はステップS105に進んで次の撮像画像をカメラ4より取得した上で、ステップS106で、色差に基づく背景分離処理を行う。
 ステップS106に続くステップS107でCPU11は、輪郭線は閉じているか否かを判定する。すなわち、先に説明したように、背景分離処理で特定された輪郭線が閉じているか否かを判定するものである。
 ステップS107において、輪郭線が閉じていないと判定した場合、CPU11はステップS105に戻る。これにより、輪郭線が閉じるまで待機するループ処理(S105→S106→S107→S105)が形成される。
 ステップS107において、輪郭線が閉じていると判定した場合、CPU11はステップS108に進み、輪郭内の線分検出処理を行う。前述のように、この線分検出処理は、例えばハフ変換等により行う。
 ステップS108に続くステップS109でCPU11は、線分の総検出数Mを設定し、続くステップS110で、線分識別子iを「1」にセットする処理を行う。線分識別子iは、ステップS108で検出した線分のうち、処理対象とする線分を識別するための識別子である。
 ステップS110に続くステップS111でCPU11は、i番目の線分の平均輝度値Liを計算する。すなわち、i番目の線分としての画像領域についての平均輝度値を平均輝度値Liとして計算する。
 ステップS111に続くステップS112でCPU11は、平均輝度値Liが閾値THa以下であるか否かを判定し、平均輝度値Liが閾値THa以下であると判定した場合は、ステップS113で、i番目の線分を輪郭候補線とし、当該線分の平均輝度値Liを初期平均輝度値として記憶する処理を行う。例えば、該初期平均輝度値をRAM13等の所定のメモリに記憶させる処理を行う。その上でCPU11は、処理をステップS114に進める。
 一方ステップS112において、平均輝度値Liが閾値THa以下でないと判定した場合、CPU11はステップS113をパスして、ステップS114に処理を進める。すなわち、輪郭内で検出された線分であっても平均輝度値が低くないものについては溝部Dである可能性が低いため、輪郭候補線とは認識しないものである。
 ステップS114でCPU11は、線分識別子iが総検出数M以上であるか否かを判定する。すなわち、検出した全ての線分について、輪郭候補線とするか否かの判定(S112)を実行したか否かを判定するものである。
 ステップS114において、線分識別子iが総検出数M以上ではないと判定した場合、CPU11はステップS115で線分識別子iの値を1インクリメントした上で、ステップS111に戻る。これにより、次の線分を対象として、輪郭候補線とするか否かの判定や輪郭候補線と判定した場合における初期平均輝度値の記憶処理が行われる。
 一方ステップS114において、線分識別子iが総検出数M以上であると判定した場合、CPU11は図11に示すステップS116に処理を進める。
 図11におけるステップS116でCPU11は、次の撮像画像を取得する処理を行い、続くステップS117で、輪郭候補線の検出及びトラッキング処理を行う。すなわち、ステップS116で新たに取得した撮像画像について、先の図10と同様の処理を行って輪郭内における輪郭候補線を検出すると共に、検出された輪郭候補線について、既検出の輪郭候補線とのマッチングを行って、輪郭候補線のトラッキングを行う。このステップS117の処理によっては、カメラ4の撮像視野と対象物体obとの位置関係変化に伴い、それまで未検出であった輪郭候補線が新たに検出されることもあり得る。
 ステップS117に続くステップS118でCPU11は、候補線総数Nを設定する。この候補線総数Nは、ステップS117でトラッキングされた輪郭候補線の数と、ステップS117で新たに検出された輪郭候補線がある場合はその数とを合計した値を設定する。
 ステップS118に続くステップS119でCPU11は、候補線識別子jを「1」にセットする。候補線識別子jは、処理対象とする輪郭候補線を識別するための識別子である。
 ステップS119に続くステップS120でCPU11は、j番目候補線の代表位置が特異点対応位置Ptpに達しているか否かを判定する。
 ステップS120において、j番目候補線の代表位置が特異点対応位置Ptpに達していると判定した場合、CPU11はステップS121に進み、j番目候補線の平均輝度値Ljを計算した上で、続くステップS122でj番目候補線の初期平均輝度値Liと平均輝度値Ljとの差(Lj-Li)を計算する。これは、前述した輝度変化量を計算することに相当する。
 その上でCPU11は、続くステップS123で、差(Lj-Li)、すなわち輝度変化量が閾値THb以上であるか否かを判定する。
 ステップS123において、差(Lj-Li)が閾値THb以上ではないと判定した場合、CPU11はステップS124に進み、j番目候補線を輪郭線と判定し、ステップS125に処理を進める。
 一方、ステップS123において差(Lj-Li)が閾値THb以上であると判定した場合、CPU11はステップS124をパスしてステップS125に処理を進める。
 すなわち、代表位置が特異点対応位置Ptpに達した輪郭候補線の輝度変化量が閾値THb以上ではない場合には、該輪郭候補線は溝部Dであるとみなすことができるため、該輪郭候補線を輪郭線と判定する。一方で、代表位置が特異点対応位置Ptpに達した輪郭候補線の輝度変化量が閾値THb以上であった場合には、該輪郭候補線は付着物Xであるとみなすことができるため、該輪郭候補線を輪郭線とは判定しない。
 ステップS125でCPU11は、j番目候補線を輪郭候補線から除外する。すなわち、既に溝部Dと付着物Xとの識別が済んだ輪郭候補線は、輪郭候補線から除外するものである。
 ステップS125に続くステップS126でCPU11は、候補線識別子jが候補線総数N以上であるか否かを判定する。
 候補線識別子jが候補線総数N以上ではない場合、CPU11はステップS127に進んで候補線識別子jの値を1インクリメントし、ステップS120に戻る。これにより、次の輪郭候補線について、該輪郭候補線の代表位置が特異点対応位置Ptpに達している場合には、溝部Dか付着物Xかの識別処理が行われる。
 また、先のステップS120において、j番目候補線の代表位置が特異点対応位置Ptpに達していないと判定した場合、CPU11は、上述したステップS126に処理を進める。すなわち、代表位置が特異点対応位置Ptpに未達の輪郭候補線については上述した輝度変化量を計算できないため、処理を保留するものである。
 ステップS126において、候補線識別子jが候補線総数N以上であると判定した場合、CPU11はステップS128に進み、代表位置が特異点対応位置Ptpに未達の輪郭候補線があるか否かを判定する。
 代表位置が特異点対応位置Ptpに未達の輪郭候補線がある場合、CPU11はステップS116に戻る。これにより、代表位置が特異点対応位置Ptpに未達の輪郭候補線については、その後における撮像視野と対象物体obとの位置関係変化に伴い該輪郭候補線の代表位置が特異点対応位置Ptpに達するまで待機することが可能とされる。
 一方、代表位置が特異点対応位置Ptpに未達の輪郭候補線がなかった場合、CPU11はステップS129に進み、輪郭線に基づく対象物体obの領域認識処理を行い、図10及び図11に示した一連の処理を終える。
<5.変形例>
 ここで、これまでに説明した具体例はあくまで一例であり、本技術は多様な変形例としての構成を採り得る。
 例えば、上記では、溝部Dと付着物Xとの識別を行うための光源5として専用の光源を設ける前提としたが、光源5としては、図12に例示するように、作業現場の環境光を発する光源を流用することも考えられる。
 この場合、光源5の横方向における位置は、図12で例示するように、図1の場合よりもカメラ4から離間された位置となることが想定される。
 その場合、特異点Ptは、図13に例示するように、横方向における位置が、図8の場合よりもカメラ4から離間された位置となり、またこれに伴いこの場合の特異点対応位置Ptpは、図8の場合と比較して、画枠の横方向の中央位置からより離間された位置に定まる。
 なおこの場合、溝部Dと付着物Xとを識別するための処理自体は図10及び図11で説明したものと同様となることから重複説明は避ける。
 また、これまでの説明では、主にパレタイズを行うケースを想定したが、デパレタイズを行う場合にも実施形態としての識別処理を適用可能である。
 ここで、デパレタイズを想定した場合には、対象物体obは静止状態にあるため、図14や図15に例示するように、例えば首振り機構等により、カメラ4の撮像方向を或る一定の方向に変化させることで、カメラ4の撮像視野と対象物体obとの位置関係を変化させることが考えられる。
 具体的に、図14では、カメラ4の首振り機構により、カメラ4及びカメラ4に取り付けられた光源5を一定方向に揺動可能とした構成を例示している。また図15では、いわゆるハンドアイ方式として、ロボットアーム2のハンド部2aに光源5が取り付けられたカメラ4を取り付けることで、ハンド部2aの首振り機構により、カメラ4及び光源5を一定方向に揺動可能とした構成を例示している。
 これら何れの構成の場合も、首振り機構等によりカメラ4及び光源5が一定方向に揺動することで、カメラ4の撮像視野と対象物体obとの位置関係が変化すると共に、光源5の向きが変化するものとなって、撮像対象に対する光源5からの光の照射向きが変化する。
 従って、これら何れの場合も、図10及び図11で示した処理と同様の処理を行うことで、溝部Dと付着物Xとの識別を行うことができる。
 ただし、これら図14、図15の構成を採る場合には、カメラ4の撮像方向の変化に応じて特異点Pt及び特異点対応位置Ptpが変化することになる。従って、図10及び図11の処理を実行するにあっては、特異点対応位置Ptpを、カメラ4の撮像方向の変化に応じて変化させることを要する。
 ここで、上記では背景分離処理を色差に基づき行う例としたが、背景分離処理は、カメラ4と共にデプスセンサを設けるものとし、該デプスセンサにより検出される距離情報に基づき行うことも考えられる。
 この場合、図10に示した処理については、図16に示すように変更される。すなわち、ステップS102、S106の色差に基づく背景分離処理に代えて、ステップS102A、S106Aと示す距離情報に基づく背景分離処理を行う。この距離情報に基づく背景分離処理としては、例えば、対象物体obの上面が検出されるべき距離を定めておき、該距離を基準として行うことが考えられる。
 また、上記では、溝部Dと付着物Xとの識別処理に可視光カメラとしてのカメラ4を用いる例としたが、カメラ4にはIR(infrared)カメラを用いることもできる。この場合、光源5としては、可視光ではなくIR光を発する光源を用いる。
 また、上記では、溝部Dと付着物Xとの識別結果に基づき認識された対象物体obの物体領域の情報をロボットアーム2による対象物体obのピックアップ位置の制御に用いる前提としたが、該物体領域の情報は、例えば、対象物体obへのラベリングやラッピング、印字等を行うために用いることも考えられる。
 また、上記では、情報処理装置1がカメラ4とは別体とされた例を挙げたが、情報処理装置1がカメラ4と一体に構成されることも考えられる。
<6.実施形態のまとめ>
 上記のように実施形態としての情報処理装置(同1)は、カメラ(同4)による撮像画像に基づく処理として、カメラによる撮像対象となる物体について、物体間の溝部(同D)と物体に対する付着物(同X)との間の光源(同5)からの光の照射向きの変化に対する反射特性の差に基づき溝部と付着物とを識別する識別処理を行う識別処理部(同F1)を備えたものである。
 溝部は、光源からの光の照射向きが変化してもカメラへの反射光量が殆ど変化しないのに対し、付着物は、光源からの光の照射向きの変化に対しカメラへの反射光量が大きく変化し得る。
 従って、上記のように溝部と付着物との識別を、溝部と付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき行うことで、溝部と付着物とを適切に識別することができる。
 また、実施形態としての情報処理装置においては、識別処理部は、溝部の候補として検出した画像領域について、光源からの光の照射向きの変化に対する輝度変化量を計算し、輝度変化量に基づいて画像領域が溝部の画像領域であるか付着物の画像領域であるかを判定している。
 上述のように付着物は、光源からの光の照射向きの変化に対しカメラへの反射光量が大きく変化し得るものであり、具体的には、光源からの光の照射向きが、カメラにより光源の像が捉えられる向きとなったときに、輝度が大きく上昇するものとなる。
 従って上記構成によれば、溝部の候補として検出した画像領域について、溝部であるか付着物であるかの判定を適切に行うことができる。
 さらに、実施形態としての情報処理装置においては、識別処理部は、溝部の候補として検出した画像領域である候補画像領域内の代表位置が撮像画像内の所定位置に達したときの候補画像領域の平均輝度値と、代表位置が所定位置に達する前における候補画像領域の平均輝度値との差を輝度変化量として計算している。
 これにより、光源からの光の照射向きの変化に対する輝度変化量として、溝部の候補が付着物であった場合に光源の像が該付着物を介してカメラに捉えられると推定されるタイミングでの平均輝度値を基準とする適切な輝度変化量を計算可能となる。
 従って、溝部と付着物との識別精度向上を図ることができる。
 さらにまた、実施形態としての情報処理装置においては、識別処理部は、光源と物体との水平方向における位置関係が変化する下での反射特性の差に基づき識別処理を行っている。
 光源と物体との水平方向における位置関係が変化することで、溝部や付着物に対する光源からの光の照射向きが変化する。
 従って、上記構成によれば、溝部と付着物との識別を、溝部と付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき適切に行うことができる。
 また、実施形態としての情報処理装置においては、光源と物体との位置関係の変化が、ベルトコンベアにより物体が運搬されることで生じるものとされている。
 これにより、パレタイズ等、ベルトコンベアにより運搬される物体をロボットアーム等によりピックアップするケースに対応して、溝部と付着物との識別を適切に行うことが可能となり、ロボットアーム等による物体のピックアップ動作についての制御精度向上を図ることができる。
 さらに、実施形態としての情報処理装置においては、識別処理部は、物体に対する光源の向きが変化される下での反射特性の差に基づき識別処理を行っている(図14及び図15等参照)。
 これにより、デパレタイズ等、物体側が静止しているケースに対応して溝部と付着物との識別を適切に行うことが可能となる。
 従って、デパレタイズ等、静止状態の物体をロボットアーム等によりピックアップする動作についての制御精度向上を図ることができる。
 さらにまた、実施形態としての情報処理装置においては、物体は、上面視で略矩形の形状を有している。
 物体の上面視の形状が略矩形状であると、付着物がある場合に該付着物と物体間の溝部との識別が困難となる可能性が高く、物体領域の誤認が生じ易い。
 従って、本技術に係る識別処理を適用することが好適である。
 また、実施形態としての情報処理装置においては、物体は箱状の物体とされている。
 物体が箱状であると、蓋部が開かないように粘着テープ等の付着物が付される可能性が高く、該付着物に起因した物体領域の誤認が生じ易い。
 従って、本技術に係る識別処理を適用することが好適である。
 さらに、実施形態としての情報処理装置においては、付着物は物体の上面を横断又は縦断している。
 上面視形状が略矩形の物体の上面に付着物が横断又は縦断していると、付着物と物体間の溝部との識別が困難となる可能性が高く、物体領域の誤認が生じ易い。
 従って、本技術に係る識別処理を適用することが好適である。
 さらにまた、実施形態としての情報処理装置においては、付着物は黒色とされている。
 付着物が黒色であると付着物と物体間の溝部との識別が困難となる可能性が高く、物体領域の誤認が生じ易い。
 従って、本技術に係る識別処理を適用することが好適である。
 また、実施形態としての情報処理装置においては、付着物は帯状の粘着テープとされている。
 付着物が帯状の粘着テープであると、その幅の影響で溝部(輪郭線)との誤認が生じ易く、物体領域の誤認が生じ易い。
 従って、本技術に係る識別処理を適用することが好適である。
 さらに、実施形態としての情報処理装置においては、付着物は結束バンドとされている。
 付着物が結束バンドであると、その幅の影響で溝部(輪郭線)との誤認が生じ易く、物体領域の誤認が生じ易い。
 従って、本技術に係る識別処理を適用することが好適である。
 また、実施形態としての情報処理方法は、情報処理装置が、カメラによる撮像画像に基づく処理として、カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき溝部と付着物とを識別する識別処理を行う情報処理方法である。
 このような実施形態としての情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。
 ここで、実施形態としては、先の図10及び図11等で説明した識別処理部F1の処理を、例えばCPU、DSP(Digital Signal Processor)等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
 すなわち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき溝部と付着物とを識別する識別処理を、コンピュータ装置に実行させるプログラムである。
 このようなプログラムにより、上述した識別処理部F1としての機能をコンピュータ装置によるソフトウェア処理により実現できる。
 上記のようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
 或いはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
 またこのようなプログラムによれば、実施形態としての情報処理装置1の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の情報処理装置1としての処理を実現する装置として機能させることができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<7.本技術>
 なお本技術は以下のような構成も採ることができる。
(1)
 カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を行う識別処理部を備えた
 情報処理装置。
(2)
 前記識別処理部は、
 前記溝部の候補として検出した画像領域について、前記光源からの光の照射向きの変化に対する輝度変化量を計算し、前記輝度変化量に基づいて前記画像領域が前記溝部の画像領域であるか前記付着物の画像領域であるかを判定する
 前記(1)に記載の情報処理装置。
(3)
 前記識別処理部は、
 前記溝部の候補として検出した画像領域である候補画像領域内の代表位置が前記撮像画像内の所定位置に達したときの前記候補画像領域の平均輝度値と、前記代表位置が前記所定位置に達する前における前記候補画像領域の平均輝度値との差を前記輝度変化量として計算する
 前記(2)に記載の情報処理装置。
(4)
 前記識別処理部は、
 前記光源と前記物体との水平方向における位置関係が変化する下での前記反射特性の差に基づき前記識別処理を行う
 前記(1)から(3)の何れかに記載の情報処理装置。
(5)
 前記光源と前記物体との前記位置関係の変化が、ベルトコンベアにより前記物体が運搬されることで生じる
 前記(4)に記載の情報処理装置。
(6)
 前記識別処理部は、
 前記物体に対する前記光源の向きが変化される下での前記反射特性の差に基づき前記識別処理を行う
 前記(1)から(3)の何れかに記載の情報処理装置。
(7)
 前記物体は、上面視で略矩形の形状を有する
 前記(1)から(6)の何れかに記載の情報処理装置。
(8)
 前記物体は箱状の物体である
 前記(7)に記載の情報処理装置。
(9)
 前記付着物は前記物体の上面を横断又は縦断している
 前記(7)又は(8)に記載の情報処理装置。
(10)
 前記付着物は黒色である
 前記(1)から(9)の何れかに記載の情報処理装置。
(11)
 前記付着物は帯状の粘着テープである
 前記(1)から(10)の何れかに記載の情報処理装置。
(12)
 前記付着物は結束バンドである
 前記(1)から(10)の何れかに記載の情報処理装置。
(13)
 情報処理装置が、
 カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を行う
 情報処理方法。
(14)
 コンピュータ装置が読み取り可能なプログラムであって、
 カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を、前記コンピュータ装置に実行させる
 プログラム。
1 情報処理装置
2 ロボットアーム
2a ハンド部
3 ベルトコンベア
4 カメラ
5 光源
6 パレット
ob 対象物体
11 CPU
12 ROM
13 RAM
19 記憶部
20 通信部
21 ドライブ
22 リムーバブル記録媒体
41 撮像部
44 制御部
45 通信部
46 バス
D 溝部
X 付着物
F1 識別処理部
Pt 特異点
Ptp 特異点対応位置
Ho 高さ位置

Claims (14)

  1.  カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を行う識別処理部を備えた
     情報処理装置。
  2.  前記識別処理部は、
     前記溝部の候補として検出した画像領域について、前記光源からの光の照射向きの変化に対する輝度変化量を計算し、前記輝度変化量に基づいて前記画像領域が前記溝部の画像領域であるか前記付着物の画像領域であるかを判定する
     請求項1に記載の情報処理装置。
  3.  前記識別処理部は、
     前記溝部の候補として検出した画像領域である候補画像領域内の代表位置が前記撮像画像内の所定位置に達したときの前記候補画像領域の平均輝度値と、前記代表位置が前記所定位置に達する前における前記候補画像領域の平均輝度値との差を前記輝度変化量として計算する
     請求項2に記載の情報処理装置。
  4.  前記識別処理部は、
     前記光源と前記物体との水平方向における位置関係が変化する下での前記反射特性の差に基づき前記識別処理を行う
     請求項1に記載の情報処理装置。
  5.  前記光源と前記物体との前記位置関係の変化が、ベルトコンベアにより前記物体が運搬されることで生じる
     請求項4に記載の情報処理装置。
  6.  前記識別処理部は、
     前記物体に対する前記光源の向きが変化される下での前記反射特性の差に基づき前記識別処理を行う
     請求項1に記載の情報処理装置。
  7.  前記物体は、上面視で略矩形の形状を有する
     請求項1に記載の情報処理装置。
  8.  前記物体は箱状の物体である
     請求項7に記載の情報処理装置。
  9.  前記付着物は前記物体の上面を横断又は縦断している
     請求項7に記載の情報処理装置。
  10.  前記付着物は黒色である
     請求項1に記載の情報処理装置。
  11.  前記付着物は帯状の粘着テープである
     請求項1に記載の情報処理装置。
  12.  前記付着物は結束バンドである
     請求項1に記載の情報処理装置。
  13.  情報処理装置が、
     カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を行う
     情報処理方法。
  14.  コンピュータ装置が読み取り可能なプログラムであって、
     カメラによる撮像画像に基づく処理として、前記カメラによる撮像対象となる物体について、物体間の溝部と物体に対する付着物との間の光源からの光の照射向きの変化に対する反射特性の差に基づき前記溝部と前記付着物とを識別する識別処理を、前記コンピュータ装置に実行させる
     プログラム。
PCT/JP2023/029569 2022-08-31 2023-08-16 情報処理装置、情報処理方法、プログラム WO2024048278A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-138522 2022-08-31
JP2022138522 2022-08-31

Publications (1)

Publication Number Publication Date
WO2024048278A1 true WO2024048278A1 (ja) 2024-03-07

Family

ID=90099422

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029569 WO2024048278A1 (ja) 2022-08-31 2023-08-16 情報処理装置、情報処理方法、プログラム

Country Status (1)

Country Link
WO (1) WO2024048278A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007216381A (ja) * 2004-07-13 2007-08-30 Matsushita Electric Ind Co Ltd ロボット
JP3136245U (ja) * 2007-08-09 2007-10-18 株式会社オン・ザ・ロード 冊子送付物および冊子送付用梱包キット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007216381A (ja) * 2004-07-13 2007-08-30 Matsushita Electric Ind Co Ltd ロボット
JP3136245U (ja) * 2007-08-09 2007-10-18 株式会社オン・ザ・ロード 冊子送付物および冊子送付用梱包キット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUKUI, RUI ET AL. : "Research on shape recognition of manipulated objects using proximity sensors for caging manipulation", THE 31ST ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN (RSJ); TOKYO, JAPAN; SEPTEMBER 4-6, 2013, ROBOTICS SOCIETY OF JAPAN (RSJ), JP, vol. 31, 4 September 2013 (2013-09-04) - 6 September 2013 (2013-09-06), JP, pages 1693 - 1696, XP009553251 *

Similar Documents

Publication Publication Date Title
JP7352260B2 (ja) 自動物体検出機構を備えたロボットシステム、および、その動作方法
US11613026B2 (en) Information processing apparatus, information processing method, and storage medium
US8504191B2 (en) Method for picking up work pieces
US10410172B2 (en) Object detection apparatus, depalletization automating apparatus, and object detection method
US10951786B2 (en) Systems and methods relating to document and fastener identification
US11260534B2 (en) Information processing apparatus and information processing method
FR2851058A1 (fr) Procede de detection d'une marque d'emplacement pour robot nettoyeur et robot nettoyeur utilisant un tel procede
JP2017100214A (ja) マニピュレータシステム、撮像システム、対象物の受け渡し方法、及び、マニピュレータ制御プログラム
US8928626B2 (en) Optical navigation system with object detection
EP1614509A2 (fr) Procédé de saisie d'un objet par un bras de robot muni d'une caméra
JP6737882B2 (ja) 画像処理装置、ワーク移載装置及び画像処理方法
JP2005108413A (ja) 記憶装置検出器システムおよびこれを有する記憶ライブラリシステム、ならびにここにおける記憶装置の存在を判断する方法
US20210170609A1 (en) Transferring system and method for transferring an object
WO2024048278A1 (ja) 情報処理装置、情報処理方法、プログラム
US20030053691A1 (en) Method and apparatus for dynamic thresholding of grayscale images to delineate image attributes
WO2022156593A1 (zh) 目标物检测方法、装置、电子设备、存储介质和程序
JP2012502867A (ja) 印刷プレートのエッジのアライメントを検出する装置及び方法
WO2019062319A1 (zh) 膜层检测方法、膜层检测装置及膜层检测系统
JP2022176190A (ja) 情報管理装置、情報管理方法及びプログラム
TW202318263A (zh) 使用深度類神經網路之基材映射
CN104835239A (zh) 一种硬币识别装置及其识别方法
JP2017228062A (ja) 媒体識別装置
JP2008021694A (ja) 電子部品実装装置及び電子部品実装方法
WO2023238735A1 (ja) 情報処理装置、情報処理方法、プログラム
KR100746300B1 (ko) 로봇의 이동방향 결정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23860043

Country of ref document: EP

Kind code of ref document: A1