WO2015177881A1 - 画像処理装置、及び位置決めシステム - Google Patents

画像処理装置、及び位置決めシステム Download PDF

Info

Publication number
WO2015177881A1
WO2015177881A1 PCT/JP2014/063401 JP2014063401W WO2015177881A1 WO 2015177881 A1 WO2015177881 A1 WO 2015177881A1 JP 2014063401 W JP2014063401 W JP 2014063401W WO 2015177881 A1 WO2015177881 A1 WO 2015177881A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sensor
processing apparatus
image processing
positioning system
Prior art date
Application number
PCT/JP2014/063401
Other languages
English (en)
French (fr)
Inventor
高志 三枝
潔人 伊藤
豊和 高木
井上　智博
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2014/063401 priority Critical patent/WO2015177881A1/ja
Priority to JP2016520855A priority patent/JP6258480B2/ja
Priority to US15/312,029 priority patent/US20170094200A1/en
Publication of WO2015177881A1 publication Critical patent/WO2015177881A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Definitions

  • the present invention relates to an image processing apparatus that connects an image sensor and recognizes an image acquired from the image sensor, and a positioning system.
  • image processing apparatuses have been used to increase the speed of image processing that is necessary for determining a specific object included in an image and calculating a physical quantity such as the position and size of the specific object included in the image.
  • a method is used in which only a necessary partial region is subjected to image processing in the entire region of the image.
  • Patent Document 1 For example, as such a conventional technique, a technique described in Patent Document 1 is disclosed.
  • a face part of a subject is detected from a plurality of image data, and a change amount of the face part and a movement amount in the horizontal / vertical direction are detected to detect the change amount and the movement amount.
  • a correction amount is calculated, and the position and size of the facial organs (mouth, nose, etc.) on the image data are corrected based on the correction amount.
  • Patent Document 1 does not assume setting of image transfer performance to the image sensor, and it is difficult to speed up image transfer from the image sensor.
  • the present invention takes into consideration at least one of the above-described image recognition in consideration of the high-speed image transfer and the required performance of image transfer.
  • the present invention has at least one of the following aspects, for example.
  • the present invention obtains an image acquisition condition (for example, at least one of a dimension and a frame rate) acquired in consideration of required performance.
  • the present invention predicts the trajectory of the recognition target from the obtained image, and obtains an image acquisition condition in consideration of the prediction result and the required performance.
  • the present invention changes the position, size, and number of gradations of the image transferred from the image sensor by setting the image sensor itself, thereby speeding up the image transfer.
  • the present invention provides an image processing apparatus capable of easily changing the position, size, and number of gradations of an image transferred from an image sensor so as to satisfy the required performance of image transfer.
  • the present invention has at least one of the following effects. (1) Since the position, size, and number of gradations of the transfer image from the image sensor can be changed and the amount of transfer data from the image sensor can be reduced, high-speed image transfer can be realized. (2) Since the image sensor can be automatically set while satisfying the required performance of image transfer, the image transfer speed can be controlled easily and flexibly.
  • FIG. 1 is a configuration diagram of an image processing apparatus according to the present embodiment.
  • 6 is a flowchart showing processing operations of the image processing apparatus according to the present embodiment.
  • FIG. 3 is a diagram showing a maximum size image that is continuously transferred to the image processing apparatus according to the present embodiment.
  • FIG. 3 is a diagram showing recognition processing of the image processing apparatus according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of images continuously transferred to the image processing apparatus according to the present embodiment.
  • FIG. 3 is a diagram showing a setting screen of the image processing apparatus according to the present embodiment.
  • FIG. 5 is a diagram illustrating Equations 1 to 4.
  • FIG. 5 is a diagram for explaining Equations 5 to 10.
  • the respective directions of the X axis and the Y axis are directions parallel to the horizontal direction, and the X axis and the Y axis are orthogonal coordinate systems on a plane along the horizontal direction. Is formed.
  • the XY axis system represents an X axis system and a Y axis system in a plane parallel to the horizontal direction. The relationship between the X axis and the Y axis may be interchanged.
  • the direction of the Z-axis is a vertical direction
  • the Z-axis system represents an X-axis system in a plane parallel to the vertical direction.
  • FIG. 1 is a diagram illustrating an application example of the image processing apparatus 100 according to the present embodiment to the positioning device 110.
  • 1A is a top view of the positioning device 110
  • FIG. 1B is a cross-sectional view showing a structure cut along the line AA shown in FIG. 1A. .
  • the image recognition device 100 is connected to an image sensor 101 and a display input device 102. Further,
  • the positioning device 110 includes an image sensor 101, a positioning head 111, a beam 112, a pedestal 113, and a base 114.
  • the base 114 is equipped with a recognition target.
  • the positioning head 111 carries the image sensor 101 and moves in the X-axis direction.
  • the beam 112 carries the positioning head 111 and moves in the Y-axis direction.
  • the gantry 113 supports the beam 112.
  • the positioning device 110 drives the positioning head 111 in the XY directions and performs a positioning operation on the recognition target 120.
  • the recognition target 120 imaged by the image sensor 101 moves in a direction opposite to the driving direction of the positioning operation of the positioning head 111 in a plurality of consecutive images having different imaging times.
  • the recognition target 120 imaged by the image sensor 101 moves at a speed equivalent to the driving speed of the positioning head 111 in a plurality of consecutive images having different imaging times.
  • FIG. 2 is a configuration diagram of the image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 includes an image acquisition unit 200, an image recognition unit 201, an image sensor setting unit 203, an image sensor setting information calculation unit 202, a calculation method designation unit 204, and an input / output control unit 205.
  • the image acquisition unit 200 acquires an image captured by the image sensor 101 and transferred from the image sensor 101.
  • the image recognition unit 201 is connected to the image acquisition unit 200 and recognizes the recognition target 120 from a plurality of consecutive images acquired by the image acquisition unit 200 at different imaging times using a predetermined calculation method. is there.
  • the image sensor sensor setting information calculation unit 202 is connected to the image recognition unit 201, and satisfies the required performance of the frame rate specified in advance based on the recognition result of the image recognition unit 201 and the calculation method specified in advance. In addition, setting information for the image sensor 101 is calculated.
  • the image sensor setting unit 203 transfers the setting information calculated by the image sensor setting information calculation unit 202 to the image sensor 101 to perform setting.
  • the calculation method designating unit 204 designates setting information such as required frame rate performance and a calculation method to the image sensor setting information calculation unit 202.
  • the input / output control unit 205 is configured to input a calculation method or calculation process execution command to the image recognition unit 201 and the calculation method specifying unit 204, and a calculation method set in the image recognition unit 201 and the calculation method specifying unit 204. Or the operation result is output.
  • FIG. 3 is a flowchart showing the processing operation of the image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 designates a computation method to the computation method designation unit 204 via the display input device 102 connected to the input / output control unit 205 (S300).
  • the calculation method specified in the calculation method specifying unit 204 includes the following (1) to (7).
  • step S301 the image processing apparatus 100 determines whether to start image processing.
  • the image processing device 100 starts image processing. (S301 ⁇ Yes). In the case of No in S301, the image processing apparatus 100 waits for an image processing start command.
  • a predetermined initial value is set in the image sensor 101 based on the calculation application condition information set in the calculation method designating unit 204 (S302).
  • the image transferred from the image sensor 101 is acquired by the image acquisition unit 200 (S303).
  • FIG. 4 is a diagram showing a maximum size image continuously transferred to the image processing apparatus 100 according to the present embodiment. Note that the coordinate system of the image transferred from the image sensor 101 is the same as the coordinate system shown in FIG.
  • All region images 400-1 to 400-4 which are images of the maximum size transferred from the image sensor 101, capture the recognition target 120 and transfer it to the image processing apparatus 100 at a specific frame rate F max [fps]. .
  • the imaging time of the whole area image 400-1 is t0 [s]
  • the imaging time of the entire region image 400-2 is t0 + Tc max [s]
  • the imaging time of the entire region image 400-3 is t0 + 2 ⁇ Tc max [s]
  • the imaging of the entire region image 400-4 is expressed as t0 + 3 ⁇ Tc max [s].
  • the recognition target 120 captured in the entire area images 400-1 to 400-4 moves in a direction opposite to the driving direction of the positioning operation of the positioning head 111.
  • the recognition target 120 moves from the lower left of the image of all region image 400-1 to the center of all region image 400-4 as the imaging time elapses. And then stop.
  • the image processing apparatus 100 transfers the image acquired by the image acquisition unit 200 to the image recognition unit 201, and executes image recognition processing in the image recognition unit 201 (S304).
  • the frame rate of the image transferred from the image sensor 101 is f [fps]
  • An image obtained by superimposing the captured image at time t [s] and the captured image at the previous imaging time t-tc [s] is referred to as a superimposed image 500.
  • the captured image at time t-tc [s] is the first image
  • the captured image at time t [s] is the second image
  • the captured image obtained at a time after time t [s] is the third image. It can be expressed as an image.
  • ⁇ 1 is added to the end of the object or numerical code recognized in the captured image at the time t-tc ⁇ ⁇ for ease of explanation (for example, the recognition target 120-1).
  • -2 is added to the end of the object recognized in the captured image at time t and the numerical code (for example, recognition target 120-2).
  • the image recognition unit 201 recognizes the presence or absence of the recognition targets 120-1 and 120-2.
  • the recognition targets 120-1 and 120-2 exist in the image, the following (1) to (3) are recognized.
  • (1) Center coordinates 510-1, 510-2 which are the positions of the centers of the recognition objects 120-1 and 120-2 in the image, and (2) the size of the recognition objects 120-1 and 120-2 in the X-axis direction.
  • the presence / absence of the recognition targets 120-1 and 120-2 and the center coordinates 510-1 and 511-2 are recognized by a general image processing method such as pattern matching.
  • the image recognition unit 201 uses the luminance values of the recognition targets 120-1 and 120-2 of the superimposed image 500 and the luminance values of the background image that is a part other than the recognition targets 120-1 and 120-2 of the superimposed image 500. Then, the minimum number of gradations g min that is the number of gradations of luminance in the captured image of the image sensor 101 that is necessary for the recognition process is calculated.
  • the image recognition unit 201 obtains the center coordinates 510-1 and 510-2, the X-axis size 511-1 and 511-2, the Y-axis size 512-1 and 512-2, and the minimum floor obtained by the above processing.
  • the logarithm g min is transferred to the image sensor setting information calculation unit 202, and the process ends.
  • the image processing apparatus 100 When the recognition target 120 is detected as a result of the image recognition by the image recognition unit 201 (S305 ⁇ Yes), the image processing apparatus 100 performs one calculation that matches the calculation application condition information specified in the calculation method specifying unit in S300. Based on the condition information and the result of image recognition calculated in S304, a setting value for the image sensor 101 is calculated by processing of the image sensor setting information calculation unit 202 (S306). When the result of S305 is No, the image processing apparatus 100 acquires the next time image transferred from the image sensor 101 by the image acquisition unit 200 without changing the setting value of the image sensor 101 (S303). Repeat the process.
  • the image sensor setting information calculation unit 202 uses a movement amount in the X-axis direction from the recognition target 120-1 to the recognition target 120-2.
  • An X-axis movement amount 520 and a Y-axis movement amount 521 that is a movement amount in the Y-axis direction from the recognition target 120-1 to the recognition target 120-2 are calculated.
  • the center coordinate 510-1 is (x0, y0)
  • the center coordinate 510-2 is (x, y)
  • the speed in the X-axis direction and the speed in the Y-axis direction of the recognition target 120 may be obtained by other general image processing methods such as an optical flow.
  • the X axis size 511-1 is lx0
  • the X axis size 511-2 is lx
  • the Y axis size 512-1 is ly0
  • the speed acting in the X-axis direction is defined as the X-axis size change rate v zx [pixel / s], and the speed acting in the Y-axis direction.
  • Y be the Y-axis size change v zy [pixel / s].
  • the image sensor setting information calculation unit 202 calculates the X-axis size change rate v zx and the Y-axis size change rate v z using Equation 2.
  • the X-axis size change degree and the Y-axis size change degree may be obtained by other general image processing methods such as stereo vision.
  • the image sensor setting information calculation unit 202 captures images at the next time of the image sensor 101 from the following (1) to () calculated using the recognition targets 120-1 and 120-2.
  • the predicted recognition result of the recognition target 120-3 is calculated.
  • the image sensor setting information calculation unit 202 calculates the following (1) to (3) as predicted values of the recognition result of the captured image at time t + tc ′.
  • the image sensor setting information calculation unit 202 calculates the center coordinate 510-3 using Equation 3 when the predicted center coordinate 510-3 of the recognition target 120-3 is (x ′, y ′). To do.
  • the image sensor setting information calculation unit 202 sets the predicted X-axis size 511-3 of the recognition target 120-3 to l x ', and the predicted Y-axis size 512-3 of the recognition target 120-3 to l y Assuming that, the X-axis size 511-3 and the Y-axis size 512-3 are respectively calculated using Equation 4.
  • the image sensor setting information calculation unit 202 performs the following (a) to (c) based on the center coordinates 510-3, the X-axis size 511-3, and the Y-axis size 512-3 calculated by itself. To obtain image sensor setting information ((1) to (5), which can be expressed as first setting information) satisfying the calculation condition information (which can be expressed as a predetermined condition or a required value). .
  • A Required value of frame rate fr [fps]
  • the X-axis transfer size 531 and the Y-axis transfer size 532 can be expressed as the dimensions of the third image.
  • the transfer coordinates 533 can also be expressed as an example of information defining the position of the third image.
  • the X-axis transfer size 531 is lp x '
  • the Y-axis transfer size 532 is lp y '
  • the excess size ratio in the X-axis direction with respect to the X-axis size 511-3 is the X-axis excess size ratio ⁇ [%]
  • Y A surplus size ratio in the Y-axis direction with respect to the axis size 512-3 is defined as a Y-axis surplus size ratio ⁇ [%].
  • lp x ′ can be expressed as a dimension in the first direction
  • lp y ′ can be expressed as a second dimension in a direction intersecting the first direction.
  • ⁇ and ⁇ can be expressed as predetermined coefficients.
  • the image sensor setting information calculation unit 202 calculates the X-axis transfer size 531 and the Y-axis transfer size 532 using Equation 5 respectively.
  • the X-axis surplus size ratio ⁇ and the Y-axis surplus size ratio ⁇ are values satisfying Equation 6.
  • the minimum coordinate value that can be set for the image transferred from the image sensor 101 is (x min , y min ), and the maximum coordinate value that can be set for the image transferred from the image sensor 101 is (x max , y max ).
  • the transfer coordinate 533 is (xp, yp).
  • the image sensor setting information calculation unit 202 calculates the transfer coordinates 533 using Equation 7.
  • the variables a and b in the mathematical expression 7 are respectively (l x '/ 2) ⁇ a ⁇ lp x '-(l x '/ 2), (l y ' / 2) ⁇ b ⁇ lp Any unique number satisfying y '-(l y ' / 2).
  • the exposure time of the image sensor 101 Te [s] the transfer time of the header part in the image transfer of the image sensor 101 is Th [s]
  • the transfer time increased per transfer of one line of the image sensor 101 is Tl [s]
  • These Te, Th, Tl, d, and Td can be expressed as second setting information.
  • the image sensor setting information calculation unit 202 calculates the frame rate f ′ at this time using Equation 8.
  • the transfer gradation number g is a value satisfying Equation 9.
  • the image sensor setting information calculation unit 202 can calculate the image sensor setting information while satisfying the calculation condition information by calculating the mathematical formulas shown in Formulas 3 to 9 and satisfying Formula 10.
  • the image sensor setting information calculation unit 202 adjusts the values of the X-axis surplus size ratio ⁇ , the Y-axis surplus size ratio ⁇ , and the transfer gradation number g so as to satisfy the condition shown in Equation 9. A calculation procedure for calculating sensor setting information is required.
  • the image sensor setting information calculation unit 202 transfers the calculated image sensor setting information to the image sensor setting unit 203 and completes the process of S306.
  • the image sensor setting unit 203 of the image recognition apparatus 100 sets the image sensor setting information transferred from the image sensor setting information calculation unit 202 in the image sensor 101 (S307).
  • the image processing apparatus 100 ends the process. To do.
  • the image acquisition unit 200 acquires the image at the next time transferred from the image sensor 101 (S303), and the process is repeated.
  • FIG. 6 is a diagram illustrating an example of images continuously transferred to the image processing apparatus 100 according to the present embodiment.
  • the first partial acquired images 600-1 to 600-7 are images obtained by transferring only the partial areas of the whole area images 400-1 to 400-4 from the image sensor 101.
  • the frame rate in the example of FIG. This is about three times as large as the entire area images 400-1 to 400-4.
  • the second partial acquired images 610-1 to 610-7 are images obtained by transferring only the partial areas of the entire area images 400-1 to 400-4 from the image sensor 101.
  • the total area images 400-1 to 400-4 are about 6 times larger than the first partial acquired images 600-1 to 600-7.
  • the second partial acquired images 610-1 to 610-7 have a smaller transfer image size than the first partial acquired images 600-1 to 600-7.
  • the recognition target 120 is set. In order to search in a wide area, it is desirable to apply the whole area image 400-1. In addition, as the distance between the positioning head 111 and the recognition target 120 approaches and the positioning head 111 decelerates, the setting of the image sensor 101 is switched in order to recognize the vibration error of the positioning head 111. It is desirable to improve the frame rate by changing the transferred images to the first partial acquired images 600-1 to 600-7 and the second partial acquired images 610-1 to 610-7.
  • the positioning device 110 of the present embodiment is a component mounting device that mounts an electronic component having a short side size of several hundreds ⁇ m on a printed wiring board
  • all-region images 400-1 to 400-4 are displayed.
  • the image size of the first partial acquired images 600-1 to 600-7 is about 10 to 20 mm in both the X-axis direction and the Y-axis direction, and the frame rate at that time is about 100 to 200 fps.
  • the frame rate is about 300 to 600 fps, and the image sizes of the second partial acquired images 610-1 to 610-7 are about
  • the frame rate is preferably about 1 to 3 mm, and the frame rate is preferably about 1000 fps.
  • FIG. 7 is a diagram showing a setting screen 700 of the image processing apparatus 100 according to the present embodiment.
  • the setting screen 700 includes a parameter setting unit 701, a parameter application condition setting unit 702, an image processing result display unit 703, and a processing content display unit 704.
  • the parameter setting unit 701 is an input interface for setting calculation condition information.
  • the parameter setting condition setting unit 702 is an input interface for setting calculation application condition information for a plurality of calculation condition information.
  • the image processing result display unit 703 includes the image recognition unit 201 of the image processing apparatus 100, It is an output interface for showing the result of processing of the image sensor setting information calculation unit 202.
  • the image processing result display unit 703 displays the latest image acquired from the image sensor 101, the recognition value of the recognition target 120, and the time history of the image transferred from the image sensor 101. Is displayed.
  • the processing content display unit 704 is an output interface for indicating the progress of internal processing of the image processing apparatus 100.
  • the user of the image processing apparatus 100 first sets the calculation condition information in the parameter setting unit 701 and the calculation application condition information in the parameter application condition setting unit 702, and then sets the image processing result display unit 703.
  • the processing content display unit 704 whether or not a desired recognition process can be executed is confirmed, and calculation condition information and calculation application condition information are adjusted based on the confirmed contents.
  • FIG. 8 is a diagram illustrating a second example of the image processing apparatus 100 according to the present embodiment.
  • the servo control device 800 includes an actuator control unit 801 and an operation information transfer unit 802.
  • the servo control device 800 connects the actuator 810 and a sensor 820 for feeding back the position, speed, acceleration and the like of the actuator 810.
  • the actuator control unit 801 controls the actuator 810 based on feedback information from the sensor 820.
  • the actuator control unit 801 acquires the current position and speed of the movable unit using the actuator 810 based on feedback information from the sensor 820.
  • the actuator control unit 801 is a movable unit using the actuator 810 that is predicted at the next imaging time of the image sensor 101 based on the position for driving the actuator 810, the command waveform of the speed, and the generation of the trajectory. The position, speed, etc. are calculated.
  • the actuator control unit 801 includes information on the current position and speed of the movable part using the calculated actuator 810 and information on the position and speed of the movable part using the actuator 810 predicted at the next imaging time of the image sensor 101. Is transferred to the operation information transfer unit 802.
  • the operation information transfer unit 802 is connected to the image sensor setting information calculation unit 202 of the image processing apparatus 100.
  • the image sensor setting information calculation unit 202 of the image processing apparatus 100 of the present embodiment acquires at least one of the following (1) to () from the operation information transfer unit 802 of the servo control device 800. Execute the process. (1) Speed in the X-axis direction of the recognition target 120-2 of the current captured image, (2) Speed in the Y-axis direction, (3) X-axis size change rate, (4) Y-axis size change rate, (5) Center coordinates 510-3 predicted from the captured image at the next time, (6) X-axis size 511-3, and (7) Y-axis size 511-3.
  • the image sensor setting information calculation unit 202 acquires from the image recognition unit 201 the information that is not acquired from the operation information transfer unit 802 among all information necessary for its own processing, as in the first embodiment. .
  • Such a configuration of the image processing apparatus 100 can reduce the calculation load of the image recognition unit 201 and the image sensor setting information calculation unit 202, thereby enabling higher-speed image processing.
  • the image processing apparatus 100 is applied to the positioning apparatus 110, and the actuator 810 and the sensor 820 are applied to control the positioning head 111, which is a movable portion of the positioning apparatus 110, and the beam 112.
  • the servo control device 800 is applied to the control of the actuator 810 and the sensor 820, a position and speed more accurate than the position and speed calculated by the recognition processing of the image processing apparatus 100 can be obtained.
  • the present invention is not limited to the embodiments.
  • the contents disclosed in this embodiment can be applied to automobiles and railways. That is, the positioning system is a broad expression that can include component mounting apparatuses, automobiles, railways, and other systems.
  • DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus 101 ... Image sensor 102 ... Display input device 110 ... Positioning device 111 ... Positioning head 112 ... Beam 113 ... Base 114 ... Base 120, 120 -1, 120-2, 120-3 ... recognition target 200 ... image acquisition unit 201 ... image recognition unit 202 ... image sensor setting information calculation unit 203 ... image sensor setting unit 204 ... ⁇ Calculation method designation unit 205... I / O control unit 400, 400-1 to 400-4... All region image 500... Superimposed image 510-1, 510-2, 510-3. 511-1, 511-2, 511-3 ... X-axis size 512-1,512-2,512-3 ... Y-axis size 520 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

　画像センサの画像転送を高速化し、かつ、画像転送の要求性能を容易に満たすことができる画像処理装置を提供する。そこで本発明は、センサと、処理部と、を有し、　前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、　前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定する。さらに、前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む。

Description

画像処理装置、及び位置決めシステム
　本発明は、画像センサを接続し、画像センサから取得される画像を認識処理する画像処理装置、及び位置決めシステムに関する。
　近年、画像処理装置では、画像中に含まれる特定の物体を判別や、画像中に含まれる特定の物体の位置や、サイズなどの物理量を算出するために必要となる画像処理の高速化のため、画像の全体領域のうち、必要な部分領域のみを画像処理する方法が用いられている。
　例えば、このような従来技術として、特許文献１に記載の技術が開示されている。
　特許文献１に記載の技術では、複数の画像データから被写体の顔部を検出して、顔部の大きさの変化量、水平/垂直方向への移動量を検出して変化量、移動量の補正量を算出し、補正量に基づいて顔部の器官（口、鼻等）の画像データ上の位置や大きさを補正する。
特開２０１２－１９８８０７号公報
　以降の説明は当業者に分かりやすく説明するためのものであり、本発明を限定的に解釈するために意図されたものではない。
　特許文献１に記載の技術は、画像センサへの画像転送性能の設定を想定しておらず、画像センサからの画像転送を高速化することが困難である。
　また、特許文献１に記載の技術では、画像の位置とサイズを、認識対象の移動量や、変化量のみで決定するため、画像転送の要求性能を満たすように画像のサイズや、画像の位置を変更することが困難である。
　本発明は、上述した画像転送の高速化、及び画像転送の要求性能を考慮した画像認識の少なくとも１つに配慮したものである。
　本発明は、例えば以下の側面のうち少なくとも１つを有する。　
（１）本発明は、要求性能を考慮して取得する画像の取得条件（例えば、寸法、及びフレームレートの少なくとも１つ）を得る。
（２）本発明は、得られた画像から認識対象の軌道を予測し、予測の結果と要求性能を考慮して画像の取得条件を得る。
（３）本発明は、画像センサから転送される画像の位置、サイズ、階調数を画像センサ自体に設定を行うことで変更し、画像転送を高速化する。
（４）本発明は、画像転送の要求性能を満たすように、画像センサから転送される画像の位置、サイズ、階調数を容易に変更可能な画像処理装置を提供する。
　本発明は以下の効果の少なくとも１つを奏する。（１）画像センサからの転送画像の位置、サイズ、階調数を変更し、画像センサからの転送データ量を削減できるため、画像転送の高速化が実現できる。（２）画像転送の要求性能を満たしつつ、自動的に画像センサへの設定が可能となるため、容易に、かつ、柔軟に画像転送の速度を制御できる。
本実施形態に係る画像処理装置の位置決め装置への適用例を示す図。 本実施形態に係る画像処理装置の構成図。 本実施形態に係る画像処理装置の処理動作を示すフローチャート。 本実施形態に係る画像処理装置に連続転送される最大サイズの画像を示す図。 本実施形態に係る画像処理装置の認識処理を示す図。 本実施形態に係る画像処理装置に連続転送される画像の一例を示す図。 本実施形態に係る画像処理装置の設定画面を示す図。 本実施形態に係る部品実装装置の第２の実施例を示す図。 数１～数４を説明する図。 数５～数１０を説明する図。
　次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。なお、以下の実施形態では、画像センサが搭載された可動部を駆動させ、認識対象に位置決めする位置決め装置への適用例として説明する。
　ここで、各実施形態（各図面）において、Ｘ軸およびＹ軸のそれぞれの方向は、水平方向と平行な方向であり、Ｘ軸およびＹ軸は、水平方向に沿った平面上の直交座標系を形成するものである。また、ＸＹ軸系という場合は、水平方向に平行な平面におけるＸ軸系とＹ軸系とを表している。なお、Ｘ軸とＹ軸の関係は、お互いが入れ替わってもよい。また、各実施形態（各図面）において、Ｚ軸の方向は、垂直方向であり、Ｚ軸系という場合は、垂直方向に平行な平面におけるＸ軸系を表している。
実施形態１
　図１は、本実施形態に係る画像処理装置１００の位置決め装置１１０への適用例を示す図である。なお、図１の（ａ）は、位置決め装置１１０の上面図であり、図１の（ｂ）は、図１（ａ）に示すＡ－Ａ線に沿って切断した構造を示す断面図である。
　画像認識装置１００は、画像センサ１０１と、表示入力装置１０２と接続されている。さらに、
　位置決め装置１１０は、画像センサ１０１、位置決めヘッド１１１、ビーム１１２、架台１１３、及びベース１１４を含む。
　ベース１１４は認識対象を搭載するものである。位置決めヘッド１１１は画像センサ１０１を搭載し、X軸方向に移動する。ビーム１１２は位置決めヘッド１１１を搭載し、Y軸方向に移動する。架台１１３はビーム１１２を支持するものである。
　位置決め装置１１０は、位置決めヘッド１１１をＸＹ方向に駆動させ、認識対象１２０に位置決め動作を行う。
　このため、画像センサ１０１で撮像される認識対象１２０は、撮像時刻の異なる連続した複数の画像において、位置決めヘッド１１１の位置決め動作の駆動方向に対し、反対となる方向に移動する。
　また、画像センサ１０１で撮像される認識対象１２０は、撮像時刻の異なる連続した複数の画像において、位置決めヘッド１１１の駆動速度と同等の速度で移動する。
　図２は、本実施形態に係る画像処理装置１００の構成図である。
　画像処理装置１００は、画像取得部２００、画像認識部２０１、画像センサ設定部２０３、画像センサ設定情報演算部２０２、演算方法指定部２０４、入出力制御部２０５を含む。
　画像取得部２００は、画像センサ１０１で撮影され、画像センサ１０１より転送される画像を取得する。
　画像認識部２０１は、画像取得部２００と接続されおり、画像取得部２００で取得される撮像時刻の異なる連続した複数の画像から、あらかじめ指定された演算方法で認識対象１２０を認識処理するものである。
　画像センサセンサ設定情報演算部２０２は、画像認識部２０１と接続されており、画像認識部２０１の認識結果、及びあらかじめ指定された演算方法に基づき、あらかじめ指定されたフレームレートの要求性能を満たすように、画像センサ１０１への設定情報を算出するものである。
　画像センサ設定部２０３は、画像センサ設定情報演算部２０２で算出された設定情報を、画像センサ１０１に転送し、設定を行うものである。
　演算方法指定部２０４は、画像センサ設定情報演算部２０２にフレームレートの要求性能などの設定情報や、演算方法を指定するものである。
　入出力制御部２０５は、画像認識部２０１と、演算方法指定部２０４への演算方法や、演算処理の実行指令の入力と、画像認識部２０１と、演算方法指定部２０４に設定された演算方法や、演算結果を出力するものである。
　次に、画像処理装置１００の処理動作について図３、図４、図５を用いて説明する。図３は、本実施形態に係る画像処理装置１００の処理動作を示すフローチャートである。
　画像処理装置１００は、まず、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に演算方法を指定する（Ｓ３００）。このとき、演算方法指定部２０４に指定する演算方法は、以下の（１）～（７）を含む。（１）画像センサ１０１から転送される画像のフレームレートの要求値（２）画像センサ１０１から転送される画像のＸ軸方向の余剰サイズ比率の下限値（３）画像センサ１０１から転送される画像のＹ軸方向の余剰サイズ比率の下限値（４）画像センサ１０１から転送される画像の中心位置の変更有無（５）画像センサ１０１から転送される画像の階調の変更有無からなる演算条件情報を複数個（６）各演算条件情報の初期値（７）各演算条件情報の適用条件からなる演算適用条件情報。　
　次に、Ｓ３０１では、画像処理装置１００は、画像処理を開始するか否か判断する。例えば、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に画像処理の開始が指令された場合、画像処理装置１００は画像処理を開始する。（Ｓ３０１→Ｙｅｓ）。Ｓ３０１の処理でＮｏの場合、画像処理装置１００は、画像処理の開始指令を待つ。
　画像処理の開始が決定されると演算方法指定部２０４に設定された演算適用条件情報に基づき、画像センサ１０１には所定の初期値が設定される（S３０２）。
　次に、画像センサ１０１から転送される画像を画像取得部２００で取得する（Ｓ３０３）。
　ここで、Ｓ３０３で画像センサ１０１から画像処理装置１００に転送される画像の例を図４を用いて説明する。
　図４は、本実施形態に係る画像処理装置１００に連続転送される最大サイズの画像を示す図である。なお、画像センサ１０１から転送される画像の座標系は、図１で示した座標系と同じものとする。
　画像センサ１０１から転送される最大サイズの画像である全領域画像４００－１～４００－４は、認識対象１２０を撮像し、固有のフレームレート Fmax [fps] で画像処理装置１００に転送される。
　このため、全領域画像４００－１の撮像時刻を t0 [s] とし、全領域画像４００－１～４００－４のそれぞれの撮像間の時間を Tcmax [s]（＝ 1 ／ Fmax）とすると、全領域画像４００－２の撮像時刻は、t0 ＋ Tcmax [s]、全領域画像４００－３の撮像時刻は、t0 ＋ 2 × Tcmax [s]、全領域画像４００－４の撮像時刻は、t0 ＋ 3 × Tcmax [s]、と表すことができる。
　このとき、全領域画像４００－１～４００－４に撮像される認識対象１２０は、位置決めヘッド１１１の位置決め動作の駆動方向に対して、反対となる方向に移動する。
　このため、全領域画像４００－１～４００－４に示すとおり、認識対象１２０は、撮像時刻の経過とともに、全領域画像４００－１の画像左下から、全領域画像４００－４の中心へと移動し、停止する。
　ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０３からの処理について説明する。
　Ｓ３０３の処理の後、画像処理装置１００は、画像取得部２００で取得された画像を画像認識部２０１に転送し、画像認識部２０１にて、画像の認識処理を実行する（Ｓ３０４）。
　ここで、Ｓ３０４の行う認識処理の内容を図５（ａ）を用いて説明する。なお、ここでは、画像センサ１０１から転送される画像のフレームレートを f [fps]、画像センサ１０１から転送される連続画像の撮像間の時間を tc [s]（＝ 1 ／ f）とし、ある時刻 t [s] の撮像画像とその１つ前の撮像時刻 t － tc [s] の撮像画像とを重ね合せた画像を重畳画像５００とする。なお、時刻 t － tc [s] の撮像画像は第１の画像、時刻 t [s] の撮像画像は第２の画像、時刻 t [s] より後の時刻に得られた撮像画像は第３の画像と表現することができる。
　なお、図５の重畳画像５００では、説明の簡便にするため、時刻 t － tc の撮像画像で認識される物体や数値の符号の末尾に－１を付与（例：認識対象１２０－１）し、時刻 t の撮像画像で認識された物体や数値の符号の末尾に－２を付与（例：認識対象１２０－２）する。
　画像認識部２０１は、画像センサ１０１から画像が転送されると、認識対象１２０－１、１２０－２の有無を認識する。そして、画像内に認識対象１２０－１、１２０－２が存在する場合、以下の（１）～（３）を認識する。（１）画像内の認識対象１２０－１、１２０－２の中心の位置である中心座標５１０－１、５１０－２、（２）認識対象１２０－１、１２０－２のＸ軸方向のサイズであるＸ軸サイズ５１１－１、５１１－２、（３）認識対象１２０－１、１２０－２のＹ軸方向のサイズであるＹ軸サイズ５１２－１、５１２－２。
　ここで、認識対象１２０－１、１２０－２の有無と、中心座標５１０－１、５１１－２は、パターンマッチングなどの一般的な画像処理方法で認識を行う。
　また、画像認識部２０１は、重畳画像５００の認識対象１２０－１、１２０－２の輝度値、及び重畳画像５００の認識対象１２０－１、１２０－２以外の部分である背景画像の輝度値から、認識処理に最低限必要となる画像センサ１０１の撮像画像における輝度の階調数である最小階調数 gmin を算出する。
　次に、画像認識部２０１は上述の処理で得られた中心座標５１０－１、５１０－２、Ｘ軸サイズ５１１－１、５１１－２、Ｙ軸サイズ５１２－１、５１２－２、及び最小階調数 gmin を画像センサ設定情報演算部２０２に転送し、その処理を終了する。
　ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０５からの処理について説明する。
　画像処理装置１００は、画像認識部２０１の画像認識の結果、認識対象１２０を検出できた場合（Ｓ３０５→Ｙｅｓ）、Ｓ３００で演算方法指定部に指定された演算適用条件情報に合致する１つの演算条件情報と、Ｓ３０４で算出された画像認識の結果に基づいて、画像センサ設定情報演算部２０２の処理により画像センサ１０１への設定値を算出する（Ｓ３０６）。Ｓ３０５の処理でＮｏの場合、画像処理装置１００は、画像センサ１０１の設定値を変更せずに、画像センサ１０１から転送される次の時刻の画像を画像取得部２００で取得し（Ｓ３０３）、処理を繰り返す。
　ここで、画像センサ設定情報演算部２０２の処理内容について図５（ｂ）を用いて説明する。　
　画像センサ設定情報演算部２０２は、画像認識部２０１から転送される中心座標５１０－１、５１０－２に基づき、認識対象１２０－１から、認識対象１２０－２までのＸ軸方向の移動量であるＸ軸移動量５２０と、認識対象１２０－１から、認識対象１２０－２までのＹ軸方向の移動量であるＹ軸移動量５２１を算出する。
　ここで、中心座標５１０－１を（x0, y0）、中心座標５１０－２を（x, y）とし、Ｘ軸移動量５２０を Δx（＝ x － x0）、Ｙ軸移動量５２１を Δy（＝ y － y0） とする。
　このとき、認識対象１２０－１から認識対象１２０－２までのＸ軸方向の速度 vx [pixel/s] と、認識対象１２０－１から認識対象１２０－２までのＹ軸方向の速度 vy [pixel/s] は、数１を用いて求められる。
　なお、認識対象１２０のＸ軸方向の速度、およびＹ軸方向の速度は、オプティカルフローなどの他の一般的な画像処理方法で求めてもよい。
　さらに、Ｘ軸サイズ５１１－１を lx0、Ｘ軸サイズ５１１－２を lx 、Ｙ軸サイズ５１２－１を ly0、Ｙ軸サイズ５１２－２を ly とし、Ｘ軸方向の認識対象のサイズの変化量を Δlx（＝ lx － lx0）、Ｙ軸方向の認識対象のサイズの変化量をΔly（＝ ly － ly0）、とする。
　また、認識対象１２０－１から認識対象１２０－２までのＺ軸方向の速度のうち、Ｘ軸方向に作用するものをＸ軸サイズ変化度 vzx [pixel/s] とし、Ｙ軸方向に作用するものをＹ軸サイズ変化度 vzy [pixel/s]とする。
　このとき、画像センサ設定情報演算部２０２は、Ｘ軸サイズ変化度 vzx と、Ｙ軸サイズ変化度 vz を、数２を用いて算出する。
　なお、Ｘ軸サイズ変化度と、Ｙ軸サイズ変化度は、ステレオビジョンなどの他の一般的な画像処理方法で求めてもよい。
　次に、画像センサ設定情報演算部２０２は、認識対象１２０－１、１２０－２を用いて算出された以下の（１）～（）から画像センサ１０１の撮像時刻 t の、次の時刻の撮像における認識対象１２０－３の予測される認識結果を算出する。（１）Ｘ軸方向の速度 vx 、（２）Ｙ軸方向の速度 vy 、（３）Ｘ軸サイズ変化度 vzx 、（４）Ｙ軸サイズ変化度 vzy 。
　ここで、画像センサ１０１の時刻 t での撮像に対する、次の時刻の撮像画像が転送される際のフレームレートを f’[fps]、画像センサ１０１の時刻 t での撮像から、次の時刻の撮像までの時間を tc’[s]（＝ 1 ／ f’）とし、撮像時刻 t ＋ tc’で撮像される認識対象１２０－３の予測位置を図５（ｂ）に破線にて示す。
　なお、図５（ｂ）では、時刻 t ＋ tc’の画像において予測される認識結果の符合の末尾に－３を付与（例：認識対象１２０－３）する。
　まず、画像センサ設定情報演算部２０２は、時刻 t ＋ tc’の撮像画像の認識結果の予測値として、以下の（１）～（３）を算出する。（１）認識対象１２０－３の重畳画像５００の座標系における中心座標５１０－３、（２）認識対象１２０－３のＸ軸サイズ５１１－３、（３）認識対象１２０－３のＹ軸サイズ５１２－３。
　このとき、画像センサ設定情報演算部２０２は、認識対象１２０－３の予測される中心座標５１０－３を（x’, y’）とすると、数３を用いて、中心座標５１０－３を算出する。
　次に、画像センサ設定情報演算部２０２は、認識対象１２０－３の予測されるＸ軸サイズ５１１－３を lx’、認識対象１２０－３の予測されるＹ軸サイズ５１２－３を ly’とすると、数４を用いて、Ｘ軸サイズ５１１－３と、Ｙ軸サイズ５１２－３をそれぞれ算出する。
　次に、画像センサ設定情報演算部２０２は、自身で算出した、中心座標５１０－３、Ｘ軸サイズ５１１－３、及びＹ軸サイズ５１２－３に基づいて、以下の（a）～（c）によって構成される演算条件情報（所定の条件や要求値と表現することができる）を満たす画像センサ設定情報（（１）～（５）、第１の設定情報と表現することができる）を得る。（a）フレームレートの要求値 fr [fps]、（b）Ｘ軸サイズ５１１－３に対するＸ軸方向の余剰サイズ比率の下限値 αr [%]、（c）Ｙ軸サイズ５１２－３に対するＹ軸方向の余剰サイズ比率の下限値 βr [%] 、（１）画像センサ１０１から転送される画像のＸ軸方向の転送サイズであるＸ軸転送サイズ５３１、（２）画像センサ１０１から転送される画像のＹ軸方向の転送サイズであるＹ軸転送サイズ５３２、（３）画像センサ１０１から転送される画像の転送する位置を、最大サイズの画像における位置座標にて指定するための座標情報である転送座標５３３、（４）画像センサ１０１から転送される画像の階調数である転送階調数 g、（５）フレームレート f’。なお、Ｘ軸転送サイズ５３１、及びＹ軸転送サイズ５３２は第３の画像の寸法と表現することができる。また、転送座標５３３は第３の画像の位置を規定する情報の一例と表現することもできる。
　ここで、Ｘ軸転送サイズ５３１を lpx’、Ｙ軸転送サイズ５３２を lpy’とし、Ｘ軸サイズ５１１－３に対するＸ軸方向の余剰サイズ比率をＸ軸余剰サイズ比率 α [%]、Ｙ軸サイズ５１２－３に対するＹ軸方向の余剰サイズ比率をＹ軸余剰サイズ比率 β [%] とする。 lpx’は第１の方向における寸法と、 lpy’は前記第１の方向と交差する方向における第２の寸法と表現できる。α、βは所定の係数と表現することができる。
　まず、画像センサ設定情報演算部２０２は、数５を用いて、Ｘ軸転送サイズ５３１とＹ軸転送サイズ５３２とをそれぞれ算出する。ここで、Ｘ軸余剰サイズ比率 α と、Ｙ軸余剰サイズ比率 β は、数６を満たす値とする。
　ここで、画像センサ１０１から転送される画像に設定できる座標の最小値を（xmin, ymin）、画像センサ１０１から転送される画像に設定できる座標の最大値を（xmax, ymax）とし、転送座標５３３を（xp, yp）とする。
　画像センサ設定情報演算部２０２は、数７を用いて、転送座標５３３を算出する。　ここで、数７の数式内の変数 a 、b は、それぞれ、(lx’/ 2) ≦ a ≦ lpx’- (lx’/ 2)、(ly’/ 2) ≦ b ≦ lpy’- (ly’/ 2)、を満たす任意の一意の数とする。
　図５（ｂ）では、a　= (lpy’/ 2)、b = (lpy’/ 2)とした場合の例を示している。　ここで、さらに、算出されたＸ軸転送サイズ５３１とＹ軸転送サイズ５３２の場合における画像転送サイズ５３０を s’[pixel]（＝ lpx’× lpy’）、画像センサ１０１の露光時間を Te [s]、画像センサ１０１の画像転送におけるヘッダ部分の転送時間を Th [s]、画像センサ１０１の１ラインの転送あたりに増加する転送時間を Tl [s]、画像センサ１０１の画素値の１ビットあたりの転送時間を Td [bps]、画像センサ１０１に設定される階調値のビット数を d [bit]（＝ceil(log2g)）(ceilは天井関数)とする。これらTe、Th、Tl、d、Tdは第２の設定情報と表現することができる。
　画像センサ設定情報演算部２０２は、数８を用いて、このときのフレームレート f’を算出する。ここで、転送階調数 g は、数９を満たす値とする。
　また、画像センサ設定情報演算部２０２は、数３～数９に示した数式を計算し、数１０を満たすことで、演算条件情報を満足しながら、画像センサ設定情報を算出できる。
　このとき、画像センサ設定情報演算部２０２は、数９に示す条件を満たすように、Ｘ軸余剰サイズ比率 α や、Ｙ軸余剰サイズ比率 β 、転送階調数 ｇ の値を調整しながら、画像センサ設定情報を算出する計算手順が必要となる。
　このような、画像センサ設定情報演算部２０２の計算手順の一例として、各パラメータの初期値を、tc’＝ 1 ／ fr、α ＝ αr、β ＝ βr、g ＝ gmin、として ｆ’を算出し、数８の条件を満たすようであれば、f’＝ fr に近づくように α、β、ｇ を増加させていく方法などが考えられる。
　なお、このような画像センサ設定情報演算部２０２の計算手順は、一般的な最適化計算の手法を適用してもよい。
　最後に、画像センサ設定情報演算部２０２は、算出された画像センサ設定情報を画像センサ設定部２０３に転送し、Ｓ３０６の処理を完了する。
　ここから、画像処理装置１００の処理動作を、図３に示すフローチャートに戻って、Ｓ３０７からの処理について説明する。
　Ｓ３０６の処理の後、画像認識装置１００の画像センサ設定部２０３は、画像センサ設定情報演算部２０２より転送された画像センサ設定情報を画像センサ１０１に設定する（Ｓ３０７）。
　次に、画像処理装置１００は、入出力制御部２０５に接続される表示入力装置１０２を介して、演算方法指定部２０４に画像処理の終了が指令された場合（Ｓ３０８→Ｙｅｓ）、処理を終了する。Ｓ３０８の処理でＮｏの場合、画像センサ１０１から転送される次の時刻の画像を画像取得部２００で取得し（Ｓ３０３）、処理を繰り返す。
　図６は、本実施形態に係る画像処理装置１００に連続転送される画像の一例を示す図である。
　第一の部分取得画像６００－１～６００－７は、画像センサ１０１から全領域画像４００－１～４００－４の部分領域のみを転送した画像であり、フレームレートは、図６の例では、全領域画像４００－１～４００－４の約３倍である。
　第二の部分取得画像６１０－１～６１０－７は、全領域画像４００－１～４００－４の部分領域のみを画像センサ１０１から転送した画像であり、フレームレートは、図６の例では、全領域画像４００－１～４００－４の約６倍であり、第一の部分取得画像６００－１～６００－７の約３倍である。
　そのため、第二の部分取得画像６１０－１～６１０－７は、第一の部分取得画像６００－１～６００－７に比べて転送画像のサイズが小さい。
　本実施例のような位置決め装置１１０に適用される画像処理装置１００では、図６に示すとおり、画像センサ１０１が搭載された位置決めヘッド１１１と認識対象１２０との距離が遠いときには、認識対象１２０を広域で探すために全領域画像４００－１の適用が望ましい。また、位置決めヘッド１１１と認識対象１２０との距離が近づき、位置決めヘッド１１１が減速するにつれて、位置決めヘッド１１１の振動的な誤差を認識するためには、画像センサ１０１の設定を切り替え、画像センサ１０１からの転送画像を、第一の部分取得画像６００－１～６００－７や、第二の部分取得画像６１０－１～６１０－７に変更することで、フレームレートを向上することが望ましい。
　具体的な例として、本実施例の位置決め装置１１０が、短辺のサイズが数百μｍの電子部品をプリント配線板に実装する部品実装装置である場合、全領域画像４００－１～４００－４の画像サイズは、Ｘ軸方向、Ｙ軸方向ともに約１０～２０ｍｍ程度とし、そのときのフレームレートは、約１００～２００ｆｐｓ程度とし、第一の部分取得画像６００－１～６００－７の画像サイズは、Ｘ軸方向、Ｙ軸方向ともに約３～６ｍｍ程度とし、そのときのフレームレートは、約３００～６００ｆｐｓ程度とし、第二の部分取得画像６１０－１～６１０－７の画像サイズは、約１～３ｍｍ程度とし、そのときのフレームレートは、約１０００ｆｐｓ程度とすることが望ましい。
　図７は、本実施形態に係る画像処理装置１００の設定画面７００を示す図である。
　設定画面７００は、パラメータ設定部７０１と、パラメータ適用条件設定部７０２と、画像処理結果表示部７０３と、処理内容表示部７０４から構成される。
　パラメータ設定部７０１は、演算条件情報を設定するための入力インタフェースである。
　パラメータ設定条件設定部７０２は、複数の演算条件情報に対して演算適用条件情報を設定するための入力インタフェースである。
　画像処理結果表示部７０３は、パラメータ設定部７０１で設定された演算条件情報と、パラメータ適用条件設定部７０２で設定された演算適用条件情報に基づいて、画像処理装置１００の画像認識部２０１と、画像センサ設定情報演算部２０２の処理の結果を示すための出力インタフェースである。
　また、画像処理結果表示部７０３は、具体的には、画像センサ１０１から取得される最新の画像の表示や、認識対象１２０の認識値の表示や、画像センサ１０１から転送された画像の時刻歴の表示などを行う。
　処理内容表示部７０４は、画像処理装置１００の内部処理の進行等を示すための出力インタフェースである。
　画像処理装置１００の使用者は、まず、パラメータ設定部７０１で演算条件情報の設定と、パラメータ適用条件設定部７０２で演算適用条件情報の設定を実施し、次に、画像処理結果表示部７０３と処理内容表示部７０４とを参照することによって、所望の認識処理の実行可否を確認し、確認した内容に基づいて、演算条件情報と、演算適用条件情報の調整を行う。
実施形態２
　図８は、本実施形態に係る画像処理装置１００の第２の実施例を示す図である。
　サーボ制御装置８００は、アクチュエータ制御部８０１と、動作情報転送部８０２から構成される。サーボ制御装置８００はアクチュエータ８１０とアクチュエータ８１０の位置や、速度、加速度等をフィードバックするためのセンサ８２０とを接続する。アクチュエータ制御部８０１は、センサ８２０のフィードバック情報に基づいてアクチュエータ８１０の制御を実行する。
　また、アクチュエータ制御部８０１は、センサ８２０のフィードバック情報により、アクチュエータ８１０を用いた可動部の現在の位置や、速度などを取得する。
　さらに、アクチュエータ制御部８０１は、アクチュエータ８１０を駆動させるための位置や、速度の指令波形や、軌道の生成に基づいて、画像センサ１０１の次の撮像時刻に予測されるアクチュエータ８１０を用いた可動部の位置や、速度などを算出する。
　アクチュエータ制御部８０１は、算出したアクチュエータ８１０を用いた可動部の現在の位置や、速度の情報、画像センサ１０１の次の撮像時刻に予測されるアクチュエータ８１０を用いた可動部の位置、速度の情報を動作情報転送部８０２に転送する。
　また、動作情報転送部８０２は、画像処理装置１００の画像センサ設定情報演算部２０２と接続される。
　ここで、本実施形態の画像処理装置１００の画像センサ設定情報演算部２０２は、以下の（１）～（）のうち少なくとも１つを、サーボ制御装置８００の動作情報転送部８０２から取得することで処理を実行する。（１）現在の撮像画像の認識対象１２０－２のＸ軸方向の速度、（２）Ｙ軸方向の速度、（３）Ｘ軸サイズ変化度、（４）Ｙ軸サイズ変化度、（５）次の時刻の撮像画像で予測される中心座標５１０－３、（６）Ｘ軸サイズ５１１－３、（７）Ｙ軸サイズ５１１－３。
　このとき、画像センサ設定情報演算部２０２は、自身の処理に必要となる全ての情報のうち、動作情報転送部８０２から取得しない情報に関しては、実施形態１と同様に画像認識部２０１から取得する。
　このような画像処理装置１００の構成にすることによって、画像認識部２０１と、画像センサ設定情報演算部２０２の演算負荷を軽減でき、より高速な画像処理が可能となる。
　また、本実施形態の画像処理装置１００を位置決め装置１１０に適用し、位置決め装置１１０の可動部である位置決めヘッド１１１と、ビーム１１２の制御に、アクチュエータ８１０と、センサ８２０を適用し、さらに、これらのアクチュエータ８１０と、センサ８２０の制御にサーボ制御装置８００を適用すると、画像処理装置１００の認識処理で算出される位置や、速度に比べ、より高精度な位置や、速度を得ることができる。
　本実施形態２の部品実装装置によって得られるその他の効果については、実施形態１のものと同様であるため、その重複説明は省略する。
　以上、本発明の実施例について説明したが、本発明は実施例に限定されない。本実施例に開示される内容は自動車、鉄道にも適用可能である。すなわち、位置決めシステムとは、部品実装装置、自動車、鉄道、そのほかのシステムを含みえる広義の表現である。
　１００・・・画像処理装置
　１０１・・・画像センサ
　１０２・・・表示入力装置
　１１０・・・位置決め装置
　１１１・・・位置決めヘッド
　１１２・・・ビーム
　１１３・・・架台
　１１４・・・ベース
　１２０、１２０－１、１２０－２、１２０－３・・・認識対象
　２００・・・画像取得部
　２０１・・・画像認識部
　２０２・・・画像センサ設定情報演算部
　２０３・・・画像センサ設定部
　２０４・・・演算方法指定部
　２０５・・・入出力制御部
　４００、４００－１～４００－４・・・全領域画像
　５００・・・重畳画像
　５１０－１、５１０－２、５１０－３・・・中心座標
　５１１－１、５１１－２、５１１－３・・・Ｘ軸サイズ
　５１２－１、５１２－２、５１２－３・・・Ｙ軸サイズ
　５２０・・・Ｘ軸移動量
　５２１・・・Ｙ軸移動量
　５３０・・・画像転送サイズ
　５３１・・・Ｘ軸転送サイズ
　５３２・・・Ｙ軸転送サイズ
　５３３・・・転送座標
　６００－１～６００－７・・・第一の部分取得画像
　６１０－１～６１０－７・・・第二の部分取得画像
　７００・・・設定画面　
　７０１・・・パラメータ設定部
　７０２・・・パラメータ適用条件設定部
　７０３・・・画像処理結果表示部
　７０４・・・処理内容表示部
　８００・・・サーボ制御装置
　８０１・・・アクチュエータ制御部　
　８０２・・・動作情報転送部
　８１０・・・アクチュエータ
　８２０・・・センサ

Claims (28)

  1. 　センサと、
    　処理部と、を有し、
    　前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、
    　前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定し、
    　前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記処理部は前記第３の画像の寸法を前記第３の画像中での前記認識対象の予測寸法値、及び所定の係数を使用して得る画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
    　前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記所定の条件は、前記フレームレートの要求値を含み、
    　前記フレームレートは前記要求値以下である画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記第１の所定の条件は、前記所定の係数の下限値を含む画像処理装置。
  7. 　請求項６に記載の画像処理装置において、
    　前記第１の設定情報は前記第３の画像の位置を規定する情報を含む画像処理装置。
  8. 　請求項７に記載の画像処理装置において、
    　前記第１の設定情報は前記第３の画像の階調数を含む画像処理装置。
  9. 　請求項１に記載の画像処理装置において、
    　前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
    　前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る画像処理装置。
  10. 　請求項９に記載の画像処理装置において、
    　前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む画像処理装置。
  11. 　請求項１に記載の画像処理装置において、
    　前記所定の条件は、前記フレームレートの要求値を含み、
    　前記フレームレートは前記要求値以下である画像処理装置。
  12. 　請求項１に記載の画像処理装置において、
    　前記所定の条件は、前記第３の画像を得るための所定の係数の下限値を含む画像処理装置。
  13. 　請求項１に記載の画像処理装置において、
    　前記第１の設定情報は前記第３の画像の位置を規定する情報を含む画像処理装置。
  14. 　請求項１に記載の画像処理装置において、
    　前記第１の設定情報は前記第３の画像の階調数を含む画像処理装置。
  15. 　センサと、
    　前記センサを移動させる移動部と、
    　処理部と、を有し、
    　前記センサは第１の時刻に認識対象を含む第１の画像を得て、第１の時刻よりも後の第２の時刻に前記認識対象を含む第２の画像を得て、前記第２の時刻より後の第３の時刻に前記認識対象を含む第３の画像を得て、
    　前記処理部は、前記第３の画像を得る際の前記センサの第１の設定情報を所定の条件を満たすよう前記第１の画像、及び前記第２の画像から決定し、
    　前記第１の設定情報は、前記第３の画像の寸法、及び前記第３の画像を得る際のフレームレートを含む位置決めシステム。
  16. 　請求項１５に記載の位置決めシステムにおいて、
    　前記処理部は前記第３の画像の寸法を前記第３の画像中での前記認識対象の予測寸法値、及び所定の係数を使用して得る位置決めシステム。
  17. 　請求項１６に記載の位置決めシステムにおいて、
    　前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
    　前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る位置決めシステム。
  18. 　請求項１７に記載の位置決めシステムにおいて、
    　前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む位置決めシステム。
  19. 　請求項１８に記載の位置決めシステムにおいて、
    　前記所定の条件は、前記フレームレートの要求値を含み、
    　前記フレームレートは前記要求値以下である位置決めシステム。
  20. 　請求項１９に記載の位置決めシステムにおいて、
    　前記所定の条件は、前記所定の係数の下限値を含む位置決めシステム。
  21. 　請求項２０に記載の位置決めシステムにおいて、
    　前記第１の設定情報は前記第３の画像の位置を規定する情報を含む位置決めシステム。
  22. 　請求項２１に記載の位置決めシステムにおいて、
    　前記第１の設定情報は前記第３の画像の階調数を含む位置決めシステム。
  23. 　請求項１５に記載の位置決めシステムにおいて、
    　前記第３の画像の寸法は第１の方向における寸法と前記第１の方向と交差する方向における第２の寸法を含み、
    　前記処理部は、前記フレームレートを前記第２の寸法、及び前記センサの第２の設定情報を使用して得る位置決めシステム。
  24. 　請求項２３に記載の位置決めシステムにおいて、
    　前記第２の設定情報は、前記センサの露光時間、前記センサのヘッダ部分の転送時間、前記センサの１ライン当たりに増加する転送時間、前記センサの階調値のビット数、及び前記センサの１ビット当たりの転送時間を含む位置決めシステム。
  25. 　請求項１５に記載の位置決めシステムにおいて、
    　前記所定の条件は、前記フレームレートの要求値を含み、
    　前記フレームレートは前記要求値以下である位置決めシステム。
  26. 　請求項１５に記載の位置決めシステムにおいて、
    　前記所定の条件は、前記第３の画像を得るための所定の係数の下限値を含む位置決めシステム。
  27. 　請求項１５に記載の位置決めシステムにおいて、
    　前記第１の設定情報は前記第３の画像の位置を規定する情報を含む位置決めシステム。
  28. 　請求項１５に記載の位置決めシステムにおいて、
    　前記第１の設定情報は前記第３の画像の階調数を含む位置決めシステム。
PCT/JP2014/063401 2014-05-21 2014-05-21 画像処理装置、及び位置決めシステム WO2015177881A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2014/063401 WO2015177881A1 (ja) 2014-05-21 2014-05-21 画像処理装置、及び位置決めシステム
JP2016520855A JP6258480B2 (ja) 2014-05-21 2014-05-21 画像処理装置、及び位置決めシステム
US15/312,029 US20170094200A1 (en) 2014-05-21 2014-05-21 Image processing apparatus and positioning system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/063401 WO2015177881A1 (ja) 2014-05-21 2014-05-21 画像処理装置、及び位置決めシステム

Publications (1)

Publication Number Publication Date
WO2015177881A1 true WO2015177881A1 (ja) 2015-11-26

Family

ID=54553577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/063401 WO2015177881A1 (ja) 2014-05-21 2014-05-21 画像処理装置、及び位置決めシステム

Country Status (3)

Country Link
US (1) US20170094200A1 (ja)
JP (1) JP6258480B2 (ja)
WO (1) WO2015177881A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6765820B2 (ja) * 2016-02-10 2020-10-07 オリンパス株式会社 カメラ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010243A (ja) * 2000-06-16 2002-01-11 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
JP2010263581A (ja) * 2009-05-11 2010-11-18 Canon Inc 物体認識装置及び物体認識方法
JP2012048476A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046100B2 (ja) * 1991-07-22 2000-05-29 株式会社フォトロン 画像記録装置
US7545434B2 (en) * 2002-02-04 2009-06-09 Hewlett-Packard Development Company, L.P. Video camera with variable image capture rate and related methodology
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
US7471767B2 (en) * 2006-05-03 2008-12-30 Siemens Medical Solutions Usa, Inc. Systems and methods for determining image acquisition parameters
JP5241335B2 (ja) * 2008-06-10 2013-07-17 キヤノン株式会社 Ｘ線画像診断装置及び画像処理方法
JP5645505B2 (ja) * 2010-06-29 2014-12-24 キヤノン株式会社 撮像装置及びその制御方法
CN110572586A (zh) * 2012-05-02 2019-12-13 株式会社尼康 拍摄元件及电子设备
GB2503481B (en) * 2012-06-28 2017-06-07 Bae Systems Plc Surveillance process and apparatus
US9947128B2 (en) * 2013-01-29 2018-04-17 Andrew Robert Korb Methods for improving accuracy, analyzing change detection, and performing data compression for multiple images
US9454827B2 (en) * 2013-08-27 2016-09-27 Qualcomm Incorporated Systems, devices and methods for tracking objects on a display
KR20150041239A (ko) * 2013-10-07 2015-04-16 삼성전자주식회사 엑스선 영상 장치 및 그 제어 방법
US9417196B2 (en) * 2013-10-10 2016-08-16 Bruker Axs Inc. X-ray diffraction based crystal centering method using an active pixel array sensor in rolling shutter mode

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010243A (ja) * 2000-06-16 2002-01-11 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
JP2010263581A (ja) * 2009-05-11 2010-11-18 Canon Inc 物体認識装置及び物体認識方法
JP2012048476A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置

Also Published As

Publication number Publication date
JP6258480B2 (ja) 2018-01-10
JPWO2015177881A1 (ja) 2017-04-20
US20170094200A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
CN110561432B (zh) 一种基于人机共融的安全协作方法及装置
US10553033B2 (en) Head-mounted display system and method for presenting display on head-mounted display
JP5869177B1 (ja) 仮想現実空間映像表示方法、及び、プログラム
US8731276B2 (en) Motion space presentation device and motion space presentation method
JP6167622B2 (ja) 制御システムおよび制御方法
US11090807B2 (en) Motion generation method, motion generation device, system, and computer program
JP2017104944A (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
US9507414B2 (en) Information processing device, information processing method, and program
US12030187B2 (en) Robot system
CN107924198B (zh) 控制装置、控制方法、非暂时记录介质
JP2003211381A (ja) ロボット制御装置
JP2007233516A (ja) 画像測定システム、画像測定方法及び画像測定プログラム
JP2016081264A (ja) 画像処理方法、画像処理装置及びロボットシステム
JP6258480B2 (ja) 画像処理装置、及び位置決めシステム
JPS59229619A (ja) ロボツトの作業教示システムおよびその使用方法
US9492748B2 (en) Video game apparatus, video game controlling program, and video game controlling method
JP2009301181A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP5561037B2 (ja) ロボット及びその制御方法
JP5378143B2 (ja) 画像変換装置及び操作支援システム
CN116476074A (zh) 基于混合现实技术的远程机械臂操作系统及人机交互方法
JPS6334093A (ja) 視覚装置
JPH09131681A (ja) 教示装置
JPH04250700A (ja) 電子部品認識方法
JP2015076026A (ja) パターンマッチング装置及びパターンマッチング方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14892491

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016520855

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15312029

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14892491

Country of ref document: EP

Kind code of ref document: A1