WO2005045363A1 - ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム - Google Patents

３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム Download PDF

Info

Publication number
WO2005045363A1
WO2005045363A1 PCT/JP2004/016632 JP2004016632W WO2005045363A1 WO 2005045363 A1 WO2005045363 A1 WO 2005045363A1 JP 2004016632 W JP2004016632 W JP 2004016632W WO 2005045363 A1 WO2005045363 A1 WO 2005045363A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern light
slit light
detection
dimensional shape
trajectory
Prior art date
Application number
PCT/JP2004/016632
Other languages
English (en)
French (fr)
Inventor
Hiroyuki Sasaki
Original Assignee
Brother Kogyo Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Kogyo Kabushiki Kaisha filed Critical Brother Kogyo Kabushiki Kaisha
Publication of WO2005045363A1 publication Critical patent/WO2005045363A1/ja
Priority to US11/431,033 priority Critical patent/US7365301B2/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • 3D shape detection device imaging device, and 3D shape detection program
  • the present invention relates to a three-dimensional shape detection device that detects a three-dimensional shape of a target object using pattern light, an imaging device, and a three-dimensional shape detection program.
  • a whiteboard, a book, or the like is imaged as a target object, and the three-dimensional shape of the target object is detected from the captured image, whereby the whiteboard, the book, or the like is inclined with respect to the front surface.
  • an imaging apparatus including a correcting unit that corrects a captured image so that even if a positional force is imaged, a warm force is also captured as a frontal force.
  • FIG. 1 and the like in Japanese Patent Application Laid-Open No. Hei 9-289611 (hereinafter referred to as Document 1) disclose a portable digital camera provided with such a correction unit.
  • FIG. 2 An image of the slit light projected when the slit light is projected as an example of the turn light, and a slit light non-light projected when the slit light is projected and the slit light is projected.
  • a stationary three-dimensional shape measuring apparatus that extracts slit light by subtraction from a time image and detects a three-dimensional shape of a target object based on the extracted slit light.
  • the above-described three-dimensional shape measuring apparatus is a stationary type, and the degree of freedom during imaging is limited, which is inconvenient. Therefore, it is desirable that the three-dimensional shape measuring apparatus be portable.
  • the image capturing position of the image when the slit light is not projected and the image capturing position of the image when the slit light is not projected may be shifted due to “camera shake”. In such a case, naturally, a deviation occurs between the image when the slit light is projected and the image when the slit light is not projected, and the subtraction is performed between the image when the slit light is projected and the image when the slit light is not projected.
  • the present invention has been made to solve the above-described problem, and performs a detection process for detecting pixels constituting a locus of pattern light from a pattern light projection image at high speed and with high accuracy.
  • An object of the present invention is to provide a three-dimensional shape detection device, an imaging device, and a three-dimensional shape detection program that can perform the above-described operations.
  • a light projecting means for projecting pattern light, and capturing a pattern light projection image of a target object in a state where the pattern light is projected
  • a three-dimensional shape calculating means for calculating a three-dimensional shape of the target object based on a trajectory of the pattern light extracted from the pattern light projection image picked up by the image pick-up device.
  • the three-dimensional shape detection device includes a first area setting unit that sets a first area including a part of the trajectory of the pattern light extending in the X-axis direction from within the pattern light projection image; First detection means for detecting a plurality of pixels constituting a part of the trajectory of the pattern light from within the first area set by the first area setting means, and a plurality of pixels detected by the first detection means Calculating an approximate curve related to the trajectory of the pattern light based on the approximate curve calculated by the approximate curve calculation means; A second area setting means for setting a second area for detecting a pixel constituting the portion. The trajectory of the pattern light is extracted based on a plurality of pixels detected by the first detection means and pixels detected from within the second area set by the second area setting means.
  • the second region setting means relates the second region for detecting the pixels constituting the remaining portion of the trajectory of the pattern light to the trajectory of the pattern light. Set based on the approximate curve. Therefore, in the second area, an extra area in which such pixels are very likely to be included is also detected, and adverse effects such as detection of pixels other than the pixels constituting the pattern light are suppressed. be able to. Therefore, an effect is obtained that the detection processing for detecting the pixels forming the trajectory of the pattern light from the pattern light projection image can be performed with high accuracy.
  • the target object is extracted based on the trajectory of the pattern light extracted from the pattern light projection image obtained by imaging the target object in a state where the pattern light is projected.
  • a three-dimensional shape detection program including a three-dimensional shape calculation step for calculating a three-dimensional shape of a body, and a program configured as follows is provided. That is, the program includes a first area setting step of setting a first area including a part of the trajectory of the pattern light from within the pattern light projection image, and a first area set by the first area setting means.
  • a first detection step of detecting a pixel constituting a part of the trajectory of the pattern light, and calculating an approximate curve related to the trajectory of the pattern light based on the pixel detected by the first detection means.
  • An approximate curve calculating step and a second area for detecting pixels constituting a remaining portion of the trajectory of the pattern light from the pattern light projection image based on the approximate curve calculated by the approximate curve calculating means. And setting a second area.
  • the trajectory of the pattern light is extracted based on a plurality of pixels detected in the first detection step and pixels detected from within the second area set in the second area setting step.
  • FIG. 1 (a) is an external perspective view of an imaging device
  • FIG. 1 (b) is a schematic sectional view of the imaging device 1.
  • FIG. 2 is a diagram showing a configuration of a slit light projecting unit.
  • FIG. 3 (a) and FIG. 3 (b) are diagrams for explaining the angular width of slit light.
  • FIG. 4 is a block diagram showing an electrical configuration of the imaging device.
  • FIG. 5 is a flowchart showing a processing procedure in a processor.
  • FIG. 6 (a) and FIG. 6 (b) are diagrams for explaining the principle of slit light trajectory extraction processing.
  • FIG. 7 is a flowchart showing a slit light locus extraction process.
  • FIG. 8 is a flowchart showing a slit light barycenter position calculation process.
  • FIG. 9 is a flowchart showing an approximate curve calculation process.
  • FIG. 10 is a flowchart showing a process when updating an approximate curve.
  • FIG. 11 sets a search range when searching for a corresponding pixel in a slit light non-image.
  • FIG. 6 is a diagram for explaining a method of setting.
  • FIG. 12 (a) shows a captured image of a document P in a state where slit light is irradiated.
  • FIG. 12B is an enlarged view schematically showing peripheral pixels at the slit light detection position cX.
  • FIG. 13 is a diagram for explaining a method of setting a search range in a slit-light-free image in consideration of a camera shake amount.
  • FIG. 14 is an enlarged view schematically showing a portion A in FIG. 12 (a).
  • FIG. 15 is an enlarged view schematically showing a portion B in FIG. 12 (a).
  • FIG. 16 is a diagram showing a captured image of a document in a filed state.
  • FIGS. 17 (a) and 17 (b) show images with slit light.
  • FIGS. 18 (a) and 18 (b) are diagrams for explaining a three-dimensional space position calculation method.
  • FIGS. 19 (a) to 19 (c) are diagrams for explaining a coordinate system at the time of document orientation calculation.
  • FIG. 20 is a flowchart showing a plane conversion process.
  • Imaging device including a three-dimensional shape detection device
  • Slit light projecting unit pattern light projecting means
  • FIG. 1A is an external perspective view of an imaging device 1 of the present invention
  • FIG. 1B is a schematic sectional view of the imaging device 1. is there.
  • the three-dimensional shape detection device according to the embodiment of the present invention is a device included in the imaging device 1.
  • the three-dimensional shape detection program as an embodiment of the present invention is a program executed in the imaging device 1 under the control of the CPU 41 (see FIG. 4).
  • the imaging device 1 is provided with a rectangular box-shaped main body case 10, an imaging lens 31 provided in front of the main body case 10, and provided behind the imaging lens 31 (inside the imaging device 1). And a CCD image sensor 32.
  • the imaging apparatus 1 further includes a slit light projecting unit 20 provided below the imaging lens 31, a processor 40 built in the main body case 10, a release button 52 provided on the upper part of the main body case 10, and a mode. It has a switching switch 59 and a memory card 55 built in the main body case 10. These components are connected by signal lines as shown in Fig. 4.
  • the imaging device 1 further includes an LCD (Liquid Crystal Display) 51 provided on the back of the main body case 10 and a main body, which are used when a user determines an imaging range of the imaging device 1.
  • LCD Liquid Crystal Display
  • a rear view of the case 10 is also provided with a finder 53 disposed through the front.
  • the imaging lens 31 includes a plurality of lenses.
  • the imaging apparatus 1 has an auto-force function, and drives the imaging lens 31 so that light from an external force is focused on the CCD image sensor 32 by automatically adjusting the focal length and the aperture.
  • the CCD image sensor 32 is configured by arranging photoelectric conversion elements such as CCD (Charge Coupled Device) elements in a matrix.
  • the CCD image sensor 32 generates a signal corresponding to the color and intensity of the light of the image formed on the surface, converts the signal into digital data, and outputs the digital data to the processor 40.
  • the data for one CCD element is pixel data of a pixel forming an image, and the image data is composed of pixel data of the number of CCD elements.
  • the release button 52 is configured by a push-button switch.
  • the release button 52 is connected to the processor 40, and the processor 40 detects a user's pressing operation of the release button 52.
  • the mode switching switch 59 includes a slide switch that can be switched between two positions.
  • the processor 40 is assigned such that one switch position of the mode switching switch 59 is detected as “normal mode” and the other switch position is detected as “corrected imaging mode”.
  • "Normal mode” refers to the original document In this mode, P itself is used as image data.
  • the “corrected imaging mode” is a mode in which, when the document P is imaged from an oblique direction, the image data is corrected as if the document P was imaged from the front.
  • the memory card 55 is configured by a nonvolatile and rewritable memory, and is detachable from the main body case 10.
  • the LCD 51 is configured by a liquid crystal display or the like that displays an image, and receives an image signal from the processor 40 and displays an image. From the processor 40 to the LCD 51, an image signal for displaying a real-time image received by the CCD image sensor 32, an image stored in the memory card 55, characters of the device setting content, etc., according to the situation. Is sent.
  • the finder 53 is constituted by an optical lens.
  • the viewfinder 53 is configured such that when the user also looks into the viewfinder 53 with the rear side force of the imaging apparatus 1, a range that substantially matches the range in which the imaging lens 31 forms an image on the CCD image sensor 32 can be seen.
  • FIG. 2 is a diagram showing a configuration of the slit light projecting unit 20.
  • FIG. 3 is a diagram for explaining the angular width of the slit light.
  • the slit light projecting unit 20 includes a laser diode 21, a collimating lens 22, an aperture 23, a transparent flat plate 24, a cylindrical lens 25, a reflecting mirror 26, and a rod lens 27.
  • the laser diode 21 emits a red laser beam.
  • the emission and the stop of the laser beam in the laser diode 21 are switched.
  • the output of the laser diode 21 is adjusted so that a constant output (for example, lmW) can be obtained at the point passing through the aperture 23 in consideration of the individual dispersion of the spread angle of the laser beam with respect to the maximum output rating (for example, 5 mW).
  • the rated output has been adjusted.
  • the collimating lens 22 focuses the laser beam from the laser diode 21 so as to focus on a reference distance VP (for example, 330 mm) from the slit light projecting unit 20.
  • VP for example, 330 mm
  • the aperture 23 is formed of a plate having a rectangular opening, and transmits the laser beam from the collimating lens 22 through the opening to be shaped into a rectangle.
  • the transparent plate 24 is made of a transparent plate made of a solid glass material or the like, and has an AR coating on the back surface.
  • the transparent plate 24 is the laser from the aperture 23 It is disposed at a predetermined angle
  • the transparent flat plate 24 reflects about 5% (about 50 ⁇ W) of the power of one laser beam incident from the aperture 23 on the surface and transmits about 95% (about 950 W). Note that the direction in which the laser beam is reflected by the transparent flat plate 24 (the direction in front of the imaging device 1 and upward by 33 degrees with respect to the horizontal plane) is referred to as a second direction.
  • the reflection of one ray of the laser beam entering the transparent plate 24 when exiting from the transparent plate 24 is reduced, and one ray of the laser beam inside the transparent plate 24 is reduced.
  • the loss has been reduced.
  • the reflection surface required for realizing with a normal half mirror is required. The process of forming a metal deposition film on the substrate can be omitted.
  • the reflection mirror 26 is made of a member such as a mirror that totally reflects the laser beam.
  • the reflection mirror 26 is arranged at a 45-degree angle in front of the main body case 10 downstream of the laser beam transmitted through the transparent flat plate 24, and totally reflects the laser beam to change the direction of the optical path by 90 degrees.
  • the direction in which the laser beam is reflected by the reflection mirror 26 (the direction of 0 ° with respect to the horizontal plane in front of the imaging device 1) is referred to as a first direction.
  • the rod lens 27 is formed of a cylindrical lens having a short positive focal length, and is disposed downstream of the laser beam reflected by the reflection mirror 26 so that the axial direction of the cylindrical shape is vertical. I have. Then, when a laser beam is incident from the reflection mirror 26, as shown in FIG. 3 (a), since the focal length is short, the laser beam immediately spreads beyond the focal point and a predetermined spread angle ⁇ (for example, 48 degrees) Out in the first direction. Note that the slit light emitted from the rod lens 27 is referred to as first slit light 71.
  • the rod lens 27 is formed of a cylindrical lens having a short positive focal length.
  • the rod lens 27 is provided downstream of the laser beam reflected by the reflection mirror 26 so that the axial direction of the cylindrical shape is vertical.
  • the rod lens 27 has a short focal length. Therefore, as shown in FIG. 3 (a), the laser beam that has passed through the rod lens 27 immediately begins to spread from the focal position near the rod lens 27, and has a slit with a predetermined spread angle ⁇ (for example, 48 degrees). The light is emitted in the first direction.
  • ⁇ for example, 48 degrees
  • the cylindrical lens 25 is a lens having a concave shape in one direction so as to have a negative focal length.
  • the cylindrical lens 25 is disposed downstream of the laser beam reflected by the transparent flat plate 24 so that the lens surface is orthogonal to the second direction.
  • the cylindrical lens 25 emits the laser beam incident from the transparent flat plate 24 as slit light which spreads at a spread angle ⁇ .
  • the slit light emitted from the cylindrical lens 25 is referred to as a second slit light 72.
  • the spread angle ⁇ due to the cylindrical lens 25 is the ratio of the spread angle ⁇ of the first slit light 71 to the spread angle ⁇ of the second slit light 72, and the ratio of the power when the laser beam is split by the transparent plate 24. They are equivalent. That is, the spread angle ⁇ of the second slit light 72 is 5% (2.4 degrees) of the spread angle ⁇ of the first slit light.
  • the slit light projecting unit 20 emits a laser beam from the laser diode 21 in response to a command from the processor 40, and outputs the first slit light 71 in the first direction, and The second slit light 72 is emitted in the second direction from the window 29 provided below the imaging lens 31 of the main body case 10.
  • the first slit light 71 and the second slit light 72 which also generate the red laser beam power, are R, G, B in RGB space as their spectral components. Of the values, the red value will be mainly composed of R colors.
  • the power of the first slit light 71 divided by the transparent flat plate 24 is 95% of the power that is also output by the laser diode 21.
  • the power of the second slit light 72 is as small as about 5%. Looking at the power per angular width while applying force, the first slit light 71 with a spread angle force of 8 degrees has a power per unit angle of about 20 / z WZ degree and the second slit light with a spread angle of 2.4 degrees The power per unit angle of the light 72 is also about 21 WZ degrees, and the power per unit angle of these two slit lights is almost the same.
  • the illuminance of the first slit light 71 and the second slit light 72 is about 1260 lux, which is the general indoor brightness of 500-1000. Even at the lux location, there is a sufficient luminance difference between the locus of the slit light and the original P. Therefore, the slit light trajectory is extracted by the slit light trajectory extraction program 422 described later. Trace images can be reliably extracted.
  • FIG. 4 is a block diagram showing an electrical configuration of the imaging device 1.
  • the processor 40 mounted on the imaging device 1 includes a CPU 41, a ROM 42, and a RAM 43.
  • the CPU 41 uses the RAM 43 to detect a press-down operation of the release button 52, capture image data from the CCD image sensor 32, and store the image data in a memory card in accordance with processing by a program stored in the ROM 42.
  • Various processing such as writing to 55, detecting the state of the mode switching switch 59, and switching the emission of slit light by the slit light projecting unit 20 is performed.
  • the ROM 42 includes a camera control program 421, a slit light locus extraction program 422, a triangulation measurement calculation program 423, a document attitude calculation program 424, a plane conversion program 425, a luminance dispersion calculation program 426, a cross-correlation coefficient calculation program 427, A corresponding pixel search program 428 and an approximate curve calculation program 429 are stored.
  • the camera control program 421 is a program related to the control of the entire imaging apparatus 1 including the processing of the flowchart shown in FIG. 5 (details will be described later).
  • the slit light locus extraction program 422 is a program for extracting the locus of the slit light from the image of the document P on which the slit light is projected.
  • the triangulation calculation program 423 is a program for calculating a three-dimensional spatial position of each of the pixels of the locus of the slit light extracted by the slit light locus extraction program 422.
  • the document posture calculation program 424 is a program for estimating and obtaining the three-dimensional shape of the document P from the three-dimensional spatial positions of the trajectory 71a of the first slit light and the trajectory 72a of the second slit light.
  • the plane conversion program 425 is a program for converting the image data stored in the slit light non-image storage unit 432 given the position and orientation of the document P into an image in which the frontal force of the document P is also captured. is there.
  • the brightness variance calculation program 426 is a program for calculating a standard deviation regarding a color value for each small region in a slit lightless image.
  • the cross-correlation coefficient calculation program 427 is a program for calculating the amount of deviation between the image with slit light and the image without slit light.
  • the corresponding pixel search program 428 is a program for searching for the presence or absence of a pixel force detected in an image without slit light in an image without slit light.
  • the approximate curve calculation program 429 configures a part of the locus 71a of the first slit light. Generated pixel force This is a program for calculating an approximate curve for the locus 71a of the first slit light.
  • the RAM 43 includes an image storage unit 431 with slit light, an image storage unit 432 without slit light, a pixel value temporary storage unit 433 to be detected, a triangulation calculation result storage unit 434, a document posture calculation result storage unit 435, A slit light locus information storage unit 436, a camera shake amount storage unit 437, an approximate curve storage unit 438, and a working area 439 are allocated as storage areas.
  • the slit light image storage unit 431 and the slit light non-image storage unit 432 store image data of the slit light image and the slit light non-image from the CCD image sensor 32, respectively.
  • the detected pixel value temporary storage unit 433 stores the red value obtained by subtracting the average of the red value R force green value G and blue value B for each pixel included in the search range in the slit light image.
  • the value (Rd'Y value) obtained by multiplying the difference value Rd by the luminance value Y is stored.
  • the triangulation calculation result storage unit 434 stores the result of calculating the position of each point of the slit light image.
  • the document posture calculation result storage unit 435 stores the calculation result of the position and the posture of the document P.
  • the slit light locus information storage unit 436 stores the barycentric position calculated in a slit light barycentric position calculation process described later.
  • the camera shake amount storage unit 437 stores a shift amount between the image with slit light and the image without slit light calculated by the cross-correlation coefficient calculation program 427.
  • the approximate curve storage unit 438 stores the approximate curve calculated by the approximate curve calculation program 429.
  • the working area 439 temporarily stores data necessary for the calculation in the CPU 41.
  • FIG. 5 is a flowchart showing a processing procedure in the processor 40 of the imaging device 1.
  • the details of the slit light trajectory extraction process (S140), the triangulation calculation process (S160), the document posture calculation process (S170), and the plane conversion process (S180) will be described later.
  • the release button 52 When the release button 52 is pressed by the user, first, the position of the switch of the mode switching switch 59 is detected, and it is determined whether or not the force of the switch is the position of the “correction imaging mode” ( S110). As a result of the determination, when the switch position is in the position of the “correction imaging mode” (S110: Yes), the laser diode 21 is emitted to the slit light projecting unit 20. After the light is commanded and the first slit light 71 and the second slit light 72 are emitted, image data represented by RGB values is acquired from the CCD image sensor 32 as an image with slit light (S120). Further, in S120, the read image data is stored in the slit light image storage unit 431 of the RAM 43.
  • step S130 the light emission stop of the laser diode 21 is instructed to the slit light projecting unit 20, and when the first slit light 71 and the second slit light 72 are not emitted, the CCD image sensor 32 outputs a slit light no image. Image data represented by RGB values is read. Further, in S130, the read image data is stored in the slit light non-image storage section 432.
  • step S140 the process proceeds to step S140, and a slit light trajectory extraction process is executed. That is, in step S140, the pixels constituting the trajectories 71a and 72a of each slit light are detected from the image data force of the slit light existence image read into the slit light existence image storage unit 431 by the slit light trajectory extraction program 422, Data relating to the pixel is stored in the detection target pixel value temporary storage unit 433.
  • the aberration correction processing (S150) is next performed. This aberration correction process corrects image distortion depending on the angle from the optical axis.
  • a document attitude calculation processing (S170) is executed.
  • the original posture calculation process (S170) the original posture calculation program is performed using the three-dimensional spatial positions of the slit light trajectories of the first slit light 71 and the second slit light 72 stored in the triangulation calculation result storage unit 434. According to 424, the position and orientation of the document P are calculated. This calculation result is stored in the document posture calculation result storage unit 435.
  • a plane conversion process (S180) is executed. In the plane conversion process (S180), the position and orientation of the original P are converted into image data of an image as viewed from the front by the plane conversion program 425 in the image data force stored in the slit light non-image storage section 432. Is done.
  • the laser diode 21 of the slit light projecting unit 20 does not emit light, In a state where the first slit light 71 and the second slit light 72 are not emitted, an image without slit light is read from the CCD image sensor 32 (S200). Next, the image data is written to the memory card 55 (S210). After step S210, the process ends.
  • FIG. 6A shows a captured image of the original P in a state where the slit light has been irradiated.
  • a character portion M arranged in a plurality of rows in the width direction of the original document, an illumination reflected portion S shown in a rectangular shape, and a red (R) component as a main color component shown in a circle are shown.
  • the printed portion I and the trajectories 71a and 72a of the first and second slit lights extending in the width direction of the document P are formed.
  • a dashed line extending in a direction orthogonal to the width direction of the document P indicates a slit light detection position, and an intersection between the slit light detection position and the locus 71a of the first slit light is defined as a slit light detection pixel K. .
  • FIG. 6 (b) is a graph showing predetermined parameter values at the slit light detection position (see a dashed line in the figure).
  • the slit light detection position force also draws an extension line straightforwardly with respect to each graph.
  • the given partial force shows each predetermined parameter value of the slit light detection position. That is, The position on the vertical axis of each graph in FIG. 6 (b) corresponds to the vertical position in the graph of FIG. 6 (a).
  • Graph A1 adopts the red value R
  • graph A2 adopts the red difference value Rd
  • graph A3 adopts the brightness value Y
  • graph ⁇ 4 adopts the product value Rd′ ⁇ of the red difference value Rd and the luminance value ⁇ ⁇ ⁇ as the predetermined parameter. .
  • the red difference value Rd is calculated by subtracting the average of the green value G and the blue value B of the red value R. That is, the red value R corresponding to the R component, which is the main component of the slit light, can be emphasized more than the other components (G value, B value) at the slit light detection position by the red difference value Rd, A pixel having a red value R close to the green value G and the blue value B has a low red difference value Rd, and the red value R is higher than the green value G and the blue value B.
  • the difference value Rd is high, indicating that the value is high.
  • the luminance value Y indicates the luminance of each pixel at the slit light detection position.
  • the luminance value Y is a Y value in the YCbCr space, and the RGB spatial force is also converted to the YCbCr space by the following equation.
  • Y 0.2899 water R + 0.5866 water G + 0.11145 water
  • BCb --0.1687 water R-0.312 water
  • G + 0.5000 water BCr 0.5000 water R-0.4183 water G -0.0816
  • Water B Graph A1 shows that the red value R is high in the slit light detection pixel K, the print portion I having the R component, and the illumination reflection portion S.
  • the slit light detection pixel ⁇ when it is attempted to detect the slit light detection pixel ⁇ based on the level of the red value R, if the slit light detection pixel ⁇ is included in the printed portion I having the R component or the illumination reflection portion S, Since there is no clear difference between the red value R and the red value R, the slit light detection pixel ⁇ cannot be accurately detected from the print portion I and the illumination reflection portion S having the R component.
  • the illumination reflection portion S has a lower red difference value Rd than the printing portion I having the slit light detection pixels K and R components. Therefore, if the slit light detection pixel K is detected based on the level of the red difference value Rd, even if the slit light detection pixel K is included in the illumination reflection portion S, the difference between the two with respect to the red difference value Rd is Because it is clear, it is possible to accurately detect the slit light detection pixel K from the illumination reflection part S. However, when the slit light detection pixel K is included in the print portion I having the R component, there is no clear difference between the two with respect to the red difference value Rd. Pixel K cannot be detected accurately.
  • the printed portion I having the R component has a lower luminance value ⁇ ⁇ than the slit light detection pixel K and the illumination reflected portion S. Therefore, slit light detection is performed based on the level of the luminance value ⁇ . If the pixel K is detected, even if the slit light detection pixel K is included in the print portion I having the R component, the difference between the two with respect to the luminance value Y is clear, so the slit light detection is performed from the print portion having the R component. It is possible to detect pixel K. However, when the slit light detection pixel is included in the illumination reflection portion S, the slit light detection pixel K cannot be accurately detected from the illumination reflection portion S because there is no clear difference between the two with respect to the luminance value Y.
  • the slit light detection pixel K is such that both the red difference value Rd and the luminance value Y are higher than the illumination reflection portion S and the print portion I having the R component. Focusing on the fact that it has a ⁇ value, it is necessary to detect pixels that include slit light based on the level of the product value Rd'Y (hereinafter Rd'Y value) of the red difference value Rd and the luminance value Y. And
  • the Rd′Y value of the slit light detection position pixel K is higher than the Rd′Y value of the illumination reflection part S and the Rd′Y value of the print part I having the R component, Even if the slit light detection element K is included in the printed part I having the illumination reflection part S and R component, the difference between the two with respect to the Rd'Y value is clear, so that the illumination reflection part S and R component are included.
  • the slit light detection pixel K can be accurately detected from the printed portion I.
  • Figure 7 is a flowchart of the slit light trajectory extraction process.
  • a shift amount between an image with slit light and an image without slit light is calculated (S701).
  • the amount of deviation between the two images occurs due to "camera shake" of the user during the time between the image with slit light and the image without slit light, which are not captured at the same time.
  • the amount of deviation between the two images can be obtained by calculating the cross-correlation coefficient cc between the two pixels using the cross-correlation coefficient calculation program 427.
  • the cross-correlation coefficient cc has a value of 1 to 1, and the position having the maximum value is the displacement amount.
  • the cross-correlation coefficient cc it is preferable to calculate the characteristic correlation in an image. This is because even if the cross-correlation coefficient CC is calculated in a solid black portion, a solid white portion, a solid portion of a specific color, or the like, no clear difference can be obtained in the cross-correlation coefficient CC. Therefore, before calculating the cross-correlation coefficient CC, A search process for searching for a certain part is performed.
  • the image without slit light is divided into four large areas 14, and each of the large areas 14 is divided into the end (area 1) in each large area.
  • the upper right the upper left in the area 2, the lower left in the area 3, and the lower right in the area 4).
  • the standard deviation ⁇ ⁇ of the luminance Y is calculated by the luminance variance calculation program 426 using the following formulas 1 and 2.
  • the center coordinates of the small area having the maximum standard deviation in each large area 1 to 4 are the center positions (xc, yc) at which the mutual correlation coefficient cc is determined, and the center of the two images with slit light image and no slit light image
  • the cross-correlation coefficient cc (xd, yd) at each (xd, yd) is calculated with the difference between the pixel positions near the coordinates being (xd, yd). ) Can be deviated.
  • the difference between the pixel positions of the image with slit light and the image without slit light is (xd, yd)
  • the brightness of the pixel of the image with slit light is Yl
  • the slit light is Set the brightness of no image to ⁇ 2
  • the image size is about 1200 pixels X 1600 pixels
  • FIG. 12A is a diagram schematically illustrating a captured image of the document P in a state where the slit light is irradiated.
  • the search parameters are set as cX2 in the ccdx direction on the trajectory 72a of the second slit light and a range from yMin2 to yMax2 in the ccdy direction.
  • the image size is 1200 pixels (width W) X 1600 pixels (height H)
  • a range from 0 to 799, which is the upper half area of the captured image is set.
  • the cX2 is set to one point in the ccdx direction. This is because it is only necessary to extract the trajectory coordinates on the ccdy axis used to calculate the rotation angle about the X axis in the real space.
  • a slit light barycenter position calculation process described later is executed (S703). Next, it is searched whether or not a pixel corresponding to the pixel at the barycentric position calculated in the slit light barycentric position calculation processing (S703) exists in the slit light no image (S704).
  • the camera shake amount is about several tens of pixels, so Rs may be set to about several tens of pixels.
  • the pixel is a pixel that exists in both the image with slit light and the image without slit light. It turns out that. That is, since the pixels detected in the image with slit light are not recognized as pixels including slit light, the pixels around the calculated center of gravity are also excluded from the extraction target power (S706), and again the S703 power and the like are removed. Processing power up to S705 S repeated exemption.
  • the pixel does not exist in the image without slit light, and is a pixel unique to the image with slit light. That is, the pixel is determined to be a pixel including slit light, and the calculated center of gravity position is stored in the slit trajectory information storage unit 436 (S707).
  • a search parameter for specifying a search range for extracting the trajectory 71a of the first slit light is set (S708).
  • This search parameter is set as a range from yMinl to yMaxl in the ccdy direction, as shown in FIG.
  • the search parameter is set in the range of 950 to 1599 in the lower half area of the captured image.
  • the reason why the entire area of the lower half is not set is that, in this embodiment, the first slit light 71 is parallel to the optical axis of the imaging lens 31 and is also irradiated with a lower force than the imaging lens 31.
  • the range in which the first slit light 71 exists can be used for imaging the document P. Since the distance force between the document P and the imaging lens 31 can be calculated backward, the search range is narrowed down in advance and the processing speed is increased. is there. On the other hand, in the ccdx direction, it is set in the range from cXmin to cXmax.
  • the variable cX representing the detection position in the ccdx direction is set to cX cmin (S709), and the slit light is set at that position in the range from yMinl to yMaxl in the ccdy direction.
  • the approximate curve calculation process (S717) Is executed.
  • the barycentric position of the pixel including the slit light is obtained for each detection position in the remaining range in the ccdx direction. After step S717, the process ends.
  • FIG. 8 is a flowchart of the slit light barycentric position calculation processing included in the slit light trajectory extraction processing.
  • the pixel position detected as a pixel including the slit light and the luminance center position of the slit light are determined by the characteristics of the laser light constituting the slit light and the fineness of the surface of the imaging object. This is a process for finding the center of gravity of the Rd'Y value within a certain range around the pixel to be detected, and using that center of gravity as the pixel position including the slit light.
  • cX2 is given as the variable cX
  • cXcmin is given as the variable cX.
  • a search range in the ccdx direction is set (S801), and a red difference value Rd and a luminance value Y are calculated for each pixel in a range of xMin ⁇ ccdx ⁇ xMax and yMin ⁇ ccd y ⁇ yMax (S802). , S803).
  • the Rd'Y value is calculated for each pixel by multiplying the red difference value Rd calculated for each pixel by the luminance value Y, and the result is stored in the detection target pixel value temporary storage unit 433. (S804).
  • the reason for performing the processing in this manner is that, as described above, the pixel having the maximum Rd′Y value is extremely likely to be a pixel including slit light within the search range.
  • the condition that the pixel exceeds the threshold value vTh is a condition that even if the pixel has the maximum RdY value, the pixel that does not exceed the threshold value vTh is determined from the imaging target.
  • a slit light hits a distant object that has come off, it may be a pixel (in this case, very weak, with high brightness), and that pixel also removes the target candidate power of the pixel including the slit light. This is to detect pixels including slit light with higher accuracy.
  • each cc X in the range of ⁇ xRange of cX is determined.
  • the center of gravity position in the ccdy direction is further obtained using the position of the center of gravity obtained in (1) and the Rd'Y value, and this is used as the ccdy value (Yg) of the slit light locus at cX (S811). Stets After step S811, the process ends.
  • the red value R is low and the Rd'Y value is low in the illumination reflection part S. Since it is low, the difference between the illumination reflection portion S and the pixel including the slit light having the maximum Rd'Y value becomes clear, and the pixel including the slit light can be detected with high accuracy.
  • the printing portion I having the pixel component R component including the slit light is included in the printing portion I having the R component, the luminance value Y is low and the Rd'Y value is low.
  • the difference between the print portion I having the R component and the pixel including the slit light having the maximum Rd'Y value becomes clear, and the pixel including the slit light can be detected with high accuracy.
  • FIG. 14 is an enlarged view showing part A of FIG. 12 (a).
  • the detection positions from cXcmin to cXcmax in the ccdx direction are one at the center of the image, four at the left from the center of the image, and four at the right from the center of the image.
  • the location is set, and the barycentric position of the pixel including the slit light is calculated from each detection position.
  • FIG. 9 is a flowchart of an approximate curve calculation process included in the slit light locus extraction process.
  • the approximate curve calculation process calculates an approximate curve related to the locus 71a of the first slit light from the barycentric position of the pixel including the slit light obtained at each detection position from cXcmin to cXcmax in the ccdx direction. Is calculated based on the approximate curve, and each of the remaining ranges in the ccx direction is calculated. This is a process of calculating the position of the center of gravity of the pixel including the slit light at the detection position.
  • the order N force S “l” of the approximate curve to be calculated is set (S901).
  • the order N is set to “1” because the position of the center of gravity of the pixel detected in S711 to S715 has a small number of data (9 points in this embodiment). If so, the calculated approximate curve will vibrate and diverge, which is to prevent it.
  • the data of the barycentric position of the pixel serving as a base for calculating the approximate curve is obtained by performing the processing from S709 to S716 in Fig. 7 within the range from cXMin to cXMax, which is the image range in the ccdx direction.
  • Pixel force detected from the range from cXcmin to cXcmax including the central part of the slit light locus 71a Calculated, so for example, the pixel force detected from the edge of the image and the calculated center-of-gravity position force are also approximated It is possible to calculate an approximate curve along the locus 71a of the first slit light on the document P as compared with the case of calculating a curve.
  • the third pixel from the left that is separated by the approximate curve force and the predetermined threshold value cTh or more is extracted.
  • a more accurate approximate curve can be calculated as the approximate curve for the locus 71a of the first slit light.
  • a variable UndetectNo (for the left side: lUndetectNo, for the right side, rUndetect) indicating the number of times the pixel including the slit light has no continuous visual power.
  • This UndetectNo is calculated as "1" in S919 and S913 when no pixel including slit light is found for each detection position. If it is determined that it has exceeded, it is determined that the locus of the slit light has changed abruptly, and subsequent detection is stopped.
  • the trajectory 71a of the first slit light has a trajectory that curves in the document P with substantially the center force of the image on the right and left sides, but at both ends of the image, as shown in part C of FIG. ⁇ It follows a trajectory that changes irregularly depending on the file status.
  • the operator requests that at least both ends of the image be converted to the erect image, at least the portion of the document P should be converted into the erect image.
  • the slit light trajectory extraction processing is improved by detecting only the necessary part (the part on the document P). This is to make the swift dagger.
  • detection is started from the first detection position on the left side, and after detection at the first detection position on the left side is completed, detection is then started at the first detection position on the right side.
  • the detection position is set to a position on the left by a predetermined interval dx from the first detection position on the left. This repetition processing is executed until the left detection position clx becomes cXmix and the right detection position crx becomes cXmax (S907).
  • the detection position in the ccdx direction is set, and in S907, when it is confirmed that the detection position is within the image range (S907: Yes), first, the set left detection position It is determined whether clx is greater than or equal to the minimum value cXmin of the image range or whether lUndetect No is smaller than the threshold udLimit (S908).
  • cXcmin in the ccdx direction the range from dx to cXmix (left) and cXcmax in the ccdx direction + the range from dx to cXmax (right), when detection at each detection position is completed, the processing is completed. To end.
  • the value of 2 ⁇ , which is twice as large as the pixel value, is used as the pixel-converted value.
  • the standard deviation ⁇ a is smaller than the threshold value aTh (S1003: No)
  • the approximate curve is set to the set degree N that does not increase the degree N of the approximate curve.
  • the set order N is equal to or larger than a predetermined threshold value nTh (S 1004).
  • the predetermined threshold value nTh is assumed to be (third or higher) in the surface shape of one side portion of the two-page spread document, and is set to 5th in this embodiment.
  • the order N is equal to or more than the predetermined threshold nTh (S1004: Yes)
  • the approximate curve is set to an order N without increasing the order N of the approximate curve, and the order N is higher than the predetermined threshold nTh. If it is smaller (S1004: No), “1” is added to the order N! (S1005). Then, the processing from S1001 to S1004 is repeated with the order N added by “1”.
  • the above-described triangulation calculation processing (S160 in FIG. 5) will be specifically described with reference to FIG. 17 and FIG.
  • the vertical peaks of the locus 71a of the first slit light and the locus 72a of the second slit light are based on the center of gravity based on the pixel data read into the temporary storage unit 433 for the pixel value to be detected. It is obtained for each horizontal coordinate of the image data by calculation, and the three-dimensional spatial position with respect to this peak extraction coordinate is obtained as follows.
  • FIG. 17 is a diagram for explaining an image with slit light.
  • FIG. 18 is a diagram for explaining a method of calculating the three-dimensional spatial position of the slit light.
  • the coordinate system of the image pickup apparatus 1 with respect to the original P that is curved in the horizontal direction is changed in the optical axis direction of the imaging lens 31. Is defined as the Z axis, a position apart from the imaging device 1 by the reference distance VP is defined as the origin position of the X, Y, and Z axes.
  • the number of pixels in the X-axis direction of the CCD image sensor 32 is called ResX, and the number of pixels in the Y-axis direction is called ResY.
  • the upper end of the position where the CCD image sensor 32 is projected through the imaging lens 31 on the XY plane Is called Yftop, the bottom is Yfbottom, the left is Xfstart, and the right is Xfend.
  • the distance from the optical axis of the imaging lens 31 to the optical axis of the first slit light 71 emitted from the slit light projecting unit 20 is D, and the Y axis at which the first slit light 71 intersects the XY plane.
  • the position in the direction is lasl
  • the position in the Y-axis direction where the second slit light 72 intersects the XY plane is las2.
  • the three-dimensional spatial position (XI, Yl) corresponding to the coordinates (ccdxl, ccdyl) on the CCD image sensor 32 of the point of interest 1 focusing on one of the pixels of the image of the first slit light locus 71a , Z1) are set for a triangle formed by a point on the image plane of the CCD image sensor 32, an emission point of the first slit light 71 and the second slit light 72, and a point intersecting the XY plane.
  • FIG. 19 is a diagram for explaining a coordinate system at the time of document orientation calculation.
  • each point in the three-dimensional space corresponding to the locus 71 a of the first slit light is approximated to the regression curve.
  • Find a similar line and assume a straight line connecting the point where the X-axis position of this curve is “0” and the three-dimensional position where the X-axis position of the second slit light trajectory 72a is “0”.
  • the point at which this straight line intersects the Z axis that is, the point at which the optical axis intersects the document P, is defined as the three-dimensional space position (0, 0, L) of the document P (see FIG. 19A).
  • the angle between the straight line and the X-Y plane is defined as the inclination ⁇ of the document P about the X axis.
  • a line obtained by approximating the regression curve of the trajectory 71a of the first slit light is rotationally transformed in the opposite direction by the previously obtained inclination ⁇ ⁇ ⁇ around the X axis, that is, Consider that the original P is parallel to the XY plane.
  • the cross-sectional shape of the document P in the X-axis direction is calculated for the cross-section of the document P in the X-Z plane, and the displacement in the Z-axis direction is obtained at a plurality of points in the X-axis direction.
  • a curvature ⁇ (X) which is a function of the tilt in the X-axis direction with the position in the X-axis direction as a variable, is obtained, and the process ends.
  • FIG. 20 is a flowchart showing the plane conversion process.
  • the slit light no image stored in the slit light no image storage unit 432 is stored.
  • the four corner points of the image are rotated around the Y axis with a curvature ⁇ (X), rotated around the X axis by ⁇ , and moved by the position L in the Z axis direction.
  • a rectangular area that is, a rectangular area in which the surface of the original P on which characters and the like are written is viewed from a substantially orthogonal direction
  • the number of pixels a included in this rectangular area is obtained ( S1301).
  • the coordinates on the slit light non-image corresponding to each pixel constituting the set rectangular area are obtained, and the pixel information of each pixel of the planar image is set from the pixel information around the coordinates. . That is, first, it is determined whether or not the force of the counter b has reached the number of pixels a (S1302). As a result, if the counter b has not reached the number of pixels a (S1302: No), one pixel constituting the rectangular area is rotated by a curved ⁇ (X) around the Y axis (S1304).
  • the imaging apparatus 1 in the “imaging correction mode” projects two rows of slit lights, the first slit light 71 and the second slit light 72, on the document P, and scans the document P.
  • An image is formed by forming an image on the CCD image sensor 32 by the imaging lens 31, and subsequently, an image of the document P is imaged unless slit light is projected.
  • the locus of the slit light is extracted. A part of the pixels constituting the pixel is detected, and an approximate curve relating to the locus of the slit light is calculated from the detected pixels.
  • the detection range in the ccdy direction for detecting the remaining pixels constituting the locus of the slit light is limited based on this approximation curve, so that the pixels constituting the slit light are detected as a whole.
  • the processing for performing the processing can be performed at high speed, and only the range where the possibility that the pixel including the slit light is included is detected is extremely high, the pixel other than the pixel constituting the slit light is detected. Can be reduced, and the trajectory of the slit light can be extracted with high accuracy.
  • the imaging device 1 extracts the trajectory of the slit light in this way, calculates the three-dimensional spatial position of each part of the trajectory of the slit light based on the principle of triangulation, and calculates the position, inclination, Then, the bending state (three-dimensional shape data) is obtained, and the three-dimensional shape data and the image data of the image without slit light are written into the memory card 55.
  • the user switches the mode switching switch 59 to the “correction imaging mode” side, and the desired range of the document P is in the imaging range with the viewfinder 53 or the LCD 51.
  • the image data is as if the flat original P was captured from the front. Can be stored in the memory card 55.
  • the image data stored in the memory card 55 is displayed on the LCD 51 to confirm the imaged content, or the memory card 55 is removed from the imaging device 1 and displayed on an external personal computer or the like. It can be used after printing.
  • the main component is not limited to the red component
  • the green component and the blue component are not limited to the red component.
  • Rd red difference value
  • Gd green difference value
  • the target object imaged by the imaging apparatus 1 may be a smooth surface of a solid block, or in some cases, a surface of an object having a ridge line, in addition to the sheet-shaped document P.
  • the effect of detecting the three-dimensional shape of the target object can be similarly exhibited.
  • the target object is a sheet-shaped document P as in this embodiment
  • the entire shape of the document P is estimated by assuming that the trajectory 71a of the first slit light is the cross-sectional shape of the document P.
  • the target object has a three-dimensional shape that is substantially uniform in a direction orthogonal to the longitudinal direction of the slit light, the deviation of the detection posture caused by a unique shape such as a projection of the target object included in the position where the slit light is projected. It is possible to avoid having to pay attention to the location where the slit light is projected without having to consider any factors.
  • the slit light projecting unit 20 is configured to emit the first slit light 71 and the second slit light 72 in two rows of slit light.
  • the slit light is not limited to two rows, and may be configured to emit three or more rows.
  • a third slit light similar to the second slit light 72 is formed.
  • the slit light projecting unit 20 may be configured so that the document P is projected above the second slit light 72.
  • a laser diode 21 that emits a red laser beam is used as a light source, but any other device that can output a light beam, such as a surface emitting laser, an LED, and an EL element, may be used. It may be.
  • a transparent flat plate formed on one surface with a diffraction grating for diffracting a predetermined ratio of the power of the incident laser beam in a predetermined direction may be used.
  • the laser beam of the primary light diffracted by the diffraction grating can be used as the second slit light 72, and the laser light of the zero-order light transmitted as it is can be used as the first slit light 71. it can.
  • the slit light emitted from the slit light projecting unit 20 may be a striped light pattern having a certain width, in addition to a fine line sharply narrowed in a direction orthogonal to the longitudinal direction.
  • various geometric patterns such as a stripe pattern, a block-shaped pattern, and a dot pattern can be adopted as the pattern light.
  • the positional relationship between the first slit light 71 and the second slit light 72 may be reversed in the first direction, that is, the second slit light 72 is viewed downward from the imaging device 1, and Each optical element forming the first slit may be arranged in the direction of.
  • the imaging device 1 is configured to capture an image with slit light and an image without slit light using the imaging lens 31 and the CCD image sensor 32.
  • an imaging lens and a CCD image sensor for capturing an image with slit light are separately provided in the imaging device. Good With this configuration, it is possible to eliminate the time lapse between capturing the image with the slit light and the image without the slit light (time for transferring the image data of the CCD image sensor 32, etc.). On the other hand, the accuracy of the three-dimensional shape of the target object to be detected with no deviation of the imaging range of the image without slit light can be improved.
  • the imaging device 1 of the present embodiment can be made smaller and less expensive with fewer components.
  • the first area setting means may include, as the first area including a part of the trajectory of the pattern light, an area including a central part of the trajectory of the pattern light in the Noturn light projection image It is configured to set!
  • the first area setting means sets an area including the central part of the trajectory of the pattern light in the pattern light projection image as the first area. I do. It is common for the operator to take an image so that the target object is located at the center of the captured image. On the other hand, it is highly likely that backgrounds other than the target object, unnecessary objects, and the like are reflected at both ends of the image. Therefore, when both ends of the image are set as the first region and the approximate curve is calculated based on the pixels extracted from the first region, the approximate curve along the locus of the pattern light on the target object is obtained. Is unlikely to be calculated.
  • the three-dimensional shape detection device detects a plurality of detection positions for detecting pixels constituting the remaining portion of the trajectory of the pattern light in the X-axis direction of the pattern light projection image.
  • Detection position setting means for setting the end of the pattern light projection image from the outside of the first area, and the remaining portion of the pattern of the light beam for each detection position set by the detection position setting means.
  • Second detection means for detecting the constituent pixels, and for each pixel detected by the second detection means, calculated by the approximate curve calculation means based on the pixel and a plurality of pixels detected by the first detection means.
  • first updating means for updating the approximated curve to be used.
  • the second area setting means limits the area in the Y axis direction of the pattern light projection image for each detection position set by the detection position setting means, and the area in the Y axis direction is detected.
  • the detection position set first by the position setting means is limited based on the approximation curve calculated by the approximation curve calculation means, and the detection position set next is set by the approximation curve updated by the first update means. It may be configured to be restricted based on this.
  • the approximate curve calculated by the approximate curve calculation unit is, for each pixel detected by the second detection unit, the pixel and the first detection unit. It is updated by the first updating means based on the plurality of detected pixels. Therefore, an approximate curve relating to the trajectory of the pattern light can be calculated with high accuracy. Further, after the approximate curve is updated, the second area setting means limits the area in the Y-axis direction for detecting the pixels constituting the flutter light based on the updated approximate curve. The effect is obtained that the detection processing for detecting the pixels including the pattern light can be performed at high speed.
  • the detection position setting means may be configured to alternately set both sides sandwiching the first region as the detection position.
  • the detection position setting means alternately sets both sides sandwiching the first region as the detection position.
  • the detection position it is possible to calculate an approximate curve relating to the trajectory of the pattern light extending substantially in contrast with high accuracy.
  • the other region is detected. If detection is to be performed, the pixel including the pattern light at the first detection position in the other area is affected by the detection trajectory in one area, and the other area sandwiching the first area is calculated based on the detected pixels. Approximate curve force to be obtained If a case occurs in which a pixel including the pattern light cannot be accurately detected at a distance of a predetermined threshold or more, an adverse effect can be prevented.
  • the three-dimensional shape detecting device includes a counting unit that counts the number of times a pixel is not detected by the second detection unit for each detection position, and a counting unit that counts the force.
  • the judgment means for judging whether or not the number of times counted exceeds the predetermined number of times at the continuous detection position, and when the judgment means judges that the number of times counted by the counting means exceeds the predetermined number of times at the continuous detection position. May include a stopping means for stopping the detection by the second detecting means at the subsequent detection position.
  • the three-dimensional shape detection device having such a configuration, when it is determined that the number counted by the counting means exceeds a predetermined number at a continuous detection position, the second number at the subsequent detection position is determined.
  • the detection by the detecting means is stopped by the stopping means. Therefore, if unnecessary processing can be omitted and the processing for extracting the trajectory of the pattern light can be performed at high speed, the following effect can be obtained.
  • the three-dimensional shape detecting apparatus performs a function of patterning the approximate curve calculated by the approximate curve calculation means from among the plurality of pixels detected by the first detection means.
  • Extraction means for extracting pixels separated by a predetermined distance or more in the Y-axis direction of the light projection image may be further provided.
  • the trajectory of the pattern light is represented by the remaining pixels obtained by removing the pixels extracted by the extraction means from the plurality of pixels detected by the first detection means and the second pixels set by the second area setting means. The extraction may be performed based on pixels detected from within the area.
  • the trajectory of the turn light is obtained by removing the pixels extracted by the plurality of pixel force extraction means detected by the first detection means. Pixels and pixels detected from within the second area set by the second area setting means are extracted. It is. Therefore, the effect that the trajectory of the pattern light can be extracted with higher precision than when all of the plurality of pixels detected by the first detection means are pixels constituting the trajectory of the pattern light is obtained.
  • the three-dimensional shape detecting device approximates a pixel extracted by the extracting unit based on a remaining pixel obtained by removing a plurality of pixel forces detected by the first detecting unit.
  • the apparatus may further include second updating means for updating the approximate curve calculated by the curve calculating means.
  • the second area setting means may be configured to limit the area in the Y-axis direction at the detection position initially set by the detection position setting means based on the approximate curve updated by the second updating means. .
  • the approximate curve calculated by the approximate curve calculation unit excludes the pixels extracted by the plurality of pixel force extraction units detected by the first detection unit. It is updated based on the remaining pixels. Therefore, the accuracy of the approximate curve can be improved as compared with the approximate curve calculated based on the plurality of pixels detected by the first detection unit. Further, since the area in the Y-axis direction at the detection position initially set by the detection position setting means is limited based on the updated approximate curve, the area in the Y-axis direction can be limited to a more appropriate range. The effect is obtained.
  • the first updating means or the second updating means may be configured to calculate a higher-order approximate curve in a stepwise manner.
  • the first updating means or the second updating means calculates a high-order approximation curve in a stepwise manner, projects light onto the target object having irregularities. Even when the pattern light is used, if the trajectory of the pattern light can be extracted with high accuracy, the effect can be obtained.
  • the imaging device includes a three-dimensional shape detection device configured as described above, and a three-dimensional shape of the target object calculated by the three-dimensional shape calculation unit of the three-dimensional shape detection device. Based on the shape, a pattern light non-projection image of the target object in a state where the pattern light imaged by the imaging means of the three-dimensional shape detection device is not projected from a substantially vertical direction of a predetermined surface of the target object.
  • a plane image correcting unit for correcting the observed plane image is corrected to an accurate planar image based on the locus of the no-turn light extracted with high accuracy by the three-dimensional detection device described above. If you can do it! /
  • the processing of S709 and S710 in the flowchart of Fig. 7 is positioned as a first area setting means or a first area setting step.
  • the processing from S711 to S715 in the flowchart of FIG. 7 is regarded as a first detecting means or a first detecting step.
  • the process of S902 in the flowchart of FIG. 9 is regarded as an approximate curve calculation means or an approximate curve calculation step.
  • the processing of S909 and S910 in the flowchart of FIG. 9 is regarded as a second area setting means or a second area setting step.
  • the process of S906 in the flowchart of Fig. 9 is regarded as a detection position setting unit.
  • the processes of S911 and S914 and S923 and S926 in the flowchart of FIG. 9 are positioned as the second detection means.
  • the processing of S915 and S927 in the flowchart of FIG. 9 is positioned as the first updating means.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

明 細 書
3次元形状検出装置、撮像装置、及び、 3次元形状検出プログラム 技術分野
[0001] 本発明は、パターン光を用いて対象物体の 3次元形状を検出する 3次元形状検出 装置、撮像装置、及び、 3次元形状検出プログラムに関する。
背景技術
[0002] 従来より、対象物体としてホワイトボードや書籍等を撮像し、その撮像画像から対象 物体の 3次元形状を検出することで、ホワイトボードや書籍等を、その正面に対して 斜め方向となる位置力 撮像したとしても、あた力も正面力 撮像したように、その撮 像画像を補正する補正手段を備えた撮像装置が知られている。例えば、特開平 9 2 89611号公報 (以下、文献 1と記す)の図 1等には、そのような補正手段を備えた可 搬型のデジタルカメラが開示されて ヽる。
[0003] 上述した補正手段に必要なパラメータとしての対象物体の 3次元形状を検出する技 術として、特許 3282331号公報（以下、文献 2と記す)の第 10段落、図 3等には、ノ ターン光の一例であるスリット光が投光された状態の対象物体を撮像したスリット光投 光時画像と、スリット光が投光されて 、な 、状態の対象物体を撮像したスリット光非投 光時画像との減算を行うことでスリット光を抽出し、その抽出したスリット光に基づいて 対象物体の 3次元形状を検出する据え置き型の 3次元形状測定装置が開示されて いる。
発明の開示
[0004] しかしながら、上述した 3次元形状測定装置は据え置き型で、撮像時の自由度が制 限され不便であるため、 3次元形状測定装置は可搬型であることが望ましい。しかし ながら、 3次元形状測定装置を可搬型とした場合には、「手ぶれ」によってスリット光投 光時画像の撮像位置と、スリット光非投光時画像の撮像位置とがずれる場合がある。 このような場合、当然にスリット光投光時画像とスリット光非投光時画像との間にもず れが生じ、スリット光投光時画像とスリット光非投光時画像との減算を行ったとしても、 正確にスリット光を抽出できな 、と 、う問題点があった。 [0005] 本発明は、上述した問題点を解決するためになされたものであり、パターン光投光 画像内からパターン光の軌跡を構成する画素を検出する検出処理を高速に且つ高 精度に行うことができる 3次元形状検出装置、撮像装置、及び、 3次元形状検出プロ グラムを提供することを目的として ヽる。
[0006] 上記目的を達成する為、本発明の一つの側面によれば、パターン光を投光する投 光手段と、パターン光が投光される状態における対象物体のパターン光投光画像を 撮像する撮像手段と、前記撮像手段によって撮像されたパターン光投光画像から抽 出される前記パターン光の軌跡に基づき、対象物体の 3次元形状を算出する 3次元 形状算出手段とを備え、以下のように構成された 3次元形状検出装置が提供される。 すなわち、この 3次元形状検出装置は、前記パターン光投光画像内から、その X軸 方向に延びる前記パターン光の軌跡の一部を含む第 1領域を設定する第 1領域設 定手段と、前記第 1領域設定手段で設定される第 1領域内から前記パターン光の軌 跡の一部を構成する複数の画素を検出する第 1検出手段と、前記第 1検出手段で検 出される複数の画素に基づき、前記パターン光の軌跡に関する近似曲線を算出する 近似曲線算出手段と、前記近似曲線算出手段で算出される近似曲線に基づき、前 記パターン光投光画像内から前記パターン光の軌跡の残り部分を構成する画素を 検出するための第 2領域を設定する第 2領域設定手段とを備える。前記パターン光 の軌跡は、前記第 1検出手段で検出される複数の画素と、前記第 2領域設定手段で 設定される前記第 2領域内から検出される画素とに基づき抽出される。
[0007] このような構成の 3次元形状検出装置によれば、第 2領域設定手段は、パターン光 の軌跡の残り部分を構成する画素を検出するための第 2領域をパターン光の軌跡に 関する近似曲線に基づき設定する。したがって、第 2領域内には、かかる画素が含ま れる可能性が極めて高ぐ余分な領域内をも検出して、パターン光を構成する画素 以外の画素を検出してしまう等の弊害を抑制することができる。従って、パターン光投 光画像内からパターン光の軌跡を構成する画素を検出する検出処理を高精度に行 うことができるという効果が得られる。
[0008] 本発明の別の側面によれば、パターン光が投光されている状態における対象物体 を撮像したパターン光投光画像から抽出されるパターン光の軌跡に基づき、対象物 体の 3次元形状を算出する 3次元形状算出ステップを備えた 3次元形状検出プロダラ ムであって、以下のように構成されたプログラムが提供される。すなわち、このプロダラ ムは、前記パターン光投光画像内から前記パターン光の軌跡の一部を含む第 1領域 を設定する第 1領域設定ステップと、その第 1領域設定手段で設定される第 1領域内 力 前記パターン光の軌跡の一部を構成する画素を検出する第 1検出ステップと、そ の第 1検出手段で検出される画素に基づき、前記パターン光の軌跡に関する近似曲 線を算出する近似曲線算出ステップと、その近似曲線算出手段で算出される近似曲 線に基づき、前記パターン光投光画像内から前記パターン光の軌跡の残り部分を構 成する画素を検出するための第 2領域を設定する第 2領域設定ステップとを備える。 前記パターン光の軌跡は、前記第 1検出ステップで検出される複数の画素と、前記 第 2領域設定ステップで設定された前記第 2領域内から検出される画素とに基づき抽 出される。
[0009] このような 3次元形状検出プログラムによれば、上述した 3次元形状検出装置による 効果と同様な効果が得られる
図面の簡単な説明
[0010] [図 1]図 1 (a)は撮像装置の外観斜視図であり、図 1 (b)は撮像装置 1の概略断面図 である。
[図 2]図 2は、スリット光投光ユニットの構成を示す図である。
[図 3]図 3 (a)および図 3 (b)は、スリット光の角度幅を説明するための図である。
[図 4]図 4は、撮像装置の電気的構成を示したブロック図である。
[図 5]図 5は、プロセッサでの処理手順を示すフローチャートである。
[図 6]図 6 (a)および図 6 (b)は、スリット光軌跡抽出処理の原理を説明するための図 である。
[図 7]図 7は、スリット光軌跡抽出処理を示すフローチャートである。
[図 8]図 8は、スリット光重心位置計算処理を示すフローチャートである。
[図 9]図 9は、近似曲線算出処理を示すフローチャートである。
[図 10]図 10は、近似曲線を更新する場合の処理を示すフローチャートである。
[図 11]図 11は、スリット光無画像内にぉ 、て対応画素を探索する際の探索範囲を設 定する方法を説明するための図である。
[図 12]図 12 (a)は、スリット光が照射されている状態の原稿 Pの撮像画像を示してい る。図 12 (b)は、スリット光検出位置 cXにおける周辺画素を模式的に示した拡大図 である。
[図 13]図 13は、手ぶれ量を考慮してスリット光無画像内の探索範囲を設定する方法 を説明するための図である。
[図 14]図 14は、図 12 (a)の A部分を模式的に示した拡大図である。
[図 15]図 15は、図 12 (a)の B部分を模式的に示した拡大図である。
[図 16]図 16は、ファイルされた状態の原稿を撮像した撮像画像を示す図である。
[図 17]図 17 (a)および図 17 (b)は、スリット光有画像を示した図である。
[図 18]図 18 (a)および図 18 (b)は、 3次元空間位置算出方法を説明するための図で める。
[図 19]図 19 (a)から図 19 (c)は、原稿姿勢演算の際の座標系を説明するための図で める。
[図 20]図 20は、平面変換処理を示すフローチャートである。
符号の説明
[0011] 1 撮像装置 (3次元形状検出装置を含む）
20 スリット光投光ユニット (パターン光投光手段）
32 CCD画像センサ (撮像手段）
421 カメラ制御プログラム (撮像手段）
422 スリット光軌跡抽出プログラム
423 三角測量演算プログラム
424 原稿姿勢演算プログラム (3次元形状算出手段）
425 平面変換プログラム (平面画像補正手段）
429 近似曲線算出プログラム (近似曲線算出手段）
発明を実施するための最良の形態
[0012] 以下、本発明の好ましい実施例について、添付図面を参照して説明する。図 1 (a) は本発明の撮像装置 1の外観斜視図であり、図 1 (b)は撮像装置 1の概略断面図で ある。尚、本発明の実施形態としての 3次元形状検出装置は撮像装置 1に含まれる 装置である。本発明の実施形態としての 3次元形状検出プログラムは、撮像装置 1に おいて CPU41 (図 4参照）の制御の下で実行されるプログラムである。
[0013] 撮像装置 1は、方形箱形の本体ケース 10と、本体ケース 10の正面に設けられた結 像レンズ 31と、結像レンズ 31の後方 (撮像装置 1の内部側）に設けられた CCD画像 センサ 32とを有する。撮像装置 1は、更に、結像レンズ 31の下方に設けられたスリット 光投光ユニット 20と、本体ケース 10に内蔵されたプロセッサ 40と、本体ケース 10の 上部に設けられたレリーズボタン 52及びモード切替スィッチ 59と、本体ケース 10に 内蔵されるメモリカード 55とを有する。これらの構成品は図 4に示すように、それぞれ 信号線により繋がっている。
[0014] 更に、撮像装置 1には、撮像装置 1による撮像範囲を使用者が決定する際に利用 するものとして、本体ケース 10の背面に設けられた LCD (Liquid Crystal Displa y) 51と、本体ケース 10の背面力も前面を通して配設されるファインダ 53とが装備さ れている。
[0015] 結像レンズ 31は、複数枚のレンズで構成されている。撮像装置 1はオートフォー力 ス機能を有し、自動で焦点距離及び絞りを調整することにより、外部力ゝらの光が CCD 画像センサ 32上に結像されるよう撮像レンズ 31を駆動する。
[0016] CCD画像センサ 32は、 CCD (Charge Coupled Device)素子などの光電変換 素子がマトリクス状に配列されて構成されている。 CCD画像センサ 32は、表面に結 像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変 換してプロセッサ 40へ出力する。尚、 CCD素子一つ分のデータが画像を形成する 画素の画素データであり、画像データは CCD素子の数の画素データで構成される。
[0017] レリーズボタン 52は、押しボタン式のスィッチで構成されている。このレリーズボタン 52はプロセッサ 40に接続されおり、プロセッサ 40にて使用者によるレリーズボタン 52 の押し下げ操作が検知される。モード切替スィッチ 59は、 2つの位置に切換え可能 なスライドスィッチなどで構成される。このモード切替スィッチ 59の一方のスィッチ位 置は「ノーマルモード」として、他方のスィッチ位置は「補正撮像モード」として検知さ れるようにプロセッサ 40にて割り当てられている。「ノーマルモード」は、撮像した原稿 Pそのものを画像データとするモードである。「補正撮像モード」は、原稿 Pを斜め方 向から撮像した場合に、その画像データを、原稿 Pが正面力ゝら撮像されたよう補正さ れた画像データとするモードである。
[0018] メモリカード 55は、不揮発性で書き換え可能なメモリで構成され、本体ケース 10に 着脱可能である。
[0019] LCD51は、画像を表示する液晶ディスプレイなどで構成され、プロセッサ 40からの 画像信号を受けて画像を表示する。プロセッサ 40から LCD51に対しては、状況に 応じて CCD画像センサ 32で受光したリアルタイムの画像や、メモリカード 55に記憶さ れた画像や、装置の設定内容の文字等を表示するための画像信号が送られる。
[0020] ファインダ 53は、光学レンズで構成される。ファインダ 53は、使用者が撮像装置 1の 後ろ側力もファインダ 53をのぞき込んだ時に、結像レンズ 31が CCD画像センサ 32 上に結像する範囲とほぼ一致する範囲が見えるように構成されている。
[0021] 次に、図 2及び図 3を参照して、スリット光投光ユニット 20について説明する。図 2は 、スリット光投光ユニット 20の構成を示す図である。図 3は、スリット光の角度幅を説明 するための図である。スリット光投光ユニット 20は、レーザーダイオード 21と、コリメ一 トレンズ 22と、アパーチャ 23と、透明平板 24と、シリンドリカルレンズ 25と、反射ミラー 26と、ロッドレンズ 27とを有する。
[0022] レーザーダイオード 21は、赤色レーザー光線を放射する。プロセッサ 40からの指 令に応じて、レーザーダイオード 21におけるレーザー光線の放射及び停止が切り換 えられる。レーザーダイオード 21の出力は、最大出力定格 (例えば 5mW)に対して、 レーザービームの広がり角の個体ばらつきを考慮して、アパーチャ 23を通った箇所 で一定の出力（例えば lmW)を得られるように定格出力が調整されている。
[0023] コリメートレンズ 22は、レーザーダイオード 21からのレーザー光線を、スリット光投光 ユニット 20からの基準距離 VP (例えば 330mm)に焦点を結ぶように集光する。
[0024] アパーチャ 23は、矩形に開口された開口部を有する板で構成され、コリメートレン ズ 22からのレーザー光線を開口部で透過して矩形に整形する。
[0025] 透明平板 24は、無垢のガラス材料などの透明な平板で構成され、裏面に ARコート
(無反射コーティング）が施されている。透明平板 24は、アパーチャ 23からのレーザ 一光線の光軸に直交する面に対して、本体ケース 10の正面側に所定角度 |8 (例え ば 33度)傾斜して配設されている。透明平板 24は、アパーチャ 23から入射するレー ザ一光線のパワーの約 5% (約 50 μ W)を表面で反射して、約 95% (約 950 W)を 透過する。尚、透明平板 24によりレーザー光線が反射される方向（撮像装置 1の前 方へ水平面に対して 33度上向きの方向）を第 2の方向と呼ぶ。
[0026] 透明平板 24の裏面に ARコートを施すことにより、透明平板 24内に入射したレーザ 一光線の透明平板 24から出射する際の反射が少なくなり、透明平板 24内でのレー ザ一光線の損失が少なくなるようになつている。また、透明平板 24で反射するレーザ 一光線の割合を、透明平板 24の材質の屈折率より決まる表面反射率 5%として設定 することにより、通常のハーフミラーで実現する場合に必要な、反射面に金属蒸着膜 を形成するプロセスを省略することができる。
[0027] 反射ミラー 26は、鏡など、レーザー光線を全反射する部材で構成される。反射ミラ 一 26は、透明平板 24を透過したレーザー光線の下流に、本体ケース 10の正面側に 45度傾斜して配設され、レーザー光線を全反射して光路の向きを 90度変える。反射 ミラー 26によりレーザー光線が反射される方向（撮像装置 1の前方へ水平面に対して 0度の向き）を第 1の方向と呼ぶ。
[0028] ロッドレンズ 27は、正の焦点距離が短い円筒形状のレンズで構成され、反射ミラー 26で反射されるレーザー光線の下流に、円筒形状の軸方向が垂直方向になるように 配設されている。そして、反射ミラー 26からレーザー光線が入射されると、図 3 (a)に 示すように、焦点距離が短いため、このレーザー光線がすぐに焦点を越えて広がり、 所定の広がり角度 ε (例えば 48度）のスリット光として第 1の方向へ出射される。尚、 ロッドレンズ 27から出射されるスリット光を第 1スリット光 71と呼ぶ。
[0029] ロッドレンズ 27は、正の焦点距離が短い円筒形状のレンズで構成される。ロッドレン ズ 27は、反射ミラー 26で反射されるレーザー光線の下流に、円筒形状の軸方向が 垂直方向になるように配設されている。ロッドレンズ 27は、焦点距離が短い。したがつ て、図 3 (a)に示すように、ロッドレンズ 27を通過したレーザ光線は、ロッドレンズ 27近 傍の焦点位置から直ちに広がり始め、所定の広がり角度 ε (例えば 48度）のスリット 光として第 1の方向へ出射される。以下では、ロッドレンズ 27から出射されるスリット光 を第 1スリット光 71と呼ぶ。
[0030] シリンドリカルレンズ 25は、負の焦点距離となるように一方向が凹形状となったレン ズである。シリンドリカルレンズ 25は、透明平板 24で反射されたレーザー光線の下流 に、第 2の方向に対してレンズ面が直交するように配設さている。図 3 (b)に示すよう に、シリンドリカルレンズ 25は、透明平板 24から入射されるレーザー光線を、広がり 角度 κで広がるスリット光として出射する。以下では、シリンドリカルレンズ 25から出射 されるスリット光を第 2スリット光 72と呼ぶ。シルンドリカルレンズ 25による広がり角度 κは、第 1スリット光 71の広がり角度 εと第 2スリット光 72の広がり角度 κの比が、透 明平板 24によりレーザー光線が分割される際のパワーの比と同等となるようになって いる。つまり、第 2スリット光 72の広がり角度 κは第 1スリット光の広がり角度 εの 5% ( 2. 4度）となっている。
[0031] これらの構成品によって、スリット光投光ユニット 20は、プロセッサ 40からの指令に 応じて、レーザーダイオード 21からレーザー光線を放射して、第 1の方向へ第 1スリツ ト光 71、及び、第 2の方向へ第 2スリット光 72を、本体ケース 10の結像レンズ 31の下 方に設けられた窓 29から出射する。また、レーザーダイオード 21からは赤色レーザ 一光線が放射されるため、その赤色レーザー光線力も生成される第 1スリット光 71と 第 2スリット光 72とは、その分光成分として RGB空間における R、 G、 B値のうち、主に 赤値 Rカゝら構成されることになる。
[0032] 上述したように構成されるスリット光投光ユニット 20によれば、レーザダイオード 21 力も出力されるパワーのうち、透明平板 24で分割される第 1スリット光 71のパワーは 9 5%に対し、第 2スリット光 72のパワーは約 5%と少ない。し力しながら、角度幅あたり のパワーで見ると、広がり角力 8度の第 1スリット光 71の単位角度あたりのパワーが 約 20 /z WZ度で、広がり角が 2. 4度の第 2スリット光 72の単位角度あたりのパワーも 約 21 WZ度であり、これら 2つのスリット光の単位角度当たりのパワーはほぼ同じ である。原稿 Pが基準距離 VPである 330mmの位置にある白色の用紙の場合、第 1 スリット光 71及び第 2スリット光 72による照度は約 1260ルクスとなり、一般的な室内の 明るさである 500— 1000ルクスの場所でも、スリット光の軌跡と原稿 Pとの輝度差が 十分ある。したがって、後述するスリット光軌跡抽出プログラム 422にてスリット光の軌 跡画像を確実に抽出することができる。
[0033] 図 4は、撮像装置 1の電気的構成を示したブロック図である。撮像装置 1に搭載され たプロセッサ 40は、 CPU41、 ROM42、 RAM43を備えている。
[0034] CPU41は、 ROM42に記憶されたプログラムによる処理に応じて、 RAM43を利用 して、レリーズボタン 52の押し下げ操作の検知、 CCD画像センサ 32からの画像デー タの取り込み、画像データのメモリカード 55への書き込み、モード切替スィッチ 59の 状態検出、スリット光投光ユニット 20によるスリット光の出射切り換え等の各種処理を 行う。
[0035] ROM42には、カメラ制御プログラム 421、スリット光軌跡抽出プログラム 422、三角 測量演算プログラム 423、原稿姿勢演算プログラム 424、平面変換プログラム 425、 輝度分散演算プログラム 426、相互相関係数演算プログラム 427、対応画素検索プ ログラム 428、および近似曲線演算プログラム 429が記憶されている。
[0036] カメラ制御プログラム 421は、図 5に示すフローチャートの処理 (詳細は後述する。 ) を含む撮像装置 1全体の制御に関するプログラムである。スリット光軌跡抽出プロダラ ム 422は、スリット光を投光した原稿 Pの画像からスリット光の軌跡を抽出するプロダラ ムである。三角測量演算プログラム 423は、スリット光軌跡抽出プログラム 422で抽出 されたスリット光の軌跡の各画素に対する 3次元空間位置を演算するプログラムであ る。
[0037] 原稿姿勢演算プログラム 424は、第 1スリット光の軌跡 71a及び第 2スリット光の軌跡 72aの 3次元空間位置から、原稿 Pの 3次元形状を推定して求めるプログラムである。 平面変換プログラム 425は、原稿 Pの位置及び姿勢が与えられて、スリット光無画像 格納部 432に格納された画像データを、原稿 Pの正面力も撮像したような画像に変 換するためのプログラムである。輝度分散演算プログラム 426は、スリット光無画像内 の小領域毎に色値に関する標準偏差を演算するためのプログラムである。
[0038] 相互相関係数演算プログラム 427は、スリット光有画像とスリット光無画像とのズレ 量を演算するためのプログラムである。対応画素検索プログラム 428は、スリット光有 画像内から検出された画素力 スリット光無画像内に存在するカゝ否かを検索するプロ グラムである。近似曲線演算プログラム 429は、第 1スリット光の軌跡 71aの一部を構 成する画素力 第 1スリット光の軌跡 71aに関する近似曲線を演算するプログラムで ある。
[0039] RAM43には、スリット光有画像格納部 431、スリット光無画像格納部 432、検出対 象画素値一時格納部 433、三角測量演算結果格納部 434、原稿姿勢演算結果格 納部 435、スリット光軌跡情報格納部 436、手ぶれ量格納部 437、近似曲線格納部 4 38、およびワーキングエリア 439が記憶領域として割り当てられている。
[0040] スリット光有画像格納部 431とスリット光無画像格納部 432には、 CCD画像センサ 3 2からのスリット光有画像とスリット光無画像の画像データが各々格納される。検出対 象画素値一時格納部 433には、スリット光有画像の内の探索範囲に含まれる各画素 についての、赤値 R力 緑値 Gと青値 Bとの平均を減算して求められる赤差分値 Rdと 輝度値 Yとを乗算して得られる値 (Rd'Y値)が格納される。三角測量演算結果格納 部 434には、スリット光有画像の各ポイントの位置を演算した結果が格納される。
[0041] 原稿姿勢演算結果格納部 435には、原稿 Pの位置及び姿勢の演算結果が格納さ れる。スリット光軌跡情報格納部 436には、後述するスリット光重心位置計算処理に おいて計算される重心位置が格納される。手ぶれ量格納部 437には、相互相関係数 演算プログラム 427によって演算されたスリット光有画像とスリット光無画像とのズレ量 が格納される。近似曲線格納部 438には、近似曲線演算プログラム 429によって演 算された近似曲線が格納される。ワーキングエリア 439には、 CPU41での演算のた めに必要なデータが一時的に格納される。
[0042] 次に、図 5のフローチャートを参照して、上述したように構成された撮像装置 1に関 し、使用者によりレリーズボタン 52が押されて力もの動作について説明する。図 5は、 撮像装置 1のプロセッサ 40での処理手順を示すフローチャートである。尚、スリット光 軌跡抽出処理 (S140)、三角測量演算処理 (S160)、原稿姿勢演算処理 (S170)、 平面変換処理 (S 180)の詳細につ 、ては、後述する。
[0043] 使用者によりレリーズボタン 52が押されると、まず、モード切替スィッチ 59のスィッチ の位置が検知され、そのスィッチの位置が「補正撮像モード」の位置である力否かが 判別される（S110)。判別の結果、スィッチの位置が「補正撮像モード」の位置にある 場合には（S 110： Yes)、スリット光投光ユニット 20に対しレーザーダイオード 21の発 光が指令され、第 1スリット光 71及び第 2スリット光 72が出射されてから、スリット光有 画像として、 CCD画像センサ 32から RGB値で表現された画像データが取得される（ S120)。さらに、 S120では、読込まれた画像データが、 RAM43のスリット光有画像 格納部 431に格納される。
[0044] スリット光有画像の画像データが読み込まれると（S120)、次に処理はステップ S13 0に進む。ステップ S130では、スリット光投光ユニット 20に対しレーザーダイオード 2 1の発光停止が指令され、第 1スリット光 71及び第 2スリット光 72が出射されなくなると 、スリット光無画像として CCD画像センサ 32から RGB値で表現された画像データが 読み込まれる。さら〖こ、 S 130では、読み込まれた画像データがスリット光無画像格納 部 432に格納される。
[0045] スリット光無画像の画像データを読み込まれると（S130)、処理はステップ S140に 進みスリット光軌跡抽出処理が実行される。すなわち、ステップ S140では、スリット光 軌跡抽出プログラム 422によりスリット光有画像格納部 431に読込まれたスリット光有 画像の画像データ力ゝら各スリット光の軌跡 71a、 72aを構成する画素が検出され、そ の画素に関するデータが検出対象画素値一時格納部 433に格納される。
[0046] スリット光軌跡抽出処理 (S140)が終了すると、次に収差補正処理 (S150)が実行 される。この収差補正処理によって、光軸からの角度に依存する画像の歪みが補正 される。
[0047] 収差補正処理 (S150)が終了すると、三角測量演算処理 (S160)が実行される。
三角測量演算処理 (S160)では、検出対象画素値一時格納部 433に格納されてい る第 1スリット光の軌跡 71a及び第 2スリット光の軌跡 72aを構成する画素に関し、その 画素毎に 3次元空間位置が三角測量演算プログラム 423により演算される。各画素 についての演算結果は、三角測量演算結果格納部 434に格納される。
[0048] 三角測量演算処理 (S160)が終了すると、原稿姿勢演算処理 (S170)が実行され る。原稿姿勢演算処理 (S 170)では、三角測量演算結果格納部 434に格納された 第 1スリット光 71及び第 2スリット光 72のスリット光の軌跡の 3次元空間位置を用いて、 原稿姿勢演算プログラム 424により、原稿 Pの位置及び姿勢が演算される。この演算 結果は、原稿姿勢演算結果格納部 435に格納される。 [0049] 原稿姿勢演算処理 (SI 70)が終了すると、平面変換処理 (S180)が実行される。 平面変換処理 (S 180)では、原稿 Pの位置及び姿勢から、平面変換プログラム 425 により、スリット光無画像格納部 432に記憶された画像データ力 正面から観察され たような画像の画像データに変換される。
[0050] 平面変換処理 (S180)が終了すると、生成された正立画像の画像データはメモリ力 ード 55に書き込まれ (S190)、当該処理は終了する。
[0051] 一方、 S110における判別の結果力 「補正撮像モード」ではなく「ノーマルモード」 の位置の場合には（S 110 : No)、スリット光投光ユニット 20のレーザーダイオード 21 が発光せず、第 1スリット光 71及び第 2スリット光 72が出射されていない状態で、 CC D画像センサ 32からスリット光無画像が読み込まれる（S200)。次に、その画像デー タはメモリカード 55に書き込まれる（S210)。ステップ S210の後、当該処理を終了す る。
[0052] 次に、図 6乃至図 16を参照して、上述したスリット光軌跡抽出処理 (S 140)につい て具体的に説明する。
[0053] まず、図 6を参照して、スリット光有画像内において、スリット光の軌跡を構成する画 素 (スリット光を含む画素）と、スリット光を含まない画素との差異を明確にして、スリット 光有画像からスリット光を含む画素を高精度で抽出するための抽出原理について説 明する。
[0054] 図 6 (a)は、スリット光が照射されて 、る状態の原稿 Pの撮像画像を示して 、る。原 稿 P上には、原稿の幅方向に複数列に並ぶ文字部分 Mと、矩形状に示した照明反 射部分 Sと、円状に囲んで示す主の色成分として赤 (R)成分を持つ印刷部分 Iと、原 稿 Pの幅方向に延びる第 1、第 2スリット光の軌跡 71a, 72aとが形成されている。また 、原稿 Pの幅方向と直交する方向に延びる 1点鎖線はスリット光検出位置を示し、そ のスリット光検出位置と第 1スリット光の軌跡 71aとの交点をスリット光検出画素 Kとす る。
[0055] 図 6 (b)は、スリット光検出位置（図中の 1点鎖線参照）における所定パラメータ値を 示すグラフであり、スリット光検出位置力も各グラフに向力つて真っ直ぐに延長線を引 いた部分力 そのスリット光検出位置の各所定パラメータ値を示している。すなわち、 図 6 (b)の各グラフの縦軸上の位置は、図 6 (a)の図の縦方向の位置に対応して 、る 。所定パラメータとしてグラフ A1は赤値 R、グラフ A2は赤差分値 Rd、グラフ A3は輝 度値 Y、グラフ Α4は赤差分値 Rdと輝度値 Υとの積値 Rd' Υを採用して 、る。
[0056] 赤差分値 Rdは、赤値 R力ゝら緑値 Gと青値 Bとの平均を減算して算出される。即ち、こ の赤差分値 Rdによって、スリット光検出位置において、スリット光の主成分である R成 分に対応する赤値 Rを他の成分 (G値、 B値)より強調させることができ、赤値 Rが緑値 G、青値 Bと近い値を有する画素は、赤差分値 Rd値が低ぐ逆に、赤値 Rが緑値 G、 青値 Bに比べて高 、画素は、赤差分値 Rd値が高 、値となることを示して 、る。
[0057] 輝度値 Yは、スリット光検出位置における各画素の輝度を示すもので、輝度値 Yは 、 YCbCr空間における Y値であり、 RGB空間力も YCbCr空間へは以下の式で変換 される。 Y = 0. 2989水 R+0. 5866水 G + 0. 1145水 BCb=—0. 1687水 R— 0 . 3312水 G + 0. 5000水 BCr= 0. 5000水 R—0. 4183水 G—0. 0816水 B グラフ A1からは、スリット光検出画素 K、 R成分を持つ印刷部分 I、照明反射部分 S では赤値 Rが高いことが分かる。ここで、赤値 Rの高低を基準に、スリット光検出画素 Κを検出しょうとすると、スリット光検出画素 Κが、 R成分を持つ印刷部分 Iや照明反射 部分 Sに含まれている場合には、赤値 Rについて両者に明確な差異がないので、 R 成分を持つ印刷部分 Iや照明反射部分 Sからスリット光検出画素 Κを正確に検出でき ない。
[0058] グラフ Α2からは、照明反射部分 Sは、スリット光検出画素 K、 R成分を持つ印刷部 分 Iより赤差分値 Rdが低いことが分かる。よって、赤差分値 Rdの高低を基準に、スリツ ト光検出画素 Kを検出すれば、スリット光検出画素 Kが照明反射部分 Sに含まれてい たとしても、赤差分値 Rdに関する両者の差異は明確なので照明反射部分 Sからスリ ット光検出画素 Kを正確に検出することは可能である。しかし、スリット光検出画素 K が R成分を持つ印刷部分 Iに含まれている場合には、赤差分値 Rdに関して両者に明 確な差異がないので、 R成分を持つ印刷部分 Iからスリット光検出画素 Kを正確に検 出できない。
[0059] グラフ A3からは、 R成分を持つ印刷部分 Iが、スリット光検出画素 K、照明反射部分 Sより輝度値 Υが低いことが分かる。よって、輝度値 Υの高低を基準に、スリット光検出 画素 Kを検出すれば、たとえスリット光検出画素 Kが R成分を持つ印刷部分 Iに含ま れていたとしても、輝度値 Yに関する両者の差異は明確なので、 R成分を持つ印刷 部分からスリット光検出画素 Kを検出することは可能である。しかし、スリット光検出画 素が照明反射部分 Sに含まれている場合には、輝度値 Yに関して両者に明確な差異 がないので、照明反射部分 Sからスリット光検出画素 Kを正確に検出できない。
[0060] そこで、グラフ A2およびグラフ A3に示す通り、スリット光検出画素 Kは、赤差分値 R dと輝度値 Yとの両方が、照明反射部分 Sや R成分を持つ印刷部分 Iよりも高 ヽ値を有 していることに着目し、その赤差分値 Rdと輝度値 Yとの積値 Rd'Y (以下 Rd'Y値)の 高低を基準に、スリット光を含む画素を検出することとする。
[0061] グラフ A4に示す通り、スリット光検出位置画素 Kの Rd'Y値は、照明反射部分 Sの R d'Y値や R成分を持つ印刷部分 Iの Rd'Y値よりも高いので、たとえスリット光検出画 素 Kが照明反射部分 Sや R成分を持つ印刷部分 Iに含まれて ヽたとしても、 Rd'Y値 に関する両者の差異は明確なので、照明反射部分 Sや R成分を持つ印刷部分 Iから スリット光検出画素 Kを正確に検出することができる。
[0062] 次に、図 7乃至図 10のフローチャートを参照して、スリット光軌跡抽出処理（図 5の S 140)の具体的な処理の流れを説明する。図 7はスリット光軌跡抽出処理のフローチ ヤートである。
[0063] スリット光軌跡抽出処理では、まず、スリット光有画像とスリット光無画像とのズレ量 が計算される（S701)。
[0064] 両画像におけるズレ量は、スリット光有画像とスリット光無画像とは、同時に撮像され ていないため、その間のユーザの「手ぶれ」等に起因して生ずる。両画像のズレ量は 、相互相関係数演算プログラム 427により 2つの画素間の相互相関係数 ccを計算す ることで得ることができる。尚、相互相関係数 ccは 1一 1の値を持ち、最大の値を持 つ位置がズレ量となる。
[0065] 相互相関係数 ccを計算するに当たっては、画像中の特徴ある部分で計算すること が好ましい。黒べた部分、白べた部分、或いは特定の色によるべた部分等において 相互相関係数 CCを計算しても、相互相関係数 CCに明確な差異が得られないためで ある。そこで、相互相関係数 CCを計算するに前に、スリット光無画像内において特徴 ある部分を探索する探索処理が行われる。
[0066] この探索処理では、図 11に示すように、スリット光無画像を 4つの大領域 1一 4に分 け、更に、その各大領域 1一 4を各大領域内の端 (領域 1では右上、領域 2では左上 、領域 3では左下、領域 4では右下)から中央に向力つて小領域に分け、その小領域 毎に輝度 Yの標準偏差が求められる。輝度 Yの標準偏差 σ Υは輝度分散演算プログ ラム 426により以下の数 1、数 2に示す式を使って計算される。
[0067] 尚、数 1にお!/、て (xc、 yc)は小領域中心画素、 Rdは小領域のサイズを 2等分した サイズを示しており、具体的には、画像サイズが 1200pixel X 1600pixel程度の場 合には、小領域のサイズは 41pixel X 41pixel程度（数 1, 2における Rd= 20)で良 い。
[0068] [数 1]
輝度 Yの標準偏差 S y =
Figure imgf000017_0001
[0069] [数 2]
輝度 Yの平均値
Figure imgf000017_0002
各大領域 1一 4内において最大の標準偏差を有する小領域の中心座標を相互相 関係数 ccを求める中心位置 (xc、 yc)として、スリット光有画像とスリット光無画像の 2 画像の中心座標付近の画素の位置の差を (xd, yd)として、各 (xd, yd)における相 互相関係数 cc (xd, yd)を求め、最大の相互相関係数を持つ場合の (xd, yd)をず れ量とすることができる。
[0070] 尚、計算式 (数 3)では、スリット光有画像とスリット光無画像との画素の位置の差を（ xd、 yd)とし、スリット光有画像の画素の輝度を Yl、スリット光無画像の輝度を Υ2とす る。また、画像サイズが 1200pixel X 1600pixel程度の場合には、相互相関係数 cc を求める範囲も 41pixel X 41pixel (Rc = 20)程度でよ!、。
[0071] [数 3] 相互相関係数 CC ( xd,yd ) =
1 yc + Rc ί xc + Rc 、 _v . _
∑ ] ∑ (Yl(x，y)— YlJ[Y2( χ+xd' y+yd )— Y2
(2Rc + l)2 v =: yc - Rc = xc - Rc J yc + Rc XC + Rc / / 、 yc + Rc [ xc + Rc t ―、 ∑ ' ∑ (Yl(x，y)- Yi ∑ \ ∑ (Y2( x+xd. y+yd )- Y2j y - yc - Rc x = xc - Rc y = yc - Rc x = xc - Rc
(2Rc + l)4 (2Rc + 1)4 再び、図 7に戻って説明を続ける。上述した通りに、スリット光有画像とスリット光無 画像とのズレ量が算出されると（S701)、次に、第 2スリット光の軌跡 72aを抽出する 探索範囲を指定する探索パラメータが設定される（S702)。図 12 (a)は、スリット光が 照射されている状態の原稿 Pの撮像画像を模式的に示す図である。図 12 (a)に示す ように、探索パラメータは第 2スリット光の軌跡 72a上の ccdx方向における cX2と、 cc dy方向の yMin2から yMax2までの範囲として設定される。
[0072] 例えば、画像サイズが 1200pixel (幅 W) X 1600pixel (高さ H)の場合には、 cX2 の値としては、撮像画像の幅 Wの画像中心位置が設定され（図 12 (a)の一点鎖線）、 すなわち cX2 = 599の 1点が設定される。 yMin2から yMax2の範囲としては、撮像 画像の上半分の領域である 0から 799の範囲が設定される。
[0073] ccdx方向に関して cX2を 1点に設定するのは、本実施例では、第 1スリット光の軌 跡 71aにより湾曲 φを算出するため、第 2スリット光の軌跡 72aとしては、傾き Θ (実空 間において X軸を中心とした回転角）を求めるのに用いる ccdy軸上の軌跡座標のみ を抽出すれば良いためである。
[0074] 探索パラメータが設定されると (S702)、後述するスリット光重心位置計算処理が実 行される（S703)。次に、スリット光重心位置計算処理 (S703)で算出される重心位 置の画素に対応する画素が、スリット光無画像内に存在するか否かが検索される (S 704)。
[0075] この検索範囲に関し、例えば、図 13に示すように、スリット光有画像からスリット光を 含む画素として検出された画素力 大領域 4内の (xp、 yp)において見つ力つたとす る。このような場合には、 S701で算出したスリット光無画像内の大領域 4のズレ量 (dx 4、 dy4)を考慮に入れて、 xp + dx4— Rs≤x≤xp + dx4+Rsと、 yp + dy4-Rs≤y ≤yp + dy4+Rsとの範囲で、検出された画素に対応する画素が探索される。
[0076] 尚、対照物体までの距離が 350mm程度、画像サイズが 1200pixel X 1600pixel 程度の場合、手ぶれ量は数 10ピクセル程度なので、 Rsは数 10ピクセル程度で設定 すれば良い。
[0077] スリット光無画像内を検索した結果、対応する画素が検索された場合には（S705： Yes)、その画素はスリット光有画像にも、スリット光無画像にも共通に存在する画素と いうことになる。即ち、スリット光有画像内において検出された画素は、スリット光を含 む画素とは認められないため、計算された重心位置まわりの画素を抽出対象力も外 し（S706)、再び、 S703力ら S705までの処理力 S繰り返免される。
[0078] 一方、対応する画素がスリット光無画像内で検索されなければ (S705 : No)、その 画素はスリット光無画像には存在せず、スリット光有画像固有の画素ということになる 。即ち、その画素は、スリット光を含む画素であると判定され、その計算された重心位 置がスリット軌跡情報格納部 436に記憶される（S707)。
[0079] 次に、第 1スリット光の軌跡 71aを抽出する探索範囲を指定する探索パラメータが設 定される（S708)。この探索パラメータは、図 12 (a)に示すように、 ccdy方向につい て yMinlから yMaxlの範囲として設定される。
[0080] 具体的には、探索パラメータは、撮像画像の下半分の領域の内、 950から 1599の 範囲で設定される。下半分の全部の領域を設定しないのは、本実施例では、第 1スリ ット光 71は結像レンズ 31の光軸と平行で、且つ、結像レンズ 31より下力も照射される ので、第 1スリット光 71の存在する範囲は、原稿 Pを撮像する場合の使用に耐え得る 原稿 Pと結像レンズ 31との距離力も逆算できるため、探索範囲を予め絞りこみ、高速 に処理させるためである。一方、 ccdx方向については、 cXminから cXmaxの範囲で 設定される。
[0081] 探索パラメータが設定されると（S708)、 ccdx方向の検出位置を表す変数 cXを cX cminに設定し（S709)、その位置において ccdy方向の yMinlから yMaxlまでの範 囲内から、スリット光を含む画素の重心位置を求めるベぐ上述した S703力ら S708 までの処理と同様に、 S711力ら S715の処理力 S実行される。このように、 cX=cXcmi nの位置において、 S711から S715までの処理が終了すると、変数 cXに検出間隔 d Xが加算され（S716)、検出位置 cX=cX+dxの位置において、再び S711力ら S71 5までの処理が繰り返される。この繰り返し処理は、変数 cXの値が cXcmaxに到達す るまで繰り返される（S710)。
[0082] このように、 ccdx方向の cXcminから cXcmaxまでの各検出位置毎に、スリット光を 含む画素の重心位置が計算されると（S710 :No)、次に、近似曲線算出処理 (S717 )が実行される。近似曲線算出処理では、 ccdx方向の残りの範囲における各検出位 置毎にスリット光を含む画素の重心位置が求められる。ステップ S717の後、当該処 理は終了する。
[0083] 次に、図 8のフローチャートを参照して、上述したスリット光重心位置計算処理（図 7 の S703, S711)について具体的に説明する。図 8は、スリット光軌跡抽出処理に含 まれるスリット光重心位置計算処理のフローチャートである。
[0084] スリット光重心位置計算処理は、スリット光を含む画素として検出される画素位置と、 スリット光の輝度中心位置とは、スリット光を構成するレーザー光の特性、撮像対象物 の表面の細かな凹凸により必ずしも一致ないため、検出される画素を中心とする一定 の範囲内で Rd'Y値の重心位置を求め、その重心位置をスリット光を含む画素位置と するための処理である。
[0085] 尚、本実施例では、図 12 (b)に示すように、その一定の範囲内として ccdx方向に X Range = 2, ccdy方向に gRange = 5が設定されて!、る。
[0086] スリット光重心位置計算処理では、まず、与えられた変数 cXについて、 ccdx方向の 探索範囲を示す xMinと xMaxとが設定される（S801)。 xMinは、変数 cXが最小値 cXmin ( =初期値 =0)の場合には、最小値 cXminで設定され、それ以外の場合に は、 cXから xRangeを減算した値（ = cX— xRange)で設定される。 xMaxは、変数 cX が最大値 cXmax ( = 1200)の場合には、その最大値 cXmaxで設定され、それ以外 の場合には、 cXに xRangeをカ卩算した値（ = cX+xRange)で設定される。よって、 S 703では変数 cXとして cX2が与えられ、 S709では変数 cXとして cXcminが与えられ ることになる。 [0087] ccdx方向の探索範囲が設定される（S801)、 xMin≤ccdx≤xMaxと yMin≤ccd y≤yMaxとの範囲における各画素について赤差分値 Rdと輝度値 Yとが計算される（ S802, S803)。次に、その各画素について計算された赤差分値 Rdと輝度値 Yとを 乗算して、各画素について Rd'Y値が計算され、その結果が検出対象画素値一時格 納部 433に記憶される（S804)。
[0088] 次に、与えられた変数 cXの ±xRangeの範囲における検出位置を示す変数 ccXを 初期化し（=xMin) (S805)、その変数 ccXが探索範囲（ccX≤xMax)を超えてい な！、か否かが判定される（S806)。変数 ccXが探索範囲を超えて!/、なければ (S806 ： Yes)、更に、変数 ccXが画像範囲（ccX≥0、 ccX< cMAX)を超えていないか否 かが判定される（S807)。変数 ccXが画像範囲をも超えていなければ（S807 :Yes) 、検出対象画素値一時格納部 433に記憶されている探索範囲内の各画素の Rd'Y 値の中から、最大値を有しており、且つ、予め設定した閾値 vThを越えている画素が 検索される（S808)。
[0089] このように処理を行うのは、上述した通りに、最大の Rd'Y値を有する画素は、探索 範囲内でスリット光を含む画素である可能性が極めて高いためである。また、その画 素が閾値 vThを超えて ヽることを条件とするのは、たとえ最大の Rd · Y値を有する画 素であっても、閾値 vThを越えていない画素は、撮像対象物から外れた遠方の物体 にスリット光が当たって 、る画素（この場合、非常に弱 、輝度を持って 、る）である可 能性があり、その画素はスリット光を含む画素の対象候補力も外すことで、より高精度 にスリット光を含む画素を検出するためである。
[0090] 探索範囲内で最大の Rd'Y値を有し、且つ、閾値 vThを越える画素が検索されたら
(S808)、その検索された画素の画素位置士 gRangeの範囲で、 Rd'Y値について の重心位置が計算される（S809)。次に、検出位置が更新され (S810)、上述した S 806から S810までの処理が繰り返えされる。
[0091] このように、 cXの ±xRangeの範囲における変数 ccXの各位置での重心の計算が 終了したと判断された場合には（S806 : No)、 cXの ±xRangeの範囲における各 cc Xで求めた重心位置と、 Rd'Y値とを用いて更に、 ccdy方向についての重心位置が 求められ、それが cXにおけるスリット光軌跡の ccdy値 (Yg)とされる（S811)。ステツ プ S811の後、当該処理は終了する。
[0092] 尚、重心位置 Ygは下記の数 4に示す式で算出される。
[0093] [数 4]
YrdyMax+gRange
∑ (Rd * Y) * y
2 * gRange + l y= rdy ax-gRange
重心位置 Yg =
1 Yrdy ax+gRange
∑ (Rd * Y)
2 * gRange + 1 y=rdyMax-gRange
このようにスリット光を含む画素を検出することで、たとえスリット光を含む画素力 照 明反射部分 Sに含まれていたとしても、照明反射部分 Sでは赤値 Rが低ぐ Rd'Y値 が低いので、その照明反射部分 Sと最大の Rd'Y値を有するスリット光を含む画素と の差異が明確となり、高精度にスリット光を含む画素を検出できる。
[0094] また、たとえスリット光を含む画素力 R成分を持つ印刷部分 Iに含まれていたとして も、 R成分を持つ印刷部分 Iでは、輝度値 Yが低ぐ Rd'Y値が低いので、その R成分 を持つ印刷部分 Iと最大の Rd'Y値を有するスリット光を含む画素との差異が明確とな り、高精度にスリット光を含む画素を検出できる。
[0095] 上述したスリット光重心位置計算処理を経て、 ccdx方向の cXcminから cXcmaxま での各検出位置毎に、スリット光を含む画素の重心位置が計算されることになる。図 1 4は、図 12 (a)の A部分を示した拡大図である。図 14に示すように、本実施例では、 c cdx方向の cXcminから cXcmaxまでの各検出位置として、画像中心に 1箇所、画像 中心から左側に 4箇所、画像中心から右側に 4箇所の合計 9箇所が設定されており、 各検出位置からスリット光を含む画素の重心位置が計算されることになる。
[0096] 次に、図 9のフローチャートを参照して、上述した近似曲線算出処理（図 7の S717) について詳細に説明する。図 9は、スリット光軌跡抽出処理に含まれる近似曲線算出 処理のフローチャートである。
[0097] 近似曲線算出処理は（S717)、 ccdx方向の cXcminから cXcmaxまでの各検出位 置で求められたスリット光を含む画素の重心位置から、第 1スリット光の軌跡 71aに関 する近似曲線を算出し、その近似曲線に基づいて ccx方向の残りの範囲における各 検出位置でスリット光を含む画素の重心位置を求める処理である。
[0098] 近似曲線算出処理では、まず、算出する近似曲線の次数 N力 S「l」に設定される（S 901)。次数 Nを「1」に設定するのは、 S711から S715で検出される画素の重心位置 は、そのデータ数が少ないため（本実施例では 9点）、この時点で近似曲線の次数を 上げとしまうと算出される近似曲線が振動、発散してしまうので、それを防止するため である。
[0099] 近似曲線の次数 Nを設定すると（S901)、 S715でスリット光軌跡情報格納部 436 に記憶されている複数の画素に関する重心位置力も近似曲線 y=f (x)が算出される (S902)。近似曲線は、測定値 yが m— 1個の変数 x' l, χ" 2, · · ·χ" (m— 1)に依存す る場合、 y=a (0) +a (l) * x" l + a (2) * x' 2+ · · ' a (m— 1) * x" (m— 1)となる線形 の式を当てはめて算出される。
[0100] この近似曲線を算出するためのベースとなる画素の重心位置のデータは、図 7の S 709から S 716の処理によって ccdx方向の画像範囲である cXMinから cXMaxまで の範囲の内、第 1スリット光の軌跡 71aの中央部分を含む cXcminから cXcmaxまで の範囲内から検出された画素力 計算されているので、例えば、画像の端部から検 出された画素力も計算された重心位置力も近似曲線を算出する場合に比べて、原稿 P上の第 1スリット光の軌跡 71aに沿った近似曲線を算出することができる。
[0101] 即ち、操作者は対象物体である原稿 Pを撮像する場合には、原稿 Pが撮像画像の 中央部に位置するように撮像するのが一般的であるため、画像の両端部には、原稿 P以外の背景や不要物等が写り込んでいる可能性が高い。よって、画像の両端部か ら抽出された画素に基づき近似曲線を算出した場合には、原稿 P上の第 1スリット光 の軌跡 71aに沿った近似曲線が算出される可能性は低いのに対し、本実施例のよう に、スリット光有画像内における第 1スリット光の軌跡 71aの中央部分を含む領域から 検出された画素に基づき近似曲線を算出する場合には、原稿 P上の第 1スリット光の 軌跡 71aに沿った近似曲線を算出することができる可能性を高くすることができる。
[0102] 近似曲線 y=f (X)を算出すると、次に、その近似曲線 y=f (X)力も閾値 cTh以上離 れている重心位置の画素が抽出される（S903)。本実施例では、図 14に示すように 、近似曲線力 所定の閾値 cTh以上離れた左から 3番目の画素が抽出される。尚、 本実施例では、所定の閾値 cThとして近似曲線から ± 2mm程度 (dot換算で l lpix el程度： Z = 0の XY平面位置でスリット光の巾が lmm程度の広がりを持ち、その 2倍 程度）が設定されている。
[0103] 次に、その抽出された画素を除いた残りの画素の重心位置から、 S902で算出した 近似曲線 y = f (x)が更新される（S904)。これにより、第 1スリット光の軌跡 71aに関 する近似曲線として一層高精度な近似曲線を算出することができる。
[0104] 近似曲線を更新すると（S 904)、次に、スリット光を含む画素が連続して見つ力もな かった回数を表す変数 UndetectNo (左側用： lUndetectNo,右側用 rUndetect
No)が「0」に設定される（S905)。
[0105] UndetectNoを左側用と右側用とに分けて設定するのは、本実施例では、 ccdx方 向における cXcminと cXcmaxとを挟む左側と右側とを交互に検出位置として設定す るためである。
[0106] この UndetectNoは各検出位置毎にスリット光を含む画素が見つからなかった場 合に S919や S913において「1」カロ算されてゆき、 S908や S920において Undetect Noの値が所定の閾値 udLimitを越えていると判断されると、スリット光の軌跡が急激 に変化したと判断し、それ以降の検出を中止する。
[0107] これは、例えば、図 16に示すように、撮像対象としての原稿 Pがファイルされている ような場合に、一般的には、操作者は原稿 Pが画像の中央部に位置するように撮像 するものの、画像の両側には不要なものが一緒に撮像されてしまう場合がある。
[0108] このような場合、第 1スリット光の軌跡 71aは原稿 P上では画像中心力 左右略対照 に湾曲するような軌跡を執るものの、画像の両端部では、図 16の C部分に示すよう〖こ 、ファイル状況に応じて不規則に変化する軌跡を執る。一方、操作者においても、少 なくとも原稿 Pの部分が正立画像に変換されれば良ぐ画像両端部までを正立画像 に変換することを要求する場合は少な 、。
[0109] そこで、スリット光を含む画素が連続して見つ力もな力つた回数を計数し、その計数 した結果が所定閾値 udLimitを越える場合には、それ以降の検出を中止するで、ス リット光の軌跡が急激に変化する可能性の高い画像両端部における検出を省略して 、必要な部分 (原稿 P上の部分)だけを検出することで、スリット光軌跡抽出処理を高 速ィ匕させるためである。
[0110] 次に、 ccdx方向における cXcminより左側の検出位置を表す変数 clxと、 ccdx方向 における cXcmaxより右側の検出位置を表す変数 crxとが設定される（clx=cXcmin -dx, crx=cXcmax+dx) (S906)。即ち、左側の最初の設定位置としては、 ccdx 方向の cXcminより所定間隔 dxだけ左側の位置が設定され、右側の最初の設定位 置としては、 ccdx方向の cXcmaxより所定間隔 dxだけ右側の位置が設定される。
[0111] その後、本実施例では、左側の最初の検出位置から検出を開始し、左側の最初の 検出位置での検出が終了したら、次に右側の最初の検出位置での検出を開始する 。右側の最初の検出位置での検出が終了したら、次に左側の最初の検出位置から 所定間隔 dxだけ左側の位置に検出位置が設定される。この繰り返し処理は、左側の 検出位置 clxが cXmix、右側の検出位置 crxが cXmaxになるまで実行される（S907
) o
[0112] このように、 S906において ccdx方向の検出位置が設定され、 S907においてその 検出位置が画像範囲内であることが確認されると（S907 : Yes)、先ず、設定された 左側の検出位置 clxが画像範囲の最小値 cXmin以上か否力、或いは、 lUndetect Noが閾値 udLimitより小さいか否かが判定される（S908)。
[0113] 設定された左側の検出位置 clxが画像範囲の最小値 cXminより小さければ、左側 の検出は終了したと判断され、（S908 :Yes)、処理は右側の検出を実行すべく S92 0に移行する。また、 lUndetectNoが閾値 udLimitより大きければ、上述した通りそ の検出位置における検出は中止され、処理は S920に移行する。
[0114] 一方、検出位置 clxが画像範囲の最小値 cXmin以上であり、或いは、 lUndetect Noが閾値 udLimitより小さいと判断されると（S908 : Yes)、検出位置 clxにおける S 904で更新した近似曲線 y=f (x)上の値が計算され (S909)、その値力も検出位置 clxにおける ccdy方向の検出範囲が設定される（S910) (yMin=y— ySRange, yM ax=y+ySRange)。尚、本実施例では、図 15に示すように ySRangeとして、 Z = 0 の XY平面において、スリット光の巾の 2倍とスリット光の許容傾きにより、 12pixel程度 が設定されている。
[0115] 検出位置 clxにおける ccdy方向の検出範囲が設定されると、その範囲内で上述し たのと同様にスリット光を含む画素を検出すべく S911から S914の処理が実行される
[0116] 即ち、本来、 ccdy方向の検出範囲としては、図 12 (a)に示すように yMinlから yM axlまでの範囲を検出する必要がある所、その ccdy方向の検出範囲を近似曲線から 士 ySRangeの範囲に制限することで、検出処理を高速ィ匕することができる。また、近 似曲線の周辺にはスリット光を含む画素が存在する可能性が極めて高いため、 yMi nlから yMaxlまでの範囲を検出する場合に比べて誤検出する可能性を低減するこ とがでさる。
[0117] S914において計算された重心位置をスリット光軌跡情報格納部 436に格納すると
(S914)、今回探索された画素の重心位置と、過去に探索された画素の重心位置と を使って S904で更新された近似曲線 y=f (X)が再度更新される（S915)。これによ り、第 1スリット光の軌跡 71aに関する近似曲線を一層高精度にすることができる。近 似曲線を更新すると、 lUndetectNoを「0」に設定して（S916)、検出位置 clxにおけ る検出を終了する。
[0118] 一方、 S910で設定された yMINから yMAXの範囲をすベて検索した結果、スリット 光有画像内から検出された画素がスリット光無画像内から検出された場合、即ち、ス リット光を含む画素が検出されなかった場合には（S 918： Yes)、 lUndetectNoに「 1 」が加算され (S919)、検出位置 clxにおける検出を終了する。
[0119] このように検出位置 clxにおける検出を終了すると、次は、右側の検出位置 crxにお ける検出が開始される。尚、検出位置 crxにおいて行われる S920から S931の処理 は、左側の検出位置 clxにおいて行われる S907から S911と同様であるため、その 説明は省略する。
[0120] 上述したように、 ccdx方向の cXcmin— dxから cXmixまでの範囲（左側）、 ccdx方 向の cXcmax + dxから cXmaxまでの範囲（右側）における各検出位置での検出が 終了すると当該処理を終了する。
[0121] 次に、図 10のフローチャートを参照して、図 9のフローチャートにおける S902, S9
03, S915, S927において、探索された画素の重心位置を使って近似曲線 y=f (x) を求める処理にっ 、て説明する。 [0122] 近似曲線 y=f (x)を求める場合には、まず、最小 2乗法を用いて N次の近似曲線 y =f (x)が求められる（S1001)。 S904では 1次の近似曲線 y=f (x)力も求められるこ とになる。次に、検出された画素の重心位置と近似曲線との誤差の標準偏差 σ aが 求められる（S1002)。そして、求められた標準偏差 σ aが所定の閾値 aThより大きい か否かが判定される（S1003)。尚、本実施例では、所定の閾値 aThを 3. 54pixel程 度（Z = 0の XY平面上の換算で、スリット光の巾の広がりが lmm程度であり、その広 力 Sりの標準偏差 σの 2倍である 2 σの値を pixel換算した値）として用いている。その 結果、標準偏差 σ aが閾値 aThより小さければ (S1003 :No)、近似曲線の次数 Nを 上げることなぐ設定されている次数 Nの近似曲線とする。
[0123] 一方、標準偏差 σ aが閾値 aTh以上であれば（S 1003 : Yes)、設定されている次 数 Nが所定の閾値 nTh以上か否かが判定される（S1004)。所定の閾値 nThは、見 開き原稿の片側部分の表面形状で (3次或いはそれ以上)を想定し、本実施例では、 5次としている。その結果、次数 Nが所定の閾値 nTh以上であれば（S 1004 : Yes)、 近似曲線の次数 Nを上げることなく設定されて ヽる次数 Nの近似曲線とし、次数 Nが 所定の閾値 nThより小さければ（S1004： No)、設定されて!、る次数 Nに「1」が加算 される（S1005)。そして、その「1」加算された次数 Nで S1001から S1004までの処 理を繰り返す。
[0124] このように近似曲線を更新する場合に、近似曲線の次数 Nを段階的に高次に設定 することで、たとえ原稿 Pに凹凸がある場合であっても第 1スリット光の軌跡 71aに関 する近似曲線を高精度に算出することができる。
[0125] 次に、図 17及び図 18を参照して、上述した三角測量演算処理（図 5の S160)を具 体的に説明する。三角測量演算処理 (S160)では、検出対象画素値一時格納部 43 3に読込まれた画素データに基づいて、第 1スリット光の軌跡 71a及び第 2スリット光の 軌跡 72aの縦方向のピークが重心計算によって画像データの横方向座標毎に求め られ、このピーク抽出座標に対する 3次元空間位置が次のようにして求められる。
[0126] 図 17は、スリット光有画像を説明するための図である。図 18は、スリット光の 3次元 空間位置を算出する方法を説明するための図である。図 18に示すように撮像される 横方向に湾曲した原稿 Pに対する撮像装置 1の座標系を、結像レンズ 31の光軸方向 を Z軸として、撮像装置 1から基準距離 VP離れた位置を X, Y, Z軸の原点位置として 、撮像装置 1に対して水平方向を X軸、垂直方向を Y軸とする。
[0127] CCD画像センサ 32の X軸方向の画素数を ResX、 Y軸方向の画素数を ResYと呼 び、 X— Y平面に、結像レンズ 31を通して CCD画像センサ 32を投影した位置の上端 を Yftop、下端を Yfbottom、左端を Xfstart、右端を Xfendと呼ぶ。また、結像レン ズ 31の光軸から、スリット光投光ユニット 20から出射される第 1スリット光 71の光軸ま での距離を D、第 1スリット光 71が X-Y平面に交差する Y軸方向の位置を lasl、第 2 スリット光 72が X— Y平面に交差する Y軸方向の位置を las2とする。
[0128] このとき、第 1スリット光の軌跡 71aの画像の画素の 1つに注目した注目点 1の CCD 画像センサ 32上の座標（ccdxl, ccdyl)に対応する 3次元空間位置 (XI, Yl, Z1 )を、 CCD画像センサ 32の結像面上の点と、第 1スリット光 71及び第 2スリット光 72の 出射点と、 X— Y平面に交差する点とで形成される三角形について立てた次の 5つの 連立方程式の解から導き出す。
(1) Yl =-( (lasl + D) /VP) Zl +lasl
(2) Y1 = - ( Ytarget/ VP) Z 1 + Ytarget
(3) XI =- (Xtarget/VP) Zl + Xtarget
(4) Xtarget = Xf start + (ccdxl/ResX) X (Xfend— Xfstart)
(5)
Figure imgf000028_0001
X (Yftop— Yfbottom)
尚、本実施例では、第 1スリット光 71が Z軸に対して平行のため lasl =— Dであり、 Y 1 = Dである。
[0129] 同様に、 CCD画像センサ 32上の第 2スリット光の軌跡 72aの画像の画素の一つに 注目した注目点 2の座標（ccdx2, ccdy2)に対応する 3次元空間位置 (X2, Y2, Z2 )を、次に 5つの連立方程式の解力も導き出す。
(1) Y2=-( (las2 + D) /VP) Z2 + las2
(2) Y2=- (Ytarget/VP) Z2+ Ytarget
(3) X2=- (Xtarget/VP) Z2+ Xtarget
(4) Xtarget = Xfstart + (ccdx2/ResX) X (Xfend— Xfstart)
(5) Ytarget = Yftop- (ccdy2/ResY) X (Yftop— Yfbottom) こうして算出されたスリット光の 3次元空間位置を、三角測量演算結果格納部 434 へ書き込み、当該処理を終了する。
[0130] 次に、図 19を参照して、上述した原稿姿勢演算処理（図 5の S170)を具体的に説 明する。図 19は、原稿姿勢演算の際の座標系を説明するための図である。
[0131] この原稿姿勢演算処理 (S 170)では、例えば、三角測量演算結果格納部 434のデ ータから、第 1スリット光の軌跡 71aに対応する 3次元空間位置の各点を回帰曲線近 似した線を求め、この曲線の X軸方向の位置が「0」における点と、第 2スリット光の軌 跡 72aの X軸方向の位置が「0」における 3次元位置とを結ぶ直線を想定し、この直線 が Z軸と交わる点、つまり、光軸が原稿 Pと交差する点を、原稿 Pの 3次元空間位置 (0 , 0, L)とする（図 19 (a)参照)。そして、この直線が X-Y平面となす角を原稿 Pの X 軸まわりの傾き Θとする。
[0132] また、図 19 (b)に示すように、第 1スリット光の軌跡 71aを回帰曲線近似した線を、 先に求めた X軸まわりの傾き Θ分だけ逆方向に回転変換し、つまり、原稿 Pを X— Y平 面に対して平行にした状態を考える。そして、図 19 (c)に示すように、原稿 Pの X軸方 向の断面形状を、 X— Z平面における原稿 Pの断面について、 Z軸方向の変位を複数 の X軸方向の点で求めてその変位度から、 X軸方向の位置を変数とした X軸方向の 傾きの関数である湾曲 Φ (X)を求め、当該処理を終了する。
[0133] 次に、図 20を参照して、上述した平面変換処理（図 5の S180)を具体的に説明す る。図 20は平面変換処理を示すフローチャートである。
[0134] 平面変換処理では、まず、 RAM43のワーキングエリア 436に当該処理の処理領 域を割り当て、当該処理に用いるカウンタ bの変数が初期値 (b = 0)に設定される（S 1300)。
[0135] 次に、原稿姿勢演算プログラム 425での演算結果による原稿 Pの位置 Lと、傾き Θ と、湾曲 φ (X)とに基づき、スリット光無画像格納部 432に格納されたスリット光無画 像の 4隅の点を、それぞれ、湾曲 φ (X)で Y軸まわりに回転移動し、 X軸まわりに傾き Θだけ回転し、 Z軸方向に位置 Lだけ移動した点で取成される矩形領域 (つまり、原 稿 Pの文字等が書かれた面が略直交方向から観察されたような画像となる矩形領域） を設定すると共に、この矩形領域内に含まれる画素数 aを求める（S1301)。 [0136] 次に、設定された矩形領域を構成する各画素に対応するスリット光無画像上の座 標を求めて、この座標周辺の画素情報から、平面画像の各画素の画素情報を設定 する。つまり、まず、カウンタ bが画素数 aに到達した力否かが判断される（S 1302)。 その結果、カウンタ bが画素数 aに到達していなければ (S 1302 : No)、矩形領域を構 成する 1つの画素を、 Y軸を中心に湾曲 φ (X)回転移動させ（S 1304)、 X軸を中心 に傾き Θ回転移動させ（S 1305)、 Z軸方向に距離 Lだけシフトさせ（S 1306)、求め られた 3次元空間位置は、先の 3角測量の関係式により理想カメラで写された CCD 画像上の座標（ccdcx, ccdcy)に変換し（S1307)、使用している結像レンズ 31の収 差特性に従って、公知のキャリブレーション手法により、実際のカメラで写された CC D画像上の座標（ccdx, ccdy)に変換し（S1308)、この位置にあるスリット光無画像 の画素の状態を求めて、 RAM43のワーキングエリア 436〖こ格納する（S1309)。そ して、次の画素について上述した S 1303から S 1309までの処理を実行すベぐカウ ンタ bに「 1」をカ卩算する（S 1309)。
[0137] こうして、 S1308から S1309までの処理をカウンタ bが画素数 aになるまで繰り返す と（S1302 :Yes)、 S1301において、当該処理を実行するためにワーキングエリア 4 36に割り当てた処理領域を開放して（S 1310)、当該処理を終了する。
[0138] 以上説明したように、「撮像補正モード」における撮像装置 1は、第 1スリット光 71及 び第 2スリット光 72の 2列のスリット光を原稿 Pに投光し、その原稿 Pを結像レンズ 31 によって CCD画像センサ 32に結像させて撮像し、続けて、スリット光が投光されてい な 、原稿 Pの画像を撮像する。
[0139] 次に、この 2つの撮像画像の内、スリット光が原稿 Pに投光された状態を撮像したス リット光有画像から、スリット光の軌跡を抽出する場合には、スリット光の軌跡を構成す る画素の一部の画素を検出し、その検出した画素からスリット光の軌跡に関する近似 曲線を算出する。
[0140] スリット光の軌跡を構成する画素の残り画素を検出するための ccdy方向の検出範 囲は、この近似曲線に基づいて制限されるので、全体として、スリット光を構成する画 素を検出するための処理を高速ィ匕できると共に、スリット光を含む画素が含まれる可 能性が極めて高い範囲だけを検出するので、スリット光を構成する画素以外の画素 を誤検出する可能性を低減でき、高精度にスリット光の軌跡を抽出することができる。
[0141] 撮像装置 1は、このようにしてスリット光の軌跡を抽出して、三角測量原理によりスリ ット光の軌跡各部の 3次元空間位置を演算し、これら力 原稿 Pの位置、傾き、及び 湾曲状態（3次元形状データ）を求め、これらの 3次元形状データとスリット光無画像 の画像データとをメモリカード 55に書込む。
[0142] よって、撮像装置 1によれば、使用者は、モード切替スィッチ 59を「補正撮像モード 」側に切り換え、ファインダ 53、又は、 LCD51で原稿 Pの所望の範囲が撮像範囲に 入っているカゝ確認し、レリーズボタン 52を押して画像を撮影することによって、湾曲な どの形状変形した原稿 Pを斜めから撮像した場合でも、平らな原稿 Pを正面力ゝら撮像 したかのような画像データをメモリカード 55に記憶させることができる。
[0143] 尚、メモリカード 55に記憶された画像データは、 LCD51で表示して撮像内容を確 認したり、メモリカード 55を撮像装置 1から取り外して、外部のパーソナルコンピュータ などにより表示したり、印刷したりして用いることができる。
[0144] 以上実施例に基づき本発明を説明したが、本発明は上記実施例に何ら限定される ものでなぐ本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であること は容易に推察できるものである。
[0145] 例えば、上記実施例では、赤成分を主成分とするスリット光を抽出する場合につい て説明したが、主成分となる成分は赤成分に限定されるものではなぐ緑成分、青成 分を主成分とするスリット光であっても良い。例えば、赤成分を主成分とするスリット光 に代えて緑成分を主成分とするスリット光を抽出する場合には、赤差分値 Rd ( =R— ( G + B/2) )に代えて、緑差分値 Gd ( = G-(R+B/2) )を算出し、 Rd · Y値に代え て Gd'Y値を採用することもできる。
[0146] 上記実施例では、赤差分値 Rdは、赤値 Rから緑値 Gと青値 Bとの平均値を減算す ることにより算出していたが、赤差分値 Rdを算出する方法としては、赤値 Rから緑値 Gと青値 Bとの重み付け平均を減算して算出するようにしても良い。例えば、 Rd=R— (2'G + 1 'B) Z3等の式により算出するようにしても良い。
[0147] 撮像装置 1で撮像する対象物体は、シート状の原稿 Pの他にも、固体ブロックの滑 らかな表面であったり、場合によっては稜線をもつ物体の表面であっても良ぐおよそ 2列のスリット光の軌跡から、その 3次元空間における 3次元形状を希求したい用途に はすべて同様に、対象物体の 3次元形状を検出する効果を発揮することができる。
[0148] 但し、本実施例のように、対象物体がシート状の原稿 Pであれば、第 1スリット光の軌 跡 71aを原稿 Pの断面形状であるとして、原稿 Pの全体の形状を推定し、原稿 Pの湾 曲などの形状変形に対する画像補正をすることができる。また、対象物体がスリット光 の長手方向に対する直交方向に略均一な 3次元形状であれば、スリット光を投光す る位置に含まれる対象物体の突起部など特異な形状により生じる検出姿勢のずれな どを考慮しなくて良ぐスリット光が投光される箇所に気をつかわないでも良いように できる。
[0149] 本実施例の撮像装置 1では、スリット光投光ユニット 20が、第 1スリット光 71と、第 2 スリット光 72の 2列のスリット光を出射するように構成されている力 出射するスリット光 は、 2列に限らず、 3列以上を出射するように構成されるものであっても良い。例えば 、図 17 (b)に示す原稿 Pのスリット光の軌跡画像のように、第 1スリット光 71及び第 2ス リット光 72に加えて、第 2スリット光 72と同様の第 3スリット光が、原稿 Pにて第 2スリット 光 72の上方に投光されるようにスリット光投光ユニット 20が構成されて 、ても良 、。こ のような構成によれば、第 1一第 3スリット光のスリット光の軌跡の各点の位置から、原 稿 Pの縦方向の湾曲形状に対しても推定することができ、これによりスリット無画像を 補正して、更に見やすい画像とすることができる。
[0150] 本実施例では光源に、赤色レーザー光線を放射するレーザーダイオード 21を用い ているが、その他、面発光レーザー、 LED、 EL素子など、光ビームを出力できるもの であれば、いずれを用いるものであっても良い。
[0151] 透明平板 24に代えて、入射するレーザー光線のパワーの所定の割合を所定方向 に回折する回折格子を 1面に形成した透明平板が用いられても良い。このような回折 格子を有する透明平板によれば、回折格子で回折された 1次光のレーザー光線を第 2スリット光 72とし、そのまま透過する 0次光のレーザー光線を第 1スリット光 71とする ことができる。
[0152] スリット光投光ユニット 20から出射されるスリット光は、長手方向に直交する方向に、 急峻に絞り込まれた細線の他に、一定の幅を備えたストライプ状の光パターンでも良 い。つまり、パターン光には本実施例で例示したスリット光の他にも、縞パターン、ブ ロック形状パターン、ドットパターン等様々な幾何学模様を採用することができ、これ らの境界線の軌跡や重心位置の軌跡の連続性を近似関数で抽出することにより、以 上に詳述した効果が同様に得られるものである。
[0153] 第 1スリット光 71と、第 2スリット光 72の位置関係は逆転しても良ぐ第 1の方向つまり 撮像装置 1から見て下側に第 2スリット光 72を、そして、第 2の方向に第 1スリットを形 成すベぐ各光学素子を配設しても良い。
[0154] 撮像装置 1は、スリット光有画像及びスリット光無画像を、結像レンズ 31及び CCD 画像センサ 32を用いて撮像するよう構成されている。このような構成に対して、撮像 装置に、結像レンズ 31及び CCD画像センサ 32の他に、スリット光有画像を撮像する ための結像レンズ及び CCD画像センサが別途追カ卩して設けられて 、ても良 、。この ように構成することにより、スリット光有画像とスリット光無画像とを撮像する間の時間 経過（CCD画像センサ 32の画像データを転送する時間など）を無くすることができ、 スリット光有画像に対してスリット光無画像の撮像範囲のずれが無ぐ検出する対象 物体の 3次元形状の精度が高いものとすることができる。但し、本実施例の撮像装置 1の方が、構成部品が少なぐ小型で安価なものとすることができる。
[0155] 本発明の一つの実施形態において、第 1領域設定手段は、パターン光の軌跡の一 部を含む第 1領域として、ノターン光投光画像内におけるパターン光の軌跡の中央 部分を含む領域を設定するよう構成されて!ヽても良 ヽ。
[0156] このような構成の 3次元形状検出装置によれば、第 1領域設定手段は、第 1領域と してパターン光投光画像内におけるパターン光の軌跡の中央部分を含む領域を設 定する。操作者は対象物体が撮像画像の中央部に位置するように撮像するのがー 般的である。一方、画像の両端部には、対象物体以外の背景や不要な物等が写り込 んでいる可能性が高い。よって、画像の両端部を第 1領域として設定し、その第 1領 域内から抽出された画素に基づき近似曲線を算出した場合には、対象物体上のバタ ーン光の軌跡に沿った近似曲線が算出される可能性は低い。一方、本装置のように 、ノターン光投光画像内におけるパターン光の軌跡の中央部分を含む領域を第 1領 域として設定することで、対象物体上のパターン光の軌跡に沿った近似曲線を算出 することができると!/ヽぅ効果が得られる。
[0157] 本発明の一つの実施形態において、 3次元形状検出装置は、パターン光投光画像 の X軸方向においてパターン光の軌跡の残り部分を構成する画素を検出するための 複数の検出位置を、第 1領域の範囲外からパターン光投光画像の端部に向力つて 設定する検出位置設定手段と、検出位置設定手段で設定される検出位置毎にバタ ーン光の軌跡の残り部分を構成する画素を検出する第 2検出手段と、第 2検出手段 で検出される画素毎に、その画素と、第 1検出手段で検出される複数の画素とに基 づいて近似曲線算出手段で算出される近似曲線を更新する第 1更新手段とを備えて いても良い。この場合、第 2領域設定手段は、検出位置設定手段で設定される検出 位置毎にパターン光投光画像の Y軸方向の領域を制限するものであり、その Y軸方 向の領域は、検出位置設定手段によって最初に設定される検出位置では、近似曲 線算出手段で算出される近似曲線に基づき制限され、次から設定される検出位置で は、第 1更新手段で更新される近似曲線に基づき制限されるよう構成されていても良 い。
[0158] このような構成の 3次元形状検出装置によれば、近似曲線算出手段で算出される 近似曲線は、第 2検出手段で検出される画素毎に、その画素と、第 1検出手段で検 出される複数の画素とに基づいて第 1更新手段によって更新される。したがって、パ ターン光の軌跡に関する近似曲線を高精度に算出することができる。また、近似曲線 が更新された後は、第 2領域設定手段は、その更新された近似曲線に基づき、バタ 一ン光を構成する画素を検出するための Y軸方向の領域を制限するので、パターン 光を含む画素を検出するための検出処理を高速に行うことができるという効果が得ら れる。
[0159] 本発明の一つの実施形態において、検出位置設定手段は、検出位置として、第 1 領域を挟む両側を交互に設定するよう構成されて 、ても良 ヽ。
[0160] このような構成の 3次元形状検出装置によれば、検出位置設定手段は、検出位置と して第 1領域を挟む両側を交互に設定するので、特に、第 1領域を挟む両側におい て略対照に延びるパターン光の軌跡に関する近似曲線を高精度に算出することがで きるという効果が得られる。 [0161] 例えば、第 1領域を挟む両側において略対照に延びるパターン光の軌跡を抽出し ようとする場合に、第 1領域を挟む一方の領域内の全てを検出した後に、他方の領域 内を検出するようとすると、一方の領域における検出軌跡の影響を受け、他方の領域 の最初の検出位置におけるパターン光を含む画素が、第 1領域を挟む一方の領域 力も検出された画素に基づいて算出される近似曲線力 所定の閾値以上離れ正確 にパターン光を含む画素を検出できな 、ケースが発生すると!/、う弊害を防止すること ができる。
[0162] 本発明の一つの実施形態において、 3次元形状検出装置は、検出位置毎に第 2検 出手段によって画素が検出されな力つた回数を計数する計数手段と、計数手段によ つて計数された回数が連続する検出位置において所定回数を超えるか否かを判断 する判断手段と、判断手段によって、計数手段により計数された回数が連続する検 出位置において所定回数を超えると判断された場合には、以後の検出位置における 第 2検出手段による検出を中止する中止手段とを備えていても良い。
[0163] このような構成の 3次元形状検出装置によれば、計数手段によって計数された回数 が連続する検出位置において所定回数を越えると判断された場合には、以後の検 出位置における第 2検出手段による検出は中止手段によって中止される。したがって 、不要な検出を省略して、パターン光の軌跡を抽出するための処理を高速ィ匕させるこ とができると!、う効果が得られる。
[0164] 本発明の一つの実施形態において、 3次元形状検出装置は、第 1検出手段で検出 される複数の画素の内から、近似曲線算出手段で算出される近似曲線に対してバタ 一ン光投光画像の Y軸方向に所定間隔以上離れた画素を抽出する抽出手段をさら に備えていても良い。この場合、パターン光の軌跡は、その抽出手段で抽出される画 素を第 1検出手段で検出される複数の画素から取り除いた残りの画素と、第 2領域設 定手段で設定された第 2領域内から検出される画素とに基づき抽出されるようになつ ていても良い。
[0165] このような構成の 3次元形状検出装置によれば、ノ《ターン光の軌跡は、第 1検出手 段で検出される複数の画素力 抽出手段で抽出される画素を取り除いた残りの画素 と、第 2領域設定手段で設定された第 2領域内から検出される画素とに基づき抽出さ れる。したがって、第 1検出手段で検出される複数の画素の全部をパターン光の軌跡 を構成する画素とする場合に比べて、高精度にパターン光の軌跡を抽出することが できるという効果が得られる。
[0166] 本発明の一つの実施形態において、 3次元形状検出装置は、抽出手段で抽出さ れる画素を第 1検出手段で検出される複数の画素力 取り除いた残りの画素に基づ き、近似曲線算出手段で算出される近似曲線を更新する第 2更新手段をさらに備え ていても良い。この場合、第 2領域設定手段は、検出位置設定手段によって最初に 設定される検出位置における Y軸方向の領域を第 2更新手段で更新される近似曲線 に基づき制限するよう構成されていても良い。
[0167] このような構成の 3次元形状検出装置によれば、近似曲線算出手段で算出される 近似曲線は、第 1検出手段で検出される複数の画素力 抽出手段で抽出される画素 を取り除いた残りの画素に基づき更新される。したがって、第 1検出手段で検出され る複数の画素に基づき算出される近似曲線に比べて、近似曲線の精度を向上させる ことができる。また、検出位置設定手段によって最初に設定される検出位置における Y軸方向の領域は、更新される近似曲線に基づき制限されるので、 Y軸方向の領域 をより適正な範囲に制限することができるという効果が得られる。
[0168] 本発明の一つの実施形態において、第 1更新手段又は第 2更新手段は、段階的に 高次の近似曲線を算出するよう構成されて 、ても良 、。
[0169] このような構成の 3次元形状検出装置によれば、第 1更新手段又は第 2更新手段は 、段階的に高次の近似曲線を算出するので、凹凸を有する対象物体に投光された パターン光であっても、そのパターン光の軌跡を高精度に抽出することができると 、う 効果が得られる。
[0170] 本発明の一つの実施形態において、撮像装置は、上述のように構成された 3次元 形状検出装置と、 3次元形状検出装置の 3次元形状算出手段により算出される対象 物体の 3次元形状に基づ 、て、その 3次元形状検出装置の撮像手段によって撮像さ れるパターン光が投光されていない状態における対象物体のパターン光非投光画 像を対象物体の所定面の略鉛直方向から観察される平面画像に補正する平面画像 補正手段とを備える。 [0171] このような撮像装置によれば、上述の 3次元検出装置によって高精度に抽出される ノターン光の軌跡に基づ ヽて、ノターン光非投光画像を正確な平面画像に補正す ることができると!/、う効果が得られる。
[0172] 上記実施形態において、図 7のフローチャートの S709, S710の処理は、第 1領域 設定手段或いは第 1領域設定ステップとして位置付けられる。図 7のフローチャートの S711から S715までの処理は、第 1検出手段或いは第 1検出ステップと位置付けら れる。図 9のフローチャートの S902の処理は、近似曲線算出手段或いは近似曲線 算出ステップと位置付けられる。図 9のフローチャートの S909, S910の処理は、第 2 領域設定手段或いは第 2領域設定ステップと位置付けられる。
[0173] 図 9のフローチャートの S906の処理は、検出位置設定手段と位置付けられる。図 9 のフローチャートの S911力ら S914, S923力ら S926の処理は、第 2検出手段と位 置付けられる。図 9のフローチャートの S915や S927の処理は、第 1更新手段と位置 付けられる。
[0174] 図 9のフローチャートの S919, S931の処理は、計数手段と位置付けられる。図 9の フローチャートの S908, S920の処理は、判断手段や中止手段と位置付けられる。
[0175] 図 9のフローチャートの S903の処理は、抽出手段と位置付けられる。図 9のフロー チャートの S904の処理は、第 2更新手段と位置付けられる。

Claims

請求の範囲
[1] パターン光を投光する投光手段と、
前記パターン光が投光される状態における対象物体のパターン光投光画像を撮像 する撮像手段と、
前記撮像手段によって撮像されたパターン光投光画像カゝら抽出される前記パター ン光の軌跡に基づき、対象物体の 3次元形状を算出する 3次元形状算出手段とを備 えた 3次元形状検出装置であって、
前記パターン光投光画像内から、その X軸方向に延びる前記パターン光の軌跡の 一部を含む第 1領域を設定する第 1領域設定手段と、
前記第 1領域設定手段で設定される第 1領域内から前記パターン光の軌跡の一部 を構成する複数の画素を検出する第 1検出手段と、
前記第 1検出手段で検出される複数の画素に基づき、前記パターン光の軌跡に関 する近似曲線を算出する近似曲線算出手段と、
前記近似曲線算出手段で算出される近似曲線に基づき、前記パターン光投光画 像内から前記パターン光の軌跡の残り部分を構成する画素を検出するための第 2領 域を設定する第 2領域設定手段とを備え、
前記パターン光の軌跡は、前記第 1検出手段で検出される複数の画素と、前記第 2 領域設定手段で設定される前記第 2領域内から検出される画素とに基づき抽出され ることを特徴とする 3次元形状検出装置。
[2] 前記第 1領域設定手段は、前記パターン光の軌跡の一部を含む第 1領域として、 前記パターン光投光画像内における前記パターン光の軌跡の中央部分を含む領域 を設定することを特徴とする請求項 1に記載の 3次元形状検出装置。
[3] 前記パターン光投光画像の X軸方向にお!、て前記パターン光の軌跡の残り部分を 構成する画素を検出するための複数の検出位置を、前記第 1領域の範囲外から前 記パターン光投光画像の端部に向かって設定する検出位置設定手段と、
前記検出位置設定手段で設定される検出位置毎に前記パターン光の軌跡の残り 部分を構成する画素を検出する第 2検出手段と、
前記第 2検出手段で検出される画素毎に、その画素と、前記第 1検出手段で検出さ れる複数の画素とに基づいて前記近似曲線算出手段で算出される近似曲線を更新 する第 1更新手段とを備え、
前記第 2領域設定手段は、前記検出位置設定手段で設定される検出位置毎に前 記パターン光投光画像の Y軸方向の領域を制限するものであり、その Y軸方向の領 域は、前記検出位置設定手段によって最初に設定される検出位置では、前記近似 曲線算出手段で算出される近似曲線に基づき制限され、次力 設定される検出位置 では、前記第 1更新手段で更新される近似曲線に基づき制限されることを特徴とする 請求項 1に記載の 3次元形状検出装置。
[4] 前記検出位置設定手段は、前記検出位置として、前記第 1領域を挟む両側を交互 に設定することを特徴とする請求項 3に記載の 3次元形状検出装置。
[5] 前記検出位置毎に前記第 2検出手段によって画素が検出されな力つた回数を計数 する計数手段と、
前記計数手段によって計数された回数が連続する検出位置において所定回数を 超えるか否かを判断する判断手段と、
前記判断手段によって前記計数手段によって計数された回数が連続する検出位 置において所定回数を超えると判断された場合には、以後の検出位置における前記 第 2検出手段による検出を中止する中止手段とを備えていることを特徴とする請求項 3に記載の 3次元形状検出装置。
[6] 前記第 1検出手段で検出される複数の画素の内から、前記近似曲線算出手段で 算出される近似曲線に対して前記パターン光投光画像の Y軸方向に所定間隔以上 離れた画素を抽出する抽出手段を備え、
前記パターン光の軌跡は、その抽出手段で抽出される画素を前記第 1検出手段で 検出される複数の画素から取り除いた残りの画素と、前記第 2領域設定手段で設定さ れた第 2領域内から検出される画素とに基づき抽出されることを特徴とする請求項 5 に記載の 3次元形状検出装置。
[7] 前記抽出手段で抽出される画素を前記第 1検出手段で検出される複数の画素から 取り除いた残りの画素に基づき、前記近似曲線算出手段で算出される近似曲線を更 新する第 2更新手段を備え、 前記第 2領域設定手段は、前記検出位置設定手段によって最初に設定される検出 位置における Y軸方向の領域を前記第 2更新手段で更新される近似曲線に基づき 制限することを特徴とする請求項 6に記載の 3次元形状検出装置。
[8] 前記第 1更新手段又は前記第 2更新手段は、段階的に高次の近似曲線を算出す ることを特徴とする請求項 7に記載の 3次元形状検出装置。
[9] 請求項 1から 8のいずれかに記載の 3次元形状検出装置と、
前記 3次元形状検出装置の 3次元形状算出手段により算出される対象物体の 3次 元形状に基づいて、その 3次元形状検出装置の撮像手段によって撮像されるパター ン光が投光されていない状態における対象物体のパターン光非投光画像を対象物 体の所定面の略鉛直方向から観察される平面画像に補正する平面画像補正手段と を備えて ヽることを特徴とする撮像装置。
[10] ノターン光が投光されている状態における対象物体を撮像したパターン光投光画 像力も抽出されるパターン光の軌跡に基づき、対象物体の 3次元形状を算出する 3 次元形状算出ステップを備えた 3次元形状検出プログラムであって、
前記パターン光投光画像内から前記パターン光の軌跡の一部を含む第 1領域を設 定する第 1領域設定ステップと、
その第 1領域設定手段で設定される第 1領域内から前記パターン光の軌跡の一部 を構成する画素を検出する第 1検出ステップと、
その第 1検出手段で検出される画素に基づき、前記パターン光の軌跡に関する近 似曲線を算出する近似曲線算出ステップと、
その近似曲線算出手段で算出される近似曲線に基づき、前記パターン光投光画 像内から前記パターン光の軌跡の残り部分を構成する画素を検出するための第 2領 域を設定する第 2領域設定ステップとを備え、
前記パターン光の軌跡は、前記第 1検出ステップで検出される複数の画素と、前記 第 2領域設定ステップで設定された前記第 2領域内から検出される画素とに基づき抽 出されることを特徴とする 3次元形状検出プログラム。
PCT/JP2004/016632 2003-11-11 2004-11-10 ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム WO2005045363A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/431,033 US7365301B2 (en) 2003-11-11 2006-05-10 Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003381104A JP2005148813A (ja) 2003-11-11 2003-11-11 ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
JP2003-381104 2003-11-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/431,033 Continuation-In-Part US7365301B2 (en) 2003-11-11 2006-05-10 Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program

Publications (1)

Publication Number Publication Date
WO2005045363A1 true WO2005045363A1 (ja) 2005-05-19

Family

ID=34567268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/016632 WO2005045363A1 (ja) 2003-11-11 2004-11-10 ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム

Country Status (3)

Country Link
US (1) US7365301B2 (ja)
JP (1) JP2005148813A (ja)
WO (1) WO2005045363A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005029408A1 (ja) * 2003-09-18 2005-03-31 Brother Kogyo Kabushiki Kaisha 画像処理装置、及び、撮像装置
US8494304B2 (en) * 2007-05-11 2013-07-23 Xerox Corporation Punched hole detection and removal
DE102008054985B4 (de) 2008-12-19 2012-02-02 Sirona Dental Systems Gmbh Verfahren und Vorrichtung zur optischen Vermessung von dreidimensionalen Objekten mittels einer dentalen 3D-Kamera unter Verwendung eines Triangulationsverfahrens
JP5864950B2 (ja) * 2011-08-15 2016-02-17 キヤノン株式会社 三次元計測装置、三次元計測方法およびプログラム
EP2908091A4 (en) * 2012-10-12 2016-09-14 Nireco Corp SHAPING METHOD AND SHAPING DEVICE
US9881235B1 (en) 2014-11-21 2018-01-30 Mahmoud Narimanzadeh System, apparatus, and method for determining physical dimensions in digital images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003504947A (ja) * 1999-07-09 2003-02-04 ヒューレット・パッカード・カンパニー 文書撮像システム
JP2003078725A (ja) * 2001-02-14 2003-03-14 Ricoh Co Ltd 画像入力装置
JP2003106826A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 形状測定装置、原稿画像補正装置及び投影画像補正装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668631A (en) * 1993-12-20 1997-09-16 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
US6407817B1 (en) * 1993-12-20 2002-06-18 Minolta Co., Ltd. Measuring system with improved method of reading image data of an object
JP3282331B2 (ja) 1993-12-20 2002-05-13 ミノルタ株式会社 ３次元形状測定装置
JP3493886B2 (ja) 1996-04-23 2004-02-03 ミノルタ株式会社 デジタルカメラ
US6449004B1 (en) * 1996-04-23 2002-09-10 Minolta Co., Ltd. Electronic camera with oblique view correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003504947A (ja) * 1999-07-09 2003-02-04 ヒューレット・パッカード・カンパニー 文書撮像システム
JP2003078725A (ja) * 2001-02-14 2003-03-14 Ricoh Co Ltd 画像入力装置
JP2003106826A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 形状測定装置、原稿画像補正装置及び投影画像補正装置

Also Published As

Publication number Publication date
US20060219869A1 (en) 2006-10-05
JP2005148813A (ja) 2005-06-09
US7365301B2 (en) 2008-04-29

Similar Documents

Publication Publication Date Title
US7627196B2 (en) Image processing device and image capturing device
CN103765870B (zh) 图像处理装置、包括图像处理装置的投影仪和投影仪系统、图像处理方法
EP2305358B1 (en) Portable type game device and method for controlling portable type game device
EP2495594A2 (en) Camera applications in a handheld device
CN110178156A (zh) 包括可调节焦距成像传感器的距离传感器
CN107493428A (zh) 拍摄控制方法和装置
JP2009043139A (ja) 位置検出装置
JP2009068968A (ja) 位置計測システム
US7440119B2 (en) Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting method
WO2019174484A1 (zh) 一种充电座识别方法及移动机器人
JP2005198743A (ja) 三次元視点計測装置
US7365301B2 (en) Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program
JP3893169B2 (ja) ３次元計測装置
EP3975034A1 (en) Control method of electronic equipment, electronic equipment and computer readable storage medium
JP2005148813A5 (ja)
WO2005031253A1 (ja) ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
JP4360145B2 (ja) ３次元形状検出装置、撮像装置、及び、３次元形状検出方法
JP6740614B2 (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
WO2018161322A1 (zh) 基于深度的图像处理方法、处理装置和电子装置
JP2005128006A (ja) ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
JP2005189021A (ja) 撮像装置
JP2005069771A (ja) ３次元形状検出装置、及び、撮像装置
WO2005080915A1 (ja) ３次元形状検出装置および撮像装置
CN109756660B (zh) 电子设备和移动平台
WO2005031252A1 (ja) ３次元形状検出装置、３次元形状検出システム、及び、３次元形状検出プログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11431033

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 11431033

Country of ref document: US

122 Ep: pct application non-entry in european phase