WO2018037586A1 - 画像処理システム及び画像処理方法 - Google Patents

画像処理システム及び画像処理方法 Download PDF

Info

Publication number
WO2018037586A1
WO2018037586A1 PCT/JP2017/003284 JP2017003284W WO2018037586A1 WO 2018037586 A1 WO2018037586 A1 WO 2018037586A1 JP 2017003284 W JP2017003284 W JP 2017003284W WO 2018037586 A1 WO2018037586 A1 WO 2018037586A1
Authority
WO
WIPO (PCT)
Prior art keywords
shadow
light source
image
visible
height
Prior art date
Application number
PCT/JP2017/003284
Other languages
English (en)
French (fr)
Inventor
田中　義人
島崎　浩昭
美馬　邦啓
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2018037586A1 publication Critical patent/WO2018037586A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present disclosure relates to an image processing system and an image processing method for generating data for duplicating an object having a convex portion.
  • Patent Document 1 discloses an image processing apparatus that generates stereoscopic image data by adding height direction information to a planar original image. This image processing apparatus makes it possible to realistically express shadows and textures by adding height information to each region separated based on focus information of original image data.
  • the image processing system includes an imaging device and an image processing device.
  • the imaging device captures an illumination part including an invisible light source that irradiates invisible light and an object illuminated by the invisible light source, and shows invisible shadow information indicating the shadow of a convex portion provided on the surface of the object
  • An imaging unit for generating The image processing device generates height information indicating the height of the surface of the object based on the invisible shadow information.
  • a non-visible light source that irradiates non-visible light is photographed in a state where the object is illuminated with non-visible light, and the shadow of the convex portion on the surface of the object is shown. Visible shadow information is generated, and height information indicating the height of the surface of the object is generated based on the invisible shadow information.
  • the image processing system and the image processing method according to the present disclosure are effective for duplicating an object having a convex portion.
  • FIG. 1 is a block diagram illustrating a configuration of a replication system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration of the first illumination unit in the first embodiment.
  • FIG. 3 is a diagram for explaining imaging of a picture by the imaging apparatus according to the first embodiment.
  • FIG. 4 is a side view of the imaging apparatus according to the first embodiment.
  • FIG. 5A is a diagram for explaining a relationship between an illumination angle and a shadow at the time of imaging in the first embodiment.
  • FIG. 5B is a diagram for explaining a relationship between an illumination angle and a shadow at the time of imaging in the first embodiment.
  • FIG. 6 is a diagram illustrating an example of a picture including a dark color portion such as black.
  • FIG. 7 is a diagram for explaining a case where the region A shown in FIG. 6 is imaged using a visible light source.
  • FIG. 8 is a diagram illustrating the wavelength characteristics regarding the light reflectance of the dark color portion of the painting.
  • FIG. 9 is a diagram illustrating a case where the region A shown in FIG. 6 is imaged using an infrared light source.
  • FIG. 10 is a diagram illustrating wavelength characteristics regarding the light reflectance of the dark color portion and the blue color portion of the painting.
  • FIG. 11 is a flowchart illustrating height image data generation processing by the imaging apparatus and the image processing apparatus (that is, the image processing system) according to the first embodiment.
  • FIG. 12 is a flowchart showing the height image data creation process in step S50 of FIG. FIG.
  • FIG. 13 is a flowchart showing the height image data creation processing in step S80 of FIG.
  • FIG. 14 is a flowchart showing the height image data creation process in step S100 of FIG.
  • FIG. 15 is a diagram illustrating an example of a cross section of a duplicate image formed by printing by the printing apparatus according to the first embodiment.
  • Embodiment 1 will be described with reference to the drawings.
  • a replication system that can reproduce an object having a convex portion (for example, a painting such as an oil painting) as well as the unevenness of the object along with its color.
  • the image processing system of the present disclosure is used for this duplication system.
  • the replication system calculates the height of the convex portion from the shadow of the convex portion, and reproduces the object. At this time, if the convex portion is illuminated with visible light, it is difficult to distinguish the dark color portion from the shadow in the black portion (dark color portion) of the object.
  • the replication system of Embodiment 1 can illuminate the convex portion with invisible light. Therefore, this duplication system can also identify shadows of convex portions that are difficult to identify when illuminated with visible light.
  • FIG. 1 shows a configuration of a replication system according to the first embodiment.
  • the replication system 100 captures an object (in the first embodiment, a painting) and generates image data (a shadow image and a non-shadow image), and processes the generated image data to produce a painting.
  • An image processing apparatus 20 that outputs image information (height image data and color image data) necessary for copying, and a printing apparatus 30 that duplicates a picture by printing based on the image information.
  • the imaging device 10 and the image processing device 20 constitute the image processing system 110 of the first embodiment.
  • the imaging apparatus 10 is a scanner using a line scan camera.
  • the imaging device 10 receives an instruction to start imaging, outputs an image data of a captured picture, a control unit 12 that controls the entire imaging device 10, and captures a picture to generate image data.
  • the camera 13, the 1st illumination part 14 and the 2nd illumination part 15 which illuminate a picture, and the moving apparatus 16 which moves the camera 13, the 1st illumination part 14, and the 2nd illumination part 15 are provided.
  • the input / output unit 11 includes an input unit 11a and a communication unit 11b.
  • the input unit 11a is a keyboard, a mouse, a touch panel, or the like.
  • the communication unit 11b includes an interface circuit for performing communication with an external device in conformity with a predetermined communication standard (for example, Local Area Network: LAN, WiFi).
  • a predetermined communication standard for example, Local Area Network: LAN, WiFi.
  • the imaging apparatus 10 inputs an instruction to start imaging via the input unit 11a or the communication unit 11b, and outputs image data generated by imaging a picture from the communication unit 11b.
  • the control unit 12 causes the moving device 16 to move the camera 13, the first illumination unit 14, and the second illumination unit 15 simultaneously based on the input imaging start instruction. Then, the control unit 12 causes at least one of the first illumination unit 14 and the second illumination unit 15 to illuminate the painting, and causes the camera 13 to take an image in that state.
  • the control unit 12 can be realized by a semiconductor element or the like. The function of the control unit 12 may be configured only by hardware, or may be realized by combining hardware and software.
  • the control unit 12 is, for example, a microcontroller, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), an FPGA (Field-Programmable Gate Array), and an ASIC (AppliedCipricipalAppricationApplicate). be able to.
  • the camera 13 includes an imaging unit 13a and a memory 13b.
  • the imaging unit 13a includes, for example, a CCD (Charge Coupled Device) line sensor or a CMOS (Complementary Metal Oxide Semiconductor) line sensor.
  • the imaging unit 13a scans and captures a picture line by line and captures image data of the picture.
  • the image data captured by the imaging unit 13a is stored in the memory 13b.
  • the memory 13b is realized by, for example, a RAM (Random Access Memory), a DRAM (Dynamic Random Access Memory), a ferroelectric memory, a flash memory, a magnetic disk, or a combination thereof.
  • the imaging unit 13a is an image sensor that captures a visible light image (RGB image) and an infrared image (IR image). Note that as the imaging unit 13a, an image sensor for capturing a visible light image and an image sensor for capturing an infrared image may be juxtaposed.
  • the first illumination unit 14 and the second illumination unit 15 are scanning illumination light sources.
  • the first illumination unit 14 and the second illumination unit 15 are installed on both sides of the camera 13.
  • Image data of an image including a shadow of a convex portion of a painting can be generated by capturing the painting with the camera 13 in a state where the painting is illuminated by one of the first illumination unit 14 and the second illumination unit 15. .
  • the first illumination unit 14 includes a plurality of visible light sources (third light sources) 14A that illuminate visible light, and a plurality of infrared light sources (first light sources) 14B that illuminate infrared rays.
  • the second illumination unit 15 includes a plurality of visible light sources (fourth light sources) 15A that illuminate visible light, and a plurality of infrared light sources (second light sources) 15B that illuminate infrared rays.
  • These light source 14A, light source 14B, light source 15A, and light source 15B are, for example, LEDs (light emitting diodes).
  • FIG. 2 is a diagram illustrating a configuration of the first illumination unit 14.
  • FIG. 2 is a view of the first illumination unit 14 as seen from the illumination direction.
  • visible light sources 14A and infrared light sources 14B are alternately arranged on a straight line.
  • the structure of the second illumination unit 15 is the same as the structure of the first illumination unit 14.
  • the moving device 16 is connected to the camera 13, the first illumination unit 14, and the second illumination unit 15, and moves the camera 13, the first illumination unit 14, and the second illumination unit 15 in the scanning direction. Thereby, it becomes possible for the camera 13 to pick up a picture line by line while moving.
  • the imaging apparatus 10 generates data of a two-dimensional image by combining image data scanned for each line and captured in the memory 13b, and outputs the data from the communication unit 11b.
  • the image processing device 20 inputs image data and outputs height information indicating the height of the surface of the object.
  • the image processing device 20 controls the entire image processing device 20 and processes the input image data.
  • a control unit 22 that generates height information indicating the height of the convex portion on the surface of the object, and a memory 23.
  • the input / output unit 21 includes an input unit 21a and a communication unit 21b.
  • the input unit 21a is a keyboard, a mouse, a touch panel, or the like.
  • the communication unit 21b includes an interface circuit for performing communication with an external device in compliance with a predetermined communication standard (for example, LAN, WiFi). For example, when the user inputs an instruction for capturing image data via the input unit 21a, the image processing device 20 outputs a request for capturing image data to the imaging device 10 via the communication unit 21b. Further, the image processing device 20 receives the image data transmitted from the imaging device 10 via the communication unit 21b.
  • a predetermined communication standard for example, LAN, WiFi
  • the control unit 22 calculates the height of the surface of the painting (the height of the convex portion) from the length of the shadow included in the image of the received image data, and generates height information indicating the calculated height. Specifically, height image data in which the height of the surface of the painting is expressed numerically for each pixel is generated as the height information. For example, height image data is generated so that the numerical value increases as the height of the convex portion increases. The generated information is stored in the memory 23. Further, the control unit 22 outputs the generated height information to the printing apparatus 30 via the communication unit 21b.
  • the control unit 22 can be realized by a semiconductor element or the like. The function of the control unit 22 may be configured only by hardware, or may be realized by combining hardware and software.
  • the control unit 22 can be configured by, for example, a microcontroller, CPU, MPU, DSP, FPGA, and ASIC.
  • the memory 23 is realized by, for example, RAM, DRAM, ROM, ferroelectric memory, flash memory, magnetic disk, or a combination thereof.
  • the printing apparatus 30 generates an image that reproduces the height of the surface of the painting (including the convex portion) based on the height information (height image data) received from the image processing apparatus 20.
  • the printing apparatus 30 is, for example, a UV inkjet printer that uses UV ink that is cured by being irradiated with ultraviolet rays.
  • the printing apparatus 30 can perform multilayer printing. In other words, the printing apparatus 30 generates an image including a convex portion by increasing the thickness of the ink as the numerical value of the height indicated by the height information increases.
  • FIG. 3 shows a state in which the imaging apparatus 10 is imaging the painting 200.
  • FIG. 4 is a schematic side view of the imaging apparatus 10. 3 and 4, the right direction of the painting is the positive X direction (left direction is the negative X direction), the downward direction of the painting 200 is the positive Y direction (upward direction is the negative Y direction), and the painting 200 The perpendicular direction is defined as Z direction.
  • the moving device 16 of the imaging device 10 includes a first guide rail 16b extending in the Y direction, a first movable body 16a moving forward and backward along the first guide rail 16b, and X
  • the second guide rail 16c extends in the direction
  • the second movable body 16d moves forward and backward along the second guide rail 16c
  • the frame 16e connected to the first movable body 16a.
  • the first movable body 16a and the second movable body 16d move forward and backward by driving a motor or the like.
  • the camera 13, the first illumination unit 14, and the second illumination unit 15 are fixed to the frame 16e. With this configuration, the camera 13, the first illumination unit 14, and the second illumination unit 15 are movable in the XY directions.
  • the moving device 16 can also include a third movable body 16f that allows the first illumination unit 14 and the second illumination unit 15 to move up and down.
  • the control unit 12 controls the driving of the moving device 16 so that the camera 13, the first illumination unit 14, and the second illumination unit 15 are integrated at a constant speed in the scan direction. Move it in parallel.
  • the scanning direction is not limited to the vertical direction of the painting 200 and may be any direction.
  • the scanning direction may be a vertical direction, a horizontal direction, or an oblique direction depending on the arrangement or orientation of the painting 200.
  • the camera 13 captures the picture 200, acquires color information (RGB or CMYK) for each pixel, and stores it in the memory 13b.
  • the illumination direction 14a from the illumination light of the first illumination unit 14 to the imaging target 150 (for one line) of the painting 200 directly under the camera 13 and the illumination light of the second illumination unit 15 are This is different from the illumination direction 15 a toward the imaged part 150.
  • the imaging target 150 is illuminated such that the smaller angle (illumination angle) ⁇ between the illumination direction 14a and the illumination direction 15a and the entire surface (main surface) of the painting 200 placed flat is a constant angle. To do.
  • the constant angle ⁇ is, for example, 30 °.
  • the first illuminating unit 14 and the second illuminating unit 15 respectively have an upper direction and a lower direction (up and down in the Y-axis direction) of the imaged unit 150 (that is, a painting) with respect to the imaged unit 150 immediately below the camera 13. ) To illuminate.
  • the image data with shadow can be generated by illuminating the imaging target 150 from the diagonally upward direction or the diagonally downward direction with respect to the painting 200.
  • the illumination angle ⁇ may be an angle at which a shadow appears by illumination, and is particularly preferably 20 ° or more and 45 ° or less.
  • the illumination direction 14a of the first illumination unit 14 is the illumination direction of the visible light source 14A and the infrared light source 14B.
  • the illumination direction 15a of the second illumination unit 15 is the illumination direction of the visible light source 15A and the infrared light source 15B.
  • FIG. 5A shows a shadow generated when the first illumination unit 14 illuminates the painting 200 from an oblique upper side.
  • FIG. 5B shows a shadow generated when the second illumination unit 15 illuminates the painting 200 from an obliquely lower side.
  • the XYZ directions shown in FIGS. 5A and 5B correspond to the XYZ directions shown in FIG.
  • the painting 200 may include, for example, a convex portion (thickness portion of the paint) 201 formed by repeatedly painting colors such as an oil painting.
  • the duplication system 100 of the first embodiment also duplicates the convex portion 201 of the painting in addition to the color. Therefore, the replication system 100 according to the first embodiment calculates the height of the convex portion 201 of the painting. As shown in FIG.
  • Operation 2-1 Basic Operation of Image Processing System
  • the height H1 and the height H2 of the convex portion 201 are obtained based on the shadow S1 and the shadow S2, dark portions that are dark regions in the image are detected. It recognizes whether or not it is a shadow.
  • the imaging device 10 captures the painting 200 in a state where both the first illumination unit 14 and the second illumination unit 15 are simultaneously illuminated, and image data that does not include a shadow (hereinafter referred to as “non-shadow image”). Is generated.
  • the imaging device 10 captures the painting 200 in a state illuminated by only one of the first illumination unit 14 and the second illumination unit 15 and generates image data including a shadow (hereinafter referred to as a “shadow image”). .
  • the image processing apparatus 20 compares the non-shadow image with the shadow image. As a result of the comparison, the image processing apparatus 20 recognizes dark portions that are not in the non-shadow image but are in the shadow image as the shadow S1 and the shadow S2.
  • some paintings include a dark portion that is an area drawn in dark colors such as black.
  • a dark portion that is an area drawn in dark colors such as black.
  • the black stripe pattern of the tiger in FIG. In such a dark portion, visible light is absorbed and not reflected.
  • a dark color portion (a region such as black) in a painting is detected as a dark portion in an unshaded image.
  • the dark part is a dark region in which the total luminance of RGB light is a predetermined value or less in a photographed image, for example.
  • the dark color part of the painting and the shadow due to the convex part are detected as dark parts.
  • the image processing device 20 is derived from the shadow even if the non-shadow image and the shadow image are compared.
  • the dark part cannot be detected. That is, the image processing apparatus 20 cannot recognize the shadow of the convex portion.
  • FIG. 7 is a diagram illustrating a case where the region A of the painting 200 shown in FIG. 6 is illuminated and imaged using only the visible light source 14A or both the visible light source 14A and the visible light source 15A.
  • FIG. 7A shows an end surface of the region A when the region A is photographed by illuminating only from one direction with the visible light source 14A.
  • FIG. 7B shows a shadow image 200a when the region A is photographed by illuminating only from one direction with the visible light source 14A.
  • FIG. 7C shows a shadowless image 200b when the area A is photographed by simultaneously illuminating the area A with the visible light source 14A and the visible light source 15A from two directions.
  • FIG. 7D shows a recognition result of the painting 200 by the image processing device 20 based on a comparison between the shadow image 200a and the non-shadow image 200b shown in FIG.
  • the photographed picture 200 includes a light color portion 210 drawn in yellow (light color) and a dark color portion 220 drawn in black (dark color). Exists.
  • the light color portion 210 has a convex portion 211
  • the dark color portion 220 has a convex portion 221.
  • the bright color part 210 and the dark color part 220 are illuminated from one side obliquely upward by the visible light source 14A, the light color part 210 produces a shadow 212 of the convex part 211 and the dark color part 220 produces a shadow 222 of the convex part 221.
  • the actual shadow 212 becomes a dark portion 212a in the shadow image 200a.
  • the actual shadow 222 becomes a dark part 222a in the shadow image 200a.
  • the region other than the region where the shadow 222a is formed also becomes the dark portion 220a.
  • the region other than the region where the shadow 212 is formed becomes the bright portion 210a in the shadow image 200a. Since visible light is reflected at the bright part 210a, the bright part 210a is a bright region.
  • the entire region corresponding to the light color portion 210 including the region adjacent to the convex portion 211 is imaged as the light portion 210b.
  • the actual dark color part 220 is imaged as the dark part 220b.
  • the image processing apparatus 20 can determine the dark portion 212a as the shadow 212 of the convex portion 211 and recognize the convex portion 211 based on the dark portion 212a.
  • the area corresponding to the dark color part 220 in the shadow image 200a is the dark part 222a and the dark part 220a formed by the shadow 222, and is imaged as a dark part as a whole.
  • the dark part (dark part 220a and dark part 222a) of the shadow image 200a is compared with the dark part 220b of the non-shadow image 200b, the dark part 222a by the shadow 222 is not recognized as a difference, and the convex part 221 is not recognized.
  • FIG. 8 is a diagram illustrating wavelength characteristics regarding the light reflectance of the black dark portion.
  • the dark color portion does not show reflection characteristics with respect to light in the visible light range, but shows reflection characteristics with respect to light in the infrared range.
  • the black dark color portion in FIG. 8 has a reflection characteristic of 40% or more with respect to an infrared ray having a wavelength of 800 nm or more. From this, it can be seen that, when illuminated with infrared rays, the shadow that can be formed into a black dark color portion can be identified from the dark color portion.
  • FIG. 9 is a diagram illustrating a case where the region A of the painting 200 shown in FIG. 6 is illuminated and imaged using only the infrared light source 14B or both the infrared light source 14B and the infrared light source 15B.
  • FIG. 9A shows an end face of the region A when the region A is photographed by illuminating only from one direction with the infrared light source 14B.
  • FIG. 9B shows a shadow image 200d when the region A is photographed by illuminating only from one direction with the infrared light source 14B.
  • C of FIG.
  • FIG. 9 shows a non-shadow image 200e when the region A is photographed by simultaneously illuminating the region A from two directions with the infrared light source 14B and the infrared light source 15B.
  • FIG. 9D shows the recognition result of the painting 200 by the image processing apparatus 20 based on the comparison between the shadow image 200d and the non-shadow image 200e shown in FIG.
  • the actual shadow 212 becomes a dark portion 212d in the shadow image 200d.
  • the actual shadow 222 is a dark part 222d in the shadow image 200d.
  • the region other than the region where the shadow 212 is formed becomes the bright portion 210d in the shadow image 200d.
  • the region other than the region where the shadow 222 is formed becomes the bright portion 220d.
  • the bright part 210d and the bright part 220d are bright areas because they reflect infrared rays.
  • the entire region corresponding to the bright color portion 210 including the region adjacent to the convex portion 211 is bright by reflecting infrared light.
  • An image is picked up as a bright portion 210e which is an area.
  • the entire region corresponding to the dark color portion 220 is also imaged as the bright portion 220e by reflecting infrared light.
  • the image processing apparatus 20 determines that the dark part 212d is the shadow 212 of the convex part 211, the dark part 222d is the shadow 222 of the convex part 221, and the dark part 212d. And the convex part 211 and the convex part 212 can be recognized based on the dark part 222d. As described above, the image processing apparatus 20 can recognize not only the convex portion 211 of the light color portion 210 but also the convex portion 221 of the dark color portion 220.
  • infrared rays are reflected by dark portions drawn in black, but may be absorbed and not reflected depending on the material of the paint.
  • a state may occur mainly in a drawing portion (hereinafter referred to as a blue portion) drawn in blue having reflection characteristics on the short wavelength side.
  • a blue portion in a picture is captured as a dark portion in an unshaded image.
  • the dark part is a dark region in which the total luminance of infrared light is a predetermined value or less in a captured image obtained by photographing, for example.
  • the blue portion is imaged as a dark portion in a shadow image. If the shadow by the convex part overlaps the dark part of the shadow image, the dark part and the shadow cannot be identified. And even if a non-shadow image and a shadow image are compared, a shadow cannot be recognized as a difference.
  • FIG. 10 is a diagram illustrating wavelength characteristics related to the light reflectance of the black dark color portion and the blue color portion.
  • a solid line 225 indicates the reflectance of the black dark portion
  • a broken line 235 indicates the reflectance of the blue portion.
  • the black dark color portion does not exhibit reflection characteristics for visible light having a wavelength of about 700 nm or less, but exhibits reflection characteristics of 40% or more for infrared light having a wavelength of about 800 nm or more.
  • the blue portion does not show reflection characteristics with respect to infrared rays having a wavelength of about 800 nm, but shows reflection characteristics of 40% or more with respect to visible light with a wavelength of about 450 nm.
  • the blue portion does not show reflection characteristics with respect to infrared rays having a wavelength of about 800 nm, but shows reflection characteristics of 40% or more with respect to visible light with a wavelength of about 450 nm.
  • illumination is performed using at least one of a visible light source and an infrared light source in accordance with the object to be imaged, and a shadow of a convex portion on the surface of the object is imaged.
  • FIG. 11 shows a process of generating height image data by the imaging device 10 and the image processing device 20 (that is, the image processing system 110).
  • the imaging apparatus 10 uses the visible light source 14 ⁇ / b> A of the first illumination unit 14 and the visible light source 15 ⁇ / b> A of the second illumination unit 15, so that the upper and lower sides (Y-axis)
  • the imaging target 150 is simultaneously illuminated at the illumination angle ⁇ from the positive and negative directions).
  • the imaging device 10 captures the painting 200 while moving the camera 13, and generates a visible and shaded image (visible and shaded information) (S10).
  • the camera 13 moves in the X direction and the Y direction so as to capture the entire image of the painting 200.
  • the visible unshaded image becomes image data that does not include the shadow of the convex portion 201.
  • the data of the visible unshaded image is image data of a two-dimensional image that includes color information (RGB or CMYK) of each pixel of the painting 200 and does not include the shadow of the convex portion 201.
  • the image processing device 20 acquires a visible shadow-free image generated by the imaging device 10 as described above (S10).
  • the control unit 22 of the image processing apparatus 20 determines whether or not there is a dark portion having a predetermined area or more as one continuous region in the visible unshaded image (S20).
  • the dark part is a dark region in which, for example, the total luminance of RGB light in a captured visible image is a predetermined value or less. Since the visible no-shaded image does not include shadows due to the convex portions of the painting 200 or the like, if there is a dark portion of a predetermined size or larger in the captured image, the painting 200 has a reflection characteristic with respect to visible light. It is considered that there is a black dark portion not shown.
  • the control unit 22 controls the imaging device 10 to illuminate the imaging target unit 150 of the painting 200 using the infrared light source 14B of the first illumination unit 14 and the infrared light source 15B of the second illumination unit 15. In this state, the control unit 22 causes the camera 13 to capture the imaged unit 150 and acquires an infrared non-shadow image (invisible non-shadow information). In addition, the control unit 22 controls the imaging device 10 and illuminates the imaging target unit 150 using only the infrared light source 14B.
  • the control unit 22 causes the camera 13 to capture the imaged unit 150 and obtains a first infrared shadow image (first shadow information). Further, the control unit 22 controls the imaging device 10 and illuminates the imaging target unit 150 using only the infrared light source 15B. In this state, the control unit 22 causes the camera 13 to photograph the imaged unit 150 and acquires a second infrared shadow image (second shadow information) (S30).
  • the order in which the image processing system 110 generates and acquires the infrared non-shadow image, the first infrared shadow image, and the second infrared shadow image may not be the above-described order.
  • the imaging apparatus 10 uses both the infrared light source 14 ⁇ / b> B of the first illumination unit 14 and the infrared light source 15 ⁇ / b> B of the second illumination unit 15, and the upper and lower sides (Y
  • the object to be imaged 150 is illuminated at the illumination angle ⁇ simultaneously from the positive and negative axes).
  • the camera 13 scans the picture 200 and generates an infrared shadowless image.
  • image data that does not include the shadow of the convex portion 201 is obtained.
  • the infrared unshaded image data is image data of a two-dimensional image that does not include the shadow of the convex portion 201.
  • the imaging device 10 illuminates the imaging target 150 of the painting 200 only with the infrared light source 14B of the first illumination unit 14 as shown in FIG. 5A.
  • the camera 13 scans and images the painting 200 to generate a first infrared shadow image (first shadow information).
  • the first infrared shadow image is image data of a two-dimensional image including a shadow S1 on the lower side of the convex portion 201.
  • the imaging device 10 illuminates the imaging target 150 of the painting 200 only with the infrared light source 15B of the second illumination unit 15 as shown in FIG. 5B.
  • the camera 13 scans and images the painting 200 to generate a second infrared shadow image (second shadow information).
  • the second infrared shadow image is image data of a two-dimensional image including a shadow S ⁇ b> 2 above the convex portion 201.
  • control unit 22 of the image processing apparatus 20 acquires the infrared non-shadow image, the first infrared shadow image, and the second infrared shadow image.
  • the control unit 22 determines whether or not there is a dark portion having a predetermined area or more as one continuous region in the infrared shadowed image (S ⁇ b> 40).
  • the dark part is a dark region in which, for example, the total intensity of infrared light in a captured infrared image is a predetermined value or less.
  • the infrared unshaded image does not include shadows due to convex portions. Therefore, when a dark portion having a predetermined size or more exists in the captured infrared unshaded image, it is considered that the painting 200 has a blue portion that does not exhibit the reflection characteristics with respect to infrared rays.
  • the control unit 22 creates height image data based on the data of the infrared non-shadow image, the first infrared shadow image, and the second infrared shadow image (S50). Specifically, the control unit 22 shades the convex portion based on the difference between the infrared no-shadow image and the first infrared shadow image and the difference between the infrared no-shadow image and the second infrared shadow image.
  • the height of the convex portion is calculated from the length of the shadow. Then, based on the height of the convex portion, height image data (height information) indicating the height distribution of the surface of the painting is created. Details thereof will be described later.
  • the image processing apparatus 20 outputs the height image data created in step S50 to the printing apparatus 30. Further, the visible shadowless image acquired in step S10 is output to the printing apparatus 30 as color image data (S60).
  • step S20 when it is determined that the visible no-shaded image does not include a dark portion having a predetermined area or more, it is considered that there is no shadow overlapping with the black dark color portion, and all the shadows can be recognized by the visible light source. Therefore, the control unit 22 controls the imaging device 10 to illuminate only the visible light source 14 ⁇ / b> A of the imaging target unit 150 of the painting 200. In this state, the control unit 22 causes the camera 13 to capture the imaged unit 150 and obtains a first visible shadow image (third shadow information). In addition, the control unit 22 controls the imaging device 10 to illuminate only the visible light source 15A with the imaging target unit 150. In this state, the control unit 22 causes the camera 13 to capture the imaged unit 150 and acquires a second visible shadow image (fourth shadow information). The order in which the control unit 22 acquires the first visible shadow image and the second visible shadow image may be reversed (S70).
  • the imaging device 10 illuminates the imaging target 150 of the painting 200 only with the visible light source 14A of the first illumination unit 14 as shown in FIG. 5A.
  • the camera 13 scans the picture 200 and generates a first visible shadow image.
  • the first visible shadow image is image data of a two-dimensional image including a shadow S1 on the lower side of the convex portion 201.
  • the imaging device 10 illuminates the imaging target 150 of the painting 200 only with the visible light source 15A of the second illumination unit 15 as shown in FIG. 5B.
  • the camera 13 scans the picture 200 and generates a second visible shadow image.
  • the data of the second visible shadow image is image data of a two-dimensional image including the shadow S2 above the convex portion 201.
  • control unit 22 of the image processing apparatus 20 acquires the first visible shadow image and the second visible shadow image (S70).
  • the control unit 22 creates height image data based on the visible no-shadow image acquired in step S10 and the first visible shadow image and the second visible shadow image obtained in step S70 (S80). Specifically, the control unit 22 recognizes the shadow of the convex portion based on the difference between the visible no-shadow image and the first visible shadow image and the difference between the visible no-shadow image and the second visible shadow image. Then, based on each of the first visible shadow image and the second visible shadow image, the length of the shadow is calculated, and the height of the convex portion is further calculated. Then, based on the height of the convex portion, height image data (height information) indicating the height distribution of the surface of the painting is created. Details thereof will be described later.
  • the image processing apparatus 20 proceeds to step S60 described above, and outputs the height image data and the color image data to the printing apparatus 30.
  • step S40 when it is determined that there is a dark area of a predetermined area or more in the infrared unshaded image, as described above, it is considered that there is a blue portion that does not show the reflection characteristic with respect to the infrared ray in the painting 200.
  • the control unit 22 controls the imaging device 10 to illuminate only the visible light source 14 ⁇ / b> A of the imaging target unit 150 of the painting 200. In this state, the control unit 22 causes the camera 13 to capture the imaged unit 150 and obtains a first visible shadow image.
  • control unit 22 controls the imaging device 10 to illuminate only the visible light source 15 ⁇ / b> A with the imaging target unit 150. In this state, the control unit 22 causes the camera 13 to capture the imaged unit 150 and obtains a second visible shadow image (S90). In step S90, the order of obtaining the first visible shadow image and the second visible shadow image may be reversed.
  • the imaging device 10 illuminates the imaging target 150 of the painting 200 only with the visible light source 14A of the first illumination unit 14 as shown in FIG. 5A.
  • the camera 13 scans and captures the painting 200 and generates a first visible shadow image.
  • the data of the first visible shadow image is image data of a two-dimensional image including the shadow S1 on the lower side of the convex portion 201.
  • the imaging device 10 illuminates the imaging target 150 of the painting 200 only with the visible light source 15A of the second illumination unit 15 as shown in FIG. 5B.
  • the camera 13 scans and images the painting 200 and generates a second visible shadow image.
  • the data of the second visible shadow image is image data of a two-dimensional image including the shadow S2 above the convex portion 201.
  • control unit 22 of the image processing apparatus 20 acquires the first visible shadow image and the second visible shadow image (S90).
  • the control unit 22 performs a visible no-shadow image, a first visible shadow image, a second visible shadow image, an infrared no-shadow image, a first infrared shadow image, and a second infrared shadow image.
  • Height image data is created (S100). Specifically, the control unit 22 shades the convex portion based on the difference between the infrared no-shadow image and the first infrared shadow image and the difference between the infrared no-shadow image and the second infrared shadow image. Recognize Then, the height of the convex portion is calculated based on the first infrared shadow image and the second infrared shadow image.
  • first height image data indicating the height distribution of the surface of the painting 200 is created. Further, the control unit 22 recognizes the shadow of the convex portion based on the difference between the visible no-shadow image and the first visible shadow image and the difference between the visible no-shadow image and the second visible shadow image. Then, the height of the convex portion is calculated based on the first visible shadow image and the second visible shadow image. Then, based on the calculated height, second height image data indicating the height distribution of the surface of the painting 200 is created. Then, the control unit 22 creates final height image data based on the first height image data and the second height image data. Details will be described later.
  • the image processing apparatus 20 proceeds to step S60 described above, and outputs the height image data and the color image data to the printing apparatus 30.
  • FIG. 12 shows a process for creating height image data in step S50 of FIG.
  • the control unit 22 of the image processing device 20 calculates the length (for example, the number of pixels) of the shadow S1 below the convex portion 201 included in the first infrared shadow image based on, for example, the luminance value of the pixel ( S51). Based on the calculated length of the shadow S1 and the illumination angle ⁇ of the first illumination unit 14, the control unit 22 calculates the height H1 of the convex portion 201 on the lower side of the painting (S52).
  • control unit 22 calculates the length (for example, the number of pixels) of the shadow S2 above the convex portion 201 included in the second infrared shadow image based on the luminance value, for example (S53). Based on the calculated length of the shadow S2 and the illumination angle ⁇ of the second illumination unit 15, the control unit 22 calculates the height H2 of the convex portion 201 on the upper side of the painting (S54).
  • the control unit 22 calculates the height H3 of the entire convex portion 201 based on the height H1 and the height H2.
  • the overall height of the convex portion 201 may be set to a height H3 between the height H1 on the lower side and the height H2 on the upper side of the convex portion 201. That is, the overall height H3 may be the height interpolated by the height H1 and the height H2.
  • the image processing apparatus 20 calculates the heights of all the convex portions 201 included in the painting 200. That is, the height distribution of the entire surface of the painting 200 (all pixels constituting the image) is calculated, and height image data is generated as the height information of the entire image (S55). For example, height image data in which the height of each pixel in the image is represented by a numerical value is generated.
  • FIG. 13 shows a process of creating height image data in step S80 of FIG.
  • the control unit 22 of the image processing device 20 calculates the length (for example, the number of pixels) of the shadow S1 below the convex portion 201 included in the first visible shadow image based on, for example, the luminance value or color of the pixel. (S81). Based on the calculated length of the shadow S1 and the illumination angle ⁇ of the first illumination unit 14, the control unit 22 calculates a height H1 on the lower side of the convex portion 201 (S82).
  • control unit 22 calculates the length (for example, the number of pixels) of the shadow S2 above the convex portion 201 included in the second visible shadow image based on, for example, the luminance value or the color (S83).
  • the control unit 22 calculates the height H2 above the convex portion 201 based on the calculated length of the shadow S2 and the illumination angle ⁇ of the second illumination unit 15 (S84).
  • control unit 22 calculates the height H3 of the entire convex portion 201 based on the calculated height H1 and the height H2.
  • the image processing apparatus 20 calculates the heights of all the convex portions 201 included in the painting 200. That is, the height distribution of the entire surface of the painting 200 (all pixels constituting the image) is calculated, and height image data is generated as the height information of the entire image (S85).
  • FIG. 14 shows a process of creating height image data in step S100 of FIG.
  • the control unit 22 of the image processing device 20 performs the infrared non-shadow image, the first infrared shadow image, and the second infrared shadow image in the same manner as in step S50 (that is, steps S51 to S55 in FIG. 12).
  • First height image data is created based on the data (S101).
  • the control unit 22 performs the second operation based on the data of the visible no-shadow image, the first visible shadow image, and the second visible shadow image, similarly to step S80 (that is, steps S81 to S85 in FIG. 13). Height image data is created (S102).
  • control unit 22 performs the final processing based on the first height image data and the second height image data, that is, for example, by combining these height image data and based on the combined height image data.
  • a typical height image data is created (S103).
  • the image processing apparatus 20 calculates the heights of all the convex portions 201 included in the painting 200. That is, the height distribution of the entire surface of the painting 200 (all pixels constituting the image) is calculated, and height image data is generated as the height information of the entire image.
  • FIG. 15 is a diagram illustrating an example of a cross-section of a duplicate image formed by printing by the printing apparatus 30.
  • the printing apparatus 30 prints the transparent ink 72 a plurality of times on the base material (paper, cloth, plastic, etc.) 71 based on the height image data output from the image processing apparatus 20. For example, the larger the numerical value of the height image data, the larger the amount of transparent ink ejected. Since the transparent ink 72 is cured immediately by being irradiated with ultraviolet rays, the upper layer can be printed immediately after the lower layer is printed.
  • the printing apparatus 30 prints an image using the color ink 73 on the upper surface of the transparent ink 72 based on the color image data output from the image processing apparatus 20. Thereby, the painting 200 which reproduced the convex part 201 can be duplicated.
  • the shadow of the convex portion of the painting is photographed by capturing the picture in a state where the painting is illuminated at a predetermined angle.
  • the height is calculated. Therefore, when a painting is duplicated using the duplication system 100, the convex portion of the painting (the height of the painting surface) can be reproduced. This makes it possible to generate a reproduction of a painting that is closer to the real thing.
  • the first illumination unit 14 and the second illumination unit 15 include the infrared light source 14B and the infrared light source 15B. Accordingly, convex portions that cannot be recognized when illuminated with visible light can be recognized, and when used in the replication system 100, a painting or the like can be reproduced with higher accuracy.
  • the first illumination unit 14 includes the visible light source 14A and the infrared light source 14B
  • the second illumination unit 15 includes the visible light source 15A and the infrared light source 15B.
  • the illumination directions of the first illumination unit and the second illumination unit 15 are different. That is, the illumination directions of the visible light source 14A and the visible light source 15A are different. Furthermore, the illumination directions of the infrared light source 14B and the infrared light source 15B are different. By illuminating a painting or the like from multiple directions, a plurality of pieces of shadow information can be obtained, and height information can be obtained with higher accuracy.
  • a special unevenness measuring device is not used to measure the height of the surface of the painting 200. Therefore, it is possible to produce a replica with a sense of unevenness at a low cost.
  • the painting is not irradiated with the laser in order to obtain the height information, it is possible to create a replicated product with a sense of unevenness without imposing a load on the painting. it can.
  • the blue part was illustrated as an area
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like have been made as appropriate.
  • the first illumination unit 14 includes the infrared light source 14B.
  • the first illumination unit 14 may include various invisible light sources that irradiate light or electromagnetic waves in a wavelength band other than visible light instead of the infrared light source 14B.
  • the visible light source 14A and the invisible light source in the first illumination unit 14 can complement the light reflection characteristics with respect to the wavelength band (color region).
  • the 2nd illumination part 15 was provided with the infrared light source 15B, it may replace with the infrared light source 15B and may be provided with various invisible light sources. In this case, it is only necessary that the visible light source 15A and the invisible light source 15B in the second illumination unit 15 can complement the light reflection characteristics with respect to the wavelength band (color region).
  • the imaging device 10 includes the first illumination unit 14 and the second illumination unit 15 arranged in the vertical direction (Y-axis direction) with respect to the camera 13, but the imaging device is limited to this. It is not a thing.
  • the imaging apparatus 10 further includes a third illumination unit and a fourth illumination unit arranged in the left-right direction (X-axis direction) with respect to the camera 13, and each of the third illumination unit and the fourth illumination unit is a visible light source.
  • An infrared light source may be provided.
  • the third illumination unit and the fourth illumination unit illuminate the imaged unit 150 at an illumination angle ⁇ from the left-right direction of the imaged unit 150.
  • the image data with a shadow about the left-right direction of the convex part 201 is obtained.
  • the overall height of the convex portion 201 may be calculated based on the height calculated from the vertical and horizontal shadows of the convex portion 201.
  • the imaging apparatus 10 is a scanner using a line scan camera, but the imaging apparatus is not limited to a scanner. Since it is only necessary to obtain shaded image data in a form in which the height of the convex portion can be calculated, for example, a normal camera that can obtain a two-dimensional image may be used.
  • a painting is described as an example of a replication target of the replication system 100 of the present disclosure, but the replication target is not limited to a painting.
  • the idea of the replication system 100 of the present disclosure can be applied when a planar object having convex portions is replicated including the height information of the object surface.
  • the replication system 100 of the present disclosure can be realized by cooperating with hardware resources such as a processor, a memory, and a program.
  • the moving device 16 is configured to move the camera 13, the first illumination unit 14, and the second illumination unit 15 in the scan direction.
  • the camera 13, the first illumination unit 14, and the second illumination unit 15 are configured to move in the scan direction.
  • the illumination unit 15 may be fixed and the painting 200 may be moved.
  • the relative positional relationship among the camera 13, the first illumination unit 14, and the second illumination unit 15 only needs to be clear, and the scanning method is not essential for solving the problem.
  • the illumination directions by the visible light source 14A and the infrared light source 14B are described as being the same, but they may be different. Furthermore, although the illumination directions by the visible light source 15A and the infrared light source 15B have been described as being the same, they may be different. However, the angle formed by the illumination direction of the visible light source 14A and the main surface of the object (smaller angle) and the angle formed by the illumination direction of the visible light source 15A and the main surface of the object (smaller angle) are: It is preferable that they are the same. Although the angles may not be exactly the same, it is only necessary to be able to cancel the shadow and generate a non-shadow image when both light sources are used at the same time. Similarly, the angle (smaller angle) formed by the illumination direction of each of the infrared light source 14B and the infrared light source 15B and the main surface of the object is preferably the same angle.
  • a picture is taken as an example of an object to be copied, but it may be other than a work of art, for example, a wall, a ceiling, a floor, or the like.
  • the height H of the convex portion is calculated based on the shadow length S of the shadow image and the illumination angle ⁇ of the illumination unit. However, by fixing the illumination angle of the illumination unit.
  • the height H of the convex portion may be calculated based only on the shade length of the shade image.
  • the present disclosure can be applied to an image processing apparatus that generates data for reproducing a planar object (for example, a painting) having a convex portion, and a reproduction system that duplicates a painting.
  • a planar object for example, a painting
  • a reproduction system that duplicates a painting.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

非可視光を照射する非可視光光源（１４Ｂ）を含む照明部（１４）と、非可視光光源（１４Ｂ）により照明された物体を撮影し、物体の表面に設けられた凸部の陰影を示す非可視陰影情報を生成する撮像部（１３ａ）と、を有する撮像装置（１０）と、非可視陰影情報に基づいて物体の表面の高さを示す高さ情報を生成する画像処理装置（２０）と、を備える、画像処理システム（１１０）。

Description

画像処理システム及び画像処理方法
　本開示は、凸部を有する物体を複製するためのデータを生成する画像処理システム及び画像処理方法に関する。
　特許文献１は、平面の原画像に高さ方向の情報を付加して立体画像データを生成する画像処理装置を開示する。この画像処理装置は、原画像データの焦点情報に基づいて分離した領域毎に高さ情報を付加することによって、陰影や質感をリアルに表現することを可能にしている。
特開２０１６－６３５２２号公報
　本開示における画像処理システムは、撮像装置と、画像処理装置と、を備える。撮像装置は、非可視光を照射する非可視光光源を含む照明部と、非可視光光源により照明された物体を撮影し、物体の表面に設けられた凸部の陰影を示す非可視陰影情報を生成する撮像部と、を有する。画像処理装置は、非可視陰影情報に基づいて物体の表面の高さを示す高さ情報を生成する。
　本開示における画像処理方法は、非可視光を照射する非可視光光源を含む照明部により、物体を非可視光により照明した状態で撮影して、物体の表面にある凸部の陰影を示す非可視陰影情報を生成し、非可視陰影情報に基づいて、物体の表面の高さを示す高さ情報を生成する。
　本開示における画像処理システム及び画像処理方法は、凸部を有する物体を複製するのに有効である。
図１は、実施形態１の複製システムの構成を示すブロック図である。 図２は、実施形態１における第１照明部の構成を示す図である。 図３は、実施形態１における撮像装置による絵画の撮像を説明するための図である。 図４は、実施形態１における撮像装置の側面図である。 図５Ａは、実施形態１における撮像時の照明角度と陰影との関係を説明するための図である。 図５Ｂは、実施形態１における撮像時の照明角度と陰影との関係を説明するための図である。 図６は、黒色等の暗色部を含む絵画の一例を示す図である。 図７は、図６に示す領域Ａを、可視光光源を用いて撮像する場合について説明する図である。 図８は、絵画の暗色部の、光の反射率に関する波長特性を示す図である。 図９は、図６に示す領域Ａを、赤外線光源を用いて撮像する場合について説明する図である。 図１０は、絵画の暗色部及び青色部の、光の反射率に関する波長特性を示す図である。 図１１は、実施形態１における撮像装置及び画像処理装置（すなわち、画像処理システム）による高さ画像データの生成処理を示すフローチャートである。 図１２は、図１１のステップＳ５０における高さ画像データの作成処理を示すフローチャートである。 図１３は、図１１のステップＳ８０における高さ画像データの作成処理を示すフローチャートである。 図１４は、図１１のステップＳ１００における高さ画像データの作成処理を示すフローチャートである。 図１５は、実施形態１における印刷装置による印刷により形成された複製画像の断面の例を示す図である。
　以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施形態１）
　実施形態１について、図面を用いて説明する。実施形態１においては、凸部を有する物体（例えば、油彩画などの絵画）を、その色彩と共に、物体の凹凸感についても再現可能な複製システムを提供する。この複製システムには、本開示の画像処理システムが用いられる。
　実施形態１の複製システムは、凸部の陰影から凸部の高さを算出し、物体を再現する。この時、凸部を可視光で照明すると、物体の黒い部分（暗色部）では、暗色部と陰影とを識別しにくい。実施形態１の複製システムは、凸部を非可視光で照明できる。したがってこの複製システムは、可視光で照明した場合では識別しにくい凸部の陰影も識別できる。
　１．構成
　図１は、実施形態１の複製システムの構成を示している。実施形態１の複製システム１００は、物体（実施形態１において、絵画）を撮像して画像データ（陰影画像及び無陰影画像）を生成する撮像装置１０と、生成された画像データを処理して絵画の複製に必要な画像情報（高さ画像データ及び色画像データ）を出力する画像処理装置２０と、画像情報に基づいた印刷により絵画を複製する印刷装置３０と、を備える。撮像装置１０と画像処理装置２０とは、実施形態１の画像処理システム１１０を構成する。
　実施形態１の撮像装置１０は、ラインスキャンカメラを用いたスキャナである。撮像装置１０は、撮像の開始の指示を受け付け、撮像した絵画の画像データを出力する入出力部１１と、撮像装置１０全体を制御する制御部１２と、絵画を撮像して画像データを生成するカメラ１３と、絵画を照明する第１照明部１４及び第２照明部１５と、カメラ１３と第１照明部１４と第２照明部１５とを移動させる移動装置１６と、を備える。
　入出力部１１は、入力部１１ａと通信部１１ｂとを含む。入力部１１ａは、キーボード、マウス、タッチパネル等である。通信部１１ｂは、所定の通信規格（例えばＬｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ：ＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。撮像装置１０は、例えば、撮像開始の指示を入力部１１ａ又は通信部１１ｂを介して入力し、絵画を撮像して生成した画像データを通信部１１ｂから出力する。
　制御部１２は、入力された撮像開始の指示に基づいて、移動装置１６に、カメラ１３、第１照明部１４、及び第２照明部１５を同時に移動させる。そして制御部１２は、第１照明部１４と第２照明部１５の少なくとも一方に、絵画を照明させ、その状態で、カメラ１３に絵画を撮像させる。制御部１２は、半導体素子などで実現可能である。制御部１２の機能を、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１２は、例えば、マイクロコントローラ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）で構成することができる。
　カメラ１３は、撮像部１３ａとメモリ１３ｂとを含む。撮像部１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）ラインセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）ラインセンサを含む。撮像部１３ａは、絵画を１ラインずつスキャン撮像して、絵画の画像データを取り込む。撮像部１３ａが取り込んだ画像データはメモリ１３ｂに格納される。メモリ１３ｂは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現される。実施形態１では、撮像部１３ａは、可視光画像（ＲＧＢ画像）及び赤外線画像（ＩＲ画像）を撮像する画像センサである。なお、撮像部１３ａとして、可視光画像を撮像するための画像センサと、赤外線画像を撮像するための画像センサとを並置してもよい。
　第１照明部１４及び第２照明部１５は、スキャン用の照明光源である。実施形態１において、第１照明部１４及び第２照明部１５は、カメラ１３の両側に設置される。第１照明部１４及び第２照明部１５の一方により絵画を照明した状態で、カメラ１３で絵画を撮像することによって、絵画の凸部の陰影が含まれる画像の画像データを生成することができる。
　第１照明部１４は、可視光を照明する複数の可視光光源（第３光源）１４Ａと、赤外線を照明する複数の赤外線光源（第１光源）１４Ｂとを含む。また、第２照明部１５は、可視光を照明する複数の可視光光源（第４光源）１５Ａと、赤外線を照明する複数の赤外線光源（第２光源）１５Ｂとを含む。これらの光源１４Ａ、光源１４Ｂ、光源１５Ａ、及び光源１５Ｂは、例えばＬＥＤ（発光ダイオード）である。図２は、第１照明部１４の構成を示す図である。図２は、第１照明部１４を照明方向から見た図である。第１照明部１４では、可視光光源１４Ａと赤外線光源１４Ｂとが直線上に交互に配置される。第２照明部１５の構造も第１照明部１４の構造と同様である。
　移動装置１６は、カメラ１３、第１照明部１４、及び第２照明部１５に連結されていて、カメラ１３、第１照明部１４、及び第２照明部１５をスキャン方向に移動させる。これにより、カメラ１３は移動しながら絵画を１ラインずつ撮像することが可能になる。撮像装置１０は、ライン毎にスキャンしてメモリ１３ｂに取り込んだ画像データを組み合わせて二次元画像のデータを生成し、通信部１１ｂから出力する。
　画像処理装置２０は、画像データを入力して物体の表面の高さを示す高さ情報を出力する入出力部２１と、画像処理装置２０全体を制御するとともに入力された画像データを処理して、物体の表面の凸部の高さを示す高さ情報を生成する制御部２２と、メモリ２３とを含む。
　入出力部２１は、入力部２１ａと通信部２１ｂとを含む。入力部２１ａは、キーボード、マウス、タッチパネル等である。通信部２１ｂは、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。画像処理装置２０は、例えば、ユーザが画像データの取り込みの指示を、入力部２１ａを介して入力すると、画像データの取り込み要求を、通信部２１ｂを介して撮像装置１０に出力する。また画像処理装置２０は、撮像装置１０から送信された画像データを、通信部２１ｂを介して受信する。
　制御部２２は、受信した画像データの画像に含まれる陰影の長さから、絵画の表面の高さ（凸部の高さ）を算出し、算出した高さを示す高さ情報を生成する。具体的には、高さ情報として、絵画の表面の高さを画素毎に数値で表した高さ画像データを生成する。例えば、凸部の高さが高いほど、数値が大きくなるような高さ画像データを生成する。生成された情報はメモリ２３に格納される。また、制御部２２は、生成した高さ情報を、通信部２１ｂを介して、印刷装置３０に出力する。制御部２２は、半導体素子などで実現可能である。制御部２２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２２は、例えば、マイクロコントローラ、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。メモリ２３は、例えば、ＲＡＭ、ＤＲＡＭ、ＲＯＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現される。
　印刷装置３０は、画像処理装置２０から受け取った高さ情報（高さ画像データ）に基づいて、絵画の表面の高さを再現した（凸部を含む）画像を生成する。印刷装置３０は、例えば、紫外線を当てることで硬化するＵＶインクを用いたＵＶインクジェットプリンタである。印刷装置３０は多層印刷が可能である。すなわち印刷装置３０は、高さ情報に示される高さの数値が大きいほどインクを厚く盛り上げて、凸部を含む画像を生成する。
　図３は撮像装置１０が絵画２００を撮像している状態を示している。図４は、撮像装置１０の概略の側面図を示す。図３及び図４では、絵画の右方向を正のＸ方向（左方向を負のＸ方向）とし、絵画２００の下方向を正のＹ方向（上方向を負のＹ方向）とし、絵画２００の垂線方向をＺ方向とする。
　図３及び図４に示すように、撮像装置１０の移動装置１６は、Ｙ方向に延在する第１ガイドレール１６ｂと、第１ガイドレール１６ｂ沿いに進退移動する第１可動体１６ａと、Ｘ方向に延在する第２ガイドレール１６ｃと、第２ガイドレール１６ｃ沿いに進退移動する第２可動体１６ｄと、第１可動体１６ａに連結されたフレーム１６ｅとによって、構成される。第１可動体１６ａ及び第２可動体１６ｄは、モータ等の駆動により進退移動する。カメラ１３と第１照明部１４と第２照明部１５は、フレーム１６ｅに固定される。この構成により、カメラ１３と第１照明部１４と第２照明部１５は、ＸＹ方向に移動可能である。なお、移動装置１６は、第１照明部１４及び第２照明部１５を昇降可能にさせる第３可動体１６ｆを有することもできる。カメラ１３が絵画２００をスキャン撮像するとき、制御部１２は、移動装置１６の駆動を制御して、カメラ１３と第１照明部１４及び第２照明部１５とを一体的にスキャン方向に一定速度で平行移動させる。スキャン方向は、絵画２００の上下方向に限定されるものではなく、任意の方向でもよい。例えば、スキャン方向は、絵画２００の配置又は向きに応じて、上下方向、左右方向、又は斜め方向でもよい。
　カメラ１３は、絵画２００を撮像して各画素について色情報（ＲＧＢ又はＣＭＹＫ）を取得し、メモリ１３ｂに記憶する。
　実施形態１においては、第１照明部１４の照明光による、カメラ１３の直下の絵画２００の被撮像部１５０（１ライン分）への照明方向１４ａと、第２照明部１５の照明光による、被撮像部１５０への照明方向１５ａとは異なる。さらに照明方向１４ａ及び照明方向１５ａと、平置きされた絵画２００全面（主面）との間の、小さい方の角度（照明角度）θが一定角度になるようにして、被撮像部１５０を照明する。
　この一定角度θは、例えば３０°である。第１照明部１４と第２照明部１５は、それぞれ、カメラ１３の直下の被撮像部１５０に対して、被撮像部１５０（すなわち、絵画）の上側方向と下側方向（Ｙ軸方向の上下）から、照明する。このように、絵画２００に対して、斜め上方向または斜め下方向から被撮像部１５０を照明することによって、陰影付きの画像データを生成することができる。なお、照明角度θは、照明によって陰影が現れる角度であれば良く、特に、２０°以上４５°以下が適している。また、実施形態１では、第１照明部１４の照明方向１４ａは、可視光光源１４Ａ及び赤外光光源１４Ｂの照明方向とする。第２照明部１５の照明方向１５ａは、可視光光源１５Ａ及び赤外光光源１５Ｂの照明方向とする。
　図５Ａは、第１照明部１４が絵画２００を斜め上側から照明したときに生じる陰影を示している。図５Ｂは、第２照明部１５が絵画２００を斜め下側から照明したときに生じる陰影を示している。図５Ａ及び図５Ｂに示すＸＹＺ方向は、図３に示すＸＹＺ方向と対応している。絵画２００には、例えば、油彩画などのように色を重ね塗りすることによって形成された凸部（絵の具の厚み部分）２０１が含まれる場合がある。実施形態１の複製システム１００は、絵画を複製する際に、色彩に加え、絵画の凸部２０１についても複製する。そのために、実施形態１の複製システム１００は、絵画の凸部２０１の高さを算出する。図５Ａに示すように、第１照明部１４によって絵画２００を斜め上側から照明すると、凸部２０１の下方側（Ｙ軸の正方向）に凸部２０１の陰影Ｓ１が現れる。画像処理装置２０は、この陰影Ｓ１の長さ（画素数）と第１照明部１４の照明角度θとに基づいて、凸部２０１の下方側の高さＨ１を算出する（Ｈ１＝陰影Ｓ１の長さ×ｔａｎ（θ））。同様に、第２照明部１５によって絵画２００を斜め下側から照明すると、凸部２０１の上方側（Ｙ軸の負方向）に凸部２０１の陰影Ｓ２が現れる。画像処理装置２０は、この陰影Ｓ２の長さ（画素数）と第２照明部１５の照明角度θとに基づいて、凸部２０１の上方側の高さＨ２を算出する（Ｈ２＝陰影Ｓ２の長さ×ｔａｎ（θ））。
　２．動作
　２－１．画像処理システムの基本的な動作
　実施形態１の画像処理システム１１０は、陰影Ｓ１及び陰影Ｓ２に基づいて凸部２０１の高さＨ１及び高さＨ２を求める際に、画像における暗い領域である暗部が陰影であるか否かの認識を行う。
　具体的には、撮像装置１０は、第１照明部１４及び第２照明部１５の両方により同時に照明した状態で絵画２００を撮像し、陰影を含まない画像データ（以下「無陰影画像」という）を生成する。また撮像装置１０は、第１照明部１４及び第２照明部１５のうちの一方のみによって照明した状態で絵画２００を撮像し、陰影を含む画像データ（以下、「陰影画像」という）を生成する。
　そして画像処理装置２０は、無陰影画像と陰影画像とを比較する。比較した結果、画像処理装置２０は、無陰影画像にはないが陰影画像にはある暗部を陰影Ｓ１及び陰影Ｓ２として認識する。
　ここで、絵画には、黒色等の暗色で描かれた領域である暗色部を含むものがある。例えば図６におけるトラの黒い縞模様が暗色部となる。このような暗色部では、可視光は吸収されてしまい反射しない。そのため、照明光として可視光を用いる場合、絵画における暗色部（黒色等の領域）は、無陰影画像において暗部として検出される。暗部とは、例えば撮影された画像においてＲＧＢの光の総合的な輝度が所定値以下の暗い領域である。さらに陰影画像においては、絵画の暗色部と凸部による陰影とが、暗部として検出される。したがって、陰影画像において、絵画の暗色部に由来する暗部に、凸部の陰影に由来する暗部が重なると、画像処理装置２０は、無陰影画像と陰影画像とを比較しても陰影に由来する暗部を検出できない。すなわち画像処理装置２０は、凸部の陰影を認識することができない。
　図７は、図６に示す絵画２００の領域Ａを、可視光光源１４Ａのみ、又は可視光光源１４Ａ及び可視光光源１５Ａの両方を用いて照明し、撮像する場合について説明する図である。図７の（ａ）は、領域Ａを可視光光源１４Ａにより一方向からのみ照明して撮影した時の、領域Ａの端面を示す。図７の（ｂ）は、領域Ａを可視光光源１４Ａにより一方向からのみ照明して撮影した時の、陰影画像２００ａを示す。図７の（ｃ）は、領域Ａを可視光光源１４Ａ及び可視光光源１５Ａにより二方向から同時に照明して撮影した時の、無陰影画像２００ｂを示す。図７の（ｄ）は、図７に示す陰影画像２００ａと無陰影画像２００ｂとの比較に基づく、画像処理装置２０による絵画２００の認識結果を示す。
　図７の（ａ）に示すように、撮影される絵画２００（領域Ａ）には、黄色（明色）で描かれた明色部２１０と、黒色（暗色）で描かれた暗色部２２０とが存在する。また明色部２１０には凸部２１１が存在し、暗色部２２０には、凸部２２１が存在する。明色部２１０及び暗色部２２０を可視光光源１４Ａにより片側斜め上方から照明すると、明色部２１０では、凸部２１１の陰影２１２ができ、暗色部２２０では凸部２２１の陰影２２２ができる。
　この状態で撮影すると図７の（ｂ）のように、実際の陰影２１２は、陰影画像２００ａにおける暗部２１２ａとなる。また実際の陰影２２２は、陰影画像２００ａにおける暗部２２２ａとなる。また実際の暗色部２２０のうち、陰影２２２ａが形成される領域以外の領域も、暗部２２０ａとなる。一方で、実際の明色部２１０のうち、陰影２１２が形成される領域以外の領域は、陰影画像２００ａにおける明部２１０ａとなる。明部２１０ａでは可視光が反射するため、明部２１０ａは明るい領域である。
　これに対して、図７の（ｃ）の無陰影画像２００ｂでは、凸部２１１と隣接する領域を含み、明色部２１０に相当する領域の全体が、明部２１０ｂとして撮像される。一方、実際の暗色部２２０は、暗部２２０ｂとして撮像される。
　図７の（ｂ）の陰影画像２００ａと図７の（ｃ）の無陰影画像２００ｂとを比較すると、陰影画像２００ａにおける暗部２１２ａが差分として認識される。そして図７の（ｄ）の認識結果に示すように、画像処理装置２０は、この暗部２１２ａが凸部２１１の陰影２１２と判断し、暗部２１２ａに基づいて凸部２１１を認識することができる。一方、陰影画像２００ａにおける、暗色部２２０に相当する領域は、陰影２２２による暗部２２２ａと暗部２２０ａであり、全体的に暗部として撮像される。したがって、陰影画像２００ａの暗部（暗部２２０ａ及び暗部２２２ａ）と無陰影画像２００ｂの暗部２２０ｂとを比較しても、陰影２２２による暗部２２２ａが差分として認識されず、凸部２２１は認識されない。
　ここで実施形態１では照明光として赤外線を利用する。図８は、黒色の暗色部の、光の反射率に関する波長特性を示す図である。図８に示すように、暗色部は、可視光域の光に対して反射特性を示さないが、赤外線域の光に対して反射特性を示す。図８の黒色の暗色部は、波長８００ｎｍ以上の赤外線に対して４０％以上の反射特性を有する。これより、赤外線で照明した場合に、黒色の暗色部にできる陰影は、暗色部と識別できることが分かる。
　図９は、図６に示す絵画２００の領域Ａを、赤外線光源１４Ｂのみ、又は赤外線光源１４Ｂ及び赤外線光源１５Ｂの両方を用いて照明し、撮像する場合について説明する図である。図９の（ａ）は、領域Ａを赤外線光源１４Ｂにより一方向からのみ照明して撮影した時の、領域Ａの端面を示す。図９の（ｂ）は、領域Ａを赤外線光源１４Ｂにより一方向からのみ照明して撮影した時の、陰影画像２００ｄを示す。図９の（ｃ）は、領域Ａを赤外線光源１４Ｂ及び赤外線光源１５Ｂにより二方向から同時に照明して撮影した時の、無陰影画像２００ｅを示す。図９の（ｄ）は、図９に示す陰影画像２００ｄと無陰影画像２００ｅとの比較に基づく、画像処理装置２０による絵画２００の認識結果を示す。
　図９の（ａ）に示すように、凸部２２１を含む絵画２００を、赤外線光源１４Ｂにより片側斜め上方から照明すると、陰影２１２及び陰影２２２ができる。
　この状態で撮影すると図９の（ｂ）のように、実際の陰影２１２は、陰影画像２００ｄにおける暗部２１２ｄとなる。また実際の陰影２２２は、陰影画像２００ｄにおける暗部２２２ｄとなる。一方で、実際の明色部２１０のうち、陰影２１２が形成される領域以外の領域は、陰影画像２００ｄにおける明部２１０ｄとなる。さらに実際の暗色部２２０のうち、陰影２２２が形成される領域以外の領域は、明部２２０ｄとなる。明部２１０ｄ及び明部２２０ｄは、赤外線を反射するため、明るい領域である。
　これに対して、図９の（ｃ）の無陰影画像２００ｅでは、凸部２１１と隣接する領域を含み、明色部２１０に相当する領域の全体が、赤外光を反射することにより、明るい領域である明部２１０ｅとして撮像される。さらに、暗色部２２０に相当する領域の全体も、赤外光を反射することにより、明部２２０ｅとして撮像される。
　図９の（ｂ）の陰影画像２００ｄと図９の（ｃ）の無陰影画像２００ｅとを比較すると、陰影画像２００ｄにおける暗部２１２ｄと暗部２２２ｄとが差分として認識される。そして、図９の（ｄ）の認識結果に示すように、画像処理装置２０は、暗部２１２ｄが凸部２１１の陰影２１２と判断し、暗部２２２ｄが凸部２２１の陰影２２２と判断し、暗部２１２ｄと暗部２２２ｄとに基づいて凸部２１１と凸部２１２とを認識することができる。このように画像処理装置２０は、明色部２１０の凸部２１１だけでなく、暗色部２２０の凸部２２１も認識できる。
　ところで、赤外線は、黒色に描かれた暗色部で反射するが、絵の具の材料によっては吸収され反射しないことがある。例えば主に短波長側に反射特性を有する青色で描かれた描画部（以下青色部という）などでそのような状態になることがある。そのような場合、照明光として赤外線を用いると、絵画における青色部は、無陰影画像において暗部として撮像される。暗部とは、例えば撮影して得られた撮像画像において赤外の光の総合的な輝度が所定値以下の暗い領域である。同様に、照明光として赤外線を用いると、青色部は、陰影画像においても暗部として撮像される。陰影画像の暗部に凸部による陰影が重なると、暗部と陰影とを識別できない。そして無陰影画像と陰影画像とを比較しても、差分として陰影を認識することができない。
　青色部は、赤外線域では反射特性を示さないが、可視光域では反射特性を示す。図１０は、黒色の暗色部及び青色部の、光の反射率に関する波長特性を示す図である。図１０において、実線２２５は黒色の暗色部の反射率を示し、破線２３５は青色部の反射率を示す。実線２２５が示すように、黒色の暗色部は、波長約７００ｎｍ以下の可視光に対して反射特性を示さないが、波長約８００ｎｍ以上の赤外線に対して４０％以上の反射特性を示す。一方、破線２３５が示すように、青色部は、波長８００ｎｍ近傍の赤外線に対して反射特性を示さないが、波長４５０ｎｍ近傍の可視光に対して４０％以上の反射特性を示す。これより、黒色の暗色部に対しては、赤外線を照明する場合に、陰影を認識することができ、青色部に対しては、波長４５０ｎｍ近傍の光を含む可視光を照明する場合に、陰影を認識することができる事が分かる。
　そこで、本実施形態では、撮像する物体に応じて、可視光光源及び赤外線光源の少なくとも一方を用いて照明し、物体の表面にある凸部の陰影を撮像する。
　２－２．複製システムの動作の流れ
　（高さ画像データの生成処理）
　図１１に、撮像装置１０及び画像処理装置２０（すなわち、画像処理システム１１０）による高さ画像データの生成処理を示す。
　まず、撮像装置１０は、図４のように第１照明部１４の可視光光源１４Ａ及び第２照明部１５の可視光光源１５Ａの両方により、絵画２００の被撮像部１５０の上下側（Ｙ軸の正負方向）から被撮像部１５０を照明角度θで同時に照明する。この状態で撮像装置１０は、カメラ１３を移動させながら絵画２００を撮像して、可視無陰影画像（可視無陰影情報）を生成する（Ｓ１０）。このとき、カメラ１３は、絵画２００の全体画像を撮像するようにＸ方向及びＹ方向に移動する。可視光光源１４Ａ及び可視光光源１５Ａの両方が同時に絵画２００を照明することによって、可視無陰影画像は、凸部２０１の陰影を含まない画像データとなる。可視無陰影画像のデータは、絵画２００の各画素の色情報（ＲＧＢ又はＣＭＹＫ）を含み、凸部２０１の陰影を含まない２次元画像の画像データである。
　画像処理装置２０は、上記のようにして撮像装置１０によって生成された可視無陰影画像を取得する（Ｓ１０）。画像処理装置２０の制御部２２は、可視無陰影画像において、連続する１つの領域として所定面積以上の暗部があるか否かを判定する（Ｓ２０）。暗部とは、上記したように、例えば撮像された可視画像においてＲＧＢの光の総合的な輝度が所定値以下の暗い領域である。可視無陰影画像には絵画２００等の凸部による陰影は含まれていないので、撮像された画像において所定の大きさ以上の暗部が存在する場合、絵画２００に、可視光に対して反射特性を示さない黒色の暗色部が存在すると考えられる。
　ここで可視無陰影画像において所定面積以上の暗部がある場合、上述したように黒色の暗色部に生じる陰影を認識することができない。そのため、制御部２２は撮像装置１０を制御して、第１照明部１４の赤外線光源１４Ｂ及び第２照明部１５の赤外線光源１５Ｂを用いて、絵画２００の被撮像部１５０を照明する。そしてこの状態で制御部２２は、カメラ１３に被撮像部１５０を撮影させ、赤外無陰影画像（非可視無陰影情報）を取得する。また、制御部２２は、撮像装置１０を制御し、赤外線光源１４Ｂのみを用いて被撮像部１５０を照明する。そしてこの状態で制御部２２は、カメラ１３に被撮像部１５０を撮影させ、第１赤外陰影画像（第１陰影情報）を取得する。さらに制御部２２は、撮像装置１０を制御し、赤外光光源１５Ｂのみを用いて被撮像部１５０を照明する。そしてこの状態で制御部２２は、カメラ１３に被撮像部１５０を撮影させ、第２赤外陰影画像（第２陰影情報）を取得する（Ｓ３０）。画像処理システム１１０が、赤外無陰影画像、第１赤外陰影画像、及び第２赤外陰影画像を生成し、取得する順は、上記の順でなくてもよい。
　具体的には、撮像装置１０は、図４のように第１照明部１４の赤外線光源１４Ｂ及び第２照明部１５の赤外線光源１５Ｂの両方により、絵画２００の被撮像部１５０の上下側（Ｙ軸の正負方向）から被撮像部１５０に照明角度θで同時に照明する。そしてこの状態で、カメラ１３は絵画２００をスキャン撮像して、赤外無陰影画像を生成する。赤外線光源１４Ｂ及び赤外線光源１５Ｂの両方が同時に絵画２００を照明することによって、凸部２０１の陰影を含まない画像データが得られる。赤外無陰影画像のデータは、凸部２０１の陰影を含まない２次元画像の画像データである。
　また、撮像装置１０は、図５Ａのように第１照明部１４の赤外線光源１４Ｂのみによって絵画２００の被撮像部１５０を照明する。そしてこの状態で、カメラ１３により、絵画２００をスキャン撮像して第１赤外陰影画像（第１陰影情報）を生成する。第１赤外陰影画像は、凸部２０１の下方側の陰影Ｓ１を含む２次元画像の画像データである。
　さらに、撮像装置１０は、図５Ｂのように第２照明部１５の赤外線光源１５Ｂのみによって絵画２００の被撮像部１５０を照明する。そしてこの状態で、カメラ１３により、絵画２００をスキャン撮像して第２赤外陰影画像（第２陰影情報）を生成する。第２赤外陰影画像は、凸部２０１の上方側の陰影Ｓ２を含む２次元画像の画像データである。
　画像処理装置２０の制御部２２は、上記したように、これらの赤外無陰影画像、第１赤外陰影画像、第２赤外陰影画像を取得する。
　次に、制御部２２は、図１１に示すように、赤外無陰影画像において、連続する１つの領域として所定面積以上の暗部があるか否かを判定する（Ｓ４０）。暗部とは、上記したように、例えば撮像された赤外画像において赤外の光の総合的な強度が所定値以下の暗い領域である。上述したように赤外無陰影画像には凸部による陰影は含まれない。したがって、撮像された赤外無陰影画像に所定の大きさ以上の暗部が存在する場合、絵画２００に、赤外線に対して反射特性を示さない青色部が存在すると考えられる。逆に、赤外無陰影画像において所定面積以上の暗部がない場合、赤外線光源で全ての陰影を認識できていると判断できる。そのため、制御部２２は、赤外無陰影画像、第１赤外陰影画像、第２赤外陰影画像のデータに基づいて、高さ画像データを作成する（Ｓ５０）。具体的には、制御部２２は、赤外無陰影画像と第１赤外陰影画像との差分、及び赤外無陰影画像と第２赤外陰影画像との差分に基づいて、凸部の陰影を認識する。そして第１赤外陰影画像及び第２赤外陰影画像のそれぞれに基づいて、陰影の長さから凸部の高さを算出する。そして凸部の高さに基づいて、絵画の表面の高さ分布を示す、高さ画像データ（高さ情報）を作成する。その詳細は後述する。
　その後、画像処理装置２０は、ステップＳ５０で作成した高さ画像データを、印刷装置３０に出力する。またステップＳ１０で取得した可視無陰影画像を、色画像データとして印刷装置３０に出力する（Ｓ６０）。
　ステップＳ２０において、可視無陰影画像は所定面積以上の暗部を含まないと判断された場合、黒色の暗色部に重なる陰影はなく、可視光光源で全ての陰影を認識できていると考えられる。そのため、制御部２２は撮像装置１０を制御して、絵画２００の被撮像部１５０を可視光光源１４Ａのみに照明させる。そしてこの状態で、制御部２２は、カメラ１３に被撮像部１５０を撮影させ、第１可視陰影画像（第３陰影情報）を取得する。また制御部２２は、撮像装置１０を制御して、被撮像部１５０を可視光光源１５Ａのみに照明させる。そしてこの状態で、制御部２２は、カメラ１３に被撮像部１５０を撮影させ、第２可視陰影画像（第４陰影情報）を取得する。制御部２２が第１可視陰影画像と第２可視陰影画像を取得する順は、逆でもよい（Ｓ７０）。
　具体的には、撮像装置１０は、図５Ａのように第１照明部１４の可視光光源１４Ａのみによって絵画２００の被撮像部１５０を照明する。そしてこの状態で、カメラ１３は絵画２００をスキャン撮像して、第１可視陰影画像を生成する。第１可視陰影画像は、凸部２０１の下方側の陰影Ｓ１を含む２次元画像の画像データである。
　また、撮像装置１０は、図５Ｂのように第２照明部１５の可視光光源１５Ａのみによって絵画２００の被撮像部１５０を照明する。そしてこの状態で、カメラ１３は絵画２００をスキャン撮像して、第２可視陰影画像を生成する。第２可視陰影画像のデータは、凸部２０１の上方側の陰影Ｓ２を含む２次元画像の画像データである。
　画像処理装置２０の制御部２２は、上記したように、これらの第１可視陰影画像および第２可視陰影画像を取得する（Ｓ７０）。
　次に、制御部２２は、ステップＳ１０で取得した可視無陰影画像とステップＳ７０で所得した第１可視陰影画像及び第２可視陰影画像とに基づいて、高さ画像データを作成する（Ｓ８０）。具体的には、制御部２２は、可視無陰影画像と第１可視陰影画像との差分、及び可視無陰影画像と第２可視陰影画像との差分に基づいて、凸部の陰影を認識する。そして第１可視陰影画像及び第２可視陰影画像のそれぞれに基づいて、陰影の長さを算出し、さらに凸部の高さを算出する。そして凸部の高さに基づいて、絵画の表面の高さ分布を示す、高さ画像データ（高さ情報）を作成する。その詳細は後述する。
　その後、画像処理装置２０は、上記したステップＳ６０に進み、高さ画像データと色画像データとを印刷装置３０に出力する。
　ステップＳ４０において、赤外無陰影画像に所定面積以上の暗部があると判断された場合、上述したように、絵画２００に、赤外線に対して反射特性を示さない青色部が存在すると考えられる。絵画２００に所定面積以上の青色部がある場合、この青色部に重なる陰影は、認識されない。そのため、制御部２２は撮像装置１０を制御して、絵画２００の被撮像部１５０を、可視光光源１４Ａのみに照明させる。そしてこの状態で、制御部２２は、カメラ１３に被撮像部１５０を撮影させ、第１可視陰影画像を取得する。さらに制御部２２は、撮像装置１０を制御して、被撮像部１５０を、可視光光源１５Ａのみに照明させる。そしてこの状態で、制御部２２は、カメラ１３に被撮像部１５０を撮影させ、第２可視陰影画像を取得する（Ｓ９０）。ステップＳ９０において、第１可視陰影画像及び第２可視陰影画像を取得する順は、逆でもよい。
　具体的には、撮像装置１０は、図５Ａのように第１照明部１４の可視光光源１４Ａのみによって絵画２００の被撮像部１５０を照明する。そしてこの状態で、カメラ１３は、絵画２００をスキャン撮像して第１可視陰影画像を生成する。第１可視陰影画像のデータは、凸部２０１の下方側の陰影Ｓ１を含む２次元画像の画像データである。
　また、撮像装置１０は、図５Ｂのように第２照明部１５の可視光光源１５Ａのみによって絵画２００の被撮像部１５０を照明する。そしてこの状態で、カメラ１３は、絵画２００をスキャン撮像して第２可視陰影画像を生成する。第２可視陰影画像のデータは、凸部２０１の上方側の陰影Ｓ２を含む２次元画像の画像データである。
　画像処理装置２０の制御部２２は、上記したように、これらの第１可視陰影画像及び第２可視陰影画像を取得する（Ｓ９０）。
　次に、制御部２２は、可視無陰影画像と、第１可視陰影画像と、第２可視陰影画像、及び赤外無陰影画像と、第１赤外陰影画像と、第２赤外陰影画像と、に基づいて、高さ画像データを作成する（Ｓ１００）。具体的には、制御部２２は、赤外無陰影画像と第１赤外陰影画像との差分、及び赤外無陰影画像と第２赤外陰影画像との差分に基づいて、凸部の陰影を認識する。そして第１赤外陰影画像及び第２赤外陰影画像に基づいて、凸部の高さを算出する。そして算出された高さに基づいて、絵画２００の表面の高さ分布を示す、第１高さ画像データを作成する。また、制御部２２は、可視無陰影画像と第１可視陰影画像との差分、及び可視無陰影画像と第２可視陰影画像との差分に基づいて、凸部の陰影を認識する。そして第１可視陰影画像及び第２可視陰影画像に基づいて、凸部の高さを算出する。そして算出された高さに基づいて、絵画２００の表面の高さ分布を示す、第２高さ画像データを作成する。そして制御部２２は、第１高さ画像データ及び第２高さ画像データに基づいて、最終的な高さ画像データを作成する。詳細は後述する。
　その後、画像処理装置２０は、上記したステップＳ６０に進み、高さ画像データと色画像データとを印刷装置３０に出力する。
　（高さ画像データの作成処理：図１１のステップＳ５０）
　図１２に、図１１のステップＳ５０における高さ画像データの作成処理を示す。
　画像処理装置２０の制御部２２は、例えば画素の輝度値に基づいて、第１赤外陰影画像に含まれる凸部２０１の下方側の陰影Ｓ１の長さ（例えば、画素数）を算出する（Ｓ５１）。制御部２２は、算出した陰影Ｓ１の長さと第１照明部１４の照明角度θとに基づいて、凸部２０１の絵画の下方側の高さＨ１を算出する（Ｓ５２）。
　また、制御部２２は、例えば輝度値に基づいて、第２赤外陰影画像に含まれる凸部２０１の上方側の陰影Ｓ２の長さ（例えば、画素数）を算出する（Ｓ５３）。制御部２２は、算出した陰影Ｓ２の長さと第２照明部１５の照明角度θとに基づいて、凸部２０１の絵画の上方側の高さＨ２を算出する（Ｓ５４）。
　次に、制御部２２は、高さＨ１と高さＨ２とに基づいて、凸部２０１全体の高さＨ３を算出する。凸部２０１の全体の高さを、例えば、凸部２０１の下方側の高さＨ１と上方側の高さＨ２とに基づいて、その間の高さＨ３としてもよい。つまり、全体の高さＨ３を、高さＨ１と高さＨ２により補間された高さとしてもよい。
　このようにして、画像処理装置２０は、絵画２００に含まれる全ての凸部２０１の高さを算出する。すなわち絵画２００の表面全体（画像を構成する全画素）の高さ分布を算出し、画像全体の高さ情報として高さ画像データを生成する（Ｓ５５）。例えば、画像内の各画素の高さを数値で表した高さ画像データを生成する。
　（高さ画像データの作成処理：図１１のステップＳ８０）
　図１３に、図１１のステップＳ８０における高さ画像データの作成処理を示す。
　画像処理装置２０の制御部２２は、例えば画素の輝度値又は色に基づいて、第１可視陰影画像に含まれる凸部２０１の下方側の陰影Ｓ１の長さ（例えば、画素数）を算出する（Ｓ８１）。制御部２２は、算出した陰影Ｓ１の長さと第１照明部１４の照明角度θとに基づいて、凸部２０１の下方側の高さＨ１を算出する（Ｓ８２）。
　また、制御部２２は、例えば輝度値又は色に基づいて、第２可視陰影画像に含まれる凸部２０１の上方側の陰影Ｓ２の長さ（例えば、画素数）を算出する（Ｓ８３）。制御部２２は、算出した陰影Ｓ２の長さと第２照明部１５の照明角度θとに基づいて、凸部２０１の上方側の高さＨ２を算出する（Ｓ８４）。
　次に、制御部２２は、算出した高さＨ１と、高さＨ２とに基づいて、凸部２０１全体の高さＨ３を算出する。
　このようにして、画像処理装置２０は、絵画２００に含まれる全ての凸部２０１の高さを算出する。すなわち絵画２００の表面全体（画像を構成する全画素）の高さ分布を算出し、画像全体の高さ情報として高さ画像データを生成する（Ｓ８５）。
　（高さ画像データの作成処理：図１１のステップＳ１００）
　図１４に、図１１のステップＳ１００における高さ画像データの作成処理を示す。
　画像処理装置２０の制御部２２は、上記のステップＳ５０（すなわち、図１２のステップＳ５１～Ｓ５５）と同様に、赤外無陰影画像、第１赤外陰影画像、及び第２赤外陰影画像のデータに基づいて第１高さ画像データを作成する（Ｓ１０１）。また、制御部２２は、上記のステップＳ８０（すなわち、図１３のステップＳ８１～Ｓ８５）と同様に、可視無陰影画像、第１可視陰影画像、及び第２可視陰影画像のデータに基づいて第２高さ画像データを作成する（Ｓ１０２）。
　次に、制御部２２は、第１高さ画像データ及び第２高さ画像データに基づいて、すなわち、例えばこれらの高さ画像データを合成して、合成した高さ画像データに基づいて、最終的な高さ画像データを作成する（Ｓ１０３）。
　このようにして、画像処理装置２０は、絵画２００に含まれる全ての凸部２０１の高さを算出する。すなわち絵画２００の表面全体（画像を構成する全画素）の高さ分布を算出し、画像全体の高さ情報として高さ画像データを生成する。
　（印刷装置３０による印刷処理）
　図１５は、印刷装置３０による印刷により形成された複製画像の断面の例を示す図である。印刷装置３０は、画像処理装置２０から出力された高さ画像データに基づいて、基材（紙、布、プラスチックなど）７１の上に、透明インク７２を複数回印刷する。例えば、高さ画像データの数値が大きい画素ほど透明インクの吐出量を多くする。透明インク７２は、紫外線を当てることによってすぐに硬化するため、下層を印刷したあとすぐに上層を印刷することが可能である。透明インク７２を複数回印刷することによって、複数の層が形成され、透明インクの吐出量が多い画素がより高く盛り上がるため、凸部２０１を表すことができる。印刷装置３０は、画像処理装置２０から出力された色画像データに基づいて、透明インク７２の上面にカラーインク７３を使用して画像を印刷する。これにより、凸部２０１を再現した絵画２００を複製することができる。
　３．効果等
　従来の絵画の複製品（レプリカ）は、カメラやスキャナ等によりカラー印刷して生成されていたため平面状であり、絵画に含まれる凸部は再現されていなかった。そのため、従来の絵画の複製品は見る人の視点の変化や、当てる照明の変化が反映されず、実物感が不足していた。また、従来、樹脂等を使用して凸部感を表現することは可能であったが、手作業で凸部を生成しなければならず、高価であった。
　一方、実施形態１の画像処理システム１１０によれば、所定の角度で絵画を照明した状態で絵画を撮像することによって、絵画の凸部の陰影を撮影し、この陰影の長さから凸部の高さを算出している。よって、複製システム１００を用いて絵画を複製する際に、絵画の凸部（絵画表面の高さ）を再現することができる。これにより、より実物に近い絵画の複製物を生成することができる。
　また実施形態１の画像処理システム１１０によれば、第１照明部１４及び第２照明部１５に赤外光光源１４Ｂ及び赤外光光源１５Ｂを含む。したがって、可視光で照明した場合では認識できない凸部も認識でき、複製システム１００に用いる場合に、より高い精度で絵画等を再現できる。
　また、実施形態１の画像処理システム１１０によれば、第１照明部１４が可視光光源１４Ａと赤外線光源１４Ｂとを備え、第２照明部１５が可視光光源１５Ａと赤外線光源１５Ｂとを備える。これにより、絵画等の、黒色以外の色の部分については、可視光光源１４Ａ及び可視光光源１５Ａにより照明して撮像することによって、陰影を認識することができる。そして可視光に対して反射特性を有さない黒色の暗色部については、赤外線光源１４Ｂ及び赤外線光源１５Ｂにより照明して撮像することによって黒色の暗色部に重なる陰影を認識することができる。
　また、実施形態１の画像処理システム１１０によれば、第１照明部と第２照明部１５の照明方向は異なる。すなわち可視光光源１４Ａと可視光光源１５Ａの照明方向は異なる。さらに赤外光光源１４Ｂと赤外光光源１５Ｂの照明方向は異なる。絵画等を多方向から照明することにより、複数の陰影情報を得る事が出来、より高い精度で高さ情報を取得できる。
　また、実施形態１の複製システム１００によれば、絵画２００の表面の高さを測定するために、特殊な凹凸測定装置を使用していない。よって、安価に、凹凸感のある複製品を作成することができる。
　また、実施形態１の複製システム１００によれば、高さ情報を得るために、絵画にレーザを照射していないため、絵画に負荷を掛けることなく、凹凸感のある複製品を作成することができる。
　なお、赤外光に対する反射特性が低い領域として青色部を例示したが、これは青色の部分に限定されるものではなく、絵の具の材料特性に応じて変化するものである。
　（他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態１で説明した構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
　実施形態１では、第１照明部１４は赤外線光源１４Ｂを備えたが、赤外線光源１４Ｂに代えて可視光以外の波長帯域の光又は電磁波を照射する種々の非可視光光源を備えてもよい。この場合、第１照明部１４における可視光光源１４Ａと非可視光光源とが、波長帯域（色領域）に対する光反射特性を互いに補完できればよい。また、第２照明部１５は赤外線光源１５Ｂを備えたが、赤外線光源１５Ｂに代えて種々の非可視光光源を備えてもよい。この場合、第２照明部１５における可視光光源１５Ａと非可視光光源１５Ｂとが、波長帯域（色領域）に対する光反射特性を互いに補完できればよい。
　実施形態１では、撮像装置１０は、カメラ１３に対して上下方向（Ｙ軸方向）に配置された第１照明部１４及び第２照明部１５を備えたが、撮像装置はこれに限定されるものではない。撮像装置１０は、カメラ１３に対して左右方向（Ｘ軸方向）に配置された第３照明部及び第４照明部をさらに備え、第３照明部及び第４照明部のそれぞれは可視光光源と赤外線光源とを備えても良い。この場合、第３照明部及び第４照明部は、被撮像部１５０の左右方向から照明角度θで被撮像部１５０を照明する。これにより、凸部２０１の左右方向についての陰影付きの画像データが得られる。この場合、凸部２０１の上下方向及び左右方向の陰影から算出した高さに基づいて、凸部２０１の全体の高さを算出しても良い。
　実施形態１では、撮像装置１０は、ラインスキャンカメラを用いたスキャナとしたが、撮像装置はスキャナに限定されるものではない。陰影付きの画像データを、凸部の高さが算出できる形で取得できればよいため、例えば、二次元画像を取得できる通常のカメラであっても良い。
　実施形態１では、本開示の複製システム１００の複製対象として絵画を例として説明したが、複製対象は絵画に限定されるものではない。本開示の複製システム１００の思想は、凸部を有する平面状の物体を、物体表面の高さ情報を含めて複製する際に適用できる。
　本開示の複製システム１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
　また、実施形態１では移動装置１６が、カメラ１３、第１照明部１４、及び第２照明部１５をスキャン方向に移動させる構成としているが、例えばカメラ１３、第１照明部１４、及び第２照明部１５を固定し、絵画２００を移動させる構成としても良い。本開示の課題解決においてはカメラ１３、第１照明部１４、及び第２照明部１５の相対的な位置関係が明確であればよく、スキャンの方法は課題解決に必須ではない。
　また、実施形態１では、可視光光源１４Ａと赤外光光源１４Ｂによる照明方向を同じとして説明したが、異なっていてもよい。さらに可視光光源１５Ａと赤外光光源１５Ｂによる照明方向を同じとして説明したが、異なっていてもよい。ただし、可視光光源１４Ａの照明方向と物体の主面とが成す角度（小さい方の角度）と、可視光光源１５Ａの照明方向と物体の主面とが成す角度（小さい方の角度）とは、同じである事が好ましい。全く同じ角度でなくてもよいが、両方の光源を同時に用いた場合に、陰影を相殺でき、無陰影画像を生成できればよい。同様に、赤外光光源１４Ｂと赤外光光源１５Ｂのそれぞれによる照明方向と物体の主面とが成す角度（小さい方の角度）とは、同じ角度である事が好ましい。
　また実施形態１では、複製する対象として絵画を例に挙げたが、美術品以外でもよく、例えば壁や天井、床等でもあってもよい。
　また、実施形態１では、陰影画像の陰影の長さＳと照明部の照明角度θとに基づいて、凸部の高さＨを算出するとしたが、照明部の照明角度を固定とすることで、陰影画像の陰影の長さのみに基づいて、凸部の高さＨを算出するとしてもよい。
　また、上述の実施形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、凸部を有する平面状物体（例えば、絵画）を複製するためのデータを生成する画像処理装置、及び絵画を複製する複製システムに適用可能である。
　　１０　　撮像装置
　　１１　　入出力部
　　１１ａ　　入力部
　　１１ｂ　　通信部
　　１２　　制御部
　　１３　　カメラ
　　１３ａ　　撮像部
　　１３ｂ　　メモリ
　　１４　　第１照明部
　　１４Ａ　　可視光光源（第３光源）
　　１４Ｂ　　赤外線光源（第１光源）
　　１４ａ　　照明方向（第１の方向、第３の方向）
　　１５　　第２照明部
　　１５Ａ　　可視光光源（第４光源）
　　１５Ｂ　　赤外線光源（第２光源）
　　１５ａ　　照明方向（第２の方向、第４の方向）
　　１６　　移動装置
　　２０　　画像処理装置
　　２１　　入出力部
　　２１ａ　　入力部
　　２１ｂ　　通信部
　　２２　　制御部
　　２３　　メモリ
　　３０　　印刷装置
　　１００　　複製システム
　　１１０　　画像処理システム
　　２００　　絵画
　　２０１　　凸部
　　２１０　　明色部
　　２２０　　暗色部
　　２１１，２２１　　凸部
　　２１２，２２２　　陰影
　　２００ａ　　陰影画像（第３陰影情報）
　　２００ｂ　　無陰影画像（可視無陰影情報）
　　２００ｄ　　陰影画像（第１陰影情報）
　　２００ｅ　　無陰影画像（赤外無陰影情報）

Claims (9)

  1. 　非可視光を照射する非可視光光源を含む照明部と、前記非可視光光源により照明された物体を撮影し、前記物体の表面に設けられた凸部の陰影を示す非可視陰影情報を生成する撮像部と、を有する撮像装置と、
    　前記非可視陰影情報に基づいて、前記物体の前記表面の高さを示す高さ情報を生成する画像処理装置と、を備える、
    　画像処理システム。
  2. 　前記照明部は、可視光を照射する可視光光源を含み、
    　前記撮像部は、前記可視光光源により照明された前記物体を撮影し、前記物体の表面に設けられた凸部の陰影を示す可視陰影情報を生成し、
    　前記画像処理装置は、前記可視陰影情報及び前記非可視陰影情報の少なくとも一方に基づいて前記高さ情報を生成する、
    　請求項１に記載の画像処理システム。
  3. 　前記可視光と前記非可視光の、所定の色を有する領域に対する光反射特性は、互いに異なる、請求項２に記載の画像処理システム。
  4. 　前記非可視光光源は、第１の方向から非可視光を照射する第１光源と、前記第１の方向と異なる第２の方向から非可視光を照射する第２光源と、を含み
    　前記撮像部は、
    　　　　前記物体を前記第１光源及び前記第２光源により照明して撮影することにより、非可視無陰影情報を生成し、
    　　　　前記物体を前記第１光源により照明して撮影することにより、前記非可視陰影情報の一部として第１陰影情報を生成し、
    　　　　前記物体を第２光源により照明して撮影することにより、前記非可視陰影情報の一部として第２陰影情報を生成する、
    　請求項１から３のいずれか一つに記載の画像処理システム。
  5. 　前記可視光光源は、第３の方向から可視光を照射する第３光源と、前記第３の方向と異なる第４の方向から可視光を照射する第４光源と、を含み、
    　前記撮像部は、
    　　前記物体を前記第３光源及び第４光源により照明して撮影することにより、可視無陰影情報を生成し、
    　　前記物体を第３光源により照明して撮影することにより、前記可視陰影情報の一部として第３陰影情報を生成し、
    　　前記物体を第４光源により照明して撮影することにより、前記可視陰影情報の一部として第４陰影情報を生成する、
    　請求項２から４のいずれか一つに記載の画像処理システム。
  6. 　前記物体に、前記可視光を反射しない色の領域がある場合に、前記画像処理装置は、少なくとも前記非可視光光源により照明された前記物体を撮影することにより生成された前記非可視陰影情報に基づいて、前記高さ情報を生成する、
    　請求項２から５のいずれか一つに記載の画像処理システム。
  7. 　前記非可視光は赤外線である、請求項１から６のいずれか一つに記載の画像処理システム。
  8. 　非可視光を照射する非可視光光源を含む照明部により、物体を前記非可視光により照明した状態で撮影して、前記物体の表面にある凸部の陰影を示す非可視陰影情報を生成し、
    　前記非可視陰影情報に基づいて、前記物体の前記表面の高さを示す高さ情報を生成する、画像処理方法。
  9. 　非可視光を照射する非可視光光源と可視光を照射する可視光光源とを含む照明部により、前記物体を前記可視光光源及び前記非可視光光源の少なくとも一方により照明した状態で撮影して、前記物体の表面にある凸部の陰影を示す可視陰影情報及び非可視陰影情報の少なくとも一方を含む陰影情報を生成し、
    　前記陰影情報に基づいて、前記物体の前記表面の高さを示す高さ情報を生成する、画像処理方法。
PCT/JP2017/003284 2016-08-23 2017-01-31 画像処理システム及び画像処理方法 WO2018037586A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-163041 2016-08-23
JP2016163041A JP2019190828A (ja) 2016-08-23 2016-08-23 画像処理システム及び方法

Publications (1)

Publication Number Publication Date
WO2018037586A1 true WO2018037586A1 (ja) 2018-03-01

Family

ID=61246468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/003284 WO2018037586A1 (ja) 2016-08-23 2017-01-31 画像処理システム及び画像処理方法

Country Status (2)

Country Link
JP (1) JP2019190828A (ja)
WO (1) WO2018037586A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61292509A (ja) * 1985-06-20 1986-12-23 Nippon Oil & Fats Co Ltd 非接触式粗度測定装置
JP2000146547A (ja) * 1998-11-17 2000-05-26 Toyota Central Res & Dev Lab Inc 車両の障害物形状検出装置
WO2010092739A1 (ja) * 2009-02-13 2010-08-19 国立大学法人京都工芸繊維大学 干渉計測装置および干渉計測方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61292509A (ja) * 1985-06-20 1986-12-23 Nippon Oil & Fats Co Ltd 非接触式粗度測定装置
JP2000146547A (ja) * 1998-11-17 2000-05-26 Toyota Central Res & Dev Lab Inc 車両の障害物形状検出装置
WO2010092739A1 (ja) * 2009-02-13 2010-08-19 国立大学法人京都工芸繊維大学 干渉計測装置および干渉計測方法

Also Published As

Publication number Publication date
JP2019190828A (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
JP3867512B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
TWI526773B (zh) 三維掃描列印裝置
JP7067554B2 (ja) 画像処理装置および方法
WO2010056238A1 (en) Systems and methods for edge detection during an imaging operation
WO2018037604A1 (ja) 画像処理システム及び画像処理方法
JP5716222B2 (ja) 画像読取装置、画像処理方法、及びプログラム
JP2001523827A5 (ja)
US20110035038A1 (en) System and Method for Making a Three-Dimensional Reproduction of a Relief Surface
JP2009164951A (ja) 撮像システム、画像処理装置、画像処理方法、およびプログラム
JP2013084107A (ja) 印影の画像を生成する装置及び方法
JP2012013696A (ja) 撮影装置とその撮影方法
WO2018042731A1 (ja) 画像処理システム、及び、画像処理方法
WO2018037586A1 (ja) 画像処理システム及び画像処理方法
CN110503712A (zh) 改善重建三维模型效率的方法及装置
JP2016032219A (ja) 画像読取装置、画像形成装置及び画像読取方法
US20170187919A1 (en) Image acquisition apparatus, image forming apparatus and method for controlling the same
WO2018042727A1 (ja) 撮像装置、画像処理システム、撮像方法、及び画像処理方法
KR101747172B1 (ko) 3d 스캔 영상 생성 장치 및 방법
JP2010056771A (ja) 画像読み取り装置、画像読み取り方法、プログラム、記憶媒体
WO2018020533A1 (ja) 画像処理装置、複製システム、及び複製方法
WO2017221286A1 (ja) 画像処理装置、複製システム、及び複製方法
JP2014230117A (ja) 原稿読取装置及び原稿読取方法
JP7079218B2 (ja) 撮像装置
JP2007033264A (ja) 証明写真撮影装置及び証明写真撮影方法
JP2009164949A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843078

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843078

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP