WO2017042933A1 - 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造 - Google Patents

画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造 Download PDF

Info

Publication number
WO2017042933A1
WO2017042933A1 PCT/JP2015/075724 JP2015075724W WO2017042933A1 WO 2017042933 A1 WO2017042933 A1 WO 2017042933A1 JP 2015075724 W JP2015075724 W JP 2015075724W WO 2017042933 A1 WO2017042933 A1 WO 2017042933A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
information
unit
pixels
Prior art date
Application number
PCT/JP2015/075724
Other languages
English (en)
French (fr)
Inventor
知稔 市川
Original Assignee
コヨミ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コヨミ株式会社 filed Critical コヨミ株式会社
Priority to JP2017538795A priority Critical patent/JP6440855B2/ja
Priority to PCT/JP2015/075724 priority patent/WO2017042933A1/ja
Publication of WO2017042933A1 publication Critical patent/WO2017042933A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory

Definitions

  • the present invention relates to an image processing apparatus, an image processing system, an image processing method, an image processing program, and an image data structure.
  • a glossy image is displayed on the display unit.
  • Patent Document 1 for the purpose of enhancing the texture of an object in a display image, a transparent thin plate whose reflection characteristics are switched for each region is provided on the display unit, and glossiness is applied to the transparent thin plate according to the input image.
  • a display device that displays a glossy image by outputting a control signal and switching reflection characteristics of a transparent thin plate is disclosed.
  • the present invention has been made in view of these points, and provides an image processing apparatus, an image processing system, an image processing method, and an image processing program that can easily output an image expressing glossiness. For the purpose.
  • the image processing apparatus provides, for each of a part of a plurality of pixels associated with inclination information, among the pixels included in the image, based on the inclination information of the pixel.
  • a first setting unit that sets setting information used to change the pixel value of each of the plurality of pixels, and the pixel values of the plurality of pixels associated with the inclination information are set to the setting information set for each of the plurality of pixels.
  • a pixel value determination unit that is determined based on the display unit, and a display control unit that causes the display unit to display the image in which the pixel values of the plurality of pixels associated with the inclination information are determined.
  • the inclination information is height information indicating a height of the pixel
  • the image processing apparatus further includes a first acquisition unit that acquires height information associated with the plurality of pixels
  • the setting unit includes, for each of the plurality of pixels, height information of the pixel acquired by the first acquisition unit, and height information of a pixel within a predetermined range from the pixel acquired by the first acquisition unit.
  • the setting information used for changing the pixel value of the pixel may be set based on the above.
  • the first setting unit for each of the plurality of pixels, based on height information associated with the pixel and height information associated with a pixel within a predetermined range from the pixel. May be specified, and the setting information may be set based on the height change amount.
  • the image processing apparatus further includes a second acquisition unit that acquires another image different from the image, and the pixel value determination unit includes the setting information for each of the plurality of pixels associated with the inclination information.
  • the pixel of the other image at the position corresponding to the position of the pixel may be specified based on the pixel value, and the pixel value of the pixel may be determined based on the pixel value of the specified pixel.
  • the second acquisition unit may acquire an image captured in real time by the imaging unit as the other image.
  • the image processing apparatus further includes an inclination detection unit that detects an inclination of the image processing apparatus, and the second acquisition unit acquires an image in which light and dark colors are expressed, and the image detected by the inclination detection unit A part of the image area in the image may be specified based on the inclination of the processing device, and the specified image area may be acquired as the other image.
  • the inclination information is height information indicating the height of the pixel
  • the image processing apparatus determines a distance from each of one or more line images that form an object indicating characters input to the image.
  • a generation unit configured to generate the height information by setting heights of a plurality of pixels corresponding to the object, wherein the pixel value determination unit includes a plurality of height information associated with the plurality of height information.
  • a pixel value of a pixel whose height indicated by the height information is a predetermined value or more may be determined based on the set setting information.
  • the generating unit passes each of the one or more line images configured by one color drawn corresponding to the image through a low-pass filter, thereby changing the gradation of the colors of the one or more line images to a plurality of levels.
  • the height information corresponding to the object may be generated based on the plurality of gradations.
  • the image processing apparatus further includes a second setting unit that sets gloss characteristics of a plurality of pixels associated with the inclination information, and the pixel value determination unit includes a plurality of pixels associated with the inclination information.
  • the respective pixel values may be determined based on the set setting information and the set gloss characteristics.
  • An image processing system is an image processing system including an image processing device and a photographing device, and the photographing device captures an image with a photographing unit and the photographed image.
  • An input receiving unit that receives input of an object having inclination information
  • a generation unit that generates the image in which the inclination information indicating the height corresponding to the object is associated with a plurality of pixels
  • a transmission unit that transmits the image to the image processing device, wherein the image processing device acquires the image, and among the pixels included in the image, a part of the inclination information associated therewith
  • the inclination information is associated with a first setting unit that sets setting information used to change the pixel value of the pixel based on the inclination information of the pixel.
  • a pixel value determining unit that determines each pixel value of a plurality of pixels based on setting information set for each of the plurality of pixels, and each pixel value of the plurality of pixels associated with the inclination information
  • a display control unit that displays the image on which the image is determined on a display unit.
  • the image processing method is executed by a computer, and the inclination information of each of a plurality of pixels associated with inclination information among the pixels included in the image. And setting the setting information used to change the pixel value of the pixel, and setting the pixel values of the plurality of pixels associated with the inclination information for each of the plurality of pixels. Determining based on setting information; and displaying the image on which each pixel value of a plurality of pixels associated with the inclination information is determined on a display unit.
  • the image processing program causes a computer to determine, for each of a plurality of pixels associated with inclination information among pixels included in an image, based on the inclination information of the pixels.
  • a first setting unit for setting setting information used to change a pixel value of the pixel, a setting in which the pixel values of the plurality of pixels associated with the inclination information are set for the plurality of pixels, respectively.
  • a pixel value determination unit that is determined based on the information, and a display control unit that causes the display unit to display the image in which the pixel values of each of the plurality of pixels associated with the inclination information are determined.
  • the image data structure includes a pixel value of a pixel included in an image, inclination information as additional information associated with a plurality of pixels included in the image, or the inclination on a computer.
  • Inclination information associated with the pixel including information for acquiring information from the outside is referred to by a computer for setting information used for changing the pixel value of the pixel.
  • FIG. 1 is a diagram illustrating a configuration of an image processing apparatus according to a first embodiment. It is a figure which shows an example of the structure of an image file. It is a figure which shows the characteristic of the reflectance of each of a some metal, and the relationship with a 2nd table. It is a figure which shows the example which acquires a 2nd image from a 3rd image. It is a figure which shows the example of a 1st image. It is a figure which shows the example of a 2nd image. It is a figure which shows the example of a 1st image when the pixel value of a glossy pixel is calculated.
  • FIG. 1 is a diagram illustrating an overview of an image processing apparatus 1 according to the first embodiment.
  • the image processing apparatus 1 is, for example, a computer such as a smartphone.
  • the pixel value of the pixel corresponding to the object is determined to express the glossiness of metal or the like.
  • the image processing apparatus 1 first acquires the first image P1 including the object X ((1) in FIG. 1).
  • some of the pixels are pixels corresponding to the object X and associated with inclination information indicating the height of the object X.
  • the inclination information is a method of passing through a pixel determined based on height information indicating the height of the pixel, information indicating the displacement of the height between adjacent pixels, or the displacement of the height corresponding to the pixel.
  • Information indicating the inclination of the line In the present embodiment, an example in which height information is used as inclination information will be described.
  • a pixel associated with height information is referred to as a glossy pixel.
  • the image processing apparatus 1 When acquiring the first image P1, the image processing apparatus 1 acquires height information associated with each of the plurality of glossy pixels ((2) in FIG. 1). For each of the plurality of glossy pixels, the image processing apparatus 1 determines the pixel of the gloss pixel based on the height information associated with the gloss pixel and the height information of the gloss pixel within a predetermined range from the gloss pixel. Setting information used to change the value is set ((3) in FIG. 1).
  • the image processing apparatus 1 acquires the second image P2 as another image different from the first image P1 ((4) in FIG. 1), based on the setting information, the first image P1 is obtained from the second image P2. Pixels corresponding to the positions of the plurality of glossy pixels included in the are specified. Then, the image processing apparatus 1 determines the pixel value of the glossy pixel as the pixel value of the specified pixel ((5) in FIG. 1).
  • the glossy pixel corresponding to the object X expresses light and dark by the pixel value of the pixel determined based on the setting information, and as a result, the glossiness of the object X is expressed. Further, by changing the second image P2 in real time, the image processing apparatus 1 can change the pixel value of the glossy pixel in real time. Therefore, the image processing apparatus 1 defines a three-dimensional space in which the object X and the light source are arranged, and based on the lightness and darkness of the pixel values on the second image P2 without performing calculations related to light irradiation in the three-dimensional space. Thus, it is possible to easily output an image expressing glossiness.
  • FIG. 2 is a diagram illustrating a configuration of the image processing apparatus 1 according to the first embodiment.
  • the image processing apparatus 1 includes an input unit 11, a display unit 12, a photographing unit 13, an inclination detection unit 14, a storage unit 15, and a control unit 16.
  • the input unit 11 is, for example, a button or a contact sensor disposed on the display unit 12.
  • the input unit 11 receives an operation input from a user or the like of the image processing apparatus 1.
  • the display unit 12 is, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the display unit 12 displays the first image P ⁇ b> 1 under the control of the control unit 16.
  • the photographing unit 13 is, for example, a camera, photographs a landscape around the image processing apparatus 1 at a predetermined frame rate, and outputs the photographed image to the control unit 16.
  • the inclination detection unit 14 is an acceleration sensor, for example, and detects the inclination of the image processing apparatus 1.
  • the shape of the image processing apparatus 1 is a rectangular shape, and the inclination detection unit 14 includes, for example, an inclination in the short direction of the image processing apparatus 1 (an inclination in the X axis direction) and an inclination in the longitudinal direction (in the Y axis direction). (Tilt).
  • the storage unit 15 is, for example, a ROM (Read Only Memory), a RAM (Random Access Memory) such as a flash memory, or a hard disk.
  • the storage unit 15 stores various programs for causing the control unit 16 to function. For example, the storage unit 15 causes the control unit 16 to function as the first acquisition unit 161, the first setting unit 162, the second setting unit 163, the second acquisition unit 164, the pixel value determination unit 165, and the display control unit 166.
  • a processing program is stored.
  • the storage unit 15 stores at least one or more first images P1.
  • the first image P1 is a conventional PNG file, JPG file, bitmap file, or the like that includes additional information including height information associated with some of the pixels included in the image. It is an image file that can be used by the application.
  • the image file includes pixel values of pixels included in the first image P1 and height information as additional information associated with some of the pixels included in the first image P1.
  • the height information associated with the pixel and the height information of the pixel within a predetermined range from the pixel are set by the image processing apparatus 1 (computer) as setting information used for changing the pixel value of the pixel. To be referred to.
  • the bitmap file is stored in a storage area of one or more lower bits among a plurality of storage areas storing a pixel value associated with each of a plurality of pixels. Contains information. In this way, the image processing program can acquire the height information from the bitmap file.
  • FIG. 3 is a diagram illustrating an example of the structure of an image file.
  • FIG. 3A shows the file structure of a PNG file.
  • the PNG file has a structure in which a plurality of chunks are arranged after the PNG file signature. Of the plurality of chunks, the first chunk is an IHDR chunk, and the last chunk is an IEND chunk.
  • an lmHp chunk, an lmmp chunk, and an lmTp chunk are included as chunks corresponding to additional information between the IHDR chunk and the IEND chunk. ing.
  • the lmHp chunk is a chunk that stores height information, and stores height information in one 16-bit channel.
  • the lmMP chunk is a chunk that stores material information indicating the gloss characteristics of the object X, and stores material information in an 8-bit 1 channel.
  • the lmTp chunk is a chunk that stores transparency information used when the material is a transparent body, and stores transparency information in an 8-bit 1 channel.
  • FIG. 3B shows the file structure of the JPG file.
  • a plurality of segments, an SOS (Start of Stream) marker, and image data are sequentially stored between an SOI (Start of Image) marker and an EOI (End of Image) marker.
  • SOI Start of Image
  • EOI End of Image
  • the first image P1 is a JPG file
  • additional information such as height information, material information, and transparency information is stored in a plurality of APP segments (for example, APP2 segments).
  • each additional information stored in the APP segment is stored in a structure similar to the structure of the PNG file.
  • an identification character for identifying the content of the additional information (height information, material information, transparency information, data) at the beginning of the data of the APP segment storing additional information so as not to be confused with other data
  • a column is added. If additional information such as height information cannot be stored in one APP segment, APP segments having the same identification character string added to the beginning of the data are stored continuously.
  • the height information is given to these files without breaking the file formats of the bitmap file, PNG file, and JPG file. For this reason, an application program or the like that cannot use height information can use the same bitmap file, PNG file, and JPG file as the conventional bitmap file, PNG file, and JPG file without height information. Can be handled. That is, when an application program that cannot use the height information displays an image file indicating the first image P1, the first image P1 in which the object X is displayed without changing the color of the object X is displayed. The Rukoto.
  • the additional information is included in another file different from the image file (for example, another file where the image file is stored) or stored in an external device that can be connected via a network. It may be done.
  • the image file may include a script or the like as information for the image processing apparatus 1 to acquire the additional information from another file or an external file.
  • the control unit 16 is, for example, a CPU.
  • the control unit 16 controls functions related to the image processing apparatus 1 by executing various programs stored in the storage unit 15. Specifically, the control unit 16 executes an image processing program stored in the storage unit 15 to thereby execute a first acquisition unit 161, a first setting unit 162, a second setting unit 163, and a second acquisition unit 164. , Function as a pixel value determination unit 165 and a display control unit 166.
  • the first acquisition unit 161 acquires the first image P1 stored in the storage unit 15 when the input unit 11 receives an operation input for acquiring an image file indicating the first image P1 from the user.
  • the first acquisition unit 161 acquires height information associated with a plurality of pixels (glossy pixels) among the pixels included in the first image P1.
  • the image processing apparatus 1 may acquire the first image P1 from an external device via a communication unit (not shown) that communicates with an external device via the Internet or near field communication.
  • the first setting unit 162 determines the pixel value of the glossy pixel based on the height information of the glossy pixel and the height information of the glossy pixel within a predetermined range from the glossy pixel. Setting information used for change is set.
  • the first setting unit 162 A change amount of the height of one glossy pixel is specified, and setting information is set based on the change amount of the height.
  • the gloss pixel within a predetermined range from one gloss pixel is, for example, a gloss pixel adjacent to the one gloss pixel.
  • the amount of change in the height of one glossy pixel indicates the amount of inclination of the object X at the position of the one glossy pixel, and when the glossy pixel is viewed, the position of the incident source of the light incident on the viewing position Is related to. Therefore, the first setting unit 162 performs calculation based on the amount of change in height, and specifies the incident direction associated with the specified amount of change in height. Then, the first setting unit 162 specifies the position of the pixel on the second image P2 that is the incident source of the light incident on the glossy pixel based on the height of the object X and the specified incident direction, and the position Is set as setting information of one glossy pixel. The first setting unit 162 sets setting information for each of the plurality of glossy pixels.
  • the first setting unit 162 assumes that the viewing position of the first image P1 is infinitely far from the first image P1, and the incident source position (second image P2) of light incident on the viewing position. The upper pixel position) is specified. By doing in this way, the image processing apparatus 1 specifies the position of the pixel on the second image P2 which is the incident source of the light incident on the glossy pixel based on a simple calculation. Can be identified.
  • the setting information is information indicating the position of the pixel on the second image P2. However, the present invention is not limited to this, and any other information may be used as long as the information can identify the position of the pixel on the second image P2. It may be.
  • the first setting unit 162 temporarily stores setting information set for each of the plurality of glossy pixels in the storage unit 15.
  • the second setting unit 163 sets the gloss characteristics of a plurality of pixels associated with height information.
  • the storage unit 15 stores a second table indicating the reflectance characteristics of each of the plurality of metals.
  • FIG. 4 is a diagram illustrating the relationship between the light reflectance characteristics of the plurality of metals and the second table.
  • FIG. 4 (a) shows the reflectance characteristics of metal with respect to the wavelength of visible light.
  • the solid line indicates the characteristics of gold
  • the broken line indicates the characteristics of silver
  • the alternate long and short dash line indicates the characteristics of copper.
  • each metal has a different reflectance with respect to the wavelength of visible light. Therefore, based on the characteristics shown in FIG. 4A, as shown in FIG. 4B, a second table showing the reflectance characteristics of each metal is generated and stored in the storage unit 15. Keep it.
  • the second table includes, for example, a metal type (gloss type), a plurality of color elements (for example, red, green, and blue), and pixel values (pixel values before conversion) of the color elements. ) And the converted pixel value are stored in association with each other.
  • the second setting unit 163 sets the gloss characteristic of the object X attached to the first image P ⁇ b> 1 by accepting selection of one of a plurality of metals from the user via the input unit 11. To do.
  • gloss characteristics may be set for each of the plurality of objects. Different gloss characteristics may be set for each of the plurality of pixels corresponding to one object X. Thereby, for example, one object X in which a golden glossy characteristic and a silvery glossy characteristic are mixed can be expressed. Further, the gloss characteristics of the object X attached to the first image P1 may be determined in advance. In this case, type information indicating the type of metal corresponding to the object X is included in the additional information of the image file.
  • the additional information of the image file may store a second table indicating the light reflectance characteristics of the object X attached to the first image P1.
  • the second acquisition unit 164 acquires the second image P2 as another image different from the first image P1. Specifically, the second acquisition unit 164 operates the imaging unit 13 in response to the first acquisition unit 161 acquiring the first image P1, and the image acquired by the imaging unit 13 in real time is the second image. Obtained as P2.
  • the second acquisition unit 164 acquires, as the second image P2, a partial image region in the third image P3 that is larger in size than the first image P1 instead of the image captured by the imaging unit 13 in real time. May be.
  • the second acquisition unit 164 performs the first acquisition when, for example, the image processing program is not permitted to use the photographing unit 13 and is permitted to use the inclination detection unit 14.
  • the tilt detection unit 14 is operated.
  • the second acquisition unit 164 identifies and identifies a part of the image area in the third image P3 stored in advance in the storage unit 15 based on the tilt of the image processing apparatus 1 detected by the tilt detection unit 14.
  • the obtained image area is acquired as the second image P2.
  • the third image P3 is larger in size than the first image P1, but is not limited thereto, and may be smaller than the first image P1.
  • the second acquisition unit 164 identifies a part of the image area in the third image P3 based on the inclination of the image processing apparatus 1 detected by the inclination detection unit 14, and the identified image area is identified as the first image P1. You may acquire as a 2nd image P2 what expanded to the size of this size or more.
  • FIG. 5 is a diagram illustrating an example of acquiring the second image P2 from the third image P3.
  • the third image P3 is an image that is larger than the first image P1 and the second image P2 and expresses light and dark colors.
  • the bright color region represents a region close to the light source with a large amount of light
  • the dark color region represents a region far from the light source with a small amount of light.
  • the second acquisition unit 164 acquires the second image P2 from the image region on the right side of the third image P3 as the inclination in the X-axis direction detected by the inclination detection unit 14 is larger.
  • the second acquisition unit 164 acquires the second image P2 from the lower image area of the third image P3 as the inclination in the Y-axis direction detected by the inclination detection unit 14 is larger.
  • the image processing apparatus 1 corresponds to the object.
  • the visual effect that the position of the light source to be changed and the display mode of the object is changed based on the position of the light source can be expressed without defining a three-dimensional space in which the light source is arranged.
  • the third image P3 may be an omnidirectional image taken with an omnidirectional camera having an angle of view of 360 degrees.
  • the pixel value determining unit 165 determines each pixel value of the plurality of glossy pixels associated with the height information based on setting information set for each of the plurality of glossy pixels. Specifically, first, the pixel value determination unit 165 selects one of the plurality of glossy pixels associated with the height information in the first image P1 corresponding to the position of the pixel based on the setting information. The pixel of the second image P2 is specified.
  • FIG. 6 is a diagram illustrating an example of the first image P1
  • FIG. 7 is a diagram illustrating an example of the second image P2.
  • the first acquisition unit 161 acquires the first image P1 including the object X associated with the height information
  • the second acquisition unit 164 illustrated in FIG. As described above, it is assumed that the second image P2 in which the brightness of the color is expressed is acquired.
  • the pixel value determination unit 165 extracts the area AR corresponding to the position of the object X in the first image P1 from the second image P2, as shown in FIG. For each of the corresponding plurality of glossy pixels, the pixel of one second image P2 corresponding to the position of the glossy pixel is specified.
  • the pixel value determination unit 165 converts the pixel value of the pixel specified from the second image P2 based on the gloss characteristic set in the second setting unit 163, and converts the converted pixel value to the pixel of the glossy pixel Value.
  • the pixel value determining unit 165 refers to the second table, and specifies the pixel value after conversion for each of a plurality of color elements corresponding to the gloss characteristics set in the second setting unit 163. Then, the pixel value determining unit 165 determines the pixel value of the glossy pixel by converting the pixel value for each element of the pixel of the second image P2 corresponding to the glossy pixel into the specified pixel value after conversion.
  • FIG. 8 is a diagram illustrating an example of the first image P1 when the pixel value of the glossy pixel corresponding to the object X is determined.
  • the pixel value of the gloss pixel of the object X associated with the height information in the first image P1 is the pixel value for each of the plurality of color elements of the pixel of the second image P2. The value converted based on the table.
  • the user changes the second image P2 acquired by the second acquisition unit 164 in real time by changing the imaging range of the imaging unit 13 of the image processing apparatus 1, a plurality of objects X of the first image P1 are obtained.
  • the pixel value of the glossy pixel changes in real time.
  • the object X is displayed as if it is shining, and the glossiness is enhanced.
  • the pixel value determination unit 165 performs the image processing on the second image P2 before converting the pixel value of the pixel specified from the second image P2 based on the gloss characteristics set in the second setting unit 163. Processing may be performed. Then, the pixel value determination unit 165 converts the pixel value of the second image P2 subjected to the image processing based on the gloss characteristic set in the second setting unit 163, and converts the converted pixel value to It is good also as a pixel value of a glossy pixel.
  • the pixel value determination unit 165 may determine the pixel value of the glossy pixel based on the second image P2 that has passed through the low-pass filter. By doing in this way, the image processing apparatus 1 can express the texture of the object X as a texture (soft texture) with smooth unevenness.
  • the pixel value determination unit 165 obtains an image of the object X determined based on the second image on which image processing has been performed and an image of the object X determined based on the second image on which image processing has not been performed. ⁇ may be synthesized. For example, the image of the object X determined based on the second image P2 passed through the low-pass filter and the image of the object X determined based on the second image P2 not passed through the low-pass filter may be ⁇ -combined. In this case, the pixel value determination unit 165 adjusts the weighting of the two images to change the texture of the object X into a texture with smooth unevenness, a texture with sharp unevenness (hard texture), or a soft texture. It can be expressed freely in the middle of hard textures.
  • the display control unit 166 causes the display unit 12 to display an image in which the pixel values of the plurality of glossy pixels associated with the height information in the first image P1 are changed. Specifically, the display control unit 166 causes the display unit 12 to display the first image P1. Then, the display control unit 166 calculates the pixel values of the plurality of glossy pixels of the first image P1 displayed on the display unit 12 in response to the calculation of the pixel values of the plurality of glossy pixels of the first image P1. The calculated pixel value is changed.
  • FIG. 9 is a flowchart showing a flow of image processing according to the first embodiment.
  • the first acquisition unit 161 acquires the first image P1 stored in the storage unit 15 (S1). Subsequently, the first acquisition unit 161 acquires height information associated with a plurality of glossy pixels corresponding to the object X among the pixels included in the acquired first image P1 (S2).
  • the first setting unit 162 sets, for each of the plurality of glossy pixels, setting information used for changing the pixel value of the glossy pixel (S3).
  • the second setting unit 163 sets the gloss characteristic of the glossy pixel by accepting selection of one of a plurality of metals from the user via the input unit 11 (S4). Note that the process of S4 may be performed arbitrarily.
  • the second acquisition unit 164 operates the imaging unit 13 and acquires the image captured by the imaging unit 13 in real time as the second image P2 (S5). Note that the second acquisition unit 164 may acquire the second image P2 from the third image P3 based on the inclination detected by the inclination detection unit 14.
  • the pixel value determining unit 165 determines the pixel values of the plurality of glossy pixels based on the setting information set in S3 and the gloss characteristics set in S4 (S6).
  • the display control unit 166 causes the display unit 12 to display the first image P1 in which the pixel values of the plurality of glossy pixels are determined (S7). Thereby, the display mode of the object X corresponding to a plurality of glossy pixels changes.
  • the control unit 16 determines whether an end operation for ending the display of the first image P1 has been received via the input unit 11 (S8). When determining that the end operation has been received, the control unit 16 ends the process according to this flowchart, and when determining that the end operation has not been received, the control unit 16 proceeds to S5.
  • the image processing apparatus 1 acquires the height information associated with some of the pixels included in the first image P1, and obtains the height information. For each of the plurality of pixels associated with the pixel, setting information used for changing the pixel value of the pixel is set based on the height information of the pixel and the height information of the pixel within a predetermined range from the pixel. The pixel values of the plurality of pixels associated with the height information are determined based on the setting information set for each of the plurality of pixels, and the plurality of pixels associated with the height information The first image P1 in which each pixel value is determined is displayed on the display unit 12.
  • the image processing apparatus 1 can easily output an image expressing glossiness by determining pixel values of a plurality of glossy pixels associated with height information based on the setting information.
  • the image processing apparatus 1 sets the setting information based on the amount of change in height associated with the glossy pixel.
  • the amount of change in the height of one glossy pixel indicates the amount of inclination of the object at the position of the one glossy pixel, and when the glossy pixel is viewed, it is at the position where the light incident on the viewing position is incident. Involved. For this reason, the image processing apparatus 1 can express a glossiness close to the glossiness of an actual metal or the like based on the setting information indicating the actual light incident direction.
  • the image processing apparatus 1 identifies the position of the pixel corresponding to the glossy pixel from the second image P2 captured by the imaging unit 13 in real time based on the setting information, and sets the pixel value of the pixel to the pixel of the glossy pixel. Value.
  • the image processing apparatus 1 defines the three-dimensional space in which the object X and the light source are arranged, and performs the first calculation without performing calculations related to light irradiation in the three-dimensional space.
  • the pixel value of the glossy pixel in the image P1 can be changed in real time, and the object X corresponding to the plurality of glossy pixels can be displayed as if it is shining. Thereby, the image processing apparatus 1 can enhance the glossiness of the object X.
  • the image processing apparatus 1 receives the setting of the gloss characteristics of the glossy pixels, and determines the pixel values of the plurality of glossy pixels based on the set setting information and the set gloss characteristics. In this way, the image processing apparatus 1 can change the pixel value of the glossy pixel based on the characteristics desired by the user, for example, by receiving the setting of the gloss characteristics from the user.
  • the gloss characteristic of the gloss pixel is set by accepting selection of one metal from a plurality of metals, but the present invention is not limited to this.
  • the second setting unit 163 may accept the selection of a transparent body such as a water drop or glass, thereby setting the gloss characteristic of the glossy pixel to a gloss characteristic corresponding to the transparent body such as a water drop or glass. .
  • the pixel value determination unit 165 determines the position of the pixel of the second image P2 corresponding to each of the plurality of glossy pixels and the position of the pixel of the first image P1 to which the light reaches due to light refraction by the object X. Set the setting information for identification.
  • the first setting unit 162 specifies the pixel of the second image P2 corresponding to one glossy pixel, as in the case where the characteristic of the object X is metal. Further, an image corresponding to the first image P1 before the object X is attached to the first image P1 is added to the image file as a first image P1 ′. Then, based on the refractive index of the light of the object X that is a transparent body, the first setting unit 162 receives light that passes through the object X and enters the viewing position when viewed from directly above the glossy pixel. The pixel of the first image P1 ′ corresponding to the original position is specified. The first setting unit 162 generates setting information indicating the pixel position of the identified second image P2 and the pixel position of the first image P1 ′.
  • the pixel value determination unit 165 identifies, for each of the plurality of glossy pixels, one pixel of the second image P2 corresponding to the position of the pixel and one pixel of the first image P1 ′ based on the setting information. To do. Then, the pixel value determination unit 165 converts the pixel value of the pixel of the identified first image P1 'based on the light transmittance in the transparent body set in the second setting unit 163. Then, the pixel value determination unit 165 sets the pixel value of the pixel of the specified second image P2, the pixel value of the pixel of the converted first image P1 ′, and the transparent light set in the second setting unit 163. The pixel value of the glossy pixel is calculated based on the reflectance.
  • the first setting unit 162 sets the setting information based on the height information associated with the glossy pixel in the first image P1, but the present invention is not limited to this.
  • the image file corresponding to the first image P1 may store the setting information, and the first setting unit 162 may acquire the setting information from the image file corresponding to the first image P1. .
  • the image processing apparatus 1 can set setting information, without calculating setting information based on height information, at the time of acquisition of the 1st image P1.
  • the first setting unit 162 may generate height information of an object such as a subject included in the first image P1 by analyzing the first image P1.
  • the image processing apparatus 1 according to the second embodiment is different from the first embodiment in that an object corresponding to an input character is generated in response to receiving a character input operation from a user.
  • the image processing apparatus 1 according to the second embodiment will be described below with reference to the drawings.
  • symbol is attached
  • FIG. 10 is a diagram illustrating a configuration of the image processing apparatus 1 according to the second embodiment.
  • the control unit 16 of the image processing apparatus 1 according to the second embodiment further includes an input reception unit 167, a generation unit 168, and a storage control unit 169.
  • the input receiving unit 167 When the input receiving unit 167 receives a request for inserting an object into the first image P1 from the user in a state where the first acquiring unit 161 has acquired the first image P1, the input receiving unit 167 receives a font from the user via the input unit 11. The specification of is accepted. Then, the input receiving unit 167 receives an input operation for characters of one color (for example, black) corresponding to the designated font. Note that the input receiving unit 167 may arbitrarily receive a font designation. When the font is not designated, the input receiving unit 167 may receive input of characters using a predetermined font. In addition, it is assumed that the object input operation is performed on a layer image arranged to overlap the first image P1. It is assumed that the pixel values of all the pixels of the layer image are 0 before the object input operation.
  • the input characters include letters, numbers, and symbols.
  • the generation unit 168 When the character input is performed based on the designated font, the generation unit 168 includes a plurality of characters corresponding to the input character according to the distance from each of the one or more line images that form the input character. By setting the height of the glossy pixel, the height information of the character object corresponding to the input character is generated.
  • FIG. 11A is a diagram illustrating an example of input characters and the like.
  • FIG. 11A shows an example in which the symbol “+” is input.
  • FIG. 11B is a diagram illustrating the pixel values of the pixels from position A to position B in FIG.
  • the generation unit 168 includes one or more colors configured by one color (black) corresponding to the character input corresponding to the first image P1.
  • Each of the line images is passed through a low-pass filter to convert the color gradation of the one or more line images into a plurality of gradations.
  • the generation unit 168 converts the color gradation of the one or more line images into 256 gradations that can be expressed by 8 bits, for example.
  • the generation unit 168 generates height information corresponding to the object based on the gradation of the color converted into a plurality of gradations.
  • the storage unit 15 stores a conversion table for converting an 8-bit pixel value into a 16-bit gray level, and the generation unit 168 refers to the conversion table to generate an 8-bit pixel value. Is converted to a 16-bit height as shown in FIG.
  • the generation unit 168 when the pixel value is converted using the conversion table, the generation unit 168 generates a set of 8-bit pixel values indicating a state in which the pixel value increases linearly as illustrated in FIG. As shown in FIG.
  • the height is changed to a set of 16-bit heights indicating a state in which the height increases nonlinearly.
  • the set of 8-bit pixel values is changed to a set of 16-bit heights.
  • the present invention is not limited to this, and is changed to a set of heights of a predetermined bit (for example, 10 bits) or more. May be.
  • the generation unit 168 calculates the height corresponding to the pixels by summing the heights determined based on the respective straight lines with respect to the pixels at points where the distance from the plurality of straight lines is within a predetermined distance.
  • FIG.12 (b) is a figure which shows the height from the position C to the position D in Fig.12 (a).
  • the generation unit 168 sums up the heights calculated from each of the line images indicating the two lines, and calculates the height as indicated by the solid line in FIG.
  • the storage control unit 169 receives the height information indicating the calculated height for each glossy pixel having a height greater than 0 in response to the input unit 11 receiving an object saving operation from the user.
  • the storage unit 15 stores the image file of the associated first image P1.
  • the pixel value determination unit 165 determines the pixel value of the glossy pixel corresponding to the generated object, the height indicated by the height information is equal to or greater than a predetermined value among the plurality of glossy pixels associated with the height information.
  • a metaball process for determining the pixel value of the glossy pixel based on the set setting information is executed.
  • the pixel value determination unit 165 determines a pixel having a height equal to or higher than a threshold value among the heights illustrated in FIG. 12C for an object including a plurality of line images input as illustrated in FIG. Are determined based on the setting information.
  • FIG. 12D shows a set of glossy pixels whose pixel values are determined based on the setting information, that is, the shape of the object.
  • the shape of the object is an actual metal shape with rounded edges and intersecting portions compared to the shape of the line image shown in FIG. It can be confirmed that they are close.
  • FIG. 13 is a flowchart showing the flow of object generation processing according to the second embodiment.
  • the input receiving unit 167 receives input of characters corresponding to an object from the user via the input unit 11 (S11). Subsequently, the generation unit 168 converts the gradation of the pixel values of the one or more line images into a plurality of gradations (8-bit gradation) by passing each of the one or more line images through a low-pass filter ( S12).
  • the generation unit 168 converts the pixel value converted into a plurality of gradations to a height of a plurality of gradations (16-bit gradation) ( S13).
  • the storage control unit 169 determines whether or not an object saving operation has been received from the user (S14). If the storage control unit 169 determines that the save operation is not accepted, the storage control unit 169 proceeds to S16. If the storage control unit 169 determines that the save operation has been accepted, the storage control unit 169 proceeds to S15, generates height information corresponding to each glossy pixel having a height greater than 0, and associates the height information with it.
  • the image file of the first image P1 is stored in the storage unit 15.
  • control unit 16 determines whether or not an object input end operation has been received via the input unit 11. If the control unit 16 determines that the end operation has been received, the control unit 16 ends the process according to this flowchart. If the control unit 16 determines that the end operation has not been received, the process proceeds to S11.
  • the image processing apparatus 1 determines the pixel corresponding to the object according to the distance from each of the one or more line images forming the object assigned to the first image P1.
  • the height information is generated by setting the height, and among the plurality of pixels associated with the height information, the pixel value of the pixel whose height indicated by the height information is a predetermined value or more is set. Decide based on information. By doing in this way, the image processing apparatus 1 can make the shape of the input object resemble the shape of an actual metal.
  • the image processing apparatus 1 converts the color gradation of the object into a plurality of gradations by passing a line image of the object composed of one color given to the first image P1 through a low-pass filter, Based on the multiple gradations, height information corresponding to the object is generated. In this way, the image processing apparatus 1 can easily generate an object similar to an actual metal shape from a line image drawn by the user.
  • the image processing apparatus 1 generates an object based on an input character, but the present invention is not limited to this.
  • the input receiving unit 167 may receive an input operation of a handwritten object by receiving a drawing of a line image of one color (for example, black) from the user via the input unit 11.
  • the generation unit 168 increases the heights of the plurality of glossy pixels corresponding to the handwritten object according to the distance from each of the one or more line images forming the handwritten object drawn corresponding to the first image P1.
  • the height information may be generated by setting the height.
  • the distance from the line image is, for example, a distance from the center line of the line image or a distance from one contour line indicating the outline of the line image.
  • the third embodiment is an embodiment according to the image processing system S.
  • the image processing system S includes a photographing device 2 that takes a photograph of a user or the like, and an image processing device 1 that acquires an image photographed by the photographing device 2 as a first image P1.
  • FIG. 14 is a diagram for explaining the outline of the image processing system S according to the third embodiment.
  • the imaging device 2 is a computer that is installed in, for example, an amusement facility, etc., and takes a picture of a user or the like, and prints and outputs the taken image on a sticker or the like.
  • the photographing apparatus 2 starts photographing of the user or the like in response to receiving a predetermined amount of money from the user ((1) in FIG. 14). After photographing the user or the like, the photographing apparatus 2 accepts an assignment of an object or the like to the photographed image from the user ((2) in FIG. 14). Thereafter, the photographing apparatus 2 prints and outputs the image with the object on a sticker or the like ((3) in FIG. 14).
  • the imaging device 2 transmits the captured image as the first image P1 to the image processing device 1 using near field communication or the like ((4) in FIG. 14).
  • the image processing apparatus 1 acquires the first image P1 transmitted from the photographing apparatus 2 ((5) in FIG. 14).
  • FIG. 15 is a diagram illustrating a configuration of the photographing apparatus 2 according to the third embodiment.
  • the photographing apparatus 2 includes an input unit 21, a display unit 22, a photographing unit 23, a communication unit 24, a printing unit 25, a storage unit 26, and a control unit 27.
  • the input unit 21 is, for example, a button or a contact sensor, and accepts an operation input from the user.
  • the display unit 22 is, for example, a liquid crystal display or an organic EL display.
  • the display unit 12 displays a captured image or an object provided to the image by the user according to the control of the control unit 16.
  • the photographing unit 23 is, for example, a camera, photographs a user who operates the photographing apparatus 2, and outputs the photographed image to the control unit 27.
  • the communication unit 24 performs short-distance wireless communication with the image processing apparatus 1 located within a predetermined range with the imaging device 2 by short-distance wireless communication such as Bluetooth (registered trademark) or NFC (Near Field Communication).
  • the printing unit 25 is a printer, for example, and prints a photographed image on a paper medium such as a sticker under the control of the control unit 27.
  • the storage unit 26 is, for example, a ROM, a RAM, or a hard disk.
  • the storage unit 26 stores various programs for causing the control unit 27 to function.
  • the storage unit 26 stores a shooting program that causes the control unit 27 to function as the shooting control unit 271, the input reception unit 272, the generation unit 273, the print control unit 274, and the transmission unit 275.
  • the control unit 27 is, for example, a CPU.
  • the control unit 27 controls functions related to the imaging device 2 by executing various programs stored in the storage unit 26.
  • the control unit 27 includes an imaging control unit 271, an input reception unit 272, a generation unit 273, a print control unit 274, and a transmission unit 275.
  • the photographing control unit 271 starts photographing of the user or the like in response to receiving a predetermined amount of money from the user.
  • the input receiving unit 272 receives a defined object and a handwritten object associated with height information in response to the shooting of the user or the like by the shooting unit 23.
  • a plurality of prescribed objects are stored in advance in the storage unit 26, and the input receiving unit 272 receives a selection operation from the plurality of prescribed objects via the input unit 21. Since the procedure for accepting handwritten objects is the same as that in the second embodiment, the description thereof is omitted.
  • the generating unit 273 generates a first image P1 in which height information indicating the height corresponding to the object received by the input receiving unit 272 is associated with a plurality of pixels. Specifically, when the input receiving unit 272 receives a handwritten object, the generating unit 273 generates a handwritten object in the same procedure as described in the second embodiment. The generation unit 273 indicates the height corresponding to each of the defined object received by the input reception unit 272 and the generated handwritten object for some of the pixels constituting the captured image. A first image P1 associated with the information is generated.
  • the print control unit 274 causes the printing unit 25 to print an image to which at least one of the specified object and the handwritten object is added in response to the completion of the input of the specified object and the handwritten object.
  • the transmission unit 275 receives the image acquisition request from the user, and then transmits the first image P1 generated by the generation unit 273 to the image processing apparatus by short-range wireless communication or the like. 1 to send.
  • the transmission unit 275 transmits the first image P1 to the image processing apparatus 1 by short-range wireless communication or the like, but is not limited thereto.
  • the transmission unit 275 may transmit the first image P1 to the image processing apparatus 1 via a communication network such as the Internet.
  • the transmission unit 275 may receive an e-mail address or a messenger service user ID from the user, and transmit the first image P1 to the image processing apparatus 1 based on the e-mail address and the user ID. .
  • the image processing device 1 acquires the first image P1 transmitted from the photographing device 2 by short-range wireless communication or the like. Note that the image processing apparatus 1 may transmit the first image P1 acquired from the photographing apparatus 2 to another user by e-mail, messenger, or the like in accordance with a user operation.
  • the first image P1 is an image including a plurality of glossy pixels at a position corresponding to the object, but is not limited thereto.
  • the first image P1 may be an object such as an icon or a pictograph used in a messenger application or a mail application. By doing so, glossy icons and pictograms can be displayed in the messenger application and the mail application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

画像処理装置（１）は、画像に含まれる画素のうち、一部の複数の画素に関連付けられている傾斜情報として、画素の高さを示す高さ情報を取得する第１取得部（１６１）と、高さ情報が関連付けられている複数の画素のそれぞれについて、当該画素の高さ情報と、当該画素から所定範囲内の画素の高さ情報とに基づいて、当該画素の画素値の変化に用いる設定情報を設定する第１設定部（１６２）と、高さ情報が関連付けられている複数の画素のそれぞれの画素値を、設定された設定情報に基づいて決定する画素値決定部（１６５）と、高さ情報が関連付けられている複数の画素のそれぞれの画素値が決定された画像を表示部（１２）に表示する表示制御部（１６６）と、を備える。

Description

画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造
　本発明は、画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造に関する。
　従来、表示部に対して光沢感がある画像を表示させることが行われている。例えば、特許文献１には、表示画像中の対象物の質感を高める目的で、表示部に領域ごとに反射特性が切り替わる透明薄板を設けておき、入力画像に応じて透明薄板に対して光沢感制御信号を出力して透明薄板の反射特性を切り替えることにより、光沢感がある画像を表示させる表示装置が開示されている。
特開２００９－１５７０７５号公報
　しかしながら、特許文献１に記載の表示装置では、光沢感制御信号に応じて反射特性を切り替え可能な透明薄板を設ける必要があるため、制御が複雑になるとともに、表示装置のコストが上昇するという問題が生じていた。このため、光沢感を表現した画像を容易に出力できるようにすることが望まれている。
　そこで、本発明はこれらの点に鑑みてなされたものであり、光沢感を表現した画像を容易に出力することができる画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　本発明の第１の態様に係る画像処理装置は、画像に含まれる画素のうち、傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定する第１設定部と、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定する画素値決定部と、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させる表示制御部と、を備える。
　前記傾斜情報は、前記画素の高さを示す高さ情報であり、前記画像処理装置は、前記複数の画素に関連付けられている高さ情報を取得する第１取得部をさらに備え、前記第１設定部は、前記複数の画素のそれぞれについて、前記第１取得部が取得した当該画素の高さ情報と、前記第１取得部が取得した、当該画素から所定範囲内の画素の高さ情報とに基づいて、当該画素の画素値の変化に用いる前記設定情報を設定してもよい。
　前記第１設定部は、前記複数の画素のそれぞれについて、当該画素に関連付けられている高さ情報と、当該画素から所定範囲内の画素に関連付けられている高さ情報とに基づいて、当該画素に対応する高さの変化量を特定し、当該高さの変化量に基づいて前記設定情報を設定してもよい。
　前記画像処理装置は、前記画像とは異なる他の画像を取得する第２取得部をさらに備え、前記画素値決定部は、前記傾斜情報が関連付けられている複数の画素のそれぞれについて、前記設定情報に基づいて当該画素の位置に対応する位置の前記他の画像の画素を特定し、特定した画素の画素値に基づいて、当該画素の画素値を決定してもよい。
　前記第２取得部は、撮影部がリアルタイムに撮影した画像を前記他の画像として取得してもよい。
　前記画像処理装置は、前記画像処理装置の傾きを検出する傾き検出部をさらに備え、前記第２取得部は、色の明暗が表現された画像を取得し、前記傾き検出部が検出した前記画像処理装置の傾きに基づいて前記画像における一部の画像領域を特定し、特定した画像領域を前記他の画像として取得してもよい。
　前記傾斜情報は、前記画素の高さを示す高さ情報であり、前記画像処理装置は、前記画像に対して入力された文字を示すオブジェクトを形成する１以上の線画像のそれぞれからの距離に応じて、前記オブジェクトに対応する複数の画素の高さを設定することにより前記高さ情報を生成する生成部をさらに備え、前記画素値決定部は、前記高さ情報が関連付けられている複数の画素のうち、前記高さ情報が示す高さが所定値以上の画素の画素値を、設定された設定情報に基づいて決定してもよい。
　前記生成部は、前記画像に対応して描画された一の色によって構成される前記１以上の線画像のそれぞれをローパスフィルタに通すことによって当該１以上の線画像の色の階調を複数階調に変換し、当該複数階調に基づいて、前記オブジェクトに対応する前記高さ情報を生成してもよい。
　前記画像処理装置は、前記傾斜情報が関連付けられている複数の画素の光沢の特性を設定する第２設定部をさらに備え、前記画素値決定部は、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、設定された設定情報と、設定された前記光沢の特性とに基づいて決定してもよい。
　本発明の第２の態様に係る画像処理システムは、画像処理装置と、撮影装置とを備える画像処理システムであって、前記撮影装置は、画像を撮影する撮影部と、撮影した前記画像に対して付与する、傾斜情報を有するオブジェクトの入力を受け付ける入力受付部と、複数の画素に、前記オブジェクトに対応する高さを示す前記傾斜情報が関連付けられた前記画像を生成する生成部と、生成された前記画像を前記画像処理装置に送信する送信部とを有し、前記画像処理装置は、前記画像を取得し、前記画像に含まれる画素のうち、前記傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定する第１設定部と、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定する画素値決定部と、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させる表示制御部とを有する。
　本発明の第３の態様に係る画像処理方法は、コンピュータにより実行される、画像に含まれる画素のうち、傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定するステップと、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定するステップと、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させるステップと、を備える。
　本発明の第４の態様に係る画像処理プログラムは、コンピュータを、画像に含まれる画素のうち、傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定する第１設定部、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定する画素値決定部、及び前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させる表示制御部、として機能させる。
　本発明の第５の態様に係る画像データ構造は、画像に含まれる画素の画素値と、前記画像に含まれる一部の複数の画素に関連付けられる付加情報としての傾斜情報、又はコンピュータに前記傾斜情報を外部から取得させる情報とを含み、前記画素に関連付けられている傾斜情報は、コンピュータにより、当該画素の画素値の変化に用いる設定情報を設定するために参照される。
　本発明によれば、光沢感を表現した画像を容易に出力することができるという効果を奏する。
第１実施形態に係る画像処理装置の概要を示す図である。 第１実施形態に係る画像処理装置の構成を示す図である。 画像ファイルの構造の一例を示す図である。 複数の金属のそれぞれの光の反射率の特性と、第２テーブルとの関係を示す図である。 第３画像から第２画像を取得する例を示す図である。 第１画像の例を示す図である。 第２画像の例を示す図である。 光沢画素の画素値が算出されたときの第１画像の例を示す図である。 第１実施形態に係る画像処理の流れを示すフローチャートである。 第２実施形態に係る画像処理装置の構成を示す図である。 高さ情報を生成する処理を説明する図（その１）である。 高さ情報を生成する処理を説明する図（その２）である。 第２実施形態に係る高さ情報を生成する処理の流れを示すフローチャートである。 第３実施形態に係る画像処理システムの概要を説明する図である。 第３実施形態に係る撮影装置の構成を示す図である。
＜第１実施形態＞
［画像処理装置１の概要］
　図１は、第１実施形態に係る画像処理装置１の概要を示す図である。
　画像処理装置１は、例えば、スマートフォン等のコンピュータであり、オブジェクトを含む第１画像を取得すると、当該オブジェクトに対応する画素の画素値を決定して、金属等の光沢感を表現する。
　画像処理装置１は、まず、オブジェクトＸを含む第１画像Ｐ１を取得する（図１の（１））。第１画像Ｐ１に含まれる画素のうち、一部の複数の画素は、オブジェクトＸに対応する画素であり、オブジェクトＸの高さを示す傾斜情報が関連付けられている。ここで、傾斜情報は、画素の高さを示す高さ情報、隣接する画素との間の高さの変位を示す情報、又は画素に対応する高さの変位に基づいて定められる画素を通る法線の傾きを示す情報等である。本実施形態では、傾斜情報として高さ情報を用いる例について説明する。以下、高さ情報が関連付けられている画素を光沢画素という。
　画像処理装置１は、第１画像Ｐ１を取得すると、複数の光沢画素のそれぞれに関連付けられている高さ情報を取得する（図１の（２））。
　画像処理装置１は、複数の光沢画素のそれぞれについて、光沢画素に関連付けられている高さ情報と、当該光沢画素から所定範囲内の光沢画素の高さ情報とに基づいて、当該光沢画素の画素値の変化に用いる設定情報を設定する（図１の（３））。
　画像処理装置１は、第１画像Ｐ１とは異なる他の画像としての第２画像Ｐ２を取得すると（図１の（４））、第２画像Ｐ２から、設定情報に基づいて、第１画像Ｐ１に含まれている複数の光沢画素の位置に対応する画素を特定する。そして、画像処理装置１は、光沢画素の画素値を、特定した画素の画素値に決定する（図１の（５））。
　これにより、オブジェクトＸに対応する光沢画素は、設定情報に基づいて決定された画素の画素値によって明暗が表現され、結果として、オブジェクトＸの光沢感が表現される。また、第２画像Ｐ２をリアルタイムに変化させることにより、画像処理装置１は、光沢画素の画素値をリアルタイムに変化させることができる。よって、画像処理装置１は、オブジェクトＸ及び光源が配置された３次元空間を規定し、当該３次元空間における光の照射に関する演算を行うことなく、第２画像Ｐ２上の画素値の明暗に基づいて、光沢感を表現した画像を容易に出力することができる。
［画像処理装置１の構成］
　図２は、第１実施形態に係る画像処理装置１の構成を示す図である。画像処理装置１は、入力部１１と、表示部１２と、撮影部１３と、傾き検出部１４と、記憶部１５と、制御部１６とを備える。
　入力部１１は、例えば、ボタンや表示部１２上に配置される接触センサ等である。入力部１１は、画像処理装置１のユーザ等から操作入力を受け付ける。
　表示部１２は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等である。表示部１２は、制御部１６の制御に応じて、第１画像Ｐ１を表示する。
　撮影部１３は、例えばカメラであり、所定のフレームレートで画像処理装置１の周囲の風景等を撮影し、撮影した画像を制御部１６に出力する。
　傾き検出部１４は、例えば加速度センサであり、画像処理装置１の傾きを検出する。例えば、画像処理装置１の形状は長方形状であり、傾き検出部１４は、例えば、画像処理装置１の短手方向の傾き（Ｘ軸方向の傾き）と、長手方向の傾き（Ｙ軸方向の傾き）とを検出する。
　記憶部１５は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ等のＲＡＭ（Random Access Memory）、ハードディスクである。記憶部１５は、制御部１６を機能させるための各種プログラムを記憶する。例えば、記憶部１５は、制御部１６を第１取得部１６１、第１設定部１６２、第２設定部１６３、第２取得部１６４、画素値決定部１６５、及び表示制御部１６６として機能させる画像処理プログラムを記憶する。また、記憶部１５は、少なくとも１以上の第１画像Ｐ１を記憶する。
　ここで、第１画像Ｐ１は、画像に含まれる画素のうち、一部の複数の画素に関連付けられている高さ情報を付加情報として含むＰＮＧファイルやＪＰＧファイルやビットマップファイル等の、従来のアプリケーションが利用可能な画像ファイルである。当該画像ファイルは、第１画像Ｐ１に含まれる画素の画素値と、当該第１画像Ｐ１に含まれる一部の複数の画素に関連付けられる、付加情報としての高さ情報とを含んでいる。そして、画素に関連付けられている高さ情報と、当該画素から所定範囲内の画素の高さ情報とは、画像処理装置１（コンピュータ）により、当該画素の画素値の変化に用いる設定情報を設定するために参照される。
　第１画像Ｐ１がビットマップファイルである場合、ビットマップファイルは、複数の画素のそれぞれに関連付けられている画素値を格納する複数ビットの格納領域のうち、下位の１ビット以上の格納領域に高さ情報を含んでいる。このようにすることで、画像処理プログラムは、ビットマップファイルから当該高さ情報を取得できる。
　第１画像Ｐ１がＰＮＧファイルやＪＰＧファイルである場合、これらのファイルのフォーマットに従って高さ情報等が格納される。図３は、画像ファイルの構造の一例を示す図である。
　図３（ａ）は、ＰＮＧファイルのファイル構造を示す図である。ＰＮＧファイルは、ＰＮＧファイルシグネチャの後に、複数のチャンクが並ぶ構造である。複数のチャンクのうち、先頭のチャンクは、ＩＨＤＲチャンクであり、最後のチャンクは、ＩＥＮＤチャンクである。本実施形態において、第１画像Ｐ１がＰＮＧファイルである場合には、ＩＨＤＲチャンクとＩＥＮＤチャンクとの間に、付加情報に対応するチャンクとして、ｌｍＨｐチャンクと、ｌｍＭｐチャンクと、ｌｍＴｐチャンクとが含まれている。
　ｌｍＨｐチャンクは、高さ情報を格納するチャンクであり、１６ビット１チャネルで、高さ情報を格納している。
　ｌｍＭｐチャンクは、オブジェクトＸの光沢の特性を示す素材情報を格納するチャンクであり、８ビット１チャネルで素材情報を格納している。
　ｌｍＴｐチャンクは、素材が透明体である場合に用いられる透明度情報を格納するチャンクであり、８ビット１チャネルで透明度情報を格納している。
　図３（ｂ）は、ＪＰＧファイルのファイル構造を示す図である。ＪＰＧファイルは、ＳＯＩ（Start of Image）マーカ、ＥＯＩ（End of Image）マーカとの間に、複数のセグメント、ＳＯＳ（Start of Stream）マーカ、イメージデータが順番に格納されている。本実施形態において、第１画像Ｐ１がＪＰＧファイルである場合には、高さ情報、素材情報、透明度情報等の付加情報が複数のＡＰＰセグメント（例えば、ＡＰＰ２セグメント）に格納されている。ここで、ＡＰＰセグメントに格納されている各付加情報は、ＰＮＧファイルの構造と同様の構造で格納されている。
　また、付加情報を格納するＡＰＰセグメントのデータの先頭には、他のデータと混同されないように、付加情報の内容（高さ情報、素材情報、透明度情報、データ）を識別するための識別用文字列が付加されている。また、一のＡＰＰセグメントに、高さ情報等の付加情報が格納しきれない場合には、データの先頭に同じ識別用文字列が付加されているＡＰＰセグメントが連続して格納される。
　なお、本実施形態において、高さ情報は、ビットマップファイル、ＰＮＧファイル、ＪＰＧファイルのファイルフォーマットを崩すことなくこれらのファイルに付与されている。このため、高さ情報を利用することができないアプリケーションプログラム等は、当該ビットマップファイル、ＰＮＧファイル、ＪＰＧファイルを従来の高さ情報が付されていないビットマップファイル、ＰＮＧファイル、ＪＰＧファイルと同様に扱うことができる。すなわち、高さ情報を利用することができないアプリケーションプログラムが、第１画像Ｐ１を示す画像ファイルを表示させる場合、オブジェクトＸの色が変化しない状態でオブジェクトＸが表示された第１画像Ｐ１が表示されることとなる。
　また、本実施形態において、付加情報は、画像ファイルとは異なる別ファイル（例えば、画像ファイルが格納されている場所の別ファイル）に含まれていたり、ネットワークを介して接続可能な外部装置に記憶されていたりしてもよい。この場合、画像ファイルには、画像処理装置１が当該付加情報を別ファイル又は外部ファイルから取得するための情報として、スクリプト等が含まれていてもよい。
　制御部１６は、例えばＣＰＵである。制御部１６は、記憶部１５に記憶されている各種プログラムを実行することにより、画像処理装置１に係る機能を制御する。具体的には、制御部１６は、記憶部１５に記憶されている画像処理プログラムを実行することにより、第１取得部１６１、第１設定部１６２、第２設定部１６３、第２取得部１６４、画素値決定部１６５、及び表示制御部１６６として機能する。
　第１取得部１６１は、入力部１１がユーザから第１画像Ｐ１を示す画像ファイルを取得する操作入力を受け付けると、記憶部１５に記憶されている第１画像Ｐ１を取得する。第１取得部１６１は、第１画像Ｐ１を取得すると、当該第１画像Ｐ１に含まれる画素のうち、一部の複数の画素（光沢画素）に関連付けられている高さ情報を取得する。なお、画像処理装置１は、インターネットや近距離無線通信により外部の装置と通信を行う通信部（不図示）を介して、外部の装置から第１画像Ｐ１を取得してもよい。
　第１設定部１６２は、複数の光沢画素のそれぞれについて、当該光沢画素の高さ情報と、当該光沢画素から所定範囲内の光沢画素の高さ情報とに基づいて、当該光沢画素の画素値の変化に用いる設定情報を設定する。
　具体的には、第１設定部１６２は、一の光沢画素の高さ情報が示す高さと、当該一の光沢画素から所定範囲内の光沢画素の高さ情報が示す高さとに基づいて、当該一の光沢画素の高さの変化量を特定し、当該高さの変化量に基づいて設定情報を設定する。ここで、一の光沢画素から所定範囲内の光沢画素は、例えば、一の光沢画素に隣接している光沢画素である。
　一の光沢画素における高さの変化量は、当該一の光沢画素の位置におけるオブジェクトＸの傾斜量を示しており、光沢画素を視認した場合に、当該視認位置に入射する光の入射元の位置に関係している。そこで、第１設定部１６２は、高さの変化量に基づいて演算を行い、特定した高さの変化量に関連付けられている入射方向を特定する。そして、第１設定部１６２は、オブジェクトＸの高さと、特定した入射方向とに基づいて、光沢画素に入射する光の入射元となる第２画像Ｐ２上の画素の位置を特定し、当該位置を、一の光沢画素の設定情報として設定する。第１設定部１６２は、複数の光沢画素のそれぞれについて、設定情報を設定する。ここで、第１設定部１６２は、第１画像Ｐ１の視認位置が、第１画像Ｐ１に対して無限遠方であるものとして、当該視認位置に入射する光の入射元の位置（第２画像Ｐ２上の画素の位置）を特定する。このようにすることで、画像処理装置１は、単純な演算に基づいて光沢画素に入射する光の入射元となる第２画像Ｐ２上の画素の位置を特定するので、軽い負荷で当該画素を特定することができる。なお、設定情報は、第２画像Ｐ２上の画素の位置を示す情報であることとしたが、これに限らず、第２画像Ｐ２上の画素の位置を特定できる情報であれば、他の情報であってもよい。
　第１設定部１６２は、複数の光沢画素のそれぞれについて設定した設定情報を記憶部１５に一時的に記憶させる。
　第２設定部１６３は、高さ情報が関連付けられている複数の画素の光沢の特性を設定する。具体的には、記憶部１５は、複数の金属のそれぞれの光の反射率の特性を示す第２テーブルを記憶している。図４は、複数の金属のそれぞれの光の反射率の特性と、第２テーブルとの関係を示す図である。
　図４（ａ）では、金属の、可視光線の波長に対する反射率の特性を示している。図４（ａ）において、実線は金の特性を示し、破線は銀の特性を示し、一点鎖線は銅の特性を示している。図４（ａ）に示すように、それぞれの金属は、可視光線の波長に対する反射率がそれぞれ異なっている。そこで、図４（ａ）に示す特性に基づいて、図４（ｂ）に示すように、それぞれの金属ごとの、光の反射率の特性を示す第２テーブルを生成し、記憶部１５に記憶しておく。ここで、第２テーブルは、例えば、金属の種類（光沢種別）と、複数の色の要素（例えば、赤色、緑色、及び青色）と、色の要素のそれぞれの画素値（変換前の画素値）と、変換後の画素値とを関連付けて記憶している。
　第２設定部１６３は、入力部１１を介して、ユーザから複数の金属のうち、いずれかの金属の選択を受け付けることにより、第１画像Ｐ１に付されているオブジェクトＸの光沢の特性を設定する。なお、第１画像Ｐ１に対して複数のオブジェクトが付されている場合には、複数のオブジェクトのそれぞれについて、光沢の特性が設定されてもよい。また、一のオブジェクトＸに対応する複数の画素のそれぞれについて、それぞれ異なる光沢の特性が設定されてもよい。これにより、例えば、金色の光沢特性と、銀色の光沢特性が混在した一のオブジェクトＸを表現することができる。また、第１画像Ｐ１に付されているオブジェクトＸの光沢の特性は、予め定められていてもよい。この場合、オブジェクトＸに対応する金属の種別を示す種別情報が、画像ファイルの付加情報に含まれる。なお、画像ファイルの付加情報には、第１画像Ｐ１に付されているオブジェクトＸの光の反射率の特性を示す第２テーブルが格納されていてもよい。
　第２取得部１６４は、第１画像Ｐ１とは異なる他の画像として、第２画像Ｐ２を取得する。具体的には、第２取得部１６４は、第１取得部１６１が第１画像Ｐ１を取得したことに応じて、撮影部１３を動作させ、撮影部１３がリアルタイムに撮影した画像を第２画像Ｐ２として取得する。
　なお、第２取得部１６４は、撮影部１３がリアルタイムに撮影した画像のかわりに、第１画像Ｐ１に比べてサイズが大きい第３画像Ｐ３における一部の画像領域を第２画像Ｐ２として取得してもよい。具体的には、第２取得部１６４は、例えば、画像処理プログラムが、撮影部１３を使用することを許可されておらず、傾き検出部１４の使用を許可されている場合に、第１取得部１６１が第１画像Ｐ１を取得したことに応じて、傾き検出部１４を動作させる。そして、第２取得部１６４は、傾き検出部１４が検出した画像処理装置１の傾きに基づいて、予め記憶部１５に記憶されている第３画像Ｐ３における一部の画像領域を特定し、特定した画像領域を第２画像Ｐ２として取得する。
　なお、第３画像Ｐ３は、第１画像Ｐ１に比べてサイズが大きいこととしたが、これに限らず、第１画像Ｐ１に比べてサイズが小さくてもよい。この場合、第２取得部１６４は、傾き検出部１４が検出した画像処理装置１の傾きに基づいて、第３画像Ｐ３における一部の画像領域を特定し、特定した画像領域を第１画像Ｐ１のサイズ以上のサイズに拡大したものを第２画像Ｐ２として取得してもよい。
　図５は、第３画像Ｐ３から第２画像Ｐ２を取得する例を示す図である。図５に示すように、第３画像Ｐ３は、第１画像Ｐ１及び第２画像Ｐ２よりも大きく、色の明暗が表現された画像である。ここで、明るい色の領域は、光量が多く、光源に近い領域を表現しており、暗い色の領域は、光量が少なく、光源から遠い領域を表現している。第２取得部１６４は、傾き検出部１４が検出したＸ軸方向の傾きが大きいほど、第３画像Ｐ３の右側の画像領域から第２画像Ｐ２を取得する。また、第２取得部１６４は、傾き検出部１４が検出したＹ軸方向の傾きが大きいほど、第３画像Ｐ３の下側の画像領域から第２画像Ｐ２を取得する。傾き検出部１４が検出した傾きに基づいて、色の明暗が表現された第３画像Ｐ３から、一部の領域を第２画像Ｐ２として取得することで、画像処理装置１は、あたかもオブジェクトに対応する光源の位置が変化し、オブジェクトの表示態様が光源の位置に基づいて変化しているような視覚効果を、光源が配置された３次元空間を規定することなく表現することができる。
　なお、第３画像Ｐ３は、３６０度の画角を有する全天周カメラで撮った全天周画像であってもよい。
　画素値決定部１６５は、高さ情報が関連付けられている複数の光沢画素のそれぞれの画素値を、複数の光沢画素のそれぞれに対して設定された設定情報に基づいて決定する。具体的には、まず、画素値決定部１６５は、第１画像Ｐ１において高さ情報が関連付けられている複数の光沢画素のそれぞれについて、設定情報に基づいて、当該画素の位置に対応する一の第２画像Ｐ２の画素を特定する。
　図６は、第１画像Ｐ１の例を示す図であり、図７は、第２画像Ｐ２の例を示す図である。例えば、第１取得部１６１が、図６に示すように、高さ情報が関連付けられているオブジェクトＸを含む第１画像Ｐ１を取得し、第２取得部１６４が、図７（ａ）に示すように、色の明暗が表現された第２画像Ｐ２を取得したとする。この場合において、画素値決定部１６５は、図７（ｂ）に示すように、第２画像Ｐ２から、第１画像Ｐ１のオブジェクトＸの位置に対応する領域ＡＲを抽出することにより、オブジェクトＸに対応する複数の光沢画素のそれぞれについて、当該光沢画素の位置に対応する一の第２画像Ｐ２の画素を特定する。
　画素値決定部１６５は、第２画像Ｐ２から特定した画素の画素値を、第２設定部１６３において設定された光沢の特性とに基づいて変換し、変換された画素値を、光沢画素の画素値とする。
　例えば、画素値決定部１６５は、第２テーブルを参照し、第２設定部１６３において設定された光沢の特性に対応している複数の色の要素ごとの変換後の画素値を特定する。そして、画素値決定部１６５は、光沢画素に対応する第２画像Ｐ２の画素の要素ごとの画素値を、特定した変換後の画素値に変換することにより、光沢画素の画素値を決定する。
　図８は、オブジェクトＸに対応する光沢画素の画素値が決定されたときの第１画像Ｐ１の例を示す図である。図８に示すように、第１画像Ｐ１において高さ情報が関連付けられているオブジェクトＸの光沢画素の画素値は、第２画像Ｐ２の画素の複数の色の要素ごとの画素値が、第２テーブルに基づいてに変換された値となる。
　また、ユーザが、画像処理装置１の撮影部１３の撮影範囲を変化させることによって、第２取得部１６４が取得する第２画像Ｐ２をリアルタイムに変化させると、第１画像Ｐ１のオブジェクトＸの複数の光沢画素の画素値は、リアルタイムに変化する。これにより、第１画像Ｐ１において、オブジェクトＸがあたかも光っているように表示され、光沢感が強調されることとなる。
　なお、画素値決定部１６５は、第２画像Ｐ２から特定した画素の画素値を、第２設定部１６３において設定された光沢の特性に基づいて変換する前に、第２画像Ｐ２に対して画像処理を行ってもよい。そして、画素値決定部１６５は、画像処理が行われた第２画像Ｐ２の画素値を、第２設定部１６３において設定された光沢の特性とに基づいて変換し、変換された画素値を、光沢画素の画素値としてもよい。
　例えば、画素値決定部１６５は、ローパスフィルタに通した第２画像Ｐ２に基づいて光沢画素の画素値を決定してもよい。このようにすることで、画像処理装置１は、オブジェクトＸの質感を、凹凸が滑らかな質感（ソフトな質感）に表現することができる。
　また、画素値決定部１６５は、画像処理が行われた第２画像に基づいて決定したオブジェクトＸの画像と、画像処理が行われていない第２画像に基づいて決定したオブジェクトＸの画像とをα合成してもよい。例えば、ローパスフィルタに通した第２画像Ｐ２に基づいて決定したオブジェクトＸの画像と、ローパスフィルタに通していない第２画像Ｐ２に基づいて決定したオブジェクトＸの画像とをα合成してもよい。この場合において、画素値決定部１６５は、２つの画像の重み付けを調整することにより、オブジェクトＸの質感を、凹凸が滑らかな質感や、凹凸が鋭い質感（ハードな質感）や、ソフトな質感とハードな質感の中間の質感等に自由に表現することができる。
　表示制御部１６６は、第１画像Ｐ１において高さ情報が関連付けられている複数の光沢画素のそれぞれの画素値が変化した画像を表示部１２に表示させる。
　具体的には、表示制御部１６６は、第１画像Ｐ１を表示部１２に表示させておく。そして、表示制御部１６６は、第１画像Ｐ１の複数の光沢画素の画素値が算出されたことに応じて、表示部１２に表示されている第１画像Ｐ１の複数の光沢画素の画素値を算出された画素値に変化させる。
［フローチャート］
　続いて、第１実施形態に係る画像処理装置１における画像処理の流れについて説明する。図９は、第１実施形態に係る画像処理の流れを示すフローチャートである。
　まず、第１取得部１６１は、入力部１１がユーザから第１画像Ｐ１を取得する操作入力を受け付けると、記憶部１５に記憶されている第１画像Ｐ１を取得する（Ｓ１）。
　続いて、第１取得部１６１は、取得した第１画像Ｐ１に含まれる画素のうち、オブジェクトＸに対応する複数の光沢画素に関連付けられている高さ情報を取得する（Ｓ２）。
　続いて、第１設定部１６２は、複数の光沢画素のそれぞれについて、当該光沢画素の画素値の変化に用いる設定情報を設定する（Ｓ３）。
　続いて、第２設定部１６３は、入力部１１を介して、ユーザから複数の金属のうち、いずれかの金属の選択を受け付けることにより、光沢画素の光沢の特性を設定する（Ｓ４）。なお、Ｓ４の処理は任意に行われるようにしてもよい。
　続いて、第２取得部１６４は、撮影部１３を動作させ、撮影部１３がリアルタイムに撮影した画像を第２画像Ｐ２として取得する（Ｓ５）。なお、第２取得部１６４は、傾き検出部１４が検出した傾きに基づいて第３画像Ｐ３から第２画像Ｐ２を取得してもよい。
　続いて、画素値決定部１６５は、複数の光沢画素のそれぞれの画素値を、Ｓ３において設定された設定情報と、Ｓ４において設定された光沢特性とに基づいて決定する（Ｓ６）。
　続いて、表示制御部１６６は、複数の光沢画素の画素値が決定された第１画像Ｐ１を表示部１２に表示させる（Ｓ７）。これにより、複数の光沢画素に対応するオブジェクトＸの表示態様が変化する。
　続いて、制御部１６は、入力部１１を介して、第１画像Ｐ１の表示を終了させる終了操作を受け付けたか否かを判定する（Ｓ８）。制御部１６は、終了操作を受け付けたと判定すると、本フローチャートに係る処理を終了し、終了操作を受け付けていないと判定すると、Ｓ５に処理を移す。
［第１実施形態の効果］
　以上の通り、第１実施形態によれば、画像処理装置１は、第１画像Ｐ１に含まれる画素のうち、一部の複数の画素に関連付けられている高さ情報を取得し、高さ情報が関連付けられている複数の画素のそれぞれについて、当該画素の高さ情報と、当該画素から所定範囲内の画素の高さ情報とに基づいて、当該画素の画素値の変化に用いる設定情報を設定し、高さ情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定し、高さ情報が関連付けられている複数の画素のそれぞれの画素値が決定された第１画像Ｐ１を表示部１２に表示させる。
　これにより、複数の光沢画素の画素値は、高さ情報に基づいて設定された設定情報によって明暗が表現される。したがって、画像処理装置１は、高さ情報が関連付けられている複数の光沢画素の画素値を設定情報に基づいて決定することにより、光沢感を表現した画像を容易に出力することができる。
　また、画像処理装置１は、光沢画素に関連付けられた高さの変化量に基づいて、設定情報を設定する。一の光沢画素における高さの変化量は、当該一の光沢画素の位置におけるオブジェクトの傾斜量を示しており、光沢画素を視認した場合に、当該視認位置に入射する光の入射元の位置に関係している。このため、画像処理装置１は、実際の光の入射方向を示す設定情報に基づいて、実際の金属等の光沢感に近い光沢感を表現することができる。
　また、画像処理装置１は、撮影部１３がリアルタイムに撮影した第２画像Ｐ２から、設定情報に基づいて、光沢画素に対応する画素の位置を特定し、当該画素の画素値を光沢画素の画素値とする。
　第２画像Ｐ２をリアルタイムに変化させることにより、画像処理装置１は、オブジェクトＸ及び光源が配置された３次元空間を規定し、当該３次元空間における光の照射に関する演算を行うことなく、第１画像Ｐ１における光沢画素の画素値をリアルタイムに変化させ、複数の光沢画素に対応するオブジェクトＸがあたかも光っているように表示させることができる。これにより、画像処理装置１は、オブジェクトＸの光沢感を強調することができる。
　また、画像処理装置１は、光沢画素の光沢の特性の設定を受け付け、複数の光沢画素のそれぞれの画素値を、設定された設定情報と、設定された光沢の特性とに基づいて決定する。このようにすることで、画像処理装置１は、例えば、光沢の特性の設定をユーザから受け付けることにより、ユーザが所望する特性に基づいて、光沢画素の画素値を変化させることができる。
　なお、第１実施形態では、複数の金属から一の金属の選択を受け付けることにより、光沢画素の光沢の特性を設定したが、これに限らない。例えば、第２設定部１６３は、水滴やガラス等の透明体の選択を受け付けることにより、光沢画素の光沢の特性を、水滴やガラス等に透明体に対応する光沢の特性に設定してもよい。
　この場合、画素値決定部１６５は、複数の光沢画素のそれぞれに対応する第２画像Ｐ２の画素の位置と、オブジェクトＸによる光の屈折によって光が到達する第１画像Ｐ１の画素の位置とを特定するための設定情報を設定する。
　具体的には、第１設定部１６２は、オブジェクトＸの特性が金属である場合と同様に、一の光沢画素に対応する第２画像Ｐ２の画素を特定する。
　また、第１画像Ｐ１に対してオブジェクトＸが付される前の第１画像Ｐ１に対応する画像を、第１画像Ｐ１’として画像ファイルに付加しておく。そして、第１設定部１６２は、透明体であるオブジェクトＸの光の屈折率に基づいて、光沢画素の真上から視認した場合に、オブジェクトＸを透過して当該視認位置に入射する光の入射元の位置に対応する第１画像Ｐ１’の画素を特定する。
　第１設定部１６２は、特定した第２画像Ｐ２の画素の位置と、第１画像Ｐ１’の画素の位置とを示す設定情報を生成する。
　画素値決定部１６５は、複数の光沢画素のそれぞれについて、設定情報に基づいて、当該画素の位置に対応する一の第２画像Ｐ２の画素と、一の第１画像Ｐ１’の画素とを特定する。そして、画素値決定部１６５は、特定した第１画像Ｐ１’の画素の画素値を、第２設定部１６３において設定される、透明体における光の透過率に基づいて変換する。そして、画素値決定部１６５は、特定した第２画像Ｐ２の画素の画素値と、変換後の第１画像Ｐ１’の画素の画素値と、第２設定部１６３において設定される透明体の光の反射率とに基づいて、光沢画素の画素値を算出する。
　なお、上述の実施形態において、第１設定部１６２は、第１画像Ｐ１において、光沢画素に関連付けられている高さ情報に基づいて設定情報を設定したがこれに限らない。例えば、第１画像Ｐ１に対応する画像ファイルが、設定情報を格納していてもよく、第１設定部１６２は、第１画像Ｐ１に対応する画像ファイルから設定情報を取得するようにしてもよい。このようにすることで、画像処理装置１は、第１画像Ｐ１の取得時に、高さ情報に基づいて設定情報を算出することなく、設定情報を設定することができる。
　また、第１設定部１６２は、第１画像Ｐ１を解析することにより、第１画像Ｐ１に含まれる被写体等のオブジェクトの高さ情報を生成してもよい。
＜第２実施形態＞
［ユーザの描画操作に応じてオブジェクトを生成する］
　続いて、第２実施形態について説明する。第２実施形態に係る画像処理装置１は、ユーザから文字の入力操作を受け付けたことに応じて、入力された文字に対応するオブジェクトを生成する点で第１実施形態と異なる。以下に、第２実施形態に係る画像処理装置１について図面を参照して説明する。なお、第１実施形態と同様の構成については同一の符号を付し、詳細な説明を省略する。
　図１０は、第２実施形態に係る画像処理装置１の構成を示す図である。
　第２実施形態に係る画像処理装置１の制御部１６は、入力受付部１６７と、生成部１６８と、記憶制御部１６９とをさらに備える。
　入力受付部１６７は、第１取得部１６１が第１画像Ｐ１を取得した状態において、ユーザから、第１画像Ｐ１へのオブジェクトの挿入要求を受け付けると、入力部１１を介して、ユーザから、フォントの指定を受け付ける。そして、入力受付部１６７は、指定されたフォントに対応する、一の色（例えば黒色）の文字の入力操作を受け付ける。なお、入力受付部１６７は、フォントの指定を任意で受け付けてもよい。入力受付部１６７は、フォントが指定されなかった場合には、予め定められた所定のフォントによる文字の入力を受け付けてもよい。また、オブジェクトの入力操作は、第１画像Ｐ１に重ねて配置されるレイヤー画像に対して行われるものとする。なお、オブジェクトの入力操作前において、レイヤー画像の全ての画素の画素値は０であるものとする。また、入力される文字には、文字、数字、記号が含まれるものとする。
　生成部１６８は、指定されたフォントに基づいて文字入力を行った場合に、入力された文字を形成する１以上の線画像のそれぞれからの距離に応じて、入力された文字に対応する複数の光沢画素の高さを設定することにより、入力された文字に対応する文字オブジェクトの高さ情報を生成する。
　以下に、図１１及び図１２を参照しながら、入力された文字等に対応する高さ情報を生成する処理について説明する。図１１（ａ）は、入力された文字等の一例を示す図である。図１１（ａ）は、記号「＋」が入力された例を示す。図１１（ｂ）は、図１１（ａ）における位置Ａから位置Ｂまでの画素の画素値を示す図である。図１１（ａ）のように文字等が入力された場合に、生成部１６８は、第１画像Ｐ１に対応して入力された文字に対応する一の色（黒色）によって構成される１以上の線画像のそれぞれをローパスフィルタに通すことによって、当該１以上の線画像の色の階調を複数階調に変換する。生成部１６８は、図１１（ｃ）に示すように、例えば、当該１以上の線画像の色の階調を、８ビットによって表現可能な２５６階調に変換する。
　続いて、生成部１６８は、複数階調に変換された色の階調に基づいて、オブジェクトに対応する高さ情報を生成する。例えば、記憶部１５に、８ビットの画素値を１６ビットの階調の高さに変換する変換テーブルを記憶させておき、生成部１６８は、当該変換テーブルを参照して、８ビットの画素値を、図１１（ｄ）に示すように１６ビットの高さに変換する。ここで、生成部１６８は、変換テーブルを用いて画素値を変換する際に、図１１（ｃ）に示すように画素値が線形に増加している状態を示す８ビットの画素値の集合を、図１１（ｄ）に示すように高さが非線形に増加している状態を示す１６ビットの高さの集合に変化させる。なお、本実施形態では、８ビットの画素値の集合を１６ビットの高さの集合に変化させたが、これに限らず、所定ビット（例えば、１０ビット）以上の高さの集合に変化させてもよい。
　また、生成部１６８は、複数の直線との距離が所定距離以内である地点の画素については、それぞれの直線に基づいて定められる高さを合計することにより当該画素に対応する高さを算出する。例えば、図１２（ｂ）は、図１２（ａ）における位置Ｃから位置Ｄまでの高さを示す図である。
　この場合において、図１２（ｂ）に示す範囲Ｅでは、２本の線を示す線画像のそれぞれから算出される高さが重複した状態となる。そこで、生成部１６８は、２本の線を示す線画像のそれぞれから算出される高さを合計し、図１２（ｃ）の実線に示すように高さを算出する。
　記憶制御部１６９は、入力部１１によって、ユーザからオブジェクトの保存操作が受け付けられたことに応じて、高さが０よりも大きい光沢画素のそれぞれについて、算出された高さを示す高さ情報を関連付けた第１画像Ｐ１の画像ファイルを記憶部１５に記憶させる。
　画素値決定部１６５は、生成されたオブジェクトに対応する光沢画素の画素値を決定する場合、高さ情報が関連付けられている複数の光沢画素のうち、高さ情報が示す高さが所定値以上の光沢画素の画素値を、設定された設定情報に基づいて決定するメタボール処理を実行する。
　例えば、画素値決定部１６５は、図１２（ａ）に示すように入力された複数の線画像から構成されるオブジェクトについて、図１２（ｃ）に示す高さのうち閾値以上の高さの画素の画素値を、設定情報に基づいて決定する。図１２（ｄ）は、設定情報に基づいて画素値が決定される光沢画素の集合、すなわち、オブジェクトの形状を示す図である。図１２（ｄ）に示されるように、オブジェクトの形状は、図１２（ａ）に示す線画像の形状に比べて、端部及び交差している部分が丸みを帯び、実際の金属の形状に近いことが確認できる。
［フローチャート］
　続いて、第２実施形態に係るオブジェクトの生成処理の流れについて説明する。図１３は、第２実施形態に係るオブジェクトの生成処理の流れを示すフローチャートである。
　まず、入力受付部１６７は、入力部１１を介してユーザからオブジェクトに対応する文字の入力を受け付ける（Ｓ１１）。
　続いて、生成部１６８は、１以上の線画像のそれぞれをローパスフィルタに通すことによって、当該１以上の線画像の画素値の階調を複数階調（８ビットの階調）に変換する（Ｓ１２）。
　続いて、生成部１６８は、記憶部１５に記憶されている変換テーブルを用いて、複数階調に変換された画素値を、複数階調（１６ビットの階調）の高さに変換する（Ｓ１３）。
　続いて、記憶制御部１６９は、ユーザからオブジェクトの保存操作が受け付けられたか否かを判定する（Ｓ１４）。記憶制御部１６９は、保存操作が受け付けられていないと判定すると、Ｓ１６に処理を移す。また、記憶制御部１６９は、保存操作が受け付けられたと判定するとＳ１５に処理を移し、高さが０よりも大きい光沢画素のそれぞれに対応する高さ情報を生成し、当該高さ情報を関連付けた第１画像Ｐ１の画像ファイルを記憶部１５に記憶させる。
　Ｓ１６において、制御部１６は、入力部１１を介して、オブジェクトの入力の終了操作を受け付けたか否かを判定する。制御部１６は、終了操作を受け付けたと判定すると、本フローチャートに係る処理を終了し、終了操作を受け付けていないと判定すると、Ｓ１１に処理を移す。
［第２実施形態の効果］
　以上の通り、第２実施形態によれば、画像処理装置１は、第１画像Ｐ１に付与されたオブジェクトを形成する１以上の線画像のそれぞれからの距離に応じて、オブジェクトに対応する画素の高さを設定することにより高さ情報を生成し、高さ情報が関連付けられている複数の画素のうち、高さ情報が示す高さが所定値以上の画素の画素値を、設定された設定情報に基づいて決定する。このようにすることで、画像処理装置１は、入力されたオブジェクトの形状を、実際の金属の形状に似た形状とすることができる。
　また、画像処理装置１は、第１画像Ｐ１に付与された一の色によって構成されるオブジェクトの線画像をローパスフィルタに通すことによって当該オブジェクトの色の階調を複数階調に変換し、当該複数階調に基づいて、当該オブジェクトに対応する高さ情報を生成する。このようにすることで、画像処理装置１は、ユーザによって描画された線画像から実際の金属の形状に似たオブジェクトを容易に生成することができる。
　なお、第２実施形態では、画像処理装置１は、入力された文字に基づいてオブジェクトを生成したが、これに限らない。入力受付部１６７は、入力部１１を介して、ユーザから、一の色（例えば黒色）の線画像の描画を受け付けることにより手書きオブジェクトの入力操作を受け付けてもよい。
　この場合、生成部１６８は、第１画像Ｐ１に対応して描画された、手書きオブジェクトを形成する１以上の線画像のそれぞれからの距離に応じて、手書きオブジェクトに対応する複数の光沢画素の高さを設定することにより、高さ情報を生成してもよい。なお、線画像からの距離は、例えば、線画像の中心線からの距離、又は線画像の輪郭を示す一の輪郭線からの距離である。
＜第３実施形態＞
［撮影装置２において撮影した第１画像Ｐ１を取得する］
　続いて、第３実施形態について説明する。第３実施形態は、画像処理システムＳに係る実施形態である。第３実施形態において、画像処理システムＳは、ユーザ等の写真撮影を行う撮影装置２と、撮影装置２において撮影した画像を第１画像Ｐ１として取得する画像処理装置１とを備える。
　図１４は、第３実施形態に係る画像処理システムＳの概要を説明する図である。第３実施形態において、撮影装置２は、例えば、アミューズメント施設等に設置され、ユーザ等の写真撮影を行うとともに、撮影した画像をシール等に印刷して出力するコンピュータである。
　第３実施形態において、撮影装置２は、ユーザから所定の金額の入金を受け付けたことに応じて、ユーザ等の撮影を開始する（図１４の（１））。撮影装置２は、ユーザ等を撮影した後に、ユーザから、撮影した画像に対するオブジェクト等の付与を受け付ける（図１４の（２））。その後、撮影装置２は、オブジェクトが付された画像をシール等に印刷して出力する（図１４の（３））。撮影装置２は、撮影した画像を第１画像Ｐ１として、近距離無線通信等を用いて画像処理装置１に送信する（図１４の（４））。画像処理装置１は、撮影装置２から送信された第１画像Ｐ１を取得する（図１４の（５））。
　図１５は、第３実施形態に係る撮影装置２の構成を示す図である。撮影装置２は、入力部２１と、表示部２２と、撮影部２３と、通信部２４と、印刷部２５と、記憶部２６と、制御部２７とを備える。
　入力部２１は、例えば、ボタンや、接触センサ等であり、ユーザから操作入力を受け付ける。
　表示部２２は、例えば、液晶ディスプレイや有機ＥＬディスプレイ等である。表示部１２は、制御部１６の制御に応じて、撮影した画像や、ユーザが当該画像に付与したオブジェクトを表示する。
　撮影部２３は、例えばカメラであり、撮影装置２を操作するユーザを撮影し、撮影した画像を制御部２７に出力する。
　通信部２４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）や、ＮＦＣ（Near Field Communication）等の近距離無線通信によって、撮影装置２と所定範囲内に位置する画像処理装置１と近距離無線通信を行う。
　印刷部２５は、例えばプリンタであり、制御部２７の制御に応じて、撮影した画像をシール等の紙媒体に印刷する。
　記憶部２６は、例えば、ＲＯＭ、ＲＡＭ、ハードディスクである。記憶部２６は、制御部２７を機能させるための各種プログラムを記憶する。例えば、記憶部２６は、制御部２７を撮影制御部２７１、入力受付部２７２、生成部２７３、印刷制御部２７４、及び送信部２７５として機能させる撮影用プログラムを記憶する。
　制御部２７は、例えばＣＰＵである。制御部２７は、記憶部２６に記憶されている各種プログラムを実行することにより、撮影装置２に係る機能を制御する。制御部２７は、撮影制御部２７１と、入力受付部２７２と、生成部２７３と、印刷制御部２７４と、送信部２７５とを備える。
　撮影制御部２７１は、ユーザから所定の金額の入金を受け付けたことに応じて、ユーザ等の撮影を開始する。
　入力受付部２７２は、撮影部２３がユーザ等の撮影を行ったことに応じて、高さ情報が関連付けられる規定オブジェクト及び手書きオブジェクトを受け付ける。規定オブジェクトは、記憶部２６に予め複数記憶されており、入力受付部２７２は、入力部２１を介して、当該複数の規定オブジェクトからの選択操作を受け付ける。手書きオブジェクトの受け付け手順は、第２実施形態と同様であるので説明を省略する。
　生成部２７３は、複数の画素に、入力受付部２７２が受け付けたオブジェクトに対応する高さを示す高さ情報が関連付けられた第１画像Ｐ１を生成する。具体的には、生成部２７３は、入力受付部２７２が手書きオブジェクトを受け付けた場合には、第２実施形態において説明した手順と同様の手順で手書きオブジェクトを生成する。生成部２７３は、撮影した画像を構成する画素のうち、一部の複数の画素に対して、入力受付部２７２が受け付けた規定オブジェクト、及び生成した手書きオブジェクトのそれぞれに対応する高さを示す高さ情報が関連付けられた第１画像Ｐ１を生成する。
　印刷制御部２７４は、規定オブジェクト及び手書きオブジェクトの入力の受付が完了したことに応じて、規定オブジェクト及び手書きオブジェクトの少なくともいずれかが付加された画像を印刷部２５に印刷させる。
　送信部２７５は、印刷部２５が画像を印刷した後、ユーザから画像の取得要求を受け付けたことに応じて、生成部２７３が生成した第１画像Ｐ１を、近距離無線通信等によって画像処理装置１に送信する。なお、本実施形態において、送信部２７５は、近距離無線通信等によって、第１画像Ｐ１を画像処理装置１に送信したが、これに限らない。送信部２７５は、例えば、インターネット等の通信ネットワークを介して第１画像Ｐ１を画像処理装置１に送信してもよい。この場合、送信部２７５は、例えば、ユーザから、メールアドレスや、メッセンジャーサービスのユーザＩＤを受け付け、当該メールアドレス及びユーザＩＤに基づいて、第１画像Ｐ１を画像処理装置１に送信してもよい。
　画像処理装置１は、撮影装置２から近距離無線通信等によって送信された第１画像Ｐ１を取得する。なお、画像処理装置１は、ユーザの操作に応じて、撮影装置２から取得した第１画像Ｐ１を、メールやメッセンジャー等によって他のユーザに送信してもよい。
［第３実施形態の効果］
　以上の通り、第３実施形態によれば、画像処理装置１が撮影装置２から近距離無線通信等によって送信された第１画像Ｐ１を取得するので、画像処理装置１のユーザは、撮影装置２において撮影した画像としての第１画像Ｐ１を、自身の画像処理装置１において表示させることができる。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。
　上述の実施形態において、第１画像Ｐ１は、オブジェクトに対応する位置に、複数の光沢画素を含む画像であることとしたが、これに限らない。例えば、第１画像Ｐ１は、メッセンジャーアプリケーションやメールアプリケーションにおいて用いられるアイコンや絵文字等のオブジェクトであってもよい。このようにすることで、メッセンジャーアプリケーションやメールアプリケーションにおいて、光沢感があるアイコンや絵文字を表示させることができる。
１・・・画像処理装置、１１・・・入力部、１２・・・表示部、１３・・・撮影部、１４・・・傾き検出部、１５・・・記憶部、１６・・・制御部、１６１・・・第１取得部、１６２・・・第１設定部、１６３・・・第２設定部、１６４・・・第２取得部、１６５・・・画素値決定部、１６６・・・表示制御部、１６７・・・入力受付部、１６８・・・生成部、１６９・・・記憶制御部、２・・・撮影装置、２１・・・入力部、２２・・・表示部、２３・・・撮影部、２４・・・通信部、２５・・・印刷部、２６・・・記憶部、２７・・・制御部、２７１・・・撮影制御部、２７２・・・入力受付部、２７３・・・生成部、２７４・・・印刷制御部、２７５・・・送信部、Ｓ・・・画像処理システム

Claims (13)

  1. 　画像に含まれる画素のうち、傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定する第１設定部と、
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定する画素値決定部と、
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させる表示制御部と、
    　を備える画像処理装置。
  2. 　前記傾斜情報は、前記画素の高さを示す高さ情報であり、
    　前記複数の画素に関連付けられている高さ情報を取得する第１取得部をさらに備え、
    　前記第１設定部は、前記複数の画素のそれぞれについて、前記第１取得部が取得した当該画素の高さ情報と、前記第１取得部が取得した、当該画素から所定範囲内の画素の高さ情報とに基づいて、当該画素の画素値の変化に用いる前記設定情報を設定する、
    　請求項１に記載の画像処理装置。
  3. 　前記第１設定部は、前記複数の画素のそれぞれについて、当該画素に関連付けられている高さ情報と、当該画素から所定範囲内の画素に関連付けられている高さ情報とに基づいて、当該画素に対応する高さの変化量を特定し、当該高さの変化量に基づいて前記設定情報を設定する、
    　請求項２に記載の画像処理装置。
  4. 　前記画像とは異なる他の画像を取得する第２取得部をさらに備え、
    　前記画素値決定部は、前記傾斜情報が関連付けられている複数の画素のそれぞれについて、前記設定情報に基づいて当該画素の位置に対応する位置の前記他の画像の画素を特定し、特定した画素の画素値に基づいて、当該画素の画素値を決定する、
    　請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記第２取得部は、撮影部がリアルタイムに撮影した画像を前記他の画像として取得する、
    　請求項４に記載の画像処理装置。
  6. 　前記画像処理装置の傾きを検出する傾き検出部をさらに備え、
    　前記第２取得部は、色の明暗が表現された画像を取得し、前記傾き検出部が検出した前記画像処理装置の傾きに基づいて前記画像における一部の画像領域を特定し、特定した画像領域を前記他の画像として取得する、
    　請求項５に記載の画像処理装置。
  7. 　前記傾斜情報は、前記画素の高さを示す高さ情報であり、
    　前記画像に対して入力された文字を示すオブジェクトを形成する１以上の線画像のそれぞれからの距離に応じて、前記オブジェクトに対応する複数の画素の高さを設定することにより前記高さ情報を生成する生成部をさらに備え、
    　前記画素値決定部は、前記高さ情報が関連付けられている複数の画素のうち、前記高さ情報が示す高さが所定値以上の画素の画素値を、設定された設定情報に基づいて決定する、
    　請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記生成部は、前記画像に対応して描画された一の色によって構成される前記１以上の線画像のそれぞれをローパスフィルタに通すことによって当該１以上の線画像の色の階調を複数階調に変換し、当該複数階調に基づいて、前記オブジェクトに対応する前記高さ情報を生成する、
    　請求項７に記載の画像処理装置。
  9. 　前記傾斜情報が関連付けられている複数の画素の光沢の特性を設定する第２設定部をさらに備え、
    　前記画素値決定部は、前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、設定された設定情報と、設定された前記光沢の特性とに基づいて決定する、
    　請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　画像処理装置と、撮影装置とを備える画像処理システムであって、
    　前記撮影装置は、画像を撮影する撮影部と、
    　撮影した前記画像に対して付与する、傾斜情報を有するオブジェクトの入力を受け付ける入力受付部と、
    　複数の画素に、前記オブジェクトに対応する高さを示す前記傾斜情報が関連付けられた前記画像を生成する生成部と、
    　生成された前記画像を前記画像処理装置に送信する送信部とを有し、
    　前記画像処理装置は、
    　前記画像を取得し、前記画像に含まれる画素のうち、前記傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定する第１設定部と、
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定する画素値決定部と、
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させる表示制御部とを有する、
    　画像処理システム。
  11. 　コンピュータにより実行される、
    　画像に含まれる画素のうち、傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定するステップと、
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定するステップと、
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させるステップと、
    　を備える画像処理方法。
  12. 　コンピュータを、
    　画像に含まれる画素のうち、傾斜情報が関連付けられている一部の複数の画素のそれぞれについて、当該画素の傾斜情報に基づいて、当該画素の画素値の変化に用いる設定情報を設定する第１設定部、
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値を、複数の画素のそれぞれに対して設定された設定情報に基づいて決定する画素値決定部、及び
    　前記傾斜情報が関連付けられている複数の画素のそれぞれの画素値が決定された前記画像を表示部に表示させる表示制御部、
    　として機能させる画像処理プログラム。
  13. 　画像に含まれる画素の画素値と、
    　前記画像に含まれる一部の複数の画素に関連付けられる付加情報としての傾斜情報、又はコンピュータに前記傾斜情報を外部から取得させる情報とを含み、
    　前記画素に関連付けられている傾斜情報は、コンピュータにより、当該画素の画素値の変化に用いる設定情報を設定するために参照される、
    　画像データ構造。
     
PCT/JP2015/075724 2015-09-10 2015-09-10 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造 WO2017042933A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017538795A JP6440855B2 (ja) 2015-09-10 2015-09-10 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
PCT/JP2015/075724 WO2017042933A1 (ja) 2015-09-10 2015-09-10 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/075724 WO2017042933A1 (ja) 2015-09-10 2015-09-10 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造

Publications (1)

Publication Number Publication Date
WO2017042933A1 true WO2017042933A1 (ja) 2017-03-16

Family

ID=58239292

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/075724 WO2017042933A1 (ja) 2015-09-10 2015-09-10 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造

Country Status (2)

Country Link
JP (1) JP6440855B2 (ja)
WO (1) WO2017042933A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546076A (ja) * 1991-08-13 1993-02-26 Furuno Electric Co Ltd デジタルマツプジエネレータ
JPH0720845A (ja) * 1993-06-18 1995-01-24 Nec Home Electron Ltd 多階調文字生成装置
JPH08138067A (ja) * 1994-11-15 1996-05-31 Fujitsu Ltd 線分アンチエイリアシング装置
JPH1027242A (ja) * 1996-02-21 1998-01-27 Taylor Hobson Ltd 画像処理装置および方法ならびに表面テクスチャの計測装置および方法
JP2003132350A (ja) * 2001-10-25 2003-05-09 Fuji Photo Film Co Ltd 画像表示方法、画像処理方法、画像処理装置、走査読取装置および画像信号作成方法
JP2008004085A (ja) * 2006-05-23 2008-01-10 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202310B2 (en) * 2010-04-13 2015-12-01 Disney Enterprises, Inc. Physical reproduction of reflectance fields

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0546076A (ja) * 1991-08-13 1993-02-26 Furuno Electric Co Ltd デジタルマツプジエネレータ
JPH0720845A (ja) * 1993-06-18 1995-01-24 Nec Home Electron Ltd 多階調文字生成装置
JPH08138067A (ja) * 1994-11-15 1996-05-31 Fujitsu Ltd 線分アンチエイリアシング装置
JPH1027242A (ja) * 1996-02-21 1998-01-27 Taylor Hobson Ltd 画像処理装置および方法ならびに表面テクスチャの計測装置および方法
JP2003132350A (ja) * 2001-10-25 2003-05-09 Fuji Photo Film Co Ltd 画像表示方法、画像処理方法、画像処理装置、走査読取装置および画像信号作成方法
JP2008004085A (ja) * 2006-05-23 2008-01-10 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路

Also Published As

Publication number Publication date
JP6440855B2 (ja) 2018-12-19
JPWO2017042933A1 (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US7978247B2 (en) Focusing information visualization device, and corresponding method, program and recording medium
US10681287B2 (en) Apparatus and method for displaying AR object
US8908975B2 (en) Apparatus and method for automatically recognizing a QR code
US20040093432A1 (en) Method and system for conducting image processing from a mobile client device
WO2017154705A1 (ja) 撮像装置、画像処理装置、画像処理プログラム、データ構造、及び撮像システム
US20090135266A1 (en) System for scribing a visible label
US20080030711A1 (en) Method for measuring distance to object
US9159143B2 (en) Apparatus and method for generating character collage message
CN109240572A (zh) 一种获取图片的方法、对图片进行处理的方法及装置
JP2017504017A (ja) 計測機器、システム、及びプログラム
KR20160147194A (ko) 표시 장치 및 그 구동 방법
JP5230778B2 (ja) オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
JP6808583B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2016142988A (ja) 表示装置及び表示制御プログラム
JP5868050B2 (ja) 表示装置及びその制御方法
JP2009069365A (ja) 画像表示データ生成装置及び画像表示データ生成方法
US20210166353A1 (en) Generation of bokeh images using adaptive focus range and layered scattering
CN111124404A (zh) 一种自定义颜色的显示方法及系统
KR101638630B1 (ko) 증강현실 데이터 최적화 방법
KR101214674B1 (ko) 텍스트를 포함하는 모자이크 이미지를 생성하기 위한 장치 및 방법
JP6440855B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
CN114089931B (zh) 图片打印方法、电子设备及计算机可读存储介质
JP2015158640A (ja) 表示装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15903595

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017538795

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15903595

Country of ref document: EP

Kind code of ref document: A1