WO2020026670A1 - 画像生成装置、画像生成方法、およびプログラム - Google Patents

画像生成装置、画像生成方法、およびプログラム Download PDF

Info

Publication number
WO2020026670A1
WO2020026670A1 PCT/JP2019/026028 JP2019026028W WO2020026670A1 WO 2020026670 A1 WO2020026670 A1 WO 2020026670A1 JP 2019026028 W JP2019026028 W JP 2019026028W WO 2020026670 A1 WO2020026670 A1 WO 2020026670A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
image
map
series
dimensional array
Prior art date
Application number
PCT/JP2019/026028
Other languages
English (en)
French (fr)
Inventor
隆寛 河邉
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/263,118 priority Critical patent/US11514636B2/en
Publication of WO2020026670A1 publication Critical patent/WO2020026670A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/24—Fluid dynamics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Definitions

  • the present invention relates to an image processing technique, and more particularly to a technique for imparting a transparent or translucent material texture to an arbitrary image.
  • transparent material texture (hereinafter, referred to as “transparent material texture”)
  • transparent material texture it is necessary to simulate the characteristics of light that is reflected, transmitted, absorbed, and refracted on the surface of a transparent material, and render the simulation by computer graphics technology to form an image.
  • Patent Document 1 there is a method of imparting a transparent material texture to an arbitrary image by using simple image processing that does not use advanced technology that requires relatively knowledge of the user, such as physical properties of transparent material, simulation of light, and rendering (for example, see Patent Document 1).
  • a transparent material existing in the world has a refractive index of 1 or more, if a target different from the transparent material exists behind the transparent material, the image information of the target is deformed.
  • a transparent material texture is given to an object by dynamically imitating the image deformation by image processing, that is, performing image processing of dynamically deforming an image of an arbitrary object. Have gotten the image.
  • the present invention has been made in view of such a point, and an object of the present invention is to provide an arbitrary image with a texture of an arbitrary transparent material.
  • each pixel of the target image is moved in accordance with each element of each deformation map included in the series of deformation maps corresponding to the time series to obtain each time-series deformation image.
  • Each element of each deformation map indicates the moving direction and the moving amount of each pixel of the target image corresponding to each element.
  • Each deformation map included in the series of the deformation maps corresponding to the first time section in the time series corresponds to a two-dimensional array obtained by moving the elements of the two-dimensional array corresponding to the immediately preceding deformation map in the first direction.
  • Each deformation map included in the series of the deformation maps corresponding to the second time section in the time series corresponds to the two-dimensional array obtained by moving the elements of the two-dimensional array corresponding to the immediately preceding deformation map in the second direction. I do. However, the first direction is different from the second direction.
  • FIG. 1 is a block diagram illustrating a functional configuration of the image generating apparatus according to the embodiment.
  • FIG. 2 is a graph illustrating the relationship between the ratio of the linear motion included in the image, the number of presentation frames, and the moving speed.
  • FIG. 3 is a conceptual diagram for illustrating the dynamic image deformation processing according to the embodiment.
  • FIG. 4 is a graph illustrating the relationship between the duration of one-way exercise, the moving speed, and the evaluation value of the texture of the transparent material.
  • FIG. 5 is a graph illustrating the relationship between the duration of one-way exercise, the manner of exercise (reciprocating or one-way exercise), and the evaluation value of the texture of the transparent material.
  • FIG. 6 is a conceptual diagram for explaining an angle between two moving directions.
  • Patent Literature 1 does not assume that a solid texture is given to an image among transparent materials.
  • a long-time sequence of dynamically deformed images obtained by the method proposed in Patent Document 1 does not include a linear motion component that contributes to the perception of a solid.
  • FIG. 2 shows the calculation of the optical flow (pixel movement pattern between frames) of a dynamically deformed image sequence generated by the method proposed in Patent Document 1, and the linear motion component (pixel-to-frame) of pixels contained therein.
  • the presentation time per frame is 13.7 msec. It can be seen that as the number of frames of the dynamically deformed image sequence increases, the ratio of the linear motion included in the optical flow decreases. In particular, when the presentation time of the dynamically deformed image sequence exceeds 167 msec, linear motion is hardly included in the dynamically deformed image sequence.
  • the object In order for an observer to recognize that an arbitrary object includes a rigid body, the object needs to include a component that performs a linear motion. Therefore, the object is generated by the method proposed in Patent Document 1.
  • the presentation time of the dynamic deformation image sequence exceeds 167 msec, it is considered that the observer tends to have a texture of a transparent material such as a fluid from the dynamic deformation image sequence.
  • the texture of a solid transparent material is given to the target image by obtaining a sequence of dynamically deformed images in which a linear motion component is continuously included in the optical flow.
  • a deformed map used in the pixel warping method also referred to as “image warping method” or “image warping method” is devised.
  • Reference 1 Kawabe, T., Maruya, K., & Nishida, S., "Perceptual transparency from image deformation," Proceedings of the National Academy of Sciences, August 18, 2015, 112 (33), E4620-E4627, [Search on June 12, 2018], Internet ⁇ https://doi.org/10.1073/pnas.1500913112>
  • a deformed map is used to deform an image of a target image to obtain a deformed image.
  • the target image is an image in which the number of pixels in the horizontal direction is X and the number of pixels in the vertical direction is Y, that is, an image in which the pixel values of X ⁇ Y pixels are each element of a two-dimensional array.
  • X and Y are positive integers.
  • the deformed map is a two-dimensional array having X ⁇ Y elements in which the number of elements in the horizontal direction and the number of elements in the vertical direction are the same as the target image.
  • Each element of the deformed map can take any of a positive number, a negative number, and zero.
  • Each element of the deformed map corresponds to each pixel of the target image, and indicates a moving direction and a moving amount of each corresponding pixel.
  • the horizontal coordinates of the two-dimensional array are expressed as x (where x is a number satisfying 1 ⁇ x ⁇ X), and the vertical coordinates are expressed as y (where y is 1 ⁇ y ⁇ Y).
  • the coordinates are expressed as (x, y)
  • the element e (x, y) of each coordinate (x, y) of the deformed map is a pixel p (x, y) of each coordinate (x, y) of the target image.
  • Y The moving direction is represented by the sign of the element e (x, y), and the moving amount is represented by the absolute value of the element e (x, y).
  • a deformed map representing horizontal pixel movement hereinafter referred to as a “horizontal deformed map”
  • a vertical pixel movement And a deformed map hereinafter, referred to as a "vertical deformed map”
  • the pixel p (x, y) in the target image is moved to the right to 1 and the element e H ( If the element value of (x, y) is -1, the pixel p (x, y) in the target image is moved to 1 to the left.
  • the element value of the element e V (x, y) in the vertically deformed map is 1, the pixel p (x, y) in the target image is moved upward to 1, and the element e V in the vertically deformed map is moved.
  • the element value of (x, y) is -1, the pixel p (x, y) in the target image is moved downward to 1.
  • a deformed deformation corresponding to the horizontal deformation map and the vertical deformation map is performed on the target image. An image is obtained.
  • such a horizontally deformed map and a vertically deformed map are prepared for each of the K consecutive frames, and the same target image is deformed according to the horizontally deformed map and the vertically deformed map of each frame.
  • a sequence of K frames of deformed images is obtained.
  • K is an integer of 3 or more.
  • the sequence of the K frames of deformed images obtained in this manner is a “dynamically deformed image sequence”.
  • the rows of the K horizontal deformation maps and the rows of the K vertical deformation maps for generating the dynamically deformed image sequence of K frames are referred to as a “horizontal three-dimensional deformation map” and a “vertical deformation map”, respectively.
  • the direction three-dimensional deformation map is called.
  • a set of the horizontal three-dimensional deformation map and the vertical three-dimensional deformation map is referred to as a “three-dimensional deformation map”.
  • the horizontal three-dimensional deformation map and the vertical three-dimensional deformation map are respectively a three-dimensional array of the number of pixels X in the horizontal direction ⁇ the number of pixels Y in the vertical direction ⁇ the number of frames K.
  • the elements e H (x, y) and e V (x, y) of a certain horizontal deformation map and a certain vertical deformation map are converted into a frame in one direction.
  • the horizontal three-dimensional deformation map which is a row of K horizontal deformation maps
  • the vertical direction which is a row of K vertical deformation maps
  • a three-dimensional deformation map (hereinafter referred to as a “three-dimensional deformation map given only one-way motion”) that is a set of three-dimensional deformation maps
  • a target image is deformed corresponding to the three-dimensional deformation map.
  • Generate a dynamically deformed image sequence In the present embodiment, the texture of a solid transparent material is imparted to the target image by devising a three-dimensional deformation map. This will be described in detail below.
  • the image generation device 11 of the present embodiment includes a two-dimensional noise storage unit 110, a motion imparting unit 111, a filtering unit 112, a dynamic image transformation unit 113, and a moving image generation unit 114.
  • the image generating device 11 generates and outputs a moving image in which a texture is added to the input target image P, and the moving image generated by the image generating device 11 is presented from the moving image presenting device 12.
  • ⁇ Input to Image Generation Device 11 An arbitrary target image P is input to the image generation device 11.
  • the number of pixels in the horizontal direction is a positive integer X
  • the number of pixels in the vertical direction is a positive integer Y. That is, the pixel value of X ⁇ Y pixels is equal to each element of the two-dimensional array.
  • a pixel at coordinates (x, y) satisfying 1 ⁇ x ⁇ X and 1 ⁇ y ⁇ Y of the target image P is defined as p (x, y).
  • the target image P input to the image generation device 11 is input to the dynamic image deformation unit 113.
  • Two-dimensional noise 2DN V (0) and 2DN H (0) are stored in the two-dimensional noise storage unit 110 in advance.
  • the two-dimensional noise 2DN V (0), 2DN H (0) is a two-dimensional array having X ⁇ Y elements in which the number of elements in the horizontal direction is X and the number of elements in the vertical direction is Y. is there.
  • an element of coordinates (x, y) satisfying 1 ⁇ x ⁇ X and 1 ⁇ y ⁇ Y of the two-dimensional noise 2DN V (0) is defined as n V (x, y).
  • n V (x, y) and n H (x, y) may be any of a positive number, a negative number, and zero.
  • two-dimensional noises 2DN V (0) and 2DN H (0) in which values randomly extracted from a uniform distribution or a normal distribution are set as respective elements n V (x, y) and n H (x, y) are set in advance. It may be generated and stored in the two-dimensional noise storage unit 110.
  • a two-dimensional noise generation unit 110 ′ is provided in the image generation device 11 instead of the two-dimensional noise storage unit 110, and the two-dimensional noise generation unit 110 ′ randomly extracts values from a uniform distribution or a normal distribution.
  • the two-dimensional noise 2DN V (0) and 2DN H (0) may be generated by setting each element n V (x, y) and n H (x, y). Further, n V (x, y) and n H (x, y) may be the same or different.
  • the two-dimensional noises 2DN V (0) and 2DN H (0) are input to the motion imparting unit 111.
  • the motion imparting unit 111 uses the two-dimensional noise 2DN V (0) to generate K pieces of two-dimensional noise having elements of coordinates (x, y) satisfying 1 ⁇ x ⁇ X and 1 ⁇ y ⁇ Y, respectively.
  • the motion imparting unit 111 uses the two-dimensional noise 2DN H (0) to generate K pieces of coordinates (x, y) each having an element of coordinates (x, y) satisfying 1 ⁇ x ⁇ X and 1 ⁇ y ⁇ Y.
  • the generated two-dimensional noise 2DN V (1), ... is referred to as a three-dimensional noise 3DN V columns of 2DN V (K)
  • two-dimensional noise 2DN H (1), ..., 2DN H of (K) column is referred to as a three-dimensional noise 3DN H.
  • Each of the three-dimensional noises 3DN V and 3DN H has X ⁇ Y ⁇ K elements.
  • K is the number of frames of the moving image M output by the image generation device 11 and is an even multiple of the number of frames T in which the one-way motion is continued in the moving image M.
  • the number of frames T for continuing the one-way motion in the moving image M and the number of frames K for the moving image M are input from the outside of the image generating device 11 to an input unit (not shown) of the image generating device 11 and input to the exercise imparting unit 111.
  • an even multiple of T is K
  • ⁇ is an integer of 0 or more. Therefore, instead of inputting the values of T and K, the values of T and ( ⁇ + 1) may be input, or the values of K and ( ⁇ + 1) may be input. Further, these values may be stored in advance in the exercise imparting unit 111.
  • First motion imparting unit 111 by using the amount of movement D of predetermined, each element n V of the two-dimensional noise 2DN V (0) and two-dimensional noise 2DN H (0) (x, y), the element n H ( x, y) in a predetermined direction (d1 direction) in such a manner that the movement amount is k ⁇ D, the two-dimensional noise 2DN V (1),..., 2DN V (T ) And two-dimensional noise 2DN H (1),..., 2DN H (T).
  • the two-dimensional noise 2DN V (k ⁇ 1) and the two-dimensional noise 2DN H (k ⁇ 1) of the previous k respectively Are obtained by moving the element in the predetermined direction (d1 direction) by the moving amount D, to obtain a two-dimensional noise 2DN V (k) and a two-dimensional noise 2DN H (k).
  • the motion imparting unit 111, the two-dimensional noise 2DN V (1), ..., 2DN V (T) and two-dimensional noise 2DN H (1), ..., 2DN H of the (T) the element by moving the above-described For each element for which the value of was not obtained, a value randomly extracted from a uniform distribution or a normal distribution is set.
  • the elements that are out of the range of the X ⁇ Y two-dimensional array due to the movement described above are two-dimensional noise 2DN V (1),..., 2DN V (T) and two-dimensional noise 2DN H (1),. It will not be included in 2DN H (T).
  • the two-dimensional noise 2DN V (1), ..., 2DN V (2T) one or more times (mu + 1 times) two obtained arranged dimensional noise 2DN V (1), ... , 2DN V (2T), ... , 2DN V (1 + ⁇ ⁇ 2T), ..., the column of 2DN V (2T + ⁇ ⁇ 2T ), i.e., two-dimensional noise 2DN V (1), ..., the column of 2DN V (K), and outputs as a three-dimensional noise 3DN V.
  • the motion imparting unit 111 the two-dimensional noise 2DN H (1), ..., 2DN H (2T) one or more times (mu + 1 times) two obtained arranged dimensional noise 2DN H (1), ..., 2DN H (2T), ..., 2DN H (1 + ⁇ ⁇ 2T), ..., row of 2DN H (2T + ⁇ ⁇ 2T ), i.e., two-dimensional noise 2DN H (1), ..., row of 2DN H (K) and outputs as a three-dimensional noise 3DN H.
  • the three-dimensional noises 3DN V and 3DN H obtained by the motion imparting unit 111 are input to the filtering unit 112.
  • the obtained vertical deformation map (two-dimensional noise) DM V (k) is transformed into a vertical three-dimensional deformation map ( to output as a three-dimensional noise) DM V.
  • the filtering unit 112, k 1, including the three-dimensional noise 3DN H, ..., for each two-dimensional noise 2DN H of K (k), the horizontal respectively over a low-pass filter in the spatial frequency domain
  • a deformed map (two-dimensional noise) DM H (k) is obtained, and the obtained horizontal deformed map (two-dimensional noise) DM H (k) is used as a horizontal three-dimensional deformed map (three-dimensional noise) DM H.
  • the cut-off spatial frequency of the low-pass filter is desirably 3 cpd or less (see Patent Document 1 and the like).
  • Dynamic image deformation processing Vertical three-dimensional deformation map DM V and horizontal three-dimensional deformation map DM H of the target image P and the filtering unit 112 which is input to give to the image generating apparatus 11 is input to the dynamic image deformation unit 113.
  • each vertical deformation map DM V (k) included in the vertical three-dimensional deformation map DM V is represented as e V (x, y, k)
  • the horizontal three-dimensional deformation map DM H Are represented by e H (x, y, k) at the coordinates (x, y) of each horizontally deformed map DM H (k).
  • k 1,..., K, 1 ⁇ x ⁇ X, and 1 ⁇ y ⁇ Y are satisfied.
  • the moving image DP (k) is obtained by moving in the direction by e V (x, y, k), and the obtained sequence of deformed images DP (1),.
  • the dynamically deformed image sequence DP is input to the moving image generation unit 114.
  • the moving image generation unit 114 generates and outputs a moving image M obtained by arranging the columns DP (1),..., DP (K) of the transformed image DP (k) in a time-series direction at a predetermined frame rate.
  • the moving image M is input to the moving image presenting device 12, and the moving image presenting device 12 presents the moving image M to the observer.
  • the moving image M is displayed on a display device such as a liquid crystal, or the moving image is projected by a projector device.
  • An observer who observes the moving image M recognizes that the target image P has a solid transparent material texture. That is, the observer has an illusion as if a solid transparent material-like substance (for example, glass) exists between the target image P and the observer.
  • a solid transparent material texture can be applied to any target image P without using advanced technology that relatively requires knowledge from the user, such as simulation and rendering of the physical properties and light of the transparent material. Can be provided.
  • FIG. 4 when a three-dimensional deformation map with reciprocation is used, the duration of one-way motion included in the reciprocation, the moving speed, and the transparency of the moving image sequence of the dynamic deformation image sequence obtained based on these are shown.
  • the relationship with the evaluation value of the material texture is shown.
  • the evaluation value of the texture of the transparent material is an average value of the evaluation results obtained by evaluating the transparent material texture received by the observer from the moving image in a solid state and in a liquid state in five steps.
  • the evaluation value in the case of estimating the most solid state is 1, and the evaluation value in the case of estimating the most liquid state is 5. As illustrated in FIG.
  • the transparent material texture received by the observer from the moving image is biased toward the solid transparent material texture.
  • the one-way motion presentation time is about 300 msec or less
  • the speed is 3.84 deg / sec
  • the presentation time is 250 msec or less
  • the speed is 5.76 deg / sec.
  • the rating value is 3 or less, and it can be seen that it is often recognized as a solid transparent material. Therefore, in order to give the texture of the solid transparent material to the target image, the moving speed and the duration that are often recognized as the solid transparent material may be set.
  • dynamic deformation image using the present embodiment vertically three-dimensional deformation map described in DM V and horizontal three-dimensional deformation map DM H (hereinafter referred to as "three-dimensional deformation map gave reciprocation")
  • the dynamic deformation image sequence is obtained by arranging the dynamic deformation image sequence in a time-series direction.
  • the relationship between the evaluation value of the texture of the transparent material for the moving image to be taken and the duration of the one-way exercise is shown.
  • the “duration of one-way motion” in the three-dimensional deformation map given the reciprocating motion means the duration of one-way motion.
  • the observer when using a three-dimensional deformation map given only one-way motion, the observer often receives a liquid transparent material texture from the moving image, except when the duration of the one-way motion is the shortest.
  • a three-dimensional deformed map with reciprocating motion is used or the duration is extremely short (for example, 100 msec or less).
  • the former method is employed, and a dynamic deformation image sequence is generated using a three-dimensional deformation map having a reciprocating motion, so that a solid transparent material texture can be given to any target image P.
  • each of the three-dimensional noises 3DN V and 3DN H has a reciprocating motion. That is, the three-dimensional noises 3DN V and 3DN H have a section to which movement in the d1 direction is given and a section to which movement in the opposite direction d2 is given. However, the direction d2 does not have to be opposite to the direction d1.
  • differences from the first embodiment will be mainly described, and description of common items will be simplified using the same reference numerals.
  • the image generation device 21 of the present embodiment includes a two-dimensional noise storage unit 110, a motion imparting unit 211, a filtering unit 112, a dynamic image deformation unit 113, and a moving image generation unit 114.
  • the present embodiment is different from the first embodiment only in the exercise imparting process.
  • the exercise providing process of the second embodiment will be described.
  • Others are the same as those described in the first embodiment, except that the image generation device 11 is replaced with the image generation device 21 and the exercise imparting unit 211 performs the exercise imparting process instead of the exercise imparting unit 111.
  • each element of the two-dimensional noise 2DN H (k ⁇ 1) is moved by a movement amount D in a predetermined second direction (d2 direction different from d1 direction) different from the first direction.
  • the motion imparting unit 111 cannot obtain the value of the element of the two-dimensional noise 2DN V (k) and the two-dimensional noise 2DN H (k) due to the above-described movement.
  • a value randomly extracted from a uniform distribution or a normal distribution is set.
  • the motion imparting unit 111 outputs a sequence of the two-dimensional noise 2DN V (1),..., 2DN V (K) obtained by the above processing as three-dimensional noise 3DN V , and outputs the two-dimensional noise obtained by the above processing.
  • the sequence of 2DN H (1),..., 2DN H (K) is output as three-dimensional noise 3DN H.
  • the angle between the d1 direction and the d2 direction is expressed as ⁇ .
  • the transparent material texture of the moving image finally obtained from the dynamically deformed image sequence DP differs depending on the size of the angle ⁇ .
  • the angle ⁇ is set to 135 degrees or more and 225 degrees or less, the observer perceives a solid transparent material texture from the moving image.
  • the angle ⁇ is set to be larger than 0 degree and equal to or smaller than 90 degrees or equal to or larger than 270 degrees and smaller than 360 degrees, the observer perceives the texture of the transparent material of the liquid from the moving image.
  • the second embodiment in which ⁇ is 180 degrees is equivalent to the first embodiment.
  • the angle ⁇ may be operable. That is, as illustrated in FIG. 1, the image generation device 21 further includes an angle operation unit 215 ′, and the angle operation unit 215 ′ sets and outputs the angle ⁇ based on the input information A that specifies the angle ⁇ .
  • the motion imparting unit 211 receives the angle ⁇ , determines the d1 direction and the d2 direction such that the angle between the d1 direction and the d2 direction becomes ⁇ , and performs the motion imparting process described in the second embodiment. May go. Thereby, the angle ⁇ can be operated based on the input information A, and the texture of the transparent material of the finally obtained moving image can be changed.
  • the input information A may be the angle ⁇ itself, may be an index indicating the likeness of a solid or a liquid, or may be information indicating whether it is a solid or a liquid.
  • the angle operation unit 215 ′ may set the angle ⁇ closer to 180 degrees as the likelihood of the solid indicated by the input information A increases.
  • the angle operation unit 215 ′ may set the angle ⁇ far from 180 degrees as the liquid likelihood indicated by the input information A increases.
  • the angle operation unit 215 ' sets the angle ⁇ to 135 degrees or more and 225 degrees or less, and if the input information A is information representing a liquid, the angle operation unit 215' May be set so that the angle ⁇ is greater than 0 degree and equal to or less than 90 degrees, or equal to or greater than 270 degrees and less than 360 degrees.
  • the present invention is not limited to the above embodiment.
  • the magnitude of the movement amount D may be operable. That is, as illustrated in FIG. 1, the image generating apparatuses 11 and 21 further include a movement amount operation unit 216 ′, and the movement amount operation unit 216 ′ moves the movement amount D based on the input information V specifying the movement amount D. Is set and output, and the exercise imparting units 111 and 211 receive the movement amount D as an input, and use the input movement amount D to perform the first embodiment, the second embodiment, or the first modification of the second embodiment. May be performed. As illustrated in FIG. 4, as the moving speed of the one-way motion is higher, the solid material likeness of the transparent material texture decreases and the liquid likeness increases.
  • the solidity of the transparent material texture decreases and the liquidity increases as the moving amount D increases.
  • the solidness and the liquidity of the transparent material can be changed.
  • the size of the number T of frames for continuing the one-way motion may be operable. That is, as illustrated in FIG. 1, the image generation devices 11 and 21 further include a movement section operation unit 217 ′, and the movement section operation unit 217 ′ determines the number of frames T based on input information W that specifies the number of frames T. And the motion imparting units 111 and 211 receive the number of frames T as input, and use the input number of frames T to change the first embodiment, the second embodiment, or the first modification of the second embodiment. May be performed. As illustrated in FIG. 5, as the duration of the one-way motion is longer, the solid material likeness of the transparent material texture decreases and the liquid likeness increases. The longer the number T of frames, the longer the duration of one-way motion. Therefore, the larger the number T of frames, the less the solid-like appearance of the transparent material texture and the more liquid-like. This makes it possible to change the solidness and the liquidity of the transparent material texture.
  • the DN V (k) and 2DN H (k) of any k-th frame are replaced with the DN v (k-1) of the immediately preceding (k ⁇ 1) -th frame. , 2DN H (k-1).
  • the movement amount D may be 0 in some frames.
  • the movement amount D may differ between frames.
  • another filter may be used instead of the low-pass filter, and filtering with another filter (for example, a Gaussian filter or the like) may be performed in addition to the low-pass filter.
  • the filtering unit 112 may be omitted, and the two-dimensional noises 2DN V (k) and 2DN H (k) may be directly used as DM V (k) and DM H (k).
  • the image generating apparatuses 11 and 21 generate the three-dimensional deformed maps DM V and DM H.
  • the dynamic image deforming is performed using the three-dimensional deformed maps DM V and DM H obtained in advance. Processing may be performed.
  • the image generation device 11 or 21 does not include the two-dimensional noise storage unit 110, the motion imparting unit 111 or 211, and the filtering unit 112, and stores the three-dimensional deformed maps DM V and DM H obtained in advance. What is necessary is just to provide a three-dimensional deformation map storage part.
  • each element of each deformed map is a moving direction of each pixel p (x, y) of the target image P corresponding to each element e V (x, y, k) and e H (x, y, k). And the amount of movement.
  • e V (x, y, k) positive and negative indicates the moving direction of the vertical direction of each pixel p (x, y)
  • e V (x, y, k) of the absolute value of each pixel p (x, y) shows the amount of movement in the vertical direction.
  • the sign of e H (x, y, k) indicates the horizontal movement direction of each pixel p (x, y)
  • the absolute value of e V (x, y, k) indicates the pixel p (x , Y) in the horizontal direction.
  • This corresponds to a two-dimensional array (two-dimensional noise 2DN V (k), 2DN H (k)) moved in the second direction (d2 direction).
  • the first direction is different from the second direction.
  • the modified map DM V (k), DM H (k) is the respective deformation map DM V (k), DM corresponding to H (k) two-dimensional noise 2DN V (k), 2DN H ( k) is obtained by performing a filtering process.
  • the two-dimensional noises 2DN V (k) and 2DN H (k) may be used as the respective modified maps DM V (k) and DM H (k) as they are.
  • the maps DM V (k) and DM H (k) are two-dimensional arrays (two-dimensional noise 2DN V (k-1)) corresponding to the immediately preceding deformed maps DM V (k-1) and DM H (k-1).
  • 2DN H (k ⁇ 1)) corresponding to a two-dimensional array (two-dimensional noise 2DN V (k), 2DN H (k)) in which elements in the first direction (d1 direction) are moved.
  • each deformation map DM V contained in) (k), DM H ( k) is immediately before the deformation map DM V (k-1), DM H (k-1) in the corresponding two-dimensional array (two-dimensional noise 2DN A two-dimensional array (two-dimensional noise 2DN V (k)) in which elements of V (k ⁇ 1), 2DN H (k ⁇ 1)) are moved in the second direction (d2 direction). , 2DN H (k)).
  • the moving image generation unit 114 generates a moving image M obtained by arranging the columns DP (1),..., DP (K) of the deformed image DP (k) in a time-series direction at a predetermined frame rate.
  • the observer of the moving image M perceives a solid or liquid transparent material texture.
  • the angle ⁇ between the first direction and the second direction may be operable. This makes it possible to change the solidness and the liquidity of the transparent material texture perceived by the observer.
  • the movement amount D of the two-dimensional array (two-dimensional noise 2DN V (k-1), 2DN H (k-1)) corresponding to the immediately preceding deformation map DM V (k-1), DM H (k-1) is It may be operable. That is, each of the deformed maps DM V (k) and DM H (k) included in the sequence of the deformed maps corresponding to the first time section is the immediately preceding deformed map DM V (k ⁇ 1) and DM H (k ⁇ 1). ), The elements of the two-dimensional array (two-dimensional noise 2DN V (k ⁇ 1), 2DN H (k ⁇ 1)) are moved in the first direction (d1 direction) by the second movement amount D. (Two-dimensional noise 2DN V (k), 2DN H (k)).
  • each of the deformed maps DM V (k) and DM H (k) included in the series of the deformed maps corresponding to the second time section is the immediately preceding deformed map DM V (k ⁇ 1) and DM H (k ⁇ 1).
  • the elements of the two-dimensional array (two-dimensional noise 2DN V (k ⁇ 1), 2DN H (k ⁇ 1)) are moved by the second movement amount D in the second direction (d2 direction).
  • Two-dimensional noise 2DN V (k), 2DN H (k) the image generation device
  • the image generation device for example, the movement amount operation unit 216 ′ of the image generation device
  • the image generation device (for example, the movement section operation unit 217 'of the image generation device) may be capable of operating the length T of the first time section and the length T of the second time section. This can also change the solidness and liquidity of the transparent material texture perceived by the observer.
  • Each of the above devices is, for example, a general-purpose or dedicated computer including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a RAM (random-access memory) and a ROM (read-only memory). Is executed by executing a predetermined program.
  • This computer may include one processor or memory, or may include a plurality of processors or memories.
  • This program may be installed in a computer, or may be recorded in a ROM or the like in advance.
  • Some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. You may.
  • An electronic circuit constituting one device may include a plurality of CPUs.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.
  • this program is carried out, for example, by selling, transferring, lending, or the like, a portable recording medium such as a DVD or a CD-ROM on which the program is recorded. Further, the program may be stored in a storage device of a server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • the computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device.
  • the computer reads a program stored in its own storage device and executes a process according to the read program.
  • the computer may read the program directly from the portable recording medium and execute processing according to the program, and further, each time the program is transferred from the server computer to this computer. The processing may be sequentially performed according to the received program.
  • the processing functions of the present apparatus may not be realized by executing a predetermined program on a computer, but at least a part of these processing functions may be realized by hardware.
  • the present invention can be expected to be used, for example, in computer graphics software, image editing software, and in artistic situations where it is desired to change the texture of a transparent liquid.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

任意の画像に任意の透明素材の質感を付与する。時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る。各変形地図の各要素は、当該各要素に対応する標的画像の各画素の移動方向および移動量を示す。当該時系列中の第１時間区間に対応する変形地図の系列に含まれる各変形地図は、直前の変形地図に対応する二次元配列の要素を第１方向に移動させた二次元配列に対応し、当該時系列中の第２時間区間に対応する変形地図の系列に含まれる各変形地図は、直前の変形地図に対応する二次元配列の要素を第２方向に移動させた二次元配列に対応する。ただし、第１方向と第２方向とは異なる。

Description

画像生成装置、画像生成方法、およびプログラム
　本発明は、画像処理技術に関し、特に、任意の画像に透明または半透明な素材の質感を付与する技術に関する。
　一般的に、任意の画像に透明または半透明な素材（以下、「透明素材」と呼ぶ）の質感（以下、「透明素材質感」と呼ぶ）を付与するためには、透明素材の物理特性や透明素材の表面で反射・透過・吸収・屈折する光の特性をシミュレーションし、そのシミュレーションをコンピュータグラフィックス技術によってレンダリングして画像化することが必要である。
　一方で、透明素材の物理特性や光のシミュレーション、レンダリングといった比較的ユーザーに知識を要求する高度な技術を利用しない単純な画像処理を用いて任意の画像に透明素材質感を付与する方法がある（例えば、特許文献１等参照）。一般に、世界に存在する透明素材は屈折率が１以上であるため、透明素材の背後に透明素材とは別の対象が存在する場合、その対象の画像情報は変形する。特許文献１では、この画像変形を画像処理で動的に模倣することで、すなわち、任意の対象の画像に対して動的に変形する画像処理を施すことで、当該対象に透明素材質感を付与した画像を得ている。
特許第６０６９１１５号公報
　特許文献１で提案された手法では、任意の画像を動的に変形（以下、「動的画像変形」と呼ぶ）させる画像処理（以下、「動的画像変形処理」と呼ぶ）により、当該画像に透明素材質感を付与することができ、とりわけ透明素材の中でも液体などの流体の質感を当該画像に付与することができる。その一方で、特許文献１で提案された手法では、透明素材の中でも固体の質感を画像へ付与することは想定されていない。
　本発明はこのような点に鑑みてなされたものであり、任意の画像に任意の透明素材の質感を付与することを目的とする。
　本発明では、時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る。各変形地図の各要素は、当該各要素に対応する標的画像の各画素の移動方向および移動量を示す。当該時系列中の第１時間区間に対応する変形地図の系列に含まれる各変形地図は、直前の変形地図に対応する二次元配列の要素を第１方向に移動させた二次元配列に対応し、当該時系列中の第２時間区間に対応する変形地図の系列に含まれる各変形地図は、直前の変形地図に対応する二次元配列の要素を第２方向に移動させた二次元配列に対応する。ただし、第１方向と第２方向とは異なる。
　以上により、任意の画像に任意の透明素材の質感を付与できる。
図１は実施形態の画像生成装置の機能構成を例示したブロック図である。 図２は画像に含まれる線形運動の割合と提示フレーム数と移動速度との関係を例示したグラフである。 図３は、実施形態の動的画像変形処理の例示するための概念図である。 図４は片道運動の継続時間と移動速度と透明素材質感の評価値との関係を例示したグラフである。 図５は片道運動の継続時間と運動の仕方（往復運動または片道運動）と透明素材質感の評価値との関係を例示したグラフである。 図６は、２つの移動方向のなす角度を説明するための概念図である。
　以下、図面を参照しつつ本発明の実施形態を説明する。
　［第１実施形態］
　前述した特許文献１で提案された手法では、変形地図（「歪み分布」と呼ばれる場合もある）により、変形対象の任意の画像（以下、「標的画像」と呼ぶ）を動的に変形させる画像処理（以下、「動的画像変形処理」と呼ぶ）を行って複数のフレームの変形画像（すなわち、時系列の複数の変形画像。以下、「動的変形画像列」と呼ぶ）を得ることによって、当該標的画像に透明素材質感を付与する。この手法では、とりわけ透明素材の中でも液体などの流体の質感を標的画像に付与することができる。その一方で、特許文献１で提案された手法では、透明素材の中でも固体の質感を画像へ付与することは想定されていなかった。実際に、特許文献１で提案された手法で得た長時間の動的変形画像列には、固体の知覚に貢献する線形運動の成分が含まれていない。
　図２は、特許文献１で提案された手法で生成された動的変形画像列のオプティカルフロー（フレーム間の画素移動パタン）を計算し、その中に含有される画素の線形運動成分（フレーム間で直線上に移動する画素の運動）の割合を、計算に用いた動的変形画像列のフレーム数ごとにプロットしたものである。ただし、１フレーム当たりの提示時間は１３．７ｍｓｅｃである。動的変形画像列のフレーム数が増えるにつれ、オプティカルフローに含まれる線形運動の割合が減少していることがわかる。特に、動的変形画像列の提示時間が１６７ｍｓｅｃを超えると、動的変形画像列に線形運動はほとんど含まれない。観察者が任意の対象に剛体が含まれていると認識するためには、この対象に線形運動を行う成分が含まれている必要があることから、特許文献１で提案された手法によって生成された動的変形画像列の提示時間が１６７ｍｓｅｃを超えると、観察者は当該動的変形画像列から液体などの流体の透明素材の質感を抱きやすくなると考えられる。
　本実施形態では、オプティカルフローに線形運動成分が継続的に含まれるようにした動的変形画像列を得ることで、標的画像に固体の透明素材の質感を付与する。以下では、一例として、ピクセルワープ法（「イメージワープ法」や「画像ワープ法」ともいう）で使用する変形地図を工夫する例を説明する。
　まず、前提となる一般的な画像変形法であるピクセルワープ法について説明する（例えば、参考文献１等参照）。
　参考文献１：Kawabe, T., Maruya, K., & Nishida, S., "Perceptual transparency from image deformation," Proceedings of the National Academy of Sciences, August 18, 2015, 112(33), E4620-E4627, [平成30年6月12日検索]、インターネット＜https://doi.org/10.1073/pnas.1500913112＞
　ピクセルワープ法では、変形地図を用い、標的画像の画像変形を行って変形画像を得る。標的画像が、水平方向のピクセル数がＸであり、垂直方向のピクセル数がＹである画像、すなわち、Ｘ×Ｙ個の画素の画素値が二次元配列の各要素とされた画像であるとして説明する。ただし、ＸおよびＹは正の整数である。変形地図は、水平方向の要素数も垂直方向の要素数も標的画像と同じである、Ｘ×Ｙ個の要素を持つ二次元配列である。変形地図の各要素は、正の数、負の数、零、のうちのいずれの値も取り得る。変形地図の各要素は、標的画像の各画素に対応し、対応する各画素の移動方向および移動量を示す。すなわち、二次元配列の水平方向の座標をｘと表現し（ただし、ｘは１≦ｘ≦Ｘを満たす数）、垂直方向の座標をｙと表現し（ただし、ｙは１≦ｙ≦Ｙを満たす数）、座標を（ｘ，ｙ）と表現すると、変形地図の各座標（ｘ，ｙ）の要素ｅ（ｘ，ｙ）は、標的画像の各座標（ｘ，ｙ）の画素ｐ（ｘ，ｙ）の移動方向および移動量を示す。移動方向は要素ｅ（ｘ，ｙ）の正負によって表され、移動量は要素ｅ（ｘ，ｙ）の絶対値によって表される。ピクセルワープ法では、水平方向と垂直方向の画素の移動を独立して表すために、水平方向の画素移動を表す変形地図（以下、「水平変形地図」と呼ぶ）と、垂直方向の画素移動を表す変形地図（以下、「垂直変形地図」と呼ぶ）との２つを利用する。すなわち、ピクセルワープ法では、水平変形地図および垂直変形地図を用い、標的画像の画素の水平方向の移動と垂直方向の移動との両方を行う。例えば、水平変形地図における要素ｅＨ（ｘ，ｙ）の要素値が１である場合、標的画像中の画素ｐ（ｘ，ｙ）を右に１に移動させ、水平変形地図における要素ｅＨ（ｘ，ｙ）の要素値が－１である場合は、標的画像中の画素ｐ（ｘ，ｙ）を左に１に移動させる。また、垂直変形地図における要素ｅＶ（ｘ，ｙ）の要素値が１である場合は、標的画像中の画素ｐ（ｘ，ｙ）を上に１に移動させ、垂直変形地図における要素ｅＶ（ｘ，ｙ）の要素値が－１である場合は、標的画像中の画素ｐ（ｘ，ｙ）を下に１に移動させる。ピクセルワープ法では、水平変形地図を用いた画素の移動と垂直変形地図を用いた画素の移動との両方を行うことにより、標的画像に対して水平変形地図および垂直変形地図に対応する変形した変形画像が得られる。
　そして、ピクセルワープ法では、このような水平変形地図および垂直変形地図を連続するＫ個のフレームのそれぞれについて用意し、同一の標的画像について、各フレームの水平変形地図および垂直変形地図に対応する変形をすることで、Ｋ個のフレームの変形画像の列が得る。ただし、Ｋは３以上の整数である。このように得られるＫ個のフレームの変形画像の列が「動的変形画像列」である。以降では、Ｋ個のフレームによる動的変形画像列を生成するためのＫ個の水平変形地図の列およびＫ個の垂直変形地図の列を、それぞれ、「水平方向三次元変形地図」および「垂直方向三次元変形地図」と呼ぶ。また、水平方向三次元変形地図と垂直方向三次元変形地図の組を「三次元変形地図」と呼ぶ。なお、水平方向三次元変形地図と垂直方向三次元変形地図は、それぞれ、水平方向のピクセル数Ｘ×垂直方向のピクセル数Ｙ×フレーム数Ｋの三次元配列である。
　特許文献１で提案された手法では、ある１つの水平変形地図とある１つの垂直変形地図のそれぞれの要素ｅＨ（ｘ，ｙ）、ｅＶ（ｘ，ｙ）を、ある一方向に、フレームが進むごとに移動量が大きくなるように移動（片道運動）させた、Ｋ個の水平方向変形地図の列である水平方向三次元変形地図とＫ個の垂直方向変形地図の列である垂直方向三次元変形地図の組である三次元変形地図（以下「片道運動のみを与えた三次元変形地図」と呼ぶ）を用い、標的画像に対して当該三次元変形地図に対応する変形をすることにより動的変形画像列を生成する。本実施形態では、三次元変形地図を工夫することで、標的画像に固体の透明素材の質感を付与する。以下に詳細に説明する。
　＜本実施形態の画像生成装置の構成および処理＞
　図１に例示するように、本実施形態の画像生成装置１１は、二次元ノイズ記憶部１１０、運動付与部１１１、フィルタリング部１１２、動的画像変形部１１３、および動画生成部１１４を有する。画像生成装置１１は入力された標的画像Ｐに質感を付与した動画を生成して出力するものであり、画像生成装置１１で生成された動画は動画提示装置１２から提示される。
　≪画像生成装置１１への入力≫
　画像生成装置１１には、任意の標的画像Ｐが入力される。標的画像Ｐは、水平方向のピクセル数が正の整数Ｘであり、垂直方向のピクセル数が正の整数Ｙである、すなわち、Ｘ×Ｙ個の画素の画素値が二次元配列の各要素とされた画像である。標的画像Ｐの１≦ｘ≦Ｘおよび１≦ｙ≦Ｙを満たす座標（ｘ，ｙ）における画素をｐ（ｘ，ｙ）とする。画像生成装置１１に入力された標的画像Ｐは、動的画像変形部１１３に入力される。
　≪二次元ノイズ≫
　二次元ノイズ記憶部１１０には、２つの二次元ノイズ２ＤＮＶ（０），２ＤＮＨ（０）が予め記憶されている。二次元ノイズ２ＤＮＶ（０），２ＤＮＨ（０）は、それぞれ、水平方向の要素数がＸであり、垂直方向の要素数がＹである、Ｘ×Ｙ個の要素を持つ二次元配列である。以降では、二次元ノイズ２ＤＮＶ（０）の１≦ｘ≦Ｘおよび１≦ｙ≦Ｙを満たす座標（ｘ，ｙ）の要素をｎＶ（ｘ，ｙ）とする。同様に、二次元ノイズ２ＤＮＨ（０）の１≦ｘ≦Ｘおよび１≦ｙ≦Ｙを満たす座標（ｘ，ｙ）の要素をｎＨ（ｘ，ｙ）とする。各要素ｎＶ（ｘ，ｙ），ｎＨ（ｘ，ｙ）は、正の数、負の数、零の何れの値であってもよい。例えば、一様分布や正規分布からランダムに抽出した値を各要素ｎＶ（ｘ，ｙ），ｎＨ（ｘ，ｙ）とする二次元ノイズ２ＤＮＶ（０），２ＤＮＨ（０）を予め生成して二次元ノイズ記憶部１１０に記憶しておけばよい。または、二次元ノイズ記憶部１１０に代えて二次元ノイズ生成部１１０’を画像生成装置１１に備えて、二次元ノイズ生成部１１０’が、一様分布や正規分布からランダムに値を抽出して各要素ｎＶ（ｘ，ｙ），ｎＨ（ｘ，ｙ）とすることで、二次元ノイズ２ＤＮＶ（０），２ＤＮＨ（０）を生成してもよい。また、ｎＶ（ｘ，ｙ）とｎＨ（ｘ，ｙ）とは、同一でも異なっていてもよい。
　≪運動付与処理≫
　二次元ノイズ２ＤＮＶ（０），２ＤＮＨ（０）は運動付与部１１１に入力される。運動付与部１１１は、二次元ノイズ２ＤＮＶ（０）を用いて、それぞれが１≦ｘ≦Ｘおよび１≦ｙ≦Ｙを満たす座標（ｘ，ｙ）の要素をもつ、Ｋ個の二次元ノイズ２ＤＮＶ（ｋ）（ただし、ｋ＝１，…，Ｋ）を生成して出力する。また、運動付与部１１１は、二次元ノイズ２ＤＮＨ（０）を用いて、それぞれが１≦ｘ≦Ｘおよび１≦ｙ≦Ｙを満たす座標（ｘ，ｙ）の要素をもつ、Ｋ個の二次元ノイズ２ＤＮＨ（ｋ）（ただし、ｋ＝１，…，Ｋ）を生成して出力する。以降では、生成された二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（Ｋ）の列を三次元ノイズ３ＤＮＶと呼び、二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（Ｋ）の列を三次元ノイズ３ＤＮＨと呼ぶ。三次元ノイズ３ＤＮＶ，３ＤＮＨは、それぞれ、Ｘ×Ｙ×Ｋ個の要素を持つ。なお、Ｋは、画像生成装置１１が出力する動画Ｍのフレーム数であり、動画Ｍにおいて片道運動を継続させるフレーム数Ｔの偶数倍の値とする。動画Ｍにおいて片道運動を継続させるフレーム数Ｔと動画Ｍのフレーム数Ｋは、画像生成装置１１が備える図示しない入力部に画像生成装置１１外から入力して、運動付与部１１１に入力されるようにすればよい。また、Ｔの偶数倍がＫであるので、その偶数を２×（μ＋１）で表すとＫ＝２×（μ＋１）×Ｔの関係を満たす。ただし、μは０以上の整数である。そこで、ＴとＫの値を入力することに代えて、Ｔと（μ＋１）の値を入力するようにしてもよく、Ｋと（μ＋１）の値を入力するようにしてもよい。また、これらの値を運動付与部１１１内に予め記憶しておくようにしてもよい。
　まず運動付与部１１１は、予め定めた移動量Ｄを用いて、二次元ノイズ２ＤＮＶ（０）および二次元ノイズ２ＤＮＨ（０）のそれぞれの要素ｎＶ（ｘ，ｙ），要素ｎＨ（ｘ，ｙ）を、予め定めたある一方向（ｄ１方向）に、移動量がｋ×Ｄとなるように移動させた要素、をもつ二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（Ｔ）および二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（Ｔ）を得る。すなわち、ｋ＝１，…，Ｔについては、ｋの値が１増えるごとに、１つ前のｋの二次元ノイズ２ＤＮＶ（ｋ－１）および二次元ノイズ２ＤＮＨ（ｋ－１）のそれぞれの要素を予め定めたある一方向（ｄ１方向）に移動量Ｄずつ移動させた要素をもつ二次元ノイズ２ＤＮＶ（ｋ）および二次元ノイズ２ＤＮＨ（ｋ）を得る。また、運動付与部１１１は、二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（Ｔ）および二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（Ｔ）のうちの、上述した移動によって要素の値を得られなかった各要素については、一様分布や正規分布からランダムに抽出した値を設定する。なお、上述した移動によってＸ×Ｙの二次元配列の範囲外となった要素は、二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（Ｔ）および二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（Ｔ）には含まれないことになる。
　さらに運動付与部１１１は、二次元ノイズ２ＤＮＶ（０），…，２ＤＮＶ（Ｔ－１）を逆順に並べたものを二次元ノイズ２ＤＮＶ（Ｔ＋１），…，２ＤＮＶ（２Ｔ）として得る。すなわち、運動付与部１１１は、ｋ＝０，…，Ｔ－１について、二次元ノイズ２ＤＮＶ（ｋ）を二次元ノイズ２ＤＮＶ（２Ｔ－ｋ）とすることで、二次元ノイズ２ＤＮＶ（Ｔ＋１），…，２ＤＮＶ（２Ｔ）を得る。また、運動付与部１１１は、二次元ノイズ２ＤＮＨ（０），…，２ＤＮＨ（Ｔ－１）を逆順に並べたものを二次元ノイズ２ＤＮＨ（Ｔ＋１），…，２ＤＮＨ（ＴＫ）として得る。すなわち、運動付与部１１１は、ｋ＝０，…，Ｔ－１について、二次元ノイズ２ＤＮＨ（ｋ）を二次元ノイズ２ＤＮＨ（２Ｔ－ｋ）とすることで、二次元ノイズ２ＤＮＨ（Ｔ＋１），…，２ＤＮＨ（２Ｔ）を得る。すなわち、ｋ＝Ｔ＋１，…，２Ｔについては、ｋの値が１増えるごとに、１つ前のｋの二次元ノイズ２ＤＮＶ（ｋ－１）および二次元ノイズ２ＤＮＨ（ｋ－１）のそれぞれの要素をｋ＝１，…，Ｔのときとは逆方向（ｄ１方向とは逆方向、すなわち、ｄ１方向とのなす角度が１８０度、であるｄ２方向）に移動量Ｄずつ移動させた要素をもつ二次元ノイズ２ＤＮＶ（ｋ）および二次元ノイズ２ＤＮＨ（ｋ）を得る。
　さらに運動付与部１１１は、二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（２Ｔ）を１回または複数回（μ＋１回）繰り返して配置して得られる二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（２Ｔ）,…,２ＤＮＶ（１＋μ×２Ｔ），…，２ＤＮＶ（２Ｔ＋μ×２Ｔ）の列、すなわち、二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（Ｋ）の列、を三次元ノイズ３ＤＮＶとして出力する。
　また、運動付与部１１１は、二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（２Ｔ）を１回または複数回（μ＋１回）繰り返して配置して得られる二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（２Ｔ）,…,２ＤＮＨ（１＋μ×２Ｔ），…，２ＤＮＨ（２Ｔ＋μ×２Ｔ）の列、すなわち、二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（Ｋ）の列、を三次元ノイズ３ＤＮＨとして出力する。
　≪フィルタリング処理≫
　運動付与部１１１が得た三次元ノイズ３ＤＮＶ，３ＤＮＨはフィルタリング部１１２に入力される。フィルタリング部１１２は、三次元ノイズ３ＤＮＶが含むｋ＝１，…，Ｋの各二次元ノイズ２ＤＮＶ（ｋ）に対し、それぞれ空間周波数領域での低域通過型フィルタをかけ（低域通過型フィルタでフィルタリングし）て垂直変形地図（二次元ノイズ）ＤＭＶ（ｋ）を得て、得られた垂直変形地図（二次元ノイズ）ＤＭＶ（ｋ）による列を、垂直方向三次元変形地図（三次元ノイズ）ＤＭＶとして出力する。同様に、フィルタリング部１１２は、三次元ノイズ３ＤＮＨが含むｋ＝１，…，Ｋの各二次元ノイズ２ＤＮＨ（ｋ）に対し、それぞれ空間周波数領域での低域通過型フィルタをかけて水平変形地図（二次元ノイズ）ＤＭＨ（ｋ）を得て、得られた水平変形地図（二次元ノイズ）ＤＭＨ（ｋ）による列を、水平方向三次元変形地図（三次元ノイズ）ＤＭＨとして出力する。なお、低域通過型フィルタのカットオフ空間周波数は３ｃｐｄ以下が望ましい（特許文献１等参照）。
　≪動的画像変形処理≫
　画像生成装置１１に入力された標的画像Ｐおよびフィルタリング部１１２が得た垂直方向三次元変形地図ＤＭＶおよび水平方向三次元変形地図ＤＭＨは、動的画像変形部１１３に入力される。図３に示すように、動的画像変形部１１３は、標的画像Ｐについて、垂直方向三次元変形地図ＤＭＶおよび水平方向三次元変形地図ＤＭＨのそれぞれに含まれるｋ＝１，…，Ｋの垂直方向変形地図２ＤＮＶ（ｋ）および水平方向変形地図２ＤＮＨ（ｋ）に対応する変形をすることで、Ｋ個のフレームの変形画像ＤＰ（ｋ）（ｋ＝１，…，Ｋ）の列である動的変形画像列ＤＰを得て出力する。詳細に説明する。垂直方向三次元変形地図ＤＭＶに含まれる各垂直変形地図ＤＭＶ（ｋ）の座標（ｘ，ｙ）の要素をｅＶ（ｘ，ｙ，ｋ）と表し、水平方向三次元変形地図ＤＭＨに含まれる各水平変形地図ＤＭＨ（ｋ）の座標（ｘ，ｙ）の要素をｅＨ（ｘ，ｙ，ｋ）と表す。ただし、ｋ＝１，…，Ｋ、１≦ｘ≦Ｘ、１≦ｙ≦Ｙを満たす。動的画像変形部１１３は、ｋ＝１，…，Ｋのそれぞれについて、標的画像Ｐの各画素ｐ（ｘ，ｙ）を水平方向にｅＨ（ｘ，ｙ，ｋ）だけ移動し、さらに垂直方向にｅＶ（ｘ，ｙ，ｋ）だけ移動することで変形画像ＤＰ（ｋ）を得、得られた変形画像の列ＤＰ（１），…，ＤＰ（Ｋ）を動的変形画像列ＤＰとして出力する。
　≪動画生成処理≫
　動的変形画像列ＤＰは動画生成部１１４に入力される。動画生成部１１４は、変形画像ＤＰ（ｋ）の列ＤＰ（１），…，ＤＰ（Ｋ）を所定のフレームレートで時系列方向に並べて得られる動画Ｍを生成して出力する。動画Ｍは動画提示装置１２に入力され、動画提示装置１２は動画Ｍを観察者に提示する。例えば、液晶などのディスプレイ装置に動画Ｍが表示されたり、プロジェクタ装置によって動画が投影される。この動画Ｍを観察した観察者は、標的画像Ｐに固体の透明素材質感が与えられたように認知する。すなわち、観察者は、標的画像Ｐと観察者との間に固体の透明素材質感の物質（例えば、ガラス）が存在しているかのように錯覚する。
　＜本実施形態の特徴＞
　上述のように、本実施形態では、透明素材の物理特性や光のシミュレーション、レンダリングといった比較的ユーザーに知識を要求する高度な技術を利用しなくとも、任意の標的画像Ｐに固体の透明素材質感を付与することができる。
　図４に、往復運動を与えた三次元変形地図を用いる場合の、往復運動に含まれる片道運動の継続時間と、移動速度と、それらに基づいて得られた動的変形画像列の動画に対する透明素材質感の評価値との関係を示す。透明素材質感の評価値は、観察者が動画から受ける透明素材質感の固体らしさ液体らしさを５段階評価した評価結果の平均値である。最も固体らしいと評価する場合の評価値は１であり、最も液体らしいと評価する場合の評価値は５である。図４に例示するように、移動速度が遅いとき、および、片道運動の継続時間が短い場合に、観察者が動画から受ける透明素材質感が固体の透明素材質感に偏る。図４の例では、速度が１．９２ｄｅｇ／ｓｅｃの時には片道運動の提示時間を約３００ｍｓｅｃ以下、速度が３．８４ｄｅｇ／ｓｅｃの時には提示時間を２５０ｍｓｅｃ以下、速度が５．７６ｄｅｇ／ｓｅｃのときに、片道運動の継続時間が１８０ｍｓｅｃ以下で評定値が３以下となり、固体の透明素材であると認知されることが多いことがわかる。よって、標的画像に固体の透明素材の質感を付与するためには、固体の透明素材であると認知されることの多い移動速度および継続時間に設定すればよい。
　図５に、本実施形態で説明した垂直方向三次元変形地図ＤＭＶおよび水平方向三次元変形地図ＤＭＨ（以下「往復運動を与えた三次元変形地図」と呼ぶ）を用いて動的変形画像列を生成した場合と、片道運動のみを与えた三次元変形地図を用いて動的変形画像列を生成した場合と、の２つの場合について、当該動的変形画像列を時系列方向に並べて得られる動画に対する透明素材質感の評価値と、片道運動の継続時間と、の関係を示す。なお、往復運動を与えた三次元変形地図における「片道運動の継続時間」とは、一方向の運動の継続時間を意味する。図５から分かるように、片道運動のみを与えた三次元変形地図を用いる場合、片道運動の継続時間が最も短い場合を除き、観察者は動画から液体の透明素材質感を受けることが多い。逆に言えば、動画から受ける透明素材質感を固体の透明素材質感へ偏らせるためには、往復運動を与えた三次元変形地図を用いるか、継続時間が極端に短い（例えば、１００ｍｓｅｃ以下）片道運動のみを与えた三次元変形地図を用いるか、の２通りの方法が考えられる。しかしながら、後者の方法で得られた動画では、観察者が動画を提示されたことすら気づかない可能性もあり、固体の透明素材質感を十分に提示できない。本実施形態では前者の方法を採用し、往復運動を与えた三次元変形地図を用いて動的変形画像列を生成したため、任意の標的画像Ｐに固体の透明素材質感を付与できる。
　［第２実施形態］
　第１実施形態の運動付与処理では、三次元ノイズ３ＤＮＶ，３ＤＮＨのそれぞれに往復運動を持たせた。すなわち、三次元ノイズ３ＤＮＶ，３ＤＮＨは、ｄ１方向の動きが与えられた区間とその逆向きであるｄ２方向の動きが与えられた区間とを持っていた。しかしながら、ｄ２方向がｄ１方向の逆向きでなくてもよい。以下では、第１実施形態との相違点を中心に説明し、共通する事項については同じ参照番号を用いて説明を簡略化する。
　＜本実施形態の構成および処理＞
　図１に例示するように、本実施形態の画像生成装置２１は、二次元ノイズ記憶部１１０、運動付与部２１１、フィルタリング部１１２、動的画像変形部１１３、および動画生成部１１４を有する。
　本実施形態の第１実施形態の処理からの相違点は運動付与処理のみである。以下では第２実施形態の運動付与処理のみを説明する。その他は、画像生成装置１１が画像生成装置２１に置換され、運動付与部１１１に代えて運動付与部２１１が運動付与処理を行う以外、第１実施形態で説明した通りである。
　≪運動付与処理≫
運動付与部１１１は、ｋ＝１，…，Ｋについて以下の処理を行う。運動付与部１１１は、ｋを２Ｔで除算した余りが１からＴまでの何れかの値である場合には、ｋの値が１増えるごとに、二次元ノイズ２ＤＮＶ（ｋ－１）および二次元ノイズ２ＤＮＨ（ｋ－１）のそれぞれの要素を予め定めた第一の方向（ｄ１方向）に移動量Ｄずつ移動させた要素をもつ二次元ノイズ２ＤＮＶ（ｋ）および二次元ノイズ２ＤＮＨ（ｋ）を得る。また、運動付与部１１１は、ｋを２Ｔで除算した余りがｋ＋１から２Ｔまでの何れかの値である場合には、ｋの値が１増えるごとに、二次元ノイズ２ＤＮＶ（ｋ－１）および二次元ノイズ２ＤＮＨ（ｋ－１）のそれぞれの要素を第一の方向とは異なる予め定めた第二の方向（ｄ１方向とは異なる方向であるｄ２方向）に移動量Ｄずつ移動させた要素をもつ二次元ノイズ２ＤＮＶ（ｋ）および二次元ノイズ２ＤＮＨ（ｋ）を得る。また、運動付与部１１１は、上記の何れの場合であっても、二次元ノイズ２ＤＮＶ（ｋ）および二次元ノイズ２ＤＮＨ（ｋ）のうちの、上述した移動によって要素の値を得られなかった各要素については、一様分布や正規分布からランダムに抽出した値を設定する。なお、上述した移動によってＸ×Ｙの二次元配列の範囲外となった要素は、二次元ノイズ２ＤＮＶ（ｋ）および二次元ノイズ２ＤＮＨ（ｋ）には含まれないことになる。さらに運動付与部１１１は、以上の処理で得た二次元ノイズ２ＤＮＶ（１），…，２ＤＮＶ（Ｋ）の列を三次元ノイズ３ＤＮＶとして出力し、以上の処理で得た二次元ノイズ２ＤＮＨ（１），…，２ＤＮＨ（Ｋ）の列を三次元ノイズ３ＤＮＨとして出力する。
　図６に示すようにｄ１方向とｄ２方向とのなす角度をθと表現する。ただし、０°≦θ＜３６０°である。角度θの大きさによって最終的に動的変形画像列ＤＰから得られる動画の透明素材質感が異なる。例えば、角度θを１３５度以上２２５度以下に設定した場合、観察者は動画から固体の透明素材質感を認知する。角度θを０度よりも大きく９０度以下であるかまたは２７０度以上３６０度未満に設定した場合、観察者は動画から液体の透明素材質感を認知する。なお、θが１８０度である場合の第２実施形態は、第１実施形態と等価である。
　［第２実施形態の変形例１］
　角度θが操作可能であってもよい。すなわち、図１に例示するように、画像生成装置２１がさらに角度操作部２１５’を有し、角度操作部２１５’が角度θを特定する入力情報Ａに基づいて角度θを設定して出力し、運動付与部２１１が、角度θを入力とし、ｄ１方向とｄ２方向とのなす角度をθとなるようなｄ１方向とｄ２方向とを決定して、第２実施形態で説明した運動付与処理を行ってもよい。これにより、入力情報Ａに基づいて角度θを操作でき、最終的に得られる動画の透明素材質感を変更できる。すなわち、角度θを１８０度に近づけていくことにより、透明素材質感の液体らしさが減少し、固体らしさが増加する。逆に、角度θを１８０度から遠ざけていくことにより、透明素材質感の固体らしさが減少し、液体らしさが増加する。なお、入力情報Ａは角度θそのものであってもよいし、固体らしさや液体らしさを表す指標であってもよいし、固体であるか液体であるかを表す情報であってもよい。例えば、入力情報Ａが表す固体らしさや液体らしさを表す指標である場合、角度操作部２１５’が、入力情報Ａが示す固体らしさが大きいほど１８０度に近い角度θを設定すればよい。あるいは、角度操作部２１５’が、入力情報Ａが示す液体らしさが大きいほど１８０度から遠い角度θを設定すればよい。あるいは、入力情報Ａが固体を表す情報である場合、角度操作部２１５’が角度θを１３５度以上２２５度以下に設定し、入力情報Ａが液体を表す情報である場合、角度操作部２１５’が角度θを０度よりも大きく９０度以下であるかまたは２７０度以上３６０度未満に設定すればよい。
　［その他の変形例］
　なお、本発明は上述の実施形態に限定されるものではない。例えば、移動量Ｄの大きさが操作可能であってもよい。すなわち、図１に例示するように、画像生成装置１１，２１がさらに移動量操作部２１６’を有し、移動量操作部２１６’が移動量Ｄを特定する入力情報Ｖに基づいて移動量Ｄを設定して出力し、運動付与部１１１，２１１が、移動量Ｄを入力とし、入力された移動量Ｄを用いて第１実施形態、第２実施形態、または第２実施形態の変形例１で説明した運動付与処理を行ってもよい。図４に例示するように、片道運動の移動速度が速いほど、透明素材質感の固体らしさが減少し、液体らしさが増加する。ここで移動量Ｄが大きいほど動画Ｍの片道運動の移動速度は大きくなるため、移動量Ｄが大きいほど透明素材質感の固体らしさが減少し、液体らしさが増加する。このように、移動量Ｄの大きさが操作することで、透明素材質感の固体らしさおよび液体らしさを変更できる。
　また、片道運動を継続させるフレーム数Ｔの大きさが操作可能であってもよい。すなわち、図１に例示するように、画像生成装置１１，２１がさらに運動区間操作部２１７’を有し、運動区間操作部２１７’がフレーム数Ｔを特定する入力情報Ｗに基づいてフレーム数Ｔを設定して出力し、運動付与部１１１，２１１が、フレーム数Ｔを入力とし、入力されたフレーム数Ｔを用いて第１実施形態、第２実施形態、または第２実施形態の変形例１で説明した運動付与処理を行ってもよい。図５に例示するように、片道運動の継続時間が長いほど、透明素材質感の固体らしさが減少し、液体らしさが増加する。フレーム数Ｔが大きいほど片道運動の継続時間が長くなるため、フレーム数Ｔが大きいほど透明素材質感の固体らしさが減少し、液体らしさが増加する。これにより、透明素材質感の固体らしさおよび液体らしさを変更できる。
　例えば、上述した実施形態の運動付与処理では、何れか一部のｋ番目のフレームのＤＮＶ（ｋ），２ＤＮＨ（ｋ）が直前のｋ－１番目のフレームのＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１）と同じであってもよい。言い換えると、一部のフレームにおいて移動量Ｄが０であってもよい。その他、移動量Ｄがフレーム間で相違していてもよい。
　また、上述したフィルタリング部１１２では、各二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ）に低域通過型フィルタをかけたものをＤＭＶ（ｋ），ＤＭＨ（ｋ）とした。しかしながら、低域通過型フィルタに代えて他のフィルタを用いてもよいし、低域通過型フィルタに加えてさらに他のフィルタ（例えば、ガウシアンフィルタ等）でのフィルタリングが行われてもよい。あるいは、フィルタリング部１１２が省略され、二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ）がそのままＤＭＶ（ｋ），ＤＭＨ（ｋ）とされてもよい。
　また、第１，２実施形態では画像生成装置１１、２１が三次元変形地図ＤＭＶ，ＤＭＨを生成したが、予め得られた三次元変形地図ＤＭＶ，ＤＭＨを用いて動的画像変形処理を行ってもよい。この場合には、画像生成装置１１または２１は、二次元ノイズ記憶部１１０、運動付与部１１１または２１１、フィルタリング部１１２は備えずに、予め得た三次元変形地図ＤＭＶ，ＤＭＨを記憶した三次元変形地図記憶部を備えるようにすればよい。
　上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　［まとめ］
　各実施形態および変形例では、時系列ｋ＝１，…，Ｋに対応する変形地図の系列に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）の各要素ｅＶ（ｘ，ｙ，ｋ），ｅＨ（ｘ，ｙ，ｋ）に従い、標的画像Ｐの各画素ｐ（ｘ，ｙ）を移動させ、時系列の各変形画像ＤＰ（１），…，ＤＰ（Ｋ）を得る。ここで、各変形地図の各要素は、各要素ｅＶ（ｘ，ｙ，ｋ），ｅＨ（ｘ，ｙ，ｋ）に対応する標的画像Ｐの各画素ｐ（ｘ，ｙ）の移動方向および移動量を示す。すなわち、ｅＶ（ｘ，ｙ，ｋ）の正負は各画素ｐ（ｘ，ｙ）の垂直方向の移動方向を示し、ｅＶ（ｘ，ｙ，ｋ）の絶対値は各画素ｐ（ｘ，ｙ）の垂直方向の移動量を示す。同様に、ｅＨ（ｘ，ｙ，ｋ）の正負は各画素ｐ（ｘ，ｙ）の水平方向の移動方向を示し、ｅＶ（ｘ，ｙ，ｋ）の絶対値は各画素ｐ（ｘ，ｙ）の水平方向の移動量を示す。時系列ｋ＝１，…，Ｋ中の第１時間区間（例えば、ｋ＝１，…，Ｔ）に対応する変形地図の系列に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）は、直前の変形地図ＤＭＶ（ｋ－１），ＤＭＨ（ｋ－１）に対応する二次元配列（二次元ノイズ２ＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１））の要素を第１方向（ｄ１方向）に移動させた二次元配列（二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ））に対応する。時系列ｋ＝１，…，Ｋ中の第２時間区間（例えば、ｋ＝Ｔ＋１，…，２Ｔ）に対応する変形地図の系列に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）は、直前の変形地図ＤＭＶ（ｋ－１），ＤＭＨ（ｋ－１）に対応する二次元配列（二次元ノイズ２ＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１））の要素を第２方向（ｄ２方向）に移動させた二次元配列（二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ））に対応する。ただし、第１方向と第２方向とは異なる。なお、例えば、各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）は、当該各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）に対応する二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ）にフィルタリング処理を行って得られるものである。或いは、二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ）をそのまま各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）としてもよい。
　例えば、動的画像変形部１１３は、複数個の時間区間（ｍ＝１，２，…，２×（μ＋１））により構成される時系列ｋ＝１，…，Ｋに対応する変形地図の系列に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）の各要素ｅＶ（ｘ，ｙ，ｋ），ｅＨ（ｘ，ｙ，ｋ）に従い、標的画像Ｐの各画素ｐ（ｘ，ｙ）を移動させ、時系列の各変形画像ＤＰ（１），…，ＤＰ（Ｋ）を得る。時系列ｋ＝１，…，Ｋ中の奇数番目の時間区間（ｍ＝１，３，…，２×μ＋１）に対応する変形地図の系列ＤＭＶ（１），…，ＤＭＶ（Ｔ），ＤＭＶ（１＋２Ｔ），…，ＤＭＶ（３Ｔ），…，ＤＭＶ（１＋（２×μ）Ｔ），…，ＤＭＶ（（２×μ＋１）Ｔ），ＤＭＨ（１），…，ＤＭＨ（Ｔ），ＤＭＨ（１＋２Ｔ），…，ＤＭＨ（３Ｔ），…，ＤＭＨ（１＋（２×μ）Ｔ），…，ＤＭＨ（（２×μ＋１）Ｔ）に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）は、直前の変形地図ＤＭＶ（ｋ－１），ＤＭＨ（ｋ－１）に対応する二次元配列（二次元ノイズ２ＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１））の要素を第１方向（ｄ１方向）に移動させた二次元配列（二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ））に対応する。時系列ｋ＝１，…，Ｋ中の偶数番目の時間区間（ｍ＝２，４，…，２×（μ＋１））に対応する変形地図の系列ＤＭＶ（１＋Ｔ），…，ＤＭＶ（２Ｔ），ＤＭＶ（１＋３Ｔ），…，ＤＭＶ（４Ｔ），…，ＤＭＶ（１＋（２×μ＋１）Ｔ），…，ＤＭＶ（（２×（μ＋１））Ｔ），ＤＭＨ（１＋Ｔ），…，ＤＭＨ（２Ｔ），ＤＭＨ（１＋３Ｔ），…，ＤＭＨ（４Ｔ），…，ＤＭＨ（１＋（２×μ＋１）Ｔ），…，ＤＭＨ（（２×（μ＋１））Ｔ）に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）は、直前の変形地図ＤＭＶ（ｋ－１），ＤＭＨ（ｋ－１）に対応する二次元配列（二次元ノイズ２ＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１））の要素を第２方向（ｄ２方向）に移動させた二次元配列（二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ））に対応する。
　動画生成部１１４は、変形画像ＤＰ（ｋ）の列ＤＰ（１），…，ＤＰ（Ｋ）を所定のフレームレートで時系列方向に並べて得られる動画Ｍを生成する。この動画Ｍの観察者は、固体または液体の透明素材質感を知覚する。
　第１方向（ｄ１方向）と第２方向（ｄ２方向）とのなす角度θが１３５度以上２２５度以下である場合、当該観察者は固体の透明素材質感を知覚する。また、第１方向と第２方向とのなす角度θが、０度よりも大きく９０度以下であるか、または２７０度以上３６０度未満である場合、当該観察者は液体の透明素材質感を知覚する。
　第１方向と第２方向とのなす角度θが操作可能であってもよい。これにより、観察者が知覚する透明素材質感の固体らしさ、液体らしさを変更できる。
　直前の変形地図ＤＭＶ（ｋ－１），ＤＭＨ（ｋ－１）に対応する二次元配列（二次元ノイズ２ＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１））の移動量Ｄが操作可能であってもよい。すなわち、第１時間区間に対応する変形地図の系列に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）は、直前の変形地図ＤＭＶ（ｋ－１），ＤＭＨ（ｋ－１）に対応する二次元配列（二次元ノイズ２ＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１））の要素を第１方向（ｄ１方向）に第２移動量Ｄだけ移動させた二次元配列（二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ））に対応する。また、第２時間区間に対応する変形地図の系列に含まれる各変形地図ＤＭＶ（ｋ），ＤＭＨ（ｋ）は、直前の変形地図ＤＭＶ（ｋ－１），ＤＭＨ（ｋ－１）に対応する二次元配列（二次元ノイズ２ＤＮＶ（ｋ－１），２ＤＮＨ（ｋ－１））の要素を第２方向（ｄ２方向）に第２移動量Ｄだけ移動させた二次元配列（二次元ノイズ２ＤＮＶ（ｋ），２ＤＮＨ（ｋ））に対応する。この際に画像生成装置（例えば、画像生成装置の移動量操作部２１６’）が第２移動量Ｄを操作可能であってもよい。これによっても、観察者が知覚する透明素材質感の固体らしさ、液体らしさを変更できる。
　また、画像生成装置（例えば、画像生成装置の運動区間操作部２１７’）が第１時間区間の長さＴおよび第２時間区間の長さＴを操作可能であってもよい。これによっても、観察者が知覚する透明素材質感の固体らしさ、液体らしさを変更できる。
　［ハードウェアおよびソフトウェア構成］
　上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
　コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
　本発明は、例えば、コンピュータ・グラフィックス・ソフトウェア、画像編集ソフトウェア、芸術方面で透明液体質感を変えたい場面での利用が期待できる。
１１，２１　画像生成装置

Claims (10)

  1. 　時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形部を有し、
    　前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    　前記時系列中の第１時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第１方向に移動させた二次元配列に対応し、
    　前記時系列中の第２時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第２方向に移動させた二次元配列に対応し、
    　前記第１方向と前記第２方向とは異なる、画像生成装置。
  2. 　複数個の時間区間により構成される時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形部を有し、
    　前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    　前記時系列中の奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第１方向に移動させた二次元配列に対応し、
    　前記時系列中の偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第２方向に移動させた二次元配列に対応し、
    　前記第１方向と前記第２方向とは異なる、画像生成装置。
  3. 　請求項１または２の画像生成装置であって、
    　前記第１方向と前記第２方向とのなす角度は、１３５度以上２２５度以下である、画像生成装置。
  4. 　請求項１または２の画像生成装置であって、
    　前記第１方向と前記第２方向とのなす角度は、０度よりも大きく９０度以下であるか、または２７０度以上３６０度未満である、画像生成装置。
  5. 　請求項１から４の何れかの画像生成装置であって、
    　前記第１方向と前記第２方向とのなす角度を操作する角度操作部を有する、画像生成装置。
  6. 　請求項１から５の何れかの画像生成装置であって、
    　前記第１時間区間または奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第１方向に第２移動量だけ移動させた二次元配列に対応し、
    　前記第２時間区間または偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、前記直前の変形地図に対応する二次元配列の要素を前記第２方向に前記第２移動量だけ移動させた二次元配列に対応し、
    　当該画像生成装置は、前記第２移動量を操作する移動量操作部を有する、画像生成装置。
  7. 　請求項１から６の何れかの画像生成装置であって、
    　前記時間区間の長さを操作する運動区間操作部を有する、画像生成装置。
  8. 　画像生成装置の画像生成方法であって、
    　時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形ステップを有し、
    　前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    　前記時系列中の第１時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第１方向に移動させた二次元配列に対応し、
    　前記時系列中の第２時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第２方向に移動させた二次元配列に対応し、
    　前記第１方向と前記第２方向とは異なる、画像生成方法。
  9. 　画像生成装置の画像生成方法であって、
    　複数個の時間区間により構成される時系列に対応する変形地図の系列に含まれる各変形地図の各要素に従い、標的画像の各画素を移動させ、時系列の各変形画像を得る動的画像変形ステップを有し、
    　前記各変形地図の各要素は、前記各要素に対応する前記標的画像の各画素の移動方向および移動量を示し、
    　前記時系列中の奇数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第１方向に移動させた二次元配列に対応し、
    　前記時系列中の偶数番目の時間区間に対応する変形地図の系列に含まれる前記各変形地図は、直前の変形地図に対応する二次元配列の要素を第２方向に移動させた二次元配列に対応し、
    　前記第１方向と前記第２方向とは異なる、画像生成方法。
  10. 　請求項１から７の何れかの画像生成装置としてコンピュータを機能させるためのプログラム。
PCT/JP2019/026028 2018-07-30 2019-07-01 画像生成装置、画像生成方法、およびプログラム WO2020026670A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/263,118 US11514636B2 (en) 2018-07-30 2019-07-01 Image generation device, image generation method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-142166 2018-07-30
JP2018142166A JP6950641B2 (ja) 2018-07-30 2018-07-30 画像生成装置、画像生成方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2020026670A1 true WO2020026670A1 (ja) 2020-02-06

Family

ID=69232504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/026028 WO2020026670A1 (ja) 2018-07-30 2019-07-01 画像生成装置、画像生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US11514636B2 (ja)
JP (1) JP6950641B2 (ja)
WO (1) WO2020026670A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011538A (ja) * 2004-06-22 2006-01-12 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
JP2018028710A (ja) * 2016-08-15 2018-02-22 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100118035A1 (en) * 2007-01-29 2010-05-13 Access Co., Ltd. Moving image generation method, moving image generation program, and moving image generation device
US8160398B1 (en) * 2008-07-31 2012-04-17 Adobe Systems Incorporated Independent resizing of multiple image regions
US8581937B2 (en) * 2008-10-14 2013-11-12 Adobe Systems Incorporated Seam-based reduction and expansion of images using partial solution matrix dependent on dynamic programming access pattern
EP2249307B1 (en) * 2009-05-05 2019-07-03 InterDigital Madison Patent Holdings Method for image reframing
JP6069115B2 (ja) 2013-06-25 2017-02-01 日本電信電話株式会社 映像生成装置、映像生成方法、プログラム
US11060541B2 (en) * 2015-10-02 2021-07-13 The Regents Of The University Of California System and method for optical transient liquid molding of microparticles and uses for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011538A (ja) * 2004-06-22 2006-01-12 Namco Ltd プログラム、情報記憶媒体、及び画像生成システム
JP2018028710A (ja) * 2016-08-15 2018-02-22 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム

Also Published As

Publication number Publication date
US20210150796A1 (en) 2021-05-20
JP6950641B2 (ja) 2021-10-13
US11514636B2 (en) 2022-11-29
JP2020021113A (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7432005B2 (ja) 二次元画像の三次元化方法、装置、機器及びコンピュータプログラム
JP6639877B2 (ja) 映像処理装置及び方法
US20210383199A1 (en) Object-Centric Learning with Slot Attention
JP7026222B2 (ja) 画像生成ネットワークの訓練および画像処理方法、装置、電子機器、ならびに媒体
KR20140006061A (ko) 그래픽 프로세싱을 위한 픽셀 값 압축
Jeon et al. Texture map generation for 3D reconstructed scenes
JP2021533646A (ja) 深度情報を使用して２次元画像を外挿するためのシステムおよび方法
US20240112394A1 (en) AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video
JP6717576B2 (ja) 映像レンダリング装置及び方法
CN107038678B (zh) 用于执行傅里叶变换的装置和方法
KR102285840B1 (ko) 3차원 영상 렌더링 방법 및 이를 적용한 영상 출력 장치
US11575882B2 (en) Electronic apparatus and control method thereof
JP6505646B2 (ja) 映像生成装置、映像生成方法、およびプログラム
WO2022026603A1 (en) Object recognition neural network training using multiple data sources
WO2017202079A1 (zh) 一种立体图像制作方法和设备
WO2020026670A1 (ja) 画像生成装置、画像生成方法、およびプログラム
KR20210084230A (ko) 전자 장치 및 이의 제어 방법
US20220383628A1 (en) Conditional Object-Centric Learning with Slot Attention for Video and Other Sequential Data
CN110738719A (zh) 一种基于视距分层优化的Web3D模型渲染方法
US11803155B2 (en) Method and apparatus for generating computer-generated hologram
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
JP6666296B2 (ja) 映像生成装置、その方法、およびプログラム
JP2018182353A (ja) 映像生成装置、映像生成方法、およびプログラム
JP6305942B2 (ja) 画像質感操作方法、画像質感操作装置、およびプログラム
JP6845181B2 (ja) 映像生成装置、映像生成方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19843265

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19843265

Country of ref document: EP

Kind code of ref document: A1