WO2019208143A1 - 映像生成装置、映像生成方法、およびプログラム - Google Patents

映像生成装置、映像生成方法、およびプログラム Download PDF

Info

Publication number
WO2019208143A1
WO2019208143A1 PCT/JP2019/014948 JP2019014948W WO2019208143A1 WO 2019208143 A1 WO2019208143 A1 WO 2019208143A1 JP 2019014948 W JP2019014948 W JP 2019014948W WO 2019208143 A1 WO2019208143 A1 WO 2019208143A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
image
modulation
color
luminance
Prior art date
Application number
PCT/JP2019/014948
Other languages
English (en)
French (fr)
Inventor
隆寛 河邉
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/049,652 priority Critical patent/US11350065B2/en
Publication of WO2019208143A1 publication Critical patent/WO2019208143A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B25/00—Viewers, other than projection viewers, giving motion-picture effects by persistence of vision, e.g. zoetrope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/60—3D [Three Dimensional] animation of natural phenomena, e.g. rain, snow, water or plants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Definitions

  • the present invention relates to a technology that brings about visual illusion, and more particularly, to a technology that makes a texture of a transparent or translucent material perceived.
  • transparent material texture In general, when you want to give a non-rigid transparent or translucent material texture (called “transparent material texture”) to an image, use a graphics-specific language such as CG software or OpenGL to model the material and calculate the ray ⁇ Physical calculation and rendering are performed.
  • CG software Graphics-specific language
  • OpenGL OpenGL
  • Patent Document 1 proposes a technique for giving a transparent material texture to an arbitrary image, but does not disclose a method for independently operating the color and brightness of the transparent material texture.
  • the color and brightness of the transparent material can be changed using the above-described graphics language, the user is required to have certain knowledge as described above.
  • the present invention has been made in view of these points, and an object thereof is to operate the color and brightness of a transparent material texture to be given to an arbitrary image independently using a simple image processing technique.
  • Each element corresponding to each pixel derived from the original image indicates the moving direction and amount of movement of each corresponding pixel, and each of a plurality of different deformation maps having low spatial frequency components is used for the original image.
  • Each derived pixel is moved by a movement direction and a movement amount specified by each element corresponding to the pixel to obtain a plurality of modulated images.
  • a plurality of luminance component images and color component images are obtained by separating a plurality of modulated images into luminance components and color components, and luminance modulation is performed by modulating the luminance of the plurality of luminance component images and / or the colors of the plurality of color component images.
  • An image and / or color-modulated image is obtained, and a video constituted by temporally arranging a plurality of integrated images obtained by integrating the obtained images is obtained.
  • FIG. 1 is a block diagram illustrating a functional configuration of a video generation apparatus according to an embodiment.
  • 2A to 2C are diagrams for illustrating images generated in the embodiment.
  • FIG. 3 is a graph illustrating the relationship between the shift amount of the color change area with respect to the deformation area and the ratio perceived that the transparent material has no color.
  • FIG. 4 is a block diagram illustrating a functional configuration of the modified map generation unit of the embodiment.
  • FIG. 5 is a diagram for explaining a video generation method according to the embodiment.
  • 6A and 6B are diagrams for explaining a video generation method according to the third embodiment.
  • FIG. 7 is a diagram illustrating the relationship between the deformation amount of the contour of the deformation area and the impression of the material.
  • FIG. 1 is a block diagram illustrating a functional configuration of a video generation apparatus according to an embodiment.
  • 2A to 2C are diagrams for illustrating images generated in the embodiment.
  • FIG. 3 is a graph illustrating the relationship between the shift amount of the color
  • FIG. 8 is a block diagram illustrating a functional configuration of the modified map generation unit of the embodiment.
  • FIG. 9 is a diagram illustrating the relationship between the amount of blurring of the contour of the deformation area and the impression of the material.
  • FIG. 10 is a block diagram illustrating a functional configuration of the video generation apparatus according to the embodiment.
  • FIG. 11 is a block diagram illustrating a functional configuration of the video generation apparatus according to the embodiment.
  • a video generation device for manipulating colors has a plurality of modified maps (each element corresponding to each pixel derived from the original image, each element indicating the moving direction and amount of movement of each pixel, and low spatial frequency components Using a plurality of different deformation maps), each pixel derived from the original image is moved by the movement direction and movement amount specified by each element corresponding to the pixel to obtain a plurality of modulation images, and a plurality of modulations
  • a plurality of luminance component images and color component images are obtained by separating an image into luminance components (lightness components) and color components, and the colors of the plurality of color component images are modulated (the colors are changed) according to the color modulation information
  • a color modulated image is obtained, and a video constituted by temporally arranging a plurality of integrated images obtained by integrating the luminance component image and the color modulated image is obtained.
  • the video generation device for manipulating the brightness uses each of the above-mentioned “deformed maps”, and moves each pixel derived from the original image by a moving direction and a moving amount specified by each element corresponding to the pixel.
  • the modulated image is obtained, and the plurality of modulated images are separated into a luminance component and a color component to obtain a plurality of luminance component images and a color component image, and the luminance of the plurality of luminance component images is modulated according to the luminance modulation information (the luminance is A plurality of luminance modulation images are obtained, and an image formed by temporally arranging a plurality of integrated images obtained by integrating the luminance modulation image and the color component image is obtained.
  • the observer who sees this video has the illusion that a transparent material-like substance having a luminance (for example, turbidity) according to the luminance modulation information is arranged in an area between the original image and the observer. To do. Complex image processing techniques are not necessary for the generation of this video.
  • a video generation apparatus that manipulates both color and brightness uses each of the above-described “deformation maps” and moves each pixel derived from the original image by the movement direction and movement amount specified by each element corresponding to the pixel.
  • Obtaining a plurality of modulated images separating the plurality of modulated images into luminance components and color components to obtain a plurality of luminance component images and color component images, and modulating the luminance of the plurality of luminance component images according to the luminance modulation information
  • Obtain multiple brightness-modulated images obtain multiple color-modulated images obtained by modulating the colors of multiple color component images according to the color-modulation information, and integrate multiple brightness-modulated images and color-modulated images.
  • a video composed by arranging them in order is obtained.
  • the observer who sees this video is as if a transparent material-like substance having a color according to the color modulation information and a luminance according to the luminance modulation information is arranged in an area between the original image and the observer. Illusion. Complex image processing techniques are not necessary for the generation of this video.
  • the color and brightness of the transparent material texture to be given to an arbitrary image can be operated independently using a simple image processing technique.
  • the “transparent material texture” means the texture of a non-rigid transparent or translucent material.
  • An example of “transparent material texture” is a texture of a fluid such as a transparent or translucent liquid or gas.
  • “Original image” is a two-dimensional array of arbitrary pixels.
  • the “original image” may be a photograph or drawing of a substance present in the real space, may represent an object that does not exist in the real space, or may be a noise image.
  • the “original image” may be a color image, a monotone image, or a black and white image.
  • the “deformed map” is a two-dimensional distribution (distortion distribution) of values (distortion amounts) representing how much each pixel derived from the “original image” is distorted.
  • the “deformed map” is also called “distortion distribution”.
  • Each pixel derived from the original image may be a pixel of “original image”, or may be a pixel of an image obtained by moving the pixel of “original image”.
  • An example of the “deformed map” is a two-dimensional array in which each pixel (each element) representing the moving direction and moving amount of each pixel derived from the original image is a pixel value.
  • the moving direction of each pixel derived from the “original image” is expressed by the positive / negative of the pixel value of each pixel of the “deformed map” corresponding to each pixel derived from the “original image”.
  • the movement amount of each pixel is expressed by the absolute value of the pixel value of each pixel of the “deformed map” corresponding to each pixel derived from the “original image”.
  • the position (coordinates) of each pixel derived from the “original image” is the same as the position (coordinates) of the pixel of the “deformed map” representing the moving direction and moving amount of the pixel.
  • Each element of the “deformed map for horizontal direction” and each element of the “modified map for vertical direction” corresponding to the same frame may be independent from each other or may be related to each other (for example, at least one Parts are identical to each other).
  • a specific example of the “deformed map” is a map for deforming an image by an image warp (also referred to as “image warp” or “pixel warp”) method (see, for example, Reference 1).
  • Low spatial frequency component means a spatial frequency component whose absolute value is a predetermined value or less.
  • An example of the “low spatial frequency component” is a component whose absolute value of the spatial frequency is 3 cpd (cycles per degree) or less.
  • the “deformed map” mainly includes “low spatial frequency components”. The “deformed map” may include only “low spatial frequency components” or may include “low spatial frequency components” and other spatial frequency components.
  • each of a plurality of different deformation maps corresponds to each frame. That is, “each of a plurality of different modified maps” represents the moving direction and moving amount of each pixel in each frame.
  • each frame corresponds to each of the frames arranged in time series constituting the video generated by the video generation device. For example, if the generated video is for one second and the one-second video is composed of 30 frames of images, the “plurality of different modified maps” is thirty.
  • the video generation apparatus moves each pixel derived from the “original image” corresponding to each element of the “deformed map” corresponding to each frame by the moving direction and the amount of movement specified by each element of the “deformed map”. Then, a “modulated image” corresponding to the frame is generated.
  • the video generation apparatus moves each pixel of the “original image” by the movement direction and the movement amount specified by each element of the “deformed map” of the first frame f 0 corresponding to the pixel f.
  • a “modulated image” corresponding to 0 is obtained.
  • the moving direction and the moving specified by each element of the "deformation map" of the frame f i corresponding to each pixel of the "original image” in the respective pixel It is moved by an amount corresponding to the frame f i get "modulation image".
  • each pixel of the “original image” is replaced by each element of the “deformed map” of the frame f 0 corresponding to each pixel.
  • the “modulated image” corresponding to the frame f 0 may be obtained by moving the specified movement direction and movement amount.
  • a “deformation map (horizontal deformation map)” for modulating each pixel derived from the “original image” in the horizontal direction and a “deformation map (vertical deformation map)” for modulating in the vertical direction Is used the video generation device converts each pixel derived from the “original image” corresponding to each element of the “horizontal deformation map” corresponding to each frame to each element of the “horizontal deformation map”.
  • Each pixel derived from the “original image” corresponding to each element of the “vertical direction deformation map” corresponding to the frame is moved in the “vertical direction”.
  • the movement is made by the movement direction (vertical direction) and movement amount specified by each element of the “deformed map”, and a “modulated image” corresponding to the frame is generated.
  • the video generation device converts each pixel of the “original image” corresponding to each element of the “horizontal deformation map” corresponding to the first frame f 0 to the “horizontal direction use”.
  • deformation map is moved by the movement direction (horizontal direction) and the movement amount specified by each element of the, corresponding to the first frame f 0" corresponding to each element in the vertical direction for deformation map "of the" original image "
  • Each pixel is moved by the movement direction (vertical direction) and the movement amount specified by each element of the “vertical direction deformation map” to obtain a “modulated image” corresponding to the first frame f 0 .
  • a frame f i of the second and subsequent video generation device corresponds to each element of the "horizontal deformable map" corresponding to the frame f i for each pixel of the "original image”
  • the "horizontal direction deformation map” is moved by the moving direction and the moving amount specified by each element of each pixel of the" original image "corresponding to each element of the” vertical deformable map "corresponding to the frame f i, the” It is moved by the moving direction and the moving amount specified by each element in the vertical direction for deformation map "to give the” modulation image "corresponding to the frame f i.
  • the second and subsequent frames f i, the image generating device corresponding to the frame f i corresponds to each element of the "horizontal deformable map", immediately before the frame f i frame f i-1 of each pixel of the "modulation image", the move by the movement direction (horizontal direction) and the movement amount specified by each element of the "horizontal deformable map", corresponding to the frame f i "vertical deformable map
  • the pixels of the “modulated image” of the frame f i ⁇ 1 corresponding to the elements “” are moved by the movement direction (vertical direction) and the movement amount specified by the elements of the “vertical direction deformation map”. , may be obtained "modulated image” corresponding to the frame f i.
  • the video generation device may set the “original image” as the “modulated image”.
  • an image warp method can be used to generate the “modulated image”.
  • Each obtained “modulated image” (modulated image corresponding to each frame) is separated into a luminance component and a color component.
  • a “luminance component image” that is a luminance component of the “modulated image” corresponding to each frame and a “color component image” that is a color component of the “modulated image” corresponding to each frame are obtained.
  • a set of “luminance component image” and “color component image” corresponding to each frame is obtained.
  • the luminance of the “luminance component image” and the color of the “color component image” are independent of each other.
  • the luminance component can be changed without changing the color component of the “modulated image” by changing the luminance of the “luminance component image”
  • the luminance of the “modulated image” can be changed by changing the color of the “color component image”.
  • the coordinate system of each pixel value represented by the “luminance component image” and the coordinate system of each pixel value represented by the “color component image” are orthogonal to each other.
  • the video generation apparatus can separate the “modulated image” into a luminance dimension and a color dimension (for example, CIE Lab color system, CIE Yxy). Color system, CIE HSV color system), and a “luminance component image” and a “color component image” are obtained in the converted color system.
  • a luminance dimension and a color dimension for example, CIE Lab color system, CIE Yxy.
  • a “luminance component image” and a “color component image” are obtained in the converted color system.
  • the video generation device When manipulating the color of “transparent material texture”, the video generation device modulates the colors of a plurality of “color component images” according to “color modulation information” to obtain a plurality of “color modulation images”.
  • the “color modulation information” may be information representing a color or information representing a change in color.
  • the video generation apparatus obtains a “color modulated image” obtained by modulating the color of the “color component image” to the color represented by the “color modulation information”.
  • the “color modulation information” is information indicating a change in color (for example, a change direction and a change amount in a color space)
  • the video generation apparatus can display the color of the “color component image” by the amount indicated by the “color modulation information”. A changed “color modulated image” is obtained.
  • the video generation device When manipulating the brightness (lightness) of the “transparent material texture”, the video generation device modulates the brightness of a plurality of “luminance component images” according to the “brightness modulation information” to obtain a plurality of “luminance modulated images”.
  • the “luminance modulation information” may be information indicating the luminance of the “luminance component image”, or information indicating the luminance change (for example, the change direction and change amount in the luminance dimension) of the “luminance component image”. May be.
  • the “luminance modulation information” is information representing the luminance of the “luminance component image”
  • the video generation apparatus obtains a “luminance modulation image” obtained by modulating the luminance of the “luminance component image” to the luminance represented by the “luminance modulation information”.
  • the “luminance modulation information” is information indicating a change in luminance
  • the video generation apparatus obtains a “luminance modulation image” in which the luminance of the “luminance component image” is changed by the amount represented by
  • the video generation device is configured by temporally arranging multiple “integrated images” obtained by integrating “luminance component image” and “color modulation image” Get a picture to be played. For example, a combination of a “luminance component image” and a “color modulation image” corresponding to each frame is an “integrated image” corresponding to the frame.
  • the integration of the “luminance component image” and the “color modulation image” refers to the luminance component corresponding to the “luminance component image” (for example, the luminance component represented by the “luminance component image”) and the color corresponding to the “color modulation image”. This means that an image having a component (for example, a color component represented by a “color modulation image”) is generated.
  • the video generation device is configured by temporally arranging a plurality of integrated images obtained by integrating the “luminance modulated image” and the “color component image”. Get a picture.
  • the “integrated image” corresponding to the frame is obtained by integrating a set of “luminance modulated image” and “color component image” corresponding to each frame.
  • the integration of the “luminance modulated image” and the “color component image” refers to the luminance component corresponding to the “luminance modulated image” (for example, the luminance component represented by the “luminance modulated image”) and the color corresponding to the “color component image”. This means that an image having components (for example, color components represented by “color component image”) is generated.
  • the video generator can arrange multiple “integrated images” obtained by integrating the “luminance modulated image” and the “color modulated image” in time. Get the composed video. For example, a combination of a “luminance modulated image” and a “color modulated image” corresponding to each frame is an “integrated image” corresponding to the frame.
  • the integration of the “luminance modulated image” and the “color modulated image” refers to the luminance component corresponding to the “luminance modulated image” (for example, the luminance component represented by the “luminance modulated image”) and the color corresponding to the “color modulated image”. This means that an image having a component (for example, a color component represented by a “color modulation image”) is generated.
  • the “deformation map” indicates the movement direction and amount of movement of each pixel belonging to the “deformation region”, and the video generation device is configured to display a plurality of “color component images” “deformation regions” or “deformation regions” and “deformation regions”. May be obtained by modulating the color in the vicinity of "", and obtaining a plurality of "color-modulated images” or in the vicinity of "deformation areas” of "luminance component images” or “deformation areas” and “deformation areas” A plurality of “luminance modulated images” may be obtained by modulating the luminance.
  • the “deformation area” may be common (same) in all frames, or “deformation areas” corresponding to at least some frames may be different from “deformation areas” corresponding to other frames.
  • the spatial positions of the “deformation areas” corresponding to all or some of the frames are the same as the partial spatial areas of the “original image”.
  • a “deformation map (horizontal deformation map)” for modulating each pixel derived from the “original image” in the horizontal direction and a “transformation map” for modulating each pixel derived from the “original image” in the vertical direction are used.
  • the element corresponding to each pixel included in the “deformation area” in the “deformation map” represents the movement direction of each pixel and the movement amount other than zero (movement amount with a positive absolute value).
  • An element corresponding to each pixel not included in the “deformation region” represents that the movement amount of each pixel is zero.
  • the video generation device modulates the luminance in the vicinity of the “deformation region” or “deformation region” and “deformation region” of a plurality of “luminance component images”, the “video” obtained as described above is viewed.
  • the observer has the illusion that a substance of “transparent material texture” having luminance according to “luminance modulation information” is arranged between the “original image” and the observer.
  • the “original image” represents not the color and / or luminance of the substance represented by the “original image”. This is a point causing an illusion that the color and / or luminance of the “transparent material texture” existing between the substance and the observer is modulated.
  • the vicinity of the deformation region is a region (spatial region) whose viewing angle with respect to the “deformation region” is within 0.12 degrees.
  • the contour of the “deformation area” may be deformed. That is, “a plurality of different deformation maps” indicate the moving direction and amount of movement of each pixel in the plurality of “deformation areas”, and the plurality of “deformation areas” have a plurality of different “second deformation maps” having low spatial frequency components. May be obtained by deforming the outline of the “original deformation region” included in the “original image”. The outlines of these “plural deformation regions” are different from each other. In such a configuration, according to the “viscous modulation information”, at least one of the magnitude of the absolute value of the spatial frequency component of the “second deformation map” and the amplitude of the “second deformation map” is modulated (changed). ). This makes the illusion that a “transparent material texture” substance having the color and / or brightness as described above and having a desired viscosity is arranged in a region between the original image and the observer. Can do.
  • Each of the “plurality of deformation areas” in the above case is an area whose elements are not zero in the “deformation map” of each frame. That is, the “plurality of deformation areas” are areas in which elements are not zero in each of the “deformation maps” of the plurality of frames.
  • the spatial position of the “deformation region” corresponding to all or some of the frames is the same as the partial spatial region of the “original image”.
  • the outline of the “deformed map” of each frame is obtained by deforming the outline of the “original deformed area” using the “second modified map” corresponding to each frame.
  • the “original deformation area” may be a spatial area included in the “original image”, or may be a spatial area overlapping with the “original image”.
  • the outline of the “deformation region” means a boundary that defines the “deformation region”. That is, the outline of the “deformation area” means a boundary between the “deformation area” and a space area other than the “deformation area”.
  • the outline of the “original deformation area” means a boundary that defines the “original deformation area”. That is, the outline of the “original deformation area” means a boundary between the “original deformation area” and a space area other than the “original deformation area”.
  • Examples of the shape of the “contour” are a circle, an ellipse, a rectangle, and a polygon.
  • the “second modified map” includes a “low spatial frequency component”.
  • the “second modified map” mainly includes “low spatial frequency components”.
  • the “second modified map” may include only “low spatial frequency components”, or may include “low spatial frequency components” and other spatial frequency components.
  • the video generation device uses a “second deformation map” corresponding to each frame, modulates an “original deformation area image” that identifies an “original deformation area”, and identifies a “deformation area image”. ”Is obtained for each frame, and the“ deformed region ”of each frame is specified using the“ deformed region image ”.
  • the “original deformation area image” is a two-dimensional array having the same size as the “original image”.
  • An example of the “original deformation area image” is a two-dimensional array in which the pixel value of the “original deformation area” is a non-zero value (for example, a positive constant such as 1) and the pixel values of other areas are zero.
  • the “deformed region image” is a two-dimensional array having the same size as the “original image”.
  • An example of the “deformed region image” is a two-dimensional array in which the pixel value of the “deformed region” is a value other than zero (eg, a positive constant such as 1) and the pixel values of other regions are zero.
  • the “second deformation map” is a two-dimensional distribution (distortion distribution) of values (distortion amounts) representing how much each pixel derived from the “original deformation area image” is distorted.
  • the “each pixel derived from the original deformation area image” may be a pixel of the “original deformation area image” or may be a pixel of an image obtained by moving the pixels of the “original deformation area image”.
  • An example of the “second modified map” is a two-dimensional array in which each pixel (each element) representing the moving direction and moving amount of each pixel derived from the “original deformed region image” is a pixel value.
  • the moving direction of each pixel derived from the “original deformation area image” is represented by the positive or negative value of each pixel of the “second deformation map” corresponding to each pixel derived from the “original deformation area image”.
  • the movement amount of each pixel derived from the “original deformation area image” is represented by the absolute value of the pixel value of each pixel of the “second deformation map” corresponding to each pixel derived from the “original deformation area image”.
  • the position (coordinates) of each pixel derived from the “original deformation area image” is the same as the pixel position (coordinates) of the “second deformation map” that represents the movement direction and movement amount of the pixel.
  • second deformation for modulating each pixel derived from the “original deformation region image” in the horizontal direction.
  • a “map (second horizontal direction deformation map)” and a “second deformation map (second vertical direction deformation map)” for modulation in the vertical direction are required.
  • a specific example of the “second modified map” is a map for deforming an image by an image warp method.
  • the video generation device moves each pixel derived from the “original deformation area image” by the movement direction and movement amount specified by each element of the “second deformation map” corresponding to each frame, and corresponds to each frame.
  • a “deformed area image” is generated. For example, in the first frame f 0 , the video generation device moves each pixel of the “original deformation area image” by each element of the “second deformation map” of the frame f 0 corresponding to the pixel. and movement amount by moving corresponding to the frame f 0 get "deformation area image”.
  • the second and subsequent frames f i the image generating device, corresponding to the frame f i for each pixel of the "modification area image" of the frame f i-1 immediately preceding frame f i, corresponding to the respective pixels to move by the movement direction and the movement amount specified by each element of the "second modified map", may be obtained "deformation area image” corresponding to the frame f i.
  • the “original deformation area image” may be set as the “deformation area image” in the first frame f 0 .
  • second deformation map (second horizontal deformation map)” for modulating each pixel derived from the “original deformation area image” in the horizontal direction and each pixel derived from the “original deformation area image”
  • the video generation device can generate each of the “second horizontal deformation map” corresponding to each frame.
  • Each pixel derived from the “original deformation area image” corresponding to the element is moved by the movement direction (horizontal direction) and the movement amount specified by each element of the “second horizontal direction deformation map”, and is moved to the frame.
  • Each pixel derived from the “original deformation area image” corresponding to each element of the corresponding “second vertical direction deformation map” is moved in the direction of movement specified by each element of the “second vertical direction deformation map” ( (Vertical direction) and the amount of movement Corresponding to over beam to generate a "modified region image”.
  • the video generation device assigns each pixel of the “original deformation area image” corresponding to each element of the “second horizontal direction deformation map” corresponding to the first frame f 0 to
  • Each element of the “second vertical direction deformation map” corresponding to the first frame f 0 is moved by the movement direction (horizontal direction) and movement amount specified by each element of the “second horizontal direction deformation map”.
  • Each pixel of the “original deformation area image” corresponding to is moved by the movement direction (vertical direction) and movement amount specified by each element of the “second vertical direction deformation map”, and the first frame f 0 is moved.
  • a “deformation region image” corresponding to is obtained.
  • each pixel of the "original deformation region image" corresponding to each element of which corresponds to the frame f i "second horizontal deformable Map” each element of the moved by the moving direction (horizontal direction) and the movement amount specified by each element of the "second horizontal deformable map", corresponding to the frame f i "second vertical deformable map” corresponding to each pixel of the "original deformation area image", it is moved by the moving direction (vertical direction) and the movement amount specified by the elements of the "second vertical deformable map", corresponding to the frame f i To obtain a “deformed region image”.
  • the image generating apparatus the frame f i corresponding to corresponding to each element of the "second horizontal deformable map", the immediately preceding frame of the frame f i f i- 1 of each pixel of the "modification area image”, is moved by the movement direction (horizontal direction) and the movement amount specified by the elements of the "second horizontal deformable map", corresponding to the frame f i "
  • Each pixel of the “deformation area image” of the frame f i-1 corresponding to each element of the “second vertical direction deformation map” is identified by each element of the “second vertical direction deformation map”.
  • an image warp method can be used to generate the “deformed region image”. By executing such processing for a plurality of frames, “a plurality of deformation region images” corresponding to the plurality of frames can be obtained.
  • the texture expressed by the “video” can be changed by changing the spatial frequency component and / or the amplitude of the “second modified map”. Therefore, by manipulating the spatial frequency component and / or the amplitude of the “second modified map”, it is possible to generate a “video” that expresses a desired texture.
  • the “second modified map” in the case of generating the “video” for expressing the texture of the “first substance” is the case of generating the “video” for expressing the texture of the “second substance”. It contains a higher spatial frequency component than the “second deformation map”, and the viscosity of the “first substance” is lower than the viscosity of the “second substance”.
  • first substance and “second substance” are transparent or translucent substances.
  • the “second modified map” in the case of generating the “video” for expressing the texture of the “first substance” mainly includes a spatial frequency component whose absolute value of the spatial frequency is ⁇ 1 or less
  • the “second modified map” when generating the “video” for expressing the texture of “” mainly includes a spatial frequency component having an absolute value of spatial frequency of ⁇ 2 or less (where ⁇ 1> ⁇ 2).
  • the “second deformation map” for generating the “video” for expressing the texture of the “first substance” is composed of only the spatial frequency component having the absolute value of the spatial frequency of ⁇ 1 or less, and the “second substance”.
  • the “second modified map” when generating the “video” for expressing the texture of the image is made up of only the spatial frequency components having an absolute value of the spatial frequency of ⁇ 2 or less (where ⁇ 1> ⁇ 2). Therefore, it is generated by manipulating the upper limit or average value of the absolute values of the spatial frequency components included in the “second modified map” or the ratio of the spatial frequency components in the total spatial frequency components included in the “second modified map”. You can manipulate the texture of the substance expressed in the “image”. By performing such an operation, the impression received from a transparent or translucent substance (including those in which color and / or luminance is manipulated) expressed in “image” is changed from, for example, a solid to a liquid. It is possible to change from a liquid to a gas, or from a gas to a liquid, or from a liquid to a solid in the opposite direction.
  • the texture expressed by the “video” can be changed by changing the amplitude (the size of each element) of the “second modified map”.
  • the average amplitude of the “second modified map” when generating the “video” for expressing the solid texture is the “second modified map” when generating the “video” for expressing the liquid texture. Is smaller than the average amplitude.
  • the maximum amplitude of the “second modified map” when generating the “video” for expressing the solid texture is the “second modified map” when generating the “video” for expressing the liquid texture. Is smaller than the maximum amplitude.
  • the impression received from the transparent or translucent substance expressed by the “image” can be changed, for example, from solid to liquid, or from liquid to gas.
  • the gas can be changed to a liquid, or the liquid can be changed to a solid.
  • the absolute value of the spatial frequency component included in the “second modified map” and the amplitude of the “second modified map” can be adjusted independently of each other. That is, the amplitude of the “second modified map” may be adjusted after fixing the absolute value of the spatial frequency component included in the “second modified map”. Alternatively, the absolute value of the spatial frequency component included in the “second modified map” may be adjusted after fixing the amplitude of the “second modified map”.
  • both the absolute value of the spatial frequency component included in the “second modified map” and the amplitude of the “second modified map” may be adjusted. That is, at least one of these may be adjusted as appropriate according to how the impression received from the transparent or translucent substance expressed by the “image” is changed (for example, from gas to liquid).
  • the “deformed map” mainly includes a spatial frequency component whose absolute value of spatial frequency is “first value” or less (for example, “deformed map” is a spatial frequency whose absolute value of spatial frequency is “first value” or less.
  • the “second modified map” mainly includes spatial frequency components whose absolute value of spatial frequency is equal to or smaller than “second value” (for example, the second modified map ”has an absolute value of spatial frequency of“ second ” It is desirable that the “first value” be equal to or approximate to the “second value”. If the upper limit values of the absolute values of the spatial frequency components mainly included in the “deformed map” and the “second modified map” are greatly different from each other, there is a possibility that the desired texture to be perceived cannot be perceived. Because there is.
  • the texture expressed by the “video” changes as the blurring amount (or sharpness) of the outline of the “deformation region” changes. Therefore, by manipulating the blurring amount (or sharpness) of the outline of the “deformation region” in accordance with the “viscous modulation information”, it is possible to generate an “image” that expresses a desired texture.
  • the blurring amount of the outline of the “deformation region” when generating the “image” for expressing the solid texture is the same as the “deformation region” when generating the “image” for expressing the texture of the liquid. It is smaller than the amount of outline blurring.
  • the impression received from a transparent or translucent substance expressed in the “image” can be changed, for example, from solid to liquid, or from liquid to gas. Or change them in the opposite direction.
  • the blurring amount of the outline of the “deformed region” can also be adjusted independently of the absolute value of the spatial frequency component included in the “second modified map” and the amplitude of the “second modified map”. That is, the blurring amount of the outline of the “deformed region” may be adjusted after fixing at least one of the absolute value of the spatial frequency component included in the “second modified map” and the amplitude of the “second modified map”.
  • At least one of the absolute value of the spatial frequency component included in the “second modified map” and the amplitude of the “second modified map” may be adjusted.
  • all of the blurring amount of the outline of the “deformed region”, the absolute value of the spatial frequency component included in the “second modified map”, and the amplitude of the “second modified map” may be adjusted. That is, at least one of these may be adjusted as appropriate according to how the impression received from the transparent or translucent substance expressed by the “image” is changed (for example, from gas to liquid).
  • a plurality of “integrated images” corresponding to a plurality of frames are obtained, and those arranged in the order of the corresponding frames (arranged in time order) are “videos”. It is. That is, a plurality of “integrated images” are temporally ordered, and a “video” is configured by arranging a plurality of “integrated images” temporally along this ordering.
  • changes in temporally adjacent “deformation map” temporary changes in each element of “deformation map” in adjacent frames
  • the time variation of each element of the “second modified map” in the frame is smooth (smooth). This is because it is possible to generate an “image” that perceives the texture of a natural liquid or gas.
  • the video generation apparatus 1 includes a modified map generation unit 11, a modulation area determination unit 12, a distortion modulation unit 13, a separation unit 14, a color modulation unit 15 (modulation unit), and luminance modulation.
  • a unit 16 (modulation unit), an integration unit 17, and a storage unit 18 are included.
  • the input data and the data obtained by each unit are stored in the storage unit 18.
  • the data stored in the storage unit 18 is read and used as necessary.
  • the deformation map generation unit 11 of the present embodiment receives a three-dimensional noise image N, amplitude information A, spatial frequency information SF, time frequency information TF, and deformation area information PS.
  • the three-dimensional noise image N is a noise image having a time dimension and a two-dimensional spatial dimension.
  • the three-dimensional noise image N has a plurality of two-dimensional noise images that are the basis of the modified map MP corresponding to a plurality of frames.
  • the three-dimensional noise image N of the present embodiment includes a horizontal noise image NH that is the basis of the above-described “horizontal direction modified map” and a vertical noise image N V that is the basis of the “vertical direction modified map”. Including. Each pixel in the horizontal direction for the noise image N H and a vertical direction for the noise image N V positive, negative values, either a zero value.
  • 3D noise image spatial dimension of size in the horizontal direction for the noise image N H, and the size in the vertical direction for noise image N V
  • spatial dimensions of size N of the present embodiment is the same as the size of the original image (e.g. 256 ⁇ 256 pixels).
  • Examples of the three-dimensional noise image N are a three-dimensional Gaussian noise image and a three-dimensional white noise.
  • the amplitude information A is information for manipulating the amplitude (absolute value of the pixel value) of each element (each pixel) of the modified map MP corresponding to each frame. For example, the maximum value of the amplitude of each pixel of the modified map MP is determined based on the amplitude information A.
  • the spatial frequency information SF is information for manipulating the spatial frequency of the modified map MP. For example, the absolute value of the spatial frequency component included in the modified map MP is determined based on the spatial frequency information SF.
  • An example of the spatial frequency information SF is information that sets the absolute value of the spatial frequency component included in the modified map MP to 3 cpd or less.
  • the cutoff frequency of a spatial dimension low-pass filter (low-pass filter) used when generating the modified map MP according to the spatial frequency information SF is determined.
  • the spatial frequency information SF specifies the cutoff frequency (for example, 3 cpd or less) of the above-described spatial dimension low-pass filter.
  • the time frequency information TF is information for manipulating the time frequency of a plurality of deformation maps MP corresponding to a plurality of frames. For example, based on the time frequency information TF, absolute values of time frequency components included in a plurality of modified maps MP corresponding to a plurality of frames are determined.
  • time frequency information TF is information that sets the absolute value of the time frequency component of the plurality of modified maps MP corresponding to the plurality of frames to 8 Hz or less.
  • the cutoff frequency of the time-dimensional low-pass filter of the plurality of modified maps MP corresponding to the plurality of frames is determined.
  • the time frequency information TF specifies the cutoff frequency (for example, 8 Hz or less) of the above-described time-dimensional low-pass filter.
  • the deformation area information PS is information for specifying the spatial position and shape of the deformation area.
  • the modified map generation unit 11 uses the above-described three-dimensional noise image N, amplitude information A, spatial frequency information SF, temporal frequency information TF, and modified area information PS, and uses a plurality of modified maps MP (that is, a plurality of modified maps MP (ie, As described later, each deformation map MP) corresponding to each of the frames arranged in time series constituting the video M generated by the integration unit 17 is obtained and output.
  • the deformed map generation unit 11 generates a plurality of deformed maps MP corresponding to a plurality of frames using the methods described in Patent Document 1, Reference Document 1, and the like.
  • the deformation map MP corresponding to each frame includes a horizontal deformation map MWH and a vertical deformation map MWV .
  • the horizontal deformation map MWH is a two-dimensional array in which each pixel representing the moving direction (positive / negative sign) and moving amount (absolute value) of each pixel is a pixel value.
  • the vertical deformation map MWV is a two-dimensional array in which each pixel representing the movement direction (positive / negative sign) and movement amount (absolute value) of each pixel is a pixel value.
  • the size of the spatial region of the horizontal deformation map MWH and the vertical deformation map M WV is the same as the size of the original image.
  • the deformation map for the horizontal direction MWH and the deformation map for the vertical direction MWV have absolute values of zero or more only in the deformation area which is a partial spatial area specified by the deformation area information PS, and in other areas.
  • Spatial position and shape of the deformation area in the horizontal direction for deformation map M WH is the same as the spatial position and shape of the deformation area in the vertical direction for deformation map M WV.
  • the pixel values at the respective spatial positions of the horizontal direction deformation map MWH and the vertical direction deformation map M WV may be independent from each other or may be correlated with each other.
  • deformation map generating unit 11 a noise image N H and a vertical direction for the noise image N V for horizontal included in the three-dimensional noise image N is converted to the spatial frequency domain, spatial dimensions based on spatial frequency information SF Filtering with a low-pass filter (for example, a low-pass filter having a cutoff frequency of 3 cpd or less), returning to the spatial region, further normalizing, and replacing pixel values other than the deformation region with zero values based on the deformation region information PS
  • a plurality of horizontal-direction deformation maps MWH and vertical-direction deformation maps M WV corresponding to a plurality of frames (that is, arranged in chronological order, which constitutes a video M generated by the integration unit 17 as will be described later).
  • the deformation map generation unit 11 may adjust the amplitudes of the horizontal direction deformation map MWH and the vertical direction deformation map M WV based on the amplitude information A during normalization.
  • the deformed map generation unit 11 is a time-dimensional low-pass filter (for example, a low-pass filter having a cutoff frequency of 8 Hz or less) based on the time-frequency information TF, and the horizontal noise image NH and the vertical noise image N V. May be converted into the spatial frequency domain after filtering in the time dimension. Accordingly, it is possible to obtain a horizontal-direction deformation map MWH and a vertical-direction deformation map M WV that smoothly change the pixel value of the deformation area between frames.
  • the modulated image P1 of each frame is obtained by moving by the moving direction and moving amount specified by the element.
  • the modulation image P1 of the first frame f 0 is the original image P
  • the distortion modulation unit 13 applies each of a plurality of modulated images P1 corresponding to a plurality of frames (that is, each of the frames arranged in time series constituting the video M generated by the integration unit 17 as described later).
  • Each corresponding modulated image P1) is obtained and output.
  • a plurality of modulated images P1 corresponding to a plurality of frames are input to the separation unit 14.
  • the separation unit 14 separates the plurality of modulated images P1 into luminance components and color components, and forms a plurality of luminance component images L corresponding to a plurality of frames (that is, a video M generated by the integration unit 17 as described later).
  • the luminance component images L corresponding to each of the frames arranged in time series and the color component images C (that is, arranged in time series constituting the video M generated by the integration unit 17 as described later).
  • Each color component image C) corresponding to each frame is obtained and output.
  • the separation unit 14 can select a color system (for example, CIE Lab color system, CIE Yxy table) that can separate the modulated image P1 into a luminance dimension and a color dimension.
  • Color system, CIE (HSV color system), and a luminance component image L and a color component image C are obtained in the converted color system.
  • the separation unit 14 converts the modulated image P1 expressed in the RGB color system into a modulated image P2 in the CIE Lab color system, and the luminance (lightness) dimension (L coordinate) of the modulated image P2 for each frame.
  • a luminance component image L that is a two-dimensional array of coordinate values and a color component image C that is a two-dimensional array of coordinate values of complementary color dimensions (ab coordinates) are obtained and output.
  • the deformation area information PS is input to the modulation area determination unit 12.
  • the modulation area determination unit 12 obtains and outputs modulation area information R representing the spatial position and shape of a spatial area (modulation area) for adjusting the color and brightness based on the deformation area information PS.
  • the spatial position and shape of the modulation area of this embodiment are the same as the spatial position and shape of the deformation area.
  • the color modulation information CM, the plurality of color component images C corresponding to the plurality of frames output from the separation unit 14, and the modulation region information R output from the modulation region determination unit 12 are input to the color modulation unit 15.
  • the color modulation unit 15 obtains and outputs a plurality of color modulation images C1 obtained by modulating the colors of the modulation regions of the plurality of color component images C based on the modulation region information R based on the color modulation information CM.
  • Each of the plurality of color modulation images C1 corresponds to each frame.
  • the modulation region of the material of the transparent material texture to be illusioned as described above (that is, the region of the color component image C corresponding to a pixel having an absolute value greater than or equal to zero in the deformation map) is set to a desired color. Can be set.
  • the color modulation unit 15 performs color modulation that is the color component image C corresponding to each frame.
  • the luminance modulation information LM, the plurality of luminance component images L corresponding to the plurality of frames output from the separation unit 14, and the modulation region information R output from the modulation region determination unit 12 are input to the luminance modulation unit 16.
  • the luminance modulation unit 16 obtains and outputs a plurality of luminance modulation images L1 obtained by modulating the luminance of the modulation regions of the plurality of luminance component images L based on the modulation region information R based on the luminance modulation information LM.
  • Each of the luminance modulation images L1 corresponds to each frame.
  • the modulation region of the material of the transparent material texture to be illusioned as described above is desired brightness.
  • a dark transparent material texture substance for example, a substance such as heavy oil
  • a bright color A transparent material-like substance (for example, a substance like milk) can be perceived.
  • the luminance modulation unit 16 is a luminance modulation that is the luminance component image L corresponding to each frame.
  • the plurality of color modulation images C1 corresponding to the plurality of frames output from the color modulation unit 15 and the plurality of luminance modulation images L1 corresponding to the plurality of frames output from the luminance modulation unit 16 are input to the integration unit 17. Is done.
  • the integrating unit 17 integrates the color modulation image C1 and the luminance modulation image L1 of each frame, obtains an integrated image of each frame, and stores it in the storage unit 18.
  • the integrated image is, for example, an image expressed in the RGB color system, but may be an image expressed in another color system such as the CIE Lab color system.
  • the integration unit 17 obtains and outputs a video M configured by arranging a plurality of integrated images corresponding to the plurality of frames obtained in this way in the order of frames (arranging in time).
  • the video M is displayed on a display or projected onto an object such as a screen by a projector.
  • the observer who has viewed the image M arranges a transparent material-like material having a color according to the color modulation information CM and / or a luminance according to the luminance modulation information LM in an area between the original image P and the observer.
  • a complicated image processing technique is not necessary for generating the video M.
  • the color component (for example, ab coordinate value) and the luminance component (for example, L coordinate value) of the video M can be operated independently, the color and luminance of the transparent material texture can be operated independently of each other.
  • color modulation and luminance modulation are performed on a modulation region having the same spatial position and shape as the deformation region.
  • color modulation or luminance modulation is performed on a deformation area or a modulation area that is a deformation area and a vicinity area of the deformation area.
  • the video generation device 2 includes a modified map generation unit 11, a modulation area determination unit 22, a distortion modulation unit 13, a separation unit 14, a color modulation unit 15 (modulation unit), and luminance modulation.
  • a unit 16 (modulation unit), an integration unit 17, and a storage unit 18 are included.
  • the modulation area determination unit 22 receives the deformation area information PS and the modulation area information S.
  • the modulation area information S is information corresponding to the positional relationship of the modulation area with respect to the deformation area, for example.
  • the modulation area information S may be information indicating the shift amount (movement amount) of the modulation area with respect to the deformation area, or information indicating the shift amount and shift direction (movement direction) of the modulation area with respect to the deformation area.
  • it may be information indicating a difference between the deformation area and the modulation area, or may be information indicating how to deform the deformation area.
  • the viewing angle corresponding to the spatial positional deviation between the deformation region and the modulation region is within 0.12 degrees (deg) (the reason will be described later). That is, it is desirable that the “vicinity of the deformation area” is an area (spatial area) whose viewing angle (viewing angle when viewed from a position away from the image M by a predetermined distance) with respect to the “deformation area” is within 0.12 degrees. For example, when observing the deformation area and the modulation area from a position 100 cm away from the deformation area and the modulation area, it is desirable to set the deviation between the deformation area and the modulation area within 0.21 cm.
  • the modulation area determination unit 22 obtains and outputs modulation area information R representing the spatial position and shape of the modulation area based on the deformation area information PS and the modulation area information S.
  • the modulation area of the present embodiment is a deformation area or a space area near the deformation area and the deformation area.
  • the modulation area information R is sent to the color modulation unit 15 and the luminance modulation unit 16.
  • the color modulation unit 15 modulates the deformation region of the plurality of color component images C, or the color in the deformation region and the vicinity of the deformation region, and obtains a plurality of color modulation images C1.
  • the luminance modulation unit 16 modulates the luminance of the plurality of luminance component images L or the luminance in the vicinity of the deformation region and the deformation region to obtain a plurality of luminance modulation images L1. Other processes are the same as those in the first embodiment.
  • the observer who has viewed the video M has a transparent material texture substance having a color according to the color modulation information CM and / or a luminance according to the luminance modulation information LM between the original image P and the observer.
  • the illusion is that they are arranged in the area between them.
  • a complicated image processing technique is not necessary for generating the video M.
  • the color component (for example, ab coordinate value) and the luminance component (for example, L coordinate value) of the video M can be operated independently, the perceived color and luminance of the transparent material texture can be operated independently of each other.
  • the viewer who has viewed the video M is not the color and / or luminance of the substance represented by the original image P, but the color of the substance of “transparent material texture” disposed between the original image P and the observer.
  • the spatial position and shape of the modulation region do not greatly differ from the spatial position and shape of the deformation region.
  • FIG. 2A is a diagram illustrating an image M in which the modulation area 102 and the deformation area 101 are the same.
  • 2B is a diagram illustrating an image M in which the shift amount of the modulation region 112 with respect to the deformation region 111 is x1.
  • FIG. 2C is a diagram illustrating an image M in which the shift amount of the modulation region 122 with respect to the deformation region 121 is x2.
  • 2A to 2C show an image of a specific frame of the video M, that is, a still image, but the above-mentioned illusion is not perceived in the still image.
  • FIG. 3 illustrates the relationship between the “deviation amount” obtained in this way and “the rate at which a transparent material without color is perceived”. As illustrated in FIG. 3, it was found that when the deviation amount is 0.12 deg or less, it is easily perceived that the color of the “transparent material texture” substance is modulated.
  • the viewing angle corresponding to the spatial displacement between the “deformation region” and the “modulation region” is within 0.12 degrees.
  • “the vicinity of the deformation area” is preferably an area (spatial area) whose viewing angle with respect to the “deformation area” is within 0.12 degrees.
  • the position and shape of the modulation area are determined based on the spatial position and shape of the deformation area. Therefore, it is necessary to hold the deformation area information PS regarding the spatial position and shape of the deformation area until the modulation area for modulating the color and the luminance is determined and the processing of the color modulation section 15 and the luminance modulation section 16 is completed. It was.
  • the difference between the pixel of the original image P and the pixel of the modulated image P1 at the same spatial position is calculated, and the region where the difference is not zero is set as the modulation region. As a result, the modulation area can be determined without storing the deformation area information PS.
  • the video generation device 3 of the present embodiment includes a modified map generation unit 11, a modulation area determination unit 32, a distortion modulation unit 13, a separation unit 14, a color modulation unit 15 (modulation unit), and luminance modulation.
  • a unit 16 (modulation unit), an integration unit 17, and a storage unit 18 are included.
  • the third embodiment is different from the first and second embodiments only in that the processing of the modulation region determination units 12 and 22 is replaced with the following processing of the modulation region determination unit 32. Below, only the process of the modulation area
  • the modulation area determination unit 32 receives the original image P and the modulation image P1.
  • the modulation area determination unit 32 calculates a difference between each pixel of the original image P and each pixel of the modulation image P1 at the same spatial position, and designates the modulation area by setting the area where the difference is not zero as the modulation area.
  • Modulation region information R is output.
  • the modulation area information S may be further input to the modulation area determination unit 32.
  • the modulation region determination unit 32 obtains and outputs the modulation region information R representing the spatial position and shape of the modulation region based on the modulation region specified based on the difference and the modulation region information S as described above.
  • Other processes are as described in the first embodiment.
  • the contour of the deformation area is deformed. That is, the plurality of deformation regions corresponding to the plurality of frames of the present embodiment are obtained by deforming the contours of the original deformation regions included in the original image using a plurality of different second deformation maps having low spatial frequency components, respectively. Is.
  • the contours of the plurality of deformation regions are different from each other.
  • the transparent material texture perceived by the observer by modulating at least one of the magnitude of the absolute value of the spatial frequency component of the second deformation map and the amplitude of the second deformation map. Can be adjusted. Thereby, not only the color and brightness of the transparent material texture, but also the viscosity of the transparent material texture can be adjusted.
  • the video generation device 4 includes a deformation map generation unit 41, a modulation region determination unit 12, a distortion modulation unit 43, a separation unit 14, a color modulation unit 15 (modulation unit), and luminance modulation.
  • a unit 16 (modulation unit), an integration unit 17, and a storage unit 18 are included.
  • the deformation map generation unit 41 includes a control unit 413, an original deformation area setting unit 414, a horizontal deformation map generation unit 415, a vertical deformation map generation unit 416, a distortion modulation unit 417, and a horizontal deformation map generation unit. 418, a vertical deformation map generation unit 410, and multiplication units 411 and 419.
  • the control unit 413 of the modified map generation unit 41 of the present embodiment includes three-dimensional noise images N and N2, amplitude information A and A2, spatial frequency information SF and SF2, time frequency information TF and TF2, and modified region information PS. Entered.
  • the amplitude information A2 and the spatial frequency information SF2 correspond to “viscous modulation information”.
  • the three-dimensional noise image N2 is a noise image having a time dimension and a two-dimensional spatial dimension. In other words, the three-dimensional noise image N2 has a plurality of two-dimensional noise images that are the basis of a modified map M O (second modified map) corresponding to a plurality of frames.
  • the three-dimensional noise image N2 of the present embodiment is for the vertical direction that is the basis of the above-described “second horizontal direction modified map” and the horizontal direction noise image N2 H and the “second vertical direction modified map”. and a noise image N2 V.
  • 3D spatial dimension size (horizontal direction for the noise image N2 H spatial dimension of size, and the size in the vertical direction for noise image N2 V) of the noise image N2 of the present embodiment is the same as the size of the original image.
  • the pixel values at each spatial position of the horizontal direction for the noise image N2 H and the vertical direction for the noise image N2 V may be independent of each other, may be correlated with each other.
  • Examples of the three-dimensional noise image N2 are a three-dimensional Gaussian noise image and a three-dimensional white noise.
  • the deformation area information PS of the present embodiment is information for specifying the spatial position and shape of the original deformation area.
  • Amplitude information A2 is information for operating the amplitude (absolute value of the pixel values) of each element (pixel) of the deformed map M O corresponding to each frame. For example, the maximum value of the amplitude of each pixel of the deformed map M O is determined on the basis of the amplitude information A2.
  • Spatial frequency information SF2 is information for operating the spatial frequencies of the deformation map M O. For example, the absolute value of the spatial frequency components included in the deformation map M O based on the spatial frequency information SF2 is determined. An example of the spatial frequency information SF2 is information defining the absolute value of the spatial frequency components included in the deformation map M O below 3 cpd. For example, the cutoff frequency of the spatial dimensions of the low-pass filter used in generating a deformation map M O according to the spatial frequency information SF2 (low-pass filter) is determined. For example, the spatial frequency information SF2 specifies the cutoff frequency (for example, 3 cpd or less) of the above-described spatial dimension low-pass filter.
  • the time frequency information TF2 manipulates the time frequency of a plurality of modified maps M O corresponding to a plurality of frames (that is, each modified map M O corresponding to each of the frames arranged in time series constituting the video M). It is information to do. For example, based on the time-frequency information TF2, the absolute value of the time-frequency components included in the plurality of deformed map M O corresponding to a plurality of frames is determined.
  • An example of a time-frequency information TF2 is information for determining the absolute value of the time-frequency components of a plurality of deformed map M O corresponding to a plurality of frames of the following 8 Hz.
  • the time-frequency information TF2 it determined the cutoff frequency of the time dimension of the low-pass filter of the plurality of deformed map M O corresponding to a plurality of frames.
  • the time frequency information TF2 specifies the cutoff frequency (for example, 8 Hz or less) of the above-described time-dimensional low-pass filter.
  • Hara deformation area setting unit 414 inputs the deformation area information PS, and outputs the original deformation region image D O containing original deformation region of the spatial position and the shape is specified by the deformation region information PS.
  • the original deformation area image D O is a two-dimensional array having the same size as the original image P.
  • Examples of original deformation region image D O is the pixel value of the original deformation region is 1, the pixel values of the other regions is a binary image is set to 0.
  • each pixel value belongs to the range of the predetermined minimum value (e.g. 0) to the maximum value (e.g.
  • each pixel value belongs to the range of the predetermined minimum value (e.g. 0) to the maximum value (e.g. 1), the absolute value of the pixel values of the original deformation region It is a grayscale image that is greater than or equal to a predetermined value and whose pixel values in other regions are less than the predetermined value.
  • one original deformation area image D0 is shared by a plurality of frames.
  • the original deformation region image D O need be generated.
  • a plurality of original deformation area images D0 may be generated for one video M.
  • the spatial position of the original deformation area may move between frames.
  • the original deformation region may move in at least one of “right direction”, “left direction”, “down direction”, and “up direction”.
  • the deformation map M O is a horizontal deformation map for horizontally modulating each pixel derived from the original deformation area image D O (for deforming the outline of the original deformation area of the deformation area image D O in the horizontal direction).
  • Horizontal direction deformation map) M OH (second horizontal direction deformation map) and vertical direction deformation map (in order to deform the contour of the original deformation area of the deformation area image D O in the vertical direction).
  • a vertical deformation map) M OV (second vertical deformation map).
  • a plurality of horizontal deformation maps M OH corresponding to a plurality of frames that is, each horizontal deformation map M OH corresponding to each of the frames arranged in time series constituting the video M
  • a plurality of vertical deformation maps M OV corresponding to each frame (that is, each vertical deformation map M OV corresponding to each of the frames arranged in time series constituting the video M) are different from each other.
  • the horizontal deformation maps M OH generated in each of some of the plurality of frames may be the same, or the vertical deformation maps M OV generated in any of the plurality of frames may be the same. It may be the same.
  • the horizontal deformation map M OH and the vertical deformation map M OV are two-dimensional arrays having the same size as the original deformation area image D O.
  • values representing the horizontal movement direction and movement amount of each pixel derived from the deformation area image D O are used as the pixel value of each pixel.
  • values representing the vertical movement direction and movement amount of each pixel derived from the deformation area image D O are used as the pixel value of each pixel.
  • each pixel value in the horizontal direction deformation map M OH and the vertical direction deformation map M OV represents the movement direction
  • the absolute value of each pixel value represents the movement amount (the number of movement pixels).
  • the position of each pixel derived from the deformation area image D O is the same as the position of the pixel in the horizontal direction deformation map M OH and the vertical direction deformation map M OV indicating the movement direction and movement amount of the pixel.
  • the pixel values at the respective spatial positions of the horizontal direction deformation map M OH and the vertical direction deformation map M OV may be independent from each other or may be correlated with each other.
  • the deformation map for horizontal direction M OH and the deformation map for vertical direction M OV have low spatial frequency components.
  • Horizontal transformation map generating unit 415 the noise image N2 H horizontal direction included in the three-dimensional noise image N2 as an input, and generates and outputs a deformation map M OH horizontal direction.
  • Vertical deformation map generating unit 416 the noise image N2 V vertical direction included in the three-dimensional noise image N2 as an input, and generates and outputs a vertical direction deformation map M OV.
  • the horizontal deformation map generation unit 415 and the vertical deformation map generation unit 416 use, for example, the methods described in Patent Document 1, Reference Document 1, and the like, and use the horizontal deformation map MOH and the vertical direction corresponding to a plurality of frames.
  • a deformation map MOV is generated and output.
  • the horizontal deformation map generation unit 415 converts the horizontal noise image N2 H included in the three-dimensional noise image N2 into a spatial frequency domain, and performs a spatial dimension low-pass filter (for example, a cutoff) based on the spatial frequency information SF2. frequency back to the spatial domain after filtering by the following low-pass filter) 3 cpd, to obtain multiple variations map M OH horizontal direction corresponding to a plurality of frames further performs normalization.
  • a spatial dimension low-pass filter for example, a cutoff
  • the vertical deformation map generating unit 416 three-dimensional noise noise image N2 V vertical direction included in the image N2 into a spatial frequency domain, spatial dimensions based on spatial frequency information SF2 low-pass filter (e.g., cut-off frequency back to the spatial domain after filtering by the following low-pass filter) 3 cpd, to obtain a plurality of modified map M OV vertical direction corresponding to a plurality of frames further performs normalization.
  • Horizontal transformation map generating unit 415 when the normalization may adjust the amplitude of the horizontal deformable map M OH on the basis of the amplitude information A2.
  • the vertical deformation map generation unit 416 may adjust the amplitude of the vertical deformation map MOV based on the amplitude information A2 during normalization.
  • the horizontal deformation map generation unit 415 and the vertical deformation map generation unit 416 are time-dimensional low-pass filters (for example, a low-pass filter whose cutoff frequency is 8 Hz or less) based on the time-frequency information TF2, and the horizontal noise image N2 H and the vertical noise image N2 V may be filtered in the time dimension and then converted to the spatial frequency domain.
  • temporal changes in the horizontal direction deformation map M OH and the vertical direction deformation map M OV that are temporally adjacent to each other become smooth.
  • the distortion modulation unit 417 receives the original deformation area image D O , the horizontal deformation map M OH , and the vertical deformation map M OV of each of a plurality of frames. For each frame, the distortion modulation unit 417 uses the image deformation method based on the horizontal deformation map M OH and the vertical deformation map M OV (see, for example, Patent Document 1, Reference Document 1, etc.) for the original deformation area image D O. And deformed region image D obtained thereby is output (FIG. 5).
  • the distortion modulation unit 417 moves each pixel derived from the original deformation area image D O in the horizontal direction based on the deformation map M OH in each frame, and moves the original deformation area based on the vertical deformation map M OV. move the pixels from the image D O in the vertical direction, and outputs thereby to obtain a modified region image D.
  • deformation region image D of the top frame f 0 is the original deformation region image D O
  • the distortion modulation unit 417 obtains a plurality of deformation region images D corresponding to a plurality of frames (that is, each deformation region image D corresponding to each of the frames arranged in time series constituting the video M). Output.
  • the deformation area image D obtained in each frame is a deformation area obtained by deforming the contour of the original deformation area of the original deformation area image D O using the horizontal deformation map M OH and the vertical deformation map M OV. including. That is, the plurality of deformation regions obtained in this way are obtained by deforming the contour of the original deformation region using a plurality of different horizontal direction deformation maps M OH and vertical direction deformation maps M OV each having a low spatial frequency component.
  • the deformation area image D is a two-dimensional array having the same size as the original image P.
  • the horizontal deformation map generation unit 418 and the vertical deformation map generation unit 410 use the three-dimensional noise image N, amplitude information A, spatial frequency information SF, temporal frequency information TF, and deformation area information PS, and use the original image in each frame.
  • a deformation map M2 (M H , M V ) for deforming each pixel derived from P is obtained (FIGS. 6A and 6B).
  • Deformation map M2 includes a plurality of deformed map M H for horizontal for modulating each pixel in the horizontal direction from the original image P, and a plurality of vertical direction deformation map M V for modulating the vertical direction Have.
  • the horizontal direction deformation map MWH and the vertical direction deformation map MWV described in the first embodiment have absolute values of zero or more only in the deformation region, and zero values in the other regions.
  • deformation map M H and variations map M V for vertical horizontal direction absolute value in all areas have a value greater than zero.
  • the other points, the modified map M H for horizontally the same as the deformed map M WH horizontal direction, the deformation map M V vertical direction is the same as the vertical direction for deformation map M WV.
  • the horizontal deformation map generation unit 418 and the vertical deformation map generation unit 410 convert the horizontal noise image N2 H and the vertical noise image N2 V included in the three-dimensional noise image N2 into a spatial frequency domain, and the spatial frequency A plurality of horizontal directions corresponding to a plurality of frames are obtained by performing filtering using a spatial dimension low-pass filter (for example, a low-pass filter having a cutoff frequency of 3 cpd or less) based on the information SF and then returning to the spatial domain.
  • a spatial dimension low-pass filter for example, a low-pass filter having a cutoff frequency of 3 cpd or less
  • Each vertical deformation map M V corresponding to each of the frames arranged in time series.
  • Horizontal transformation map generating unit 418 and the vertical deformation map generating unit 410 when the normalization, even when adjusting the amplitude of the horizontal deformable map M H and vertical deformable map M V on the basis of the amplitude information A Good.
  • the horizontal deformation map generation unit 418 and the vertical deformation map generation unit 410 are time-dimensional low-pass filters (for example, a low-pass filter having a cutoff frequency of 8 Hz or less) based on the time-frequency information TF, and the horizontal noise image N2 H.
  • the vertical noise image N2 V may be filtered in the time dimension and then converted to the spatial frequency domain.
  • the absolute value of includes a spatial frequency component equal to or less than the second value, and the first value is equal to or close to the second value. This is because if these are greatly different, it may be impossible to perceive a desired texture to be perceived by the video M. However, these may be different as long as the desired texture to be perceived can be perceived.
  • the multiplication unit 419 receives the deformation area image D of each frame and the horizontal deformation map MH as inputs, and for each frame, for the horizontal direction, the horizontal deformation map MH is weighted by the deformation area image D as follows.
  • a deformation map MWH is generated and output (FIG. 6A).
  • M WH M H ⁇ D That is, the horizontal direction deformation map M is obtained by multiplying the pixel value of each pixel (x, y) of the horizontal direction deformation map MH by the pixel value of each pixel (x, y) of the deformation area image D.
  • the pixel value of each pixel (x, y) of WH is used.
  • the deformation area of the horizontal deformation map MWH also moves.
  • the deformation of the horizontal deformation map MWH The region also moves in at least one of “right direction”, “left direction”, “downward direction”, and “upward direction”.
  • Multiplying unit 411 a modification area image D and vertically deformable map M V of each frame as an input, for each frame, for vertical weighted vertical deformable map M V in the modified region image D as shown below
  • a deformation map MWV is generated and output (FIG. 6B).
  • M WV M V ⁇ D That is, each pixel (x, y) in the vertical direction for deformation map M V pixel values and the pixel (x, y) perpendicular to the value obtained by multiplying the pixel values of vertically deformable region image D of The pixel value of each pixel (x, y) of the deformation map MWV is used.
  • the deformation of the vertical deformation map M WV The region also moves in at least one of “right direction”, “left direction”, “downward direction”, and “upward direction”.
  • a plurality of modified maps MP (M WH , M WV ) corresponding to the plurality of frames obtained as described above (that is, each modified map corresponding to each of the frames arranged in time series constituting the video M. MP) is sent to the distortion modulator 43.
  • the window function W hides an image near the outer edge (edge, outer frame) of the modulated image P1 ′.
  • the window function W is used to hide the distortion of the outer edge of the modulated image P1 ′.
  • the window function W is, for example, a function that becomes 0 with respect to coordinates near the outer edge of the modulated image P1 ′ and becomes 1 with respect to other coordinates.
  • the change of the window function W from 0 to 1 may be smooth.
  • the observer who has viewed the image M arranges a transparent material-like material having a color according to the color modulation information CM and / or a luminance according to the luminance modulation information LM in an area between the original image P and the observer.
  • Complex image processing technology is not necessary for generating the video M.
  • the color component and luminance component of the video M can be operated independently, the color and luminance of the transparent material texture can be operated independently of each other.
  • the perceived viscosity of the transparent material can be manipulated.
  • the horizontal deformation map generation unit 415 and the vertical deformation map generation unit 416 based on the spatial frequency information SF2 (viscous modulation information), the horizontal deformation map MOH and the vertical deformation map MOV (second deformation map).
  • the perceived viscosity of the transparent material can be manipulated. For example, when it is desired to give the original image P a liquid expression having a high viscosity and a loose wavefront variation, the cutoff frequency of the spatial dimension low-pass filter based on the spatial frequency information SF2 is lowered. On the other hand, when it is desired to give the original image P a liquid expression having low viscosity and fast wavefront fluctuation, the cutoff frequency is increased.
  • the horizontal direction deformation map M OH and the vertical direction deformation map M OV in the case of generating the image M for expressing the texture of the first material generate the image M for expressing the texture of the second material.
  • the horizontal direction deformation map M OH and the vertical direction deformation map M OV include higher spatial frequency components, and the viscosity of the first material is lower than the viscosity of the second material.
  • the horizontal deformation map generation unit 415 and the vertical deformation map generation unit 416 based on the amplitude information A2 (viscosity modulation information), the horizontal deformation map MOH and the vertical deformation map MOV (second deformation map).
  • A2 viscosity modulation information
  • the horizontal deformation map MOH and the vertical deformation map MOV second deformation map
  • FIG. 7 exemplifies the relationship between the contour deformation amount of the original deformation region and the subjective evaluation that the subject receives from the video M that is finally obtained.
  • the horizontal axis in FIG. 7 represents the contour deformation amount (deg) of the original deformation area
  • the vertical axis represents the impression of the material that the subject receives from the video M.
  • the contour deformation amount of the original deformation region is expressed by an angle (deg) formed by the contour of the original deformation region and the contour of the deformation region after deformation viewed from the eye position of the subject. Obtained in each direction: the condition for the deformation area to move to the right as seen from the subject, the condition for the deformation area to move to the left, the condition for the deformation area to move downward, the condition for the deformation area to move upward, and The average values of the data are expressed as “right”, “left”, “down”, “up”, and “average”, respectively.
  • the vertical axis in FIG. 7 represents the average value of the subjective evaluation values of the material impression received from the video M obtained by the subject based on the deformation areas of the respective contour deformation amounts.
  • the subjective evaluation value is expressed in five levels from 1 to 5, and a subjective evaluation value closer to 1 indicates that the subject perceives that it is solid, and a subjective evaluation value closer to 5 perceives that the subject seems to be liquid It represents that.
  • the contour deformation amount is larger, the subject receives an impression that seems to be liquid from the image M, and as the contour deformation amount is smaller, the subject receives an impression that seems to be solid from the image M.
  • the contour deformation amount of the original deformation area deformed by the vertical direction deformation map M OH and M OV also increases.
  • the amplitude of the horizontal deformation map M OH and the vertical deformation map M OV is reduced to generate an image M that perceives a liquid texture.
  • the amplitudes of the horizontal deformation map M OH and the vertical deformation map M OV may be increased.
  • the average amplitude of the horizontal deformation map M OH and the vertical deformation map M OV when generating the image M for expressing the solid texture generates the image M for expressing the liquid texture.
  • the maximum amplitude of vertical deformable map M OV is smaller than the horizontal deformable map M OH, the maximum amplitude for the vertical deformation map M OV when generating an image M for expressing the texture of the liquid.
  • information representing the deformation region image D is input to the modulation region determination units 12 and 22, and the modulation region determination units 12 and 22 use the information representing the deformation region image D to adjust the color and brightness.
  • the modulation area information R representing the spatial position and shape of the image may be obtained and output.
  • the modulation area determination unit 12 may obtain modulation area information R representing the same spatial position and shape as the deformation area represented by the deformation area image D.
  • the modulation area determination unit 22 may obtain the modulation area information R representing the spatial position and shape of the modulation area based on the deformation area information and the modulation area information S represented by the deformation area image D.
  • the modulation region determination unit 12 of the fourth embodiment may be replaced with the modulation region determination unit 22 or 32 described above.
  • the contour of the deformation area is deformed to make a desired transparent material feel.
  • the texture of the desired transparent material is perceived by blurring the contour of the deformation area (decreasing the sharpness of the contour).
  • the video generation device 5 of the present embodiment includes a modified map generation unit 51, a modulation area determination unit 12, a distortion modulation unit 13, a separation unit 14, a color modulation unit 15 (modulation unit), and luminance modulation.
  • a unit 16 (modulation unit), an integration unit 17, and a storage unit 18 are included.
  • the modified map generation unit 51 includes a control unit 413, an original deformation region setting unit 414, an outline blurring unit 512, a horizontal deformation map generation unit 418, a vertical deformation map generation unit 410, and a multiplication unit 411. 419.
  • a difference of the fifth embodiment from the fourth embodiment is that the processing of the contour blurring unit 512 is performed instead of the processing of the horizontal deformation map generation unit 415, the vertical deformation map generation unit 416, and the distortion modulation unit 417. It is. Others are as described in the fourth embodiment. Below, only the process of the outline blurring part 512 which is a difference from 4th Embodiment is demonstrated.
  • the original deformation area image D O output from the original deformation area setting unit 414 and the blurring degree information F (viscosity modulation information) indicating the degree of blurring of the contour of the original deformation area are input to the contour blurring unit 512.
  • the contour blurring unit 512 obtains a deformed region image D including a deformed region in which the contour of the original deformed region in the original deformed region image D O is blurred according to the blurring degree information F (the sharpness of the contour of the original deformed region is lowered). Output.
  • the deformation area image D is a two-dimensional array having the same size as the original image P.
  • the contour blurring unit 512 may output an image obtained by applying a Gaussian filter to the original deformation region image D O as a modified region image D, by applying a low-pass filter to the original deformation region image D O
  • the obtained image may be output as the deformation area image D.
  • the amount of blurring of the contour of the original deformation area in the original deformation area image D O varies depending on the value of the value indicated by the blurring degree information F.
  • the contour blurring unit 512 for example, according to the magnitude of the value indicated by the blur degree information F Change the filter size of the filter.
  • the contour blurring unit 512 is cut off according to the magnitude of the value indicated by the blur degree information F, for example. Change the magnitude of the frequency.
  • the observer who has viewed the image M arranges a transparent material-like material having a color according to the color modulation information CM and / or a luminance according to the luminance modulation information LM in an area between the original image P and the observer.
  • Complex image processing technology is not necessary for generating the video M.
  • the color component and luminance component of the video M can be operated independently, the color and luminance of the transparent material texture can be operated independently of each other.
  • the perceived viscosity of the transparent material can be manipulated by manipulating the blurring amount of the contour of the original deformation region.
  • FIG. 9 illustrates the relationship between the amount of blurring of the contour of the deformation area and the subjective evaluation that the subject receives from the video M that is finally obtained.
  • the horizontal axis in FIG. 9 represents the blurring amount (deg) of the contour of the deformation area.
  • the amount of blurring of the outline of the deformation area is expressed by the standard deviation of the spatial Gaussian filter used for blurring.
  • the amount is expressed as an angle (deg) formed by the filter center coordinates and coordinates separated from the standard deviation when the filter is viewed from the eye position of the subject.
  • the average values of the data are expressed as “right”, “left”, “down”, “up”, and “average”, respectively.
  • the vertical axis in FIG. 9 represents the average subjective evaluation value of the impression of the material received from the video M obtained based on the deformation region of each blur amount.
  • the subjective evaluation value is expressed in five levels from 1 to 5, and a subjective evaluation value closer to 1 indicates that the subject perceives that it is solid, and a subjective evaluation value closer to 5 perceives that the subject seems to be liquid It represents that.
  • the modulation region determination unit 12 of the fifth embodiment may be replaced with the modulation region determination unit 22 or 32 described above.
  • this invention is not limited to the above-mentioned embodiment.
  • the luminance modulation unit 16 may be omitted from the video generation devices of the first to fifth embodiments and their modifications. In this case, only color modulation is possible.
  • the video generation device 6 uses each of a plurality of different deformation maps, moves each pixel derived from the original image P by the movement direction and movement amount specified by each element corresponding to the pixel, and A modulated image P1 is obtained, the plurality of modulated images P1 are separated into a luminance component and a color component to obtain a plurality of luminance component images L and a color component image C, and the colors of the plurality of color component images C are obtained according to the color modulation information CM.
  • a plurality of modulated color images C1 are obtained, and a video M constituted by temporally arranging a plurality of integrated images obtained by integrating the luminance component image L and the color modulated image C1 is obtained and output.
  • the color modulation unit 15 may be omitted from the video generation devices of the first to fifth embodiments and their modifications.
  • the video generation device 7 uses each of a plurality of different modified maps, moves each pixel derived from the original image P by a movement direction and a movement amount specified by each element corresponding to the pixel, A modulated image P1 is obtained, the plurality of modulated images P1 are separated into a luminance component and a color component to obtain a plurality of luminance component images L and a color component image C, and the luminances of the plurality of luminance component images L are adjusted according to the luminance modulation information LM.
  • a plurality of modulated luminance modulated images L1 are obtained, and a video M configured by temporally arranging a plurality of integrated images obtained by integrating the luminance modulated image L1 and the color component image C is obtained.
  • Each of the above devices is a general-purpose or dedicated computer including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a random-access memory (RAM) and a read-only memory (ROM). Is configured by executing a predetermined program.
  • the computer may include a single processor and memory, or may include a plurality of processors and memory.
  • This program may be installed in a computer, or may be recorded in a ROM or the like in advance.
  • some or all of the processing units are configured using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. May be.
  • An electronic circuit constituting one device may include a plurality of CPUs.
  • a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.
  • This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device.
  • the computer reads a program stored in its own storage device, and executes a process according to the read program.
  • the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer.
  • the processing according to the received program may be executed sequentially.
  • the above-described processing may be executed by a so-called ASP (Application Service Provider) type service that does not transfer a program from the server computer to the computer but implements a processing function only by the execution instruction and result acquisition. Good.
  • ASP Application Service Provider
  • the processing functions of this apparatus are not realized by executing a predetermined program on a computer, but at least a part of these processing functions may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを互いに独立に操作する。原画像に由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る。複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得、複数の輝度成分画像の輝度および／または複数の色成分画像の色を変調して輝度変調画像および／または色変調画像を得、得られた画像を統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。

Description

映像生成装置、映像生成方法、およびプログラム
　本発明は、視覚的な錯覚をもたらす技術に関し、特に透明または半透明の素材の質感を知覚させる技術に関する。
　一般に、非剛体の透明または半透明の素材の質感（「透明素材質感」と呼ぶ）を画像に与えようとする場合、CGソフトウェアやOpenGLといったグラフィックス専用言語を用い、当該素材のモデリング・光線計算・物理計算・レンダリングが行われる。しかし、そういった技術を利用するにはある程度の知識が必要であり、その知識を習得していないユーザーがこの手法を用いるのはそう簡単ではない。
　一方で、単純な画像処理のみを用いて任意の画像に透明素材質感を与える方法もある。一般に透明または半透明の素材の屈折率は１以上である。そのため、透明または半透明の素材の背後にあるシーンは歪む。特許文献１に記載された技術では、この歪みを画像処理で表現し、任意の画像と観察者との間に透明素材質感を持つ物体が存在するかのように錯覚させる。
特許第６０６９１１５号公報
　しかし、簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを独立に操作する技術は提案されていない。例えば、特許文献１では、任意の画像に透明素材質感を与える技術は提案されているものの、その透明素材質感の色および明るさを独立に操作する方法は開示されていない。例えば、上述のようなグラフィックス専用言語を用いて透明素材の色や明るさを変更することはできるものの、上記の通り、一定の知識をユーザーに要求する。
　本発明はこのような点に鑑みてなされたものであり、簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを互いに独立に操作することを目的とする。
　原画像に由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る。複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得、複数の輝度成分画像の輝度および／または複数の色成分画像の色を変調して輝度変調画像および／または色変調画像を得、得られた画像を統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。
　これにより、簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを互いに独立に操作できる。
図１は実施形態の映像生成装置の機能構成を例示したブロック図である。 図２Ａから図２Ｃは実施形態で生成される映像を例示するための図である。 図３は変形領域に対する色変更領域のずれ量と透明素材に色が無いと知覚された割合との関係を例示したグラフである。 図４は実施形態の変形地図生成部の機能構成を例示したブロック図である。 図５は実施形態の映像生成方法を説明するための図である。 図６Ａおよび図６Ｂは第３実施形態の映像生成方法を説明するための図である。 図７は変形領域の輪郭の変形量と素材の印象との関係を例示した図である。 図８は実施形態の変形地図生成部の機能構成を例示したブロック図である。 図９は変形領域の輪郭のぼかし量と素材の印象との関係を例示した図である。 図１０は実施形態の映像生成装置の機能構成を例示したブロック図である。 図１１は実施形態の映像生成装置の機能構成を例示したブロック図である。
　以下、図面を参照して本発明の実施形態を説明する。
　［概要］
　まず本実施形態の概要を説明する。
　色を操作する映像生成装置は、複数の変形地図（原画像に由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図）のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得、複数の変調画像を輝度成分（明度成分）と色成分に分離して複数の輝度成分画像と色成分画像とを得、色変調情報に従って複数の色成分画像の色を変調した（色を変えた）複数の色変調画像を得、輝度成分画像と色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。この映像を見た観察者は、色変調情報に従った色を持つ透明素材質感の物質が原画像と当該観察者との間の領域に配置されているかのように錯覚する。この映像の生成に複雑な画像処理技術は不要である。
　明るさを操作する映像生成装置は、上記の「変形地図」のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得、複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得、輝度変調情報に従って複数の輝度成分画像の輝度を変調した（輝度を変えた）複数の輝度変調画像を得、輝度変調画像と色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。この映像を見た観察者は、輝度変調情報に従った輝度（例えば、濁り具合）を持つ透明素材質感の物質が原画像と当該観察者との間の領域に配置されているかのように錯覚する。この映像の生成に複雑な画像処理技術は不要である。
　色および輝度の両方を操作する映像生成装置は、上記の「変形地図」のそれぞれを用い、原画像に由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得、複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得、輝度変調情報に従って複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って複数の色成分画像の色を変調した複数の色変調画像を得、輝度変調画像と色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。この映像を見た観察者は、色変調情報に従った色および輝度変調情報に従った輝度を持つ透明素材質感の物質が原画像と当該観察者との間の領域に配置されているかのように錯覚する。この映像の生成に複雑な画像処理技術は不要である。
　以上のように、実施形態では簡易な画像処理技術を用いて、任意の画像に与える透明素材質感の色および明るさを互いに独立に操作できる。なお、前述のように「透明素材質感」は、非剛体の透明または半透明の素材の質感を意味する。「透明素材質感」の例は、透明または半透明な液体や気体などの流体の質感である。
　「原画像」は任意の画素からなる二次元配列である。「原画像」は実空間に存在する物質を撮影または描いたものであってもよいし、実空間に存在しないものを表していてもよいし、ノイズ画像であってもよい。また、「原画像」はカラー画像であってもよいし、モノトーン画像であってもよいし、白黒画像であってもよい。
　「変形地図」は「原画像」に由来する各画素をどれだけ歪ませるかを表した値（歪み量）の二次元分布（歪み分布）である。「変形地図」は「歪み分布」とも呼ばれる。「原画像に由来する各画素」は「原画像」の画素であってもよいし、「原画像」の画素を移動させて得られる画像の画素であってもよい。「変形地図」の例は、原画像に由来する各画素の移動方向および移動量を表す各画素（各要素）を画素値とした二次元配列である。例えば、「原画像」に由来する各画素の移動方向が当該「原画像」に由来する各画素に対応する「変形地図」の各画素の画素値の正負で表され、「原画像」に由来する各画素の移動量が当該「原画像」に由来する各画素に対応する「変形地図」の各画素の画素値の絶対値で表される。例えば、「原画像」に由来する各画素の位置（座標）は、その画素の移動方向および移動量を表す「変形地図」の画素の位置（座標）と同じである。画素の移動方向を画素値の正負で表す場合には一次元の方向しか特定できない。そのため、「原画像」に由来する各画素を二次元の任意の方向に変形させるためには、「原画像」に由来する各画素を水平方向に変調するための「変形地図（水平方向用変形地図）」と垂直方向に変調するための「変形地図（垂直方向用変形地図）」とが必要となる。同じフレームに対応する「水平方向用変形地図」の各要素と「垂直方向用変形地図」の各要素とは、互いに独立していてもよいし、互いに関連していてもよい（例えば、少なくとも一部の要素が互いに同一）。「変形地図」の具体例は、画像ワープ（「イメージワープ」や「ピクセルワープ」ともいう）法によって画像を変形させるためのマップである（例えば、参考文献１等参照）。
　参考文献１：Kawabe, T., Maruya, K., & Nishida, S., "Perceptual transparency from image deformation," Proceedings of the National Academy of Sciences, August 18, 2015, 112(33), E4620-E4627, [平成30年3月20日検索]、インターネット＜https://doi.org/10.1073/pnas.1500913112＞
　「低空間周波数成分」とは、絶対値が所定値以下の空間周波数成分を意味する。「低空間周波数成分」の例は、空間周波数の絶対値が３ｃｐｄ（cycles per degree）以下の成分である。例えば、「変形地図」は主に「低空間周波数成分」を含む。「変形地図」が「低空間周波数成分」のみを含んでもよいし、「低空間周波数成分」とそれ以外の空間周波数成分とを含んでいてもよい。
　「複数の異なる変形地図のそれぞれ」は、各フレームに対応する。すなわち「複数の異なる変形地図のそれぞれ」は、各フレームにおける各画素の移動方向および移動量を表す。なお「各フレーム」は、映像生成装置によって生成される映像を構成する、時系列に並べられたフレームのそれぞれに対応する。例えば、生成される映像が１秒間分であり、１秒間の映像が３０フレームの画像で構成される場合、「複数の異なる変形地図」は３０個となる。映像生成装置は、各フレームに対応する「変形地図」の各要素に対応する「原画像」に由来する各画素を、当該「変形地図」の各要素により特定される移動方向および移動量だけ移動させ、当該フレームに対応する「変調画像」を生成する。例えば、映像生成装置は、「原画像」の各画素を当該各画素に対応する最初のフレームｆ０の「変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ０に対応する「変調画像」を得る。２番目以降のフレームｆｉでも同様に、映像生成装置は、「原画像」の各画素を当該各画素に対応する当該フレームｆｉの「変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆｉに対応する「変調画像」を得る。あるいは、最初のフレームｆ０では、映像生成装置は「原画像」を「変調画像」とし、２番目以降のフレームｆｉでは、映像生成装置は、フレームｆｉの直前のフレームｆｉ－１の「変調画像」の各画素を、当該各画素に対応する当該フレームｆｉに対応する、「変形地図」の各要素により特定される移動方向および移動量だけ移動させて、当該フレームｆｉに対応する「変調画像」を得てもよい。あるいは、最初のフレームｆ０で「原画像」を「変調画像」にすることに代え、「原画像」の各画素を当該各画素に対応する当該フレームｆ０の「変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ０に対応する「変調画像」を得てもよい。例えば、「原画像」に由来する各画素を水平方向に変調するための「変形地図（水平方向用変形地図）」と垂直方向に変調するための「変形地図（垂直方向用変形地図）」とが用いられる場合、映像生成装置は、各フレームに対応する「水平方向用変形地図」の各要素に対応する「原画像」に由来する各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームに対応する「垂直方向用変形地図」の各要素に対応する「原画像」に由来する各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームに対応する「変調画像」を生成する。例えば、映像生成装置は、最初のフレームｆ０で、当該最初のフレームｆ０に対応する「水平方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該最初のフレームｆ０に対応する「垂直方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該最初のフレームｆ０に対応する「変調画像」を得る。２番目以降のフレームｆｉでも同様に、映像生成装置は、当該フレームｆｉに対応する「水平方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向および移動量だけ移動させ、当該フレームｆｉに対応する「垂直方向用変形地図」の各要素に対応する「原画像」の各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向および移動量だけ移動させ、当該フレームｆｉに対応する「変調画像」を得る。あるいは、２番目以降のフレームｆｉでは、映像生成装置が、当該フレームｆｉに対応する「水平方向用変形地図」の各要素に対応する、当該フレームｆｉの直前のフレームｆｉ－１の「変調画像」の各画素を、当該「水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームｆｉに対応する「垂直方向用変形地図」の各要素に対応する当該フレームｆｉ－１の「変調画像」の各画素を、当該「垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームｆｉに対応する「変調画像」を得てもよい。あるいは、最初のフレームｆ０で、映像生成装置が「原画像」を「変調画像」としてもよい。「変調画像」の生成には、例えば画像ワープ法を用いることができる。このような処理を複数のフレームについて実行することで、これら複数のフレームに対応する「複数の変調画像」が得られる。
　得られた「複数の変調画像」のそれぞれ（各フレームに対応する変調画像）は輝度成分と色成分に分離される。これにより、各フレームに対応する「変調画像」の輝度成分である「輝度成分画像」と、各フレームに対応する「変調画像」の色成分である「色成分画像」とが得られる。言い換えると、各フレームに対応する「輝度成分画像」と「色成分画像」との組が得られる。この処理を複数のフレームについて行うことで、当該複数のフレームに対応する複数の「輝度成分画像」と複数の「色成分画像」とが得られる。言い換えると、「輝度成分画像」と「色成分画像」との組が複数組得られる。「輝度成分画像」の輝度と「色成分画像」の色とは互いに独立することが望ましい。すなわち、「輝度成分画像」の輝度を変更することで「変調画像」の色成分を変更することなく輝度成分を変更でき、「色成分画像」の色を変更することで「変調画像」の輝度成分を変更することなく色成分を変更できることが望ましい。例えば、「輝度成分画像」が表す各画素値の座標系と、「色成分画像」が表す各画素値の座標系とが、互いに直交することが望ましい。例えば、「変調画像」がＲＧＢ表色系で表現されている場合、映像生成装置は「変調画像」を輝度次元と色次元とに分離できる表色系（例えば、ＣＩＥ　Ｌａｂ表色系，ＣＩＥ　Ｙｘｙ表色系，ＣＩＥ　ＨＳＶ表色系）に変換し、変換後の表色系で「輝度成分画像」と「色成分画像」とを得る。
　「透明素材質感」の色を操作する場合、映像生成装置は「色変調情報」に従って複数の「色成分画像」の色を変調して複数の「色変調画像」を得る。「色変調情報」は色を表す情報であってもよいし、色の変化を表す情報であってもよい。「色変調情報」が色を表す情報である場合、映像生成装置は「色成分画像」の色を「色変調情報」が表す色に変調した「色変調画像」を得る。「色変調情報」が色の変化（例えば、色空間での変化方向および変化量）を表す情報である場合、映像生成装置は「色成分画像」の色を「色変調情報」が表す分だけ変化させた「色変調画像」を得る。
　「透明素材質感」の輝度（明度）を操作する場合、映像生成装置は「輝度変調情報」に従って複数の「輝度成分画像」の輝度を変調して複数の「輝度変調画像」を得る。「輝度変調情報」は「輝度成分画像」の輝度を表す情報であってもよいし、「輝度成分画像」の輝度の変化（例えば、輝度次元での変化方向および変化量）を表す情報であってもよい。「輝度変調情報」が「輝度成分画像」の輝度を表す情報である場合、映像生成装置は「輝度成分画像」の輝度を「輝度変調情報」が表す輝度に変調した「輝度変調画像」を得る。「輝度変調情報」が輝度の変化を表す情報である場合、映像生成装置は「輝度成分画像」の輝度を「輝度変調情報」が表す分だけ変化させた「輝度変調画像」を得る。
　「透明素材質感」の色のみが操作された場合、映像生成装置は「輝度成分画像」と「色変調画像」とを統合して得られる複数の「統合画像」を時間的に並べることで構成される映像を得る。例えば、各フレームに対応する「輝度成分画像」と「色変調画像」との組を統合したものが当該フレームに対応する「統合画像」となる。「輝度成分画像」と「色変調画像」との統合とは、「輝度成分画像」に対応する輝度成分（例えば、「輝度成分画像」が表す輝度成分）と「色変調画像」に対応する色成分（例えば、「色変調画像」が表す色成分）とを持つ画像を生成することを意味する。
　「透明素材質感」の輝度のみが操作された場合、映像生成装置は「輝度変調画像」と「色成分画像」とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る。例えば、各フレームに対応する「輝度変調画像」と「色成分画像」との組を統合したものが当該フレームに対応する「統合画像」となる。「輝度変調画像」と「色成分画像」との統合とは、「輝度変調画像」に対応する輝度成分（例えば、「輝度変調画像」が表す輝度成分）と「色成分画像」に対応する色成分（例えば、「色成分画像」が表す色成分）とを持つ画像を生成することを意味する。
　「透明素材質感」の色および輝度が操作された場合、映像生成装置は「輝度変調画像」と「色変調画像」とを統合して得られる複数の「統合画像」を時間的に並べることで構成される映像を得る。例えば、各フレームに対応する「輝度変調画像」と「色変調画像」との組を統合したものが当該フレームに対応する「統合画像」となる。「輝度変調画像」と「色変調画像」との統合とは、「輝度変調画像」に対応する輝度成分（例えば、「輝度変調画像」が表す輝度成分）と「色変調画像」に対応する色成分（例えば、「色変調画像」が表す色成分）とを持つ画像を生成することを意味する。
　「変形地図」が「変形領域」に属する各画素の移動方向および移動量を示し、映像生成装置が、複数の「色成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の色を変調して複数の「色変調画像」を得てもよいし、複数の「輝度成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の輝度を変調して複数の「輝度変調画像」を得てもよい。「変形領域」はすべてのフレームで共通（同一）であってもよいし、少なくとも一部のフレームに対応する「変形領域」が他のフレームに対応する「変形領域」と異なってもよい。すべてまたは一部のフレームに対応する「変形領域」の空間位置は、「原画像」の一部の空間領域と同一である。また、「原画像」に由来する各画素を水平方向に変調するための「変形地図（水平方向用変形地図）」と、「原画像」に由来する各画素を垂直方向に変調するための「変形地図（垂直方向用変形地図）」と、が用いられる場合、同一のフレームに対応する「水平方向用変形地図」の「変形領域」の空間位置と「垂直方向用変形地図」の「変形領域」の空間位置とは互いに同一である。「変形地図」のうち「変形領域」に含まれる各画素に対応する要素は当該各画素の移動方向および零以外の移動量（絶対値が正の移動量）を表し、「変形地図」のうち「変形領域」に含まれない各画素に対応する要素は当該各画素の移動量が零であることを表す。映像生成装置が、複数の「色成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の色を変調した場合、上述のように得られた「映像」を見た観察者は、「色変調情報」に従った色を持つ「透明素材質感」の物質が「原画像」と当該観察者との間に配置されているかのように錯覚する。映像生成装置が、複数の「輝度成分画像」の「変形領域」、または、「変形領域」および「変形領域」の近傍の輝度を変調した場合、上述のように得られた「映像」を見た観察者は、「輝度変調情報」に従った輝度を持つ「透明素材質感」の物質が「原画像」と当該観察者との間に配置されているかのように錯覚する。注目すべき点は、たとえ「変形領域」の近傍の色および／または輝度を変調した場合であっても、「原画像」が表す物質の色および／または輝度ではなく、「原画像」が表す物質と観察者との間に存在する「透明素材質感」の色および／または輝度が変調されたような錯覚を引き起こす点である。このような錯覚を明確に引き起こすためには、「変形領域の近傍」が「変形領域」に対する視角が０．１２度以内の領域（空間領域）であることが望ましい。
　「変形領域」の輪郭を変形させてもよい。すなわち、「複数の異なる変形地図」が複数の「変形領域」内の各画素の移動方向および移動量を示し、複数の「変形領域」が低空間周波数成分を有する複数の異なる「第２変形地図」をそれぞれ用いて「原画像」に含まれた「原変形領域」の輪郭を変形して得られるものであってもよい。これらの「複数の変形領域」の輪郭は互いに異なる。このような構成において、「粘性変調情報」に従って、「第２変形地図」の空間周波数成分の絶対値の大きさ、および「第２変形地図」の振幅、の少なくとも何れかを変調する（変化させる）。これにより、上述のような色および／または輝度を持ち、さらに所望の粘度を持った「透明素材質感」の物質が原画像と観察者との間の領域に配置されているように錯覚させることができる。
　上述の場合の「複数の変形領域」のそれぞれは各フレームの「変形地図」において要素が零でない領域である。すなわち、「複数の変形領域」は複数のフレームの「変形地図」それぞれにおいて要素が零でない領域である。すべてまたは一部のフレームに対応する「変形領域」の空間位置は「原画像」の一部の空間領域と同一である。各フレームの「変形地図」の輪郭は、各フレームに対応する「第２変形地図」を用いて「原変形領域」の輪郭を変形することで得られる。「原変形領域」は「原画像」に含まれた空間領域であってもよいし、「原画像」と重複する空間領域であってもよい。「変形領域」の輪郭は「変形領域」を定義する境界を意味する。すなわち、「変形領域」の輪郭とは、当該「変形領域」と当該「変形領域」以外の空間領域との境界を意味する。同様に、「原変形領域」の輪郭は「原変形領域」を定義する境界を意味する。つまり、「原変形領域」の輪郭とは、当該「原変形領域」と当該「原変形領域」以外の空間領域との境界を意味する。「輪郭」の形状の例は、円、楕円、矩形、多角形などである。
　「第２変形地図」は「低空間周波数成分」を含む。例えば、「第２変形地図」は主に「低空間周波数成分」を含む。「第２変形地図」が「低空間周波数成分」のみを含んでもよいし、「低空間周波数成分」とそれ以外の空間周波数成分とを含んでいてもよい。例えば、映像生成装置は、各フレームに対応する「第２変形地図」を用い、「原変形領域」を特定する「原変形領域画像」を変調して「変形領域」を特定する「変形領域画像」を各フレームについて得、当該「変形領域画像」を用いて各フレームの「変形領域」を特定する。例えば、「原変形領域画像」は「原画像」と同じサイズの二次元配列である。「原変形領域画像」の例は、「原変形領域」の画素値を零以外の値（例えば、１などの正の定数）とし、その他の領域の画素値を零とした二次元配列である。例えば、「変形領域画像」は「原画像」と同じサイズの二次元配列である。「変形領域画像」の例は、「変形領域」の画素値を零以外の値（例えば、１などの正の定数）とし、その他の領域の画素値を零とした二次元配列である。「第２変形地図」は「原変形領域画像」に由来する各画素をどれだけ歪ませるかを表した値（歪み量）の二次元分布（歪み分布）である。「原変形領域画像に由来する各画素」は「原変形領域画像」の画素であってもよいし、「原変形領域画像」の画素を移動させて得られる画像の画素であってもよい。「第２変形地図」の例は、「原変形領域画像」に由来する各画素の移動方向および移動量を表す各画素（各要素）を画素値とした二次元配列である。例えば、「原変形領域画像」に由来する各画素の移動方向が当該「原変形領域画像」に由来する各画素に対応する「第２変形地図」の各画素の画素値の正負で表され、「原変形領域画像」に由来する各画素の移動量が当該「原変形領域画像」に由来する各画素に対応する「第２変形地図」の各画素の画素値の絶対値で表される。例えば、「原変形領域画像」に由来する各画素の位置（座標）は、その画素の移動方向および移動量を表す「第２変形地図」の画素の位置（座標）と同じである。画素の移動方向を画素値の正負で表す場合には一次元の方向しか特定できない。そのため、「原変形領域画像」に由来する各画素を二次元の任意の方向に変形させるためには、「原変形領域画像」に由来する各画素を水平方向に変調するための「第２変形地図（第２水平方向用変形地図）」と垂直方向に変調するための「第２変形地図（第２垂直方向用変形地図）」とが必要となる。「第２変形地図」の具体例は、画像ワープ法によって画像を変形させるためのマップである。映像生成装置は、「原変形領域画像」に由来する各画素を、各フレームに対応する「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させ、各フレームに対応する「変形領域画像」を生成する。例えば、最初のフレームｆ０では、映像生成装置は、「原変形領域画像」の各画素を当該各画素に対応する当該フレームｆ０の「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆ０に対応する「変形領域画像」を得る。例えば、２番目以降のフレームｆｉでも同様に、映像生成装置は、「原変形領域画像」の各画素を当該各画素に対応する当該フレームｆｉの「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させて当該フレームｆｉに対応する「変形領域画像」を得る。あるいは、２番目以降のフレームｆｉでは、映像生成装置は、フレームｆｉの直前のフレームｆｉ－１の「変形領域画像」の各画素を、当該各画素に対応する当該フレームｆｉに対応する「第２変形地図」の各要素により特定される移動方向および移動量だけ移動させて、当該フレームｆｉに対応する「変形領域画像」を得てもよい。あるいは、最初のフレームｆ０で「原変形領域画像」を「変形領域画像」としてもよい。例えば、「原変形領域画像」に由来する各画素を水平方向に変調するための「第２変形地図（第２水平方向用変形地図）」と、「原変形領域画像」に由来する各画素を垂直方向に変調するための「第２変形地図（第２垂直方向用変形地図）」と、が用いられる場合、映像生成装置は、各フレームに対応する「第２水平方向用変形地図」の各要素に対応する「原変形領域画像」に由来する各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームに対応する「第２垂直方向用変形地図」の各要素に対応する「原変形領域画像」に由来する各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームに対応する「変形領域画像」を生成する。例えば、最初のフレームｆ０では、映像生成装置が、当該最初のフレームｆ０に対応する「第２水平方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該最初のフレームｆ０に対応する「第２垂直方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該最初のフレームｆ０に対応する「変形領域画像」を得る。例えば、２番目以降のフレームｆｉでも同様に、映像生成装置が、当該フレームｆｉに対応する「第２水平方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームｆｉに対応する「第２垂直方向用変形地図」の各要素に対応する「原変形領域画像」の各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームｆｉに対応する「変形領域画像」を得る。あるいは、２番目以降のフレームｆｉで、映像生成装置が、当該フレームｆｉに対応する「第２水平方向用変形地図」の各要素に対応する、当該フレームｆｉの直前のフレームｆｉ－１の「変形領域画像」の各画素を、当該「第２水平方向用変形地図」の各要素により特定される移動方向（水平方向）および移動量だけ移動させ、当該フレームｆｉに対応する「第２垂直方向用変形地図」の各要素に対応する当該フレームｆｉ－１の「変形領域画像」の各画素を、当該「第２垂直方向用変形地図」の各要素により特定される移動方向（垂直方向）および移動量だけ移動させ、当該フレームｆｉに対応する「変形領域画像」を得てもよい。「変形領域画像」の生成には、例えば画像ワープ法を用いることができる。このような処理を複数のフレームについて実行することで、これら複数のフレームに対応する「複数の変形領域画像」が得られる。
　「第２変形地図」の空間周波数成分および／または振幅を変化させることで、「映像」によって表現される質感を変化させることができる。そのため、「第２変形地図」の空間周波数成分および／または振幅を操作することで、所望の質感を表現する「映像」を生成できる。
　例えば、「第２変形地図」が含む空間周波数成分の絶対値が大きいほど、粘性が低い物質の質感を表現する「映像」を生成できる。すなわち、「第１物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」は、「第２物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」よりも高い空間周波数成分を含み、「第１物質」の粘性は「第２物質」の粘性よりも低い。「第１物質」および「第２物質」の例は透明または半透明な物質である。例えば、「第１物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が主に空間周波数の絶対値がα１以下の空間周波数成分を含み、「第２物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が主に空間周波数の絶対値がα２以下（ただし、α１＞α２）の空間周波数成分を含む。例えば、「第１物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が空間周波数の絶対値がα１以下の空間周波数成分のみからなり、「第２物質」の質感を表現するための「映像」を生成する場合の「第２変形地図」が空間周波数の絶対値がα２以下（ただし、α１＞α２）の空間周波数成分のみからなる。そのため、「第２変形地図」が含む空間周波数成分の絶対値の上限もしくは平均値、または、「第２変形地図」が含む全空間周波数成分に占める空間周波数成分の割合を操作することで、生成された「映像」で表現される物質の質感を操作できる。このような操作を行うことで、「映像」で表現される透明または半透明の物質（色および／または輝度が操作されたものも含む）から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに、気体から液体に変化させたり、液体から固体に変化させたりできる。
　例えば、「第２変形地図」の振幅（各要素の大きさ）を変化させることで、「映像」によって表現される質感を変化させることができる。例えば、固体の質感を表現するための「映像」を生成する場合の「第２変形地図」の平均振幅は、液体の質感を表現するための「映像」を生成する場合の「第２変形地図」の平均振幅よりも小さい。例えば、固体の質感を表現するための「映像」を生成する場合の「第２変形地図」の最大振幅は、液体の質感を表現するための「映像」を生成する場合の「第２変形地図」の最大振幅よりも小さい。そのため、「第２変形地図」の振幅の大きさを操作することで、「映像」で表現される透明または半透明の物質から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに、気体から液体に変化させたり、液体から固体に変化させたりできる。なお、「第２変形地図」が含む空間周波数成分の絶対値と「第２変形地図」の振幅とは互いに独立に調整できる。すなわち、「第２変形地図」が含む空間周波数成分の絶対値を固定した上で「第２変形地図」の振幅を調整してもよい。あるいは、「第２変形地図」の振幅を固定した上で「第２変形地図」が含む空間周波数成分の絶対値を調整してもよい。あるいは、「第２変形地図」が含む空間周波数成分の絶対値と「第２変形地図」の振幅との両方を調整してもよい。すなわち、「映像」で表現される透明または半透明の物質から受ける印象をどのように変化（例えば、気体から液体に変化）させるかに応じ、これらの少なくとも一方を適宜調整すればよい。
　「変形地図」および「第２変形地図」に主に含まれた空間周波数成分の絶対値の上限値が互いに同一または近似していることが望ましい。すなわち、「変形地図」は主に空間周波数の絶対値が「第１値」以下の空間周波数成分を含み（例えば、「変形地図」は空間周波数の絶対値が「第１値」以下の空間周波数成分のみを含み）、「第２変形地図」は主に空間周波数の絶対値が「第２値」以下の空間周波数成分を含み（例えば、第２変形地図」は空間周波数の絶対値が「第２値」以下の空間周波数成分のみを含み）、「第１値」は「第２値」に等しいまたは近似していることが望ましい。「変形地図」および「第２変形地図」に主に含まれた空間周波数成分の絶対値の上限値が互いに大きく異なると、知覚させようとする所望の質感を知覚させることができなくなる可能性があるからである。
　また「変形領域」の輪郭のぼかし量（または鮮鋭度）が変化することで「映像」によって表現される質感が変化する。そのため、「粘性変調情報」に従って、「変形領域」の輪郭のぼかし量（または鮮鋭度）を操作することで、所望の質感を表現する「映像」を生成できる。例えば、固体の質感を表現するための「映像」を生成するときの「変形領域」の輪郭のぼかし量は、液体の質感を表現するための「映像」を生成するときの「変形領域」の輪郭のぼかし量よりも小さい。そのため、「変形領域」の輪郭のぼかし量を操作することで、「映像」で表現される透明または半透明の物質から受ける印象を、例えば、固体から液体に変化させたり、液体から気体に変化させたり、それらの逆向きに変化させたりできる。なお、「変形領域」の輪郭のぼかし量も、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅と独立に調整できる。すなわち、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅の少なくとも一方を固定した上で、「変形領域」の輪郭のぼかし量を調整してもよい。あるいは、「変形領域」の輪郭のぼかし量を固定した上で、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅の少なくとも一方を調整してもよい。あるいは、「変形領域」の輪郭のぼかし量、「第２変形地図」が含む空間周波数成分の絶対値および「第２変形地図」の振幅のすべてを調整してもよい。すなわち、「映像」で表現される透明または半透明の物質から受ける印象をどのように変化（例えば、気体から液体に変化）させるかに応じ、これらの少なくともいずれかを適宜調整すればよい。
　上述の「統合」を各フレームについて行うことで、複数のフレームに対応する複数の「統合画像」が得られ、それらを対応するフレームの順序に並べたもの（時間順に並べたもの）が「映像」である。すなわち、複数の「統合画像」は時間的に順序付けられており、「映像」は、この順序付けに沿って複数の「統合画像」を時間的に並べることで構成されるものである。ここで、時間的に隣接する「変形地図」の変化（隣接するフレームでの「変形地図」の各要素の時間変化）、および、時間的に隣接する「第２変形地図」の変化（隣接するフレームでの「第２変形地図」の各要素の時間変化）が滑らかである（平滑である）ことが望ましい。これにより、自然な液体や気体の質感を知覚させる「映像」を生成できるからである。
　［第１実施形態］
　第１実施形態では、透明素材質感の色および明るさの両方を独立に操作する例を説明する。
　＜構成＞
　図１に例示するように、本実施形態の映像生成装置１は、変形地図生成部１１、変調領域決定部１２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。なお、入力されたデータおよび各部で得られたデータは記憶部１８に格納される。記憶部１８に格納されたデータは必要に応じて読み出されて使用される。
　＜処理＞
　次に、本実施形態の処理を説明する。
　≪変形地図生成部１１の処理≫
　本実施形態の変形地図生成部１１には、３次元ノイズ画像Ｎ、振幅情報Ａ、空間周波数情報ＳＦ、時間周波数情報ＴＦ、および変形領域情報ＰＳが入力される。３次元ノイズ画像Ｎは時間次元と二次元の空間次元とを持つノイズ画像である。言い換えると、３次元ノイズ画像Ｎは、複数のフレームに対応する変形地図ＭＰの元になる複数の２次元ノイズ画像を有する。本実施形態の３次元ノイズ画像Ｎは、前述の「水平方向用変形地図」の元になる水平方向用ノイズ画像ＮＨと「垂直方向用変形地図」の元になる垂直方向用ノイズ画像ＮＶとを含む。水平方向用ノイズ画像ＮＨおよび垂直方向用ノイズ画像ＮＶの各画素は正値、負値、零値の何れかである。本実施形態の３次元ノイズ画像Ｎの空間次元のサイズ（水平方向用ノイズ画像ＮＨの空間次元のサイズ、および垂直方向用ノイズ画像ＮＶのサイズ）は原画像のサイズと同一である（例えば、２５６×２５６ピクセル）。３次元ノイズ画像Ｎの例は、３次元ガウシアンノイズ画像や３次元ホワイトノイズである。振幅情報Ａは、各フレームに対応する変形地図ＭＰの各要素（各画素）の振幅（画素値の絶対値）を操作するための情報である。例えば、振幅情報Ａに基づいて変形地図ＭＰの各画素の振幅の最大値が定まる。空間周波数情報ＳＦは変形地図ＭＰの空間周波数を操作するための情報である。例えば、空間周波数情報ＳＦに基づいて変形地図ＭＰに含まれる空間周波数成分の絶対値が定まる。空間周波数情報ＳＦの一例は変形地図ＭＰに含まれる空間周波数成分の絶対値を３ｃｐｄ以下に定める情報である。例えば、空間周波数情報ＳＦに従って変形地図ＭＰを生成する際に用いられる空間次元のローパスフィルタ（低域通過型フィルタ）のカットオフ周波数が定まる。例えば、空間周波数情報ＳＦは、上述の空間次元のローパスフィルタのカットオフ周波数（例えば、３ｃｐｄ以下）を特定する。時間周波数情報ＴＦは、複数のフレームに対応する複数の変形地図ＭＰの時間周波数を操作するための情報である。例えば、時間周波数情報ＴＦに基づいて、複数のフレームに対応する複数の変形地図ＭＰに含まれる時間周波数成分の絶対値が定まる。時間周波数情報ＴＦの一例は、複数のフレームに対応する複数の変形地図ＭＰの時間周波数成分の絶対値を８Ｈｚ以下に定める情報である。例えば、時間周波数情報ＴＦに従って、複数のフレームに対応する複数の変形地図ＭＰの時間次元のローパスフィルタのカットオフ周波数が定まる。例えば、時間周波数情報ＴＦは、上述の時間次元のローパスフィルタのカットオフ周波数（例えば、８Ｈｚ以下）を特定する。変形領域情報ＰＳは、変形領域の空間位置および形状を特定するための情報である。
　変形地図生成部１１は、上述の３次元ノイズ画像Ｎ、振幅情報Ａ、空間周波数情報ＳＦ、時間周波数情報ＴＦ、および変形領域情報ＰＳを用い、複数のフレームに対応する複数の変形地図ＭＰ（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図ＭＰ）を得て出力する。例えば変形地図生成部１１は、特許文献１や参考文献１等に記載された方法を用い、複数のフレームに対応する複数の変形地図ＭＰを生成する。各フレームに対応する変形地図ＭＰは水平方向用変形地図ＭＷＨと垂直方向用変形地図ＭＷＶとを含む。水平方向用変形地図ＭＷＨは、各画素の移動方向（正負符号）および移動量（絶対値）を表す各画素を画素値とした二次元配列である。垂直方向用変形地図ＭＷＶは、各画素の移動方向（正負符号）および移動量（絶対値）を表す各画素を画素値とした二次元配列である。水平方向用変形地図ＭＷＨおよび垂直方向用変形地図ＭＷＶの空間領域のサイズは原画像のサイズと同一である。水平方向用変形地図ＭＷＨおよび垂直方向用変形地図ＭＷＶは、変形領域情報ＰＳで特定される一部の空間領域である変形領域にのみ絶対値が零以上の値を持ち、その他の領域には零値を持つ。水平方向用変形地図ＭＷＨの変形領域の空間位置および形状は、垂直方向用変形地図ＭＷＶの変形領域の空間位置および形状と同一である。水平方向用変形地図ＭＷＨおよび垂直方向用変形地図ＭＷＶの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。例えば、変形地図生成部１１は、３次元ノイズ画像Ｎに含まれる水平方向用ノイズ画像ＮＨおよび垂直方向用ノイズ画像ＮＶを空間周波数領域に変換し、空間周波数情報ＳＦに基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行い、変形領域情報ＰＳに基づいて変形領域以外の画素値を零値に置換することで、複数のフレームに対応する複数の水平方向用変形地図ＭＷＨと垂直方向用変形地図ＭＷＶと（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する水平方向用変形地図ＭＷＨと垂直方向用変形地図ＭＷＶとからなる各変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ））を得る。変形地図生成部１１は、正規化の際に、振幅情報Ａに基づいて水平方向用変形地図ＭＷＨと垂直方向用変形地図ＭＷＶとの振幅を調整してもよい。また変形地図生成部１１は、時間周波数情報ＴＦに基づいた時間次元のローパスフィルタ（例えば、カットオフ周波数が８Ｈｚ以下のローパスフィルタ）で、水平方向用ノイズ画像ＮＨと垂直方向用ノイズ画像ＮＶを時間次元でフィルタリングしてから空間周波数領域に変換してもよい。これにより、変形領域の画素値をフレーム間で滑らかに変化させる水平方向用変形地図ＭＷＨおよび垂直方向用変形地図ＭＷＶを得ることができる。
　≪歪み変調部１３の処理≫
　任意の原画像Ｐ、および変形地図生成部１１から出力された複数のフレームに対応する複数の変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）（原画像Ｐに由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図）は歪み変調部１３に入力される。歪み変調部１３は、各フレームの変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）を用い、原画像Ｐに由来する各画素を当該画素に対応する変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像Ｐ１を得る。例えば、歪み変調部１３は画像ワープ法（例えば、特許文献１や参考文献１等参照）を用い、各フレームの変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）を用いて原画像Ｐに由来する画素を変形して各フレームの変調画像Ｐ１を得る。例えば、各フレームの変調画像Ｐ１は原画像Ｐを当該フレームの変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）で変形して得られる画像である。あるいは、先頭のフレームｆ０の変調画像Ｐ１は原画像Ｐであり、２番目以降のフレームｆｉの変調画像Ｐ１は直前のフレームｆｉ－１の変調画像Ｐ１を当該フレームｆｉの変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）で変形して得られる画像であってもよい。これにより、歪み変調部１３は、複数のフレームに対応する複数の変調画像Ｐ１（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変調画像Ｐ１）を得て出力する。
　≪分離部１４の処理≫
　複数のフレームに対応する複数の変調画像Ｐ１は分離部１４に入力される。分離部１４は、複数の変調画像Ｐ１を輝度成分と色成分に分離し、複数のフレームに対応する複数の輝度成分画像Ｌ（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各輝度成分画像Ｌ）と色成分画像Ｃ（すなわち、後述のように統合部１７で生成される映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各色成分画像Ｃ）とを得て出力する。例えば、変調画像Ｐ１がＲＧＢ表色系で表現されている場合、分離部１４は、変調画像Ｐ１を輝度次元と色次元とに分離できる表色系（例えば、ＣＩＥ　Ｌａｂ表色系，ＣＩＥ　Ｙｘｙ表色系，ＣＩＥ
　ＨＳＶ表色系）に変換し、変換後の表色系で輝度成分画像Ｌと色成分画像Ｃとを得る。例えば、分離部１４は、ＲＧＢ表色系で表現された変調画像Ｐ１をＣＩＥ　Ｌａｂ表色系の変調画像Ｐ２に変換し、各フレームについて、変調画像Ｐ２の輝度（明度）次元（Ｌ座標）の各座標値の二次元配列である輝度成分画像Ｌと、補色次元（ａｂ座標）の各座標値の二次元配列からなる色成分画像Ｃとを得て出力する。
　≪変調領域決定部１２の処理≫
　変調領域決定部１２には変形領域情報ＰＳが入力される。変調領域決定部１２は、変形領域情報ＰＳに基づいて色および輝度の調整を行う空間領域（変調領域）の空間位置および形状を表す変調領域情報Ｒを得て出力する。本実施形態の変調領域の空間位置および形状は、変形領域の空間位置および形状と同一である。
　≪色変調部１５の処理≫
　色変調情報ＣＭ、分離部１４から出力された複数のフレームに対応する複数の色成分画像Ｃ、および変調領域決定部１２から出力された変調領域情報Ｒが、色変調部１５に入力される。色変調部１５は、変調領域情報Ｒに基づく複数の色成分画像Ｃの変調領域の色を、色変調情報ＣＭに基づいて変調した複数の色変調画像Ｃ１を得て出力する。複数の色変調画像Ｃ１のそれぞれは各フレームに対応する。これにより、前述のように錯覚させようとする透明素材質感の物質の変調領域（すなわち、変形地図において絶対値が零以上の値を持つ画素に対応する色成分画像Ｃの領域）を所望の色に設定できる。なお、色変調情報ＣＭが色成分画像Ｃの色を変化させない（色成分画像Ｃの色を維持する）ことを表す場合、色変調部１５は各フレームに対応する色成分画像Ｃである色変調画像Ｃ１を出力する（Ｃ１＝Ｃ）。
　≪輝度変調部１６の処理≫
　輝度変調情報ＬＭ、分離部１４から出力された複数のフレームに対応する複数の輝度成分画像Ｌ、および変調領域決定部１２から出力された変調領域情報Ｒが、輝度変調部１６に入力される。輝度変調部１６は、変調領域情報Ｒに基づく複数の輝度成分画像Ｌの変調領域の輝度を、輝度変調情報ＬＭに基づいて変調した複数の輝度変調画像Ｌ１を得て出力する。輝度変調画像Ｌ１のそれぞれは各フレームに対応する。これにより、前述のように錯覚させようとする透明素材質感の物質の変調領域（すなわち、変形地図において絶対値が零以上の値を持つ画素に対応する輝度成分画像Ｌの領域）を所望の明るさに設定できる。例えば、輝度（Ｌ座標値）を下げれば、暗い色の透明素材質感の物質（例えば、重油のような物質）を知覚させることができるし、輝度（Ｌ座標値）を上げれば、明るい色の透明素材質感の物質（例えば、牛乳のような物質）を知覚させることができる。なお、輝度変調情報ＬＭが輝度成分画像Ｌの輝度を変化させない（輝度成分画像Ｌの輝度を維持する）ことを表す場合、輝度変調部１６は各フレームに対応する輝度成分画像Ｌである輝度変調画像Ｌ１を出力する（Ｌ１＝Ｌ）。
　≪統合部１７の処理≫
　色変調部１５から出力された複数のフレームに対応する複数の色変調画像Ｃ１、および、輝度変調部１６から出力された複数のフレームに対応する複数の輝度変調画像Ｌ１は、統合部１７に入力される。統合部１７は、各フレームの色変調画像Ｃ１と輝度変調画像Ｌ１とを統合して、各フレームの統合画像を得て記憶部１８に格納する。統合画像は、例えば、ＲＧＢ表色系で表現された画像であるが、ＣＩＥ　Ｌａｂ表色系等のその他の表色系で表現された画像であってもよい。統合部１７は、このように得た複数のフレームに対応する複数の統合画像をフレーム順に並べる（時間的に並べる）ことで構成される映像Ｍを得て出力する。映像Ｍはディスプレイに表示されたり、プロジェクターでスクリーン等の物体に投影されたりする。
　＜本実施形態の特徴＞
　映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。上述のように、この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分（例えば、ａｂ座標値）と輝度成分（例えば、Ｌ座標値）とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。
　［第２実施形態］
　第１実施形態では、変形領域と空間位置および形状が同一の変調領域に対して色変調や輝度変調を行った。第２実施形態では、変形領域、または、変形領域および変形領域の近傍領域である変調領域に対して色変調や輝度変調を行う例を説明する。以下では、既に説明した事項との相違点を中心に説明し、既に説明した事項と共通する部分については同じ参照番号を用いて説明を簡略化する。
　＜構成＞
　図１に例示するように、本実施形態の映像生成装置２は、変形地図生成部１１、変調領域決定部２２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。
　＜処理＞
　次に、本実施形態の処理を説明する。第２実施形態の第１実施形態からの相違点は、変調領域決定部１２の処理が以下の変調領域決定部２２の処理に置換される点のみである。以下では、変調領域決定部２２の処理のみを説明する。
　≪変調領域決定部２２の処理≫
　変調領域決定部２２には変形領域情報ＰＳおよび変調領域情報Ｓが入力される。変調領域情報Ｓは、例えば、変形領域に対する変調領域の位置関係に対応する情報である。例えば、変調領域情報Ｓは、変形領域に対する変調領域のずれ量（移動量）を表す情報であってもよいし、変形領域に対する変調領域のずれ量およびずれ方向（移動方向）を表す情報であってもよいし、変形領域と変調領域との差分を表す情報であってもよいし、変形領域の変形のさせ方を表す情報であってもよい。変形領域と変調領域との空間位置ずれ分の視角が０．１２度（ｄｅｇ）以内であることが望ましい（この理由については後述する）。すなわち、「変形領域の近傍」は「変形領域」に対する視角（映像Ｍから所定距離離れた位置から見たときの視角）が０．１２度以内の領域（空間領域）であることが望ましい。例えば、変形領域と変調領域から１００ｃｍはなれた位置から変形領域と変調領域を観察する場合、変形領域と変調領域のずれは０．２１ｃｍ以内に設定することが望ましい。変調領域決定部２２は、変形領域情報ＰＳおよび変調領域情報Ｓに基づいて変調領域の空間位置および形状を表す変調領域情報Ｒを得て出力する。本実施形態の変調領域は、変形領域、または、変形領域および変形領域の近傍の空間領域である。変調領域情報Ｒは色変調部１５および輝度変調部１６に送られる。色変調部１５は、複数の色成分画像Ｃの変形領域、または、変形領域および変形領域の近傍の色を変調して複数の色変調画像Ｃ１を得る。輝度変調部１６は、複数の輝度成分画像Ｌの変形領域、または、変形領域および変形領域の近傍の輝度を変調して複数の輝度変調画像Ｌ１を得る。その他の処理は第１実施形態のものと同じである。
　＜本実施形態の特徴＞
　本実施形態でも、映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。上述のように、この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分（例えば、ａｂ座標値）と輝度成分（例えば、Ｌ座標値）とを独立に操作できるため、知覚される透明素材質感の色と輝度とを互いに独立に操作できる。
　なお、映像Ｍを見た観察者が、原画像Ｐが表す物質の色および／または輝度ではなく、原画像Ｐと当該観察者との間に配置された「透明素材質感」の物質の色および／または輝度が変調されたような錯覚を明確に知覚するためには、変調領域の空間位置および形状が変形領域の空間位置および形状から大きく相違しないことが望ましい。変調領域と変形領域との違いと、観察者に知覚される「透明素材質感」の物質の色および／または輝度と、の間には相関関係がある。以下に、変形領域の空間位置をずらした空間領域を変調領域とする場合に、どの程度のずれならば「透明素材質感」の物質の色および／輝度が変調されたと知覚されるかを実験的に例示する。この例では、長方形の変形領域の空間位置をずらした空間領域を変調領域とした。この空間位置ずれ量を操作することで変調領域を変更し、それぞれの変調領域の色を前述のように変調して映像Ｍを生成した。図２Ａは変調領域１０２と変形領域１０１とが同一の映像Ｍを例示した図である。図２Ｂは変形領域１１１に対する変調領域１１２のずれ量がｘ１である映像Ｍを例示した図である。図２Ｃは変形領域１２１に対する変調領域１２２のずれ量がｘ２である映像Ｍを例示した図である。なお、図２Ａから図２Ｃは、映像Ｍの特定のフレームの画像、すなわち静止画像を表しているが、静止画像では前述した錯覚は知覚されない。このように生成した映像Ｍを観察者に見せ、当該観察者が「透明素材質感」の物質の色が変調されている（すなわち、色変調された透明素材質感の物質）と知覚するか、それとも「透明素材質感」の物質の色ではなく、原画像Ｐが表す物質の色が変調されている（すなわち、色無し（無色）の透明素材）と知覚するかを質問した。このように得られた「ずれ量」と「色無し透明素材が知覚された割合」との関係を図３に例示する。図３に例示するように、ずれ量が０．１２ｄｅｇ以下である場合、「透明素材質感」の物質の色が変調されていると知覚されやすいことが分かった。この結果に基づくと、「変形領域」と「変調領域」との空間位置ずれ分の視角が０．１２度以内であることが望ましいことが分かる。すなわち、「変形領域の近傍」は「変形領域」に対する視角が０．１２度以内の領域（空間領域）であることが望ましい。例えば、変形領域と変調領域から１００ｃｍはなれた位置から変形領域と変調領域を観察する場合、変形領域と変調領域のずれは０．２１ｃｍ以内に設定することが望ましい。
　［第３実施形態］
　第１，２実施形態では、変形領域の空間位置や形状に基づいて、変調領域の位置や形状を決定していた。そのため、色や輝度を変調する変調領域が決定され、色変調部１５および輝度変調部１６の処理が終了するまで、変形領域の空間位置や形状に関する変形領域情報ＰＳを保持しておく必要があった。本実施形態では、互いに同一の空間位置の原画像Ｐの画素と変調画像Ｐ１の画素との差分を計算し、その差分が零でない領域を変調領域とする。これにより、変形領域情報ＰＳを保存することなく、変調領域を決定できる。
　＜構成＞
　図１に例示するように、本実施形態の映像生成装置３は、変形地図生成部１１、変調領域決定部３２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。
　＜処理＞
　次に、本実施形態の処理を説明する。第３実施形態の第１，２実施形態からの相違点は、変調領域決定部１２，２２の処理が以下の変調領域決定部３２の処理に置換される点のみである。以下では、変調領域決定部３２の処理のみを説明する。
　≪変調領域決定部３２の処理≫
　変調領域決定部３２には、原画像Ｐと変調画像Ｐ１とが入力される。変調領域決定部３２は、互いに同一の空間位置の原画像Ｐの各画素と変調画像Ｐ１の各画素との差分を計算し、その差分が零でない領域を変調領域とし、当該変調領域を特定する変調領域情報Ｒを出力する。あるいは、第２実施形態で説明したように、さらに変調領域情報Ｓが変調領域決定部３２に入力されてもよい。この場合、変調領域決定部３２は、上述のように差分に基づいて特定された変調領域と変調領域情報Ｓに基づいて、変調領域の空間位置および形状を表す変調領域情報Ｒを得て出力する。その他の処理は、第１実施形態で説明した通りである。
　＜本実施形態の特徴＞
　本実施形態では、変形領域情報ＰＳを保持しておくことなく、第１，２実施形態で説明した効果を得ることができる。
　［第４実施形態］
　本実施形態では、変形領域の輪郭を変形する。すなわち、本実施形態の複数のフレームに対応する複数の変形領域は、低空間周波数成分を有する複数の異なる第２変形地図をそれぞれ用いて原画像に含まれた原変形領域の輪郭を変形させたものである。これらの複数の変形領域の輪郭は互いに異なる。ここで、粘性変調情報に従って、第２変形地図の空間周波数成分の絶対値の大きさ、および第２変形地図の振幅、の少なくとも何れかを変調することで、観察者に知覚される透明素材質感の粘度を調整できる。これにより、透明素材質感の色や明るさだけではなく、さらに透明素材質感の粘度をも調整できる。
　＜構成＞
　図１に例示するように、本実施形態の映像生成装置４は、変形地図生成部４１、変調領域決定部１２、歪み変調部４３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。図４に例示するように、変形地図生成部４１は、制御部４１３、原変形領域設定部４１４、水平変形地図生成部４１５、垂直変形地図生成部４１６、歪み変調部４１７、水平変形地図生成部４１８、垂直変形地図生成部４１０、および乗算部４１１，４１９を有する。
　＜処理＞
　次に、本実施形態の処理を説明する。第４実施形態の第１～３実施形態からの相違点は、変形地図生成部１１の処理が以下の変形地図生成部４１の処理に置換され、歪み変調部１３の処理が以下の歪み変調部４３の処理に置換される点のみである。以下では、変形地図生成部４１および歪み変調部４３の処理のみを説明する。
　≪変形地図生成部４１の処理≫
　本実施形態の変形地図生成部４１の制御部４１３には、３次元ノイズ画像Ｎ，Ｎ２、振幅情報Ａ，Ａ２、空間周波数情報ＳＦ，ＳＦ２、時間周波数情報ＴＦ，ＴＦ２、および変形領域情報ＰＳが入力される。振幅情報Ａ２および空間周波数情報ＳＦ２は「粘性変調情報」に相当する。３次元ノイズ画像Ｎ２は時間次元と二次元の空間次元とを持つノイズ画像である。言い換えると、３次元ノイズ画像Ｎ２は、複数のフレームに対応する変形地図ＭＯ（第２変形地図）の元になる複数の２次元ノイズ画像を有する。本実施形態の３次元ノイズ画像Ｎ２は、前述の「第２水平方向用変形地図」の元になる水平方向用ノイズ画像Ｎ２Ｈと「第２垂直方向用変形地図」の元になる垂直方向用ノイズ画像Ｎ２Ｖとを含む。水平方向用ノイズ画像Ｎ２Ｈおよび垂直方向用ノイズ画像Ｎ２Ｖの各画素は正値、負値、零値の何れかである。本実施形態の３次元ノイズ画像Ｎ２の空間次元のサイズ（水平方向用ノイズ画像Ｎ２Ｈの空間次元のサイズ、および垂直方向用ノイズ画像Ｎ２Ｖのサイズ）は原画像のサイズと同一である。水平方向用ノイズ画像Ｎ２Ｈと垂直方向用ノイズ画像Ｎ２Ｖとの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。３次元ノイズ画像Ｎ２の例は、３次元ガウシアンノイズ画像や３次元ホワイトノイズである。本実施形態の変形領域情報ＰＳは、原変形領域の空間位置および形状を特定するための情報である。振幅情報Ａ２は、各フレームに対応する変形地図ＭＯの各要素（各画素）の振幅（画素値の絶対値）を操作するための情報である。例えば、振幅情報Ａ２に基づいて変形地図ＭＯの各画素の振幅の最大値が定まる。空間周波数情報ＳＦ２は変形地図ＭＯの空間周波数を操作するための情報である。例えば、空間周波数情報ＳＦ２に基づいて変形地図ＭＯに含まれる空間周波数成分の絶対値が定まる。空間周波数情報ＳＦ２の一例は変形地図ＭＯに含まれる空間周波数成分の絶対値を３ｃｐｄ以下に定める情報である。例えば、空間周波数情報ＳＦ２に従って変形地図ＭＯを生成する際に用いられる空間次元のローパスフィルタ（低域通過型フィルタ）のカットオフ周波数が定まる。例えば、空間周波数情報ＳＦ２は、上述の空間次元のローパスフィルタのカットオフ周波数（例えば、３ｃｐｄ以下）を特定する。時間周波数情報ＴＦ２は、複数のフレームに対応する複数の変形地図ＭＯ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図ＭＯ）の時間周波数を操作するための情報である。例えば、時間周波数情報ＴＦ２に基づいて、複数のフレームに対応する複数の変形地図ＭＯに含まれる時間周波数成分の絶対値が定まる。時間周波数情報ＴＦ２の一例は、複数のフレームに対応する複数の変形地図ＭＯの時間周波数成分の絶対値を８Ｈｚ以下に定める情報である。例えば、時間周波数情報ＴＦ２に従って、複数のフレームに対応する複数の変形地図ＭＯの時間次元のローパスフィルタのカットオフ周波数が定まる。例えば、時間周波数情報ＴＦ２は、上述の時間次元のローパスフィルタのカットオフ周波数（例えば、８Ｈｚ以下）を特定する。
　≪原変形領域設定部４１４の処理≫
　原変形領域設定部４１４は、変形領域情報ＰＳを入力とし、変形領域情報ＰＳによって特定される空間位置および形状の原変形領域を含む原変形領域画像ＤＯを出力する。原変形領域画像ＤＯは原画像Ｐと同じサイズの二次元配列である。原変形領域画像ＤＯの例は、原変形領域の画素値を１とし、その他の領域の画素値を０とした２値画像である。原変形領域画像ＤＯの他の例は、各画素値が所定の最小値（例えば０）から最大値（例えば１）までの範囲に属し、原変形領域の画素値の絶対値がその他の領域の画素値の絶対値よりも大きいグレースケール画像（強度画像）である。言い換えると、原変形領域画像ＤＯの他の例は、各画素値が所定の最小値（例えば０）から最大値（例えば１）までの範囲に属し、原変形領域の画素値の絶対値が所定値以上であり、その他の領域の画素値の絶対値が当該所定値未満であるグレースケール画像である。本実施形態では１つの原変形領域画像ＤＯが複数のフレームで共用される。そのため、原画像Ｐから１つの映像Ｍを得るために、少なくとも１つの原変形領域画像ＤＯが生成されればよい。ただし、１つの映像Ｍに対して複数個の原変形領域画像ＤＯが生成されてもかまわない。例えば、フレーム間で原変形領域の空間位置が移動してもよい。例えば、複数のフレームにおいて、原変形領域が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動してもよい。
　≪水平変形地図生成部４１５および垂直変形地図生成部４１６の処理≫
　水平変形地図生成部４１５および垂直変形地図生成部４１６は、複数のフレームのそれぞれについて、原変形領域画像ＤＯの原変形領域の輪郭を変形するための変形地図（第２変形地図）ＭＯ＝（ＭＯＨ，ＭＯＶ）を生成して出力する。変形地図ＭＯは、原変形領域画像ＤＯに由来する各画素を水平方向に変調するための水平方向用変形地図（変形領域画像ＤＯの原変形領域の輪郭を水平方向に変形するための水平方向用変形地図）ＭＯＨ（第２水平方向用変形地図）と、垂直方向に変調するための垂直方向用変形地図（変形領域画像ＤＯの原変形領域の輪郭を垂直方向に変形するための垂直方向用変形地図）ＭＯＶ（第２垂直方向用変形地図）と、を有する。複数のフレームに対応する複数の水平方向用変形地図ＭＯＨ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各水平方向用変形地図ＭＯＨ）は互いに異なり、複数のフレームに対応する複数の垂直方向用変形地図ＭＯＶ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各垂直方向用変形地図ＭＯＶ）は互いに異なる。一部の複数のフレームでそれぞれ生成される水平方向用変形地図ＭＯＨが互いに同一であってもよいし、一部の何れか複数のフレームでそれぞれ生成される垂直方向用変形地図ＭＯＶが互いに同一であってもよい。水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶは原変形領域画像ＤＯと同じサイズの二次元配列である。水平方向用変形地図ＭＯＨは、変形領域画像ＤＯに由来する各画素の水平な移動方向および移動量を表す値を各画素の画素値とする。垂直方向用変形地図ＭＯＶは、変形領域画像ＤＯに由来する各画素の垂直な移動方向および移動量を表す値を各画素の画素値とする。例えば、水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの各画素値の正負は移動方向を表し、各画素値の絶対値は移動量（移動画素数）を表す。変形領域画像ＤＯに由来する各画素の位置は、その画素の移動方向および移動量を表す水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの画素の位置と同じである。水平方向用変形地図ＭＯＨおよび垂直方向用変形地図ＭＯＶの各空間位置での画素値は、互いに独立していてもよいし、互いに相関していてもよい。また水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶは低空間周波数成分を有する。
　水平変形地図生成部４１５は、３次元ノイズ画像Ｎ２に含まれる水平方向用ノイズ画像Ｎ２Ｈを入力とし、水平方向用変形地図ＭＯＨを生成して出力する。垂直変形地図生成部４１６は、３次元ノイズ画像Ｎ２に含まれる垂直方向用ノイズ画像Ｎ２Ｖを入力とし、垂直方向用変形地図ＭＯＶを生成して出力する。水平変形地図生成部４１５および垂直変形地図生成部４１６は、例えば、特許文献１や参考文献１等に記載された方法を用い、複数のフレームに対応する水平方向用変形地図ＭＯＨおよび垂直方向用変形地図ＭＯＶを生成して出力する。例えば、水平変形地図生成部４１５は、３次元ノイズ画像Ｎ２に含まれる水平方向用ノイズ画像Ｎ２Ｈを空間周波数領域に変換し、空間周波数情報ＳＦ２に基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行って複数のフレームに対応する複数の水平方向用変形地図ＭＯＨを得る。例えば、垂直変形地図生成部４１６は、３次元ノイズ画像Ｎ２に含まれる垂直方向用ノイズ画像Ｎ２Ｖを空間周波数領域に変換し、空間周波数情報ＳＦ２に基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行って複数のフレームに対応する複数の垂直方向用変形地図ＭＯＶを得る。水平変形地図生成部４１５は、正規化の際に、振幅情報Ａ２に基づいて水平方向用変形地図ＭＯＨの振幅を調整してもよい。同様に、垂直変形地図生成部４１６は、正規化の際に、振幅情報Ａ２に基づいて垂直方向用変形地図ＭＯＶの振幅を調整してもよい。また、水平変形地図生成部４１５および垂直変形地図生成部４１６は、時間周波数情報ＴＦ２に基づいた時間次元のローパスフィルタ（例えば、カットオフ周波数が８Ｈｚ以下のローパスフィルタ）で、水平方向用ノイズ画像Ｎ２Ｈと垂直方向用ノイズ画像Ｎ２Ｖを時間次元でフィルタリングしてから空間周波数領域に変換してもよい。これにより、時間的に隣接する水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの時間変化が滑らかになる。
　≪歪み変調部４１７の処理≫
　歪み変調部４１７には、原変形領域画像ＤＯ、および、複数のフレームそれぞれの水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶが入力される。歪み変調部４１７は、各フレームについて、水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶに基づく画像ワープ法（例えば、特許文献１や参考文献１等参照）によって原変形領域画像ＤＯを変形し、それによって得られた変形領域画像Ｄを出力する（図５）。すなわち、歪み変調部４１７は、各フレームにおいて、変形地図ＭＯＨに基づいて原変形領域画像ＤＯに由来する各画素を水平方向に移動させ、垂直方向用変形地図ＭＯＶに基づいて原変形領域画像ＤＯに由来する各画素を垂直方向に移動させ、それによって変形領域画像Ｄを得て出力する。例えば、先頭のフレームｆ０の変形領域画像Ｄは原変形領域画像ＤＯであり、２番目以降のフレームｆｉの変形領域画像Ｄは直前のフレームｆｉ－１の変形領域画像Ｄを当該フレームｆｉの変形地図ＭＯ＝（ＭＯＨ，ＭＯＶ）で変形して得られる画像である。これにより、歪み変調部４１７は、複数のフレームに対応する複数の変形領域画像Ｄ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形領域画像Ｄ）を得て出力する。上述のように各フレームで得られる変形領域画像Ｄは、原変形領域画像ＤＯの原変形領域の輪郭を水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶを用いて変形した変形領域を含む。すなわち、このように得られる複数の変形領域は、低空間周波数成分を有する複数の異なる水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶをそれぞれ用いて原変形領域の輪郭を変形させたものである。変形領域画像Ｄは原画像Ｐと同じサイズの二次元配列である。
　≪水平変形地図生成部４１８および垂直変形地図生成部４１０の処理≫
　まず、水平変形地図生成部４１８および垂直変形地図生成部４１０は、３次元ノイズ画像Ｎ、振幅情報Ａ、空間周波数情報ＳＦ、時間周波数情報ＴＦ、および変形領域情報ＰＳを用い、各フレームで原画像Ｐに由来する各画素を変形するための変形地図Ｍ２＝（ＭＨ，ＭＶ）を得る（図６Ａおよび図６Ｂ）。変形地図Ｍ２は、原画像Ｐに由来する各画素を水平方向に変調するための複数の水平方向用変形地図ＭＨと、垂直方向に変調するための複数の垂直方向用変形地図ＭＶとを有する。第１実施形態で説明した水平方向用変形地図ＭＷＨおよび垂直方向用変形地図ＭＷＶは、変形領域にのみ絶対値が零以上の値を持ち、その他の領域には零値を持っていたが、水平方向用変形地図ＭＨおよび垂直方向用変形地図ＭＶはすべての領域で絶対値が零以上の値を持つ。それ以外の点は、水平方向用変形地図ＭＨは水平方向用変形地図ＭＷＨと同じであり、垂直方向用変形地図ＭＶは垂直方向用変形地図ＭＷＶと同じである。例えば、水平変形地図生成部４１８および垂直変形地図生成部４１０は、３次元ノイズ画像Ｎ２に含まれる水平方向用ノイズ画像Ｎ２Ｈおよび垂直方向用ノイズ画像Ｎ２Ｖを空間周波数領域に変換し、空間周波数情報ＳＦに基づいた空間次元のローパスフィルタ（例えば、カットオフ周波数が３ｃｐｄ以下のローパスフィルタ）でフィルタリングした後に空間領域に戻し、さらに正規化を行いことで、複数のフレームに対応する複数の水平方向用変形地図ＭＨ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各水平方向用変形地図ＭＨ）と垂直方向用変形地図ＭＶ（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各垂直方向用変形地図ＭＶ）とを得る。水平変形地図生成部４１８および垂直変形地図生成部４１０は、正規化の際に、振幅情報Ａに基づいて水平方向用変形地図ＭＨと垂直方向用変形地図ＭＶとの振幅を調整してもよい。また水平変形地図生成部４１８および垂直変形地図生成部４１０は、時間周波数情報ＴＦに基づいた時間次元のローパスフィルタ（例えば、カットオフ周波数が８Ｈｚ以下のローパスフィルタ）で、水平方向用ノイズ画像Ｎ２Ｈと垂直方向用ノイズ画像Ｎ２Ｖを時間次元でフィルタリングしてから空間周波数領域に変換してもよい。これにより、変形領域の画素値をフレーム間で滑らかに変化させる水平方向用変形地図ＭＨおよび垂直方向用変形地図ＭＶを得ることができる。なお、変形地図Ｍ２＝（ＭＨ，ＭＶ）を得るための空間次元のローパスフィルタのカットオフ周波数は、前述した変形地図ＭＯ＝（ＭＯＨ，ＭＯＶ）を得るための空間次元のローパスフィルタのカットオフ周波数と同一または近似することが望ましい。すなわち、変形地図ＭＯ＝（ＭＯＨ，ＭＯＶ）は主に空間周波数の絶対値が第１値以下の空間周波数成分を含み、変形地図Ｍ２＝（ＭＨ，ＭＶ）は主に空間周波数の絶対値が第２値以下の空間周波数成分を含み、第１値は第２値に等しいまたは近似することが望ましい。これらが大きく異なると、映像Ｍによって知覚させようとする所望の質感を知覚させることができなくなる可能性があるからである。ただし、知覚させようとする所望の質感を知覚させることができるのであれば、これらが異なっていてもかまわない。
　≪乗算部４１９，４１１の処理≫
　乗算部４１９は、各フレームの変形領域画像Ｄおよび水平方向用変形地図ＭＨを入力とし、各フレームについて、以下のように変形領域画像Ｄで水平方向用変形地図ＭＨを重み付けした水平方向用変形地図ＭＷＨを生成して出力する（図６Ａ）。
ＭＷＨ＝ＭＨ×Ｄ
すなわち、水平方向用変形地図ＭＨの各画素（ｘ，ｙ）の画素値と変形領域画像Ｄの各画素（ｘ，ｙ）の画素値とを乗じて得られる値を水平方向用変形地図ＭＷＨの各画素（ｘ，ｙ）の画素値とする。フレーム間で原変形領域の空間位置が移動する場合、水平方向用変形地図ＭＷＨの変形領域も移動する。例えば、複数のフレームにおいて、原変形領域の空間位置が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する場合、水平方向用変形地図ＭＷＨの変形領域も「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する。
　乗算部４１１は、各フレームの変形領域画像Ｄおよび垂直方向用変形地図ＭＶを入力とし、各フレームについて、以下のように変形領域画像Ｄで垂直方向用変形地図ＭＶを重み付けした垂直方向用変形地図ＭＷＶを生成して出力する（図６Ｂ）。
ＭＷＶ＝ＭＶ×Ｄ
すなわち、垂直方向用変形地図ＭＶの各画素（ｘ，ｙ）の画素値と垂直方向用変形領域画像Ｄの各画素（ｘ，ｙ）の画素値とを乗じて得られる値を垂直方向用変形地図ＭＷＶの各画素（ｘ，ｙ）の画素値とする。例えば、複数のフレームにおいて、原変形領域の空間位置が「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する場合、垂直方向用変形地図ＭＷＶの変形領域も「右方向」「左方向」「下方向」「上方向」の少なくとも何れかの方向に移動する。以上のように得られた複数のフレームに対応する複数の変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）（すなわち、映像Ｍを構成する、時系列に並べられたフレームのそれぞれに対応する各変形地図ＭＰ）は歪み変調部４３に送られる。
　≪歪み変調部４３の処理≫
　任意の原画像Ｐ、および変形地図生成部４１から出力された複数のフレームに対応する複数の変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）（原画像Ｐに由来する各画素に対応する各要素を持ち、各要素が対応する各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図）は歪み変調部４３に入力される。例えば、歪み変調部４３は、第１実施形態の歪み変調部１３と同じように、各フレームの変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）を用い、原画像Ｐに由来する各画素を当該画素に対応する変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像Ｐ１を得る。あるいは、歪み変調部４３は、第１実施形態の歪み変調部１３と同じように、各フレームの変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）を用い、原画像Ｐに由来する各画素を当該画素に対応する変形地図ＭＰ＝（ＭＷＨ，ＭＷＶ）の各要素により特定される移動方向および移動量だけ移動させて、各フレームの変調画像Ｐ１’を得、当該変調画像Ｐ１’に窓関数Ｗを乗じた画像を変調画像Ｐ１として出力してもよい。窓関数Ｗは変調画像Ｐ１’の外縁（辺縁、外枠）付近の画像を隠すものである。変形地図ＭＰによる変調によって変調画像Ｐ１’の外縁が変形した場合、変調画像Ｐ１’自体の形状が歪んでしまう。窓関数Ｗはこのような変調画像Ｐ１’の外縁の歪みを隠すために用いられる。窓関数Ｗは、例えば、変調画像Ｐ１’外縁付近の座標に対して０となり、それ以外の座標に対して１となる関数である。窓関数Ｗの０から１への変化が滑らかであってもよい。歪み変調部４３は、は、各フレームについて、以下のように変調画像Ｐ１’に窓関数Ｗを乗じ、変調画像Ｐ１を得て出力してもよい。
Ｐ１＝Ｗ×Ｐ１’
　その他の処理は、第１実施形態で説明した通りである。
　＜本実施形態の特徴＞
　映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分と輝度成分とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。さらに本形態では、知覚される透明素材の物質の粘性も操作できる。
　例えば、水平変形地図生成部４１５および垂直変形地図生成部４１６が、空間周波数情報ＳＦ２（粘性変調情報）に基づいて、水平方向用変形地図ＭＯＨおよび垂直方向用変形地図ＭＯＶ（第２変形地図）の空間周波数成分の絶対値の大きさを操作することで、知覚される透明素材の物質の粘性を操作できる。例えば、粘性の高い、ゆったりとした波面変動をもつ液体表現を原画像Ｐに与えたい場合には、空間周波数情報ＳＦ２に基づいた空間次元のローパスフィルタのカットオフ周波数を低くする。逆に、粘性の低い、速い波面変動をもつ液体表現を原画像Ｐに与えたい場合には、このカットオフ周波数を高くする。すなわち、第１物質の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶは、第２物質の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶよりも高い空間周波数成分を含み、第１物質の粘性は、第２物質の粘性よりも低い。
　例えば、水平変形地図生成部４１５および垂直変形地図生成部４１６が、振幅情報Ａ２（粘性変調情報）に基づいて、水平方向用変形地図ＭＯＨおよび垂直方向用変形地図ＭＯＶ（第２変形地図）の振幅を操作することで、知覚される透明素材の物質の粘性を操作できる。図７に、原変形領域の輪郭変形量と、最終的に得られる映像Ｍから被験者が受ける主観評価と、の関係を例示する。図７の横軸は原変形領域の輪郭変形量（ｄｅｇ）を表し、縦軸は被験者が映像Ｍから受ける素材の印象を表している。図７では、原変形領域の輪郭変形量が、被験者の眼の位置から見た原変形領域の輪郭と変形後の変形領域の輪郭とでなす角度（ｄｅｇ）で表現されている。被験者からみた右方向へ変形領域が移動する条件、左方向へ変形領域が移動する条件、下方向へ変形領域が移動する条件、上方向へ変形領域が移動する条件、および各方向で得られたデータの平均値を、それぞれ「右方向」「左方向」「下方向」「上方向」「平均」と表現している。図７の縦軸は、被験者がそれぞれの輪郭変形量の変形領域に基づいて得られた映像Ｍから受ける材質の印象の主観評価値の平均値を表している。主観評価値は１から５までの５段階で表現され、１に近い主観評価値ほど被験者が固体らしいと知覚していることを表しており、５に近い主観評価値ほど被験者が液体らしいと知覚していることを表している。被験者は１０名であり、誤差棒を±１ＳＥＭとして表記している。図７に例示するように、輪郭変形量が大きいほど被験者は映像Ｍから液体らしい印象を受け、輪郭変形量が小さいほど被験者は映像Ｍから固体らしい印象を受ける。ここで、水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの振幅が大きいほど、垂直方向用変形地図ＭＯＨ，ＭＯＶによって変形される原変形領域の輪郭変形量も大きくなる。そのため、水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの振幅が小さいほど固体らしい質感を知覚させる映像Ｍを生成でき、水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの振幅が大きいほど液体らしい質感を知覚させる映像Ｍを生成できることが分かる。以上より、固体らしい質感を知覚させる映像Ｍを生成したいときに水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの振幅を小さくし、液体らしい質感を知覚させる映像Ｍを生成するときに水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの振幅を大きくすればよい。すなわち、固体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの平均振幅は、液体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの平均振幅よりも小さい、および／または、固体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの最大振幅は、液体の質感を表現するための映像Ｍを生成する場合の水平方向用変形地図ＭＯＨ，垂直方向用変形地図ＭＯＶの最大振幅よりも小さい。
　なお、変形領域画像Ｄを表す情報が変調領域決定部１２，２２に入力され、変調領域決定部１２，２２が、当該変形領域画像Ｄを表す情報を用い、色および輝度の調整を行う変調領域の空間位置および形状を表す変調領域情報Ｒを得て出力してもよい。例えば、変調領域決定部１２は、変形領域画像Ｄが表す変形領域と同じ空間位置および形状を表す変調領域情報Ｒを得てもい。例えば、変調領域決定部２２は、変形領域画像Ｄが表す変形領域の情報および変調領域情報Ｓに基づいて変調領域の空間位置および形状を表す変調領域情報Ｒを得てもよい。
　［第４実施形態の変形例］
　第４実施形態の変調領域決定部１２が前述した変調領域決定部２２または３２に置換されてもよい。
　［第５実施形態］
　第４実施形態では、変形領域の輪郭を変形し、所望の透明な材質の質感を知覚させた。第５実施形態では、これに代えて変形領域の輪郭をぼかす（輪郭の鮮鋭度を下げる）ことで、所望の透明な材質の質感を知覚させる。
　＜構成＞
　図１に例示するように、本実施形態の映像生成装置５は、変形地図生成部５１、変調領域決定部１２、歪み変調部１３、分離部１４、色変調部１５（変調部）、輝度変調部１６（変調部）、統合部１７、および記憶部１８を有する。図８に例示するように、変形地図生成部５１は、制御部４１３、原変形領域設定部４１４、輪郭ぼかし部５１２、水平変形地図生成部４１８、垂直変形地図生成部４１０、および乗算部４１１，４１９を有する。
　＜処理＞
　第５実施形態の第４実施形態からの相違点は、水平変形地図生成部４１５、垂直変形地図生成部４１６、および歪み変調部４１７の処理に代えて、輪郭ぼかし部５１２の処理が行われる点である。その他は第４実施形態で説明した通りである。以下では、第４実施形態からの相違点である輪郭ぼかし部５１２の処理のみを説明する。
　≪輪郭ぼかし部５１２の処理≫
　原変形領域設定部４１４から出力された原変形領域画像ＤＯ、および、原変形領域の輪郭のぼかし具合を表すぼかし度合情報Ｆ（粘性変調情報）が輪郭ぼかし部５１２に入力される。輪郭ぼかし部５１２は、ぼかし度合情報Ｆに従って原変形領域画像ＤＯ中の原変形領域の輪郭をぼかした（原変形領域の輪郭の鮮鋭度を下げた）変形領域を含む変形領域画像Ｄを得て出力する。変形領域画像Ｄは原画像Ｐと同じサイズの二次元配列である。例えば、輪郭ぼかし部５１２は、原変形領域画像ＤＯにガウシアンフィルタを適用して得られる画像を変形領域画像Ｄとして出力してもよいし、原変形領域画像ＤＯにローパスフィルタを適用して得られる画像を変形領域画像Ｄとして出力してもよい。ぼかし度合情報Ｆが示す値の大きさに応じて原変形領域画像ＤＯ中の原変形領域の輪郭のぼかし量が異なる。例えば、原変形領域画像ＤＯの輪郭にガウシアンフィルタを適用してられる画像を変形領域画像Ｄとする場合、輪郭ぼかし部５１２は、例えば、ぼかし度合情報Ｆが示す値の大きさに応じてガウシアンフィルタのフィルタサイズを変化させる。例えば、原変形領域画像ＤＯにローパスフィルタを適用して得られる画像を変形領域画像Ｄとする場合、輪郭ぼかし部５１２は、例えば、ぼかし度合情報Ｆが示す値の大きさに応じてカットオフ周波数の大きさを変化させる。
　＜本実施形態の特徴＞
　映像Ｍを見た観察者は、色変調情報ＣＭに従った色および／または輝度変調情報ＬＭに従った輝度を持つ透明素材質感の物質が原画像Ｐと当該観察者との間の領域に配置されているかのように錯覚する。この映像Ｍの生成に複雑な画像処理技術は不要である。また、映像Ｍの色成分と輝度成分とを独立に操作できるため、透明素材質感の色と輝度とを互いに独立に操作できる。さらに本形態では、原変形領域の輪郭のぼかし量を操作することで、知覚される透明素材の物質の粘性も操作できる。
　図９に変形領域の輪郭のぼかし量と、最終的に得られる映像Ｍから被験者が受ける主観評価と、の関係を例示する。図９の横軸は、変形領域の輪郭のぼかし量（ｄｅｇ）を表している。図９では、変形領域の輪郭のぼかし量が、ぼかすために利用した空間ガウシアンフィルタの標準偏差で表現されている。その量は、被験者の眼の位置からそのフィルタを見た際に、フィルタ中心座標と標準偏差分はなれた座標とでなす角度（ｄｅｇ）で表現されている。被験者からみて右方向へ変形領域が移動する条件、左方向へ変形領域が移動する条件、下方向へ変形領域が移動する条件、上方向へ変形領域が移動する条件、および各方向で得られたデータの平均値を、それぞれ「右方向」「左方向」「下方向」「上方向」「平均」と表現している。図９の縦軸は、被験者がそれぞれのぼかし量の変形領域に基づいて得られた映像Ｍから受ける材質の印象の主観評価値の平均値を表している。主観評価値は１から５までの５段階で表現され、１に近い主観評価値ほど被験者が固体らしいと知覚していることを表しており、５に近い主観評価値ほど被験者が液体らしいと知覚していることを表している。被験者は１０名であり、誤差棒を±１ＳＥＭとして表記している。図９に例示するように、変形領域の輪郭のぼかし量が大きいほど被験者は映像Ｍから液体らしい印象を受け、変形領域の輪郭のぼかし量が小さいほど被験者は映像Ｍから固体らしい印象を受ける。そのため、固体らしい質感を知覚させる映像Ｍを生成したいときに変形領域の輪郭のぼかし量を小さくし、液体らしい質感を知覚させる映像Ｍを生成するときに変形領域の輪郭のぼかし量を大きくすればよい。すなわち、固体の質感を表現するための映像Ｍを生成するときの変形領域の輪郭のぼかし量は、液体の質感を表現するための映像Ｍを生成するときの変形領域の輪郭のぼかし量よりも小さい。
　［第５実施形態の変形例］
　第５実施形態の変調領域決定部１２が前述した変調領域決定部２２または３２に置換されてもよい。
　［その他の変形例等］
　なお、本発明は上述の実施形態に限定されるものではない。例えば、図１０に例示する映像生成装置６のように、第１から第５実施形態およびそれらの変形例の映像生成装置から輝度変調部１６が省略されていてもよい。この場合には色変調のみが可能である。すなわち、この映像生成装置６は、複数の異なる変形地図のそれぞれを用い、原画像Ｐに由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像Ｐ１を得、複数の変調画像Ｐ１を輝度成分と色成分に分離して複数の輝度成分画像Ｌと色成分画像Ｃとを得、色変調情報ＣＭに従って複数の色成分画像Ｃの色を変調した複数の色変調画像Ｃ１を得、輝度成分画像Ｌと色変調画像Ｃ１とを統合して得られる複数の統合画像を時間的に並べることで構成される映像Ｍを得て出力する。
　例えば、図１１に例示する映像生成装置７のように、第１から第５実施形態およびそれらの変形例の映像生成装置から色変調部１５が省略されていてもよい。この場合には輝度変調のみが可能である。すなわち、この映像生成装置７は、複数の異なる変形地図のそれぞれを用い、原画像Ｐに由来する各画素を画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像Ｐ１を得、複数の変調画像Ｐ１を輝度成分と色成分に分離して複数の輝度成分画像Ｌと色成分画像Ｃとを得、輝度変調情報ＬＭに従って複数の輝度成分画像Ｌの輝度を変調した複数の輝度変調画像Ｌ１を得、輝度変調画像Ｌ１と色成分画像Ｃとを統合して得られる複数の統合画像を時間的に並べることで構成される映像Ｍを得る。
　上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
　上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
　このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
　コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
１～７　映像生成装置

Claims (11)

  1. 　原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
    　前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
    　色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調部と、
    　前記輝度成分画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
    を有する映像生成装置。
  2. 　原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
    　前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
    　輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得る変調部と、
    　前記輝度変調画像と前記色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
    を有する映像生成装置。
  3. 　原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調部と、
    　前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離部と、
    　輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調部と、
    　前記輝度変調画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合部と、
    を有する映像生成装置。
  4. 　請求項１から３の何れかの映像生成装置であって、
    　前記変形地図を生成する変形地図生成部をさらに有し、
    　前記複数の異なる変形地図は、複数の変形領域内の前記各画素の移動方向および移動量を示し、
    　前記複数の変形領域は、低空間周波数成分を有する複数の異なる第２変形地図をそれぞれ用いて前記原画像に含まれた原変形領域の輪郭を変形させたものであり、前記複数の変形領域の輪郭は互いに異なり、
    　前記変形地図生成部は、粘性変調情報に従って、前記第２変形地図の空間周波数成分の絶対値の大きさ、および前記第２変形地図の振幅、の少なくとも何れかを変調する、映像生成装置。
  5. 　請求項１から３の何れかの映像生成装置であって、
    　前記変形地図を生成する変形地図生成部をさらに有し、
    　前記複数の異なる変形地図は、複数の変形領域内の前記各画素の移動方向および移動量を示し、
    　前記変形地図生成部は、粘性変調情報に従って、前記複数の変形領域の輪郭の鮮鋭度を変調する、映像生成装置。
  6. 　請求項１から５の何れかの映像生成装置であって、
    　前記変形地図は、変形領域に属する前記各画素の移動方向および移動量を示し、
    　前記変調部は、前記複数の色成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の色を変調して前記複数の色変調画像を得る、および／または、前記複数の輝度成分画像の前記変形領域または前記変形領域および前記変形領域の近傍の輝度を変調して前記複数の輝度変調画像を得る、映像生成装置。
  7. 　請求項６の映像生成装置であって、
    　前記変形領域の近傍は、前記変形領域に対する視角が０．１２度以内の領域である、映像生成装置。
  8. 　映像生成装置の映像生成方法であって、
    　原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
    　前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
    　色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調ステップと、
    　前記輝度成分画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
    を有する映像生成方法。
  9. 　映像生成装置の映像生成方法であって、
    　原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
    　前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
    　輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得る変調ステップと、
    　前記輝度変調画像と前記色成分画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
    を有する映像生成方法。
  10. 　映像生成装置の映像生成方法であって、
    　原画像に由来する各画素に対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向および移動量を示し、低空間周波数成分を有する複数の異なる変形地図のそれぞれを用い、前記原画像に由来する各画素を前記画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を得る歪み変調ステップと、
    　前記複数の変調画像を輝度成分と色成分に分離して複数の輝度成分画像と色成分画像とを得る分離ステップと、
    　輝度変調情報に従って前記複数の輝度成分画像の輝度を変調した複数の輝度変調画像を得、色変調情報に従って前記複数の色成分画像の色を変調した複数の色変調画像を得る変調ステップと、
    　前記輝度変調画像と前記色変調画像とを統合して得られる複数の統合画像を時間的に並べることで構成される映像を得る統合ステップと、
    を有する映像生成方法。
  11. 　請求項１から７の何れかの映像生成装置としてコンピュータを機能させるためのプログラム。
PCT/JP2019/014948 2018-04-24 2019-04-04 映像生成装置、映像生成方法、およびプログラム WO2019208143A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/049,652 US11350065B2 (en) 2018-04-24 2019-04-04 Video generation device, video generation method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018083179A JP6845181B2 (ja) 2018-04-24 2018-04-24 映像生成装置、映像生成方法、およびプログラム
JP2018-083179 2018-04-24

Publications (1)

Publication Number Publication Date
WO2019208143A1 true WO2019208143A1 (ja) 2019-10-31

Family

ID=68294066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014948 WO2019208143A1 (ja) 2018-04-24 2019-04-04 映像生成装置、映像生成方法、およびプログラム

Country Status (3)

Country Link
US (1) US11350065B2 (ja)
JP (1) JP6845181B2 (ja)
WO (1) WO2019208143A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124700A (ja) * 1996-10-18 1998-05-15 Fujitsu Ltd 映像生成装置
JP2015007883A (ja) * 2013-06-25 2015-01-15 日本電信電話株式会社 映像生成装置、映像生成方法、プログラム
JP2018028710A (ja) * 2016-08-15 2018-02-22 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493313B2 (en) * 2008-02-13 2013-07-23 Dolby Laboratories Licensing Corporation Temporal filtering of video signals
WO2011004378A1 (en) * 2009-07-08 2011-01-13 Technion Research And Development Foundation Ltd. Method and system for super-resolution signal reconstruction
CN106233716B (zh) * 2014-04-22 2019-12-24 日本电信电话株式会社 动态错觉呈现装置、动态错觉呈现方法、程序
JP6586237B2 (ja) * 2016-08-09 2019-10-02 日本電信電話株式会社 リソース割当装置及びリソース割当方法
US10972718B2 (en) * 2016-09-23 2021-04-06 Nippon Telegraph And Telephone Corporation Image generation apparatus, image generation method, data structure, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124700A (ja) * 1996-10-18 1998-05-15 Fujitsu Ltd 映像生成装置
JP2015007883A (ja) * 2013-06-25 2015-01-15 日本電信電話株式会社 映像生成装置、映像生成方法、プログラム
JP2018028710A (ja) * 2016-08-15 2018-02-22 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム

Also Published As

Publication number Publication date
JP2019191875A (ja) 2019-10-31
US11350065B2 (en) 2022-05-31
JP6845181B2 (ja) 2021-03-17
US20210258547A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
US11036123B2 (en) Video presentation device, method thereof, and recording medium
KR101295649B1 (ko) 화상처리장치, 화상처리방법, 및 기억매체
US11398007B2 (en) Video generation device, video generation method, program, and data structure
JP4535954B2 (ja) ２眼式立体表示装置およびプログラム
JP6505646B2 (ja) 映像生成装置、映像生成方法、およびプログラム
WO2015186284A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019208143A1 (ja) 映像生成装置、映像生成方法、およびプログラム
JP6615818B2 (ja) 映像生成装置、映像生成方法、およびプログラム
JP6457964B2 (ja) 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
US11495151B2 (en) Illusion presentation system, and illusion presentation method
JP6666296B2 (ja) 映像生成装置、その方法、およびプログラム
US11462138B2 (en) Image generation device, image generation method, and program
US20230350344A1 (en) Information processing device, information processing method, program, and hologram display system
JP2019013012A (ja) データ構造
WO2020259839A1 (en) Multifocal display device and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19791981

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19791981

Country of ref document: EP

Kind code of ref document: A1