WO2023148826A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2023148826A1
WO2023148826A1 PCT/JP2022/003863 JP2022003863W WO2023148826A1 WO 2023148826 A1 WO2023148826 A1 WO 2023148826A1 JP 2022003863 W JP2022003863 W JP 2022003863W WO 2023148826 A1 WO2023148826 A1 WO 2023148826A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
state information
virtual space
map data
state
Prior art date
Application number
PCT/JP2022/003863
Other languages
English (en)
French (fr)
Inventor
敦 渡辺
正臣 西舘
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2022/003863 priority Critical patent/WO2023148826A1/ja
Publication of WO2023148826A1 publication Critical patent/WO2023148826A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program that execute processing related to drawing an image including human skin.
  • the present invention has been made in consideration of the above circumstances, and one of its objects is to provide an image processing apparatus, an image processing method, and a program capable of rendering an image including human skin with higher reality. to provide.
  • An image processing apparatus acquires map data of the surface of a human object used to determine the appearance of a region corresponding to the skin of the human object placed in a virtual space.
  • a state information acquisition unit that acquires state information indicating a state in the virtual space; and a correction unit that corrects the values included in the map data based on the state information,
  • a spatial image showing the state of the virtual space is drawn using the corrected map data.
  • An image processing method acquires map data of the surface of a human object used to determine the appearance of a region corresponding to the skin of the human object placed in a virtual space.
  • a program according to an aspect of the present invention is an object for obtaining map data of a surface of a human object used to determine the appearance of a region corresponding to the skin of the human object placed in a virtual space. causes a computer to execute a data acquisition step, a state information acquisition step of acquiring state information indicating a state in the virtual space, and a correction step of correcting values included in the map data based on the state information; The program for drawing a spatial image showing the state of the virtual space using the corrected map data.
  • This program may be stored in a computer-readable, non-temporary information storage medium and provided.
  • FIG. 1 is a configuration block diagram showing the configuration of an image processing device according to an embodiment of the present invention
  • FIG. 1 is a functional block diagram showing functions of an image processing device according to an embodiment of the present invention
  • FIG. It is a figure which shows an example of the sebum secretion amount map of a person's face.
  • 7 is a graph showing an example of changes in correction values over time
  • 4 is a flowchart showing an example of the flow of processing executed by the image processing device according to the embodiment of the present invention
  • FIG. 1 is a configuration block diagram showing the configuration of an image processing device 1 according to one embodiment of the present invention.
  • the image processing apparatus 1 is, for example, a home-use game machine, a portable game machine, a personal computer, a smartphone, a tablet, or the like. , is composed of The image processing apparatus 1 is also connected to a display device 14 and an operation device 15 .
  • the control unit 11 includes at least one processor such as a CPU, and executes programs stored in the storage unit 12 to perform various types of information processing. A specific example of the processing executed by the control unit 11 in this embodiment will be described later.
  • the storage unit 12 includes at least one memory device such as RAM, and stores programs executed by the control unit 11 and data processed by the programs.
  • the interface unit 13 is an interface for data communication between the display device 14 and the operation device 15.
  • the image processing apparatus 1 is connected to the display device 14 and the operation device 15 either by wire or wirelessly via the interface unit 13 .
  • the interface unit 13 includes a multimedia interface for transmitting video data supplied by the image processing device 1 to the display device 14 . It also includes a data communication interface for receiving signals indicating the content of operations performed by the user on the operation device 15 .
  • the display device 14 is a liquid crystal display, an organic EL display, or the like, and displays an image corresponding to a video signal supplied from the image processing device 1 on the screen.
  • the display device 14 may be a head-mounted display device or the like that presents images to the left and right eyes of the user.
  • the operation device 15 is, for example, a keyboard, a mouse, a controller of a home-use game machine, or the like, and receives operation input from the user. Both the display device 14 and the operation device 15 may be built in the housing of the image processing apparatus 1, or may be separate devices connected to the image processing apparatus 1 by wire or wirelessly.
  • the operation device 15 may include push buttons and a touch panel arranged on the housing surface of the image processing apparatus 1 .
  • the image processing apparatus 1 executes a process of drawing a spatial image showing the state in a virtual three-dimensional space (virtual space).
  • the image processing apparatus 1 functionally includes an object data acquisition unit 21, a state information acquisition unit 22, a layer map correction unit 23, and a spatial image drawing unit 24.
  • the control unit 11 operating according to the programs stored in the storage unit 12 .
  • This program may be provided to the image processing apparatus 1 via a communication network such as the Internet, or stored in a computer-readable information storage medium such as an optical disc.
  • the object data acquisition unit 21 acquires object data necessary for drawing a three-dimensional object placed in the virtual space.
  • objects to be drawn by the image processing apparatus 1 in this embodiment include at least human objects representing people.
  • This person object may be a user object to be operated by the user of the image processing apparatus 1 . In that case, the position, orientation, attitude, etc. of the user object in the virtual space will change depending on the content of the user's operation input to the operation device 15 .
  • the data of each object includes shape data that defines the rough shape of the three-dimensional model of that object, and appearance data that determines the appearance of the surface of the object.
  • the appearance data of a person object includes data of multiple types of layer maps L covering at least the area corresponding to the person's skin.
  • Each layer map L corresponds to an overlapping region of the human object surface and is used to determine the appearance of the corresponding region.
  • Each layer map L has a data structure similar to the data of a planar image, and has one or more pixels arranged along a two-dimensional coordinate system (for example, a UV coordinate system).
  • a value hereinafter referred to as a pixel value for convenience
  • Each pixel included in the layer map L is associated with a specific position on the human object surface.
  • the layer map L of the human object includes a color map representing the reference color of the surface of the human object, a height map representing the height of the surface, a roughness map representing the roughness of the surface, and a degree of sebum secretion of the skin. It may include a sebum secretion map showing the skin, a water content map showing the degree of moistness and moisture of the skin, and the like.
  • the spatial image drawing unit 24, which will be described later, superimposes the plurality of layer maps L and performs a mapping process of pasting them on the surface of the three-dimensional model, thereby determining with what color and texture the skin on the surface of the human object is to be drawn. decide.
  • Fig. 3 shows an example of a human facial sebum secretion map.
  • the example of this figure shows a state in which the contents of the sebum secretion map are pasted on a three-dimensional model representing a human face, and the shade of color indicates the degree of sebum secretion.
  • This sebum secretion map represents areas of the human facial skin where sebum is likely to be secreted and where sebum is less likely to be secreted.
  • the light transmittance of the corresponding position on the face surface is determined based on the pixel value of each pixel included in this sebum secretion map, thereby estimating the skin oil caused by sebum secretion. It can be used to express light, etc.
  • the state information acquisition unit 22 acquires information about the state in the virtual space that may affect the appearance of human skin.
  • Information about the state in the virtual space acquired by the state information acquisition unit 22 is hereinafter referred to as state information.
  • the state information may include environmental information regarding the environment of the virtual space, such as the temperature (air temperature) and humidity within the space set for the virtual space. It may also include information about the state of the human object itself to be rendered. A specific example of the state information will be described later.
  • the state information may be information representing a state that changes over time in the virtual space. In that case, the state information acquisition unit 22 periodically acquires information representing the current state.
  • the layer map correction unit 23 corrects each layer map L of the human object acquired by the object data acquisition unit 21 using the state information acquired by the state information acquisition unit 22 . For example, when the temperature in the virtual space is high, the amount of sweat and sebum secreted by a person increases, and the effects of sweat and sebum are greater than the values defined in the sebum secretion amount map and moisture amount map prepared in advance. It is assumed that Therefore, the layer map correction unit 23 corrects the pixel value of each pixel included in the layer map L for determining the appearance of the human object so as to reflect the effects of the environment of the virtual space indicated by the state information and the state of the person. do. As a result, it is possible to represent the skin condition that has changed from the contents of the layer map L prepared in advance due to the influence of the environment in the virtual space and the condition of the person.
  • the layer map correction unit 23 calculates correction values using a calculation model M prepared in advance.
  • This calculation model M is a model that defines a function that receives as input the value of the state information acquired by the state information acquisition unit 22 and outputs a correction value to be applied to the corresponding layer map L.
  • the calculation model M may be a simple calculation formula such as a linear function, or may be a more complicated function. Moreover, as will be described later, it may be a calculator generated by machine learning.
  • a calculation model M is prepared for each layer map L to be applied. For example, when correcting three types of layer maps L, separate calculation models M are prepared for each of the three types of layer maps L. FIG. By inputting the same state information value to these three types of layer maps L, three correction values are obtained. It should be noted that it is not always necessary to correct all the layer maps L used for drawing a spatial image based on a certain type of state information. A correction value for L is to be calculated.
  • the layer map correction unit 23 corrects the pixel value of each pixel included in the corresponding layer map L using the calculated correction value. For example, the layer map correction unit 23 corrects the pixel value by multiplying the pixel value of each pixel by the correction value. Alternatively, the correction value may be added to the pixel value of each pixel, or the pixel value may be changed using a more complicated formula. Further, if the correction exceeds a predetermined numerical range of pixel values, correction such as conversion to an upper limit value or a lower limit value may be performed so that the numerical value after correction is included in the numerical range of pixel values.
  • the calculation model M may accept multiple types of state information values as inputs. For example, if you want to make a correction that takes into account the effects of both temperature and humidity in the virtual space, the calculation model M inputs the values of these two types of environmental information, and calculates one correction value to be applied to the corresponding layer map L. calculate.
  • the calculation model M in this case is a function with two variables as inputs.
  • a separate calculation model M may be prepared for each type of state information. In this case, a correction value for the layer map L is calculated independently according to each state information.
  • the layer map correction unit 23 duplicately applies a plurality of correction values calculated according to the plurality of types of state information to the corresponding pixel values in the layer map L, thereby obtaining a correction value corresponding to the plurality of types of state information. Then, the layer map L is corrected.
  • the correction value calculated by the calculation model M may be a value that is applied only to a specific type of pixel value among the pixel values included in the target layer map L. For example, if it is assumed that the skin becomes more reddish under a specific environment, a correction value may be calculated that increases the red pixel value among the RGB pixel values included in the color map.
  • the spatial image rendering unit 24 uses the object data acquired by the object data acquisition unit 21 to render a two-dimensional spatial image showing the state of the virtual space.
  • the spatial image drawing unit 24 superimposes the plurality of layer maps L corrected by the layer map correcting unit 23 and performs mapping processing for the human object.
  • a spatial image is drawn that shows the state of the virtual space including the human object on which the layer map L is mapped as viewed from a given viewpoint.
  • the mapping process using the corrected layer map L and the drawing process itself of the spatial image may be realized by a known method.
  • the image processing device 1 may display the rendered spatial image on the screen of the display device 14, or may distribute it to another device via a communication network. Alternatively, it may be stored in a storage device such as a hard disk drive.
  • the state information acquisition unit 22 acquires the temperature value of the virtual space as part of the environment information.
  • the layer map correction unit 23 calculates a correction value for the sebum secretion map by inputting the acquired temperature value into a calculation formula prepared in advance. Then, the pixel value of each pixel in the sebum secretion map to be corrected (the value indicating the degree of sebum secretion) is multiplied by the calculated correction value to perform correction according to the temperature of the virtual space. .
  • the spatial image drawing unit 24 draws the appearance of the human object by synthesizing the corrected sebum secretion map with another layer map L and performing mapping processing. As a result, it is possible to express a state in which more sebum is secreted in a high-temperature environment and the skin becomes shiny.
  • the correction value for each layer map L is determined not only based on the value of state information such as temperature, but also on the length of time that state continues. Therefore, the state information acquisition unit 22 acquires, as one type of state information, information indicating the elapsed time from the start of a specific state, and the layer map correction unit 23 uses this time information to calculate a correction value. can be calculated.
  • FIG. 4 is a graph showing an example of changes in correction values with elapsed time.
  • the graph in this figure shows an example of correction values when a certain temperature value continues.
  • the calculation model M for calculating the correction value is defined as a linear function of the elapsed time.
  • This graph shows that the influence on the roughness map and the sebum map in particular increases as time passes. Note that this graph shows a graph when time elapses under a specific temperature environment, and in a different temperature environment, the correction value may be calculated by another linear function with a different intercept or slope value, for example.
  • the time required to clear the same scene may differ from user to user.
  • the image processing apparatus 1 since the skin condition can be changed according to the elapsed time, a user who can clear a specific scene in a short time is less affected by the environment of the scene.
  • the layer map correction unit 23 may perform correction using only the elapsed time during which a specific scene continues as the state information, regardless of the temperature or the like. This makes it possible to express changes in skin due to the effects of fatigue or the like while a specific scene continues.
  • the effect of the air temperature in the virtual space may also appear in layer maps L of types other than the layer map L illustrated in FIG.
  • layer maps L of types other than the layer map L illustrated in FIG.
  • the temperature when the temperature is high, sweat is also secreted, so that the amount of water in a portion of the surface of the human object that is likely to sweat increases.
  • changes in properties, such as redness of the skin occur that are different from those in the case of high temperature. Therefore, it is also possible to separately prepare a layer map L representing the position and degree of redness that occurs on the skin, and calculate the correction value for this layer map L by another calculation model M when the temperature is low. good.
  • the layer map correction unit 23 may correct the layer map L based on various environmental information set for the virtual space, such as humidity, in addition to the temperature.
  • the correction value for the layer map L mapped to the human object may be determined based on not only the environment information indicating the environment of the entire virtual space but also the state information indicating the state of the target human object. For example, if a person in the virtual space is drunk or tanned, the person's skin becomes reddish. In this case, skin changes are not always constant, and the degree of change is considered to vary depending on the degree of sickness or sunburn. Therefore, the image processing apparatus 1 acquires information indicating the degree of sickness and the degree of sunburn as one of the state information, and based on the values, sets a correction value for the layer map L that defines changes in the skin caused by sickness and sunburn. can be calculated.
  • the image processing apparatus 1 may acquire state information indicating the strength of a blow or the like received by a person, and may calculate a correction value for the layer map L that defines the marks of the blow or the like based on the value. .
  • a clearer (deeper) mark can appear on the skin.
  • a correction value may be calculated using a calculation model M generated by machine learning or the like.
  • the changes in the skin condition of real people over time are captured in various environments. For example, a person's face is photographed in a specific temperature environment every time a certain period of time elapses, with reference to the time when the person was placed in that environment for the first time. Similarly, the same person's face is photographed at regular time intervals even in different temperature environments. By collecting a large number of such sample data, it is possible to analyze how a person's face changes depending on the temperature and the passage of time. Note that this photography is not limited to optical planar image photography, and may include photography from various viewpoints such as stereoscopic image photography and temperature distribution photography with a thermal camera.
  • the image processing device 1 analyzes images captured under various conditions as described above, and generates multiple types of layer maps representing human faces. Specifically, when the captured image obtained is a planar image, the three-dimensional shape of the face is identified by analyzing the content of the captured image, and converted into a map image such as a UV coordinate system. Furthermore, by analyzing the color distribution and temperature distribution contained in the map image, layer maps such as color maps, height maps, and sebum secretion maps that can reproduce photographed faces are generated.
  • the image processing apparatus 1 uses the generated layer map and state information indicating the state (here, the temperature and the elapsed time) when the image used to generate the layer map was captured as training data. Do machine learning. As a result, it is possible to generate a calculation model M for outputting a correction value indicating the degree of change appearing on a person's face due to differences in temperature and the passage of time.
  • the image processing apparatus 1 determines the correction value calculation model M for each part of the human body by performing such analysis not only on the face but also on other parts such as hands and feet. may Alternatively, the correction values for other parts may also be determined using the calculation model M of the correction values obtained as a result of analyzing a specific part.
  • the layer map L separately defines where and how much sebum secretion and sweat appear on the human skin. Assuming that the influence of the environment itself appears in a similar tendency to the entire human skin, the calculation model M itself of the correction value to be applied to the layer map L may be commonly used for the skin of the whole body. .
  • the image processing device 1 performs the above-described machine learning individually for people with different attributes, and generates calculation models M independently of each other. That is, for each attribute such as men in their twenties and women in their thirties, teacher data is generated by photographing a plurality of people belonging to the attributes as samples. By performing machine learning using the training data obtained in this way as an input, it is possible to generate a calculation model M that reflects the condition of the human skin belonging to each attribute.
  • machine learning may be performed independently on samples of people with each characteristic, and a computational model M may be generated individually.
  • a correction value for a person with different characteristics may be calculated by correcting the output value of the calculation model M obtained by performing machine learning on people with various characteristics. .
  • the state information acquisition unit 22 acquires information specifying the attributes and/or characteristics of the target human object together with the state information. Then, the layer map correction unit 23 selects a calculation model M to be used from among a plurality of calculation models M prepared in advance according to the specified attributes and/or characteristics, and selects the value of state information (for example, temperature, Elapsed time, etc.) is input to the selected calculation model M. Accordingly, it is possible to calculate a correction value that reflects the attributes and characteristics of the person. Note that when a plurality of human objects exist in the virtual space, attribute and characteristic information is acquired for each person, and a correction value for the layer map L is calculated for each person. As a result, even under the same environment, it is possible to vary the changes that occur in the skin from person to person.
  • the image processing apparatus 1 itself performs machine learning to generate the calculation model M, but the machine learning itself may be performed by another information processing apparatus.
  • the image processing device 1 stores the data of the calculation model M generated by another information processing device, and uses it as necessary when drawing the spatial image.
  • the object data acquisition unit 21 acquires object data such as information specifying the shape data, appearance data, position in the virtual space, and orientation for each of a plurality of objects existing in the virtual space (S1). .
  • the state information acquisition unit 22 acquires the state information of the virtual space at the time of drawing (S2).
  • the layer map correction unit 23 inputs the state information acquired in S2 to the corresponding calculation model M for each layer map L to be corrected, and calculates a correction value (S3). Then, using the calculated correction values, a plurality of layer maps L included in the appearance data specified in S1 are corrected (S4).
  • the spatial image drawing unit 24 maps the plurality of layer maps L corrected in S4 onto the three-dimensional model defined by the shape data acquired in S1, and determines the appearance of the human object (S5). Then, a space image showing the appearance of this virtual space is drawn and written in the frame buffer memory in the storage unit 12 (S6). The spatial image written in the frame buffer memory is displayed on the screen of the display device 14 as a frame image.
  • the image processing device 1 can generate a moving image showing temporal changes in the virtual space and display it on the screen of the display device 14 .
  • the processing described above may be implemented by, for example, a game engine, and the game engine may also provide the calculation model M for calculating the correction value according to the state information.
  • the game application program specifies to the game engine the shape data and appearance data of the objects to be drawn, and the state information of the virtual space in each frame. In this way, the game application itself does not need to consider how the temperature and humidity of the virtual space affect the appearance of the person, and can simply specify the temperature and humidity information to the game engine. , the game player can be presented with a person's appearance that reflects the environment.
  • the calculation model M may be provided by a game application program.
  • the game engine calculates a correction value using the specified calculation model M, and corrects the layer map L specified by the game. By doing so, it is possible to present to the player how the appearance of the human skin changes in a manner that matches the contents of the game.
  • the application program may calculate a correction value according to the state in the virtual space, the attribute of the person to be drawn, etc., and specify it to the game engine together with the layer map L to be used.
  • the game engine corrects the layer map L using the specified correction value, and draws the spatial image using the layer map L after correction.
  • the spatial images drawn by the image processing apparatus 1 according to the embodiment of the present invention are not limited to game images that change in real time. For example, even when generating a pre-rendered video whose content does not change according to the user's operation, by specifying in advance the state information that indicates the state of the virtual space at that time for each scene or for each elapsed time, the state It is possible to generate an image in which the appearance of a person's skin changes according to the condition with relatively little effort.
  • the image processing apparatus 1 by using the layer map L corrected in consideration of the state in the virtual space, the appearance of human skin in the virtual space is enhanced. You can draw a spatial image that expresses reality. Further, by correcting the layer map L using the dynamically calculated correction value, it is not necessary to prepare a large number of layer maps L in advance in order to express various states, and various skin textures can be obtained relatively easily. state can be expressed.
  • the embodiments of the present invention are not limited to those described above.
  • the state information acquired by the state information acquisition unit 22 in the above description is merely an example, and various other state information that may affect the state of human skin may be acquired. good too.
  • the layer map L to be corrected according to the state information is not limited to the above examples, and may be various types used to determine the appearance of human skin.
  • 1 image processing device 11 control unit, 12 storage unit, 13 interface unit, 14 display device, 15 operation device, 21 object data acquisition unit, 22 state information acquisition unit, 23 layer map correction unit, 24 spatial image drawing unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

仮想空間内に配置される人オブジェクトについて、当該人オブジェクトの肌に対応する領域の外観を決定するために用いられる当該人オブジェクト表面のマップデータを取得し、当該仮想空間内の状態を示す状態情報を取得し、取得した状態情報に基づいて、マップデータに含まれる値を補正する画像処理装置であって、補正されたマップデータを用いて、仮想空間の様子を示す空間画像が描画される画像処理装置である。

Description

画像処理装置、画像処理方法、及びプログラム
　本発明は、人の肌を含む画像の描画に関する処理を実行する画像処理装置、画像処理方法、及びプログラムに関する。
　３次元コンピュータグラフィックスの分野では、高いリアリティの画像を描画するために様々な工夫が行われている。これにより、近年ではより実写に近い画像を描画することが可能になってきている。
　上述した従来技術において、人の肌をより現実に近い外観で表現することは重要な要素である。しかしながら、現実の人の肌は周囲の環境など様々な要因でその状態が変化する。そのため、単に画質を向上させたりするだけでは、人の肌をより現実に近い外観で描画するのに十分ではない。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、より高いリアリティで人の肌を含む画像を描画することのできる画像処理装置、画像処理方法、及びプログラムを提供することにある。
　本発明の一態様に係る画像処理装置は、仮想空間内に配置される人オブジェクトについて、当該人オブジェクトの肌に対応する領域の外観を決定するために用いられる当該人オブジェクト表面のマップデータを取得するオブジェクトデータ取得部と、前記仮想空間内の状態を示す状態情報を取得する状態情報取得部と、前記状態情報に基づいて、前記マップデータに含まれる値を補正する補正部と、を含み、前記補正されたマップデータを用いて、前記仮想空間の様子を示す空間画像が描画されることを特徴とする。
　本発明の一態様に係る画像処理方法は、仮想空間内に配置される人オブジェクトについて、当該人オブジェクトの肌に対応する領域の外観を決定するために用いられる当該人オブジェクト表面のマップデータを取得するオブジェクトデータ取得ステップと、前記仮想空間内の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づいて、前記マップデータに含まれる値を補正する補正ステップと、を含み、前記補正されたマップデータを用いて、前記仮想空間の様子を示す空間画像が描画されることを特徴とする。
　本発明の一態様に係るプログラムは、仮想空間内に配置される人オブジェクトについて、当該人オブジェクトの肌に対応する領域の外観を決定するために用いられる当該人オブジェクト表面のマップデータを取得するオブジェクトデータ取得ステップと、前記仮想空間内の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づいて、前記マップデータに含まれる値を補正する補正ステップと、をコンピュータに実行させるためのプログラムであって、前記補正されたマップデータを用いて、前記仮想空間の様子を示す空間画像が描画されるプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。
本発明の実施の形態に係る画像処理装置の構成を示す構成ブロック図である。 本発明の実施の形態に係る画像処理装置の機能を示す機能ブロック図である。 人の顔の皮脂分泌量マップの一例を示す図である。 経過時間による補正値の変化の一例を示すグラフである。 本発明の実施の形態に係る画像処理装置が実行する処理の流れの一例を示すフロー図である。
　以下、本発明の実施形態について、図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る画像処理装置１の構成を示す構成ブロック図である。画像処理装置１は、例えば家庭用ゲーム機や携帯型ゲーム機、パーソナルコンピュータ、スマートフォン、タブレット等であって、同図に示されるように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、画像処理装置１は表示装置１４及び操作デバイス１５と接続されている。
　制御部１１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。
　インタフェース部１３は、表示装置１４、及び操作デバイス１５との間のデータ通信のためのインタフェースである。画像処理装置１は、インタフェース部１３を介して有線又は無線のいずれかで表示装置１４、及び操作デバイス１５のそれぞれと接続される。具体的にインタフェース部１３は、画像処理装置１が供給する映像データを表示装置１４に送信するためのマルチメディアインタフェースを含むこととする。また、操作デバイス１５に対してユーザーが行った操作内容を示す信号を受信するためのデータ通信インタフェースを含んでいる。
　表示装置１４は、液晶ディスプレイや有機ＥＬディスプレイ等であって、画像処理装置１から供給される映像信号に応じた画像を画面上に表示する。表示装置１４は、ユーザーの左右の目それぞれに映像を提示する頭部装着型の表示装置などであってもよい。操作デバイス１５は、例えばキーボードやマウス、家庭用ゲーム機のコントローラなどであって、ユーザーからの操作入力を受け付ける。なお、表示装置１４、及び操作デバイス１５は、いずれも画像処理装置１の筐体内に内蔵されてもよいし、画像処理装置１と有線又は無線により接続される別個の装置であってもよい。操作デバイス１５は、画像処理装置１の筐体表面に配置された押しボタンやタッチパネルを含んでもよい。
　以下、画像処理装置１が実現する機能について、図２の機能ブロック図を用いて説明する。本実施形態において画像処理装置１は、仮想的な３次元空間（仮想空間）内の様子を示す空間画像を描画する処理を実行する。図２に示すように、画像処理装置１は機能的に、オブジェクトデータ取得部２１と、状態情報取得部２２と、レイヤーマップ補正部２３と、空間画像描画部２４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して画像処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　オブジェクトデータ取得部２１は、仮想空間内に配置される３次元のオブジェクトの描画に必要なオブジェクトデータを取得する。特に本実施形態において画像処理装置１が描画対象とするオブジェクトは、少なくとも人を表す人オブジェクトを含むものとする。この人オブジェクトは、画像処理装置１のユーザーが操作する対象となるユーザーオブジェクトであってもよい。その場合、仮想空間内におけるユーザーオブジェクトの位置や向き、姿勢などがユーザーの操作デバイス１５に対する操作入力の内容によって変化することとなる。
　各オブジェクトのデータは、そのオブジェクトの３次元モデルの概略の形状を規定する形状データと、オブジェクト表面の外観を決定するための外観データを含んでいる。特に人オブジェクトの外観データは、少なくともその人の肌に対応する領域をカバーする複数種類のレイヤーマップＬのデータを含むものとする。各レイヤーマップＬは、人オブジェクト表面の互いに重複する領域に対応し、対応する領域の外観を決定するために利用される。各レイヤーマップＬは、平面画像のデータと類似するデータ構造を有しており、２次元の座標系（例えばＵＶ座標系）に沿って配列される複数のピクセルのそれぞれに対して１又は複数の値（便宜上以下では画素値という）が設定されている。レイヤーマップＬに含まれる各ピクセルは、人オブジェクト表面の特定の位置に対応づけられる。
　具体的に人オブジェクトのレイヤーマップＬは、人オブジェクト表面の基準となる色を表すカラーマップや、表面の高低を表すハイトマップ、表面の粗さを表す粗さマップ、肌の皮脂分泌の度合いを示す皮脂分泌量マップ、肌の湿り気や潤いの度合いを示す水分量マップなどを含んでよい。後述する空間画像描画部２４は、これら複数のレイヤーマップＬを重ね合わせて３次元モデルの表面に貼り付けるマッピング処理を行うことによって、人オブジェクト表面の肌をどのような色や質感で描画するか決定する。
　図３は、人の顔の皮脂分泌量マップの一例を示している。この図の例は皮脂分泌量マップの内容を人の顔を現す３次元モデルに貼り付けた状態を示しており、色の濃淡が皮脂分泌の度合いの大きさを示している。この皮脂分泌量マップは、人の顔の肌のうち、皮脂が分泌されやすい箇所やされにくい箇所を表している。人オブジェクトの描画を行う際には、この皮脂分泌量マップに含まれる各ピクセルの画素値に基づいて、顔表面の対応する位置の光の透過率を決定することによって、皮脂分泌による肌の脂光り（てかり）などを表現することができる。
　状態情報取得部２２は、人の肌の外観に影響を与える可能性のある、仮想空間内の状態に関する情報を取得する。以下、状態情報取得部２２が取得する仮想空間内の状態に関する情報を状態情報という。状態情報は、仮想空間について設定された空間内の温度（気温）や湿度など、仮想空間の環境に関する環境情報を含んでもよい。また、描画対象となる人オブジェクト自身の状態に関する情報を含んでもよい。状態情報の具体例については、後述する。なお、状態情報は、仮想空間内の時間経過に伴って変化する状態を表す情報であってよい。その場合、状態情報取得部２２は、定期的に現在の状態を表す情報を取得する。
　レイヤーマップ補正部２３は、状態情報取得部２２が取得した状態情報を用いて、オブジェクトデータ取得部２１が取得した人オブジェクトの各レイヤーマップＬを補正する。例えば仮想空間内の気温が高い場合、人が分泌する汗や皮脂の量が増加し、予め用意された皮脂分泌量マップや水分量マップで定義されている値よりも汗や皮脂の影響が大きくなることが想定される。そこでレイヤーマップ補正部２３は、状態情報が示す仮想空間の環境や人の状態による影響を反映するように、人オブジェクトの外観を決定するためのレイヤーマップＬに含まれる各ピクセルの画素値を補正する。これにより、仮想空間内の環境や人の状態の影響によって、予め用意されたレイヤーマップＬの内容から変化した肌の状態を表現することが可能となる。
　具体的にレイヤーマップ補正部２３は、予め用意された計算モデルＭを用いて補正値を算出する。この計算モデルＭは、状態情報取得部２２が取得した状態情報の値を入力として、対応するレイヤーマップＬに適用する補正値を出力する関数を定義するモデルである。計算モデルＭは、一次関数などの単純な計算式であってもよいし、より複雑な関数であってもよい。また、後述するように、機械学習によって生成される演算器であってもよい。
　計算モデルＭは、適用対象となるレイヤーマップＬごとに用意される。例えば３種類のレイヤーマップＬに対して補正を行う場合、この３種類のレイヤーマップＬのそれぞれについて別個の計算モデルＭが用意される。この３種類のレイヤーマップＬに対して同じ状態情報の値を入力することで、３個の補正値が得られる。なお、ある種類の状態情報に基づいて、空間画像の描画に用いられる全てのレイヤーマップＬを補正する必要は必ずしもなく、状態情報の種類に応じて、予め定められた一部又は全部のレイヤーマップＬについて補正値を算出することとする。
　補正値を算出した後、レイヤーマップ補正部２３は、算出された補正値を用いて対応するレイヤーマップＬに含まれる各ピクセルの画素値を補正する。例えばレイヤーマップ補正部２３は、補正値を各ピクセルの画素値に乗算することによって画素値を補正する。あるいは、補正値を各ピクセルの画素値に加算することとしてもよいし、より複雑な計算式で画素値を変化させてもよい。また、補正によって予め定められた画素値の数値範囲を超える場合、補正後の数値が画素値の数値範囲に含まれるように上限値または下限値に変換するなどの補正を行ってもよい。
　なお、計算モデルＭは、複数種類の状態情報の値を入力として受け付けてよい。例えば仮想空間内の気温と湿度双方の影響を考慮した補正を行いたい場合、計算モデルＭはこの二種類の環境情報の値を入力として、対応するレイヤーマップＬに適用すべき一つ補正値を算出する。この場合の計算モデルＭは、２変数を入力とした関数になる。あるいは、状態情報の種類ごとに別の計算モデルＭが用意されることとしてもよい。この場合、それぞれの状態情報に応じてレイヤーマップＬに対する補正値が独立に算出される。その後レイヤーマップ補正部２３は、複数種類の状態情報に応じて算出された複数個の補正値を対応するレイヤーマップＬ内の画素値に重複して適用することによって、複数種類の状態情報に応じたレイヤーマップＬの補正を行う。
　また、計算モデルＭによって算出される補正値は、対象となるレイヤーマップＬに含まれる画素値のうち、特定の種類の画素値にのみ適用される値であってもよい。例えば特定の環境下で肌の赤みが増すことが想定される場合、カラーマップに含まれるＲＧＢの画素値のうち赤色の画素値を増加させる補正値を算出してもよい。
　空間画像描画部２４は、オブジェクトデータ取得部２１が取得したオブジェクトデータを用いて、仮想空間の様子を示す２次元の空間画像を描画する。このとき空間画像描画部２４は、レイヤーマップ補正部２３によって補正済みの複数のレイヤーマップＬを重ね合わせて、人オブジェクトに対するマッピング処理を行う。そして、レイヤーマップＬがマッピングされた人オブジェクトを含む仮想空間を所与の視点から見た様子を示す空間画像を描画する。なお、補正後のレイヤーマップＬを用いたマッピング処理、及び空間画像の描画処理自体は、公知の手法で実現されてよい。画像処理装置１は、描画された空間画像を表示装置１４の画面に表示してもよいし、通信ネットワークを経由して他の装置に配信してもよい。また、ハードディスクドライブ等の記憶装置に記憶してもよい。
　以下、状態情報を用いてレイヤーマップＬを補正する処理の具体例について、説明する。
　一例として状態情報取得部２２は、仮想空間の気温の値を環境情報の一部として取得する。レイヤーマップ補正部２３は、取得された気温の値を予め用意された計算式に入力することによって、皮脂分泌量マップに対する補正値を算出する。そして、補正対象となる皮脂分泌量マップ内の各ピクセルの画素値（皮脂分泌の度合いを示す値）に算出された補正値の値を乗算することによって、仮想空間の気温に応じた補正を行う。空間画像描画部２４は、補正後の皮脂分泌量マップを他のレイヤーマップＬと合成してマッピング処理を行うことにより、人オブジェクトの外観を描画する。これにより、温度が高い環境下でより皮脂が分泌されて肌がてかる様子を表現することができる。
　また、環境による肌への影響は直ちに現れるわけではなく、時間の経過とともに現れることが一般的である。そのため、各レイヤーマップＬに対する補正値は気温などの状態情報の値そのものだけでなく、その状態が継続している時間の長さに応じて決定されることが望ましい。そこで状態情報取得部２２は、状態情報の一つとして、特定の状態が開始してからの経過時間を示す情報を取得することとし、レイヤーマップ補正部２３はこの時間情報を用いて補正値を算出してもよい。
　図４は、経過時間による補正値の変化の一例を示すグラフである。この図のグラフは、ある気温の値が継続した場合の補正値の例を示している。このグラフの例においては、補正値を算出する計算モデルＭは経過時間の一次関数として定義されている。また、このグラフではハイトマップに対する補正値（図中のａ）、粗さマップに対する補正値（図中のｂ）、及び皮脂分泌量マップに対する補正値（図中のｃ）の３つの補正値がそれぞれ異なる計算モデルＭによって算出される。このグラフにおいては、時間が経過するにつれて特に粗さマップ及び皮脂分泌量マップに対する影響が強くなることが示されている。なお、このグラフは特定の温度環境下で時間が経過する場合のグラフを示しており、異なる温度環境においては例えば切片や傾きの値が異なる別の一次関数によって補正値が算出されてよい。
　例えばゲームなどにおいては、同じシーンをクリアするためにかかる所要時間がユーザー毎に相違する場合がある。本実施形態に係る画像処理装置１によれば、経過時間に応じて肌の状態を変化させることができるので、特定のシーンを短時間でクリア可能なユーザーはそのシーンの環境による影響をあまり受けないが、時間がかかるユーザーの場合は徐々に人オブジェクトが環境の影響を受けて汗をかいたりするといった演出が可能になる。なお、レイヤーマップ補正部２３は、気温などと関係なく、特定のシーンが継続する経過時間だけを状態情報として用いて補正を行ってもよい。これにより、特定のシーンが続いている状態における疲労などの影響による肌の変化を表現することができる。
　仮想空間の気温による影響は、図４で例示したレイヤーマップＬ以外の種類のレイヤーマップＬにも現れる場合がある。例えば気温が高い場合、汗も分泌されるため、人オブジェクト表面のうち汗をかきやすい箇所の水分量が増加する。また、例えば雪山などのように気温が通常より低い環境においては、皮膚が赤くなるなど、高温の場合とは異なる性質の変化が生じる。そこで、このような肌に生じる赤みの位置及び程度を表すレイヤーマップＬを別途用意しておき、温度が低い場合にはこのレイヤーマップＬに対する補正値を別の計算モデルＭによって算出することとしてもよい。
　また、レイヤーマップ補正部２３は気温以外にも湿度など仮想空間に対して設定された各種の環境情報に基づいてレイヤーマップＬを補正してよい。また、仮想空間全体の環境を示す環境情報だけでなく、対象となる人オブジェクトの状態を示す状態情報に基づいて、その人オブジェクトにマッピングするレイヤーマップＬに対する補正値を決定してもよい。例えば仮想空間内にいる人がお酒に酔っている場合や日焼けしている場合、その人の肌に赤みが生じるなどの変化が現れる。この場合の肌の変化も常に一定とは限らず、酔いや日焼けの程度に応じて変化の度合いが異なると考えられる。そのため画像処理装置１は、状態情報の一つとして酔いの程度や日焼けの程度を表す情報を取得し、その値に基づいて酔いや日焼けによって生じる肌の変化を規定するレイヤーマップＬに対する補正値を算出してもよい。
　また、人オブジェクトの肌に生じる変化の一つとして、打撃等による痕も考えられる。このような痕が生じる位置は固定ではないが、変化の内容自体はレイヤーマップＬによって定義される場合がある。この場合も、画像処理装置１は人が受けた打撃等の強さを示す状態情報を取得し、その値に基づいて打撃等の痕を定義するレイヤーマップＬに対する補正値を算出してもよい。これにより、強い打撃を受けた場合にはよりはっきりとした（濃い）痕が肌に表れるようにすることができる。
　以下、補正値を算出するために用いられる計算モデルＭの決定方法の一例について、説明する。上述した例では単純な経過時間の一次関数を計算モデルＭとして用いて補正値を算出することとしたが、現実の気温や湿度などによる肌の状態への影響はより複雑な形で現れることがある。そこで本実施形態では、機械学習などによって生成された計算モデルＭを用いて補正値を算出することとしてもよい。
　この例では、様々な環境下において現実の人の肌の状態の時間変化の様子を撮影する。例えば、ある人を対象に、特定の温度環境において、その環境に最初に置かれた時刻を基準として、一定時間が経過するごとにその人の顔を撮影する。また、別の温度環境においても、同様に同じ人の顔を一定時間ごとに撮影する。このようなサンプルデータを多数集めることによって、温度、及び時間経過によって人の顔にどのような変化が現れるかを解析することができる。なお、この撮影は、光学的な平面画像の撮影に限られず、立体画像の撮影やサーマルカメラによる温度分布の撮影など、各種の観点での撮影を含んでよい。
　画像処理装置１は、上述したように各種条件で撮影された画像を解析して、人の顔を表す複数種類のレイヤーマップを生成する。具体的に、得られた撮影画像が平面画像の場合には、その内容を解析することによって顔の立体形状を特定し、ＵＶ座標系などのマップ画像に変換する。さらに、マップ画像に含まれる色分布や温度分布などを解析することによって、カラーマップやハイトマップ、皮脂分泌量マップなど、撮影された顔を再現可能なレイヤーマップを生成する。
　その後、画像処理装置１は、生成されたレイヤーマップと、レイヤーマップの生成に用いた画像を撮影した際の状態（ここでは気温、及び経過時間）を示す状態情報と、を教師データとして用いた機械学習を行う。これにより、気温の違い、及び時間の経過によって人の顔に表れる変化の度合いを示す補正値を出力するための計算モデルＭを生成することができる。
　なお、画像処理装置１は、このような解析を顔だけでなく手や足などの別の部位についても同様に実行することによって、人の身体の部位ごとに補正値の計算モデルＭを決定してもよい。あるいは、特定の部位について解析した結果得られた補正値の計算モデルＭを利用して、別の部位についての補正値も決定することとしてもよい。前述したように、皮脂分泌や汗などが人の肌のどの位置にどの程度現れるかは、別途レイヤーマップＬによって定義される。環境による影響自体は人の肌の全体に類似した傾向で現れると仮定すれば、レイヤーマップＬに対して適用すべき補正値の計算モデルＭ自体は、全身の肌について共通で利用することとしてよい。
　また、人の肌に表れる状態の変化には、個人差がある。具体的には、年齢や性別、人種などの人の属性によって汗のかきやすさや皮脂分泌量の多さ、日焼けのしやすさなどは異なる傾向がある。また、同じ属性を持つ人同士であっても、汗をかきやすい人、かきにくい人など個々人の特性による相違があることも考えられる。そこで、対象となる人の属性や特性に応じて個別の計算モデルＭを予め用意し、描画対象となる人オブジェクトのそれぞれについて、適用すべき計算モデルＭを選択することとしてもよい。
　具体例として、画像処理装置１は、前述した機械学習を異なる属性の人についてそれぞれ個別に実施して、互いに独立に計算モデルＭを生成することとする。すなわち、２０代男性、３０代女性などの属性別に、その属性に属する複数の人をサンプルとして撮影することで、教師データを生成する。このようにして得られる教師データを入力として機械学習を行うことによって、それぞれの属性に属する人の肌の状態を反映した計算モデルＭを生成することができる。
　また、汗をかきやすい人やかきにくい人などの人の特性についても、それぞれの特性を持つ人をサンプルとしてそれぞれ独立に機械学習を行い、個別に計算モデルＭを生成してもよい。あるいは、様々な特性の人について機械学習を行って得られた計算モデルＭに対してその出力値を補正するなどの修正を行うことによって、特性が異なる人の補正値を計算することとしてもよい。
　人の属性や特性に応じて異なる補正を行いたい場合、状態情報取得部２２は、対象となる人オブジェクトについてその人の属性及び／又は特性を指定する情報を状態情報とともに取得する。そして、レイヤーマップ補正部２３は、指定された属性及び／又は特性に応じて、予め用意された複数の計算モデルＭの中から利用する計算モデルＭを選択し、状態情報の値（例えば気温や経過時間など）を選択した計算モデルＭに入力する。これにより、その人の属性や特性を反映した補正値を算出することができる。なお、複数の人オブジェクトが仮想空間内に存在する場合には、その人ごとに属性や特性の情報を取得することとし、人ごとにレイヤーマップＬに対する補正値を算出する。これにより、同じ環境下であっても人によって肌に生じる変化を異ならせることができる。
　なお、以上の説明においては画像処理装置１自身が機械学習を行って計算モデルＭを生成することとしたが、機械学習自体は別の情報処理装置が実施してもよい。この場合、画像処理装置１は別の情報処理装置によって生成された計算モデルＭのデータを格納しておき、空間画像を描画する際に必要に応じて利用する。
　以下、本実施形態に係る画像処理装置１が動画像を描画する際に実行する処理の流れの一例について、図５のフロー図を用いて説明する。
　まずオブジェクトデータ取得部２１は、仮想空間内に存在する複数のオブジェクトのそれぞれについて、その形状データや外観データ、仮想空間内における位置、及び向きを指定する情報などのオブジェクトデータを取得する（Ｓ１）。その後、状態情報取得部２２は、描画対象となる時点における仮想空間の状態情報を取得する（Ｓ２）。
　続いてレイヤーマップ補正部２３は、補正対象となるレイヤーマップＬのそれぞれについて、Ｓ２で取得した状態情報を対応する計算モデルＭに入力して補正値を算出する（Ｓ３）。そして、算出された補正値を用いてＳ１で指定された外観データに含まれる複数のレイヤーマップＬを補正する（Ｓ４）。
　その後、空間画像描画部２４は、Ｓ４で補正された複数のレイヤーマップＬをＳ１で取得した形状データによって規定される３次元モデルにマッピングして、人オブジェクトの外観を決定する（Ｓ５）。そして、この仮想空間の様子を示す空間画像を描画し、記憶部１２内のフレームバッファメモリに書き込む（Ｓ６）。フレームバッファメモリに書き込まれた空間画像は、フレーム画像として表示装置１４の画面に表示される。
　画像処理装置１は、以上説明した処理を所定のフレームレートで繰り返し実行することによって、仮想空間内の時間変化を示す動画像を生成し、表示装置１４の画面に表示することができる。
　なお、以上説明した処理は、例えばゲームエンジンによって実現されることとし、状態情報に応じた補正値を算出するための計算モデルＭもゲームエンジンが提供することとしてもよい。この場合、ゲームのアプリケーションプログラムは、描画すべきオブジェクトの形状データ、外観データや、毎フレームにおける仮想空間の状態情報をゲームエンジンに対して指定する。こうすれば、ゲームアプリケーション自体は、仮想空間の気温や湿度などが人の外観にどのように影響するかを考慮する必要がなくなり、単に気温や湿度の情報をゲームエンジンに対して指定することで、その環境を反映した人の様子をゲームのプレイヤーに提示することができる。
　また、計算モデルＭはゲームのアプリケーションプログラムが提供することとしてもよい。この場合、ゲームエンジンは指定された計算モデルＭを利用して補正値を算出し、ゲームが指定するレイヤーマップＬに対する補正を行う。こうすれば、そのゲームの内容に合わせた態様で人の肌の外観が変化する様子をプレイヤーに提示することができる。
　また、以上説明した機能の少なくとも一部はアプリケーションプログラム自身が実行してもよい。例えばアプリケーションプログラムは、自身で仮想空間内の状態や描画対象となる人の属性等に応じた補正値を算出し、利用すべきレイヤーマップＬ等とともにゲームエンジンに対して指定してもよい。この場合ゲームエンジンは、指定された補正値を用いてレイヤーマップＬを補正し、補正後のレイヤーマップＬを用いて空間画像を描画する。
　また、本発明の実施の形態に係る画像処理装置１が描画する空間画像は、リアルタイムに変化するゲームの画像に限られるわけではない。例えばユーザーの操作に応じて内容が変化しないプリレンダリングの映像を生成する場合にも、シーンごとや、経過時間ごとにそのときどきの仮想空間の状態を示す状態情報を予め指定することによって、その状態に応じて人の肌の外観が変化する映像を比較的少ない手間で生成することができる。
　以上説明したように、本実施形態に係る画像処理装置１によれば、仮想空間内の状態を考慮して補正したレイヤーマップＬを用いることで、仮想空間内における人の肌の外観をより高いリアリティで表現する空間画像を描画することができる。また、動的に算出した補正値を用いてレイヤーマップＬに対する補正を行うことで、様々な状態を表現するために多数のレイヤーマップＬを予め用意する必要がなくなり、比較的容易に様々な肌の状態を表現することが可能となる。
　なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明において状態情報取得部２２が取得することとした状態情報は例示に過ぎず、これ以外にも人の肌の状態に影響を与える可能性がある様々な状態情報を取得することとしてもよい。また、状態情報に応じた補正を行う対象となるレイヤーマップＬも以上例示したものに限られず、人の肌の外観を決定するために利用される様々な種類のものであってよい。
　１　画像処理装置、１１　制御部、１２　記憶部、１３　インタフェース部、１４　表示装置、１５　操作デバイス、２１　オブジェクトデータ取得部、２２　状態情報取得部、２３　レイヤーマップ補正部、２４　空間画像描画部。

Claims (11)

  1. 　仮想空間内に配置される人オブジェクトについて、当該人オブジェクトの肌に対応する領域の外観を決定するために用いられる当該人オブジェクト表面のマップデータを取得するオブジェクトデータ取得部と、
    　前記仮想空間内の状態を示す状態情報を取得する状態情報取得部と、
    　前記状態情報に基づいて、前記マップデータに含まれる値を補正する補正部と、
    　を含み、
    　前記補正されたマップデータを用いて、前記仮想空間の様子を示す空間画像が描画される
    　ことを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記オブジェクトデータ取得部は、複数種類のマップデータを取得し、
    　前記補正部は、前記複数種類のマップデータのそれぞれについて、互いに異なる補正値を算出し、算出した補正値を用いて対応するマップデータに含まれる値を補正する
    　ことを特徴とする画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置において、
    　前記状態情報は、前記仮想空間の環境を示す環境情報を含む
    　ことを特徴とする画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記環境情報は、前記仮想空間内の気温、及び湿度のいずれかを含む
    　ことを特徴とする画像処理装置。
  5. 　請求項１から４のいずれか一項に記載の画像処理装置において、
    　前記状態情報は、前記人オブジェクト自身の状態を示す情報を含む
    　ことを特徴とする画像処理装置。
  6. 　請求項１から５のいずれか一項に記載の画像処理装置において、
    　前記状態情報は、前記状態が継続する時間を示す経過時間情報を含む
    　ことを特徴とする画像処理装置。
  7. 　請求項１から６のいずれか一項に記載の画像処理装置において、
    　前記状態情報取得部は、前記状態情報とともに、前記人オブジェクトの属性及び／又は特性を指定する情報を取得し、
    　前記補正部は、前記指定される属性及び／又は特性に応じて異なる内容の補正を行う
    　ことを特徴とする画像処理装置。
  8. 　請求項１から７のいずれか一項に記載の画像処理装置において、
    　前記補正部は、予め用意された計算モデルを用いて前記状態情報に応じた補正値を算出し、算出した補正値を用いて前記マップデータに含まれる値を補正する
    　ことを特徴とする画像処理装置。
  9. 　請求項８に記載の画像処理装置において、
    　前記計算モデルは、現実の人を撮影して得られるマップデータを教師データとして用いた機械学習によって生成されている
    　ことを特徴とする画像処理装置。
  10. 　仮想空間内に配置される人オブジェクトについて、当該人オブジェクトの肌に対応する領域の外観を決定するために用いられる当該人オブジェクト表面のマップデータを取得するオブジェクトデータ取得ステップと、
    　前記仮想空間内の状態を示す状態情報を取得する状態情報取得ステップと、
    　前記状態情報に基づいて、前記マップデータに含まれる値を補正する補正ステップと、
    　を含み、
    　前記補正されたマップデータを用いて、前記仮想空間の様子を示す空間画像が描画される
    　ことを特徴とする画像処理方法。
  11. 　仮想空間内に配置される人オブジェクトについて、当該人オブジェクトの肌に対応する領域の外観を決定するために用いられる当該人オブジェクト表面のマップデータを取得するオブジェクトデータ取得ステップと、
    　前記仮想空間内の状態を示す状態情報を取得する状態情報取得ステップと、
    　前記状態情報に基づいて、前記マップデータに含まれる値を補正する補正ステップと、
    　をコンピュータに実行させるためのプログラムであって、
    　前記補正されたマップデータを用いて、前記仮想空間の様子を示す空間画像が描画される
    　プログラム。
PCT/JP2022/003863 2022-02-01 2022-02-01 画像処理装置、画像処理方法、及びプログラム WO2023148826A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/003863 WO2023148826A1 (ja) 2022-02-01 2022-02-01 画像処理装置、画像処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/003863 WO2023148826A1 (ja) 2022-02-01 2022-02-01 画像処理装置、画像処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023148826A1 true WO2023148826A1 (ja) 2023-08-10

Family

ID=87553336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003863 WO2023148826A1 (ja) 2022-02-01 2022-02-01 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023148826A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007226576A (ja) * 2006-02-23 2007-09-06 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007265269A (ja) * 2006-03-29 2007-10-11 Toshiba Corp テクスチャマッピング装置、方法およびプログラム
JP2022505746A (ja) * 2018-10-26 2022-01-14 ソウル マシーンズ リミティド デジタルキャラクタブレンディング及び生成のシステム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007226576A (ja) * 2006-02-23 2007-09-06 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2007265269A (ja) * 2006-03-29 2007-10-11 Toshiba Corp テクスチャマッピング装置、方法およびプログラム
JP2022505746A (ja) * 2018-10-26 2022-01-14 ソウル マシーンズ リミティド デジタルキャラクタブレンディング及び生成のシステム及び方法

Similar Documents

Publication Publication Date Title
US9697635B2 (en) Generating an avatar from real time image data
WO2021169307A1 (zh) 人脸图像的试妆处理方法、装置、计算机设备和存储介质
JP2018170005A (ja) 画像及び深度データを用いて３次元（３ｄ）人物顔面モデルを発生させるための仮想現実ベースの装置及び方法
US20200082595A1 (en) Image processing apparatus, image processing system, and image processing method as well as program
JP2020525953A (ja) 人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器
KR20100026240A (ko) 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
US20140302930A1 (en) Rendering system, rendering server, control method thereof, program, and recording medium
CN112669447A (zh) 一种模型头像创建方法、装置、电子设备和存储介质
CN108694736B (zh) 图像处理方法、装置、服务器及计算机存储介质
JP7278724B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN111435433A (zh) 信息处理装置、信息处理方法以及存储介质
WO2015017687A2 (en) Systems and methods for producing predictive images
KR20190043925A (ko) 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2021144582A (ja) メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
JP2008077372A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP4031509B1 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
WO2023148826A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7273752B2 (ja) 表情制御プログラム、記録媒体、表情制御装置、表情制御方法
CN112562026A (zh) 一种皱纹特效渲染方法、装置、电子设备及存储介质
CN114764840A (zh) 图像渲染方法、装置、设备和存储介质
JP4745724B2 (ja) 画像処理方法、画像処理装置
KR101177793B1 (ko) 입체영상 체험 장치 및 방법
US11250632B2 (en) High quality AR cosmetics simulation via image filtering techniques
JP6320844B2 (ja) パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
CN115631516A (zh) 人脸图像处理方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924739

Country of ref document: EP

Kind code of ref document: A1