WO2020129660A1 - ３次元モデル編集装置および３次元モデル編集方法、並びにプログラム - Google Patents
３次元モデル編集装置および３次元モデル編集方法、並びにプログラム Download PDFInfo
- Publication number
- WO2020129660A1 WO2020129660A1 PCT/JP2019/047541 JP2019047541W WO2020129660A1 WO 2020129660 A1 WO2020129660 A1 WO 2020129660A1 JP 2019047541 W JP2019047541 W JP 2019047541W WO 2020129660 A1 WO2020129660 A1 WO 2020129660A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- dimensional model
- dimensional
- dimensional image
- model
- feature points
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Definitions
- the present disclosure relates to a three-dimensional model editing device, a three-dimensional model editing method, and a program, and particularly to a three-dimensional model editing device and a three-dimensional model editing method, which enable easy editing of a three-dimensional model, and Regarding the program.
- Patent Document 1 when a three-dimensional model of a person is edited, a texture that is most suitable for the shape of the edited three-dimensional model is selected from the database so as to respond to the deformation of the three-dimensional model.
- a method for editing a face image that enables the texture to be changed.
- Patent Document 2 in order to generate a three-dimensional model based on a two-dimensional image, a modeling system capable of editing the three-dimensional model while superimposing and displaying the two-dimensional image and the three-dimensional model. Is disclosed.
- Patent Document 1 it is necessary to acquire a moving image of a person in advance and to build a database of three-dimensional models and textures when the facial expression of the person changes. Further, it is difficult to edit the texture so that the three-dimensional model is linked when the texture is changed.
- the shape parameter of the three-dimensional model is automatically changed so as to match the contour information of the two-dimensional image, thereby generating the three-dimensional model matched to the two-dimensional image.
- the three-dimensional model is composed of complicated parameters, or when the contour of the object is smooth and the edge is a curved line, it is difficult to calculate the corresponding points, and correct deformation is performed. It was difficult to edit.
- the present disclosure has been made in view of such a situation, and makes it possible to easily edit a three-dimensional model.
- a three-dimensional model editing device includes a feature point representing a feature of a three-dimensional model and a feature point representing a feature of the three-dimensional model on a two-dimensional image of the three-dimensional model viewed from a predetermined viewpoint. Using the and, the corresponding feature points are made to coincide with each other, and the three-dimensional model is deformed according to the edited two-dimensional image.
- a three-dimensional model editing method or program represents a feature point representing a feature of a three-dimensional model and a feature of the three-dimensional model on a two-dimensional image of the three-dimensional model viewed from a predetermined viewpoint. Using the feature points, the corresponding feature points are made to coincide with each other, and the three-dimensional model is deformed according to the edited two-dimensional image.
- a feature point representing a feature of a three-dimensional model and a feature point representing a feature of a three-dimensional model on a two-dimensional image of the three-dimensional model viewed from a predetermined viewpoint are used.
- the corresponding feature points are made to coincide with each other, and the three-dimensional model is transformed according to the edited two-dimensional image.
- FIG. 19 is a block diagram illustrating an example of composition of one embodiment of a three-dimensional model edit system to which this art is applied. It is a figure explaining the corresponding point of a two-dimensional image and a three-dimensional model. It is a figure which shows the state which the corresponding point on a two-dimensional image corresponds with the corresponding point on a three-dimensional model. It is a figure which shows the state which the corresponding point on a two-dimensional image became inconsistent with the corresponding point on a three-dimensional model. It is a figure explaining the transformation process which transforms the corresponding point on a three-dimensional model so that it may correspond to the corresponding point on a two-dimensional image. It is a flow chart explaining three-dimensional model edit processing.
- FIG. 19 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
- FIG. 1 is a block diagram showing a configuration example of an embodiment of a three-dimensional model editing system to which the present technology is applied.
- the 3D model editing system 11 includes a 3D model acquisition unit 21, a user operation input unit 22, an output unit 23, and a 3D model editing unit 24.
- the three-dimensional model acquisition unit 21 is composed of, for example, a plurality of imaging devices arranged so as to surround the subject, and acquires a three-dimensional model of the subject from a plurality of images acquired by those imaging devices. Input to the three-dimensional model editing unit 24.
- the user operation input unit 22 is composed of, for example, an operation device such as a keyboard, a mouse, and a touch panel, and when an operation is performed by the user, the user operation information corresponding to the operation is input to the three-dimensional model editing unit 24.
- an operation device such as a keyboard, a mouse, and a touch panel
- the user operation information corresponding to the operation is input to the three-dimensional model editing unit 24.
- viewpoint information for designating a viewpoint when drawing a two-dimensional image from the three-dimensional model editing information according to an operation for editing the two-dimensional image, and the like, It is input to the three-dimensional model editing unit 24 as user operation information.
- the output unit 23 outputs the 3D model edited by the 3D model editing unit 24 to the outside of the 3D model editing system 11.
- the output unit 23 can be configured by a display device that displays an image obtained by rendering a three-dimensional model, and a transmission device that transmits data making up the three-dimensional model to a user terminal by data communication.
- the three-dimensional model editing unit 24 performs an editing process on the three-dimensional model acquired by the three-dimensional model acquisition unit 21 based on the user operation information input from the user operation input unit 22, and outputs the output unit 23. Output via. That is, as shown in FIG. 1, the three-dimensional model editing unit 24 includes a two-dimensional image drawing unit 31, an image editing unit 32, corresponding point acquiring units 33 and 34, a three-dimensional model transforming unit 35, and a texture reprojecting unit 36. It is configured with.
- the two-dimensional image drawing unit 31 renders the three-dimensional model supplied from the three-dimensional model acquisition unit 21, draws a two-dimensional image viewed from an arbitrary virtual camera, and edits the resulting two-dimensional image. Supply to the section 32.
- the two-dimensional image drawing unit 31 can freely select the setting items required for rendering, such as the resolution of the virtual camera, the viewing angle, and the viewpoint position, to perform the rendering.
- the two-dimensional image drawing unit 31 uses setting items preset to be suitable for obtaining a texture to be attached to the deformed three-dimensional model, or the viewpoint information supplied from the user operation input unit 22. It is possible to use the setting items according to the above.
- the projection position of the vertex (X, Y, Z) of the three-dimensional model on the two-dimensional image ( u, v) is expressed by the following equation (1).
- the image editing unit 32 operates the user operation input unit 22 while looking at the two-dimensional image displayed on the display device (not shown), and based on the editing information input as the user operation information, the two-dimensional image drawing unit 32.
- the editing process is performed on the two-dimensional image supplied from 31.
- a user edits the face of a two-dimensional image obtained as a subject with his eyes enlarged, his skin smoothed, his face changed, etc. It is supposed to do.
- the image editing unit 32 supplies the two-dimensional image edited according to the user's operation to the corresponding point acquisition unit 33.
- the corresponding point acquisition unit 33 extracts, from the two-dimensional image supplied from the image editing unit 32, feature points representing the features of the subject captured in the two-dimensional image.
- the corresponding point acquisition unit 34 extracts feature points representing the features of the three-dimensional model from the three-dimensional model supplied from the three-dimensional model acquisition unit 21.
- the feature points extracted by the corresponding point acquisition unit 33 correspond to the feature points extracted by the corresponding point acquisition unit 34
- the feature points extracted by the corresponding point acquisition unit 33 are the corresponding points on the two-dimensional image.
- the characteristic points extracted by the corresponding point acquisition unit 34 are referred to as corresponding points on the three-dimensional model.
- FIG. 2A an example of the corresponding points on the two-dimensional image acquired by the corresponding point acquiring unit 33 is shown, and in FIG. 2B, the 3 points acquired by the corresponding point acquiring unit 34 are shown.
- An example of corresponding points on the dimensional model is shown.
- the feature points that represent the features of each part are It is acquired as corresponding points so as to correspond to each other on the three-dimensional model. That is, a feature point representing the turning of the right eye, a feature point representing the right end of the mouth, and the like are acquired from the two-dimensional image and the three-dimensional model.
- the acquisition method for acquiring the corresponding points from the 3D model it is considered that the user manually specifies.
- 3DMM 3D Morphable Model
- vertices with the same index always have the same meaning (for example, the 1000th vertex is Always point to the tip of the nose). Therefore, it is possible to acquire corresponding points from all the three-dimensional models created based on the 3DMM by once specifying which part of the face shape the vertices point to.
- the acquisition method for acquiring the corresponding points from the two-dimensional image it is considered to use the existing facial feature point detection method or manually specify it.
- the algorithm can be applied by any method as long as the correspondence between the feature points can be acquired between the three-dimensional model and the two-dimensional image.
- the corresponding point P_2D on the two-dimensional image matches the corresponding point P_3D on the three-dimensional model.
- the corresponding point P_2D is It is arranged so as to coincide with the corresponding point P_3D of the edge of the three-dimensional model shown in B.
- the image editing unit 32 has edited the two-dimensional image, as shown in FIG. 4, the corresponding point P_2D on the two-dimensional image matches the corresponding point P_3D on the three-dimensional model. Without them, they will be inconsistent. That is, the two-dimensional image shown in FIG. 4A is edited so that the eyes become larger. Such editing is generally performed by a smartphone application or a photo sticker placed at an amusement facility.
- the corresponding point P_2D on the two-dimensional image corresponds to the three-dimensional model as shown by the broken line in FIG. 4B.
- the point P_3D is arranged at a position that does not coincide with the point P_3D. That is, the correspondence between the mesh and the texture is broken, resulting in an unnatural display. For example, when only the texture of the eye area becomes large, the position of the shadow caused by the eye shape of the mesh is unnatural, and the unevenness of the mesh of the eye area does not correspond to the texture of the eye area, so it is not possible to see it from an angle. If you do, your eyes will be distorted.
- the three-dimensional model transforming unit 35 performs three-dimensional correction so that the corresponding point P_2D on the edited two-dimensional image matches the corresponding point P_3D on the three-dimensional model so that the corresponding relationship between the mesh and the texture is correct. Performs deformation processing to deform the model.
- the three-dimensional model deforming unit 35 also deforms the vertices near the point Bi so that the shape changes naturally.
- the point after the transformation passes through the point before the transformation and is projected on a plane parallel to the camera plane. That is, the point Bi and its neighboring points are transformed so as to coincide with the point Ai projected on a plane that passes through the point Bi and is parallel to the camera plane.
- the eye-shaped portion (corresponding point P_3D) of the three-dimensional model is represented by a plane (a boundary between a dark area and a thin area) that is perpendicular to the camera and passes through the eye-shaped portion.
- a plane a boundary between a dark area and a thin area
- the corner portion (corresponding point P_2D) of the two-dimensional image shown in FIG. 5A is projected onto the corner portion (corresponding point P_3D) of the three-dimensional model.
- the internal parameter Int and the external parameter Ext of the virtual camera used for rendering by the two-dimensional image drawing unit 31 are expressed as shown in the following expression (2).
- the point Dst which is the projection destination of the point Ai, is calculated according to the following equation (3) using the internal parameter Int and the external parameter Ext.
- the point Bi is moved to the point Dst, and the nearby point B_neighbor existing within a certain distance from the point Bi is moved to the vicinity of the point Dst while maintaining the positional relationship with the point Bi.
- the texture reprojection unit 36 projects the two-dimensional image edited by the image editing unit 32 on the transformed three-dimensional model supplied from the three-dimensional model transformation unit 35 according to the camera parameter.
- the image editing unit 32 can obtain a deformed three-dimensional model in which the texture, which is the two-dimensional image edited by the user, is correctly projected onto the mesh of the corresponding three-dimensional model.
- the three-dimensional model on which the two-dimensional image is projected by the texture re-projection unit 36 is supplied to the two-dimensional image drawing unit 31 and is also output to the output unit 23, for example, displayed on a display device (not shown).
- the user wants to perform further transformation while looking at the transformed three-dimensional model, the user inputs a two-dimensional image obtained by looking at the three-dimensional model from an arbitrary viewpoint, using the transformed three-dimensional model as a new input.
- the three-dimensional model can be continuously edited by drawing the three-dimensional image drawing unit 31. After that, the same editing is repeatedly performed, and when the editing is performed a predetermined number of times or when a three-dimensional model satisfying the user is obtained, the final output of the three-dimensional model is performed.
- the 3D model editing system 11 is configured as described above, and it is possible to output a 3D model that reflects editing by a user on a 2D image. Therefore, the user does not need to perform a complicated operation of deforming the three-dimensional model, and can edit the three-dimensional model only by performing an easy operation of editing the two-dimensional image.
- the processing is started, and in step S11, the corresponding point acquisition unit 34 causes the corresponding point representing the characteristic of the three-dimensional model. Are obtained as corresponding points.
- step S12 the two-dimensional image drawing unit 31 performs rendering settings for selecting the setting items necessary for rendering the three-dimensional model, for example, the viewpoint position of the virtual camera.
- step S13 the two-dimensional image drawing unit 31 draws a two-dimensional image of the three-dimensional model supplied from the three-dimensional model acquisition unit 21 according to the viewpoint position set in step S13.
- step S14 the image editing unit 32 edits the two-dimensional image drawn by the two-dimensional image drawing unit 31 in step S13 based on the editing information supplied from the user operation input unit 22 according to the user's operation. I do.
- step S15 the corresponding point acquisition unit 33 acquires, as corresponding points, the characteristic points representing the characteristics of the subject captured in the two-dimensional image edited by the image editing unit 32 in step S14.
- step S16 the three-dimensional model deforming unit 35 uses the corresponding points on the three-dimensional model acquired by the corresponding point acquiring unit 34 in step S11 and the edited two acquired by the corresponding point acquiring unit 33 in step S15. Deformation processing for deforming the three-dimensional model is performed using corresponding points on the three-dimensional image.
- step S17 the texture reprojection unit 36 sets the two-dimensional image edited by the image editing unit 32 in step S14 as a texture, and projects it onto the three-dimensional model transformed by the three-dimensional model transformation unit 35 in step S16. .. Then, the texture re-projection unit 36 outputs the three-dimensional model onto which the two-dimensional image is projected to the output unit 23 to display it on a display device (not shown).
- step S18 the user determines whether or not the three-dimensional model output in step S17 is satisfied, and inputs an operation indicating the determination result to the user operation input unit 22 to edit the three-dimensional model.
- the unit 24 determines whether or not the three-dimensional model is the final output.
- step S18 If the final output is not determined in step S18, that is, if the user is not satisfied with the current three-dimensional model, the process returns to step S12. Then, in step S16, the three-dimensional model deformed by the three-dimensional model deforming unit 35 is supplied to the two-dimensional image drawing unit 31, and the same processing is repeated thereafter.
- step S18 determines whether the final output is made, that is, if the user is satisfied with the 3D model output in step S17.
- the corresponding points on the three-dimensional model and the points around the corresponding points are deformed according to the change of the corresponding points on the two-dimensional image according to the user's editing of the two-dimensional image. To be done.
- the three-dimensional model editing system 11 suppresses a difference in meaning between the mesh shape and the texture (mismatch between corresponding points), which is expected to occur when only the texture of the three-dimensional model is changed. be able to.
- the three-dimensional model editing system 11 can perform the deformation of the three-dimensional model based on the editing of the two-dimensional image, the user can easily edit the two-dimensional image of the three-dimensional model. Deformations can be made. As described above, the three-dimensional model editing system 11 can divert the editing operation on the two-dimensional image to the deformation operation of the three-dimensional model.
- FIG. 7 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
- the program can be recorded in advance in the hard disk 105 or the ROM 103 as a recording medium built in the computer.
- the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
- a removable recording medium 111 can be provided as so-called package software.
- examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
- the program can be installed in the computer from the removable recording medium 111 as described above, or downloaded to the computer via a communication network or a broadcast network and installed in the built-in hard disk 105. That is, the program is wirelessly transferred from a download site to a computer via an artificial satellite for digital satellite broadcasting, or is transferred to a computer via a network such as a LAN (Local Area Network) or the Internet by wire. be able to.
- a network such as a LAN (Local Area Network) or the Internet by wire.
- the computer includes a CPU (Central Processing Unit) 102, and an input/output interface 110 is connected to the CPU 102 via a bus 101.
- CPU Central Processing Unit
- the CPU 102 executes a program stored in a ROM (Read Only Memory) 103 in response to a command input by the user operating the input unit 107 via the input/output interface 110. .. Alternatively, the CPU 102 loads a program stored in the hard disk 105 into a RAM (Random Access Memory) 104 and executes the program.
- ROM Read Only Memory
- RAM Random Access Memory
- the CPU 102 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 102 outputs the processing result as needed, for example, via the input/output interface 110, from the output unit 106, from the communication unit 108, and further recorded on the hard disk 105.
- the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like.
- the output unit 106 includes an LCD (Liquid Crystal Display), a speaker, and the like.
- the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing that is executed in parallel or individually (for example, parallel processing or object processing).
- the program may be processed by one computer (processor) or may be processed by a plurality of computers in a distributed manner. Further, the program may be transferred to a remote computer and executed.
- the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
- the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
- the configurations described above as a plurality of devices (or processing units) may be integrated into one device (or processing unit).
- part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or another processing unit). ..
- the present technology can have a configuration of cloud computing in which one device is shared by a plurality of devices via a network and jointly processes.
- the program described above can be executed in any device.
- the device may have a necessary function (function block or the like) so that necessary information can be obtained.
- each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
- the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
- a plurality of processes included in one step can be executed as a process of a plurality of steps.
- the processes described as a plurality of steps can be collectively executed as one step.
- the program executed by the computer may be configured such that the processes of the steps for writing the program are executed in time series in the order described in this specification, or in parallel, or when the call is made. It may be executed individually at a necessary timing such as time. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
- the present technology may also be configured as below.
- (1) Using the feature points representing the features of the three-dimensional model and the feature points representing the features of the three-dimensional model on the two-dimensional image of the three-dimensional model viewed from a predetermined viewpoint, the corresponding feature points are mutually corresponded.
- a three-dimensional model editing device that matches the above and deforms the three-dimensional model according to the edited two-dimensional image.
- (2) Rendering the two-dimensional image by rendering the three-dimensional model, The three-dimensional model editing device according to (1), wherein the two-dimensional image is edited according to a user's editing operation on the two-dimensional image.
- 3D model editing device Using the feature points representing the features of the three-dimensional model and the feature points representing the features of the three-dimensional model on the two-dimensional image of the three-dimensional model viewed from a predetermined viewpoint, the corresponding feature points are mutually corresponded.
- a three-dimensional model editing method in which the three-dimensional model is deformed in accordance with the edited two-dimensional image.
- the corresponding feature points are mutually corresponded.
- 3D model editing system 21 3D model acquisition unit, 22 user operation input unit, 23 output unit, 24 3D model editing unit, 31 2D image drawing unit, 32 image editing unit, 33 and 34 corresponding point acquisition unit , 35 3D model transformation unit, 36 texture reprojection unit
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本開示は、３次元モデルの編集を容易に行うことができるようにする３次元モデル編集装置および３次元モデル編集方法、並びにプログラムに関する。 ３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で３次元モデルの特徴を表す特徴点とが取得される。そして、それらの特徴点を利用して、それぞれ対応する特徴点どうしを一致させ、編集が施された２次元画像に合わせて３次元モデルを変形する。そして、変形された３次元モデルに対して、編集された２次元画像を投影してテクスチャが張り付けられる。本技術は、例えば、３次元モデルを編集する３次元モデル編集装置に適用できる。
Description
本開示は、３次元モデル編集装置および３次元モデル編集方法、並びにプログラムに関し、特に、３次元モデルの編集を容易に行うことができるようにした３次元モデル編集装置および３次元モデル編集方法、並びにプログラムに関する。
従来、３次元モデルを編集する技術として、様々な技術が提案されている。
例えば、特許文献１には、人物の３次元モデルに対する編集が行われたときに、編集後の３次元モデルの形状に最も適したテクスチャをデータベースから選択することで、３次元モデルの変形に応じてテクスチャを変化させることを可能とした顔画像を編集する方法が開示されている。
また、特許文献２には、２次元画像に基づいて３次元モデルを生成するために、２次元画像と３次元モデルとを重畳して表示しながら、３次元モデルに対する編集を可能としたモデリングシステムが開示されている。
ところで、上述した特許文献１で開示されている技術では、人物の動画像を事前に取得して、人物の表情が変化したときの３次元モデルおよびテクスチャのデータベースを予め構築する必要がある。さらに、テクスチャを変化させたときに３次元モデルが連動するように変化させる編集を行うことは困難であった。
また、上述した特許文献２で開示されている技術では、２次元画像の輪郭情報に合うように３次元モデルの形状パラメータを自動で変化させることで、２次元画像に合わせた３次元モデルの生成を可能としている。しかしながら、３次元モデルが複雑なパラメータから構成される場合や、物体の輪郭が滑らかでエッジが曲線となるような物体の場合には、対応点の計算が困難になり、正しい変形を行うように編集することは困難であった。
本開示は、このような状況に鑑みてなされたものであり、３次元モデルの編集を容易に行うことができるようにするものである。
本開示の一側面の３次元モデル編集装置は、３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する。
本開示の一側面の３次元モデル編集方法またはプログラムは、３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する。
本開示の一側面においては、３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する特徴点どうしを一致させ、編集が施された２次元画像に合わせて３次元モデルが変形される。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜３次元モデル編集システムの構成例＞
図１は、本技術を適用した３次元モデル編集システムの一実施の形態の構成例を示すブロック図である。
図１は、本技術を適用した３次元モデル編集システムの一実施の形態の構成例を示すブロック図である。
図１に示すように、３次元モデル編集システム１１は、３次元モデル取得部２１、ユーザ操作入力部２２、出力部２３、および３次元モデル編集部２４を備えて構成される。
３次元モデル取得部２１は、例えば、被写体を囲うように配置される複数台の撮像装置により構成され、それらの撮像装置により取得される複数枚の画像から、被写体の３次元モデルを取得して３次元モデル編集部２４に入力する。
ユーザ操作入力部２２は、例えば、キーボードやマウス、タッチパネルなどの操作デバイスにより構成され、ユーザによる操作が行われると、その操作に応じたユーザ操作情報を３次元モデル編集部２４に入力する。例えば、３次元モデル編集システム１１では、後述するように、３次元モデルから２次元画像を描画する際の視点を指定する視点情報や、２次元画像を編集する操作に応じた編集情報などが、ユーザ操作情報として３次元モデル編集部２４に入力される。
出力部２３は、３次元モデル編集部２４において編集処理が施された３次元モデルを、３次元モデル編集システム１１の外部へ出力する。例えば、出力部２３は、３次元モデルをレンダリングして得られる画像を表示する表示装置や、３次元モデルを構成するデータをデータ通信によりユーザ端末へ送信する送信装置により構成することができる。
３次元モデル編集部２４は、例えば、３次元モデル取得部２１により取得された３次元モデルに対して、ユーザ操作入力部２２から入力されるユーザ操作情報に基づいて編集処理を施し、出力部２３を介して出力する。即ち、３次元モデル編集部２４は、図１に示すように、２次元画像描画部３１、画像編集部３２、対応点取得部３３および３４、３次元モデル変形部３５、並びにテクスチャ再投影部３６を備えて構成される。
２次元画像描画部３１は、３次元モデル取得部２１から供給される３次元モデルをレンダリングし、任意の仮想カメラから見た２次元画像を描画して、その結果得られる２次元画像を画像編集部３２に供給する。このとき、２次元画像描画部３１は、仮想カメラの解像度や、視野角、視点位置などのようにレンダリングに必要な設定事項を自由に選択してレンダリングを行うことができる。例えば、２次元画像描画部３１は、変形された３次元モデルに貼り付けるテクスチャを得るのに適していると予め設定されている設定事項を用いたり、ユーザ操作入力部２２から供給される視点情報に従った設定事項を用いたりすることができる。
ここで、２次元画像描画部３１がレンダリングに使用する仮想カメラの内部パラメータＩｎｔおよび外部パラメータＥｘｔを用いて、３次元モデルの頂点（Ｘ，Ｙ，Ｚ）の２次元画像上での投影位置（ｕ，ｖ）は、次の式（１）で表される。
画像編集部３２は、図示しない表示装置に表示される２次元画像を見ながらユーザがユーザ操作入力部２２に対する操作を行ってユーザ操作情報として入力される編集情報に基づいて、２次元画像描画部３１から供給される２次元画像に対する編集処理を行う。例えば、３次元モデル編集システム１１では、ユーザが、自身が被写体として得られた２次元画像の顔に対して、目を大きくする編集や、肌を滑らかにする編集、顔の輪郭を変える編集などを行うことが想定される。そして、画像編集部３２は、ユーザの操作に応じて編集された２次元画像を対応点取得部３３に供給する。
対応点取得部３３は、画像編集部３２から供給される２次元画像から、その２次元画像に写されている被写体の特徴を表す特徴点を抽出する。同様に、対応点取得部３４は、３次元モデル取得部２１から供給される３次元モデルから、その３次元モデルの特徴を表す特徴点を抽出する。ここで、対応点取得部３３が抽出する特徴点と、対応点取得部３４が抽出する特徴点とは対応しており、対応点取得部３３が抽出する特徴点を２次元画像上の対応点と称し、対応点取得部３４が抽出する特徴点を３次元モデル上の対応点と称する。
例えば、図２のＡには、対応点取得部３３により取得された２次元画像上の対応点の一例が示されており、図２のＢには、対応点取得部３４により取得された３次元モデル上の対応点の一例が示されている。図示するように、目や眉、鼻、口などのように顔を構成するパーツごとに、それぞれのパーツの特徴を表す特徴点（同じ意味を持つ形状を表す点）が、２次元画像上と３次元モデル上とで対応するように、対応点として取得されている。即ち、右目の目じりを表す特徴点や、口の右端を表す特徴点などが、２次元画像上および３次元モデルそれぞれから取得される。
ここで、３次元モデルから対応点を取得する取得方法としては、ユーザが手動で指定することなどが検討される。例えば、3DMM（3D Morphable Model）に基づいて作成されている３次元モデルであれば、３次元モデルの変形を行っても常に同じインデックスの頂点は同じ意味を示す点（例えば、1000番目の頂点は常に鼻の先端の頂点）を指している。このため、一度、何番目の頂点が顔形状のどの部分を指すかを指定することにより、その3DMMに基づいて作成された全ての３次元モデルから対応点を取得することが可能となる。
また、２次元画像から対応点を取得する取得方法としては、既存の顔特徴点の検出方法を利用したり、手動で指定したりすることが検討される。そして、どのような手法であっても、３次元モデルと２次元画像との間で特徴点どうしの対応関係を取得することができれば、アルゴリズムの適用を行うことが可能である。
ところで、画像編集部３２が２次元画像に対して編集を行う前であれば、図３に示すように、２次元画像上の対応点Ｐ＿２Ｄは、３次元モデル上の対応点Ｐ＿３Ｄと一致している。即ち、図３のＡに示すように、２次元画像から目じりの対応点Ｐ＿２Ｄが取得されている場合、その２次元画像をテクスチャとして３次元モデルに貼り付けると、その対応点Ｐ＿２Ｄは、図３のＢに示す３次元モデルの目じりの対応点Ｐ＿３Ｄに一致するように配置されることになる。
これに対し、画像編集部３２が２次元画像に対して編集を行った後では、図４に示すように、２次元画像上の対応点Ｐ＿２Ｄは、３次元モデル上の対応点Ｐ＿３Ｄと一致せずに、それらは不一致となってしまう。即ち、図４のＡに示す２次元画像では、目が大きくなるような編集が行われている。このような編集は、スマートフォンアプリや、アミューズメント施設に置かれている写真シール機などで一般的に行われるものである。
そして、編集された２次元画像をテクスチャとして３次元モデルに貼り付けると、その２次元画像上の目じりの対応点Ｐ＿２Ｄは、図４のＢにおいて破線で示すように、３次元モデルの目じりの対応点Ｐ＿３Ｄとは一致しない個所に配置されることになる。即ち、メッシュとテクスチャの対応関係が崩れてしまい、違和感のある表示になってしまう。例えば、目領域のテクスチャのみが大きくなることで、メッシュの目形状によって生じる影の位置が不自然であったり、目領域のメッシュの凹凸が目領域のテクスチャと対応していないため、斜めから見た際に目が歪んで見えたりすることになる。
そこで、３次元モデル変形部３５は、編集された２次元画像上の対応点Ｐ＿２Ｄに、３次元モデル上の対応点Ｐ＿３Ｄが一致するように、メッシュとテクスチャの対応関係が正しくなるように３次元モデルを変形する変形処理を行う。
即ち、図５のＢに示すように、編集された２次元画像（図５のＡ）をテクスチャとして３次元モデルに貼り付けたときに、編集された２次元画像上の対応点Ｐ＿２Ｄと一致するように、３次元モデル上の対応点Ｐ＿３Ｄを移動させるような変形処理が３次元モデルに対して施される。これにより、２次元画像をテクスチャとして３次元モデルに貼り付けると、変形された３次元モデル上の対応点Ｐ＿３Ｄに一致するように、編集された２次元画像上の対応点Ｐ＿２Ｄが配置されることになる。
例えば、３次元モデル変形部３５は、２次元画像Ａおよび３次元モデルＢの間で、互いに対応する点Ａｉ＝（ｘ，ｙ）および点Ｂｉ＝（Ｘ，Ｙ，Ｚ）が存在するとき、点Ｂｉ＝（Ｘ，Ｙ，Ｚ）に点Ａｉ＝（ｘ，ｙ）が持つテクスチャが投影されるような変形を行う。その際、３次元モデル変形部３５は、自然な形状変化となるように、点Ｂｉの近傍にある頂点も変形する。このとき、元の形状に近い点へと変形を行うため、変形後の点は変形前の点を通りカメラ平面と並行な平面上に投影する。つまり、点Ｂｉとその近傍点を、点Ｂｉを通りカメラ平面と平行な平面上に投影される点Ａｉと一致するように変形する。
即ち、図５のＢに示すように、３次元モデルの目じり形状の部分（対応点Ｐ＿３Ｄ）を、カメラに対し垂直かつ目じり形状の部分を通る平面（濃い領域と薄い領域との境界により表される平面）に、２次元画像を投影する際の目じり部分（対応点Ｐ＿２Ｄ）と一致するように変形する。このように３次元モデルを変形することにより、図５のＡに示す２次元画像の目じり部分（対応点Ｐ＿２Ｄ）が、３次元モデルの目じり形状の部分（対応点Ｐ＿３Ｄ）に投影される状態となる。
具体的には、２次元画像描画部３１のレンダリングに用いられた仮想カメラの内部パラメータＩｎｔおよび外部パラメータＥｘｔは、次の式（２）に示すように表される。
そして、点Ａｉの投影先となる点Ｄｓｔは、内部パラメータＩｎｔおよび外部パラメータＥｘｔを用いて、次の式（３）に従って求められる。
このとき、点Ｂｉを点Ｄｓｔへと移動し、点Ｂｉから一定距離以内に存在する近傍の点B_neighborは、点Ｂｉとの位置関係を保ったまま点Ｄｓｔ周辺へと移動される。例えば、点Ｂｉの近傍にある点B_neighborの変形先となる点DST_neighborは、点Ｂｉの近傍にある点B_neighbor=[X_N,Y_N,Z_N]を用いて、次の式（４）に従って求められる。
このときに発生するメッシュの粗密の変化や、位置の重複などについては、スムージングやメッシュ再分割などを用いて対応することができる。
テクスチャ再投影部３６は、３次元モデル変形部３５から供給される変形された３次元モデルに対して、画像編集部３２において編集された２次元画像を、カメラパラメータに従って投影する。これにより、画像編集部３２は、ユーザによって編集された２次元画像であるテクスチャが対応する３次元モデルのメッシュに正しく投影された、変形された３次元モデルを取得することができる。
そして、テクスチャ再投影部３６により２次元画像が投影された３次元モデルは、２次元画像描画部３１に供給されるとともに、出力部２３に出力され、例えば、図示しない表示装置に表示される。ユーザは、その変形された３次元モデルを見ながら、さらなる変形を行いたい場合には、任意の視点から３次元モデルを見た２次元画像を、変形された３次元モデルを新たな入力として２次元画像描画部３１に描画させ、３次元モデルの編集を継続して行うことができる。その後、同様の編集が繰り返して行われ、所定回数の編集が行われた場合、または、ユーザが満足する３次元モデルが得られた場合、３次元モデルの最終的な出力が行われる。
以上のように３次元モデル編集システム１１は構成されており、ユーザによる２次元画像に対する編集を反映した３次元モデルを出力することができる。従って、ユーザは、３次元モデルを変形するような複雑な操作を行う必要がなく、２次元画像に対して編集する容易な操作を行うだけで、３次元モデルを編集することができる。
＜３次元モデル編集処理＞
図６に示すフローチャートを参照して、３次元モデル編集部２４が行う３次元モデル編集処理にいて説明する。
図６に示すフローチャートを参照して、３次元モデル編集部２４が行う３次元モデル編集処理にいて説明する。
例えば、３次元モデル取得部２１から３次元モデル編集部２４へ３次元モデルが供給されると処理が開始され、ステップＳ１１において、対応点取得部３４は、その３次元モデルの特徴を表す特徴点を、対応点として取得する。
ステップＳ１２において、２次元画像描画部３１は、３次元モデルのレンダリングに必要な設定事項、例えば、仮想カメラの視点位置などを選択するレンダリング設定を行う。
ステップＳ１３において、２次元画像描画部３１は、ステップＳ１３で設定された視点位置などに従って、３次元モデル取得部２１から供給される３次元モデルを、その視点から見た２次元画像を描画する。
ステップＳ１４において、画像編集部３２は、ユーザ操作入力部２２から供給されるユーザの操作に従った編集情報に基づいて、ステップＳ１３で２次元画像描画部３１により描画された２次元画像に対する編集処理を行う。
ステップＳ１５において、対応点取得部３３は、ステップＳ１４で画像編集部３２により編集された２次元画像に写されている被写体の特徴を表す特徴点を、対応点として取得する。
ステップＳ１６において、３次元モデル変形部３５は、ステップＳ１１で対応点取得部３４により取得された３次元モデル上の対応点、および、ステップＳ１５で対応点取得部３３により取得された編集された２次元画像上での対応点を用いて、３次元モデルを変形する変形処理を行う。
ステップＳ１７において、テクスチャ再投影部３６は、ステップＳ１４で画像編集部３２により編集された２次元画像をテクスチャとし、ステップＳ１６で３次元モデル変形部３５により変形された３次元モデルに対して投影する。そして、テクスチャ再投影部３６は、２次元画像が投影された３次元モデルを、出力部２３に出力して、図示しない表示装置に表示させる。
ステップＳ１８において、ユーザは、ステップＳ１７で出力された３次元モデルに対して満足したか否かを判断し、その判断結果を示す操作入力をユーザ操作入力部２２に対して行い、３次元モデル編集部２４では、その３次元モデルを最終出力とするか否かが判定される。
ステップＳ１８において、最終出力とすると判定されなかった場合、即ち、ユーザが現時点での３次元モデルに満足していない場合、処理はステップＳ１２に戻る。そして、ステップＳ１６で３次元モデル変形部３５により変形された３次元モデルが２次元画像描画部３１に供給され、以下、同様の処理が繰り返して行われる。
一方、ステップＳ１８において、最終出力とすると判定された場合、即ち、ステップＳ１７で出力された３次元モデルにユーザが満足している場合、３次元モデル編集処理は終了される。
以上のように、３次元モデル編集システム１１では、２次元画像に対するユーザの編集に従って、２次元画像上の対応点の変化に合わせて３次元モデル上の対応点および対応点の周辺の点が変形される。これにより、３次元モデル編集システム１１では、３次元モデルのテクスチャのみを変化させた場合に発生することが想定される、メッシュ形状とテクスチャとの意味のずれ（対応点どうしの不一致）を抑制することができる。
また、３次元モデル編集システム１１では、３次元モデルの変形を２次元画像に対する編集に基づいて行うことができるので、ユーザは、一般的な２次元画像に対する容易な編集操作によって、３次元モデルの変形を行うことができる。このように、３次元モデル編集システム１１は、２次元画像に対する編集操作を３次元モデルの変形操作に流用することができる。
＜コンピュータの構成例＞
次に、上述した一連の処理（３次元モデル編集方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した一連の処理（３次元モデル編集方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集装置。
（２）
前記３次元モデルをレンダリングして前記２次元画像を描画し、
前記２次元画像に対するユーザによる編集操作に従って、前記２次元画像を編集する
上記（１）に記載の３次元モデル編集装置。
（３）
前記３次元モデルから前記特徴点を取得し、
編集された前記２次元画像から前記特徴点を取得する
上記（１）または（２）に記載の３次元モデル編集装置。
（４）
変形された前記３次元モデルに対して、編集された前記２次元画像を投影してテクスチャを張り付ける
上記（１）から（３）までのいずれかに記載の３次元モデル編集装置。
（５）
変形された前記３次元モデルを入力として前記２次元画像を描画し、前記２次元画像の編集および前記３次元モデルの変形を繰り返して行う
上記（１）から（４）までのいずれかに記載の３次元モデル編集装置。
（６）
前記３次元モデルの変形を行う際に、所定の前記特徴点を移動させるのに応じて、その特徴点の近傍にある点を移動させる
上記（１）から（５）までのいずれかに記載の３次元モデル編集装置。
（７）
３次元モデル編集装置が、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集方法。
（８）
３次元モデル編集装置のコンピュータに、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
処理を実行させるためのプログラム。
なお、本技術は以下のような構成も取ることができる。
（１）
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集装置。
（２）
前記３次元モデルをレンダリングして前記２次元画像を描画し、
前記２次元画像に対するユーザによる編集操作に従って、前記２次元画像を編集する
上記（１）に記載の３次元モデル編集装置。
（３）
前記３次元モデルから前記特徴点を取得し、
編集された前記２次元画像から前記特徴点を取得する
上記（１）または（２）に記載の３次元モデル編集装置。
（４）
変形された前記３次元モデルに対して、編集された前記２次元画像を投影してテクスチャを張り付ける
上記（１）から（３）までのいずれかに記載の３次元モデル編集装置。
（５）
変形された前記３次元モデルを入力として前記２次元画像を描画し、前記２次元画像の編集および前記３次元モデルの変形を繰り返して行う
上記（１）から（４）までのいずれかに記載の３次元モデル編集装置。
（６）
前記３次元モデルの変形を行う際に、所定の前記特徴点を移動させるのに応じて、その特徴点の近傍にある点を移動させる
上記（１）から（５）までのいずれかに記載の３次元モデル編集装置。
（７）
３次元モデル編集装置が、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集方法。
（８）
３次元モデル編集装置のコンピュータに、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
処理を実行させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ ３次元モデル編集システム， ２１ ３次元モデル取得部， ２２ ユーザ操作入力部， ２３ 出力部， ２４ ３次元モデル編集部， ３１ ２次元画像描画部， ３２ 画像編集部， ３３および３４ 対応点取得部， ３５ ３次元モデル変形部， ３６ テクスチャ再投影部
Claims (8)
- ３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集装置。 - 前記３次元モデルをレンダリングして前記２次元画像を描画し、
前記２次元画像に対するユーザによる編集操作に従って、前記２次元画像を編集する
請求項１に記載の３次元モデル編集装置。 - 前記３次元モデルから前記特徴点を取得し、
編集された前記２次元画像から前記特徴点を取得する
請求項１に記載の３次元モデル編集装置。 - 変形された前記３次元モデルに対して、編集された前記２次元画像を投影してテクスチャを張り付ける
請求項１に記載の３次元モデル編集装置。 - 変形された前記３次元モデルを入力として前記２次元画像を描画し、前記２次元画像の編集および前記３次元モデルの変形を繰り返して行う
請求項１に記載の３次元モデル編集装置。 - 前記３次元モデルの変形を行う際に、所定の前記特徴点を移動させるのに応じて、その特徴点の近傍にある点を移動させる
請求項１に記載の３次元モデル編集装置。 - ３次元モデル編集装置が、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集方法。 - ３次元モデル編集装置のコンピュータに、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
処理を実行させるためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-237309 | 2018-12-19 | ||
| JP2018237309A JP2022028090A (ja) | 2018-12-19 | 2018-12-19 | ３次元モデル編集装置および３次元モデル編集方法、並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020129660A1 true WO2020129660A1 (ja) | 2020-06-25 |
Family
ID=71100777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/047541 WO2020129660A1 (ja) | 2018-12-19 | 2019-12-05 | ３次元モデル編集装置および３次元モデル編集方法、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2022028090A (ja) |
| WO (1) | WO2020129660A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021137907A (ja) | 2020-03-04 | 2021-09-16 | 株式会社マキタ | 電動作業機 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013097588A (ja) * | 2011-11-01 | 2013-05-20 | Dainippon Printing Co Ltd | 三次元ポートレートの作成装置 |
-
2018
- 2018-12-19 JP JP2018237309A patent/JP2022028090A/ja active Pending
-
2019
- 2019-12-05 WO PCT/JP2019/047541 patent/WO2020129660A1/ja active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013097588A (ja) * | 2011-11-01 | 2013-05-20 | Dainippon Printing Co Ltd | 三次元ポートレートの作成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022028090A (ja) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6025847A (en) | Three dimensional modeling system with visual feedback | |
| US11275436B2 (en) | Interface-based modeling and design of three dimensional spaces using two dimensional representations | |
| JP5299173B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| CN109964255B (zh) | 使用3d视频数据的3d打印 | |
| CN109151540A (zh) | 视频图像的交互处理方法及装置 | |
| US10169891B2 (en) | Producing three-dimensional representation based on images of a person | |
| US11010952B1 (en) | Method and user interface for generating tangent vector fields usable for generating computer-generated imagery | |
| US9454845B2 (en) | Shadow contouring process for integrating 2D shadow characters into 3D scenes | |
| JP2002083318A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| US9639924B2 (en) | Adding objects to digital photographs | |
| WO2020129660A1 (ja) | ３次元モデル編集装置および３次元モデル編集方法、並びにプログラム | |
| CN114359453A (zh) | 一种三维特效渲染方法、装置、存储介质及设备 | |
| Jeong et al. | Automatic generation of subdivision surface head models from point cloud data | |
| CN112561784B (zh) | 图像合成方法、装置、电子设备及存储介质 | |
| US7477253B2 (en) | Storage medium storing animation image generating program | |
| US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
| WO2018151612A1 (en) | Texture mapping system and method | |
| Van den Bergh et al. | Interactively morphing irregularly shaped images employing subdivision techniques | |
| JP2000511658A (ja) | 三次元ワイヤーフレームの創成と三次元ステレオモーフィングのための方法及び装置 | |
| US11783516B2 (en) | Method for controlling digital feather generations through a user interface in a computer modeling system | |
| US11328480B1 (en) | Rapid generation of three-dimensional characters | |
| CN111247560B (zh) | 用于保持图像中对象的感知恒定性的方法 | |
| WO2016149444A1 (en) | Methods and systems for 3d animation utilizing uvn transformation | |
| CN116630575A (zh) | 重拓扑方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19900105 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19900105 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |