JPWO2018084241A1 - Hairstyle simulation apparatus, hairstyle simulation method, and computer program - Google Patents
Hairstyle simulation apparatus, hairstyle simulation method, and computer program Download PDFInfo
- Publication number
- JPWO2018084241A1 JPWO2018084241A1 JP2018549075A JP2018549075A JPWO2018084241A1 JP WO2018084241 A1 JPWO2018084241 A1 JP WO2018084241A1 JP 2018549075 A JP2018549075 A JP 2018549075A JP 2018549075 A JP2018549075 A JP 2018549075A JP WO2018084241 A1 JPWO2018084241 A1 JP WO2018084241A1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- hairstyle
- face
- node
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004590 computer program Methods 0.000 title claims abstract description 34
- 210000004209 hair Anatomy 0.000 claims abstract description 83
- 239000002131 composite material Substances 0.000 claims abstract description 57
- 230000001815 facial effect Effects 0.000 claims abstract description 14
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 10
- 238000005452 bending Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
Abstract
ユーザが選択したヘアスタイルを、所望の形状に変形させてシミュレーションすることが可能なヘアスタイルシミュレーション装置、ヘアスタイルシミュレーション方法、及びコンピュータプログラムを提供する。ユーザ自身の顔を撮像し、撮像された顔の画像データから顔の部分の輪郭線を抽出する。抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像の輪郭線とマッチング処理し、輪郭線を合わせて撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する。モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、タッチディスプレイに表示されている合成画像の髪の部分の一部に対する所定の操作を検出して、検出された所定の操作に応じて、髪の部分の形状を変形させる。A hairstyle simulation apparatus, a hairstyle simulation method, and a computer program capable of simulating a hairstyle selected by a user by transforming it into a desired shape are provided. The user's own face is imaged, and the outline of the face portion is extracted from the image data of the captured face. The extracted facial part contour line is matched with the contour line of the model image indicating the hairstyle, the facial part of the face image data captured by matching the contour line, and the hair part of the model image data Are combined to generate a composite image, which is displayed on the touch display. The hair part of the model image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives, and a predetermined operation on a part of the hair part of the composite image displayed on the touch display And the shape of the hair portion is deformed in accordance with the detected predetermined operation.
Description
本発明は、ユーザが選択したヘアスタイルを、所望の形状に変形させてシミュレーションすることが可能なヘアスタイルシミュレーション装置、ヘアスタイルシミュレーション方法、及びコンピュータプログラムに関する。 The present invention relates to a hairstyle simulation apparatus, a hairstyle simulation method, and a computer program that can simulate a hairstyle selected by a user by deforming it into a desired shape.
ユーザが自分に似合うヘアスタイルであるか否かを目視で確認するために、画像を用いたシミュレーションシステムが多数開発されている。例えば、特許文献１では、メイクアップやヘアスタイルをシミュレーションし、シミュレーション後の結果を並べて表示することができる美容シミュレーションシステムが開示されている。 Many simulation systems using images have been developed in order to visually check whether a user has a hairstyle that suits him or not. For example, Patent Document 1 discloses a beauty simulation system that can simulate makeup and hairstyles and display the results after simulation side by side.
また、特許文献２では、シミュレーションしたヘアスタイルを自然な仕上がりとなるように調整することが可能なヘアシミュレーション装置が開示されている。特許文献２では、ヘアスタイル画像を複数の層構造の画像としておき、層構造ごとのポリゴンを変形することによりヘアスタイル画像を調整することが可能となっている。 Further, Patent Document 2 discloses a hair simulation apparatus that can adjust a simulated hairstyle so as to have a natural finish. In Patent Document 2, it is possible to adjust a hairstyle image by setting a hairstyle image as an image having a plurality of layer structures and deforming polygons for each layer structure.
しかし、特許文献２では、層構造ごとにポリゴンを変形するので、例えばヘアスタイル画像の一部だけを変形したい場合であっても、同じ層構造に属する部分のヘアスタイル画像も変形する。したがって、既に調整不要であるヘアスタイル画像の一部についても変形する可能性があり、全体として所望の形状にヘアスタイル画像を調整することが困難になる場合が生じるという問題点があった。 However, in Patent Document 2, since the polygon is deformed for each layer structure, for example, even when only a part of the hairstyle image is desired to be deformed, the hairstyle image of the part belonging to the same layer structure is also deformed. Accordingly, there is a possibility that a part of the hairstyle image that does not require adjustment may be deformed, and it may be difficult to adjust the hairstyle image to a desired shape as a whole.
本発明は上記事情に鑑みてなされたものであり、ユーザが選択したヘアスタイルを、所望の形状に変形させてシミュレーションすることが可能なヘアスタイルシミュレーション装置、ヘアスタイルシミュレーション方法、及びコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a hairstyle simulation apparatus, a hairstyle simulation method, and a computer program capable of simulating a hairstyle selected by a user by transforming it into a desired shape. The purpose is to do.
上記目的を達成するために第１発明に係るヘアスタイルシミュレーション装置は、ユーザによる指定を受け付けたヘアスタイルを示すモデル画像の一部だけを変形することが可能なヘアスタイルシミュレーション装置において、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を抽出する輪郭抽出手段と、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する合成画像表示手段とを有し、前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する操作検出手段と、検出された所定の操作に応じて、前記髪の部分の形状を変形させる画像変形手段とを備えることを特徴とする。 In order to achieve the above object, a hairstyle simulation apparatus according to the first aspect of the present invention is a hairstyle simulation apparatus capable of deforming only a part of a model image indicating a hairstyle that has been designated by the user. Image capturing means for capturing a face, contour extracting means for extracting a contour line of a face portion from the captured face image data, and extracting the contour line of the extracted face portion from model image data indicating a hairstyle Matching means that performs matching processing with the contour line of the face part, and by combining the contour line, the face part of the captured face image data and the hair part of the model image data are superimposed to generate a composite image And a composite image display means for displaying on the touch display, and the hair portion of the model image data is a rectangular primitive. An operation detecting means for detecting a predetermined operation on a part of the hair portion of the synthesized image displayed as a textured polygon expressed by a node-link structure by Image deformation means for deforming the shape of the hair portion in accordance with the predetermined operation.
また、第２発明に係るヘアスタイルシミュレーション装置は、第１発明において、前記操作検出手段は、前記所定の操作として変更領域、移動方向及び移動量を検出し、前記画像変形手段は、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する変形算出手段を備えることが好ましい。 Further, in the hairstyle simulation apparatus according to the second invention, in the first invention, the operation detecting means detects a change area, a moving direction and a moving amount as the predetermined operation, and the image deforming means is detected. It is preferable to provide a deformation calculation means for calculating the deformation direction and the deformation amount of the textured polygon represented by the node / link structure by the quadrilateral primitive for the change area based on the detected movement direction and movement amount.
また、第３発明に係るヘアスタイルシミュレーション装置は、第２発明において、前記変形算出手段は、四角形プリミティブの内部に補助点を設け、該補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させることが好ましい。 According to a third aspect of the present invention, in the hair style simulation apparatus according to the second aspect of the invention, the deformation calculating means provides an auxiliary point inside a quadrilateral primitive, and a node / link structure with four triangular primitives having the auxiliary point as a vertex. It is preferable that the textured polygons expressed by the above are gradually deformed while interlocking with each other.
また、第４発明に係るヘアスタイルシミュレーション装置は、第１乃至第３発明のいずれか１つにおいて、前記操作検出手段は、前記タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出することが好ましい。 The hairstyle simulation apparatus according to a fourth aspect is the hairstyle simulation apparatus according to any one of the first to third aspects, wherein the operation detection unit has a predetermined range from the coordinate position of the composite image displayed on the touch display. It is preferable to detect the change area.
また、第５発明に係るヘアスタイルシミュレーション装置は、第１乃至第４発明のいずれか１つにおいて、前記変形算出手段は、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定することが好ましい。 The hairstyle simulation apparatus according to a fifth aspect of the present invention is the hairstyle simulation device according to any one of the first to fourth aspects, wherein the deformation calculation means calculates a maximum deformation amount of a node constituting each primitive by a face portion of each node. In accordance with the distance from the contour line, it is preferable to set the distance to be smaller as the distance is shorter.
次に、上記目的を達成するために第６発明に係るヘアスタイルシミュレーション方法は、ユーザによる指定を受け付けたヘアスタイルを示すモデル画像の一部だけを変形することが可能なコンピュータで実行することが可能なヘアスタイルシミュレーション方法において、前記コンピュータは、ユーザ自身の顔を撮像する工程と、撮像された顔の画像データから顔の部分の輪郭線を抽出する工程と、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理する工程と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する工程とを含み、前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する工程と、検出された所定の操作に応じて、前記髪の部分の形状を変形させる工程とを含むことを特徴とする。 Next, in order to achieve the above object, the hairstyle simulation method according to the sixth invention may be executed by a computer capable of deforming only a part of a model image indicating a hairstyle that has been designated by the user. In the possible hairstyle simulation method, the computer captures the face of the user, extracts the facial contour from the captured facial image data, and the extracted facial contour. Are matched with the outline of the face portion extracted from the model image data indicating the hairstyle, and the face portion of the image data of the face imaged by matching the outline and the hair of the model image data And generating a composite image by superimposing the image data on a touch display, and displaying the composite image on a touch display. The part is displayed as a textured polygon represented by a node-link structure using a quadrilateral primitive, and a step of detecting a predetermined operation on a part of the hair part of the composite image displayed on the touch display And a step of deforming the shape of the hair portion in accordance with the detected predetermined operation.
また、第７発明に係るヘアスタイルシミュレーション方法は、第６発明において、前記コンピュータは、前記所定の操作として変更領域、移動方向及び移動量を検出し、前記コンピュータは、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する工程を含むことが好ましい。 The hairstyle simulation method according to a seventh aspect of the present invention is the hairstyle simulation method according to the sixth aspect, wherein the computer detects a change area, a movement direction, and a movement amount as the predetermined operation, and the computer Preferably, the method includes a step of calculating a deformation direction and a deformation amount of a textured polygon represented by a node / link structure using quadrilateral primitives based on the detected movement direction and movement amount.
また、第８発明に係るヘアスタイルシミュレーション方法は、第７発明において、前記コンピュータは、四角形プリミティブの内部に補助点を設け、該補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させることが好ましい。 The hairstyle simulation method according to an eighth aspect of the present invention is the hairstyle simulation method according to the seventh aspect, wherein the computer provides an auxiliary point inside a quadrilateral primitive and is expressed by a node link structure with four triangular primitives having the auxiliary point as a vertex. It is preferable to gradually deform the textured polygons while interlocking with each other.
また、第９発明に係るヘアスタイルシミュレーション装置は、第６乃至第８発明のいずれか１つにおいて、前記コンピュータは、前記タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出することが好ましい。 A hairstyle simulation apparatus according to a ninth invention is the hairstyle simulation apparatus according to any one of the sixth to eighth inventions, wherein the computer changes a predetermined range from the coordinate position of the composite image displayed on the touch display. It is preferable to detect as
また、第１０発明に係るヘアスタイルシミュレーション方法は、第６乃至第９発明のいずれか１つにおいて、前記コンピュータは、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定することが好ましい。 The hairstyle simulation method according to a tenth aspect of the present invention is the hairstyle simulation method according to any one of the sixth to ninth aspects, wherein the computer calculates a maximum deformation amount of a node constituting each primitive and a contour of a face portion of each node. In accordance with the distance from the line, it is preferable to set the distance to be smaller as the distance is shorter.
次に、上記目的を達成するために第１１発明に係るコンピュータプログラムは、ユーザによる指定を受け付けたヘアスタイルを示すモデル画像の一部だけを変形することが可能なコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、ユーザ自身の顔を撮像する撮像手段、撮像された顔の画像データから顔の部分の輪郭線を抽出する輪郭抽出手段、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段、及び輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する合成画像表示手段として機能させ、前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、前記コンピュータを、前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する操作検出手段、及び検出された所定の操作に応じて、前記髪の部分の形状を変形させる画像変形手段として機能させることを特徴とする。 Next, in order to achieve the above object, the computer program according to the eleventh aspect of the invention can be executed by a computer capable of transforming only a part of a model image showing a hairstyle that has been designated by the user. In the computer program, the computer includes imaging means for imaging the user's own face, contour extracting means for extracting the contour of the face portion from the image data of the captured face, Matching means for matching processing with the contour line of the face portion extracted from the model image data indicating the style, and the face portion of the image data of the captured face by matching the contour line, and the hair portion of the model image data To generate a composite image and function as a composite image display means for displaying on the touch display, The hair portion of the Dell image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives, and the computer is connected to the hair portion of the composite image displayed on the touch display. It is characterized by functioning as an operation detecting means for detecting a predetermined operation on a part, and an image deforming means for deforming the shape of the hair portion in accordance with the detected predetermined operation.
また、第１２発明に係るコンピュータプログラムは、第１１発明において、前記操作検出手段を、前記所定の操作として変更領域、移動方向及び移動量を検出する手段として機能させ、前記画像変形手段を、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する変形算出手段として機能させることが好ましい。 A computer program according to a twelfth aspect of the invention is the computer program according to the eleventh aspect of the invention, wherein the operation detecting means functions as a means for detecting a change area, a moving direction, and a moving amount as the predetermined operation, The modified area can be caused to function as a deformation calculating means for calculating the deformation direction and the deformation amount of the textured polygon represented by the node / link structure by the quadrilateral primitive based on the detected movement direction and movement amount. preferable.
また、第１３発明に係るコンピュータプログラムは、第１２発明において、前記変形算出手段を、四角形プリミティブの内部に補助点を設け、該補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させる手段として機能させることが好ましい。 The computer program according to a thirteenth aspect of the invention is the computer program according to the twelfth aspect of the invention, wherein the deformation calculation means is represented by a node-link structure with four triangular primitives having auxiliary points provided as vertices inside the quadrilateral primitives. The textured polygons are preferably made to function as means for gradually deforming them while interlocking with each other.
また、第１４発明に係るコンピュータプログラムは、第１１乃至第１３発明のいずれか１つにおいて、前記操作検出手段を、前記タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出する手段として機能させることが好ましい。 A computer program according to a fourteenth aspect of the present invention is the computer program according to any one of the eleventh to thirteenth aspects, wherein the operation detecting unit changes a predetermined range from the coordinate position of the composite image displayed on the touch display. It is preferable to function as a detecting means.
また、第１５発明に係るコンピュータプログラムは、第１１乃至第１４発明のいずれか１つにおいて、前記変形算出手段を、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定する手段として機能させることが好ましい。 The computer program according to a fifteenth aspect of the present invention is the computer program according to any one of the eleventh to fourteenth aspects, wherein the deformation calculation means determines the maximum deformation amount of the node constituting each primitive and the contour of the face portion of each node. It is preferable to function as a means for setting the distance to be smaller as the distance is shorter according to the distance from the line.
第１発明、第６発明及び第１１発明では、ユーザ自身の顔を撮像し、撮像された顔の画像データから顔の部分の輪郭線を抽出して、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理する。輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する。モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、タッチディスプレイに表示されている合成画像の髪の部分の一部に対する所定の操作を検出して、検出された所定の操作に応じて、髪の部分の形状を変形させる。これにより、モデル画像データの髪の部分の一部だけを不自然さのない形状に変形させることができるので、調整する必要がない部分については現状を維持したまま、気になる部分だけをシミュレーションすることができ、ユーザの所望の形状にヘアスタイルを調整することが可能となる。 In the first invention, the sixth invention and the eleventh invention, the user's own face is imaged, the face part contour line is extracted from the captured face image data, and the extracted face part contour line is extracted. Matching processing is performed with the outline of the face portion extracted from the model image data indicating the hairstyle. By combining the contour lines, the face portion of the captured face image data and the hair portion of the model image data are superimposed to generate a composite image, which is displayed on the touch display. The hair part of the model image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives, and a predetermined operation on a part of the hair part of the composite image displayed on the touch display And the shape of the hair portion is deformed in accordance with the detected predetermined operation. As a result, only a part of the hair of the model image data can be transformed into a shape with no unnaturalness, so only the part of interest is simulated while maintaining the current state of the part that does not need to be adjusted. And the hairstyle can be adjusted to the user's desired shape.
第２発明、第７発明及び第１２発明では、所定の操作として変更領域、移動方向及び移動量を検出し、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する。これにより、合成画像の髪の部分をどの方向にどの程度変形させるのかを検出することができ、変形が不要な領域にまで大きな変形を生じないようにすることが可能となる。 In the second invention, the seventh invention, and the twelfth invention, a change area, a movement direction, and a movement amount are detected as a predetermined operation, and a quadrilateral primitive is detected for the detected change area based on the detected movement direction and movement amount. The deformation direction and deformation amount of the textured polygon represented by the node / link structure is calculated. Thereby, it is possible to detect how much the hair portion of the composite image is deformed in which direction, and it is possible to prevent a large deformation from occurring in an area where the deformation is unnecessary.
第３発明、第８発明及び第１３発明では、四角形プリミティブの内部に補助点を設け、補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させる。これにより、いわゆる三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを変形した場合のように、変形後のテクスチャに屈曲部が生じることがないので、テクスチャの表示に不自然な部分が生じることがなく、自然な表示のままで変形させることが可能となる。 In the third, eighth and thirteenth inventions, auxiliary points are provided inside the quadrilateral primitives, and textured polygons expressed in a node-link structure with four triangular primitives with the auxiliary points as vertices are linked to each other. Gradually deform. As a result, there is no bending portion in the texture after the deformation, as in the case of deforming a textured polygon represented by a node / link structure using a so-called triangle primitive. It does not occur and can be deformed with a natural display.
第４発明、第９発明及び第１４発明では、タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出する。これにより、タッチディスプレイ上での合成画像の髪の部分の変更領域を容易に把握することができ、変形が不要な領域にまで大きな変形を生じないようにすることが可能となる。 In the fourth, ninth, and fourteenth inventions, a predetermined range is detected as a change area from the coordinate position of the composite image displayed on the touch display. Thereby, it is possible to easily grasp the change area of the hair portion of the composite image on the touch display, and it is possible to prevent a large deformation from occurring even in an area where the deformation is unnecessary.
第５発明、第１０発明及び第１５発明では、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定する。これにより、髪の部分を顔の部分の方向に変形させた場合であっても、髪の部分が顔の部分の輪郭線を超えて変形することがなく、ヘアスタイルを自然な形状に変形することが可能となる。 In the fifth, tenth and fifteenth inventions, the maximum deformation amount of the nodes constituting each primitive is set so that the smaller the distance is, the smaller the distance is from the contour line of the face portion of each node. To do. As a result, even when the hair part is deformed in the direction of the face part, the hair part does not deform beyond the outline of the face part, and the hairstyle is transformed into a natural shape. It becomes possible.
本発明によれば、モデル画像データの髪の部分の一部だけを不自然さのない形状に変形させることができるので、調整する必要がない部分については現状を維持したまま、気になる部分だけをシミュレーションすることができ、ユーザの所望の形状にヘアスタイルを調整することが可能となる。 According to the present invention, only a part of the hair portion of the model image data can be transformed into a shape having no unnaturalness, so that the portion that does not need to be adjusted remains the current state while maintaining the current state. Can be simulated, and the hairstyle can be adjusted to the user's desired shape.
以下、本発明の実施の形態に係るヘアスタイルシミュレーション装置について、図面を参照しながら説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。 Hereinafter, a hairstyle simulation apparatus according to an embodiment of the present invention will be described with reference to the drawings. Throughout the drawings to be referred, elements having the same or similar configuration or function are denoted by the same or similar reference numerals, and detailed description thereof is omitted.
図１は、本発明の実施の形態に係るヘアスタイルシミュレーション装置の構成を示す模式図である。図１に示すように、本実施の形態に係るヘアスタイルシミュレーション装置１は、タッチディスプレイ１６を有するタブレット等の端末装置である。 FIG. 1 is a schematic diagram showing a configuration of a hairstyle simulation apparatus according to an embodiment of the present invention. As shown in FIG. 1, hairstyle simulation device 1 according to the present embodiment is a terminal device such as a tablet having touch display 16.
本発明の実施の形態に係るヘアスタイルシミュレーション装置１は、少なくともＣＰＵ（中央演算装置）１１、メモリ１２、記憶装置１３、Ｉ／Ｏインタフェース１４、ビデオインタフェース１５、タッチディスプレイ１６、撮像手段１７、通信インタフェース１８及び上述したハードウェアを接続する内部バス１９で構成されている。 The hairstyle simulation apparatus 1 according to the embodiment of the present invention includes at least a CPU (central processing unit) 11, a memory 12, a storage device 13, an I / O interface 14, a video interface 15, a touch display 16, an imaging unit 17, and communication. It comprises an interface 18 and an internal bus 19 for connecting the hardware described above.
ＣＰＵ１１は、内部バス１９を介してヘアスタイルシミュレーション装置１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１３に記憶されたコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ１２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。 The CPU 11 is connected to each hardware unit as described above of the hairstyle simulation apparatus 1 via the internal bus 19, controls the operation of each hardware unit described above, and stores the computer program 100 stored in the storage device 13. Various software functions are executed according to the above. The memory 12 is composed of a volatile memory such as SRAM or SDRAM, and a load module is expanded when the computer program 100 is executed, and stores temporary data generated when the computer program 100 is executed.
記憶装置１３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置１３に記憶しているコンピュータプログラム１００は、通信インタフェース１８を介して接続されている外部コンピュータからダウンロードされ、実行時には記憶装置１３からメモリ１２へ展開して実行される。もちろん、プログラム及びデータ等の情報を記録したＳＤカード等の可搬型記録媒体からのリーダ／ライタを備えている場合には、可搬型記録媒体からコンピュータプログラムを読み出しても良い。 The storage device 13 includes a built-in fixed storage device (hard disk), a ROM, and the like. The computer program 100 stored in the storage device 13 is downloaded from an external computer connected via the communication interface 18, and is executed from the storage device 13 to the memory 12 during execution. Of course, when a reader / writer is provided from a portable recording medium such as an SD card that records information such as programs and data, the computer program may be read from the portable recording medium.
記憶装置１３には、ヘアスタイルを示すモデル画像データが記憶されている。モデル画像データには、標準的な顔の部分の輪郭線データが含まれており、撮像されたユーザの顔の画像データから抽出する顔の部分の輪郭線データとの間でマッチング処理を実行することにより、ユーザの所望の形状にヘアスタイルを変形（調整）した顔の合成画像を生成することができる。 The storage device 13 stores model image data indicating a hairstyle. The model image data includes standard contour data of the face portion, and a matching process is executed with the contour data of the face portion extracted from the captured user face image data. Thus, it is possible to generate a composite image of a face obtained by deforming (adjusting) the hairstyle into a shape desired by the user.
通信インタフェース１８は内部バス１９に接続されており、外部のネットワーク網に接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。 The communication interface 18 is connected to an internal bus 19 and can transmit / receive data to / from an external computer or the like by being connected to an external network.
Ｉ／Ｏインタフェース１４及びビデオインタフェース１５は、液晶ディスプレイで構成されたタッチディスプレイ１６と接続され、ヘアスタイルを示すモデル画像データの顔の部分と、撮像されたユーザの顔の画像データの顔の部分との間で輪郭線データのマッチング処理を実行することにより、ユーザの顔の画像データの顔の部分とモデル画像データの髪の部分とを重ね合わせて生成された合成画像を表示する。表示された合成画像に対して、スワイプ操作等をすることにより、合成画像の髪の部分の一部を変形させる。 The I / O interface 14 and the video interface 15 are connected to a touch display 16 composed of a liquid crystal display, and the face portion of the model image data indicating the hairstyle and the face portion of the image data of the captured user's face. By executing the contour line data matching process between the image portion and the face portion, the face portion of the image data of the user's face and the hair portion of the model image data are superimposed and displayed. A part of the hair portion of the composite image is deformed by performing a swipe operation or the like on the displayed composite image.
なお、撮像手段１７は、ＣＣＤカメラ等であり、備えていてもいなくても良い。撮像手段１７を備えている場合、ユーザの顔を撮像して、撮像した顔の画像データの顔の部分にヘアスタイルを示すモデル画像データの髪の部分を合成することにより、所望のヘアスタイルの形状に変形した状態を確認してもらうことができる。 The imaging means 17 is a CCD camera or the like and may or may not be provided. When the imaging unit 17 is provided, the user's face is imaged, and the hair portion of the model image data indicating the hairstyle is synthesized with the face portion of the captured face image data, thereby obtaining a desired hairstyle. You can check the state of deformation.
以下、上記構成のヘアスタイルシミュレーション装置１の動作について説明する。図２は、本発明の実施の形態に係るヘアスタイルシミュレーション装置１の構成を示す機能ブロック図である。 Hereinafter, the operation of the hairstyle simulation apparatus 1 configured as described above will be described. FIG. 2 is a functional block diagram showing the configuration of the hairstyle simulation apparatus 1 according to the embodiment of the present invention.
図２において、本実施の形態に係るヘアスタイルシミュレーション装置１の撮像部（撮像手段）２０１は、ヘアスタイルをシミュレーションするユーザ自身の顔を撮像する。撮像部２０１で撮像された顔の画像データは、記憶装置１３に記憶される。撮像部２０１としては、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等を採用する。 In FIG. 2, an imaging unit (imaging means) 201 of the hairstyle simulation apparatus 1 according to the present embodiment images the face of the user who simulates the hairstyle. The face image data captured by the imaging unit 201 is stored in the storage device 13. As the imaging unit 201, a CCD image sensor, a CMOS image sensor, or the like is employed.
モデル画像読出部２０２は、記憶装置１３に記憶されているモデル画像データを読み出す。モデル画像データは、ヘアスタイルを識別するヘアスタイルＩＤに対応付けて、標準的なモデルを当該ヘアスタイルにした場合を示す画像データである。 The model image reading unit 202 reads model image data stored in the storage device 13. The model image data is image data indicating a case where a standard model is used as the hairstyle in association with a hairstyle ID for identifying the hairstyle.
輪郭抽出部２０３は、撮像部２０１で撮像された顔の画像データから顔の部分の輪郭線を抽出する。輪郭線の抽出方法は特に限定されるものではない。例えば所定の画素の画素値が、周囲の画素の画素値と所定値以上離れている場合に輪郭線として抽出する方法であっても良い。同様に、読み出したモデル画像データについても顔の部分の輪郭線を抽出する。なお、モデル画像データについては、事前に顔の部分の輪郭線を抽出しておき、抽出した輪郭線に関する情報をモデル画像データと併せて記憶しておいても良い。 The contour extraction unit 203 extracts the contour line of the face portion from the face image data imaged by the imaging unit 201. The method for extracting the contour line is not particularly limited. For example, a method may be used in which the pixel value of a predetermined pixel is extracted as a contour line when the pixel value of a surrounding pixel is more than a predetermined value. Similarly, the contour line of the face portion is extracted from the read model image data. In addition, about model image data, the outline of the face part may be extracted beforehand and the information regarding the extracted outline may be memorize | stored with model image data.
マッチング部２０４は、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理する。図３は、本発明の実施の形態に係るヘアスタイルシミュレーション装置１のＣＰＵ１１の輪郭マッチング処理の手順を示すフローチャートである。 The matching unit 204 performs matching processing on the extracted contour line of the face portion and the contour line of the face portion extracted from the model image data indicating the hairstyle. FIG. 3 is a flowchart showing the procedure of the contour matching process of the CPU 11 of the hairstyle simulation apparatus 1 according to the embodiment of the present invention.
図３において、本実施の形態に係るヘアスタイルシミュレーション装置１のＣＰＵ１１は、撮像された顔の画像データ及びモデル画像データの中から顔の部分の中心座標を算出する（ステップＳ３０１）。具体的には、画素値が一定範囲内である連続領域を検出して、連続領域の縦方向及び横方向の中心として中心位置を算出する。 In FIG. 3, the CPU 11 of the hairstyle simulation apparatus 1 according to the present embodiment calculates the center coordinates of the face portion from the captured face image data and model image data (step S301). Specifically, a continuous region where the pixel value is within a certain range is detected, and the center position is calculated as the center in the vertical and horizontal directions of the continuous region.
ＣＰＵ１１は、モデル画像データの顔の部分の中心座標に、撮像された顔の画像データの顔の部分の中心座標を重ね合わせるように、撮像された顔の画像データの顔の部分を移動する（ステップＳ３０２）。図４は、本発明の実施の形態に係るヘアスタイルシミュレーション装置１の顔部分の画像の重ね合わせのイメージ図である。図４（ａ）に示す、撮像された顔の画像データの顔の部分の中心座標Ｇ１を、図４（ｂ）に示すモデル画像データの顔の部分の中心座標Ｇ０に重ね合わせるように、撮像された顔の画像データの顔の部分を移動させる。 The CPU 11 moves the face portion of the captured face image data so that the center coordinate of the face portion of the captured face image data is superimposed on the center coordinate of the face portion of the model image data. Step S302). FIG. 4 is an image diagram of the superimposition of the facial part images of the hairstyle simulation apparatus 1 according to the embodiment of the present invention. Imaging is performed so that the center coordinates G1 of the face portion of the captured face image data shown in FIG. 4A are superimposed on the center coordinates G0 of the face portion of the model image data shown in FIG. 4B. The face portion of the image data of the face is moved.
図３に戻って、ＣＰＵ１１は、モデル画像データの顔の部分の高さに合わせて、撮像された顔の画像データの顔の部分を拡大・縮小する（ステップＳ３０３）。例えば、モデル画像データの顔の部分の眉とアゴとの間の距離と、撮像された顔の画像データの顔の部分の眉とアゴとの間の距離が一致するように拡大・縮小する。このとき拡大・縮小の中心は、算出してある顔の部分の中心座標である。また、拡大・縮小時に縦横比は一定とする。 Returning to FIG. 3, the CPU 11 enlarges / reduces the face portion of the captured face image data in accordance with the height of the face portion of the model image data (step S303). For example, the model image data is enlarged or reduced so that the distance between the eyebrow and the jaw of the face portion of the model image data matches the distance between the eyebrow and the jaw of the face portion of the captured face image data. At this time, the center of enlargement / reduction is the center coordinates of the calculated face portion. Also, the aspect ratio is constant during enlargement / reduction.
図５は、本発明の実施の形態に係るヘアスタイルシミュレーション装置１の顔部分の画像の拡大・縮小のイメージ図である。図５に示すように、撮像された顔の画像データの顔の部分（破線部分）を、中心座標を重ね合わせて、モデル画像データの顔の部分（実線部分）に合わせている。 FIG. 5 is an image diagram of enlargement / reduction of the image of the face portion of the hairstyle simulation apparatus 1 according to the embodiment of the present invention. As shown in FIG. 5, the face portion (broken line portion) of the captured face image data is aligned with the face portion (solid line portion) of the model image data by superimposing the center coordinates.
図５の例では、撮像された顔の画像データの顔の部分（破線部分）の眉とアゴとの間の距離Ｈ１の方が、モデル画像データの顔の部分（実線部分）の眉とアゴとの間の距離Ｈ０よりも長いので、距離Ｈ１が距離Ｈ０になるまで、撮像された顔の画像データの顔の部分を、縦横比を維持した状態で縮小する。これにより、高さ方向についてはマッチング処理が完了する。 In the example of FIG. 5, the distance H1 between the eyebrow of the face part (broken line part) and the jaw of the captured face image data is the eyebrow and jaw of the face part (solid line part) of the model image data. Since the distance H1 is longer than the distance H0, the face portion of the image data of the captured face is reduced while maintaining the aspect ratio until the distance H1 becomes the distance H0. Thereby, the matching process is completed in the height direction.
図３に戻って、ＣＰＵ１１は、拡大・縮小した、撮像された顔の画像データの顔の部分の幅に合わせて、今度はモデル画像データの顔の部分を横方向に拡大・縮小する（ステップＳ３０４）。縦方向のズレより横方向のズレの方が小さく、しかも縦方向について拡大・縮小して眉とアゴとの距離を一致させているので、厳密に縦横比を維持する必要がない。むしろ、モデル画像データのヘアスタイルを、撮像された顔の画像データの顔部分と自然な状態で合成することが可能となる。 Returning to FIG. 3, the CPU 11 enlarges / reduces the face portion of the model image data in the horizontal direction in accordance with the width of the face portion of the captured face image data (step). S304). Since the shift in the horizontal direction is smaller than the shift in the vertical direction, and the distance between the eyebrows and the jaw is matched by enlarging or reducing in the vertical direction, it is not necessary to strictly maintain the aspect ratio. Rather, it is possible to synthesize the hairstyle of the model image data in a natural state with the face portion of the captured face image data.
ＣＰＵ１１は、撮像された顔の画像データの顔の部分及びモデル画像データの顔の部分の輪郭線を、スプライン補間等により算出し（ステップＳ３０５）、顔の輪郭線の横方向差分を算出する（ステップＳ３０６）。ＣＰＵ１１は、モデル画像データの髪の部分のノードを、算出した横方向差分だけ移動する（ステップＳ３０７）。これにより、顔の輪郭が相違する場合であっても不自然さのないヘアスタイルの形状にシミュレーションを行うことが可能となる。 The CPU 11 calculates the contour lines of the face portion of the captured face image data and the face portion of the model image data by spline interpolation or the like (step S305), and calculates the lateral difference between the face contour lines (step S305). Step S306). The CPU 11 moves the hair part node of the model image data by the calculated lateral difference (step S307). As a result, even if the facial contours are different, it is possible to perform a simulation on the shape of the hairstyle without unnaturalness.
図２に戻って、合成画像表示部２０５は、マッチング処理後の撮像された顔の画像データの顔の部分とモデル画像データの髪の部分との合成画像を生成して、タッチディスプレイに表示する。髪の部分の画像については、髪を表示するテクスチャを用いた、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示している。これにより、以下の操作で髪の部分だけを変形表示させることができる。 Returning to FIG. 2, the composite image display unit 205 generates a composite image of the face part of the captured face image data after the matching process and the hair part of the model image data, and displays the composite image on the touch display. . The image of the hair portion is displayed as a textured polygon represented by a node / link structure using quadrilateral primitives using a texture for displaying hair. Accordingly, only the hair portion can be deformed and displayed by the following operation.
操作検出部２０６は、ユーザにより受け付けた所定の操作を検出する。具体的には、タッチディスプレイ１６上で、スワイプ操作等を検知することにより、一定の範囲内の四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを変形させる。これにより、髪の部分の一部だけを変形させることで、ヘアスタイルの形状の微調整を行うことができる。 The operation detection unit 206 detects a predetermined operation received by the user. Specifically, by detecting a swipe operation or the like on the touch display 16, the textured polygon expressed by the node / link structure using the quadrilateral primitives within a certain range is deformed. Thereby, the fine adjustment of the shape of a hairstyle can be performed by changing only a part of hair part.
検出する所定の操作としては、スワイプ操作による変更領域、移動方向及び移動量を検出する。変更領域は、指の接触を検出した画素群の中心からの一定範囲内の領域を変更領域として検出する。画素群の数に応じて、段階的に変更領域を拡大・縮小させても良い。移動方向は、スワイプしている間の指の移動方向に基づいて算出し、移動量は、スワイプしている間の指が接触しながら移動した移動量に基づいて算出する。 As the predetermined operation to be detected, a change area, a moving direction, and a moving amount by a swipe operation are detected. The change area detects an area within a certain range from the center of the pixel group that detected the finger contact as the change area. Depending on the number of pixel groups, the change area may be enlarged or reduced in stages. The movement direction is calculated based on the movement direction of the finger while swiping, and the movement amount is calculated based on the movement amount moved while the finger is in contact while swiping.
画像変形部２０７は、検出された所定の操作に応じて、合成画像の髪の部分の形状を変形させる。また、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブに対して、レンダリング処理を実行することによりポリゴンの変形を算出して、付随するテクスチャを変形させる。 The image deforming unit 207 deforms the shape of the hair portion of the composite image in accordance with the detected predetermined operation. In addition, with respect to the detected change area, a polygon deformation is calculated by executing rendering processing on the quadrilateral primitive based on the detected moving direction and moving amount, and the accompanying texture is deformed.
図６は、髪の部分のポリゴン変形の例示図である。図６に示すように、格子状の互いにリンクされているノード６１を形成し、その上にテクスチャとして合成画像を貼り付ける。検出される操作によって、格子状のノードそれぞれが変形し、それに伴いリンクされているノードも順次変形していくことで、変更領域内全体が変形する。例えば変更領域６２、６３に示すように、ノード６１が変形して、付随する髪の部分のテクスチャが変形することで、ヘアスタイルを自由に変更することができる。 FIG. 6 is a view showing an example of polygon deformation of the hair portion. As shown in FIG. 6, grid-connected nodes 61 are formed, and a composite image is pasted thereon as a texture. By the detected operation, each of the grid-like nodes is deformed, and the linked nodes are also deformed sequentially, so that the entire change area is deformed. For example, as shown in the change areas 62 and 63, the node 61 is deformed and the texture of the accompanying hair portion is deformed, so that the hairstyle can be freely changed.
つまり、画像変形部２０７は、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向及び変形量を算出する変形算出部２０８を備える。これにより、ポリゴンの変形方向及び変形量を求めることで、テクスチャとして付随している髪の部分の画像を変形させることができる。合成画像表示部２０５は、算出した変形方向及び変形量に基づいて合成画像を更新して、タッチディスプレイ１６に表示する。 That is, the image deformation unit 207 calculates the deformation direction and deformation amount of the textured polygon represented by the node / link structure using the quadrilateral primitive, based on the detected movement direction and movement amount for the detected change area. The deformation calculating unit 208 is provided. Thus, by obtaining the deformation direction and deformation amount of the polygon, it is possible to deform the image of the hair portion that accompanies the texture. The composite image display unit 205 updates the composite image based on the calculated deformation direction and deformation amount, and displays the composite image on the touch display 16.
なお、本実施の形態では、格子状にノードが形成されているので、四角形プリミティブに対してレンダリング処理が実行されている。図７は、四角形プリミティブに対するレンダリング処理の実行前後の比較イメージ図である。図７（ａ）は、レンダリング処理の実行前の四角形プリミティブの状態を、図７（ｂ）は、レンダリング処理の実行後の四角形プリミティブの状態を、それぞれ示す。 In the present embodiment, since the nodes are formed in a grid pattern, rendering processing is performed on quadrilateral primitives. FIG. 7 is a comparative image diagram before and after execution of rendering processing for a quadrilateral primitive. FIG. 7A shows the state of the quadrilateral primitive before execution of the rendering process, and FIG. 7B shows the state of the quadrilateral primitive after execution of the rendering process.
図７（ａ）の例では、３つの四角形プリミティブを直列に配置している。３つの四角形プリミティブの上にはテクスチャとして直線Ｔ０−Ｔ２が描かれている。そして、ノードＮ１をノードＮ２になるようレンダリング処理を実行する。 In the example of FIG. 7A, three quadrilateral primitives are arranged in series. On the three quadrilateral primitives, straight lines T0-T2 are drawn as textures. Then, the rendering process is executed so that the node N1 becomes the node N2.
この場合、四角形プリミティブの内部においては、直線は直線として変形される。したがって、図７（ｂ）に示すように、ノードＮ１がノードＮ２の位置まで引っ張られることにより、テクスチャ位置Ｔ１がＴ１’へ、テクスチャ位置Ｔ２がＴ２’へ、それぞれ移動する。その結果として、比較的角張ったテクスチャとしてテクスチャマッピングが行われる。 In this case, the straight line is transformed into a straight line inside the quadrilateral primitive. Accordingly, as shown in FIG. 7B, when the node N1 is pulled to the position of the node N2, the texture position T1 moves to T1 'and the texture position T2 moves to T2'. As a result, texture mapping is performed as a relatively angular texture.
これに対して、スマートホン等ではハードウェアに制約が生じるため、ＯｐｅｎＧＬを使用することができず、ＯｐｅｎＧＬ ＥＳ ２．０を使用する場合も想定される。この場合、四角形プリミティブに対してレンダリング処理を実行することができない。 On the other hand, since hardware is restricted in a smart phone or the like, OpenGL cannot be used and OpenGL ES 2.0 may be used. In this case, the rendering process cannot be executed on the quadrilateral primitive.
そこで、四角形プリミティブを複数の三角形プリミティブに分割してレンダリング処理を実行しても良い。この場合、１つの対角線で二分割する方法と、２つの対角線を用いて四分割する方法とが考えられる。図８は、レンダリング処理の対象となるプリミティブの例示図である。 Thus, the rendering process may be executed by dividing the quadrilateral primitive into a plurality of triangular primitives. In this case, a method of dividing into two with one diagonal line and a method of dividing into four with two diagonal lines are conceivable. FIG. 8 is an illustration of primitives to be rendered.
図８（ａ）では、四角形プリミティブを１つの対角線で二分割し、２つの三角形プリミティブとしている。図８（ｂ）では、四角形プリミティブの内部で、２つの対角線の交点を補助点Ｐとして、補助点Ｐを頂点とした４つの三角形プリミティブに分割している。 In FIG. 8A, a quadrilateral primitive is divided into two by one diagonal line to form two triangular primitives. In FIG. 8B, the quadrilateral primitive is divided into four triangular primitives with the intersection of two diagonal lines as an auxiliary point P and the auxiliary point P as a vertex.
いずれの方法でも三角形プリミティブに対してレンダリング処理は実行できるものの、結果に相違が生じる。図９は、レンダリング処理の結果の比較図である。図９（ａ）は、図８（ａ）の三角形プリミティブに対して、図９（ｂ）は、図８（ｂ）の三角形プリミティブに対して、それぞれレンダリング処理を実行した結果を模式的に示した説明図である。 Although either method can perform the rendering process on the triangle primitive, the result is different. FIG. 9 is a comparison diagram of the results of the rendering process. FIG. 9A schematically shows the result of executing rendering processing for the triangle primitive of FIG. 8A, and FIG. 9B schematically shows the result of rendering processing for the triangle primitive of FIG. 8B. FIG.
図９（ａ）と図９（ｂ）とを比較すればわかるように、図９（ａ）では、テクスチャに明確な折り目が生じ、全体として変形後のテクスチャに違和感が生じている。それに対して、図９（ｂ）では、テクスチャに折り目が生じにくく、全体として変形後のテクスチャに違和感が生じにくい。したがって、変形後のヘアスタイルが、より自然な形状になることがわかる。 As can be seen by comparing FIG. 9 (a) and FIG. 9 (b), in FIG. 9 (a), a clear crease occurs in the texture, and the deformed texture as a whole has a sense of incongruity. On the other hand, in FIG. 9B, folds are unlikely to occur in the texture, and the texture after deformation is less likely to be uncomfortable. Therefore, it turns out that the hairstyle after a deformation | transformation becomes a more natural shape.
簡単な例で、テクスチャマッピング結果の違いを説明する。図１０は、２つの三角形プリミティブに対するレンダリング処理の実行後の状態を示す図（図８（ａ）に対応）である。図１０（ａ）と図１０（ｂ）とでは、四角形プリミティブの２本の対角線のそれぞれで分割した三角形プリミティブに対するレンダリング処理の実行後の違いがわかる。 A simple example will explain the difference in the texture mapping results. FIG. 10 is a diagram (corresponding to FIG. 8A) showing a state after execution of rendering processing for two triangle primitives. FIG. 10A and FIG. 10B show the difference after executing the rendering process for the triangle primitive divided by each of the two diagonal lines of the quadrilateral primitive.
すなわち、図１０（ａ）では、四角形プリミティブの右上から左下への対角線で２つの三角形プリミティブに分割されており、対角線の方向が、ノードＮ１からノードＮ２への移動方向（図７参照）とは交差する方向になっている。この場合、三角形変形によるアフィン変換後のテクスチャの曲がり方は比較的大きくなり（テクスチャ位置Ｔ３、Ｔ４参照）、テクスチャに急峻な折り目が生じている。 That is, in FIG. 10A, the quadrilateral primitive is divided into two triangular primitives by a diagonal line from the upper right to the lower left, and the direction of the diagonal line is the moving direction from the node N1 to the node N2 (see FIG. 7). The direction is crossing. In this case, the way of bending the texture after the affine transformation due to the triangular deformation becomes relatively large (see texture positions T3 and T4), and a steep crease is generated in the texture.
一方、図１０（ｂ）では、四角形プリミティブの左上から右下への対角線で２つの三角形プリミティブに分割されており、対角線の方向が、ノードＮ１からノードＮ２への移動方向（図７参照）と略一致する方向になっている。この場合、三角形変形によるアフィン変換後のテクスチャの曲がり方は比較的小さくなり（テクスチャ位置Ｔ５参照）、テクスチャに折り目が生じにくい。 On the other hand, in FIG. 10B, the quadrilateral primitive is divided into two triangular primitives by the diagonal line from the upper left to the lower right, and the direction of the diagonal line is the moving direction from the node N1 to the node N2 (see FIG. 7). The directions are approximately the same. In this case, the way of bending the texture after the affine transformation due to the triangular deformation becomes relatively small (refer to the texture position T5), and it is difficult for the texture to be folded.
このように２つの三角形プリミティブに分割する場合には、対角線の方向と変形する方向との相対関係によって、テクスチャに大きな折り目が生じる場合もあれば生じない場合もあるという結果になる。したがって、不自然なテクスチャが生じる可能性が残されている。 When dividing into two triangle primitives in this way, the result is that a large crease may or may not occur in the texture depending on the relative relationship between the direction of the diagonal line and the direction of deformation. Therefore, there is a possibility that an unnatural texture is generated.
それに対して、図１１は、補助点Ｐを頂点とした４つの三角形プリミティブに対するレンダリング処理の実行後の状態を示す図（図８（ｂ）に対応）である。図１１では、２つの対角線の交点を新たなノード（補助点Ｐ）として追加し、４つの三角形プリミティブに分割している。 On the other hand, FIG. 11 is a diagram (corresponding to FIG. 8B) showing a state after execution of rendering processing for four triangular primitives having the auxiliary point P as a vertex. In FIG. 11, the intersection of two diagonal lines is added as a new node (auxiliary point P) and divided into four triangle primitives.
そして、４つの三角形プリミティブに対してレンダリング処理を実行する。この場合、四角形プリミティブの分割方法が左右対称であることから、移動するノードやノードの移動方向に左右されることなく、三角形変形によるアフィン変換後のテクスチャの曲がり方は一定の範囲内に収束する（テクスチャ位置Ｔ６、Ｔ７参照）。したがって、テクスチャに急峻な折り目が生じにくく、自然な変形を行うことが可能となる。 Then, a rendering process is executed for the four triangle primitives. In this case, since the quadrilateral primitive division method is bilaterally symmetric, the bending of the texture after affine transformation by triangular deformation converges within a certain range without being influenced by the moving node or the moving direction of the node. (See texture positions T6 and T7). Therefore, a sharp crease is hardly generated in the texture, and natural deformation can be performed.
なお、四角形プリミティブあるいは三角形プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定することが好ましい。この場合、顔の部分の輪郭線上のノードについては、変形量は０（ゼロ）になる。これにより、髪の部分を顔の部分の方向に変形させた場合であっても、髪の部分が顔の部分の輪郭線を超えて変形することがなく、ヘアスタイルを自然な形状に変形することが可能となる。 Note that it is preferable to set the maximum deformation amount of the nodes constituting the quadrilateral primitive or the triangle primitive so that the smaller the distance, the smaller the distance from the outline of the face portion of each node. In this case, the deformation amount is 0 (zero) for the node on the outline of the face portion. As a result, even when the hair part is deformed in the direction of the face part, the hair part does not deform beyond the outline of the face part, and the hairstyle is transformed into a natural shape. It becomes possible.
図１２は、本発明の実施の形態に係るヘアスタイルシミュレーション装置１のＣＰＵ１１の髪画像変形処理の手順を示すフローチャートである。本実施の形態に係るヘアスタイルシミュレーション装置１のＣＰＵ１１は、ヘアスタイルをシミュレーションするユーザ自身の顔を撮像する（ステップＳ１２０１）。撮像された顔の画像データは、記憶装置１３に記憶される。 FIG. 12 is a flowchart showing the procedure of the hair image deformation process of the CPU 11 of the hairstyle simulation apparatus 1 according to the embodiment of the present invention. CPU11 of the hairstyle simulation apparatus 1 which concerns on this Embodiment images the user's own face which simulates a hairstyle (step S1201). The captured face image data is stored in the storage device 13.
ＣＰＵ１１は、記憶装置１３に記憶されているモデル画像データを読み出す（ステップＳ１２０２）。モデル画像データは、ヘアスタイルを識別するヘアスタイルＩＤに対応付けて、標準的なモデルを当該ヘアスタイルにした場合を示す画像データである。 The CPU 11 reads model image data stored in the storage device 13 (step S1202). The model image data is image data indicating a case where a standard model is used as the hairstyle in association with a hairstyle ID for identifying the hairstyle.
ＣＰＵ１１は、撮像された顔の画像データから顔の輪郭線を抽出し（ステップＳ１２０３）、読み出したモデル画像データについても顔の部分の輪郭線を抽出する（ステップＳ１２０４）。なお、モデル画像データについては、事前に顔の部分の輪郭線を抽出しておき、抽出した輪郭線に関する情報をモデル画像データと併せて記憶しておいても良い。 The CPU 11 extracts a face outline from the captured face image data (step S1203), and also extracts a face part outline from the read model image data (step S1204). In addition, about model image data, the outline of the face part may be extracted beforehand and the information regarding the extracted outline may be memorize | stored with model image data.
ＣＰＵ１１は、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データの顔の部分の輪郭線とマッチング処理して（ステップＳ１２０５）、マッチング処理後の撮像された顔の画像データの顔の部分とモデル画像データの髪の部分との合成画像を生成して、タッチディスプレイ１６に表示する（ステップＳ１２０６）。髪の部分の画像については、髪を表示するテクスチャを用いた、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示している。 The CPU 11 performs matching processing on the contour of the extracted face portion with the contour of the face portion of the model image data indicating the hairstyle (step S1205), and the face of the captured face image data after the matching processing. A composite image of the part and the hair part of the model image data is generated and displayed on the touch display 16 (step S1206). The image of the hair portion is displayed as a textured polygon represented by a node / link structure using quadrilateral primitives using a texture for displaying hair.
ＣＰＵ１１は、ユーザにより受け付けた所定の操作を検出する（ステップＳ１２０７）。具体的には、タッチディスプレイ１６上で、スワイプ操作等を検知することにより、一定の範囲内の四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを変形させる。 The CPU 11 detects a predetermined operation received by the user (step S1207). Specifically, by detecting a swipe operation or the like on the touch display 16, the textured polygon expressed by the node / link structure using the quadrilateral primitives within a certain range is deformed.
検出する所定の操作としては、スワイプ操作による変更領域、移動方向及び移動量を検出する。変更領域は、指の接触を検出した画素群の中心からの一定範囲内の領域を変更領域として検出する。画素群の数に応じて、段階的に変更領域を拡大・縮小させても良い。移動方向は、スワイプしている間の指の移動方向として、移動量は、スワイプしている間の指の移動量として検出する。 As the predetermined operation to be detected, a change area, a moving direction, and a moving amount by a swipe operation are detected. The change area detects an area within a certain range from the center of the pixel group that detected the finger contact as the change area. Depending on the number of pixel groups, the change area may be enlarged or reduced in stages. The moving direction is detected as the moving direction of the finger while swiping, and the moving amount is detected as the moving amount of the finger while swiping.
ＣＰＵ１１は、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向及び変形量を算出する（ステップＳ１２０８）。具体的には、四角形プリミティブに対して、レンダリング処理を実行することによりポリゴンの変形を算出して、付随するテクスチャを変形させる。ＣＰＵ１１は、算出した変形方向及び変形量に基づいて合成画像を更新して、タッチディスプレイ１６に表示する（ステップＳ１２０９）。 The CPU 11 calculates the deformation direction and the deformation amount of the textured polygon represented by the node / link structure by the quadrilateral primitive for the detected change area based on the detected movement direction and movement amount (step S1208). . Specifically, the polygonal deformation is calculated by executing rendering processing on the quadrilateral primitive, and the accompanying texture is deformed. The CPU 11 updates the composite image based on the calculated deformation direction and deformation amount, and displays it on the touch display 16 (step S1209).
以上のように本実施の形態によれば、モデル画像データの髪の部分の一部だけを不自然さのない形状に変形させることができるので、調整する必要がない部分については現状を維持したまま、気になる部分だけをシミュレーションすることができ、ユーザの所望の形状にヘアスタイルを調整することが可能となる。 As described above, according to the present embodiment, since only a part of the hair portion of the model image data can be transformed into a shape without unnaturalness, the current state is maintained for the portion that does not need to be adjusted. As it is, only the part to be worried about can be simulated, and the hairstyle can be adjusted to the shape desired by the user.
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば、変更領域の検出方法は特に限定されるものではなく、例えば複数の指の接触を検知して、接触領域を両方含む領域を変更領域として算出しても良い。 The present invention is not limited to the above-described embodiments, and various changes and improvements can be made within the scope of the present invention. For example, the change area detection method is not particularly limited, and for example, a touch of a plurality of fingers may be detected, and an area including both contact areas may be calculated as the change area.
１ ヘアスタイルシミュレーション装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１７ 撮像手段
１００ コンピュータプログラム
Ｐ 補助点1 Hairstyle simulation device 11 CPU
12 memory 13 storage device 17 imaging means 100 computer program P auxiliary point
上記目的を達成するために第１発明に係るヘアスタイルシミュレーション装置は、ユーザによる指定を受け付けたヘアスタイルを示すモデル画像の一部だけを変形することが可能なヘアスタイルシミュレーション装置において、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を抽出する輪郭抽出手段と、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する合成画像表示手段とを有し、前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する操作検出手段と、検出された所定の操作に応じて、前記髪の部分の形状を変形させる画像変形手段とを備え、前記操作検出手段は、前記所定の操作として変更領域、移動方向及び移動量を検出し、前記画像変形手段は、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する変形算出手段を備え、前記変形算出手段は、四角形プリミティブの内部に補助点を設け、該補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させることを特徴とする。 In order to achieve the above object, a hairstyle simulation apparatus according to the first aspect of the present invention is a hairstyle simulation apparatus capable of deforming only a part of a model image indicating a hairstyle that has been designated by the user. Image capturing means for capturing a face, contour extracting means for extracting a contour line of a face portion from the captured face image data, and extracting the contour line of the extracted face portion from model image data indicating a hairstyle Matching means that performs matching processing with the contour line of the face part, and by combining the contour line, the face part of the captured face image data and the hair part of the model image data are superimposed to generate a composite image And a composite image display means for displaying on the touch display, and the hair portion of the model image data is a rectangular primitive. An operation detecting means for detecting a predetermined operation on a part of the hair portion of the synthesized image displayed as a textured polygon expressed by a node-link structure by Image deformation means for deforming the shape of the hair portion according to the predetermined operation performed, and the operation detection means detects a change area, a movement direction and a movement amount as the predetermined operation, and the image The deformation means calculates the deformation direction and the deformation amount of the textured polygon represented by the node / link structure by the quadrilateral primitive based on the detected movement direction and movement amount for the detected change area. The deformation calculating means includes an auxiliary point inside a quadrilateral primitive, and four triangular primitives having the auxiliary point as a vertex. Polygons textured expressed in node-link structure by I Bed, characterized thereby progressively deformed while interlocked with each other.
また、第２発明に係るヘアスタイルシミュレーション装置は、第１発明において、前記操作検出手段は、前記タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出することが好ましい。 Further, hairstyle simulation apparatus according to the second invention, have you the first invention, the operation detecting means to detect a predetermined range from the coordinate position of the synthetic image displayed on the touch display as a change region Is preferred.
また、第３発明に係るヘアスタイルシミュレーション装置は、第１又は第２発明において、前記変形算出手段は、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定することが好ましい。 In the hairstyle simulation apparatus according to a third aspect of the present invention, in the first or second aspect , the deformation calculation means calculates a maximum deformation amount of a node constituting each primitive from an outline of a face portion of each node. Depending on the distance, it is preferable to set the distance to be smaller as the distance is shorter.
次に、上記目的を達成するために第４発明に係るヘアスタイルシミュレーション方法は、ユーザによる指定を受け付けたヘアスタイルを示すモデル画像の一部だけを変形することが可能なコンピュータで実行することが可能なヘアスタイルシミュレーション方法において、前記コンピュータは、ユーザ自身の顔を撮像する工程と、撮像された顔の画像データから顔の部分の輪郭線を抽出する工程と、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理する工程と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する工程とを含み、前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する工程と、検出された所定の操作に応じて、前記髪の部分の形状を変形させる工程とを含み、前記所定の操作を検出する工程において、前記所定の操作として変更領域、移動方向及び移動量を検出し、前記髪の部分の形状を変形させる工程において、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出し、前記ポリゴンの変形方法と変形量を算出する工程において、四角形プリミティブの内部に補助点を設け、該補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させることを特徴とする。 Next, in order to achieve the above object, the hairstyle simulation method according to the fourth invention may be executed by a computer capable of deforming only a part of a model image indicating a hairstyle that has been designated by the user. In the possible hairstyle simulation method, the computer captures the face of the user, extracts the facial contour from the captured facial image data, and the extracted facial contour. Are matched with the outline of the face portion extracted from the model image data indicating the hairstyle, and the face portion of the image data of the face imaged by matching the outline and the hair of the model image data And generating a composite image by superimposing the image data on a touch display, and displaying the composite image on a touch display. The part is displayed as a textured polygon represented by a node-link structure using a quadrilateral primitive, and a step of detecting a predetermined operation on a part of the hair part of the composite image displayed on the touch display When, in response to the detected predetermined operation, viewing including the step of deforming the shape of the portion of the hair, in the step of detecting the predetermined operation, change area as the predetermined operation, the movement direction and the movement amount In the process of detecting the shape of the hair and deforming the shape of the hair portion, the textured polygon expressed by the node-link structure by the quadrilateral primitive based on the detected moving direction and moving amount for the detected change area In the step of calculating the deformation direction and the deformation amount of the polygon and calculating the deformation method and the deformation amount of the polygon, The auxiliary point is provided inside the I Bed, polygons textured expressed in node-link structure by four triangles primitives an apex the auxiliary points, characterized thereby progressively deformed while interlocked with each other.
また、第５発明に係るヘアスタイルシミュレーション方法は、第４発明において、前記コンピュータは、前記タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出することが好ましい。 In the hairstyle simulation method according to a fifth aspect of the present invention, in the fourth aspect , the computer preferably detects a predetermined range as a change area from the coordinate position of the composite image displayed on the touch display.
また、第６発明に係るヘアスタイルシミュレーション方法は、第４又は第５発明において、前記コンピュータは、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定することが好ましい。 In the hairstyle simulation method according to a sixth aspect of the present invention, in the fourth or fifth aspect , the computer sets the maximum deformation amount of the nodes constituting each primitive to a distance from the contour line of the face portion of each node. Accordingly, it is preferable to set the distance to be smaller as the distance is shorter.
次に、上記目的を達成するために第７発明に係るコンピュータプログラムは、ユーザによる指定を受け付けたヘアスタイルを示すモデル画像の一部だけを変形することが可能なコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、ユーザ自身の顔を撮像する撮像手段、撮像された顔の画像データから顔の部分の輪郭線を抽出する輪郭抽出手段、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段、及び輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する合成画像表示手段として機能させ、前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、前記コンピュータを、前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する操作検出手段、及び検出された所定の操作に応じて、前記髪の部分の形状を変形させる画像変形手段として機能させ、前記操作検出手段を、前記所定の操作として変更領域、移動方向及び移動量を検出する手段として機能させ、前記画像変形手段を、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する変形算出手段として機能させ、前記変形算出手段を、四角形プリミティブの内部に補助点を設け、該補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させる手段として機能させることを特徴とする。 Next, in order to achieve the above object, the computer program according to the seventh aspect of the invention can be executed by a computer capable of transforming only a part of a model image showing a hairstyle accepted by the user. In the computer program, the computer includes imaging means for imaging the user's own face, contour extracting means for extracting the contour of the face portion from the image data of the captured face, Matching means for matching processing with the contour line of the face portion extracted from the model image data indicating the style, and the face portion of the image data of the captured face by matching the contour line, and the hair portion of the model image data To generate a composite image and function as a composite image display means for displaying on the touch display. The hair portion of the image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives, and the computer is used to display the hair portion of the composite image displayed on the touch display. An operation detecting means for detecting a predetermined operation on a part, and an image deforming means for deforming the shape of the hair part in accordance with the detected predetermined operation, wherein the operation detecting means is used for the predetermined operation. Function as a means for detecting a change area, a movement direction and a movement amount, and the image transformation means has a node-link structure with a quadrilateral primitive for the detected change area based on the detected movement direction and movement amount. It functions as a deformation calculation means for calculating the deformation direction and deformation amount of the represented polygon with texture. Means for providing said deformation calculating means by providing auxiliary points inside quadrilateral primitives and gradually deforming textured polygons expressed in a node-link structure with four triangular primitives having the auxiliary points as vertices while interlocking with each other to function as characterized Rukoto.
また、第８発明に係るコンピュータプログラムは、第７発明において、前記操作検出手段を、前記タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出する手段として機能させることが好ましい。 According to an eighth aspect of the present invention, in the seventh aspect , the computer program causes the operation detection unit to function as a unit that detects a predetermined range as a change area from the coordinate position of the composite image displayed on the touch display. Is preferred.
また、第９発明に係るコンピュータプログラムは、第７又は第８発明において、前記変形算出手段を、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定する手段として機能させることが好ましい。 The computer program according to a ninth aspect is the computer program according to the seventh or eighth aspect , wherein the deformation calculation means sets the maximum deformation amount of a node constituting each primitive to a distance from a contour line of a face portion of each node. Accordingly, it is preferable to function as a means for setting the distance to be smaller as the distance is shorter.
第１発明、第４発明及び第７発明では、ユーザ自身の顔を撮像し、撮像された顔の画像データから顔の部分の輪郭線を抽出して、抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理する。輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する。モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、タッチディスプレイに表示されている合成画像の髪の部分の一部に対する所定の操作を検出して、検出された所定の操作に応じて、髪の部分の形状を変形させる。これにより、モデル画像データの髪の部分の一部だけを不自然さのない形状に変形させることができるので、調整する必要がない部分については現状を維持したまま、気になる部分だけをシミュレーションすることができ、ユーザの所望の形状にヘアスタイルを調整することが可能となる。
また、所定の操作として変更領域、移動方向及び移動量を検出し、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出するので、合成画像の髪の部分をどの方向にどの程度変形させるのかを検出することができ、変形が不要な領域にまで大きな変形を生じないようにすることが可能となる。
さらに、四角形プリミティブの内部に補助点を設け、補助点を頂点とした４つの三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを、互いに連動させながら漸次変形させるので、いわゆる三角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンを変形した場合のように、変形後のテクスチャに屈曲部が生じることがなく、テクスチャの表示に不自然な部分が生じないので、自然な表示のままで変形させることが可能となる。
In the first invention, the fourth invention, and the seventh invention, the user's own face is imaged, the face part contour line is extracted from the captured face image data, and the extracted face part contour line is extracted. Matching processing is performed with the outline of the face portion extracted from the model image data indicating the hairstyle. By combining the contour lines, the face portion of the captured face image data and the hair portion of the model image data are superimposed to generate a composite image, which is displayed on the touch display. The hair part of the model image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives, and a predetermined operation on a part of the hair part of the composite image displayed on the touch display And the shape of the hair portion is deformed in accordance with the detected predetermined operation. As a result, only a part of the hair of the model image data can be transformed into a shape with no unnaturalness, so only the part of interest is simulated while maintaining the current state of the part that does not need to be adjusted. And the hairstyle can be adjusted to the user's desired shape.
In addition, a change area, a movement direction, and a movement amount are detected as a predetermined operation, and the detected change area is added with a texture expressed by a node-link structure by a quadrilateral primitive based on the detected movement direction and movement amount. Since the deformation direction and deformation amount of the polygon are calculated, it is possible to detect how much the hair portion of the composite image is deformed in which direction, and prevent a large deformation from occurring in an area that does not require deformation. It becomes possible.
Furthermore, an auxiliary point is provided inside the quadrilateral primitive, and textured polygons expressed by a node / link structure with four triangular primitives having the auxiliary point as a vertex are gradually deformed while interlocking with each other. Unlike the case where a textured polygon represented by a node / link structure is deformed, there is no bending in the deformed texture, and there is no unnatural part in the texture display. It can be deformed as it is.
第２発明、第５発明及び第８発明では、タッチディスプレイに表示されている合成画像の座標位置から所定の範囲を変更領域として検出する。これにより、タッチディスプレイ上での合成画像の髪の部分の変更領域を容易に把握することができ、変形が不要な領域にまで大きな変形を生じないようにすることが可能となる。 In the second invention, the fifth invention, and the eighth invention, a predetermined range is detected as a change area from the coordinate position of the composite image displayed on the touch display. Thereby, it is possible to easily grasp the change area of the hair portion of the composite image on the touch display, and it is possible to prevent a large deformation from occurring even in an area where the deformation is unnecessary.
第３発明、第６発明及び第９発明では、各プリミティブを構成するノードの最大変形量を、各ノードの顔の部分の輪郭線からの距離に応じて、距離が短いほど小さくなるように設定する。これにより、髪の部分を顔の部分の方向に変形させた場合であっても、髪の部分が顔の部分の輪郭線を超えて変形することがなく、ヘアスタイルを自然な形状に変形することが可能となる。 In the third invention, the sixth invention, and the ninth invention, the maximum deformation amount of the nodes constituting each primitive is set so that the smaller the distance is, the smaller the distance is from the contour line of the face portion of each node. To do. As a result, even when the hair part is deformed in the direction of the face part, the hair part does not deform beyond the outline of the face part, and the hairstyle is transformed into a natural shape. It becomes possible.
Claims (15)
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を抽出する輪郭抽出手段と、
抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する合成画像表示手段と
を有し、
前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、
前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する操作検出手段と、
検出された所定の操作に応じて、前記髪の部分の形状を変形させる画像変形手段と
を備えることを特徴とするヘアスタイルシミュレーション装置。In a hairstyle simulation apparatus capable of deforming only a part of a model image indicating a hairstyle accepted by a user,
Imaging means for imaging the user's own face;
Contour extracting means for extracting the contour of the face portion from the image data of the captured face;
Matching means for performing matching processing on the contour of the extracted facial part with the contour of the facial part extracted from the model image data indicating the hairstyle,
By combining the contour lines, the face portion of the captured face image data and the hair portion of the model image data are superimposed to generate a composite image, and a composite image display means for displaying on the touch display Have
The hair portion of the model image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives,
Operation detecting means for detecting a predetermined operation on a part of the hair portion of the composite image displayed on the touch display;
A hairstyle simulation apparatus comprising: image deformation means for deforming a shape of the hair portion in accordance with a detected predetermined operation.
前記画像変形手段は、
検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する変形算出手段
を備えることを特徴とする請求項１に記載のヘアスタイルシミュレーション装置。The operation detecting means detects a change area, a moving direction and a moving amount as the predetermined operation,
The image transformation means includes
A deformation calculating means for calculating the deformation direction and the deformation amount of the textured polygon represented by the node / link structure by the quadrilateral primitive for the detected change area based on the detected movement direction and movement amount. The hairstyle simulation apparatus according to claim 1, wherein the hairstyle simulation apparatus is a hairstyle simulation apparatus.
前記コンピュータは、
ユーザ自身の顔を撮像する工程と、
撮像された顔の画像データから顔の部分の輪郭線を抽出する工程と、
抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理する工程と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する工程と
を含み、
前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、
前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する工程と、
検出された所定の操作に応じて、前記髪の部分の形状を変形させる工程と
を含むことを特徴とするヘアスタイルシミュレーション方法。In a hairstyle simulation method that can be executed by a computer capable of transforming only a part of a model image indicating a hairstyle accepted by a user,
The computer
Imaging the user's own face;
Extracting a contour line of the face portion from the image data of the captured face;
A process of matching the contour line of the extracted face part with the contour line of the face part extracted from the model image data indicating the hairstyle,
Including the step of superimposing the face portion of the image data of the imaged face and the hair portion of the model image data by matching the contour line to generate a composite image and displaying it on the touch display,
The hair portion of the model image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives,
Detecting a predetermined operation on a part of the hair portion of the composite image displayed on the touch display;
And a step of deforming the shape of the hair portion in accordance with the detected predetermined operation.
前記コンピュータは、
検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する工程を含むことを特徴とする請求項６に記載のヘアスタイルシミュレーション方法。The computer detects a change area, a movement direction, and a movement amount as the predetermined operation,
The computer
Including a step of calculating a deformation direction and a deformation amount of a textured polygon represented by a node / link structure using a quadrilateral primitive for the detected change area based on the detected movement direction and movement amount. The hairstyle simulation method according to claim 6.
前記コンピュータを、
ユーザ自身の顔を撮像する撮像手段、
撮像された顔の画像データから顔の部分の輪郭線を抽出する輪郭抽出手段、
抽出した顔の部分の輪郭線を、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段、及び
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて合成画像を生成して、タッチディスプレイに表示する合成画像表示手段
として機能させ、
前記モデル画像データの髪の部分は、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンとして表示されており、
前記コンピュータを、
前記タッチディスプレイに表示されている合成画像の前記髪の部分の一部に対する所定の操作を検出する操作検出手段、及び
検出された所定の操作に応じて、前記髪の部分の形状を変形させる画像変形手段
として機能させることを特徴とするコンピュータプログラム。In a computer program that can be executed by a computer capable of transforming only a part of a model image indicating a hairstyle that has been designated by a user,
The computer,
Imaging means for imaging the user's own face;
Contour extracting means for extracting the contour of the face portion from the image data of the captured face;
Matching means for matching the contour of the extracted facial part with the contour of the facial part extracted from the model image data indicating the hairstyle, and the face of the image data of the captured face by matching the contour And a portion of the hair of the model image data are superimposed to generate a composite image and function as a composite image display means for displaying on the touch display,
The hair portion of the model image data is displayed as a textured polygon represented by a node-link structure with quadrilateral primitives,
The computer,
Operation detecting means for detecting a predetermined operation on a part of the hair portion of the composite image displayed on the touch display, and an image for deforming the shape of the hair portion in accordance with the detected predetermined operation A computer program that functions as a deformation means.
前記画像変形手段を、検出された変更領域について、検出された移動方向及び移動量に基づいて、四角形プリミティブによるノード・リンク構造で表現されたテクスチャ付きのポリゴンの変形方向と変形量を算出する変形算出手段として機能させることを特徴とする請求項１１に記載のコンピュータプログラム。The operation detection means functions as a means for detecting a change area, a movement direction, and a movement amount as the predetermined operation,
Deformation for calculating a deformation direction and a deformation amount of a textured polygon represented by a node-link structure by a quadrilateral primitive based on the detected movement direction and movement amount for the detected change area The computer program according to claim 11, wherein the computer program is caused to function as calculation means.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016216952 | 2016-11-07 | ||
| JP2016216952 | 2016-11-07 | ||
| PCT/JP2017/039733 WO2018084241A1 (en) | 2016-11-07 | 2017-11-02 | Hair style simulation device, hair style simulation method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018084241A1 true JPWO2018084241A1 (en) | 2019-09-26 |
| JP6697573B2 JP6697573B2 (en) | 2020-05-20 |
Family
ID=62076884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018549075A Expired - Fee Related JP6697573B2 (en) | 2016-11-07 | 2017-11-02 | Hairstyle simulation device, hairstyle simulation method, and computer program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6697573B2 (en) |
| WO (1) | WO2018084241A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899159B (en) * | 2020-07-31 | 2023-12-22 | 北京百度网讯科技有限公司 | Method, device, apparatus and storage medium for changing hairstyle |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08131252A (en) * | 1994-11-10 | 1996-05-28 | Internatl Business Mach Corp <Ibm> | Hair picture adaptation method and computer system |
| JP2007252617A (en) * | 2006-03-23 | 2007-10-04 | Kao Corp | Method for forming hairstyle simulation image |
| JP2013178789A (en) * | 2013-04-01 | 2013-09-09 | Kao Corp | Beauty simulation system |
| JP2014090885A (en) * | 2012-11-02 | 2014-05-19 | Shiseido Co Ltd | Hair simulation device, hair simulation method, and hair simulation program |
| US20140306982A1 (en) * | 2011-10-18 | 2014-10-16 | Spinnove | Method for simulating hair having variable colorimetry and device for implementing said method |
-
2017
- 2017-11-02 WO PCT/JP2017/039733 patent/WO2018084241A1/en active Application Filing
- 2017-11-02 JP JP2018549075A patent/JP6697573B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08131252A (en) * | 1994-11-10 | 1996-05-28 | Internatl Business Mach Corp <Ibm> | Hair picture adaptation method and computer system |
| JP2007252617A (en) * | 2006-03-23 | 2007-10-04 | Kao Corp | Method for forming hairstyle simulation image |
| US20140306982A1 (en) * | 2011-10-18 | 2014-10-16 | Spinnove | Method for simulating hair having variable colorimetry and device for implementing said method |
| JP2014090885A (en) * | 2012-11-02 | 2014-05-19 | Shiseido Co Ltd | Hair simulation device, hair simulation method, and hair simulation program |
| JP2013178789A (en) * | 2013-04-01 | 2013-09-09 | Kao Corp | Beauty simulation system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6697573B2 (en) | 2020-05-20 |
| WO2018084241A1 (en) | 2018-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4473754B2 (en) | Virtual fitting device | |
| JP4680796B2 (en) | Image base protrusion displacement mapping method and double displacement mapping method using the method | |
| US20140168217A1 (en) | Method of fitting virtual item using human body model and system for providing fitting service of virtual item | |
| JP5709440B2 (en) | Information processing apparatus and information processing method | |
| EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
| WO2020024569A1 (en) | Method and device for dynamically generating three-dimensional face model, and electronic device | |
| CN107452049B (en) | Three-dimensional head modeling method and device | |
| JPWO2006057267A1 (en) | Face image synthesis method and face image synthesis apparatus | |
| JP2011070605A (en) | Three-dimensional object processing device, three-dimensional object processing method, program, and information storage medium | |
| JP6697573B2 (en) | Hairstyle simulation device, hairstyle simulation method, and computer program | |
| JP6852224B2 (en) | Sphere light field rendering method in all viewing angles | |
| JP4541537B2 (en) | Drawing device | |
| US20170161918A1 (en) | Recording medium, information processing apparatus, and depth definition method | |
| CN111768476A (en) | Expression animation redirection method and system based on grid deformation | |
| JP2015114949A (en) | Image processor, image processing method, program for image processor, and recording medium | |
| JP7031047B1 (en) | Image processing methods, computer programs and image processing equipment | |
| JP3642923B2 (en) | Video generation processing apparatus and structured data creation apparatus for creating structured data used in the apparatus | |
| US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
| JP2007219878A (en) | Image layout device, method, and program | |
| JP6371547B2 (en) | Image processing apparatus, method, and program | |
| JP7031048B1 (en) | Image processing methods, computer programs and image processing equipment | |
| JP2005122558A (en) | Device, method and program for image display and computer readable recording medium with image display program thereon | |
| WO2019044333A1 (en) | Simulation device, simulation method, and computer program | |
| JPH07200876A (en) | Three-dimensional image generating method | |
| US11508083B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190423 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200414 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200424 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6697573 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |