WO2021256319A1 - Information processing device, information processing method, and recording medium - Google Patents

Information processing device, information processing method, and recording medium Download PDF

Info

Publication number
WO2021256319A1
WO2021256319A1 PCT/JP2021/021615 JP2021021615W WO2021256319A1 WO 2021256319 A1 WO2021256319 A1 WO 2021256319A1 JP 2021021615 W JP2021021615 W JP 2021021615W WO 2021256319 A1 WO2021256319 A1 WO 2021256319A1
Authority
WO
WIPO (PCT)
Prior art keywords
hair
image
model data
silhouette
information processing
Prior art date
Application number
PCT/JP2021/021615
Other languages
French (fr)
Japanese (ja)
Inventor
泰成 池田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021256319A1 publication Critical patent/WO2021256319A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

An information processing device (10) is provided with: a deletion unit (124b) that deletes, in 3D face model data, a range having a predetermined offset amount from the side corresponding to a 2D image including the face of a subject in a direction corresponding to the photographing direction of the 2D image; and a hair search unit (125) that determines whether a part of the 3D face model data that is the remaining part of the 3D face model data in which the range has been deleted by the deletion unit (124b) corresponds to the hairstyle of the subject included in the 2D image, wherein, when it is determined that the part corresponds to the hairstyle, the hair search unit (125) selects a 3D hair associated with the 3D face model data from a 3D hair database (111) (corresponding to an example of a "database").

Description

情報処理装置、情報処理方法および記録媒体Information processing equipment, information processing methods and recording media
　本開示は、情報処理装置、情報処理方法および記録媒体に関する。 This disclosure relates to an information processing device, an information processing method, and a recording medium.
　データベースから被写体の髪型と類似した髪型を複数選出し、これらを組み合わせることで「３Ｄ（three　dimensions）頭髪」を生成する技術が知られている。３Ｄ頭髪は、例えば、仮想空間における点を連続的に接続した線分の集合で定義された、頭髪を表す３Ｄオブジェクトとして表される。 A technique for generating "3D (three dimensions) hair" by selecting a plurality of hairstyles similar to the hairstyle of the subject from a database and combining them is known. The 3D hair is represented, for example, as a 3D object representing the hair, defined by a set of line segments that continuously connect points in virtual space.
　非特許文献１に開示された技術では、まず３Ｄ頭髪を作りたい被写体の２Ｄ（two　dimensions）画像をシステムへ入力し、かかる２Ｄ画像に対し、被写体の頭髪の流れを表すストロークの入力を受け付ける。 In the technique disclosed in Non-Patent Document 1, a 2D (two dimensions) image of a subject for which 3D hair is desired is first input to the system, and a stroke representing the flow of the subject's hair is accepted for the 2D image.
　そして、システムは、ストロークが入力されたならば、予め複数の３Ｄ頭髪が登録されたデータベースから、入力されたストロークに類似した形状の「３Ｄ髪の毛」を含む３Ｄ頭髪を選出する。なお、３Ｄ髪の毛は、３Ｄ頭髪を構成する一本一本の髪の毛に相当するデータであり、システムは、かかる３Ｄ髪の毛をストロークが入力された２Ｄ画像平面へ投影し、３Ｄ髪の毛およびストロークをそれぞれ構成する頂点の距離を比較することで類似性を判定する。 Then, when a stroke is input, the system selects 3D hair including "3D hair" having a shape similar to the input stroke from a database in which a plurality of 3D hairs are registered in advance. The 3D hair is data corresponding to each hair constituting the 3D hair, and the system projects the 3D hair onto the 2D image plane to which the stroke is input, and constitutes the 3D hair and the stroke, respectively. Similarity is determined by comparing the distances of the vertices.
　しかしながら、上述した従来技術を用いた場合、ストロークとの類似性の比較対象は一本一本の髪の毛に相当する３Ｄ髪の毛であるため、頭髪全体の形状の類似性を考慮できないという問題点がある。また、被写体の撮影方向からは不可視な部分の３Ｄ髪の毛も比較対象となるという問題点もある。 However, when the above-mentioned conventional technique is used, there is a problem that the similarity of the shape of the entire hair cannot be taken into consideration because the comparison target of the similarity with the stroke is the 3D hair corresponding to each hair. .. There is also a problem that 3D hair in a portion invisible from the shooting direction of the subject is also a comparison target.
　そこで、本開示では、３Ｄ頭髪の選出処理の精度を向上させて、最終的に生成される３Ｄ頭髪の品質向上を実現可能な情報処理装置、情報処理方法および記録媒体を提案する。 Therefore, in the present disclosure, we propose an information processing device, an information processing method, and a recording medium capable of improving the accuracy of the selection process of 3D hair and improving the quality of the finally generated 3D hair.
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から前記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除する削除部と、前記削除部によって前記範囲が削除された前記３Ｄ顔モデルデータの残りの部分である前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、前記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪をデータベースから選出する頭髪検索部と、を備える。 In order to solve the above problems, the information processing apparatus according to the present disclosure has the 3D face model data in the direction corresponding to the shooting direction of the 2D image from the side corresponding to the 2D image including the face of the subject. The 2D image includes a deletion unit that deletes a range having a predetermined offset amount, and a part of the 3D face model data that is the remaining part of the 3D face model data whose range is deleted by the deletion unit. It is provided with a hair search unit that determines whether or not it corresponds to the hairstyle of the subject, and if it is determined that it corresponds, selects the 3D hair associated with the 3D face model data from the database.
本開示の実施形態に係る情報処理方法の概要説明図である。It is a schematic explanatory diagram of the information processing method which concerns on embodiment of this disclosure. 本開示の実施形態の比較例に係る情報処理装置の概略ブロック図である。It is a schematic block diagram of the information processing apparatus which concerns on the comparative example of embodiment of this disclosure. 本開示の実施形態の比較例に係る情報処理装置の処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure of the information processing apparatus which concerns on the comparative example of embodiment of this disclosure. 本開示の実施形態に係る情報処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the information processing apparatus which concerns on embodiment of this disclosure. ストロークの説明図（その１）である。It is explanatory drawing (the 1) of a stroke. ストロークの説明図（その２）である。It is explanatory drawing (2) of a stroke. シルエット画像ＭＨの一例を示す図である。It is a figure which shows an example of a silhouette image MH. ３Ｄ顔モデルデータの一例を示す図である。It is a figure which shows an example of 3D face model data. シルエット画像ＭＳの一例を示す図である。Is a diagram illustrating an example of a silhouette image M S. 切り出し部が実行する切り出し処理の説明図（その１）である。It is explanatory drawing (the 1) of the cut-out process which a cut-out part performs. 切り出し部が実行する切り出し処理の説明図（その２）である。It is explanatory drawing (the 2) of the cutting process executed by a cutting part. 切り出し部が実行する切り出し処理の説明図（その３）である。It is explanatory drawing (the 3) of the cut-out process which a cut-out part performs. 算出部が実行する算出処理の説明図である。It is explanatory drawing of the calculation process executed by the calculation unit. 深度画像の一例を示す図である。It is a figure which shows an example of a depth image. 削除部が実行する削除処理の説明図（その１）である。It is explanatory drawing (the 1) of the deletion process executed by the deletion part. 削除部が実行する削除処理の説明図（その２）である。It is explanatory drawing (the 2) of the deletion process executed by the deletion part. 削除部が実行する削除処理の説明図（その３）である。It is explanatory drawing (the 3) of the deletion process executed by the deletion part. 削除部が実行する削除処理の説明図（その４）である。It is explanatory drawing (the 4) of the deletion process executed by the deletion part. 削除部が実行する削除処理の説明図（その５）である。FIG. 5 is an explanatory diagram (No. 5) of the deletion process executed by the deletion unit. 出力部への出力例を示す図である。It is a figure which shows the output example to an output part. 本開示の実施形態に係る情報処理装置の処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure of the information processing apparatus which concerns on embodiment of this disclosure. 第３の変形例の説明図である。It is explanatory drawing of the 3rd modification. 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。It is a hardware block diagram which shows an example of the computer which realizes the function of an information processing apparatus.
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings. In each of the following embodiments, the same parts are designated by the same reference numerals, so that overlapping description will be omitted.
　また、以下に示す項目順序に従って本開示を説明する。
　　１．概要
　　　１－１．本実施形態の比較例の概要
　　　１－２．本実施形態の比較例における問題点
　　　１－３．本実施形態の概要
　　２．情報処理装置の構成
　　３．情報処理装置の処理手順
　　４．変形例
　　　４－１．第１の変形例
　　　４－２．第２の変形例
　　　４－３．第３の変形例
　　　４－４．その他の変形例
　　５．ハードウェア構成
　　６．むすび In addition, the present disclosure will be described according to the order of items shown below.
1. 1. Overview 1-1. Outline of comparative example of this embodiment 1-2. Problems in the comparative example of this embodiment 1-3. Outline of this embodiment 2. Configuration of information processing device 3. Information processing device processing procedure 4. Modification example 4-1. First modification 4-2. Second modification 4-3. Third variant example 4-4. Other modifications 5. Hardware configuration 6. Conclusion
＜＜１．概要＞＞
　図１は、本開示の実施形態に係る情報処理方法の概要説明図である。また、図２は、本開示の実施形態の比較例に係る情報処理装置の概略ブロック図である。また、図３は、本開示の実施形態の比較例に係る情報処理装置の処理手順を示すフローチャートである。なお、図１は、比較例および本実施形態双方の概要を示すものとなっている。 << 1. Overview >>
FIG. 1 is a schematic explanatory diagram of an information processing method according to an embodiment of the present disclosure. Further, FIG. 2 is a schematic block diagram of an information processing apparatus according to a comparative example of the embodiment of the present disclosure. Further, FIG. 3 is a flowchart showing a processing procedure of the information processing apparatus according to the comparative example of the embodiment of the present disclosure. Note that FIG. 1 shows an outline of both the comparative example and the present embodiment.
　図１に示すように、比較例および本実施形態に係る情報処理システムは、予め複数の３Ｄ頭髪が登録された３Ｄ頭髪ＤＢ（Database）１１１から被写体の髪型と類似した髪型を複数選出し、これらを組み合わせることで被写体の髪型に対応する３Ｄ頭髪を生成するシステムの一部である。 As shown in FIG. 1, the information system according to the comparative example and the present embodiment selects a plurality of hairstyles similar to the hairstyle of the subject from the 3D hair DB (Database) 111 in which a plurality of 3D hairs are registered in advance. It is a part of the system that generates 3D hair corresponding to the hairstyle of the subject by combining.
　３Ｄ頭髪ＤＢ１１１は、例えばゲームに関するオンラインコミュニティ等で共有された３Ｄ頭髪のデータを収集してその形式を統一し、かかる３Ｄ頭髪が装着された３Ｄ頭部モデルにおいて顔の向きを合わせたものが多数格納されている。 The 3D hair DB111 collects data on 3D hair shared by, for example, online communities related to games, unifies the format, and many of the 3D head models equipped with such 3D hair have their faces aligned. It is stored.
　ところで、現実の頭髪は細長い繊維の集合体であり、一本一本の髪の毛をカメラで捉えることが困難であることに加え、その大部分は他の髪の毛により遮蔽され、内部構造の推定も困難である。したがって、仮想空間における３Ｄオブジェクトとして、自動的または半自動的な生成が困難な対象として知られている。 By the way, the actual hair is an aggregate of elongated fibers, and it is difficult to capture each hair with a camera. In addition, most of the hair is shielded by other hairs, and it is difficult to estimate the internal structure. Is. Therefore, as a 3D object in virtual space, it is known as an object that is difficult to automatically or semi-automatically generate.
　このため、高品質な３ＤＣＧ（three-dimensional　computer　graphics）を使用する映画やゲームの制作過程では、専門のアーティストが手作業で３Ｄ頭髪を制作することが多い。すなわち、３Ｄ頭髪を制作する作業は高度な専門知識と技術を必要とする作業であり、誰もが簡単に行える作業ではない。 For this reason, in the process of producing movies and games that use high-quality 3DCG (three-dimensional computer graphics), specialized artists often produce 3D hair by hand. That is, the work of producing 3D hair is a work that requires a high degree of specialized knowledge and skill, and is not a work that anyone can easily perform.
　その一方で、近年、ＰＣ（Personal　Computer）やタブレットＰＣ、スマートフォン等の高性能化、ＳＮＳ（Social　Networking　Service）等の普及により、専門知識や技術を持たない一般のユーザが例えばＣＧ（computer　graphics）コンテンツを自身で制作し、発信する機会が増えてきている。 On the other hand, in recent years, due to the high performance of PCs (Personal Computers), tablet PCs, smartphones, etc., and the spread of SNS (Social Networking Service), general users who do not have specialized knowledge and skills are, for example, CG (computer graphics). Opportunities to create and disseminate content on their own are increasing.
　そこで、比較例および本実施形態では、かかる一般のユーザが、上述したＰＣやタブレットＰＣ、スマートフォン等の簡易な機材を用いて、２Ｄ画像上へ入力を行うだけで３Ｄ頭髪をつくる状況を想定する。 Therefore, in the comparative example and the present embodiment, it is assumed that such a general user creates 3D hair simply by inputting on a 2D image using the above-mentioned simple equipment such as a PC, a tablet PC, or a smartphone. ..
＜１－１．本実施形態の比較例の概要＞
　比較例の概要から説明する。図１に示すように、比較例に係る情報処理方法では、まず３Ｄ頭髪を作りたい被写体の２Ｄ画像を「入力画像」としてシステムへ入力し、かかる入力画像に対し、ユーザが被写体の頭髪の大まかな流れを表す「ストロークを入力」する。 <1-1. Outline of comparative example of this embodiment>
The outline of the comparative example will be described. As shown in FIG. 1, in the information processing method according to the comparative example, first, a 2D image of a subject for which 3D hair is desired is input to the system as an "input image", and the user roughly inputs the hair of the subject to the input image. "Enter a stroke" that represents the flow.
　そして、比較例に係る情報処理方法では、ストロークが入力されたならば、３Ｄ頭髪ＤＢ１１１から、入力されたストロークに類似した形状の３Ｄ髪の毛を含む３Ｄ頭髪を選出する「頭髪検索処理」を実行する。 Then, in the information processing method according to the comparative example, if a stroke is input, a "hair search process" for selecting 3D hair including 3D hair having a shape similar to the input stroke is executed from the 3D hair DB111. ..
　具体的には、比較例に係る情報処理方法を適用した情報処理装置は、図２に示すように、画像取得部１２１と、ストローク取得部１２２と、頭髪検索部１２５とを有する。画像取得部１２１は、カメラ（例えば、単眼ＲＧＢカメラ）によって撮影された、ユーザが３Ｄ頭髪を作りたい被写体の２Ｄ画像を入力画像として取得する。 Specifically, as shown in FIG. 2, the information processing apparatus to which the information processing method according to the comparative example is applied has an image acquisition unit 121, a stroke acquisition unit 122, and a hair search unit 125. The image acquisition unit 121 acquires a 2D image of a subject for which the user wants to make 3D hair, which is taken by a camera (for example, a monocular RGB camera), as an input image.
　ストローク取得部１２２は、画像取得部１２１によって取得された入力画像に対し、入力部（例えば、マウス）を介してユーザにより手動で描かれたストロークを取得する。ストロークは、例えば数本～１０本程度入力されるが、本数に制限はない。後段の頭髪検索処理では、ストローク取得部１２２によって取得されたストロークの本数と同数の３Ｄ頭髪の候補が３Ｄ頭髪ＤＢ１１１から選出される。 The stroke acquisition unit 122 acquires a stroke manually drawn by the user via the input unit (for example, a mouse) with respect to the input image acquired by the image acquisition unit 121. For example, several to 10 strokes are input, but the number is not limited. In the hair search process in the subsequent stage, the same number of 3D hair candidates as the number of strokes acquired by the stroke acquisition unit 122 is selected from the 3D hair DB 111.
　頭髪検索部１２５は、ストローク取得部１２２によって取得されたストロークに基づいて、ストロークごとに、３Ｄ頭髪ＤＢ１１１から類似した形状の３Ｄ髪の毛を含む３Ｄ頭髪を検索し、選出する。 The hair search unit 125 searches for and selects 3D hair including 3D hair having a similar shape from the 3D hair DB 111 for each stroke based on the stroke acquired by the stroke acquisition unit 122.
　ここで、頭髪検索部１２５は、２Ｄ画像上に描かれたストロークと３Ｄ髪の毛の形状を比較するため、３Ｄ頭髪を２Ｄ画像平面上へ投影する。ここに言う投影とは、仮想空間に配置された３Ｄ頭髪を、仮想空間に配置した仮想のカメラ（以下、適宜「仮想カメラ」と言う）から撮影したと仮定して、３Ｄ頭髪が持つすべての頂点を２Ｄ画像平面上へ移動させる処理を指す。 Here, the hair search unit 125 projects the 3D hair onto the 2D image plane in order to compare the stroke drawn on the 2D image with the shape of the 3D hair. The projection mentioned here is all the 3D hair that the 3D hair has, assuming that the 3D hair arranged in the virtual space is taken from a virtual camera (hereinafter, appropriately referred to as "virtual camera") arranged in the virtual space. Refers to the process of moving vertices onto a 2D image plane.
　かかる際、頭髪検索部１２５は、仮想カメラと３Ｄ頭髪の位置関係を、入力画像を撮影した現実空間のカメラと被写体の位置関係に対応させることで、本来は仮想空間に存在する３Ｄ頭髪と現実空間のカメラにより撮影された入力画像に対して入力されたストロークとの位置関係を、２Ｄ画像平面上で比較することが可能となる。 At this time, the hair search unit 125 makes the positional relationship between the virtual camera and the 3D hair correspond to the positional relationship between the camera in the real space where the input image was taken and the subject, so that the 3D hair and the reality originally exist in the virtual space. It is possible to compare the positional relationship between the input stroke and the input image taken by the camera in space on the 2D image plane.
　そして、頭髪検索部１２５は、２Ｄ画像平面上へ投影された３Ｄ髪の毛およびストロークにつき、これらをそれぞれ構成する頂点の距離を比較することで類似性を判定する。一般的に、コンピュータによって処理されるストロークは、かかるストロークを構成する頂点の集合を連続的に結んだものとして定義されるため、ストロークと３Ｄ髪の毛の頂点同士の２Ｄ画像平面上での距離を計算できる。 Then, the hair search unit 125 determines the similarity of the 3D hair and the stroke projected on the 2D image plane by comparing the distances of the vertices constituting each of them. Generally, a stroke processed by a computer is defined as a continuous connection of a set of vertices that make up such a stroke, so the distance between the stroke and the vertices of the 3D hair on the 2D image plane is calculated. can.
　すなわち、頭髪検索部１２５は、２Ｄ画像上に描かれたそれぞれのストロークとの距離が最も小さい投影済み３Ｄ髪の毛を検索する。かかる処理によって、ユーザが入力したストロークの本数に等しい本数の３Ｄ髪の毛が、類似した３Ｄ髪の毛として選出されることとなる。そして、頭髪検索部１２５は、選出された３Ｄ髪の毛をそれぞれ含む、ストロークの本数に等しい数の３Ｄ頭髪を選出する。 That is, the hair search unit 125 searches for the projected 3D hair having the shortest distance from each stroke drawn on the 2D image. By such a process, the number of 3D hairs equal to the number of strokes input by the user is selected as similar 3D hairs. Then, the hair search unit 125 selects a number of 3D hairs equal to the number of strokes, including each of the selected 3D hairs.
　図３に、比較例に係る情報処理装置の処理手順をより詳細に示しておく。なお、図３には、頭髪検索部１２５によるストロークＳ（ｉ）一本分の頭髪検索処理の処理手順を示している。 FIG. 3 shows in more detail the processing procedure of the information processing apparatus according to the comparative example. Note that FIG. 3 shows a processing procedure of the hair search process for one stroke S (i) by the hair search unit 125.
　ここで、ｉは、ストロークＳのインデックス番号である。ｊは、３Ｄ頭髪ＤＢ１１１に格納された３Ｄ頭髪のインデックス番号である。ｊｍａｘは、３Ｄ頭髪ＤＢ１１１に格納されている３Ｄ頭髪の数である。ｄｃは、ストローク（ｉ）と３Ｄ頭髪（ｊ）の３Ｄ髪の毛それぞれとの距離が代入される変数である。ｄは、ストローク（ｉ）と３Ｄ頭髪（ｊ）との距離が代入される変数である。ｄｍａｘは、比較例に係る情報処理装置の処理系において、ｄにあたる値を保存するデータ形式が表現できる最大値である。 Here, i is the index number of the stroke S. j is an index number of 3D hair stored in the 3D hair DB 111. j max is the number of 3D hairs stored in the 3D hair DB 111. d c is a variable to which the distance between the stroke (i) and the 3D hair (j) of the 3D hair is substituted. d is a variable to which the distance between the stroke (i) and the 3D hair (j) is substituted. d max is the maximum value that can be expressed in the data format for storing the value corresponding to d in the processing system of the information processing apparatus according to the comparative example.
　図３に示すように、頭髪検索部１２５は、ストロークＳ（ｉ）一本分につき、ステップＳ１１に示すループ処理を実行する。かかるループ処理は、ｊへ０が代入され、ｄへｄｍａｘが代入されて、ｊをインクリメントしながら、ｊ＜ｊｍａｘが真である間実行される。 As shown in FIG. 3, the hair search unit 125 executes the loop process shown in step S11 for each stroke S (i). Such a loop process is executed while j is assigned 0, d max is assigned to d, and j is incremented while j <j max is true.
　かかるループ処理において、頭髪検索部１２５は、３Ｄ頭髪（ｊ）を３Ｄ頭髪ＤＢ１１１から取得する（ステップＳ１１１）。そして、頭髪検索部１２５は、３Ｄ頭髪（ｊ）を２Ｄ画像平面へ投影する（ステップＳ１１２）。 In such a loop process, the hair search unit 125 acquires the 3D hair (j) from the 3D hair DB 111 (step S111). Then, the hair search unit 125 projects the 3D hair (j) onto the 2D image plane (step S112).
　そして、頭髪検索部１２５は、３Ｄ頭髪（ｊ）の３Ｄ髪の毛一本一本とストロークＳ（ｉ）との距離ｄｃを算出する（ステップＳ１１３）。そして、頭髪検索部１２５は、最も小さい距離ｄｃの値を抽出し（ステップＳ１１４）、距離ｄｃが距離ｄより小さいか否かを判定する（ステップＳ１１５）。 Then, the hair search unit 125 calculates the distance d c between each 3D hair of the 3D hair (j) and the stroke S (i) (step S113). The hair retrieval unit 125 extracts the value of the smallest distance d c (step S114), the distance d c is determined whether the distance d is less than or not (step S115).
　ここで、小さい場合（ステップＳ１１５，Ｙｅｓ）、距離ｄを距離ｄｃに更新し、ｊの値を記録して（ステップＳ１１６）、ステップＳ１１が実行される間、ステップＳ１１１からの処理を繰り返す。また、大きい場合（ステップＳ１１５，Ｎｏ）、ステップＳ１１が実行される間、ステップＳ１１１からの処理を繰り返す。 Here, if the smaller (step S115, Yes), and updates the distance d in the distance d c, and record the value of j (step S116), while the step S11 is executed, the process is repeated from step S111. If it is large (steps S115, No), the process from step S111 is repeated while step S11 is executed.
　そして、すべてのストロークＳ（ｉ）についてステップＳ１１が実行された後、ストロークＳ（ｉ）のそれぞれにつき記録されたｊの値に基づき、ストロークＳ（ｉ）のそれぞれに対し、最も距離が小さい、すなわち最も類似性を有する３Ｄ頭髪（ｊ）が選出されることとなる。 Then, after step S11 is executed for all the strokes S (i), the distance to each of the strokes S (i) is the smallest based on the value of j recorded for each of the strokes S (i). That is, the 3D hair (j) having the most similarity is selected.
＜１－２．本実施形態の比較例における問題点＞
　ところで、このような比較例に係る情報処理方法であるが、次に示す（ａ），（ｂ）の問題点が存在する。まず、一点目の問題点（ａ）は、ストロークとの類似性の比較対象は、３Ｄ頭髪の一本一本の髪の毛に相当する３Ｄ髪の毛であるため、３Ｄ頭髪全体の形状の類似性を考慮できない、という点である。 <1-2. Problems in the comparative example of this embodiment>
By the way, the information processing method according to such a comparative example has the following problems (a) and (b). First, the first problem (a) is that the comparison target for the similarity with the stroke is the 3D hair corresponding to each hair of the 3D hair, so the similarity of the shape of the entire 3D hair is taken into consideration. The point is that it cannot be done.
　比較例に係る情報処理方法では、ユーザが入力したストロークに近い形状を持つ３Ｄ髪の毛を選出する際、ストロークおよび一本の３Ｄ髪の毛がそれぞれ有する頂点を順番に比較していく。ただし、この処理は、ストロークと最も形状が近い３Ｄ髪の毛を選出することに特化しており、最終的に選出される３Ｄ頭髪全体の形状については考慮していない。 In the information processing method according to the comparative example, when selecting 3D hair having a shape close to the stroke input by the user, the stroke and the vertices of each 3D hair are compared in order. However, this process specializes in selecting the 3D hair having the closest shape to the stroke, and does not consider the shape of the entire 3D hair that is finally selected.
　この結果、一部のみがストロークと非常に類似している一方で、頭髪全体の形状は全く異なる３Ｄ頭髪が選出される場合がある。このような場合、最終的な３Ｄ頭髪の形状が、入力画像に含まれる被写体の髪型とは大きく異なる形状となる場合がある。 As a result, 3D hair may be selected, which is very similar to the stroke only in part, but has a completely different shape of the entire hair. In such a case, the shape of the final 3D hair may be significantly different from the hairstyle of the subject included in the input image.
　二点目の問題点（ｂ）は、被写体の撮影方向からは本来不可視である部分（以下、適宜「不可視部分」と言う）の３Ｄ髪の毛も、ストロークとの比較対象となるという点である。 The second problem (b) is that the 3D hair in the part that is originally invisible from the shooting direction of the subject (hereinafter, appropriately referred to as "invisible part") can also be compared with the stroke.
　比較例に係る情報処理方法では、上述した投影処理において、３Ｄ頭髪の奥行き情報が失われる。奥行き情報とは、仮想空間において仮想カメラから見て手前から奥へ向かう方向の位置情報である。かかる奥行き情報が失われた場合、コンピュータは物体の前後関係を把握することが困難となる。 In the information processing method according to the comparative example, the depth information of the 3D hair is lost in the projection process described above. Depth information is position information in the direction from the front to the back when viewed from the virtual camera in the virtual space. When such depth information is lost, it becomes difficult for the computer to grasp the context of the object.
　しかしながら、高度な専門知識や技術を持たないユーザが、簡易な機材を用いて実行可能な操作のみによって３Ｄ頭髪を生成させようとする比較例および本実施形態では、仮想空間に存在する３Ｄ頭髪を２Ｄ情報で検索するために、投影処理は必要な手段となる。 However, in the comparative example and the present embodiment in which a user who does not have a high degree of specialized knowledge or skill tries to generate 3D hair only by an operation that can be performed using simple equipment, the 3D hair existing in the virtual space is used. Projection processing is a necessary means for searching with 2D information.
　例えば仮想空間で直接ストロークを入力する手法では、ＶＲ（Virtual　Reality）を実現するヘッドマウントディスプレイや、ＡＲ（Augmented　Reality）を実現するデバイス等の装着、および、仮想空間での入力を可能とする特殊なデバイス、加えてかかる特殊なデバイスを用いて実際にストロークを入力する技術が必要となり、誰もが使用可能とは言えない。 For example, in the method of directly inputting strokes in virtual space, a head-mounted display that realizes VR (Virtual Reality), a device that realizes AR (Augmented Reality), etc. can be attached, and a special that enables input in virtual space. It requires a technology to actually input strokes using such a special device, and it cannot be said that everyone can use it.
　すると、投影処理を行う以上、頭髪検索処理では、投影によって前髪と後ろ髪の前後関係が不明となる。この結果、ユーザが入力したストロークとの類似性を算出する際、例えば撮影方向である正面からは見えない頭髪が、最も類似した３Ｄ髪の毛として選出されるケースが発生する。このケースでは、例えば本来長くなるべき後ろ髪が短くなった３Ｄ頭髪が最終的に生成されてしまうといった問題が発生する。 Then, as long as the projection process is performed, the anteroposterior relationship between the bangs and the back hair becomes unclear due to the projection in the hair search process. As a result, when calculating the similarity with the stroke input by the user, for example, the hair that cannot be seen from the front, which is the shooting direction, may be selected as the most similar 3D hair. In this case, for example, there arises a problem that 3D hair with shortened back hair, which should be originally long, is finally generated.
＜１－３．本実施形態の概要＞
　そこで、実施形態に係る情報処理方法では、問題点（ａ）に対し、シルエット画像を用いて頭髪全体の形状を比較することとした。また、問題点（ｂ）に対し、仮想空間での仮想カメラと３Ｄ頭髪との位置関係を利用して、仮想カメラから見える３Ｄ髪の毛以外の３Ｄ頭髪部分である不可視部分を投影前に予めストロークとの比較対象から削除し、可視部分のみをストロークと比較することとした。 <1-3. Outline of this embodiment>
Therefore, in the information processing method according to the embodiment, it was decided to compare the shape of the entire hair using a silhouette image for the problem (a). In addition, for problem (b), using the positional relationship between the virtual camera and the 3D hair in the virtual space, the invisible part, which is the 3D hair part other than the 3D hair seen from the virtual camera, is stroked in advance before projection. It was decided to remove from the comparison target of and compare only the visible part with the stroke.
　具体的には、図１に示すように、本実施形態に係る情報処理方法では、入力画像が取得され、ストロークが入力された後、問題点（ａ）に対し「シルエット判定処理」を、問題点（ｂ）に対し「不可視部分削除処理」をそれぞれ実行する。 Specifically, as shown in FIG. 1, in the information processing method according to the present embodiment, after the input image is acquired and the stroke is input, the problem (a) is subjected to the "silhouette determination process". The "invisible part deletion process" is executed for each of the points (b).
　シルエット判定処理では、シルエット画像を使用した類似性比較を行う（ステップＳ１）。ここで、シルエット画像は、入力画像に基づくものと３Ｄ頭髪ＤＢ１１１に基づくものの２種類がある。 In the silhouette determination process, similarity comparison using silhouette images is performed (step S1). Here, there are two types of silhouette images, one based on the input image and the other based on the 3D hair DB 111.
　入力画像に基づくものは、同図に示すように、現実空間でカメラを用いて撮影された入力画像に含まれる被写体の頭髪部分を単色で、それ以外を別の色で塗り分けた画像である。こちらは、以下、適宜「シルエット画像ＭＨ」または「頭髪形状比較用画像」と言う。 As shown in the figure, the image based on the input image is an image in which the hair part of the subject included in the input image taken by the camera in the real space is painted in a single color, and the rest is painted in another color. .. This is hereinafter referred to as "silhouette image MH " or "hair shape comparison image" as appropriate.
　３Ｄ頭髪ＤＢ１１１に基づくものは、３Ｄ頭髪ＤＢ１１１に含まれるすべての３Ｄ頭髪について、仮想空間でかかる３Ｄ頭髪を装着した３Ｄ頭部モデルである３Ｄ顔モデルデータの正面に仮想カメラを配置し、かかる仮想カメラによって撮影されたと仮定して生成される画像である。同図に示すように、かかる画像では、画像内の３Ｄ頭髪の部分が単色で塗りつぶされる。こちらは、以下、適宜「シルエット画像ＭＳ」と言う。 Based on the 3D hair DB111, for all 3D hair included in the 3D hair DB111, a virtual camera is placed in front of the 3D face model data, which is a 3D head model equipped with the 3D hair in the virtual space, and the virtual camera is placed. It is an image generated assuming that it was taken by a camera. As shown in the figure, in such an image, the portion of the 3D hair in the image is filled with a single color. Here it is hereinafter referred to as "silhouette image M S".
　シルエット判定処理は、これらシルエット画像ＭＨ，ＭＳを比較することによって、頭髪全体の形状の類似性を判定する。なお、かかる判定に際し、シルエット判定処理では、ストロークを使用して類似性比較領域を限定する（ステップＳ２）。 Silhouette determination process, these silhouette images M H, by comparing the M S, determining the similarity of the shape of the entire hair. In the silhouette determination process, the stroke is used to limit the similarity comparison area (step S2).
　ステップＳ２では、シルエット画像ＭＨ，ＭＳに対し、ユーザが入力したストロークの始点と終点を使用して後述する切り出し処理を適用して、後段の処理の対象領域を限定する。そして、限定された対象領域に対して、後述する算出処理により、シルエット画像ＭＨ，ＭＳにおける頭髪部分の重畳度合いを算出し、かかる重畳度合いに基づいてシルエット画像ＭＨ，ＭＳの類似性を判定する。 In step S2, the silhouette image M H, with respect to M S, by applying the extraction process to be described later by using the start and end points of the stroke entered by the user, to limit the target area of the subsequent processing. Then, for a limited target area, the calculation processing described later, the silhouette image M H, calculates the degree of overlapping between the hair portion in the M S, the similarity of the silhouette image M H, M S on the basis of the superposition degree To judge.
　そして、かかる判定の結果に基づいて、頭髪全体の形状が、入力画像に含まれる被写体の頭髪形状とは異なる３Ｄ頭髪を、頭髪検索処理の検索対象から除外する。これにより、上記の問題点（ａ）を解消し、３Ｄ頭髪の選出精度を向上させることができる。 Then, based on the result of such determination, 3D hair whose overall hair shape is different from the hair shape of the subject included in the input image is excluded from the search target of the hair search process. As a result, the above-mentioned problem (a) can be solved and the accuracy of selecting 3D hair can be improved.
　なお、シルエット判定処理における各処理の具体例については、図４および図６～図１３を用いた説明で後述する。 A specific example of each process in the silhouette determination process will be described later with reference to FIGS. 4 and 6 to 13.
　また、不可視部分削除処理では、深度情報を使用した不可視部分の削除が行われる（ステップＳ３）。深度情報は、例えば深度値を含み、深度値は、仮想空間に配置した仮想カメラと、仮想空間に配置した３Ｄ物体との距離を表す。本実施形態では、３Ｄ頭髪ＤＢ１１１に含まれるすべての３Ｄ頭髪について、仮想カメラから見た３Ｄ頭髪までの距離である深度値を記録した深度画像を深度情報として使用する。 Further, in the invisible part deletion process, the invisible part is deleted using the depth information (step S3). The depth information includes, for example, a depth value, and the depth value represents the distance between the virtual camera arranged in the virtual space and the 3D object arranged in the virtual space. In the present embodiment, for all the 3D hairs included in the 3D hair DB 111, a depth image in which the depth value which is the distance to the 3D hair seen from the virtual camera is recorded is used as the depth information.
　ステップＳ３では、前述の３Ｄ顔モデルデータを使用し、仮想空間に配置した仮想カメラの位置から３Ｄ顔モデルデータを見た際の深度値を算出し、かかる深度値を記録した深度画像（以下、適宜「深度画像ＭＤ」と言う。）を生成する。 In step S3, using the above-mentioned 3D face model data, the depth value when the 3D face model data is viewed from the position of the virtual camera arranged in the virtual space is calculated, and the depth image in which the depth value is recorded (hereinafter, appropriately referred to as a "depth image M D".) to generate.
　そして、深度値に対して、仮想空間に配置した仮想カメラから見て奥行き方向に所定のオフセット量を加えた値を閾値として利用し、３Ｄ顔モデルデータに含まれる３Ｄ頭髪のうち、仮想空間に配置した仮想カメラを基準とした可視性を判定する。 Then, the value obtained by adding a predetermined offset amount in the depth direction when viewed from the virtual camera arranged in the virtual space to the depth value is used as a threshold value, and among the 3D hairs included in the 3D face model data, the virtual space is used. Judge the visibility based on the placed virtual camera.
　ここで、オフセット量は、知られている通り、閾値やパラメータに対して一定の値を加えるまたは減ずることで何らかの処理を実現するために使用される値である。本実施形態では、深度値に対し、仮想空間に配置した仮想カメラの撮影方向にかかるオフセット量（以下、適宜「オフセット量Ｏｄ」と言う）を加えることで、３Ｄ頭髪の可視部分のみを取り出すことを実現する。 Here, the offset amount is, as is known, a value used to realize some processing by adding or decreasing a constant value to a threshold value or a parameter. In the present embodiment, only the visible part of the 3D hair is taken out by adding an offset amount (hereinafter, appropriately referred to as “offset amount Od ”) applied to the shooting direction of the virtual camera arranged in the virtual space to the depth value. Realize that.
　そして、かかる可視性の判定の結果、不可視部分とされた３Ｄ髪の毛を、頭髪検索処理におけるストロークとの比較対象から削除する。これにより、上記の問題点（ｂ）を解消し、３Ｄ頭髪の選出精度を向上させることができる。 Then, as a result of the determination of visibility, the 3D hair that is regarded as an invisible part is deleted from the comparison target with the stroke in the hair search process. As a result, the above-mentioned problem (b) can be solved and the selection accuracy of 3D hair can be improved.
　なお、不可視部分削除処理における各処理の具体例については、図４および図１４～図１９を用いた説明で後述する。 A specific example of each process in the invisible portion deletion process will be described later with reference to FIGS. 4 and 14 to 19.
　このように、実施形態に係る情報処理方法では、上記の問題点（ａ）に対し、シルエット画像ＭＨ，ＭＳを用いて頭髪全体の形状を比較することとした。また、上記の問題点（ｂ）に対し、仮想空間での仮想カメラと３Ｄ頭髪との位置関係を利用して、仮想カメラから見える３Ｄ髪の毛以外の３Ｄ頭髪部分である不可視部分を投影前に予めストロークとの比較対象から削除し、可視部分のみをストロークと比較することとした。 Thus, in the information processing method according to an embodiment, the above-mentioned problems with respect to (a), the silhouette image M H, it was decided to compare the shape of the entire hair using M S. Further, in response to the above problem (b), by utilizing the positional relationship between the virtual camera and the 3D hair in the virtual space, the invisible part which is the 3D hair part other than the 3D hair seen from the virtual camera is preliminarily projected. It was decided to remove it from the comparison target with the stroke and compare only the visible part with the stroke.
　したがって、実施形態に係る情報処理方法によれば、上記の問題点（ａ），（ｂ）を解消し、３Ｄ頭髪の選出処理の精度を向上させて、最終的に生成される３Ｄ頭髪の品質向上を実現させることができる。 Therefore, according to the information processing method according to the embodiment, the above problems (a) and (b) are solved, the accuracy of the 3D hair selection process is improved, and the quality of the finally generated 3D hair is improved. Improvement can be realized.
　以下、上述した実施形態に係る情報処理方法を適用した情報処理装置１０の構成例について、より具体的に説明する。 Hereinafter, a configuration example of the information processing apparatus 10 to which the information processing method according to the above-described embodiment is applied will be described more specifically.
＜＜２．情報処理装置の構成＞＞
　図４は、本開示の実施形態に係る情報処理装置１０の構成例を示すブロック図である。なお、図４では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。 << 2. Information processing device configuration >>
FIG. 4 is a block diagram showing a configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure. Note that FIG. 4 shows only the components necessary for explaining the features of the present embodiment, and the description of general components is omitted.
　換言すれば、図４に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。 In other words, each component shown in FIG. 4 is a functional concept and does not necessarily have to be physically configured as shown in the figure. For example, the specific form of distribution / integration of each block is not limited to the one shown in the figure, and all or part of it may be functionally or physically distributed in any unit according to various loads and usage conditions. It can be integrated and configured.
　また、図４を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。 Further, in the explanation using FIG. 4, the explanation may be simplified or omitted for the components already explained.
　図４に示すように、情報処理装置１０は、記憶部１１と、制御部１２とを備える。また、情報処理装置１０は、カメラ３と、入力部５と、出力部７とを有する。情報処理装置１０は、例えば上述したＰＣや、タブレットＰＣ、スマートフォン等によって実現される。 As shown in FIG. 4, the information processing apparatus 10 includes a storage unit 11 and a control unit 12. Further, the information processing apparatus 10 includes a camera 3, an input unit 5, and an output unit 7. The information processing device 10 is realized by, for example, the above-mentioned PC, tablet PC, smartphone, or the like.
　カメラ３は、例えば単眼ＲＧＢカメラによって実現される。入力部５は、例えばマウスによって実現される。出力部７は、例えばディスプレイモニタによって実現される。 The camera 3 is realized by, for example, a monocular RGB camera. The input unit 5 is realized by, for example, a mouse. The output unit 7 is realized by, for example, a display monitor.
　なお、入力部５は、ユーザによってストロークの入力が可能なポインティングデバイスであればよく、例えばペン型であってもよい。また、入力部５および出力部７を併せてタッチパネルディスプレイによって実現し、入力部５はユーザの指によるストロークの入力を受け付けてもよい。 The input unit 5 may be a pointing device capable of inputting strokes by the user, and may be, for example, a pen type. Further, the input unit 5 and the output unit 7 may be realized by the touch panel display together, and the input unit 5 may accept the input of the stroke by the user's finger.
　記憶部１１は、例えば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示す例では、記憶部１１は、３Ｄ頭髪ＤＢ１１１を記憶する。 The storage unit 11 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. In the example shown in FIG. 4, the storage unit 11 stores the 3D hair DB 111.
　制御部１２は、コントローラ（controller）であり、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、記憶部１１に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現することができる。 The control unit 12 is a controller, and for example, various programs stored in the storage unit 11 are executed using the RAM as a work area by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. Is realized by. Further, the control unit 12 can be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
　制御部１２は、画像取得部１２１と、ストローク取得部１２２と、シルエット判定部１２３と、不可視部分削除部１２４と、頭髪検索部１２５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。 The control unit 12 has an image acquisition unit 121, a stroke acquisition unit 122, a silhouette determination unit 123, an invisible portion deletion unit 124, and a hair search unit 125, and has functions and actions of information processing described below. Realize or execute.
　画像取得部１２１は、カメラ３によって撮影された、ユーザが３Ｄ頭髪を作りたい被写体の２Ｄ画像を入力画像として取得する。ストローク取得部１２２は、画像取得部１２１によって取得された入力画像に対し、入力部５を介してユーザにより手動で描かれたストロークを取得する。 The image acquisition unit 121 acquires a 2D image of the subject for which the user wants to make 3D hair, which is taken by the camera 3, as an input image. The stroke acquisition unit 122 acquires a stroke manually drawn by the user via the input unit 5 with respect to the input image acquired by the image acquisition unit 121.
　ここで、図５および図６は、ストロークの説明図（その１）および（その２）である。図５に示すように、ストロークは、出力部７に対し出力された入力画像に対し、入力部５を介してユーザにより手動で描かれる、被写体の頭髪の大まかな流れを表す複数の線である。 Here, FIGS. 5 and 6 are explanatory views (No. 1) and (No. 2) of the stroke. As shown in FIG. 5, the stroke is a plurality of lines representing the rough flow of the hair of the subject, which is manually drawn by the user via the input unit 5 with respect to the input image output to the output unit 7. ..
　図６に示すように、ストロークは、２Ｄ画像平面上における任意の点を頂点とし、各頂点を連続的に接続する線分の集合として定義される。同図に示すように、ストロークは、始点および終点を有する。なお、同図で始点および終点は逆であってもよい。かかる始点および終点は、後述する切り出し処理において用いられる。 As shown in FIG. 6, the stroke is defined as a set of line segments connecting each vertex continuously with an arbitrary point on the 2D image plane as a vertex. As shown in the figure, the stroke has a start point and an end point. In the figure, the start point and the end point may be reversed. Such start points and end points are used in the cutting process described later.
　図４の説明に戻る。シルエット判定部１２３は、上述した本実施形態に係るシルエット判定処理（図１参照）を実行する。図４に示すように、シルエット判定部１２３は、シルエット画像生成部１２３ａと、切り出し部１２３ｂと、算出部１２３ｃと、判定部１２３ｄとを有する。 Return to the explanation in Fig. 4. The silhouette determination unit 123 executes the silhouette determination process (see FIG. 1) according to the above-described embodiment. As shown in FIG. 4, the silhouette determination unit 123 includes a silhouette image generation unit 123a, a cutting unit 123b, a calculation unit 123c, and a determination unit 123d.
　シルエット画像生成部１２３ａは、画像取得部１２１によって取得された入力画像に基づいて、上述したシルエット画像ＭＨを生成する。図７は、シルエット画像ＭＨの一例を示す図である。図７に示すように、シルエット画像生成部１２３ａは、現実空間でカメラ３を用いて撮影された入力画像に含まれる被写体の頭髪部分を単色で、それ以外を別の色で塗り分けた画像としてシルエット画像ＭＨを生成する。 The silhouette image generation unit 123a generates the silhouette image MH described above based on the input image acquired by the image acquisition unit 121. FIG. 7 is a diagram showing an example of the silhouette image MH. As shown in FIG. 7, the silhouette image generation unit 123a is an image in which the hair portion of the subject included in the input image taken by the camera 3 in the real space is painted in a single color, and the rest is painted in another color. Generate silhouette image MH.
　例えば、シルエット画像生成部１２３ａは、画像の頭髪部分とそれ以外とを塗り分けた画像を教師データとし、セマンティックセグメンテーション等のアルゴリズムを用いて学習した学習モデルに基づいて入力画像の被写体の頭髪部分を推定し、シルエット画像ＭＨを生成する。 For example, the silhouette image generation unit 123a uses an image in which the hair portion of the image and the rest of the image are painted separately as teacher data, and uses the hair portion of the subject of the input image as the subject based on a learning model learned by using an algorithm such as semantic segmentation. Estimate and generate a silhouette image MH.
　図４の説明に戻る。また、シルエット画像生成部１２３ａは、３Ｄ頭髪ＤＢ１１１に基づいて、上述したシルエット画像ＭＳを生成する。図８は、３Ｄ顔モデルデータの一例を示す図である。また、図９は、シルエット画像ＭＳの一例を示す図である。 Returning to the description of FIG. Furthermore, the silhouette image generating unit 123a, based on the 3D hair DB 111, generates a silhouette image M S described above. FIG. 8 is a diagram showing an example of 3D face model data. 9 is a diagram showing an example of a silhouette image M S.
　図８に示すように、３Ｄ顔モデルデータは、３Ｄ頭髪を装着した３Ｄ頭部モデル、言い換えれば３Ｄ頭髪と３Ｄ頭部モデルとを併せて表示したデータに相当する。シルエット画像生成部１２３ａは、かかる３Ｄ顔モデルデータの正面に配置した仮想カメラによって撮影したと仮定した画像に基づいて、シルエット画像ＭＳを生成する。 As shown in FIG. 8, the 3D face model data corresponds to the data in which the 3D head model with the 3D hair attached, in other words, the 3D hair and the 3D head model are displayed together. Silhouette image generating unit 123a, based on the assumed image and captured by the virtual camera placed in front of such a 3D face model data to generate the silhouette image M S.
　図９に示すように、シルエット画像生成部１２３ａは、３Ｄ顔モデルデータの正面に配置した仮想カメラによって撮影したと仮定した画像内の少なくとも３Ｄ頭髪の部分を単色で塗りつぶした画像としてシルエット画像ＭＳを生成する。 As shown in FIG. 9, the silhouette image generating unit 123a includes a silhouette image M S as an image that fills the portion of at least 3D hair in the image is assumed to have taken with monochromatic by the virtual camera placed in front of the 3D face model data To generate.
　例えば、シルエット画像生成部１２３ａは、入力画像の撮影時におけるカメラ３の外部パラメータに基づき、３Ｄ頭髪ＤＢ１１１に含まれるすべての３Ｄ顔モデルデータの座標を変換し、頭髪部分と肌部分、背景部分を別の色で塗り分けてシルエット画像ＭＳを生成する。 For example, the silhouette image generation unit 123a converts the coordinates of all the 3D face model data included in the 3D hair DB 111 based on the external parameters of the camera 3 at the time of shooting the input image, and converts the hair portion, the skin portion, and the background portion into the hair portion, the skin portion, and the background portion. to produce a silhouette image M S is painted in a different color.
　なお、カメラ３の外部パラメータは一般的に、カメラ３の位置と回転方向を保持しており、これらを知ることで特定の仮想空間の座標系で定義された各頂点の、別の座標系における位置を算出することが可能である。 Note that the external parameters of the camera 3 generally hold the position and rotation direction of the camera 3, and by knowing these, each vertex defined in the coordinate system of a specific virtual space is in another coordinate system. It is possible to calculate the position.
　図４の説明に戻る。切り出し部１２３ｂは、上述した本実施形態に係る切り出し処理を実行する。切り出し部１２３ｂは、シルエット画像生成部１２３ａによって生成されたシルエット画像ＭＨ，ＭＳに対し、ユーザが入力したストロークの始点と終点を使用して、後段の処理の処理対象となる対象領域を限定する。 Returning to the description of FIG. The cutting unit 123b executes the cutting process according to the present embodiment described above. Cutout portion 123b is silhouette image M H generated by the silhouette image generating unit 123a, to M S, using the start and end points of the stroke entered by the user, limiting the target region to be processed in the subsequent processing do.
　図１０～図１２は、切り出し部１２３ｂが実行する切り出し処理の説明図（その１）～（その３）である。図１０に示すように、切り出し部１２３ｂは、ユーザが入力した各ストロークＳ（ｉ）に基づいて、シルエット画像ＭＨ，ＭＳの不要部分を削除する。 10 to 12 are explanatory views (No. 1) to (No. 3) of the cutting process executed by the cutting unit 123b. As she is shown in FIG. 10, cutout portions 123b, on the basis of the stroke S input by the user (i), to remove unwanted portions of the silhouette image M H, M S.
　まず、切り出し部１２３ｂは、ストロークＳ（ｉ）を構成する頂点のうち、２Ｄ画像平面上で最も左にあるものと最も右にあるもの、すなわち図６に示した始点と終点とを抽出する。そして、切り出し部１２３ｂは、抽出した始点の位置および終点の位置を、類似性の比較対象となる領域の仮の左端および右端とする。そのうえで、切り出し部１２３ｂは、図１０に示すように、かかる左端および右端に所定のオフセット量Ｏｗを適用した位置に収まる領域を、切り出し対象領域Ａｃとする。 First, the cutout portion 123b extracts the leftmost and rightmost vertices on the 2D image plane, that is, the start point and the end point shown in FIG. 6 among the vertices constituting the stroke S (i). Then, the cutout portion 123b sets the extracted start point position and end point position as the temporary left end and right end of the region to be compared with each other. Sonouede, cutout portion 123b, as shown in FIG. 10, an area that fits the position of applying the predetermined offset amount O w to such left and right edges, and cut-out target area A c.
　例えば、切り出し部１２３ｂは、オフセット量Ｏｗを、始点および終点によって規定される横方向の長さに対して５％とする。なお、オフセット量Ｏｗは、実用上の処理のバリエーションであり、本実施形態に必須のものではなく、上述した仮想空間に配置した仮想カメラから見て奥行き方向に適用するオフセット量Ｏｄとは異なるものである。 For example, cutout portion 123b is an offset O w, and 5% with respect to the lateral length defined by start and end points. The offset amount O w is a variation of practical processing and is not essential for this embodiment. What is the offset amount O d applied in the depth direction when viewed from the virtual camera arranged in the virtual space described above? It's different.
　図７に示したシルエット画像ＭＨに対し、切り出し部１２３ｂが切り出し処理を施した結果の一例を示したものが図１１である。同様に、図９に示したシルエット画像ＭＳに対し、切り出し部１２３ｂが切り出し処理を施した結果の一例を示したものが図１２である。 FIG. 11 shows an example of the result of the cutout portion 123b performing the cutout process on the silhouette image MH shown in FIG. 7. Similarly, with respect to the silhouette image M S shown in FIG. 9, which shows an example of a result of cutout portion 123b is subjected to clipping processing is shown in FIG 12.
　図４の説明に戻る。算出部１２３ｃは、上述した本実施形態に係る算出処理を実行する。算出部１２３ｃは、切り出し部１２３ｂによって限定された対象領域に対し、シルエット画像ＭＨ，ＭＳにおける頭髪部分の重畳度合いを算出する。 Returning to the description of FIG. The calculation unit 123c executes the calculation process according to the present embodiment described above. Calculator 123c, compared target region defined by the cutout portion 123b, and calculates a silhouette image M H, the superposition degree of the hair portion in the M S.
　図１３は、算出部１２３ｃが実行する算出処理の説明図である。算出部１２３ｃは、切り出し対象領域Ａｃに基づいて切り出されたシルエット画像ＭＨ，ＭＳを比較し、それぞれにおいて頭髪を表す領域の重なり（図１３の「重畳領域」参照）をＩｏＵ（Intersection　over　Union）として算出する。 FIG. 13 is an explanatory diagram of the calculation process executed by the calculation unit 123c. Calculator 123c, the silhouette image M H cut out on the basis of the cut-out target area A c, compare M S, overlap areas representing a hair in each (see "overlapping region" in FIG. 13) the IOU (Intersection-over- Calculated as Union).
　ＩｏＵは、画像同士の重なりを定量化する際の一般的な指標であり、ＩｏＵ＝（領域Ａ∩領域Ｂ）／｛領域Ａ＋領域Ｂ－（領域Ａ∩領域Ｂ）｝の式により算出される。なお、本実施形態では、例えば領域Ａはシルエット画像ＭＨの頭髪部分に、領域Ｂはシルエット画像ＭＳの頭髪部分に、それぞれ相当する。 IoU is a general index for quantifying the overlap between images, and is calculated by the formula of IoU = (region A∩region B) / {region A + region B- (region A∩region B)}. .. In the present embodiment, for example, region A in hair portion of silhouette images M H, region B is the hair portion of the silhouette image M S, corresponding respectively.
　図４の説明に戻る。判定部１２３ｄは、算出部１２３ｃによって算出されたＩｏＵに基づいて、シルエット画像ＭＨ，ＭＳの類似性を判定する。具体的に、判定部１２３ｄは、算出されたＩｏＵが所定値以上である場合に、該当する３Ｄ頭髪を、ストロークＳ（ｉ）の頭髪検索処理における検索対象候補とする。また、判定部１２３ｄは、算出されたＩｏＵが所定値未満である場合に、該当する３Ｄ頭髪を、ストロークＳ（ｉ）の頭髪検索処理における検索対象候補から除外する。 Returning to the description of FIG. Determining unit 123d, based on the IoU calculated by the calculating unit 123c, and determines the similarity of silhouette images M H, M S. Specifically, when the calculated IoU is equal to or greater than a predetermined value, the determination unit 123d sets the corresponding 3D hair as a search target candidate in the hair search process of the stroke S (i). Further, when the calculated IoU is less than a predetermined value, the determination unit 123d excludes the corresponding 3D hair from the search target candidates in the hair search process of the stroke S (i).
　なお、本実施形態では、３Ｄ頭髪の頭髪全体の形状が、入力画像に含まれる被写体の頭髪形状と異なるか否かを示す閾値となる上述の所定値を例えば「０．４５」とするが、あくまで一例であって、値を限定するものではない。 In the present embodiment, the above-mentioned predetermined value, which is a threshold value indicating whether or not the shape of the entire hair of the 3D hair is different from the hair shape of the subject included in the input image, is set to, for example, "0.45". It is just an example and does not limit the value.
　図４の説明に戻る。不可視部分削除部１２４は、上述した本実施形態に係る不可視部分削除処理（図１参照）を実行する。図４に示すように、不可視部分削除部１２４は、深度画像生成部１２４ａと、削除部１２４ｂとを有する。 Return to the explanation in Fig. 4. The invisible portion deletion unit 124 executes the invisible portion deletion process (see FIG. 1) according to the above-described embodiment. As shown in FIG. 4, the invisible portion deletion unit 124 has a depth image generation unit 124a and a deletion unit 124b.
　深度画像生成部１２４ａは、前述の３Ｄ顔モデルデータを使用し、仮想空間に配置した仮想カメラの位置から３Ｄ顔モデルデータを見た際の深度値を算出し、かかる深度値を記録した深度画像ＭＤを生成する。図１４は、かかる深度画像ＭＤの一例を示す図である。 The depth image generation unit 124a uses the above-mentioned 3D face model data, calculates the depth value when the 3D face model data is viewed from the position of the virtual camera arranged in the virtual space, and records the depth image. to generate the M D. Figure 14 is a diagram showing an example of such a depth image M D.
　具体的に、深度画像生成部１２４ａは、入力画像における被写体の目、口および顔の輪郭の位置と、仮想空間に配置した仮想カメラから３Ｄ顔モデルデータを見た際の目、口および顔の輪郭の位置との誤差を最小化するように計算した撮影位置および回転方向を含むパラメータを使用する。 Specifically, the depth image generation unit 124a determines the positions of the contours of the eyes, mouth, and face of the subject in the input image, and the eyes, mouth, and face when the 3D face model data is viewed from a virtual camera arranged in the virtual space. Use parameters including the shooting position and rotation direction calculated to minimize the error from the contour position.
　また、深度画像生成部１２４ａは、かかるパラメータを使用して、仮想空間において３Ｄ顔モデルデータの正面に仮想カメラが配置されるよう位置合わせを行い、仮想カメラが仮想空間内で写真撮影をしたと仮定して画像の各ピクセルに映る３Ｄ顔モデルデータまでの距離を深度値と読み替えることで深度画像ＭＤを生成する。 Further, the depth image generation unit 124a uses such a parameter to align the virtual camera so that it is placed in front of the 3D face model data in the virtual space, and the virtual camera takes a picture in the virtual space. assuming generates a depth image M D by distance read as depth value up 3D face model data appearing on each pixel of the image.
　削除部１２４ｂは、深度画像生成部１２４ａによって生成された深度画像ＭＤを使用した不可視部分の削除を行う。図１５～図１９は、削除部１２４ｂが実行する削除処理の説明図（その１）～（その５）である。 Deleting unit 124b performs deletion of the invisible parts using depth image M D generated by the depth image generating unit 124a. 15 to 19 are explanatory views (No. 1) to (No. 5) of the deletion process executed by the deletion unit 124b.
　既に述べたが、不可視部分削除処理は、仮想空間での仮想カメラと３Ｄ頭髪との位置関係を利用して、仮想カメラから見える３Ｄ髪の毛以外の３Ｄ頭髪部分である不可視部分を投影前に予めストロークとの比較対象から削除し、可視部分のみをストロークの比較対象とさせる処理である。 As already mentioned, the invisible part deletion process uses the positional relationship between the virtual camera and the 3D hair in the virtual space to stroke the invisible part, which is the 3D hair part other than the 3D hair seen from the virtual camera, in advance before projection. It is a process of deleting from the comparison target with and making only the visible part the comparison target of the stroke.
　これは、「ユーザが入力するストロークは、入力画像上で実際に見えている可視の頭髪部分に対して引かれている」という前提に基づき、入力画像には含まれない３Ｄ髪の毛を比較対象から除外するものである。 This is based on the premise that "the stroke input by the user is drawn with respect to the visible hair part that is actually visible on the input image", and the 3D hair that is not included in the input image is compared from the comparison target. It is to be excluded.
　削除部１２４ｂは、判定部１２３ｄによる判定の結果、検索対象候補として残っている３Ｄ頭髪に含まれる３Ｄ髪の毛と、深度画像生成部１２４ａによって生成された深度画像ＭＤから取り出した深度値を使用して、３Ｄ顔モデルデータの正面に配置した仮想カメラ３Ｖ（図１８参照）のカメラ座標系において奥行き方向の位置を比較する。 Deleting unit 124b, the determination unit 123d result of the determination by, using a 3D hair contained in the 3D hair remaining as a search target candidates, the depth value extracted from the depth image M D generated by the depth image generating unit 124a Then, the positions in the depth direction are compared in the camera coordinate system of the virtual camera 3V (see FIG. 18) arranged in front of the 3D face model data.
　かかる際、削除部１２４ｂは、深度画像ＭＤに記録された深度値に対してオフセット量Ｏｄを適用することで、検索対象候補としている３Ｄ頭髪の可視部分のみを取り出す。 Such time, deleting unit 124b, by applying an offset O d against the recorded depth value in the depth image M D, taking out only the visible part of the 3D hair that searched candidate.
　典型例では、削除部１２４ｂは、深度画像ＭＤの各ピクセルに保存される深度値に対して仮想空間上で定義した仮想カメラ３Ｖから見た奥行き方向にオフセット量Ｏｄを適用する。 In a typical example, the deletion unit 124b applies the offset amount O d in the depth direction as viewed from the virtual camera 3V defined in a virtual space with respect to the depth values stored in each pixel of the depth image M D.
　図１５は、オフセット量Ｏｄの適用前の一例に相当し、図１６は、オフセット量Ｏｄの適用後の一例に相当する。また、両図に示す深度値Ｄは、可視部分および不可視部分を切り分けるための閾値に相当する。 FIG. 15 corresponds to an example before the application of the offset amount Od , and FIG. 16 corresponds to an example after the application of the offset amount Od. Further, the depth value D shown in both figures corresponds to a threshold value for separating the visible portion and the invisible portion.
　なお、典型例において、オフセット量Ｏｄとして使用される値は、例えば現実空間における５ｃｍに相当する。かかる長さは、現実空間で顔の最も前方にある前髪と生え際の距離が、一般的な髪型では５ｃｍの間に収まるとの想定による。 In a typical example, the value used as the offset amount Od corresponds to, for example, 5 cm in the real space. This length is based on the assumption that the distance between the frontmost bangs of the face and the hairline in real space is within 5 cm for a general hairstyle.
　オフセット量Ｏｄを適用した深度画像ＭＤが保持する座標情報は、３Ｄ頭髪が存在する仮想空間では図１６のようになる。なお、ここで、同図に示すように、３Ｄ顔モデルデータ全体のうち、オフセット量Ｏｄによって規定される範囲を「顔モデルデータの一部」と定義する。「顔モデルデータの一部」は、３Ｄ頭髪の可視部分に相当する。また、３Ｄ顔モデルデータ全体のうち、「顔モデルデータの一部」を除く範囲を「オフセット量を有する範囲」と定義する。また、オフセット量Ｏｄを適用する向きを、「撮影方向に対応する方向」と定義する。 Coordinate information depth image M D according to the offset amount O d holds is as shown in FIG. 16 is a virtual space in which 3D hair is present. Here, as shown in the figure, of the whole 3D facial model data, a range defined by the offset amount O d is defined as "a part of the face model data". The "part of the face model data" corresponds to the visible part of the 3D hair. Further, the range excluding "a part of the face model data" in the entire 3D face model data is defined as "the range having an offset amount". Further, the direction in which the offset amount Od is applied is defined as "the direction corresponding to the shooting direction".
　そして、削除部１２４ｂは、前述の深度値Ｄを用いて可視部分および不可視部分を切り分ける。本実施形態では、図１７に示すように、削除部１２４ｂは、一本の３Ｄ髪の毛ＳＴを構成する各頂点が、深度値Ｄを境界として仮想カメラ３Ｖ側に存在する比率に基づいて当該３Ｄ髪の毛の可視性を判定する。 Then, the deletion unit 124b separates the visible portion and the invisible portion using the above-mentioned depth value D. In the present embodiment, as shown in FIG. 17, the deletion unit 124b has the 3D hair based on the ratio in which each vertex constituting one 3D hair ST exists on the virtual camera 3V side with the depth value D as a boundary. Judge the visibility of.
　具体的には、図１７に示すように、削除部１２４ｂは、一本の３Ｄ髪の毛ＳＴを構成する頂点のうち、例えば５０％が深度値Ｄを境界とする仮想カメラ３Ｖ側の領域Ｃ１に存在する場合に、当該３Ｄ髪の毛ＳＴを可視であると判定し、それ以外の場合は不可視であると判定する。なお、図１７には模式的に示しているが、領域Ｃ１は、深度値Ｄを境界とする仮想カメラ３Ｖ側のすべての領域である。 Specifically, as shown in FIG. 17, the deletion unit 124b exists in the region C1 on the virtual camera 3V side with the depth value D as a boundary, for example, 50% of the vertices constituting one 3D hair ST. If so, it is determined that the 3D hair ST is visible, and in other cases, it is determined to be invisible. Although schematically shown in FIG. 17, the region C1 is all regions on the virtual camera 3V side with the depth value D as a boundary.
　かかる処理は、図１７に示す位置関係に類する状態で深度値Ｄと３Ｄ髪の毛ＳＴが存在する場合に、当該３Ｄ髪の毛ＳＴの半分以上が可視であるものを正しく可視と判定するための処理である。 Such a process is a process for correctly determining that half or more of the 3D hair ST is visible when the depth value D and the 3D hair ST are present in a state similar to the positional relationship shown in FIG. ..
　かかる処理において条件に合致しない場合、不可視である３Ｄ髪の毛ＳＴに対しては削除が適用され、図１８に示す「不可視部分」として、ストロークとの比較対象からは除外される。 If the conditions are not met in this process, the deletion is applied to the invisible 3D hair ST, and it is excluded from the comparison target with the stroke as the "invisible part" shown in FIG.
　なお、図１７では、説明を分かりやすくするため、一本の３Ｄ髪の毛ＳＴが人間にとっての前方方向に伸びている様子を誇張して表しているが、実際の典型的な髪型では、前髪は前方方向に伸びつつ、額に沿って存在することとなる。 In addition, in FIG. 17, for the sake of clarity, the appearance of one 3D hair ST extending in the forward direction for humans is exaggerated, but in an actual typical hairstyle, the bangs are forward. It will exist along the forehead while extending in the direction.
　また、削除部１２４ｂは、図１８の不可視部分として除外されなかった３Ｄ髪の毛について、上述した切り出し対象領域Ａｃに基づいて、ストロークとの比較対象とする３Ｄ髪の毛をさらに絞り込む。 Also, the deletion unit 124b, for 3D hair not excluded the invisible part of FIG. 18, based on the cut-out target area A c described above, further refine the 3D hair to be compared with the stroke.
　すなわち、削除部１２４ｂは、除外されなかった３Ｄ髪の毛が、２Ｄ画像平面上における横方向、言い換えれば顔の幅方向について切り出し対象領域Ａｃに収まるか否かを判定する。 That is, the deleting unit 124b determines 3D hair that has not been excluded, the horizontal direction on the 2D image plane, whether fit in the target area A c cut in the width direction of the face other words.
　そして、削除部１２４ｂは、切り出し対象領域Ａｃに収まる３Ｄ髪の毛を、入力されたストロークと類似した形状をもつ可能性の高い３Ｄ髪の毛として比較対象に残す。また、削除部１２４ｂは、切り出し対象領域Ａｃに収まらない３Ｄ髪の毛については削除を適用し、ストロークとの比較対象からは除外する。図１９は、以上までの削除部１２４ｂによる削除処理の実行結果の一例に相当する。 The deleting unit 124b is a 3D hair to fit in cut-out target area A c, leaving the comparison as 3D hair likely to have a shape similar to the inputted stroke. Further, the deletion unit 124b applies deletion to the 3D hair that does not fit in the cutout target area Ac, and excludes it from the comparison target with the stroke. FIG. 19 corresponds to an example of the execution result of the deletion process by the deletion unit 124b up to the above.
　図４の説明に戻る。頭髪検索部１２５は、シルエット判定部１２３によって検索対象候補とされた３Ｄ頭髪のうち、不可視部分削除部１２４によって残された可視部分のみにつき、ストロークおよび一本一本の３Ｄ髪の毛を比較し、類似した形状の３Ｄ髪の毛を含む３Ｄ頭髪を選出する。 Return to the explanation in Fig. 4. The hair search unit 125 compares strokes and individual 3D hairs with respect to only the visible portion left by the invisible portion deletion unit 124 among the 3D hairs selected as search target candidates by the silhouette determination unit 123, and is similar. Select 3D hair including 3D hair with a shaped shape.
　頭髪検索部１２５は、上述した比較例と同様に、ストロークを構成する頂点群と、３Ｄ頭髪を構成する３Ｄ髪の毛が持つ各頂点の距離を比較する。具体的には、頭髪検索部１２５は、ストロークおよび３Ｄ髪の毛の頂点数を合わせ（例えば、１００頂点）、先頭から順に、対応する頂点同士のユークリッド距離を算出し、その合計値をストロークと一本の３Ｄ髪の毛の距離ｄｃとする。 The hair search unit 125 compares the distance between the vertices constituting the stroke and the vertices of the 3D hair constituting the 3D hair, as in the comparative example described above. Specifically, the hair search unit 125 matches the stroke and the number of vertices of 3D hair (for example, 100 vertices), calculates the Euclidean distance between the corresponding vertices in order from the beginning, and combines the total value with the stroke. 3D hair distance d c .
　頭髪検索部１２５は、あるストロークとある３Ｄ頭髪の類似性を比較する場合、対象となる３Ｄ頭髪が持つすべての３Ｄ髪の毛について距離ｄｃを算出し、その値が最小のものをストロークと３Ｄ頭髪との距離ｄとする。頭髪検索部１２５は、これをシルエット判定部１２３によって検索対象候補とされたすべての３Ｄ頭髪の可視部分に対して行い、距離ｄの値が最小の３Ｄ頭髪を、当該ストロークに類似した形状の３Ｄ頭髪として選出する。 Hair searching unit 125, when comparing the similarity of 3D hair in a certain stroke, all calculates the distance d c for 3D hair, stroke and 3D hair its value the smallest with the 3D hair of interest Let the distance d be. The hair search unit 125 performs this for all visible parts of the 3D hairs that are candidates for search by the silhouette determination unit 123, and the 3D hair having the smallest distance d value is 3D having a shape similar to the stroke. Elected as hair.
　頭髪検索部１２５が、かかる処理を、ユーザが入力したストロークの本数に等しい回数だけ実施することで、各々のストロークに最も類似する形状をした部分を持つと推定される３Ｄ頭髪が選出される。また、頭髪検索部１２５は、選出したストロークごとの３Ｄ頭髪の選出結果を、出力部７へ出力する。 The hair search unit 125 performs such a process a number of times equal to the number of strokes input by the user, so that 3D hair estimated to have a portion having a shape most similar to each stroke is selected. Further, the hair search unit 125 outputs the selection result of the 3D hair for each selected stroke to the output unit 7.
　出力部７へ出力される選出結果の具体例を図２０に示す。図２０は、出力部７への出力例を示す図である。なお、比較のため、図２０の上段には上述した比較例における出力例を、下段には本実施形態における出力例を、それぞれ示している。 FIG. 20 shows a specific example of the selection result output to the output unit 7. FIG. 20 is a diagram showing an example of output to the output unit 7. For comparison, the upper part of FIG. 20 shows an output example in the above-mentioned comparative example, and the lower part shows an output example in the present embodiment.
　図２０に示すように、比較例および本実施形態のそれぞれにおける選出結果の違いは、前髪の形状と髪の長さに表れている。図１等で示した入力画像に含まれる被写体は、額部分を露出させる髪型を有している。 As shown in FIG. 20, the difference in the selection results between the comparative example and the present embodiment is reflected in the shape of the bangs and the length of the hair. The subject included in the input image shown in FIG. 1 and the like has a hairstyle that exposes the forehead portion.
　かかる特徴が正しく反映された場合は、選出される３Ｄ頭髪は額を露出させる傾向となることが期待されるが、比較例の左から三番目では、額を隠すような３Ｄ頭髪が選出されていることが分かる。 If these characteristics are correctly reflected, it is expected that the selected 3D hair will tend to expose the forehead, but in the third from the left of the comparative example, the 3D hair that hides the forehead is selected. You can see that there is.
　これに対し、本実施形態では、例えば不可視部分削除処理の効果により、前髪の形状が被写体に近い３Ｄ頭髪、すなわち比較例の左から三番目ほどには額を隠さず、比較的額が露出された３Ｄ頭髪が選出されていることが分かる。 On the other hand, in the present embodiment, for example, due to the effect of the invisible portion deletion process, the forehead is not hidden in the 3D hair whose bangs are close to the subject, that is, the third from the left in the comparative example, and the forehead is relatively exposed. It can be seen that 3D hair has been selected.
　また、図１等で示した入力画像に含まれる被写体は、髪型が短髪であるにも関わらず、比較例では、右から一番目および二番目のように、長髪の３Ｄ頭髪が選出されていることが分かる。 Further, as the subject included in the input image shown in FIG. 1 and the like, long hair 3D hair is selected as the first and second from the right in the comparative example, although the hairstyle is short hair. You can see that.
　このような３Ｄ頭髪が選出結果に混入した場合、選出された３Ｄ頭髪を統合して新たな３Ｄ頭髪を生成する際に、想定と異なる形状の３Ｄ頭髪が生成される可能性がある。これを防ぐためには、選出処理の精度を向上させ、不必要に髪の長い３Ｄ頭髪が選出されないように調整する必要がある。 If such 3D hair is mixed in the selection result, there is a possibility that 3D hair having a shape different from the expected shape will be generated when the selected 3D hair is integrated to generate a new 3D hair. In order to prevent this, it is necessary to improve the accuracy of the selection process and adjust so that 3D hair with unnecessarily long hair is not selected.
　そこで、本実施形態の選出結果を見ると、シルエット判定処理の効果により、被写体の頭髪のシルエットと類似した、短髪の３Ｄ頭髪を選出できていることが分かる。 Therefore, looking at the selection results of this embodiment, it can be seen that short-haired 3D hair similar to the silhouette of the subject's hair can be selected due to the effect of the silhouette determination process.
　なお、これまでの説明では、情報処理装置１０は、入力画像に対しストロークの入力を受け付け、ストロークごとに最も類似するとされる３Ｄ頭髪の選出結果を出力する以外のＵＩ（User　Interface）を持たないが、ＵＩはこれに限られるものではない。かかる変形例については、図２２を用いた説明で後述する。 In the description so far, the information processing apparatus 10 has no UI (User Interface) other than accepting the input of the stroke for the input image and outputting the selection result of the 3D hair which is considered to be the most similar for each stroke. However, the UI is not limited to this. Such a modification will be described later with reference to FIG.
＜＜３．情報処理装置の処理手順＞＞
　次に、実施形態に係る情報処理装置１０が実行する処理手順について、図２１を用いて説明する。図２１は、本開示の実施形態に係る情報処理装置１０の処理手順を示すフローチャートである。 << 3. Information processing device processing procedure >>
Next, a processing procedure executed by the information processing apparatus 10 according to the embodiment will be described with reference to FIG. 21. FIG. 21 is a flowchart showing a processing procedure of the information processing apparatus 10 according to the embodiment of the present disclosure.
　なお、図２１は図３に対応しており、図３と同様に、ストロークＳ（ｉ）一本分の処理手順を示している。 Note that FIG. 21 corresponds to FIG. 3, and similarly to FIG. 3, the processing procedure for one stroke S (i) is shown.
　また、図３と同様に、ｉは、ストロークＳのインデックス番号である。ｊは、３Ｄ頭髪ＤＢ１１１に格納された３Ｄ頭髪のインデックス番号である。ｊｍａｘは、３Ｄ頭髪ＤＢ１１１に格納されている３Ｄ頭髪の数である。ｄｃは、ストローク（ｉ）と３Ｄ頭髪（ｊ）の３Ｄ髪の毛それぞれとの距離が代入される変数である。ｄは、ストローク（ｉ）と３Ｄ頭髪（ｊ）との距離が代入される変数である。ｄｍａｘは、情報処理装置１０の処理系において、ｄにあたる値を保存するデータ形式が表現できる最大値である。 Further, as in FIG. 3, i is an index number of the stroke S. j is an index number of 3D hair stored in the 3D hair DB 111. j max is the number of 3D hairs stored in the 3D hair DB 111. d c is a variable to which the distance between the stroke (i) and the 3D hair (j) of the 3D hair is substituted. d is a variable to which the distance between the stroke (i) and the 3D hair (j) is substituted. d max is the maximum value that can be expressed in the data format for storing the value corresponding to d in the processing system of the information processing apparatus 10.
　図２１に示すように、制御部１２は、ストロークＳ（ｉ）一本分につき、ステップＳ１０１に示すループ処理を実行する。かかるループ処理は、ｊへ０が代入され、ｄへｄｍａｘが代入されて、ｊをインクリメントしながら、ｊ＜ｊｍａｘが真である間実行される。 As shown in FIG. 21, the control unit 12 executes the loop process shown in step S101 for each stroke S (i). Such a loop process is executed while j is assigned 0, d max is assigned to d, and j is incremented while j <j max is true.
　かかるループ処理において、シルエット画像生成部１２３ａが、３Ｄ頭髪（ｊ）を３Ｄ頭髪ＤＢ１１１から取得するとともに（ステップＳ１０１１）、入力画像および３Ｄ頭髪（ｊ）からシルエット画像ＭＨ，ＭＳを生成する。 In such loop processing, the silhouette image generating unit 123a is, (step S1011) to acquire 3D hair to (j) from the 3D hair DB 111, generates a silhouette image M H, M S from the input image and the 3D hair (j).
　そして、切り出し部１２３ｂが、ストロークＳ（ｉ）の始点と終点とに基づき、シルエット画像ＭＨ，ＭＳから一部（すなわち、切り出し対象領域Ａｃ）を切り出す（ステップＳ１０１２）。 The cutout portion 123b, based on the start and end points of the stroke S (i), the silhouette image M H, a part from M S (i.e., cut-out target area A c) cut out (step S1012).
　そして、算出部１２３ｃが、切り出されたシルエット画像ＭＨ，ＭＳを比較し、ＩｏＵを算出する（ステップＳ１０１３）。そして、判定部１２３ｄが、ＩｏＵが０．４５以上であるか否かを判定する（ステップＳ１０１４）。 Then, calculating unit 123c is cut out silhouette image M H, compares the M S, calculates the IOU (step S1013). Then, the determination unit 123d determines whether or not the IoU is 0.45 or more (step S1014).
　ここで、ＩｏＵが０．４５以上である場合（ステップＳ１０１４，Ｙｅｓ）、削除部１２４ｂが、深度画像ＭＤとオフセット量Ｏｄを使用して不可視分を削除する（ステップＳ１０１５）。 Here, when the IoU is 0.45 or more (step S1014, Yes), the deletion unit 124b deletes the invisible portion by using the depth image MD and the offset amount Od (step S1015).
　そして、頭髪検索部１２５が、削除部１２４ｂによって残された可視部分につき、３Ｄ頭髪（ｊ）を２Ｄ画像平面へ投影する（ステップＳ１０１６）。 Then, the hair search unit 125 projects the 3D hair (j) onto the 2D image plane with respect to the visible portion left by the deletion unit 124b (step S1016).
　そして、頭髪検索部１２５は、３Ｄ頭髪（ｊ）の３Ｄ髪の毛一本一本とストロークＳ（ｉ）との距離ｄｃを算出する（ステップＳ１０１７）。そして、頭髪検索部１２５は、最も小さい距離ｄｃの値を抽出し（ステップＳ１０１８）、距離ｄｃが距離ｄより小さいか否かを判定する（ステップＳ１０１９）。 Then, the hair search unit 125 calculates the distance d c between each 3D hair of the 3D hair (j) and the stroke S (i) (step S1017). The hair retrieval unit 125 extracts the value of the smallest distance d c (step S1018), the distance d c is determined whether the distance d is less than or not (step S1019).
　ここで、小さい場合（ステップＳ１０１９，Ｙｅｓ）、距離ｄを距離ｄｃに更新し、ｊの値を記録して（ステップＳ１０２０）、ステップＳ１０１が実行される間、ステップＳ１０１１からの処理を繰り返す。 Here, if the smaller (step S1019, Yes), and updates the distance d in the distance d c, and record the value of j (step S1020), while the step S101 is executed, the process is repeated from step S1011.
　なお、ステップＳ１０１４の条件を満たさない場合（ステップＳ１０１４，Ｎｏ）、また、ステップＳ１０１９の条件を満たさない場合（ステップＳ１０１９，Ｎｏ）、ステップＳ１０１が実行される間、ステップＳ１０１１からの処理を繰り返す。 If the condition of step S1014 is not satisfied (step S1014, No), or if the condition of step S1019 is not satisfied (step S1019, No), the process from step S1011 is repeated while step S101 is executed.
　そして、すべてのストロークＳ（ｉ）についてステップＳ１０１が実行された後、ストロークＳ（ｉ）のそれぞれにつき記録されたｊの値に基づき、ストロークＳ（ｉ）のそれぞれに対し、最も距離が小さい、すなわち最も類似性を有する３Ｄ頭髪（ｊ）が選出されることとなる。 Then, after step S101 is executed for all the strokes S (i), the distance to each of the strokes S (i) is the smallest based on the value of j recorded for each of the strokes S (i). That is, the 3D hair (j) having the most similarity is selected.
＜＜４．変形例＞＞
　なお、上述してきた実施形態には、いくつかの変形例を挙げることができる。 << 4. Modification example >>
In addition, some modification examples can be mentioned in the said embodiment.
＜４－１．第１の変形例＞
　上述した実施形態では、３Ｄ頭髪の不可視部分を判定する際のオフセット量Ｏｄを用いた計算を、典型的な髪型を想定して行った。ここに言う典型的な髪型とは、少なくとも前髪が人間にとって前方方向に伸び、額に沿って存在するような形状の髪型である。 <4-1. First variant>
In the above-described embodiment, the calculation using the offset amount Od when determining the invisible portion of the 3D hair was performed assuming a typical hairstyle. The typical hairstyle referred to here is a hairstyle having a shape such that at least the bangs extend forward for a human and exist along the forehead.
　このような形状の髪型を想定した場合、上述した実施形態で説明した設定のオフセット量Ｏｄを使用することで、可視な３Ｄ髪の毛と不可視な３Ｄ髪の毛とを分離することが可能である。 When a hairstyle having such a shape is assumed, it is possible to separate visible 3D hair and invisible 3D hair by using the offset amount Od set described in the above-described embodiment.
　ただし、ここで定義した典型的な髪型に当てはまらない場合、例えばオールバックのような髪型である場合には、上述のオフセット量Ｏｄの設定では、期待通りに可視な３Ｄ頭髪と不可視な３Ｄ頭髪とを分離できないことが予想される。 However, if the typical hairstyle defined here does not apply, for example, if the hairstyle is all-back, with the above offset amount Od setting, visible 3D hair and invisible 3D hair are expected. It is expected that it cannot be separated from.
　この理由としては、オールバックのような髪型の場合は、すべての３Ｄ頭髪が人間にとっての後方方向に向かって伸びており、深度画像ＭＤに対してオフセット量Ｏｄによるオフセットをかけたとしても、３Ｄ頭髪の半分以上が不可視であると判定される可能性が高いためである。 The reason for this in the case of hair, such as all-back, all 3D scalp hair extends rearwardly direction to humans, even multiplied by the offset by the offset amount O d relative depth image M D This is because it is highly likely that more than half of the 3D hair is determined to be invisible.
　このような場合には、オフセット量Ｏｄの設定だけでなく、可視または不可視を判定する際の比率、すなわち図１７を用いて５０％と説明した領域Ｃ１に存在する頂点数の比率についても変更する必要がある。 In such a case , not only the offset amount Od is set, but also the ratio for determining visible or invisible, that is, the ratio of the number of vertices existing in the region C1 described as 50% using FIG. 17 is changed. There is a need to.
　オールバックの場合を例とするのであれば、例えばオフセット量Ｏｄによるオフセットをかけたうえで、領域Ｃ１に１０％程度の頂点が存在すれば、かかる３Ｄ髪の毛については可視と判定する。オールバックの高さが高く、被写体の正面から撮影した入力画像に対してストロークを十分に引ける場合には、当該第１の変形例を適用することで対応することが可能である。 If the as example the case of all-back determining, for example, after having applied an offset by the offset amount O d, if there are vertex of about 10% in the region C1, and visible for such 3D hair. When the height of the all-back is high and the stroke can be sufficiently drawn with respect to the input image taken from the front of the subject, it is possible to cope with it by applying the first modification.
　なお、オールバックの高さがなく、ストロークを側面から引く必要がある場合には、次に説明する第２の変形例を用いることができる。 If there is no height of the all-back and it is necessary to pull the stroke from the side surface, the second modification described below can be used.
＜４－２．第２の変形例＞
　上述した実施形態および第１の変形例では、カメラ３を設置する方向を被写体の正面としたが、以下に示す手法を導入することで、被写体の横方向からの撮影に対応することも可能である。 <4-2. Second variant>
In the above-described embodiment and the first modification, the direction in which the camera 3 is installed is the front of the subject, but by introducing the method shown below, it is possible to shoot from the lateral direction of the subject. be.
　例えば、被写体を左方向または右方向から撮影する場合、片目、鼻、口、顎の半分、耳、頬の皮膚等が、入力画像上の個人の特徴として取得できると想定できる。これに基づき、第２の変形例では、３Ｄ頭髪を２Ｄ画像平面上へ投影する投影処理において、上記個人の特徴から得られる特徴点に対応する点を３Ｄ顔モデルデータ上で選択し、かかる対応点同士の距離が最も近づくような２つの点群同士の位置合わせを、例えばＩＣＰ（Iterative　Closest　Point）のアルゴリズムを用いて行う。かかる位置合わせを行った後は、上述した実施形態の投影処理以降の処理を行うことで、対応可能である。 For example, when shooting a subject from the left or right direction, it can be assumed that one eye, nose, mouth, half of the chin, ears, cheek skin, etc. can be acquired as personal features on the input image. Based on this, in the second modification, in the projection process of projecting the 3D hair onto the 2D image plane, the points corresponding to the feature points obtained from the above-mentioned individual characteristics are selected on the 3D face model data, and the corresponding correspondence is performed. For example, an ICP (Iterative Closest Point) algorithm is used to align two point clouds so that the distance between the points is the closest. After performing such alignment, it is possible to deal with it by performing the processing after the projection processing of the above-described embodiment.
　また、既に述べたが、上述した実施形態に係る情報処理装置１０は、入力画像に対しストロークの入力を受け付け、ストロークごとに最も類似するとされる３Ｄ頭髪の選出結果を出力する以外のＵＩを持たないが、ＵＩはこれに限られるものではない。次に、かかるＵＩに関する第３の変形例について説明する。 Further, as described above, the information processing apparatus 10 according to the above-described embodiment has a UI other than receiving the input of the stroke for the input image and outputting the selection result of the 3D hair which is considered to be the most similar for each stroke. No, but the UI is not limited to this. Next, a third modification example of the UI will be described.
＜４－３．第３の変形例＞
　図２２は、第３の変形例の説明図である。第３の変形例では、図２２に示すようなＵＩを想定する。 <4-3. Third variant>
FIG. 22 is an explanatory diagram of the third modification. In the third modification, a UI as shown in FIG. 22 is assumed.
　具体的には、図２２に示すように、第３の変形例に係るＵＩでは、例えば表示レイアウトの最上段に入力画像、および、かかる入力画像に対し描かれたストロークを表示する。 Specifically, as shown in FIG. 22, in the UI according to the third modification, for example, the input image and the stroke drawn for the input image are displayed at the top of the display layout.
　そして、かかる入力画像の下に、各ストロークに類似する３Ｄ髪の毛を有する３Ｄ頭髪の選出結果を、例えば類似性が高い順に表示し、ユーザが最終的な３Ｄ頭髪の生成に使用する３Ｄ頭髪を選択できる機能を提供する。 Then, under the input image, the selection results of 3D hair having 3D hair similar to each stroke are displayed, for example, in descending order of similarity, and the user selects the 3D hair to be used for the final 3D hair generation. Provide the functions that can be done.
　例えば、図２２の中段には、太い実線や破線の枠で囲まれた３Ｄ頭髪が、入力部５を介したユーザによる操作により、選択された様子を表している。 For example, the middle part of FIG. 22 shows how the 3D hair surrounded by a thick solid line or a broken line frame is selected by the user's operation via the input unit 5.
　なお、本実施形態は、比較例に比して３Ｄ頭髪の選出精度を向上させるものであるが、必ずしも最良の候補を自動的に選出しているとは限らない。したがって、このように、ユーザが使用する３Ｄ頭髪を選択できる機能を提供することによって、ユーザに、自身の判断によって最良とする候補を選ばせ、最終的な３Ｄ頭髪を生成させることができる。 Although this embodiment improves the selection accuracy of 3D hair as compared with the comparative example, it does not always automatically select the best candidate. Therefore, by providing the function of selecting the 3D hair to be used by the user in this way, the user can be made to select the best candidate by his / her own judgment and generate the final 3D hair.
　また、同図の最下段に示すように、併せて、選択された３Ｄ頭髪の統合結果と（最下段の左図参照）、最終的に生成される３Ｄ頭髪のイメージをプレビュー表示してもよい（最下段の右図参照）。 In addition, as shown at the bottom of the figure, the integrated result of the selected 3D hair (see the left figure at the bottom) and the image of the finally generated 3D hair may be previewed. (See the figure on the right at the bottom).
　これにより、ユーザは、最終的に生成される３Ｄ頭髪を目視しつつ、ユーザがイメージしている通りの頭髪形状が生成されるか否かを確認しながら作業を進めることが可能となる。すなわち、ユーザビリティを高めることができる。 This allows the user to proceed with the work while visually observing the finally generated 3D hair and confirming whether or not the hair shape as the user imagines is generated. That is, usability can be improved.
＜４－４．その他の変形例＞
　その他にも変形例を挙げることができる。例えばカメラ３は、単眼ＲＧＢカメラを例に挙げたが、カメラ３は被写体の形状を取得可能な撮影装置であればよく、例えば他にはＲＧＢＤカメラ等であってもよい。 <4-4. Other variants>
Other examples of modification can be given. For example, the camera 3 is a monocular RGB camera as an example, but the camera 3 may be a photographing device capable of acquiring the shape of a subject, and may be another RGBD camera or the like.
　また、例えば出力部７は、ディスプレイモニタやタッチパネルディスプレイを例に挙げたが、テレビ、プロジェクタ、スクリーン等、映像の入力を受け付け、表示する機能を有する表示装置であればいずれも使用可能である。入力部５の変形例については既に述べたため、ここでの説明は省略する。 Further, for example, the output unit 7 has taken as an example a display monitor or a touch panel display, but any display device having a function of accepting and displaying video input such as a television, a projector, and a screen can be used. Since the modification of the input unit 5 has already been described, the description thereof is omitted here.
　また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 Further, among the processes described in the above-described embodiment, all or a part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or part of it can be done automatically by a known method. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the information shown in the figure.
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、図４に示した画像取得部１２１およびストローク取得部１２２は統合されてもよい。同じく、例えば、図４に示したシルエット判定部１２３および不可視部分削除部１２４は統合されてもよい。 Further, each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured. For example, the image acquisition unit 121 and the stroke acquisition unit 122 shown in FIG. 4 may be integrated. Similarly, for example, the silhouette determination unit 123 and the invisible portion deletion unit 124 shown in FIG. 4 may be integrated.
　また、上記してきた実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のシーケンス図或いはフローチャートに示された各ステップは、適宜順序を変更することが可能である。 Further, the above-described embodiments can be appropriately combined in an area where the processing contents do not contradict each other. Further, the order of each step shown in the sequence diagram or the flowchart of the present embodiment can be changed as appropriate.
＜＜５．ハードウェア構成＞＞
　上述してきた実施形態に係る情報処理装置１０は、例えば図２３に示すような構成のコンピュータ１０００によって実現される。図２２は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。 << 5. Hardware configuration >>
The information processing apparatus 10 according to the above-described embodiment is realized by, for example, a computer 1000 having a configuration as shown in FIG. 23. FIG. 22 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing apparatus 10. The computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。 The CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。 The ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。 The HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by such a program. Specifically, the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。 The communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet). For example, the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 The input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000. For example, the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media). The media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. Is.
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１２の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１１内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。 For example, when the computer 1000 functions as the information processing apparatus 10 according to the embodiment, the CPU 1100 of the computer 1000 realizes the function of the control unit 12 by executing the information processing program loaded on the RAM 1200. Further, the information processing program according to the present disclosure and the data in the storage unit 11 are stored in the HDD 1400. The CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
＜＜６．むすび＞＞
　以上説明したように、本開示の一実施形態によれば、情報処理装置１０は、３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から上記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除する削除部１２４ｂと、削除部１２４ｂによって上記範囲が削除された上記３Ｄ顔モデルデータの残りの部分である上記３Ｄ顔モデルデータの一部が上記２Ｄ画像に含まれる上記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、上記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪を３Ｄ頭髪ＤＢ１１１（「データベース」の一例に相当）から選出する頭髪検索部１２５と、を備える。これにより、３Ｄ頭髪の選出処理の精度を向上させて、最終的に生成される３Ｄ頭髪の品質向上を実現することができる。 << 6. Conclusion >>
As described above, according to the embodiment of the present disclosure, the information processing apparatus 10 has a direction corresponding to the shooting direction of the 2D image from the side corresponding to the 2D image including the face of the subject with respect to the 3D face model data. The deletion unit 124b that deletes the range having a predetermined offset amount, and a part of the 3D face model data that is the remaining part of the 3D face model data whose range is deleted by the deletion unit 124b are converted into the 2D image. It is determined whether or not it corresponds to the hairstyle of the included subject, and if it is determined that it corresponds, the 3D hair associated with the 3D face model data is selected from the 3D hair DB111 (corresponding to an example of the "database"). The hair search unit 125 is provided. As a result, the accuracy of the 3D hair selection process can be improved, and the quality of the finally produced 3D hair can be improved.
　以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。 Although each embodiment of the present disclosure has been described above, the technical scope of the present disclosure is not limited to the above-mentioned embodiments as they are, and various changes can be made without departing from the gist of the present disclosure. be. In addition, components spanning different embodiments and modifications may be combined as appropriate.
　また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。 Further, the effects in each embodiment described in the present specification are merely examples and are not limited, and other effects may be obtained.
　なお、本技術は以下のような構成も取ることができる。
（１）
　３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から前記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除する削除部と、
　前記削除部によって前記範囲が削除された前記３Ｄ顔モデルデータの残りの部分である前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、前記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪をデータベースから選出する頭髪検索部と、
　を備える、情報処理装置。
（２）
　ユーザにより前記２Ｄ画像に対して入力された、前記被写体の髪の流れを表すストロークを取得する取得部、
　をさらに備え、
　前記頭髪検索部は、
　前記ストロークに基づいて、前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定する、
　前記（１）に記載の情報処理装置。
（３）
　前記頭髪検索部は、
　前記３Ｄ顔モデルデータの一部を前記２Ｄ画像の画像平面へ投影し、前記画像平面において、前記３Ｄ顔モデルデータの一部に含まれる３Ｄ髪の毛のそれぞれを構成する頂点と前記ストロークを構成する頂点の距離を比較することによって、前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定する、
　前記（２）に記載の情報処理装置。
（４）
　前記ストロークは、複数入力され、
　前記頭髪検索部は、
　前記ストロークのそれぞれについて、前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定する、
　前記（３）に記載の情報処理装置。
（５）
　前記削除部は、
　仮想空間に配置した仮想カメラおよび３Ｄ物体の間の距離を表す深度値を含む深度情報に基づいて、前記オフセット量を有する範囲を削除する、
　前記（３）または（４）に記載の情報処理装置。
（６）
　前記深度情報は、
　各ピクセルに前記深度値が保持された深度画像であって、
　前記削除部は、
　前記仮想空間において前記３Ｄ顔モデルデータの少なくとも顔を撮影可能に配置された前記仮想カメラが撮影したと仮定する画像の各ピクセルが保持する前記３Ｄ顔モデルデータまでの距離を前記深度値とする、
　前記（５）に記載の情報処理装置。
（７）
　前記削除部は、
　前記２Ｄ画像における被写体の目、口および顔の輪郭の位置と、前記仮想カメラから前記３Ｄ顔モデルデータを見た際の目、口および顔の輪郭の位置との誤差を最小化するように計算されたパラメータに基づき、前記仮想空間において前記３Ｄ顔モデルデータの正面に前記仮想カメラが配置されるよう位置合わせを行い、前記仮想カメラによる撮影を仮定する、
　前記（６）に記載の情報処理装置。
（８）
　前記削除部は、
　前記深度画像の各ピクセルに保持される前記深度値に対して前記仮想カメラから見た奥行き方向へ前記オフセット量を加える、
　前記（６）または（７）に記載の情報処理装置。
（９）
　前記３Ｄ顔モデルデータの一部は、前記仮想カメラから前記３Ｄ顔モデルデータを見た場合の前記３Ｄ頭髪の可視部分に相当し、
　前記削除部は、
　前記深度値に対して前記オフセット量を加えた値を、前記可視部分および当該可視部分以外の不可視部分を切り分ける閾値として用いることによって、前記不可視部分に対応する前記オフセット量を有する範囲を削除する、
　前記（８）に記載の情報処理装置。
（１０）
　前記削除部は、
　一つの前記３Ｄ髪の毛を構成するすべての頂点のうち、所定の比率以上の頂点が前記閾値を境界とする前記仮想カメラの側の領域に存在する場合に、当該３Ｄ髪の毛を前記可視部分であると判定する、
　前記（９）に記載の情報処理装置。
（１１）
　前記削除部は、
　現実空間で顔の最も前方にある前髪と生え際の距離に基づいて設定された前記オフセット量を用いる、
　前記（２）～（１０）のいずれか一つに記載の情報処理装置。
（１２）
　前記２Ｄ画像に含まれる前記被写体の頭髪部分のシルエットである第１のシルエット、および、前記３Ｄ顔モデルデータの頭髪部分のシルエットである第２のシルエットの類似性を判定するシルエット判定部、
　をさらに備え、
　前記シルエット判定部は、
　前記第１のシルエットおよび前記第２のシルエットが類似すると判定される場合に、前記３Ｄ顔モデルデータの前記３Ｄ頭髪を前記頭髪検索部による選出対象とし、類似しないと判定される場合に、前記頭髪検索部による選出対象外とする、
　前記（２）～（１１）のいずれか一つに記載の情報処理装置。
（１３）
　前記シルエット判定部は、
　前記第１のシルエットおよび前記第２のシルエットの重畳度合いを算出し、算出した前記重畳度合いに基づいて前記第１のシルエットおよび前記第２のシルエットの類似性を判定する、
　前記（１２）に記載の情報処理装置。
（１４）
　前記シルエット判定部は、
　前記重畳度合いをＩｏＵ（Intersection　over　Union）として算出し、前記ＩｏＵが所定値以上である場合に、前記第１のシルエットおよび前記第２のシルエットが類似すると判定する、
　前記（１３）に記載の情報処理装置。
（１５）
　前記シルエット判定部は、
　前記２Ｄ画像に基づいて前記第１のシルエットを示す第１の画像を生成するとともに、前記２Ｄ画像の撮影時における撮影位置および回転方向に応じて座標変換された前記３Ｄ顔モデルデータに基づいて前記第２のシルエットを示す第２の画像を生成し、前記第１の画像および前記第２の画像に基づいて前記重畳度合いを算出する、
　前記（１３）または（１４）に記載の情報処理装置。
（１６）
　前記シルエット判定部は、
　一つの前記ストロークの両端に基づいて規定される切り出し対象領域を前記第１の画像および前記第２の画像からそれぞれ切り出し、切り出された前記切り出し対象領域における前記第１のシルエットおよび前記第２のシルエットについて類似性を判定する、
　前記（１５）に記載の情報処理装置。
（１７）
　前記削除部は、
　前記３Ｄ顔モデルデータの一部から、前記切り出し対象領域に該当しない部分をさらに削除する、
　前記（１６）に記載の情報処理装置。
（１８）
　前記頭髪検索部は、
　前記ストロークのそれぞれに対応する前記３Ｄ頭髪の選出結果を類似性が高い順にユーザへ提示するとともに、選出された前記３Ｄ頭髪のそれぞれをユーザが任意に選択することによって、選択された前記３Ｄ頭髪を組み合わせたイメージをユーザへ提示する、
　前記（２）～（１７）のいずれか一つに記載の情報処理装置。
（１９）
　３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から前記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除することと、
　前記削除することにおいて前記範囲が削除された前記３Ｄ顔モデルデータの残りの部分である前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、前記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪をデータベースから選出することと、
　を含む、情報処理方法。
（２０）
　コンピュータに、
　３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から前記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除すること、
　前記削除することにおいて前記範囲が削除された前記３Ｄ顔モデルデータの残りの部分である前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、前記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪をデータベースから選出すること、
　を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 The present technology can also have the following configurations.
(1)
A deletion unit that deletes a range of 3D face model data having a predetermined offset amount from the side corresponding to the 2D image including the face of the subject in the direction corresponding to the shooting direction of the 2D image.
It is determined whether or not a part of the 3D face model data, which is the remaining part of the 3D face model data whose range is deleted by the deletion unit, corresponds to the hairstyle of the subject included in the 2D image. A hair search unit that selects 3D hair associated with the 3D face model data from the database when it is determined to correspond to the hair search unit.
An information processing device.
(2)
An acquisition unit that acquires a stroke representing the hair flow of the subject, which is input to the 2D image by the user.
Further prepare
The hair search unit
Based on the stroke, it is determined whether or not a part of the 3D face model data corresponds to the hairstyle of the subject included in the 2D image.
The information processing device according to (1) above.
(3)
The hair search unit
A part of the 3D face model data is projected onto the image plane of the 2D image, and on the image plane, the vertices constituting each of the 3D hairs included in the part of the 3D face model data and the vertices constituting the stroke. By comparing the distances of the above, it is determined whether or not a part of the 3D face model data corresponds to the hairstyle of the subject included in the 2D image.
The information processing device according to (2) above.
(4)
Multiple strokes are input,
The hair search unit
For each of the strokes, it is determined whether or not a part of the 3D face model data corresponds to the hairstyle of the subject included in the 2D image.
The information processing device according to (3) above.
(5)
The deleted part is
The range having the offset amount is deleted based on the depth information including the depth value representing the distance between the virtual camera placed in the virtual space and the 3D object.
The information processing apparatus according to (3) or (4) above.
(6)
The depth information is
A depth image in which the depth value is retained in each pixel.
The deleted part is
The depth value is the distance to the 3D face model data held by each pixel of the image assumed to be taken by the virtual camera arranged so that at least the face can be photographed in the virtual space.
The information processing device according to (5) above.
(7)
The deleted part is
Calculated to minimize the error between the positions of the contours of the eyes, mouth and face of the subject in the 2D image and the positions of the contours of the eyes, mouth and face when the 3D face model data is viewed from the virtual camera. Based on the parameters, the virtual camera is aligned so as to be arranged in front of the 3D face model data in the virtual space, and it is assumed that the image is taken by the virtual camera.
The information processing apparatus according to (6) above.
(8)
The deleted part is
The offset amount is added to the depth value held in each pixel of the depth image in the depth direction as seen from the virtual camera.
The information processing apparatus according to (6) or (7) above.
(9)
A part of the 3D face model data corresponds to a visible part of the 3D hair when the 3D face model data is viewed from the virtual camera.
The deleted part is
By using the value obtained by adding the offset amount to the depth value as a threshold value for separating the visible portion and the invisible portion other than the visible portion, the range having the offset amount corresponding to the invisible portion is deleted.
The information processing apparatus according to (8) above.
(10)
The deleted part is
Of all the vertices constituting one 3D hair, when the vertices having a predetermined ratio or more exist in the area on the side of the virtual camera with the threshold as the boundary, the 3D hair is regarded as the visible portion. judge,
The information processing apparatus according to (9) above.
(11)
The deleted part is
Using the offset amount set based on the distance between the frontmost bangs of the face and the hairline in real space.
The information processing apparatus according to any one of (2) to (10).
(12)
A silhouette determination unit for determining the similarity between the first silhouette, which is the silhouette of the hair portion of the subject included in the 2D image, and the second silhouette, which is the silhouette of the hair portion of the 3D face model data.
Further prepare
The silhouette determination unit
When it is determined that the first silhouette and the second silhouette are similar, the 3D hair of the 3D face model data is selected by the hair search unit, and when it is determined that they are not similar, the hair Excluded from selection by the search department,
The information processing apparatus according to any one of (2) to (11).
(13)
The silhouette determination unit
The degree of superimposition of the first silhouette and the second silhouette is calculated, and the similarity between the first silhouette and the second silhouette is determined based on the calculated degree of superimposition.
The information processing apparatus according to (12) above.
(14)
The silhouette determination unit
The degree of superimposition is calculated as IoU (Intersection over Union), and when the IoU is equal to or higher than a predetermined value, it is determined that the first silhouette and the second silhouette are similar.
The information processing apparatus according to (13) above.
(15)
The silhouette determination unit
The first image showing the first silhouette is generated based on the 2D image, and the 3D face model data is coordinate-converted according to the shooting position and rotation direction at the time of shooting the 2D image. A second image showing the second silhouette is generated, and the degree of superimposition is calculated based on the first image and the second image.
The information processing apparatus according to (13) or (14).
(16)
The silhouette determination unit
The cutout target area defined based on both ends of one stroke is cut out from the first image and the second image, respectively, and the first silhouette and the second silhouette in the cutout target area are cut out. To determine similarity,
The information processing apparatus according to (15) above.
(17)
The deleted part is
A part that does not correspond to the cutout target area is further deleted from a part of the 3D face model data.
The information processing apparatus according to (16) above.
(18)
The hair search unit
The selection results of the 3D hairs corresponding to each of the strokes are presented to the user in descending order of similarity, and the selected 3D hairs are selected by the user arbitrarily selecting each of the selected 3D hairs. Presenting the combined image to the user,
The information processing apparatus according to any one of (2) to (17).
(19)
With respect to the 3D face model data, the range having a predetermined offset amount in the direction corresponding to the shooting direction of the 2D image is deleted from the side corresponding to the 2D image including the face of the subject.
It is determined whether or not a part of the 3D face model data, which is the remaining part of the 3D face model data whose range is deleted by the deletion, corresponds to the hairstyle of the subject included in the 2D image. When it is determined that the hair corresponds, the 3D hair associated with the 3D face model data is selected from the database.
Information processing methods, including.
(20)
On the computer
For 3D face model data, deleting a range having a predetermined offset amount in the direction corresponding to the shooting direction of the 2D image from the side corresponding to the 2D image including the face of the subject.
It is determined whether or not a part of the 3D face model data, which is the remaining part of the 3D face model data whose range is deleted by the deletion, corresponds to the hairstyle of the subject included in the 2D image. , Select the 3D hair associated with the 3D face model data from the database when it is determined to correspond.
A computer-readable recording medium on which a program is recorded to realize the above.
　３　カメラ
　３Ｖ　仮想カメラ
　５　入力部
　７　出力部
　１０　情報処理装置
　１１　記憶部
　１１１　３Ｄ頭髪ＤＢ
　１２　制御部
　１２１　画像取得部
　１２２　ストローク取得部
　１２３　シルエット判定部
　１２３ａ　シルエット画像生成部
　１２３ｂ　切り出し部
　１２３ｃ　算出部
　１２３ｄ　判定部
　１２４　不可視部分削除部
　１２４ａ　深度画像生成部
　１２４ｂ　削除部
　１２５　頭髪検索部 3 camera 3V virtual camera 5 input unit 7 output unit 10 information processing device 11 storage unit 111 3D hair DB
12 Control unit 121 Image acquisition unit 122 Stroke acquisition unit 123 Silhouette determination unit 123a Silhouette image generation unit 123b Cutout unit 123c Calculation unit 123d Judgment unit 124 Invisible part deletion unit 124a Depth image generation unit 124b Deletion unit 125 Hair search unit

Claims (20)

  1. 　３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から前記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除する削除部と、
    　前記削除部によって前記範囲が削除された前記３Ｄ顔モデルデータの残りの部分である前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、前記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪をデータベースから選出する頭髪検索部と、
    　を備える、情報処理装置。     A deletion unit that deletes a range of 3D face model data having a predetermined offset amount from the side corresponding to the 2D image including the face of the subject in the direction corresponding to the shooting direction of the 2D image.
    It is determined whether or not a part of the 3D face model data, which is the remaining part of the 3D face model data whose range is deleted by the deletion unit, corresponds to the hairstyle of the subject included in the 2D image. A hair search unit that selects 3D hair associated with the 3D face model data from the database when it is determined to correspond to the hair search unit.
    An information processing device.
  2. 　ユーザにより前記２Ｄ画像に対して入力された、前記被写体の髪の流れを表すストロークを取得する取得部、
    　をさらに備え、
    　前記頭髪検索部は、
    　前記ストロークに基づいて、前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定する、
    　請求項１に記載の情報処理装置。     An acquisition unit that acquires a stroke representing the hair flow of the subject, which is input to the 2D image by the user.
    Further prepare
    The hair search unit
    Based on the stroke, it is determined whether or not a part of the 3D face model data corresponds to the hairstyle of the subject included in the 2D image.
    The information processing apparatus according to claim 1.
  3. 　前記頭髪検索部は、
    　前記３Ｄ顔モデルデータの一部を前記２Ｄ画像の画像平面へ投影し、前記画像平面において、前記３Ｄ顔モデルデータの一部に含まれる３Ｄ髪の毛のそれぞれを構成する頂点と前記ストロークを構成する頂点の距離を比較することによって、前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定する、
    　請求項２に記載の情報処理装置。     The hair search unit
    A part of the 3D face model data is projected onto the image plane of the 2D image, and on the image plane, the vertices constituting each of the 3D hairs included in the part of the 3D face model data and the vertices constituting the stroke. By comparing the distances of the above, it is determined whether or not a part of the 3D face model data corresponds to the hairstyle of the subject included in the 2D image.
    The information processing apparatus according to claim 2.
  4. 　前記ストロークは、複数入力され、
    　前記頭髪検索部は、
    　前記ストロークのそれぞれについて、前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定する、
    　請求項３に記載の情報処理装置。     Multiple strokes are input,
    The hair search unit
    For each of the strokes, it is determined whether or not a part of the 3D face model data corresponds to the hairstyle of the subject included in the 2D image.
    The information processing apparatus according to claim 3.
  5. 　前記削除部は、
    　仮想空間に配置した仮想カメラおよび３Ｄ物体の間の距離を表す深度値を含む深度情報に基づいて、前記オフセット量を有する範囲を削除する、
    　請求項３に記載の情報処理装置。     The deleted part is
    The range having the offset amount is deleted based on the depth information including the depth value representing the distance between the virtual camera placed in the virtual space and the 3D object.
    The information processing apparatus according to claim 3.
  6. 　前記深度情報は、
    　各ピクセルに前記深度値が保持された深度画像であって、
    　前記削除部は、
    　前記仮想空間において前記３Ｄ顔モデルデータの少なくとも顔を撮影可能に配置された前記仮想カメラが撮影したと仮定する画像の各ピクセルが保持する前記３Ｄ顔モデルデータまでの距離を前記深度値とする、
    　請求項５に記載の情報処理装置。     The depth information is
    A depth image in which the depth value is retained in each pixel.
    The deleted part is
    The depth value is the distance to the 3D face model data held by each pixel of the image assumed to be taken by the virtual camera arranged so that at least the face can be photographed in the virtual space.
    The information processing apparatus according to claim 5.
  7. 　前記削除部は、
    　前記２Ｄ画像における被写体の目、口および顔の輪郭の位置と、前記仮想カメラから前記３Ｄ顔モデルデータを見た際の目、口および顔の輪郭の位置との誤差を最小化するように計算されたパラメータに基づき、前記仮想空間において前記３Ｄ顔モデルデータの正面に前記仮想カメラが配置されるよう位置合わせを行い、前記仮想カメラによる撮影を仮定する、
    　請求項６に記載の情報処理装置。     The deleted part is
    Calculated to minimize the error between the positions of the contours of the eyes, mouth and face of the subject in the 2D image and the positions of the contours of the eyes, mouth and face when the 3D face model data is viewed from the virtual camera. Based on the parameters, the virtual camera is aligned so as to be arranged in front of the 3D face model data in the virtual space, and it is assumed that the image is taken by the virtual camera.
    The information processing apparatus according to claim 6.
  8. 　前記削除部は、
    　前記深度画像の各ピクセルに保持される前記深度値に対して前記仮想カメラから見た奥行き方向へ前記オフセット量を加える、
    　請求項６に記載の情報処理装置。     The deleted part is
    The offset amount is added to the depth value held in each pixel of the depth image in the depth direction as seen from the virtual camera.
    The information processing apparatus according to claim 6.
  9. 　前記３Ｄ顔モデルデータの一部は、前記仮想カメラから前記３Ｄ顔モデルデータを見た場合の前記３Ｄ頭髪の可視部分に相当し、
    　前記削除部は、
    　前記深度値に対して前記オフセット量を加えた値を、前記可視部分および当該可視部分以外の不可視部分を切り分ける閾値として用いることによって、前記不可視部分に対応する前記オフセット量を有する範囲を削除する、
    　請求項８に記載の情報処理装置。     A part of the 3D face model data corresponds to a visible part of the 3D hair when the 3D face model data is viewed from the virtual camera.
    The deleted part is
    By using the value obtained by adding the offset amount to the depth value as a threshold value for separating the visible portion and the invisible portion other than the visible portion, the range having the offset amount corresponding to the invisible portion is deleted.
    The information processing apparatus according to claim 8.
  10. 　前記削除部は、
    　一つの前記３Ｄ髪の毛を構成するすべての頂点のうち、所定の比率以上の頂点が前記閾値を境界とする前記仮想カメラの側の領域に存在する場合に、当該３Ｄ髪の毛を前記可視部分であると判定する、
    　請求項９に記載の情報処理装置。     The deleted part is
    Of all the vertices constituting one 3D hair, when the vertices having a predetermined ratio or more exist in the area on the side of the virtual camera with the threshold as the boundary, the 3D hair is regarded as the visible portion. judge,
    The information processing apparatus according to claim 9.
  11. 　前記削除部は、
    　現実空間で顔の最も前方にある前髪と生え際の距離に基づいて設定された前記オフセット量を用いる、
    　請求項２に記載の情報処理装置。     The deleted part is
    Using the offset amount set based on the distance between the frontmost bangs of the face and the hairline in real space.
    The information processing apparatus according to claim 2.
  12. 　前記２Ｄ画像に含まれる前記被写体の頭髪部分のシルエットである第１のシルエット、および、前記３Ｄ顔モデルデータの頭髪部分のシルエットである第２のシルエットの類似性を判定するシルエット判定部、
    　をさらに備え、
    　前記シルエット判定部は、
    　前記第１のシルエットおよび前記第２のシルエットが類似すると判定される場合に、前記３Ｄ顔モデルデータの前記３Ｄ頭髪を前記頭髪検索部による選出対象とし、類似しないと判定される場合に、前記頭髪検索部による選出対象外とする、
    　請求項２に記載の情報処理装置。     A silhouette determination unit for determining the similarity between the first silhouette, which is the silhouette of the hair portion of the subject included in the 2D image, and the second silhouette, which is the silhouette of the hair portion of the 3D face model data.
    Further prepare
    The silhouette determination unit
    When it is determined that the first silhouette and the second silhouette are similar, the 3D hair of the 3D face model data is selected by the hair search unit, and when it is determined that they are not similar, the hair Excluded from selection by the search department,
    The information processing apparatus according to claim 2.
  13. 　前記シルエット判定部は、
    　前記第１のシルエットおよび前記第２のシルエットの重畳度合いを算出し、算出した前記重畳度合いに基づいて前記第１のシルエットおよび前記第２のシルエットの類似性を判定する、
    　請求項１２に記載の情報処理装置。     The silhouette determination unit
    The degree of superimposition of the first silhouette and the second silhouette is calculated, and the similarity between the first silhouette and the second silhouette is determined based on the calculated degree of superimposition.
    The information processing apparatus according to claim 12.
  14. 　前記シルエット判定部は、
    　前記重畳度合いをＩｏＵ（Intersection　over　Union）として算出し、前記ＩｏＵが所定値以上である場合に、前記第１のシルエットおよび前記第２のシルエットが類似すると判定する、
    　請求項１３に記載の情報処理装置。     The silhouette determination unit
    The degree of superimposition is calculated as IoU (Intersection over Union), and when the IoU is equal to or higher than a predetermined value, it is determined that the first silhouette and the second silhouette are similar.
    The information processing apparatus according to claim 13.
  15. 　前記シルエット判定部は、
    　前記２Ｄ画像に基づいて前記第１のシルエットを示す第１の画像を生成するとともに、前記２Ｄ画像の撮影時における撮影位置および回転方向に応じて座標変換された前記３Ｄ顔モデルデータに基づいて前記第２のシルエットを示す第２の画像を生成し、前記第１の画像および前記第２の画像に基づいて前記重畳度合いを算出する、
    　請求項１３に記載の情報処理装置。     The silhouette determination unit
    The first image showing the first silhouette is generated based on the 2D image, and the 3D face model data is coordinate-converted according to the shooting position and rotation direction at the time of shooting the 2D image. A second image showing the second silhouette is generated, and the degree of superimposition is calculated based on the first image and the second image.
    The information processing apparatus according to claim 13.
  16. 　前記シルエット判定部は、
    　一つの前記ストロークの両端に基づいて規定される切り出し対象領域を前記第１の画像および前記第２の画像からそれぞれ切り出し、切り出された前記切り出し対象領域における前記第１のシルエットおよび前記第２のシルエットについて類似性を判定する、
    　請求項１５に記載の情報処理装置。     The silhouette determination unit
    The cutout target area defined based on both ends of one stroke is cut out from the first image and the second image, respectively, and the first silhouette and the second silhouette in the cutout target area are cut out. To determine similarity,
    The information processing apparatus according to claim 15.
  17. 　前記削除部は、
    　前記３Ｄ顔モデルデータの一部から、前記切り出し対象領域に該当しない部分をさらに削除する、
    　請求項１６に記載の情報処理装置。     The deleted part is
    A part that does not correspond to the cutout target area is further deleted from a part of the 3D face model data.
    The information processing apparatus according to claim 16.
  18. 　前記頭髪検索部は、
    　前記ストロークのそれぞれに対応する前記３Ｄ頭髪の選出結果を類似性が高い順にユーザへ提示するとともに、選出された前記３Ｄ頭髪のそれぞれをユーザが任意に選択することによって、選択された前記３Ｄ頭髪を組み合わせたイメージをユーザへ提示する、
    　請求項２に記載の情報処理装置。     The hair search unit
    The selection results of the 3D hairs corresponding to each of the strokes are presented to the user in descending order of similarity, and the selected 3D hairs are selected by the user arbitrarily selecting each of the selected 3D hairs. Presenting the combined image to the user,
    The information processing apparatus according to claim 2.
  19. 　３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から前記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除することと、
    　前記削除することにおいて前記範囲が削除された前記３Ｄ顔モデルデータの残りの部分である前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、前記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪をデータベースから選出することと、
    　を含む、情報処理方法。     With respect to the 3D face model data, the range having a predetermined offset amount in the direction corresponding to the shooting direction of the 2D image is deleted from the side corresponding to the 2D image including the face of the subject.
    It is determined whether or not a part of the 3D face model data, which is the remaining part of the 3D face model data whose range is deleted by the deletion, corresponds to the hairstyle of the subject included in the 2D image. When it is determined that the hair corresponds, the 3D hair associated with the 3D face model data is selected from the database.
    Information processing methods, including.
  20. 　コンピュータに、
    　３Ｄ顔モデルデータにつき、被写体の顔を含む２Ｄ画像に対応する側から前記２Ｄ画像の撮影方向に対応する方向へ所定のオフセット量を有する範囲を削除すること、
    　前記削除することにおいて前記範囲が削除された前記３Ｄ顔モデルデータの残りの部分である前記３Ｄ顔モデルデータの一部が前記２Ｄ画像に含まれる前記被写体の髪型に対応するか否かを判定し、対応すると判定される場合に、前記３Ｄ顔モデルデータに関連付けられた３Ｄ頭髪をデータベースから選出すること、
    　を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。     On the computer
    For 3D face model data, deleting a range having a predetermined offset amount in the direction corresponding to the shooting direction of the 2D image from the side corresponding to the 2D image including the face of the subject.
    It is determined whether or not a part of the 3D face model data, which is the remaining part of the 3D face model data whose range is deleted by the deletion, corresponds to the hairstyle of the subject included in the 2D image. , Select the 3D hair associated with the 3D face model data from the database when it is determined to correspond.
    A computer-readable recording medium on which a program is recorded to realize the above.
PCT/JP2021/021615 2020-06-15 2021-06-07 Information processing device, information processing method, and recording medium WO2021256319A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-103017 2020-06-15
JP2020103017 2020-06-15

Publications (1)

Publication Number Publication Date
WO2021256319A1 true WO2021256319A1 (en) 2021-12-23

Family

ID=79267922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021615 WO2021256319A1 (en) 2020-06-15 2021-06-07 Information processing device, information processing method, and recording medium

Country Status (1)

Country Link
WO (1) WO2021256319A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083318A (en) * 2000-09-07 2002-03-22 Sony Corp Image processing device, method, and storage medium
JP2006163871A (en) * 2004-12-08 2006-06-22 Sony Corp Image processor and processing method, and program
US20140233849A1 (en) * 2012-06-20 2014-08-21 Zhejiang University Method for single-view hair modeling and portrait editing
US20160314619A1 (en) * 2015-04-24 2016-10-27 Adobe Systems Incorporated 3-Dimensional Portrait Reconstruction From a Single Photo
WO2020063527A1 (en) * 2018-09-30 2020-04-02 叠境数字科技（上海）有限公司 Human hairstyle generation method based on multi-feature retrieval and deformation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002083318A (en) * 2000-09-07 2002-03-22 Sony Corp Image processing device, method, and storage medium
JP2006163871A (en) * 2004-12-08 2006-06-22 Sony Corp Image processor and processing method, and program
US20140233849A1 (en) * 2012-06-20 2014-08-21 Zhejiang University Method for single-view hair modeling and portrait editing
US20160314619A1 (en) * 2015-04-24 2016-10-27 Adobe Systems Incorporated 3-Dimensional Portrait Reconstruction From a Single Photo
WO2020063527A1 (en) * 2018-09-30 2020-04-02 叠境数字科技（上海）有限公司 Human hairstyle generation method based on multi-feature retrieval and deformation

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENG, L. G. ET AL.: "Automatic hair modeling from one image", 2019 INTERNATIONAL CONFERENCE ON VIRTUAL REALITY AND VISUALIZATION (ICVRV, 18 November 2019 (2019-11-18), pages 108 - 112, XP033836443, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/document/9212824> DOI: 10.1109/ICVRV47840.2019.00026 *
HU, L. W. ET AL.: "Single- view hair modeling using a hairstyle database", ACM TRANSACTIONS ON GRAPHICS, vol. 34, no. 4, 27 July 2015 (2015-07-27), XP055399332, Retrieved from the Internet <URL:https://dl.acm.org/doi/10.1145/2766931> DOI: 10.1145/2766931 *
ZHANG, M. ET AL.: "Hair-GANs: recovering 3D hair structure from a single image", ARXIV, 15 November 2018 (2018-11-15), XP0081680871, Retrieved from the Internet <URL:https://arxiv.org/abs/1911.06229> *

Similar Documents

Publication Publication Date Title
KR102658960B1 (en) System and method for face reenactment
US10860838B1 (en) Universal facial expression translation and character rendering system
US11907839B2 (en) Detail-preserving image editing techniques
KR101635730B1 (en) Apparatus and method for generating montage, recording medium for performing the method
CN110688948B (en) Method and device for transforming gender of human face in video, electronic equipment and storage medium
US9734637B2 (en) Semantic rigging of avatars
US11282257B2 (en) Pose selection and animation of characters using video data and training techniques
US10467793B2 (en) Computer implemented method and device
WO2016010761A1 (en) Hair simulation method
JP2024500896A (en) Methods, systems and methods for generating 3D head deformation models
JP2024503794A (en) Method, system and computer program for extracting color from two-dimensional (2D) facial images
US20220237751A1 (en) Techniques for enhancing skin renders using neural network projection for rendering completion
KR20230110787A (en) Methods and systems for forming personalized 3D head and face models
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
KR102604424B1 (en) A computer-readable physical recording medium on which a standard facial model-based facial feature point estimation image processing device and a standard facial model-based facial feature point estimation image processing program are recorded.
WO2021256319A1 (en) Information processing device, information processing method, and recording medium
US20230079478A1 (en) Face mesh deformation with detailed wrinkles
Vanakittistien et al. 3D hair model from small set of images
KR20110131947A (en) Image processing apparatus and method
US11983819B2 (en) Methods and systems for deforming a 3D body model based on a 2D image of an adorned subject
US20230386135A1 (en) Methods and systems for deforming a 3d body model based on a 2d image of an adorned subject
JP2023073038A (en) Information processing apparatus, information processing method, and program
WO2023211527A1 (en) Progressive transformation of face information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21826902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21826902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP