JP6872828B1 - 3D image processing device, 3D image processing method and 3D image processing program - Google Patents
3D image processing device, 3D image processing method and 3D image processing program Download PDFInfo
- Publication number
- JP6872828B1 JP6872828B1 JP2020172516A JP2020172516A JP6872828B1 JP 6872828 B1 JP6872828 B1 JP 6872828B1 JP 2020172516 A JP2020172516 A JP 2020172516A JP 2020172516 A JP2020172516 A JP 2020172516A JP 6872828 B1 JP6872828 B1 JP 6872828B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature points
- shape
- head
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000007704 transition Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000006073 displacement reaction Methods 0.000 claims abstract description 36
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 25
- 238000000926 separation method Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 11
- 210000003128 head Anatomy 0.000 description 93
- 230000008901 benefit Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】元画像における特徴部分の一部または全部を維持しつつ、３次元的に自然な形状となる画像処理を行う技術を実現する。
【解決手段】被写体の頭部を３次元的に撮影する撮影部１と、撮影された画像から複数の特徴点を含む３次元画像データである基本画像を生成する基本画像生成部２と、基本画像の画像処理にて使用する指標画像の候補となる画像を記憶する頭部画像データベース３と、記憶された画像の中から指標画像を選択する指標画像候補抽出部４と、基本画像から指標画像へ向かう特徴点の変位の経路に関する情報であって所定の変数を含む形状遷移情報を生成する遷移情報生成部５と、基本画像の特徴点のうち特異点を抽出する特異点抽出部６と、抽出された特異部分に応じて形状遷移情報の変数に対し変換処理を行う変数変換部７と、遷移情報に基づき３次元データの形状を調整する形状調整部８とを備える。
【選択図１】
図１
PROBLEM TO BE SOLVED: To realize a technique for performing image processing to obtain a three-dimensionally natural shape while maintaining a part or all of a feature portion in an original image.
SOLUTION: A photographing unit 1 for three-dimensionally photographing the head of a subject, a basic image generating unit 2 for generating a basic image which is three-dimensional image data including a plurality of feature points from the photographed image, and a basic image. A head image database 3 that stores an image that is a candidate for an index image used in image processing of an image, an index image candidate extraction unit 4 that selects an index image from the stored images, and an index image from a basic image. A transition information generation unit 5 that generates shape transition information including a predetermined variable, which is information on the displacement path of the feature points toward the image, a singular point extraction unit 6 that extracts singular points among the feature points of the basic image, and the like. It includes a variable conversion unit 7 that performs conversion processing on a variable of shape transition information according to an extracted singular portion, and a shape adjustment unit 8 that adjusts the shape of three-dimensional data based on the transition information.
[Selection Figure 1]
Figure 1
Description
本発明は、３次元頭部画像の画像処理技術に関するものである。 The present invention relates to an image processing technique for a three-dimensional head image.
近年、人物の顔写真について自動的に補正・加工処理を行う技術が利用されている。例えば、求職活動時に提出する履歴書に貼付する顔写真や見合いの際に用意する写真について、髪型の乱れの修正、眼の下の隈や吹出物の除去といった軽微な修正のほか、好印象を与える目的で瞳を大きくする、自然な笑顔にするといった画像処理がしばしば行われている。履歴書の写真等の他にも、例えば遊戯施設に設置された写真撮影機（プリント倶楽部（登録商標）等）では、撮影した自己画像にについて目全体を大きくする、鼻の穴を小さくする、顎の輪郭を削って小顔化する等の画像処理が行われている。これらの画像処理は、かつては専門家が手作業で行っていたものの、近年はコンピュータを利用した画像処理技術の活用により、自動化あるいは半自動化した処理にて行われるケースも増加している。 In recent years, a technique for automatically correcting and processing a person's face photograph has been used. For example, for the face photo to be attached to the resume submitted during job hunting and the photo to be prepared for matchmaking, minor corrections such as correction of hairstyle disorder, removal of dark circles and breakouts under the eyes, and making a good impression. Image processing such as enlarging the eyes for the purpose and making a natural smile is often performed. In addition to photographs of resumes, for example, in a photographer (Print Club (registered trademark), etc.) installed in an amusement facility, the entire eye is enlarged and the nostrils are made smaller for the self-image taken. Image processing such as scraping the contour of the jaw to make the face smaller is performed. These image processings were once performed manually by specialists, but in recent years, there have been an increasing number of cases in which automated or semi-automated processing is performed by utilizing image processing technology using a computer.
特許文献１は、このような画像処理に関する技術について開示する。具体的には、カメラのアプリケーションとして被写体の目を大きくする、顔のサイズを小さくする、目の中にキャッチライトを付加する等の機能を付加し、ユーザに対し、自分好みの画像を提供することを可能としている。また、特許文献２は、実際に撮影した画像を画面に表示した上で、利用者による目や顔の大きさ、肌の明るさ等に関する選択内容に応じた画像処理が行われる技術を開示している。 Patent Document 1 discloses a technique related to such image processing. Specifically, as a camera application, functions such as enlarging the eyes of the subject, reducing the size of the face, and adding a catch light in the eyes are added to provide the user with an image of their choice. It is possible. Further, Patent Document 2 discloses a technique in which an image actually taken is displayed on a screen, and then image processing is performed according to the selection contents regarding the size of eyes and face, the brightness of the skin, and the like by the user. ing.
しかし、特許文献１、２にて示された従来の技術は２次元の顔画像に関するものであって、３次元の頭部画像に関する補正・加工処理においては、そのまま適用することは妥当ではない。すなわち、近年は２次元のみならず３次元画像についても広く利用される傾向にあるところ、３次元の頭部画像は正面以外の角度からも確認できるため、２次元画像のように正面像についてのみ最適化された画像処理では十分ではなく、側面、背面等の異なる方向の画像についても最適化された画像処理を行う必要がある。しかしながら、そのような３次元の頭部画像に対する画像処理に関する技術は、いまだ開発されていない。 However, the conventional techniques shown in Patent Documents 1 and 2 relate to a two-dimensional face image, and it is not appropriate to apply them as they are in a correction / processing process related to a three-dimensional head image. That is, in recent years, not only two-dimensional images but also three-dimensional images have tended to be widely used. However, since a three-dimensional head image can be confirmed from an angle other than the front image, only the front image like a two-dimensional image can be confirmed. Optimized image processing is not sufficient, and it is necessary to perform optimized image processing for images in different directions such as the side surface and the back surface. However, a technique related to image processing for such a three-dimensional head image has not yet been developed.
また、顔写真の加工処理においては、履歴書に貼付する写真として好印象を与える内容に加工する場合も、変身願望等に基づき普段とは異なる態様となるよう加工する場合も、客観的な自己画像との同一性が担保できるように、ある程度は元画像における被写体の特徴を残す必要がある。加工処理の程度が大きいほど理想的な頭部画像の作成が可能である一方、元画像の被写体との関係性が消滅する程度にまで加工処理が行われると本末転倒である。実際には、元画像の特徴をどの程度残し、他の部分についてどの程度加工するかの調整が必要であるところ、熟練した専門家が手作業にて加工処理を行う場合であればともかく、自動化あるいは半自動化した処理において、元画像に現れた被写体の特徴をある程度残存させつつ画像処理を行うことは容易ではない。特許文献１、２においても、元画像における特徴を残しつつ画像処理を行う技術については、一切開示されていない。 In addition, in the processing of facial photographs, whether it is processed into a content that gives a good impression as a photograph to be attached to a resume, or if it is processed so that it has a different form from usual based on a desire for transformation, etc., it is an objective self. It is necessary to retain the characteristics of the subject in the original image to some extent so that the identity with the image can be ensured. The greater the degree of processing, the more ideal the head image can be created. On the other hand, if the processing is performed to the extent that the relationship between the original image and the subject disappears, the head image will be overturned. In reality, it is necessary to adjust how much the characteristics of the original image are retained and how much to process other parts, but even if the processing is done manually by a skilled expert, it is automated. Alternatively, in semi-automated processing, it is not easy to perform image processing while retaining some features of the subject appearing in the original image. Patent Documents 1 and 2 also do not disclose any technique for performing image processing while retaining the features of the original image.
本発明は上記の課題に鑑みてなされたものであって、３次元の頭部画像の画像処理において、元画像における特徴部分の一部または全部を維持しつつ、３次元的に自然な形状となる画像処理を行う技術を実現することを目的とする。 The present invention has been made in view of the above problems, and in the image processing of a three-dimensional head image, a three-dimensionally natural shape is obtained while maintaining a part or all of the feature portions in the original image. The purpose is to realize a technique for performing image processing.
上記目的を達成するため、請求項１にかかる画像処理装置は、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理装置であって、同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、前記基本画像における特徴点の中から、基準位置からの離隔値が第１の閾値以上となる特徴点を特異点として検出する特異点検出手段と、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行うと共に、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行う形状調整手段とを備えたことを特徴とする。なお、「頭部」とは広義の意味であって頭髪部分のみならず顔面も含み、端的には首から上の部分を含む領域を意味する。また、「特徴点」とは、頭部の３次元画像の形状を特徴づける部位に応じて定められる複数の点であり、目尻、鼻頭、口角等の外観的に明らかなもののみならず、皮膚下に存在する表情筋、骨格構造に起因した特徴部分に対応した点をも含みうる概念である。「経路」とは、２次元又は３次元的な直線あるいは曲線を意味するところ、連続的な直線・曲線のみならず直線・曲線の途中で不連続に変位するものや、連続しているものの変化率が不連続に変化するものも含む。また、当該「経路」は、必ずしも特徴点そのものを経路上に含むものに限定されない。「基準位置」とは、平均的な形状からなる頭部における各特徴点の位置を意味し、例えば、一定数以上の数の頭部における各特徴点の位置を平均化することによって定められるが、これに限定することなく、例えば性別、年齢、人種等の属性に応じるなどして予め各特徴点の位置を任意に定めて、これを「基準位置」と定義してもよい。 In order to achieve the above object, the image processing apparatus according to claim 1 is three-dimensional image data of the head of a specific target, and is a basic image in which the positions of feature points corresponding to each element constituting the head shape are specified. On the other hand, in an image processing device that performs shape adjustment processing while using an index image that is three-dimensional image data of a head having a shape different from the basic image and in which the positions of feature points corresponding to the respective elements are specified. A transition information generating means for generating shape transition information including information about a path determined based on the position of a feature point on the basic image and the position of the feature point on the index image with respect to the same element, and a transition information generating means in the basic image. Among the feature points, a singular point detecting means for detecting a feature point whose separation value from the reference position is equal to or higher than the first threshold value as a singular point, and a displacement amount of the feature point detected as a singular point as another feature point. The shape adjustment process of the basic image is performed by displacing the feature points of the basic image on the path included in the shape transition information while making it smaller than the displacement amount of the singular point, and the displacement amount of the singular point is set to the singular point. A shape adjusting means for deforming the basic image is provided so that the value divided by the displacement amount of a predetermined feature point other than the above is equal to or less than the value obtained by dividing the separation value by the first threshold value. It is characterized by that. The term "head" has a broad meaning and includes not only the hair portion but also the face, and simply means the region including the portion above the neck. Further, the "feature points" are a plurality of points defined according to the part that characterizes the shape of the three-dimensional image of the head, and are not only visually obvious points such as the outer corners of the eyes, the inner corners of the nose, and the corners of the mouth, but also the skin. It is a concept that can include points corresponding to the underlying facial muscles and characteristic parts caused by the skeletal structure. "Path" means a two-dimensional or three-dimensional straight line or curve, and changes not only in a continuous straight line / curve but also in a discontinuous displacement or continuous line in the middle of the straight line / curve. Including those whose rate changes discontinuously. Further, the "path" is not necessarily limited to the one including the feature point itself on the route. The "reference position" means the position of each feature point on the head having an average shape, and is determined by, for example, averaging the positions of each feature point on a certain number or more of heads. , Not limited to this, for example, the position of each feature point may be arbitrarily determined in advance according to attributes such as gender, age, race, etc., and this may be defined as a "reference position".
また、上記目的を達成するため、請求項２にかかる画像処理装置は、上記の発明において、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が第２の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出手段をさらに備え、前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする。 Further, in order to achieve the above object , the image processing apparatus according to claim 2 is three-dimensional image data of heads having different shapes in the above invention, and the positions of feature points corresponding to the respective elements are specified. An index for extracting one or more images in which the distance between one or more feature points detected as singular points in the basic image and feature points related to the same element is smaller than the second threshold value from the plurality of images. An image candidate extraction means is further provided, and the transition information generation means is characterized in that shape transition information is generated using an image selected from the images extracted by the index image candidate extraction means as an index image.
また、上記目的を達成するため、請求項３にかかる画像処理方法は、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、形状調整処理を行う画像処理方法であって、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出ステップと、同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出ステップにて抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップとを備えたことを特徴とする。 Further, in order to achieve the above object , the image processing method according to claim 3 is three-dimensional image data of the head of a specific target, and the positions of feature points corresponding to each element constituting the head shape are specified. Image processing that performs shape adjustment processing on the basic image while using the index image that is the three-dimensional image data of the head having a shape different from the basic image and the position of the feature point corresponding to each element is specified. It is a method , and is detected as a singular point in the basic image from a plurality of images in which the positions of feature points corresponding to the respective elements are specified, which are three-dimensional image data of heads having different shapes. An index image candidate extraction step for extracting one or more images in which the distance between the above feature points and the feature points for the same element is smaller than a predetermined threshold , the position of the feature points on the basic image for the same element , and A transition information generation step that generates shape transition information including information about a path determined based on the position of a feature point on the index image selected from the images extracted in the index image candidate extraction step, and the basics. From the feature points in the image, the singular point detection step that detects the singular point based on the distance value from the reference position, and the displacement amount of the feature point detected as the singular point are made smaller than the displacement amount of the other feature points. However, it is characterized by including a shape adjustment step for performing a shape adjustment process of the basic image by shifting a feature point of the basic image on the path included in the shape transition information.
また、上記目的を達成するため、請求項４にかかる画像処理プログラムは、特定対象の頭部の３次元画像データであり頭部形状を構成する各要素に対応した特徴点の位置が特定された基本画像に対し、前記基本画像とは異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された指標画像を利用しつつ、コンピュータに形状調整処理を行わせる画像処理プログラムであって、前記コンピュータに対し、互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出機能と、同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出機能により抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能とを実現させることを特徴とする。 Further, in order to achieve the above object , the image processing program according to claim 4 is three-dimensional image data of the head of a specific target, and the positions of feature points corresponding to each element constituting the head shape are specified. For the basic image, shape adjustment processing is performed on the computer while using the index image which is the three-dimensional image data of the head having a shape different from the basic image and the position of the feature point corresponding to each element is specified. This is an image processing program that allows the computer to perform the basic image from a plurality of images in which the positions of feature points corresponding to the respective elements are specified as three-dimensional image data of heads having different shapes. An index image candidate extraction function that extracts one or more images in which the distance between one or more feature points detected as singular points and feature points related to the same element is smaller than a predetermined threshold, and the basic image related to the same element. Transition that generates shape transition information including information about a path determined based on the position of the above feature point and the position of the feature point on the index image selected from the images extracted by the index image candidate extraction function. The information generation function, the singular point detection function that detects a singular point based on the distance value from the reference position from the feature points in the basic image, and the displacement amount of the feature point detected as the singular point are used as other feature points. It is characterized by realizing a shape adjustment function that performs shape adjustment processing of the basic image by displacing the feature points of the basic image on the path included in the shape transition information while making it smaller than the displacement amount of. And.
本発明によれば、３次元の頭部画像の画像処理において、元画像における特徴部分の一部または全部を維持しつつ、３次元的に自然な形状となる画像処理を行えるという効果を奏する。 According to the present invention, in the image processing of a three-dimensional head image, it is possible to perform image processing that gives a three-dimensionally natural shape while maintaining a part or all of the feature portions in the original image.
以下、本発明の実施の形態を図面に基づいて詳細に説明する。以下の実施の形態においては、本発明の実施の形態として最も適切と考えられる例について記載するものであり、当然のことながら、本発明の内容を本実施の形態にて示された具体例に限定して解すべきではない。同様の作用・効果を奏する構成であれば、実施の形態にて示す具体的構成以外のものであっても、本発明の技術的範囲に含まれることは勿論である。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following embodiments, examples considered to be the most appropriate embodiments of the present invention will be described, and as a matter of course, the contents of the present invention will be described in the specific examples shown in the present embodiments. It should not be limited. It goes without saying that any configuration other than the specific configuration shown in the embodiment is included in the technical scope of the present invention as long as the configuration exhibits the same action and effect.
（実施の形態１）
まず、実施の形態１にかかる３次元画像処理装置について説明する。図１に示すとおり、本実施の形態１にかかる３次元画像処理装置は、被写体の頭部を３次元的に撮影するための撮影部１と、撮影部１にて撮影された画像から複数の特徴点を含む３次元画像データである基本画像を生成する基本画像生成部２と、基本画像の画像処理にて使用する指標画像の候補となる画像を記憶する頭部画像データベース３と、頭部画像データベース３に記憶された画像の中から指標画像を選択する指標画像候補抽出部４と、基本画像から指標画像へ向かう特徴点の変位の経路に関する情報であって所定の変数を含む形状遷移情報を生成する遷移情報生成部５と、基本画像の特徴点のうち特異部分に対応する特異点を抽出する特異点抽出部６と、抽出された特異部分に応じて形状遷移情報の変数に対し変換処理を行う変数変換部７と、遷移情報に基づき３次元データの形状を調整する形状調整部８とを備える。
(Embodiment 1)
First, the three-dimensional image processing apparatus according to the first embodiment will be described. As shown in FIG. 1, the three-dimensional image processing apparatus according to the first embodiment has a plurality of photographing units 1 for three-dimensionally photographing the head of a subject and a plurality of images taken by the photographing unit 1. A basic image generation unit 2 that generates a basic image that is three-dimensional image data including feature points, a head image database 3 that stores an image that is a candidate for an index image used in image processing of the basic image, and a head. Information about the index image candidate extraction unit 4 that selects an index image from the images stored in the image database 3 and the path of displacement of the feature points from the basic image to the index image, and the shape transition information including a predetermined variable. The transition
撮影部１は、本発明における画像処理の対象となる基本画像の元画像となる画像を取得するためのものである。具体的には、撮影部１は、被写体の頭部に関し複数の異なる方向からの画像を取得する機能を有し、これらの画像を合成することによって被写体に関する３次元画像が生成可能となる。撮影部１の構成としては、全方向から画像を取得するための複数のカメラ及び合成処理を行う電子計算機によって構成されることが望ましいが、例えば、単一もしくは少数のカメラを撮影時に適宜移動させることによって全方向から画像を取得する構成等としてもよい。 The photographing unit 1 is for acquiring an image that is the original image of the basic image that is the target of image processing in the present invention. Specifically, the photographing unit 1 has a function of acquiring images from a plurality of different directions with respect to the head of the subject, and can generate a three-dimensional image of the subject by synthesizing these images. The configuration of the photographing unit 1 is preferably composed of a plurality of cameras for acquiring images from all directions and a computer that performs compositing processing. For example, a single camera or a small number of cameras are appropriately moved at the time of photographing. As a result, the image may be acquired from all directions.
基本画像生成部２は、撮影部１によって取得された元画像に基づき、表面形状に関する特徴点を含む被写体の頭部の３次元画像データである基本画像を生成するためのものである。基本画像の構成としては、いわゆるモデリング処理を行い、所定数の頂点及び頂点間の接続態様を規定することによって、表面の３次元形状を表現した形式とすることが望ましい。モデリング処理を行った場合、頂点及び頂点間の接続態様に関する情報に基づき頂点間を結ぶ辺が形成され、３本以上の辺によって囲まれた領域が面（ポリゴン）として定義され、面の集合（メッシュ）によって、被写体の頭部に関する表面形状が特定される。 The basic image generation unit 2 is for generating a basic image which is three-dimensional image data of the head of the subject including feature points related to the surface shape, based on the original image acquired by the photographing unit 1. As the composition of the basic image, it is desirable to perform so-called modeling processing and define a predetermined number of vertices and the connection mode between the vertices to form a format expressing the three-dimensional shape of the surface. When modeling processing is performed, edges connecting the vertices are formed based on information on the vertices and the connection mode between the vertices, and the area surrounded by three or more edges is defined as a face (polygon), and a set of faces (a set of faces (polygon). The mesh) identifies the surface shape of the subject's head.
基本画像生成部２は、モデリング処理等を行った結果抽出された頂点のうち、頭部形状を構成する各要素に対応した頂点について、その意味内容も含めて「特徴点」として記録する。具体的には、例えば、目、鼻、口等の部位における特定箇所及び各部位における詳細な位置関係（目尻、瞳、鼻頭、口角等）を示す特徴点に該当する頂点については、当該頂点が特徴点であることに加え、そこが目である等の情報及び目尻に相当すること等の情報が付された形式にて記録される。なお、特徴点は必ずしも外観的な特徴部分についてのみ定義される必要はなく、表情筋に起因し表情変化時等に特徴的に機能する部分や、骨格に起因して動作時に特徴的に機能する部分についても、特徴点として定義することが可能である。 The basic image generation unit 2 records, among the vertices extracted as a result of performing modeling processing, the vertices corresponding to each element constituting the head shape as "feature points" including their meanings. Specifically, for example, for a specific location in a part such as the eyes, nose, mouth, and a vertex corresponding to a feature point showing a detailed positional relationship (outer corner of the eye, pupil, nose tip, corner of mouth, etc.) in each part, the vertex is In addition to being a feature point, it is recorded in a format with information such as that it is an eye and information that it corresponds to the outer corner of the eye. It should be noted that the feature points do not necessarily have to be defined only for the appearance feature parts, and the parts that function characteristically when the facial expression changes due to the facial muscles and the features that function characteristically during operation due to the skeleton. The part can also be defined as a feature point.
また、特徴点の位置情報の形式は、３次元座標系における位置情報でもよいし、uv座標系等の表面形状を２次元展開した座標系における位置座標としてもよい。本実施の形態においては、理解を容易にするため３次元座標系にて位置を表現するものとする。３次元座標系の原点は、例えば両目の目頭間を結んだ線分の中点を原点とし、当該線分の方向の軸をｘ軸、ｘ軸を含む水平な平面上にｙ軸を設定し、ｘ軸、ｙ軸に垂直な方向にｚ軸を設定する。また、本実施の形態においては、こちらも理解を容易にする目的で、基本画像生成部２にて生成される基本画像及び頭部画像データベース３に記憶される頭部画像は、サイズに関して正規化処理（例えば、頭部の体積が等しい値となるよう必要に応じて拡大・縮小する。）が行われているものとする。 Further, the format of the position information of the feature points may be the position information in the three-dimensional coordinate system or the position coordinates in the coordinate system in which the surface shape such as the uv coordinate system is two-dimensionally expanded. In the present embodiment, the position is expressed in a three-dimensional coordinate system for easy understanding. For the origin of the three-dimensional coordinate system, for example, the midpoint of the line segment connecting the inner corners of both eyes is set as the origin, the axis in the direction of the line segment is set to the x-axis, and the y-axis is set on a horizontal plane including the x-axis. , X-axis, and z-axis are set in the direction perpendicular to the y-axis. Further, in the present embodiment, for the purpose of facilitating understanding, the basic image generated by the basic image generation unit 2 and the head image stored in the head image database 3 are normalized in terms of size. It is assumed that the processing (for example, enlargement / reduction as necessary so that the volumes of the heads have the same value) has been performed.
なお、基本画像生成部２は、モデリング処理によるメッシュ構造の生成に加え、メッシュ構造そのものには記録されない表面の微小な凹凸等の質感について２次元的に再現した質感情報や、表面の模様・色彩等に関する画像情報についても生成するものとする。基本画像生成部２によって生成されたこれらのデータを利用することによって、被写体の頭部に関する画像について、画像処理に適した低データ量であって、高精細な基本画像を実現している。 In addition to generating the mesh structure by modeling processing, the basic image generation unit 2 two-dimensionally reproduces texture information such as minute irregularities on the surface that are not recorded in the mesh structure itself, as well as surface patterns and colors. Image information related to the above shall also be generated. By using these data generated by the basic image generation unit 2, a high-definition basic image with a low amount of data suitable for image processing is realized for an image relating to the head of the subject.
頭部画像データベース３は、画像処理時に指標画像として使用する候補となる複数の頭部画像を記録するためのものである。頭部画像データベース３に記録される頭部画像の構成は、基本画像と同じく頭部の３次元画像データであって、頭部形状を構成する各要素に対応した特徴点の位置が特定されているものとする。なお、記録される頭部画像の内容としては、実在の人物に関するものでも、創作されたものでも、さらには人間以外のキャラクターに関するものであってもよい。データ形式に関しても、基本画像と同じ形式とすることが望ましいものの、異なるデータ形式にて保存されたものを使用することも可能である。 The head image database 3 is for recording a plurality of candidate head images to be used as index images during image processing. The composition of the head image recorded in the head image database 3 is the three-dimensional image data of the head as in the basic image, and the positions of the feature points corresponding to each element constituting the head shape are specified. It is assumed that there is. The content of the recorded head image may be related to a real person, created, or even a character other than a human being. Regarding the data format, it is desirable to use the same format as the basic image, but it is also possible to use the data saved in a different data format.
指標画像候補抽出部４は、頭部画像データベース３に記録された画像の中から、画像処理時に指標画像として利用する頭部画像を選択するためのものである。本実施の形態１においては、指標画像候補抽出部４は、記録されている頭部画像（記録数が多い場合は被写体の性別、年齢、人種等で共通点を有する一部のものを抽出したものとする。）を一覧表示する機能を有し、その後利用者の好み等に応じて任意の頭部画像が指定されることによって、指標画像の選択が行われるものとする。 The index image candidate extraction unit 4 is for selecting a head image to be used as an index image during image processing from the images recorded in the head image database 3. In the first embodiment, the index image candidate extraction unit 4 extracts a part of the recorded head image (when the number of recordings is large, the subject has common points such as gender, age, race, etc.). It is assumed that the index image is selected by having a function of displaying a list of) and then designating an arbitrary head image according to the user's preference or the like.
遷移情報生成部５は、基本画像と指標画像との間において同一要素に関するそれぞれにおける特徴点の位置に基づき定まる経路に関する情報を含む形状遷移情報を生成するためのものである。具体的には、頭部画像について第１形状から第２形状に変化する際に、任意の特徴点（例えば右目の目尻に対応した特徴点）の位置がどのように遷移するかについて定めた情報である。なお、本実施の形態１では理解を容易にするため、経路において基本画像及び指標画像上の特徴点を含む態様するが、これに限定されず、いずれか一方又は双方を含まない構成としてもよい。また、経路は２次元又は３次元の直線又は曲線によって構成されるところ、一部に変化率が不連続となる箇所や、位置が不連続に変化する箇所が含まれてもよい。
The transition
本実施の形態１においては第１形状を基本画像、第２形状を指標画像とした上で、任意の特徴点の第１形状における位置を（ｘ０、ｙ０、ｚ０）、第２形状における位置を（ｘ１、ｙ１、ｚ１）とした場合に、当該特徴点に関する形状遷移情報は、（ｘ、ｙ、ｚ）＝（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））としてｘ（０）＝ｘ０、ｙ（０）＝ｙ０、ｚ（０）＝ｚ０、ｘ（１）＝ｘ１、ｙ（１）＝ｙ１、ｚ（１）＝ｚ１かつ変数ｔについて０≦ｔ≦１を満たす経路に関する数式にて与えられるものとする。 In the first embodiment, the first shape is used as a basic image, the second shape is used as an index image, and the positions of arbitrary feature points in the first shape (x 0 , y 0 , z 0 ) are set to the second shape. When the position in is (x 1 , y 1 , z 1 ), the shape transition information regarding the feature point is (x, y, z) = (x (t), y (t), z (t). ) As X (0) = x 0 , y (0) = y 0 , z (0) = z 0 , x (1) = x 1 , y (1) = y 1 , z (1) = z 1. It is assumed that the variable t is given by a mathematical formula relating to a path satisfying 0 ≦ t ≦ 1.
形状遷移情報の具体的構成としては、例えば、（ｘ、ｙ、ｚ）＝（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））を第１形状における位置と第２形状における特徴点の位置を結んだ線分が考えられる。また、形状遷移中（上式における０＜ｔ＜１）のあらゆるｔの値において自然な形状となるように（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））が直線状ではなく独自に設定された曲線状の数式とする構成でもよいし、変数ｔの増減に対する（ｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ））の変位量について、一定値ではなく変数ｔの具体値に応じて不規則に変化させる構成としてもよい。 As a specific configuration of the shape transition information, for example, (x, y, z) = (x (t), y (t), z (t)) is the position in the first shape and the feature point in the second shape. A line segment connecting the positions can be considered. Also, during the shape transition (x (t), y (t), z (t)) is not linear but unique so that it becomes a natural shape at every t value of 0 <t <1 in the above equation. It may be configured as a curved mathematical expression set in, or the displacement amount of (x (t), y (t), z (t)) with respect to the increase / decrease of the variable t is not a constant value but a specific value of the variable t. It may be configured to be changed irregularly according to the above.
特異点抽出部６は、被写体の基本画像に含まれる特徴点の中から特異な位置にあるものを特異点として抽出するためのものである。本実施の形態１において特異点抽出部６は、予め用意した標準的な頭部画像である標準画像における各特徴点の位置（＝基準位置）と、基本画像における各特徴点の位置の間の距離（＝離隔値）の導出後、第１段階として距離の絶対値が予め定めた閾値以上となる特徴点を特異点として抽出し、第１段階で特徴点が抽出されなかった場合には、第２段階として他の特徴点と比較して基準位置からの距離が最も大きな値となった特徴点と、２番目に大きな値となった特徴点を特異点として抽出する機能を有する。 The singular point extraction unit 6 is for extracting a feature point included in the basic image of the subject at a singular position as a singular point. In the first embodiment, the singular point extraction unit 6 is between the position of each feature point (= reference position) in the standard image which is a standard head image prepared in advance and the position of each feature point in the basic image. After deriving the distance (= separation value), as the first step, feature points whose absolute value of the distance is equal to or greater than a predetermined threshold are extracted as singular points, and if the feature points are not extracted in the first step, As the second step, it has a function of extracting the feature point having the largest distance from the reference position as compared with other feature points and the feature point having the second largest value as singular points.
なお、標準画像の内容としては、多数の頭部画像の中から平均的な印象を与えるものを任意に選択したものとしてもよいし、標準的と思われる頭部画像を創作してもよいが、本実施の形態では頭部画像データベース３内に多数の頭部画像が保存されているため、これら多数の頭部画像の平均値をとることにより標準画像を生成することとする。また、特異点抽出において重要となるのは特徴点の位置の比較であることから、画像データとしての標準画像を生成することは必須ではなく、標準的な特徴点の位置である基準位置のみを算出して記録する態様も好ましい。 As the content of the standard image, an image that gives an average impression may be arbitrarily selected from a large number of head images, or a head image that seems to be standard may be created. Since a large number of head images are stored in the head image database 3 in the present embodiment, a standard image is generated by taking the average value of these many head images. In addition, since it is important to compare the positions of feature points in singular point extraction, it is not essential to generate a standard image as image data, and only the reference position, which is the position of the standard feature point, is used. A mode of calculating and recording is also preferable.
変数変換部７は、特異点抽出部６にて抽出された特異点に関する形状遷移情報について、変数変換処理を行うためのものである。具体的には、変数変換部７は、特異点に関する形状遷移情報を構成する数式における変数ｔをｔ／ａ（ａは１より大きい実数）に変換する処理を行う。ａが１より大きい実数であるため、変数変換部７による変数変換処理により、特異点においては変数ｔの増減に伴う変位量が抑制される。例えば、形状遷移情報を第１形状における位置と第２形状における位置を直線で結んだ線分を変数ｔの値に応じて按分した位置とする構成の場合、ｘ座標の値は変数変換処理の前後を通じてｘ（０）＝ｘ０で変わらない一方、ｔ＝１については、変換処理前であればｘ（１）の値がｘ１であったのに対し、変換処理後はｘ１ではなくｘ０とｘ１の間の値であるｘ０＋（ｘ１−ｘ０）／ａとなり、変位量が少なくなる。
The
実数ａの値については、実数かつ１より大きければ任意の値とすることが可能であるが、より好ましくは、特異点の基準位置からの離隔値を閾値で除算した値とする。このようにａを設定することにより、離隔値が大きいほどａの値が大きくなり、ｔ＝１における特異点の移動量が少なくなる。このように構成することにより、後述する形状調整部８における形状調整処理において、変数ｔに対するｘ、ｙ、ｚの変化率が同等となる特徴点間においては、特異点の変位量を他の特徴点の変位量にて除算した値が、閾値を離隔値にて除算した値よりも小さくなり、離隔値（＝基準位置からのずれ）が大きい特異点ほど、形状調整時の変位量が小さくなる。 The value of the real number a can be any value as long as it is a real number and larger than 1, but more preferably, it is a value obtained by dividing the distance value from the reference position of the singular point by a threshold value. By setting a in this way, the larger the separation value, the larger the value of a, and the smaller the amount of movement of the singular point at t = 1. With this configuration, in the shape adjustment process in the shape adjustment unit 8 described later, the displacement amount of the singular point is changed to another feature between the feature points where the rate of change of x, y, z with respect to the variable t is the same. The value divided by the displacement amount of the point is smaller than the value obtained by dividing the threshold value by the separation value, and the larger the separation value (= deviation from the reference position), the smaller the displacement amount at the time of shape adjustment. ..
また、最も特徴点間距離が大きい特異点についてａ１、次に大きい特異点についてａ１より小さい値であるａ２、その次に大きい特異点についてａ２よりも小さい値であるａ３・・・のように設定してもよい。この場合も、離隔値が大きいほどａの値が大きくなり、形状調整部８による形状調整処理の際に、離隔値が大きい特異点ほど変位量が小さくなる。 Further, a 1 the most inter-feature point distance is greater singularity, then a 2 is a 1 value less than the large singular point is a value smaller than a 2 for large singularities the next a 3 · ·・ You may set as. Also in this case, the larger the separation value, the larger the value of a, and the larger the separation value, the smaller the displacement amount during the shape adjustment process by the shape adjusting unit 8.
形状調整部８は、被写体の基本画像の形状について、調整を行うためのものである。具体的には、形状調整部６は、基本画像中の各特徴点に対し形状遷移情報中の変数を変化させることにより、第１形状たる基本画像と、第２形状たる指標画像との間における所定形状からなる頭部画像を生成する。例えば、ｔ＝０と指定した場合は被写体の基本画像そのものとなり、ｔ＝１とした場合は、特異点以外の特徴点はすべて第２形状たる指標画像と一致した頭部画像データが生成され、０＜ｔ＜１の範囲で変数ｔを変化させた場合は、第１形状と第２形状の特徴を併せ持った頭部画像データが生成される。 The shape adjusting unit 8 is for adjusting the shape of the basic image of the subject. Specifically, the shape adjusting unit 6 changes the variables in the shape transition information for each feature point in the basic image, thereby between the basic image as the first shape and the index image as the second shape. A head image having a predetermined shape is generated. For example, when t = 0 is specified, it becomes the basic image of the subject itself, and when t = 1, all the feature points other than the singular points generate head image data that matches the index image which is the second shape. When the variable t is changed in the range of 0 <t <1, head image data having the characteristics of the first shape and the second shape is generated.
なお、特異点に関しては変数ｔに関する変動量が１／ａとなるため、他の特徴点と比較して第１形状の特徴が多く残存されることとなる。例えば、形状遷移情報を第１形状における位置と第２形状における特徴点の位置を結んだ線分とし、変数変換処理においてａ＝２とした場合に、ｔ＝０．５とすると通常の特徴点については第１形状と第２形状のほぼ中間の位置となる一方、特異点の形状に関しては第１形状での位置と第２形状での位置を１：３に内分した位置となり、第１形状における特徴を大きく残す形式となる。 As for the singular point, since the amount of fluctuation with respect to the variable t is 1 / a, many features of the first shape remain as compared with other feature points. For example, if the shape transition information is a line segment connecting the position in the first shape and the position of the feature point in the second shape, and a = 2 in the variable transformation process, then t = 0.5, which is a normal feature point. Is a position approximately intermediate between the first shape and the second shape, while the shape of the singular point is a position obtained by internally dividing the position in the first shape and the position in the second shape by 1: 3. It will be a format that leaves a large feature in the shape.
次に、本実施の形態１にかかる３次元画像処理装置の動作について、図２に示すフローチャートを参照しつつ説明する。まず、本実施の形態１にかかる３次元画像処理装置は、撮像部１によって被写体の頭部に関する画像が取得され（ステップＳ１０１）、基本画像生成部２によって被写体の基本画像が生成され（ステップＳ１０２）、同じく基本画像生成部２によって基本画像中の特徴点の抽出が行われる（ステップＳ１０３）。次に、指標画像候補抽出部４によって抽出された画像の中から指標画像が選定（ステップＳ１０４）された後に、遷移情報生成部５によって、基本画像を第１形状、指標画像を第２形状として、特徴点ごとに、第１形状時の位置から第２形状時の位置までの移動経路に関する形状遷移情報が生成される（ステップＳ１０５）。
Next, the operation of the three-dimensional image processing apparatus according to the first embodiment will be described with reference to the flowchart shown in FIG. First, in the three-dimensional image processing apparatus according to the first embodiment, the image pickup unit 1 acquires an image relating to the head of the subject (step S101), and the basic image generation unit 2 generates a basic image of the subject (step S102). ), Similarly, the basic image generation unit 2 extracts feature points in the basic image (step S103). Next, after the index image is selected from the images extracted by the index image candidate extraction unit 4 (step S104), the transition
その後、特異点抽出部６によって、基本画像の特徴点の中から、標準画像において対応する特徴点（＝基準位置）との距離である離隔値が閾値以上となるものの有無を判定する（ステップＳ１０６）。閾値以上となる特徴点が存在した場合（ステップＳ１０６、Ｙｅｓ）はそのまま特異点として抽出し（ステップＳ１０７）、閾値以上のものが存在しなかった場合（ステップＳ１０６、Ｎｏ）は、離隔値が最も大きいもの及び２番目に大きいものを判定し（ステップＳ１０８）、特異点として抽出する（ステップＳ１０９）。 After that, the singularity extraction unit 6 determines whether or not the separation value, which is the distance from the corresponding feature point (= reference position) in the standard image, is equal to or greater than the threshold value among the feature points of the basic image (step S106). ). When there is a feature point above the threshold value (step S106, Yes), it is extracted as a singular point as it is (step S107), and when there is no feature point above the threshold value (step S106, No), the separation value is the highest. The larger one and the second largest one are determined (step S108) and extracted as singular points (step S109).
その後、抽出された特異点の移動経路に関する形状遷移情報に関して、変数変換部７によって、変数の変動に対し特異点の変位量を抑制するような変数変換処理が行われる（ステップＳ１１０）。最後に、形状調整部８によって、基本画像上の各特徴点について、形状遷移情報における変数ｔを変化させることを通じた形状調整が行われる（ステップＳ１１１）。特異点以外の特徴点が変数ｔによって通常どおりに変位（ｔ＝０で第１形状における位置、ｔ＝１で第２形状における位置）するのに対し、変数変換処理が行われた特異点では変位量が１／ａに留まり、他の特徴点と比較して第１形状における位置と近似した位置に留まることとなる。以上で、本実施の形態１にかかる３次元画像処理装置による画像処理動作が終了する。
After that, regarding the shape transition information regarding the movement path of the extracted singular point, the
次に、本実施の形態１にかかる３次元画像処理装置の利点について説明する。まず、本実施の形態１にかかる３次元画像処理装置では、実際に被写体を撮影した画像を基本画像とすることにより、画像処理の際に被写体の特徴を生かしつつ新たな頭部画像を生成できるという利点を有する。３次元画像では正面のみならず側面・背面の画像や凹凸まで表現する必要があるため、予め撮影した３次元画像に基づき画像処理を行うことで、被写体の３次元的な特徴を表現した元画像を使用できるという利点がある。 Next, the advantages of the three-dimensional image processing apparatus according to the first embodiment will be described. First, in the three-dimensional image processing apparatus according to the first embodiment, by using an image of an actual subject as a basic image, it is possible to generate a new head image while making the best use of the characteristics of the subject during image processing. It has the advantage of. Since it is necessary to express not only the front image but also the side and back images and unevenness in the three-dimensional image, the original image expressing the three-dimensional characteristics of the subject by performing image processing based on the three-dimensional image taken in advance. Has the advantage of being able to use.
また、本実施の形態１にかかる３次元画像処理装置は、基本画像と指標画像における同一要素に関する特徴点の位置に基づき形状遷移情報を生成し、形状遷移情報における変数を特定の値とすることにより形状調整を行っている。指標画像を設定し形状遷移情報に基づく画像処理を行うことにより半自動的な処理が可能となり、専門家による手作業等を要せずに高度な形状調整を行うことが可能となるという利点を有する。 Further, the three-dimensional image processing apparatus according to the first embodiment generates shape transition information based on the positions of feature points related to the same element in the basic image and the index image, and sets the variable in the shape transition information to a specific value. The shape is adjusted by. By setting the index image and performing image processing based on the shape transition information, semi-automatic processing becomes possible, and there is an advantage that advanced shape adjustment can be performed without the need for manual work by an expert. ..
また、本実施の形態１にかかる３次元画像処理装置は、基準位置から離隔した特徴点である特異点について、形状調整部８による形状調整処理の際に、他の特徴点よりも変位量を少なくする構成を採用している。基準位置とは標準的な頭部画像における特徴点の位置を示すものであり、基本画像における特徴点が基準位置から離隔することは、当該特徴点に対応する頭部形状の要素が標準的な形状から逸脱していることを意味する。すなわち、特異点とは基本画像における特異性ないし個性を表すものであり、本実施の形態では特異点の変位量を抑制しつつ形状調整処理を行うことで、指標画像を利用して形状調整処理を行いつつも、基本画像の特徴部分を残存させることを可能とする。これにより、本実施の形態１にかかる画像処理装置は、原画像の本質的な特徴の同一性を維持しつつ、指標画像の特徴を取り入れたた新たな画像を作出できるという利点を有する。 Further, the three-dimensional image processing apparatus according to the first embodiment displaces the singular point, which is a feature point separated from the reference position, more than the other feature points during the shape adjustment process by the shape adjusting unit 8. We have adopted a configuration that reduces the number. The reference position indicates the position of the feature point in the standard head image, and the fact that the feature point in the basic image is separated from the reference position means that the head shape element corresponding to the feature point is standard. It means that it deviates from the shape. That is, the singular point represents the peculiarity or individuality in the basic image, and in the present embodiment, the shape adjustment process is performed using the index image by performing the shape adjustment process while suppressing the displacement amount of the singular point. It is possible to retain the characteristic part of the basic image while performing the above. As a result, the image processing apparatus according to the first embodiment has an advantage that a new image incorporating the features of the index image can be created while maintaining the same essential features of the original image.
また、本実施の形態１では、離隔値が閾値よりも大きな値となった特異点に関して、特異点の変位量を特異点以外の特徴点の変位量にて除算した値が、基準位置からの離隔値を閾値にて除算した値以下となるよう形状調整処理を行うこととしている。離隔値が大きいほど標準画像からの逸脱の程度が大きく、すなわち、基本画像の特異性ないし個性を強く示すものである。離隔値の大きさに応じて特異点の変位量を小さくすることにより、特異性ないし個性として際立った部分ほど基本画像における特徴部分強く残存させることが可能となり、本実施の形態にかかる画像処理装置は、さらに原画像の本質的な特徴の同一性を維持できるという利点を有する。 Further, in the first embodiment, with respect to the singular point whose separation value is larger than the threshold value, the value obtained by dividing the displacement amount of the singular point by the displacement amount of the feature point other than the singular point is the value from the reference position. The shape adjustment process is performed so that the separation value is equal to or less than the value obtained by dividing by the threshold value. The larger the separation value, the greater the degree of deviation from the standard image, that is, the stronger the peculiarity or individuality of the basic image. By reducing the displacement amount of the singular point according to the magnitude of the separation value, it is possible to leave the characteristic portion in the basic image stronger as the portion that is more prominent as the specificity or individuality, and the image processing apparatus according to the present embodiment. Further has the advantage that the identity of the essential features of the original image can be maintained.
（実施の形態２）
次に、実施の形態２にかかる３次元画像処理装置について説明する。実施の形態２において、実施の形態１と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態１における構成要素と同一の機能を発揮するものとする。
(Embodiment 2)
Next, the three-dimensional image processing apparatus according to the second embodiment will be described. Unless otherwise specified, the components having the same name and the same reference numerals as those in the first embodiment in the second embodiment shall exhibit the same functions as the components in the first embodiment.
本実施の形態２にかかる３次元画像処理装置は、指標画像を選択する際において、被写体の基本画像と共通した特徴部分を有する頭部画像を抽出する構成を有する。図３は、実施の形態２にかかる３次元画像処理装置の構成を示す模式図である。図３に示すとおり、実施の形態２にかかる３次元画像処理装置は、実施の形態１の構成に加え、基本画像の特異点に対し、対応する特徴点の位置が近似する頭部画像を指標画像候補として抽出する指標画像候補抽出部１２を新たに備える。
The three-dimensional image processing apparatus according to the second embodiment has a configuration for extracting a head image having a feature portion common to the basic image of the subject when selecting an index image. FIG. 3 is a schematic view showing the configuration of the three-dimensional image processing apparatus according to the second embodiment. As shown in FIG. 3, the three-dimensional image processing apparatus according to the second embodiment uses a head image in which the positions of the corresponding feature points are approximated to the singular points of the basic image as an index in addition to the configuration of the first embodiment. An index image
指標画像候補抽出部１２は、頭部画像データベース３に記録された頭部画像の中から、特徴点の位置座標に基づき、被写体の基本画像に適した指標画像の候補を抽出するためのものである。具体的には、指標画像候補抽出部１２は、被写体の基本画像において特異点抽出部６によって特異点として抽出された特徴点（例えば鼻頭の位置を示す特徴点）に対し、同一の要素に関する特徴点（同じく鼻頭の位置を示す特徴点）の位置が近似する頭部画像を、指標画像候補として選択する機能を有する。本実施の形態２において「位置が近似する」とは、第１の意義としては双方における特徴点間の距離が所定の閾値以下であることを意味し、第２の意義としては頭部画像データベース３に記録された頭部画像の中で特徴点間の距離が相対的に小さいこと（例えば、距離が最も小さいものと２番目に小さいこと）を意味する。また、被写体の基本画像において特異点が複数存在する場合は、「位置が近似する」とは、第１の意義としてそれぞれの特異点に関する特徴点間距離が所定の閾値以下であること、第２の意義としてそれぞれの特異点に関する特徴点間距離の平均値が別の閾値以下であること、第３の意義として特徴点間距離の平均値が相対的に小さいことを意味する。
The index image
次に、本実施の形態２にかかる画像処理装置の動作のうち、指標画像候補抽出部１２による抽出動作について、図４のフローチャートを参照しつつ説明する。まず、特異点抽出部６によって抽出された基本画像中の特異点を把握し（ステップＳ２０１）、特異点の個数が複数であるか否かを判定する（ステップＳ２０２）。
Next, among the operations of the image processing apparatus according to the second embodiment, the extraction operation by the index image
単数の場合（ステップＳ２０２、Ｎｏ）は、当該特異点と同一の要素に関する特徴点同士の距離が閾値以下となる頭部画像が頭部画像データベース３の中に記録されているか否かを判定し（ステップＳ２０３）、記録されている場合（ステップＳ２０３、Ｙｅｓ）は、その頭部画像を指標画像候補として抽出する（ステップＳ２０４）。特徴点同士の距離が閾値以下となる頭部画像が記録されていなかった場合（ステップＳ２０３、Ｎｏ）は、記録されている頭部画像のうち、特異点と同一の要素に関する特徴点同士の距離が相対的に小さいもの（例えば１番小さいもの及び２番目に小さいもの）を抽出し（ステップＳ２０５）、抽出した頭部画像を指標画像として選択する。 In the case of a single number (steps S202, No), it is determined whether or not a head image in which the distance between feature points related to the same element as the singular point is equal to or less than a threshold value is recorded in the head image database 3. (Step S203), if recorded (step S203, Yes), the head image is extracted as an index image candidate (step S204). When a head image in which the distance between the feature points is equal to or less than the threshold value is not recorded (step S203, No), the distance between the feature points related to the same element as the singular point in the recorded head image. (For example, the smallest one and the second smallest one) are extracted (step S205), and the extracted head image is selected as an index image.
また、被写体の基本画像における特異点の個数が複数の場合（ステップＳ２０２、Ｙｅｓ）は、複数の特異点それぞれについて、特異点と同一の要素に関する特徴点同士の距離のすべてが閾値以下となる頭部画像が頭部画像データベース３の中に記録されているか否かを判定し（ステップＳ２０６）、記録されている場合（ステップＳ２０６、Ｙｅｓ）は、その頭部画像を指標画像候補として抽出する（ステップＳ２０４）。記録されていない場合（ステップＳ２０６、Ｎｏ）は、基本画像の複数の特異点それぞれに関する特徴点同士の距離の平均値が所定の閾値以下となる頭部画像が記録されているか否かを判定し（ステップＳ２０７）、記録されている場合（ステップＳ２０７、Ｙｅｓ）は、その頭部画像を指標画像候補として抽出する（ステップＳ２０４）。記録されていなかった場合（ステップＳ２０７、Ｎｏ）は、記録されている頭部画像のうち、特異点と同一の要素に関する特徴点同士の距離の平均値が相対的に小さいもの（例えば１番小さいもの及び２番目に小さいもの）を抽出し（ステップＳ２０８）、抽出した頭部画像を指標画像候補として抽出する（ステップＳ２０４）。 Further, when the number of singular points in the basic image of the subject is plurality (steps S202, Yes), for each of the plurality of singular points, the heads in which all the distances between the feature points related to the same elements as the singular points are equal to or less than the threshold value. It is determined whether or not the part image is recorded in the head image database 3 (step S206), and if it is recorded (step S206, Yes), the head image is extracted as an index image candidate (step S206). Step S204). When it is not recorded (step S206, No), it is determined whether or not a head image in which the average value of the distances between the feature points for each of the plurality of singular points of the basic image is equal to or less than a predetermined threshold value is recorded. (Step S207), if recorded (step S207, Yes), the head image is extracted as an index image candidate (step S204). When not recorded (step S207, No), among the recorded head images, the average value of the distances between the feature points related to the same elements as the singular points is relatively small (for example, the smallest). The one and the second smallest one are extracted (step S208), and the extracted head image is extracted as an index image candidate (step S204).
次に、本実施の形態２にかかる画像処理装置の利点について説明する。本実施の形態２にかかる画像処理装置は、実施の形態１における利点に加えて以下の利点を有する。 Next, the advantages of the image processing apparatus according to the second embodiment will be described. The image processing apparatus according to the second embodiment has the following advantages in addition to the advantages of the first embodiment.
すなわち、本実施の形態２にかかる画像処理装置は、形状調整処理に利用される指標画像の候補を選択する際に、基本画像にて特異点となる特徴点に関して、対応する特徴点の位置が近似する頭部画像を選択することとしている。上述のとおり特異点とは基本画像における特異性ないし個性を表すものであり、本実施の形態では特異点の変位量を抑制しつつ形状調整処理を行うことで、指標画像を利用して形状調整処理を行いつつも、基本画像の特徴部分を残存させることが可能である。 That is, in the image processing apparatus according to the second embodiment, when selecting a candidate for an index image used for the shape adjustment process, the position of the corresponding feature point is determined with respect to the feature point that is a singular point in the basic image. The head image to be approximated is selected. As described above, the singular point represents the peculiarity or individuality in the basic image, and in the present embodiment, the shape is adjusted by using the index image by performing the shape adjustment process while suppressing the displacement amount of the singular point. It is possible to retain the characteristic portion of the basic image while performing the processing.
そのため、本実施の形態２においては、指標画像の候補を抽出する際に、形状調整処理の際に特異点に関する変位が小さくなるよう、特異点に対応した特徴点と同一の要素に関する特徴点の位置が近似する頭部画像を抽出することとしている。特徴点同士の位置が近似していれば、当該特徴点間で変位させる形状調整処理において、変位量を低減することが可能である。 Therefore, in the second embodiment, when extracting the candidate of the index image, the feature points related to the same elements as the feature points corresponding to the singular points are arranged so that the displacement related to the singular points becomes small during the shape adjustment process. The head image whose position is similar is extracted. If the positions of the feature points are similar to each other, it is possible to reduce the amount of displacement in the shape adjustment process of shifting between the feature points.
また、特徴点同士の位置が近似する事実は、すなわち基本画像と指標画像が、同じ特徴点について同じ傾向の特異性ないし個性を有していることを意味している。本実施の形態２にかかる画像処理装置は、特異性ないし個性について基本画像と共通性を有する指標画像を利用して形状調整処理を行うことによって、より特異性・個性を自然な形で残しつつ、他の部分については形状調整の目的等に応じて大幅な改変等を行うことが可能となるという利点を有する。 Further, the fact that the positions of the feature points are similar means that the basic image and the index image have the same tendency of specificity or individuality for the same feature points. The image processing apparatus according to the second embodiment performs shape adjustment processing using an index image having commonality with the basic image in terms of specificity or individuality, while leaving more specificity and individuality in a natural form. , Other parts have the advantage that they can be significantly modified according to the purpose of shape adjustment and the like.
以上、実施の形態において本発明の内容について説明したが、もとより本発明の技術的範囲は実施の形態に記載した具体的構成に限定して解釈されるべきではなく、本発明の機能を実現できるものであれば、上記実施の形態に対する様々な変形例、応用例についても、本発明の技術的範囲に属することはもちろんである。 Although the contents of the present invention have been described above in the embodiments, the technical scope of the present invention should not be construed as being limited to the specific configurations described in the embodiments, and the functions of the present invention can be realized. As long as it is, it goes without saying that various modifications and applications to the above-described embodiment also belong to the technical scope of the present invention.
例えば、基本画像及び指標画像等の頭部画像の具体的な構成として、表面全体をボクセル等の微小単位の集合と規定し各微小単位の位置情報を記録した形式としてもよい。この場合、微小単位を点と近似した上で、所定の領域に対応したものを特徴点と設定した上で本発明における画像処理を行うことも可能である。また、被写体の基本画像と頭部画像データベース３に記録された頭部画像とは、異なるデータ形式からなるものとしてもよい。 For example, as a specific configuration of a head image such as a basic image and an index image, the entire surface may be defined as a set of minute units such as voxels, and the position information of each minute unit may be recorded. In this case, it is also possible to perform the image processing in the present invention after approximating a minute unit to a point and setting a point corresponding to a predetermined region as a feature point. Further, the basic image of the subject and the head image recorded in the head image database 3 may have different data formats.
また、形状遷移情報における特徴点の位置座標は、上述したｘｙｚ座標系、ｕｖ座標系のほか、例えば３次元極座標系でも、ベクトル表示の形式でも、任意の形式のものを用いることが可能である。また、各座標における原点の設定や、各座標軸の設定についても、任意のものを用いることが可能である。 Further, as the position coordinates of the feature points in the shape transition information, in addition to the above-mentioned xyz coordinate system and uv coordinate system, for example, a three-dimensional polar coordinate system or a vector display format can be used in any format. .. Further, any one can be used for setting the origin at each coordinate and setting each coordinate axis.
形状遷移情報の内容についても、実施の形態にて記載した態様に限定して解釈すべきでない。例えば、変数を「ｔ」以外のものとすることはもとより、互いに位置が近接する複数の特徴点からなるグループごとに別個独立の変数を使用する（すなわち、近接しない特徴点においては、それぞれの変数に応じて独立した形状変化がなされる。）こととしてもよいし、すべての特徴点について、それぞれ独自の変数を使用することとしてもよい。特異点に対応した特徴点の変位量低減の方法についても、変数変換処理を行うもの以外に、変数はそのままとして特異点に対応した特徴点についてのみ、別個独立の変数値を入力する方法としてもよい。 The content of the shape transition information should not be interpreted only in the mode described in the embodiment. For example, let alone set the variable to something other than "t", use a separate and independent variable for each group consisting of a plurality of feature points whose positions are close to each other (that is, for feature points that are not close to each other, each variable is used. Independent shape changes may be made according to the above), or each feature point may have its own variable. Regarding the method of reducing the displacement amount of the feature points corresponding to the singular points, in addition to the method of performing the variable transformation processing, it is also possible to input the variable values separately and independently only for the feature points corresponding to the singular points without changing the variables. Good.
また、実施の形態１、２における閾値の設定について、条件を満たさないケースが発生しないよう、余裕を持った値で設定することも有効である。例えば、実施の形態１において、各特徴点同士の距離の平均値ないし中央値を閾値とし、当該閾値以上となる特徴点を特異点として抽出してもよい。また、実施の形態２において、特異点に関する特徴点同士の距離の閾値について、全画像に関する当該特徴点同士の距離の平均値又は中央値としてもよい。このように閾値を設定した場合、必ず条件を満たすものが存在することから、さらなる対応を行うことなく処理を行うことが可能である。 Further, it is also effective to set the threshold value in the first and second embodiments with a value having a margin so that a case where the condition is not satisfied does not occur. For example, in the first embodiment, the average value or the median value of the distances between the feature points may be set as a threshold value, and the feature points having the threshold value or more may be extracted as singular points. Further, in the second embodiment, the threshold value of the distance between the feature points related to the singularity may be the average value or the median value of the distances between the feature points related to all the images. When the threshold value is set in this way, there is always something that satisfies the condition, so that the processing can be performed without further measures.
さらに、実施の形態２における特異点に関する特徴点同士の距離の閾値については、特徴点ごとに異なる値の閾値を使用することとしてもよく、距離が相対的に小さいものを選択する際に距離が最も小さい頭部画像のみを選択する、あるいは最も小さいものから５番目に小さいものまで５通りの頭部画像を選択することとしてもよい。また、指標画像候補抽出部４、１２において複数の指標画像の候補を提示してユーザに選択させる態様のみならず、指標画像候補抽出部４、１２が単一の頭部画像を選択し、選択したものをそのまま指標画像として使用する態様とすることも可能である。
Further, as for the threshold value of the distance between the feature points related to the singular points in the second embodiment, a threshold value having a different value for each feature point may be used, and when selecting a relatively small distance, the distance is increased. Only the smallest head image may be selected, or five head images may be selected from the smallest to the fifth smallest. Further, not only the mode in which the index image
また、指標画像候補抽出部４、１２については、複数の頭部画像を候補として抽出する機能のみならず、指標画像として単一の頭部画像を指定する構成としてもよい。本実施の形態１、２では複数の候補画像から利用者の好み等を反映したものを選択する構成を採用しているが、当初より単一の頭部画像を指標画像として選択する構成としてもよいし、複数の候補を抽出した後、所定の条件を満たす画像を指標画像として選択する構成としてもよい。
Further, the index image
また、本実施の形態では具体的な「装置」として本発明の説明を行ったが、もとより本発明の形態は「装置」に限定されるのではなく、「方法」又は「コンピュータプログラム」によって実現することも可能である。 Further, in the present embodiment, the present invention has been described as a specific "device", but the mode of the present invention is not limited to the "device" but is realized by a "method" or a "computer program". It is also possible to do.
本発明は、３次元の頭部画像の画像処理技術として利用可能である。 The present invention can be used as an image processing technique for a three-dimensional head image.
１ 撮影部
２ 基本画像生成部
３ 頭部画像データベース
４、１２ 指標画像候補抽出部
５ 遷移情報生成部
６ 特異点抽出部
７ 変数変換部
８ 形状調整部
1 Imaging unit 2 Basic image generation unit 3
Claims (4)
同一要素に関する前記基本画像上の特徴点の位置と前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成手段と、
前記基本画像における特徴点の中から、基準位置からの離隔値が第１の閾値以上となる特徴点を特異点として検出する特異点検出手段と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行うと共に、特異点の変位量を特異点以外の所定の特徴点の変位量にて除算した値が、前記離隔値を前記第１の閾値にて除算した値以下となるよう、前記基本画像の変形処理を行う形状調整手段と、
を備えたことを特徴とする画像処理装置。 A three-dimensional image of a head having a shape different from that of the basic image with respect to a basic image in which the positions of feature points corresponding to each element constituting the head shape are specified, which is three-dimensional image data of the head of a specific target. An image processing device that performs shape adjustment processing while using an index image that is data and specifies the positions of feature points corresponding to each of the elements.
A transition information generating means for generating shape transition information including information on a path determined based on the position of a feature point on the basic image and the position of the feature point on the index image with respect to the same element.
Among the feature points in the basic image, a singular point detecting means for detecting a feature point whose distance value from the reference position is equal to or higher than the first threshold value as a singular point.
The basic image is obtained by displacing the feature points of the basic image on the path included in the shape transition information while making the displacement amount of the feature points detected as singular points smaller than the displacement amounts of other feature points. The shape adjustment process of the above is performed , and the value obtained by dividing the displacement amount of the singular point by the displacement amount of a predetermined feature point other than the singular point becomes equal to or less than the value obtained by dividing the separation value by the first threshold value. , A shape adjusting means for performing deformation processing of the basic image, and
An image processing device characterized by being equipped with.
前記遷移情報生成手段は、前記指標画像候補抽出手段によって抽出された画像の中から選択された画像を指標画像として形状遷移情報を生成することを特徴とする請求項１記載の画像処理装置。 One or more feature points detected as singular points in the basic image from a plurality of images in which the positions of the feature points corresponding to the elements are specified, which are three-dimensional image data of heads having different shapes. Further provided with index image candidate extraction means for extracting one or more images in which the distance between feature points related to the same element is smaller than the second threshold value.
The image processing apparatus according to claim 1, wherein the transition information generation means generates shape transition information using an image selected from the images extracted by the index image candidate extraction means as an index image.
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出ステップと、
同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出ステップにて抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成ステップと、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出ステップと、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整ステップと、
を備えたことを特徴とする画像処理方法。 A three-dimensional image of a head having a shape different from that of the basic image with respect to a basic image in which the positions of feature points corresponding to each element constituting the head shape are specified, which is three-dimensional image data of the head of a specific target. It is an image processing method that performs shape adjustment processing while using an index image that is data and in which the positions of feature points corresponding to the above elements are specified.
One or more feature points detected as singular points in the basic image from a plurality of images in which the positions of the feature points corresponding to the elements are specified, which are three-dimensional image data of heads having different shapes. An index image candidate extraction step for extracting one or more images in which the distance between feature points related to the same element is smaller than a predetermined threshold, and
Includes information about a path determined based on the position of a feature point on the basic image with respect to the same element and the position of a feature point on the index image selected from the images extracted in the index image candidate extraction step. Transition information generation step to generate shape transition information,
A singular point detection step of detecting a singular point based on a distance value from a reference position from the feature points in the basic image,
The basic image is obtained by displacing the feature points of the basic image on the path included in the shape transition information while making the displacement amount of the feature points detected as singular points smaller than the displacement amounts of other feature points. The shape adjustment step that performs the shape adjustment process of
An image processing method characterized by being provided with.
前記コンピュータに対し、
互いに異なる形状の頭部の３次元画像データであり前記各要素に対応した特徴点の位置が特定された複数の画像の中から、前記基本画像において特異点として検出された１以上の特徴点と同一の要素に関する特徴点の間の距離が所定の閾値よりも小さい１以上の画像を抽出する指標画像候補抽出機能と、
同一要素に関する前記基本画像上の特徴点の位置と、前記指標画像候補抽出機能により抽出された画像の中から選択された前記指標画像上の特徴点の位置とに基づき定まる経路に関する情報を含む形状遷移情報を生成する遷移情報生成機能と、
前記基本画像における特徴点の中から、基準位置からの離隔値に基づき特異点を検出する特異点検出機能と、
特異点として検出された特徴点の変位量を他の特徴点の変位量よりも小さくしつつ、前記形状遷移情報に含まれる前記経路上で前記基本画像の特徴点を変位させることにより前記基本画像の形状調整処理を行う形状調整機能と、
を実現させることを特徴とする画像処理プログラム。 A three-dimensional image of a head having a shape different from that of the basic image with respect to a basic image in which the positions of feature points corresponding to each element constituting the head shape are specified, which is three-dimensional image data of the head of a specific target. It is an image processing program that causes a computer to perform shape adjustment processing while using an index image that is data and in which the positions of feature points corresponding to the above elements are specified.
For the computer
One or more feature points detected as singular points in the basic image from a plurality of images in which the positions of the feature points corresponding to the elements are specified, which are three-dimensional image data of heads having different shapes. An index image candidate extraction function that extracts one or more images in which the distance between feature points related to the same element is smaller than a predetermined threshold, and
A shape including information on a path determined based on the position of a feature point on the basic image with respect to the same element and the position of the feature point on the index image selected from the images extracted by the index image candidate extraction function. A transition information generation function that generates transition information, and
A singular point detection function that detects a singular point based on the distance value from the reference position from the feature points in the basic image,
The basic image is obtained by displacing the feature points of the basic image on the path included in the shape transition information while making the displacement amount of the feature points detected as singular points smaller than the displacement amounts of other feature points. The shape adjustment function that performs the shape adjustment process of
An image processing program characterized by realizing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020172516A JP6872828B1 (en) | 2020-10-13 | 2020-10-13 | 3D image processing device, 3D image processing method and 3D image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020172516A JP6872828B1 (en) | 2020-10-13 | 2020-10-13 | 3D image processing device, 3D image processing method and 3D image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6872828B1 true JP6872828B1 (en) | 2021-05-19 |
| JP2022064030A JP2022064030A (en) | 2022-04-25 |
Family
ID=75896325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020172516A Active JP6872828B1 (en) | 2020-10-13 | 2020-10-13 | 3D image processing device, 3D image processing method and 3D image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6872828B1 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005265A (en) * | 2002-05-31 | 2004-01-08 | Omron Corp | Image composing method, device and system |
| JP2007213386A (en) * | 2006-02-10 | 2007-08-23 | Nikon Corp | Image processor, image processing program and imaging device |
| JP2009211513A (en) * | 2008-03-05 | 2009-09-17 | Toshiba Corp | Image processing apparatus and method therefor |
| JP2014174855A (en) * | 2013-03-12 | 2014-09-22 | Casio Comput Co Ltd | Image processor, image processing method and program |
-
2020
- 2020-10-13 JP JP2020172516A patent/JP6872828B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022064030A (en) | 2022-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
| CN105938627B (en) | Processing method and system for virtual shaping of human face | |
| CN112669447B (en) | Model head portrait creation method and device, electronic equipment and storage medium | |
| US8150205B2 (en) | Image processing apparatus, image processing method, program, and data configuration | |
| EP2923306B1 (en) | Method and apparatus for facial image processing | |
| CN105184735B (en) | A kind of portrait deformation method and device | |
| CN110390632B (en) | Image processing method and device based on dressing template, storage medium and terminal | |
| JP5949331B2 (en) | Image generating apparatus, image generating method, and program | |
| KR20180066160A (en) | Method and apparatus for facial image processing, and storage medium | |
| JP5842541B2 (en) | 3D portrait creation device | |
| JPH0962865A (en) | Face picture processing method and face picture processor | |
| CN111008927B (en) | Face replacement method, storage medium and terminal equipment | |
| WO2020177434A1 (en) | Image processing method and apparatus, image device, and storage medium | |
| JP6111723B2 (en) | Image generating apparatus, image generating method, and program | |
| JP2011053942A (en) | Apparatus, method and program for processing image | |
| JP2005216131A (en) | Makeup simulation apparatus, method and program | |
| CN117157673A (en) | Method and system for forming personalized 3D head and face models | |
| CN116648733A (en) | Method and system for extracting color from facial image | |
| KR100411760B1 (en) | Apparatus and method for an animation image synthesis | |
| JP6872828B1 (en) | 3D image processing device, 3D image processing method and 3D image processing program | |
| JP2000285222A (en) | Eye makeup simultaion system | |
| JP5966657B2 (en) | Image generating apparatus, image generating method, and program | |
| JP2009253324A (en) | Image processing unit, image processing method, and program | |
| JP2009251634A (en) | Image processor, image processing method, and program | |
| JP6287170B2 (en) | Eyebrow generating device, eyebrow generating method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201013 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201014 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210209 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210413 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6872828 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |