JP5526239B2 - Method, device, and computer-readable medium for generating digital pictures - Google Patents

Method, device, and computer-readable medium for generating digital pictures Download PDF

Info

Publication number
JP5526239B2
JP5526239B2 JP2012548921A JP2012548921A JP5526239B2 JP 5526239 B2 JP5526239 B2 JP 5526239B2 JP 2012548921 A JP2012548921 A JP 2012548921A JP 2012548921 A JP2012548921 A JP 2012548921A JP 5526239 B2 JP5526239 B2 JP 5526239B2
Authority
JP
Japan
Prior art keywords
curve
curves
measure
picture
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012548921A
Other languages
Japanese (ja)
Other versions
JP2013517554A (en
Inventor
ホック・ソン・セア
フェン・ティアン
シュエシアン・シエ
イン・ヘ
Original Assignee
ナンヤン テクノロジカル ユニヴァーシティ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ナンヤン テクノロジカル ユニヴァーシティ filed Critical ナンヤン テクノロジカル ユニヴァーシティ
Priority to PCT/SG2010/000003 priority Critical patent/WO2011087451A1/en
Publication of JP2013517554A publication Critical patent/JP2013517554A/en
Application granted granted Critical
Publication of JP5526239B2 publication Critical patent/JP5526239B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects

Description

実施形態は、コンピュータグラフィックスおよび科学的可視化の分野に関する。例として、実施形態は、3次元(3D)オブジェクトに関する曲線の抽出、抽出された曲線に基づく3Dオブジェクトを示すデジタルピクチャの生成、および3Dオブジェクトを伝えるためのスタイライズされたアニメーションなどの方法に関する。   Embodiments relate to the field of computer graphics and scientific visualization. By way of example, embodiments relate to methods such as extracting a curve for a three-dimensional (3D) object, generating a digital picture showing a 3D object based on the extracted curve, and stylized animation to convey the 3D object.
コンピュータグラフィックスは、科学、芸術および情報伝達のための一般的な媒体になっている。コンピュータグラフィックスは、長い間、リアルな画像を生成する際のクエストと規定されてきた。この分野における研究は、非常に成功をおさめてきた。コンピュータは、現在、写真と区別することができないほどリアルな画像を生成することができる。しかしながら、非常に多くの態様では、リアルでない画像が、より効果的で好ましい。経験により、非常に多くの場合、同じシーンの芸術的な描画または絵画は、写真に比べて、情報伝達の効率と視覚体験の満足度の両方が高くなることが証明されることが分かる。これは、主に、様々な芸術的スタイルの抽象性を理由とする。機械マニュアルおよび医療テキストでは、複雑な構造および形状の内側を探索するために、写真の代わりにイラストレーションが広く使用されている例がより多く見られる。「必要に応じて詳細に、可能な限り単純に」というルールの下で、従来のイラストレーションは、特に、情報伝達において効率的である。また、非フォトリアリスティック画像は、写真と比較して、形状の特定の特徴に着目しつつ、無関係の詳細を省くこと、微かな属性および隠れた部分を露出させること、特徴的なスタイリスティックな選択を用いて複雑なシーンを分類すること、および視覚的な過負荷を防ぐために形状を単純化することなど、多くの利点を有することも分かる。近年、非フォトリアリスティックレンダリングの分野における多くの研究が行われてきた。   Computer graphics has become a common medium for science, art and communication. Computer graphics has long been defined as a quest in creating realistic images. Research in this area has been very successful. Computers can now produce images that are so real that they cannot be distinguished from photographs. However, in so many aspects non-realistic images are more effective and preferred. Experience shows that very often the artistic drawing or painting of the same scene proves to be both more efficient in communicating information and more satisfying in the visual experience than photography. This is mainly due to the abstraction of various artistic styles. In machine manuals and medical texts, there are more examples where illustrations are widely used instead of photographs to explore inside complex structures and shapes. Under the rule of “detailed as needed, as simple as possible”, conventional illustrations are particularly efficient in communicating information. Also, non-photorealistic images are characteristically more stylish than photos, while focusing on specific features of the shape, omitting extraneous details, exposing subtle attributes and hidden parts. It can also be seen that it has many advantages such as using selection to classify complex scenes and simplifying the shape to prevent visual overload. In recent years, much research has been done in the field of non-photorealistic rendering.
伝統的な芸術およびイラストレーションの最も重要な技法のうちの1つとして、線描画は、高度に抽象的で比較的簡潔な様式で、大量の情報を表すことができる。コンピュータ生成線描画は、コンピュータグラフィックスの始まりから開発されてきた。近年、非フォトリアリスティックレンダリング技法が改善された結果として、コンピュータ生成線描画は大幅に改善されてきた。   As one of the most important techniques of traditional art and illustration, line drawing can represent large amounts of information in a highly abstract and relatively concise manner. Computer generated line drawing has been developed since the beginning of computer graphics. In recent years, computer-generated line drawing has been greatly improved as a result of improvements in non-photorealistic rendering techniques.
従来の線描画の情報伝達の効果および知覚的体験の美しさから発想を得て、3Dオブジェクトの形状のためのコンピュータ作成線描画において広範囲な研究が実行されている。Appelは、物体空間におけるシルエットおよびシャープな特徴の抽出、ならびに画像空間におけるレンダリングのための方法を提案した(「The notion of quantitative invisibility and the machine rendering of solids」1967年、第22回national conferenceの議事録)。Goochらは、対話型技術によるイラストレーションレーションシステムを紹介した(「Interactive technical illustration」1999年symposium on Interactive 3D graphicsの議事録)。HertzmannおよびZorinは、滑らかな表面上のシルエットを抽出し、線描画を自動的に生成するためのアルゴリズムを提案した(「Illustrating smooth surfaces」Siggraph 2000の議事録)。3D形状の内部の構造および複雑度を伝えるために、Kalninsらは、WYSIWYG NPR描画システムにおいてしわを描画するための方法を提案し(「WYSIWYG NPR:Drawing strokes directly on 3d models」Siggraph 2002の議事録)、Interranteらは、透明皮膚面を強調するために、リッジ線およびバレー線を使用した(「Enhancing transparent skin surfaces with ridge and valley lines」IEEE Visualization 1995)。WilsonおよびMaは、ペンとインクのスタイルの線描画を用いて幾何学的複雑度を表現する方法について記載した(「Representing complexity in computer−generated pen−and−ink illustrations」NPAR 2004の議事録)。Niらは、3Dメッシュからのマルチスケール線描画に着目し、コンピュータ生成線描画で示された形状特徴のサイズをビューに依存して制御するための方法を提示した(「Multi−scale line drawings from 3D meshes」2006年symposium on Interactive 3D graphicsの議事録)。   Extensive research has been carried out in computer-generated line drawing for 3D object shapes, inspired by the effect of information transmission in conventional line drawing and the beauty of perceptual experience. Appel proposed a method for the extraction of silhouettes and sharp features in object space, and rendering in image space ("The notion of quantitative and the machine rendering of solids", 1967, the second annual event of the 22nd annual conference. Record). Gooch et al. Introduced an illustration system based on interactive technology ("Interactive technical illustration", 1999 Symposium on Interactive 3D graphics). Hertzmann and Zorin proposed an algorithm for extracting silhouettes on smooth surfaces and automatically generating line drawings ("Illustrating smooth surfaces" Sigma Graph 2000 proceedings). To convey the internal structure and complexity of 3D shapes, Kalnins et al. Proposed a method for drawing wrinkles in the WYSIWYG NPR drawing system ("WYSIWYG NPR: Drawing strokes on 3d models" siggraph 2002 ), Interrante et al. Used ridge lines and valley lines to enhance the transparent skin surface ("Enhancing transformant skin surfaces and valley lines" IEEE Visualization 1995). Wilson and Ma described a method of expressing geometric complexity using pen and ink style line drawing (the minutes of “Representing complexity in computer-generated pen-and-ink illustrations” NPAR 2004). Ni et al. Focused on multi-scale line drawing from 3D mesh and presented a method for controlling the size of shape features shown in computer-generated line drawing depending on the view ("Multi-scale line drawings from 3D meshes ”(2006 minutes on Symposium on Interactive 3D graphics).
最先端のコンピュータ生成線描画するシステムでは、多くのカテゴリーの特徴線が広く使用されている。境界線は、表面が開いている3Dモデルで見られるこれらの特徴線のうちの1つである。等光線は、トゥーンシェーディング領域間のシェーディング境界でもある表面の一定の照明の線である。自己交差線は、モデルの表面が交差している場所である。これらのうち、輪郭、暗示輪郭、リッジ、およびバレーは、近年における最も代表的な特徴線である。輪郭は、通常、シルエットの可視部分と定義され、表面がビューワから離れ、見えなくなる線である。輪郭は、モデルと背景とを区別する場合の最も強力な手掛かりを示す。DeCarloらによって提案された暗示輪郭(「Suggestive contours for conveying shape」Siggraph 2003の議事録)は、表面の実際の輪郭の延長線と見なされる。暗示輪郭は、表面のはっきりと見える部分に描かれた線であり、視点をほんの少しだけ変えることによって本来の輪郭が見えるようになり、暗示輪郭が形状を明解に伝える。暗示輪郭は、アニメーションシーケンスにおいて特に重要であるビューに依存した特徴線の先駆である。クレスト線とも呼ばれるリッジ線およびバレー線は、表面がそれに沿ってシャープに湾曲する、表面上の曲線である。これらの線は、CAD/CAM(コンピュータ支援設計およびコンピュータ支援製造)アプリケーションで広く使用される、形状変動に関する最もパワフルなディスクリプタのうちの1つである。   In a state-of-the-art computer-generated line drawing system, many categories of feature lines are widely used. The boundary line is one of these feature lines found in a 3D model with an open surface. An equi-ray is a line of constant illumination on the surface that is also a shading boundary between toon shading regions. The self-intersection line is where the model surfaces intersect. Of these, contours, implied contours, ridges, and valleys are the most representative feature lines in recent years. A contour is usually defined as the visible part of a silhouette, and is a line whose surface leaves the viewer and disappears. The contour shows the most powerful clue when distinguishing between the model and the background. The implicit contour proposed by DeCarlo et al. (The minutes of “Suggestive controls for conveying shape” Sigma 2003) is considered an extension of the actual contour of the surface. An implied contour is a line drawn on a clearly visible part of the surface, and the original contour can be seen by changing the viewpoint slightly, and the implied contour clearly conveys the shape. Implied contours are the precursors of view-dependent feature lines that are particularly important in animation sequences. Ridge and valley lines, also called crest lines, are curves on the surface along which the surface curves sharply. These lines are one of the most powerful descriptors for shape variation, widely used in CAD / CAM (Computer Aided Design and Computer Aided Manufacturing) applications.
最新の特徴線ではあるが、これらの線のうちのいずれも、単独では、すべての視覚的に重要な特徴を捕捉することができない。輪郭は、形状内部の構造および複雑度を捕捉することができないので、輪郭のみが非常に制限される。暗示輪郭は、凸領域の顕著な特徴を示すことができず、白いリッジ/バレー線は、表面上に固定し、アニメーションにおける自然な線描画ではなく、より表面マーク状に現れやすい視線に依存しない特徴線である。   Although these are the latest feature lines, none of these lines alone can capture all visually important features. Since the contour cannot capture the structure and complexity within the shape, only the contour is very limited. Implicit contours cannot show prominent features of convex areas, and white ridge / valley lines are fixed on the surface and are not a natural line drawing in animation, and do not depend on gazes that appear more like surface marks It is a characteristic line.
したがって、デジタルピクチャの知覚的な一貫性を高めることができ、ユーザに望ましい線描画を達成する際の自由度を与えることができる、3Dオブジェクトの曲線を抽出する改善された方法を使用して、3Dオブジェクトのデジタルピクチャを生成することが望ましい。   Thus, using an improved method of extracting curves for 3D objects that can increase the perceptual consistency of digital pictures and give the user freedom in achieving the desired line drawing, It is desirable to generate a digital picture of a 3D object.
さらに、3Dオブジェクトのデジタルピクチャの生成を、デジタルピクチャのビデオシーケンスのスタイライズに関する動的設定を用いたデジタルピクチャのビデオシーケンスの生成まで拡張することも望ましい。換言すると、デジタルピクチャコヒーレンスを用いたアニメーションの生成の方法を提供することが望ましい。このコンテキストにおいて、アニメーションとは、デジタルピクチャのビデオシーケンスを指す。スタイライズとは、性質または慣習によるのではなく、スタイルまたはスタイリスティックパターンによるデジタルピクチャ、またはデジタルピクチャのシーケンスの提示を指し得る。たとえば、スタイライズは、非フォトリアリスティックアプリケーションの特性であり得る。このコンテキストにおいて、デジタルピクチャコヒーレンスは、ビデオシーケンス内の異なる複数のデジタルピクチャ間のスタイライズの一貫性を指すことがある。   It is also desirable to extend the generation of a digital picture of a 3D object to the generation of a digital picture video sequence using dynamic settings relating to the stylization of the digital picture video sequence. In other words, it would be desirable to provide a method of generating animation using digital picture coherence. In this context, animation refers to a video sequence of digital pictures. Stylization may refer to the presentation of a digital picture, or sequence of digital pictures, in a style or stylistic pattern, rather than by nature or convention. For example, styling can be a property of a non-photorealistic application. In this context, digital picture coherence may refer to the consistency of styling between different digital pictures in a video sequence.
一実施形態では、デジタルピクチャを生成するための方法が提供され、本方法は、複数の曲線の各々に関する3次元表現を受信するステップであって、各曲線が、3次元オブジェクトの形状を少なくとも部分的に表す、受信するステップと、3次元表現によって与えられた3次元情報を使用して、曲線の3次元表現に基づいて、複数の曲線を少なくとも1つの曲線グループにグループ化するステップと、曲線グループの曲線に基づいて、各曲線グループをピクチャエレメントに関連付けるステップと、ピクチャエレメントを使用して、デジタルピクチャを形成するステップとを含む。   In one embodiment, a method is provided for generating a digital picture, the method comprising receiving a three-dimensional representation for each of a plurality of curves, each curve at least partly representing a shape of a three-dimensional object. Representatively receiving, using the three-dimensional information provided by the three-dimensional representation, grouping a plurality of curves into at least one curve group based on the three-dimensional representation of the curve, and the curve Associating each curve group with a picture element based on the curve of the group, and using the picture element to form a digital picture.
他の実施形態によれば、上述の方法によるデバイスおよびコンピュータ可読媒体が提供される。   According to other embodiments, devices and computer-readable media according to the above-described method are provided.
方法の独立請求項に従属する請求項に記載された実施形態は、適用可能な対応するデバイスおよびコンピュータ可読媒体ついても同様にあてはまることに留意されたい。   It should be noted that the embodiments recited in the claims subordinate to the independent method claims apply equally to corresponding devices and computer-readable media where applicable.
図面は必ずしも一定の縮尺で示されておらず、その代わり、様々な実施形態の原理を例示する際に、全体として拡大されている。以下の説明において、下記の図面を参照して、様々な実施形態について説明する。   The drawings are not necessarily drawn to scale, but instead are enlarged as a whole in illustrating the principles of the various embodiments. In the following description, various embodiments will be described with reference to the following drawings.
一実施形態における表面上のPELの定義を示す図である。FIG. 3 is a diagram illustrating the definition of PEL on a surface in one embodiment. (a)〜(d)は、PELの効果を示す図である。(A)-(d) is a figure which shows the effect of PEL. (a)〜(d)は、PELの得るための3Dオブジェクトに対するメイン光および補助光の効果を示す図である。(A)-(d) is a figure which shows the effect of the main light and auxiliary light with respect to 3D object for obtaining PEL. (a)〜(f)は、3Dオブジェクトに対する局所的な補助光の調節を示す図である。(A)-(f) is a figure which shows adjustment of the local auxiliary light with respect to 3D object. (a)は、頂点(x,y)、(x,y)、および(x,y)の一例を示す図であり、(b)は、面座標系を示す図である。(A) the vertex (x 1, y 1), a diagram showing an example of a (x 2, y 2), and (x 3, y 3), (b) is a diagram showing a surface coordinate system is there. (a)〜(f)は、異なる複数の視点において異なる複数の3Dオブジェクトについて抽出されたPELの図である。(A)-(f) is a figure of PEL extracted about a plurality of different 3D objects in a plurality of different viewpoints. 一実施形態における複数のデジタルピクチャを備えるビデオシーケンスを生成するプロセスを示す図である。FIG. 3 illustrates a process for generating a video sequence comprising a plurality of digital pictures in one embodiment. 一実施形態における方法を示す図である。FIG. 3 illustrates a method in one embodiment. 一実施形態におけるデバイスを示す図である。FIG. 2 illustrates a device in one embodiment. 2つの曲線の連続性の判断を示す図である。It is a figure which shows the judgment of the continuity of two curves. 2つの曲線の平行性の判断を示す図である。It is a figure which shows the judgment of the parallelism of two curves. 閉曲線につながるべき2つの曲線の可能性の判断を示す図である。It is a figure which shows judgment of the possibility of two curves which should be connected to a closed curve. (a)〜(c)は、異なる複数のデジタルピクチャ間の曲線グループ化を示す図である。(A)-(c) is a figure which shows the curve grouping between several different digital pictures. 3Dオブジェクトを示す図である。It is a figure which shows 3D object. 図14(a)に示された3Dオブジェクトからの抽出された曲線を1つのスタイルで表現した図である。It is the figure which expressed the curve extracted from 3D object shown by Fig.14 (a) by one style. 図14(a)に示された3Dオブジェクトからの抽出された曲線を別のスタイルで表現した図である。It is the figure which expressed the curve extracted from 3D object shown by Fig.14 (a) by another style. (a)〜(b)は、異なる複数のデジタルピクチャ間の単一の曲線対応の判断の一例を示す図である。(A)-(b) is a figure which shows an example of the judgment of the single curve correspondence between several different digital pictures. 一実施形態によるコンピュータを示す図である。1 is a diagram illustrating a computer according to one embodiment. FIG.
エッジ検出は、コンピュータビジョンにおけるよく研究された課題である。2D画像では、エッジポイントは、勾配の大きさが勾配方向で最大であると仮定されるポイントと定義される。人間の視覚および知覚における観察より、輝度の急激な変化は、3D情報を表現および回復するために決定的な役割を果たすことが分かる。また、観察により、一般的な照明条件および反射条件下における照明された3Dオブジェクトのグレースケール画像の場合、輝度勾配の方向に沿った画像強度の2次方向導関数のゼロ交差は、3Dオブジェクトのリッジおよびバレーの近くで生じることが分かる。画像処理におけるエッジ検出から発想を得て、一実施形態では、光極値線(PEL)と呼ばれることがあるタイプの曲線は、3Dオブジェクトの表面への直接的な照明の局所的な変動を特徴づけると定義される。   Edge detection is a well-studied task in computer vision. In a 2D image, an edge point is defined as a point where the gradient magnitude is assumed to be maximum in the gradient direction. From observations in human vision and perception, it can be seen that sudden changes in brightness play a crucial role in representing and recovering 3D information. Also, by observation, in the case of a grayscale image of an illuminated 3D object under general illumination and reflection conditions, the zero crossing of the second directional derivative of the image intensity along the direction of the intensity gradient is It can be seen that it occurs near ridges and valleys. Inspired by edge detection in image processing, in one embodiment, a type of curve, sometimes referred to as a light extreme line (PEL), features local variations in direct illumination to the surface of a 3D object. Defined.
一実施形態では、PELは、勾配の方向における照明の変動が局所的な最大値に達する3Dオブジェクトの表面上の点のセットである。   In one embodiment, the PEL is a set of points on the surface of the 3D object where the illumination variation in the direction of the gradient reaches a local maximum.
図1に、PELの定義を示す。   FIG. 1 shows the definition of PEL.
図1において滑らかな表面パッチS:D⊂R−>Rであるとすると、照明関数f:S−>Rは、C連続性であると仮定することができる。このコンテキストでは、Rは、2次元の実空間、すなわち、実数の対のベクトル空間を指す。Rは、3次元の実空間、すなわち、実数の3つ組のベクトル空間を指し得る。Cは、第3の導関数が存在し、それが連続性であることを意味する。 If the smooth surface patch S: DSR 2- > R 3 in FIG. 1, the illumination function f: S-> R can be assumed to be C 3 continuity. In this context, R 2 refers to a two-dimensional real space, ie, a vector space of real pairs. R 3 may refer to a three-dimensional real space, ie, a real triple vector space. C 3, the third derivative is present, it means that it is a continuity.
図1に示すように任意の点p∈Sであるとすると、nは、表面パッチS上の点Pにおける表面法線である。接ベクトルSおよびSは、表面パッチSの点p上の局所座標系を定義する。ただし、 Assuming that an arbitrary point pεS as shown in FIG. 1, n is a surface normal at a point P on the surface patch S. The tangent vectors S u and S v define a local coordinate system on the point p of the surface patch S. However,
である。Sが正規のパッチである場合、SおよびSは、線形に独立しており、接空間の基礎を形成する。 It is. If S is a regular patch, S u and S v are linearly independent and form the basis of the tangent space.
fの勾配は、   The gradient of f is
と定義することができ、ただし、fおよびfは、スカラー関数fの偏導関数、すなわち、 Where f u and f v are the partial derivatives of the scalar function f, ie
および and
であり、E、FおよびGは、Sの第1の基本形式の係数、すなわち、E=(S,S)、F=(S,S)およびG=(S,S)であり、(,)は、内積である。図1に示すように任意の点p∈Sであるとすると、nは、表面パッチS上の点Pにおける表面法線であり、wは、表面パッチS上の点Pの接空間上のfの勾配の単位ベクトル、すなわち、 Where E, F and G are the coefficients of the first basic form of S, ie E = (S u , S u ), F = (S u , S v ) and G = (S v , S v ), And (,) is an inner product. Assuming that an arbitrary point pεS as shown in FIG. 1, n is the surface normal at the point P on the surface patch S, and w is f on the tangent space of the point P on the surface patch S. Unit vector of gradients, i.e.
とする。次いで、PELは、
||∇f||=0 および D||∇f||<0 (2)
を満たす点のセットとして定義することができる。Dは、方向導関数オペレータと呼ばれる。スカラー関数gの場合、Dg=(∇g,w)は、wに沿った方向導関数である。直観的にいうと、Dは、方向wに沿った関数fの変化を測定し得る。
And Then PEL is
D w || ∇f || = 0 and D w D w || ∇f || < 0 (2)
Can be defined as a set of points that satisfy D w is referred to as the direction derivative operator. For a scalar function g, D w g = (∇g, w) is the directional derivative along w. Intuitively speaking, D w may measure changes in the function f along the direction w.
||∇f||=0の全域解は、閉曲線または表面境界で終端する曲線を形成する。したがって、表面は、2つの領域に、すなわち、D||∇f||>0を満たす領域と、D||∇f||<0を満たす領域とに分割され得る。一実施形態では、PELは、D||∇f||<0、つまり、照明の変動が、局所的最大値に達する曲線の一部に対応する。PELは、効果的にも、3Dオブジェクトの形状に関する有用な情報を伝える。 A global solution with D w || ∇f || = 0 forms a closed curve or a curve that terminates at a surface boundary. Thus, the surface can be divided into two regions: a region satisfying D w || ∇f ||> 0 and a region satisfying D w || ∇f || <0. In one embodiment, PEL corresponds to D w D w || ∇f || <0, that is, the portion of the curve where the illumination variation reaches a local maximum. PEL effectively conveys useful information about the shape of the 3D object.
図2(a)〜(d)には、3Dオブジェクトの形状を示すためのPELが示される。   2A to 2D show a PEL for indicating the shape of the 3D object.
図2(a)は、3Dオブジェクトの表面200を示している。図2(b)の点線は、表面200上のD||∇f||<0を満たす曲線を示している。図2(c)の点線は、表面200上のD||∇f||=0およびD||∇f||<0を満たす曲線を示している。図2(d)は、D||∇f||>0の領域202およびD||∇f||<0の領域204を示している。 FIG. 2A shows the surface 200 of the 3D object. The dotted line in FIG. 2B indicates a curve that satisfies D w D w || ∇f || <0 on the surface 200. The dotted line in FIG. 2C shows a curve that satisfies D w || ∇f || = 0 and D w D w || ∇f || <0 on the surface 200. FIG. 2D shows a region 202 where D w || ∇f ||> 0 and a region 204 where D w || ∇f || <0.
図2(a)に示された表面200を参照すると、D||∇f||=0の全域解は、閉曲線または表面境界で終端する曲線を形成する。これらの曲線は、表面200を2つの領域、すなわち、D||∇f||>0を満たす領域(図2(d)において濃い灰色に色付けされている)と、D||∇f||<0(図2(d)において薄い灰色に色付けされている)とに分割する。(図2(b)の点線で示される曲線で示される)PELは、D||∇f||<0、すなわち、照明の変動が局所的最大値に達する曲線の一部に対応する。図2(c)の点線で示される曲線は、D||∇f||=0、およびD||∇f||<0を満たす点に対応し、3Dオブジェクトの形状に関する有用な情報を伝えない。隠れている表面上の曲線は、(b)および(c)には図示されていないことに留意されたい。 Referring to the surface 200 shown in FIG. 2 (a), a global solution with D w || ∇f || = 0 forms a closed curve or a curve that terminates at a surface boundary. These curves show that the surface 200 is in two regions: a region satisfying D w || ∇f ||> 0 (colored dark gray in FIG. 2D), and D w || ∇f. || <0 (colored light gray in FIG. 2D). PEL (indicated by the curve indicated by the dotted line in FIG. 2 (b)) corresponds to D w D w || ∇f || <0, ie the part of the curve where the illumination variation reaches a local maximum To do. The curve indicated by the dotted line in FIG. 2C corresponds to a point satisfying D w || ∇f || = 0 and D w D w || ∇f || <0, and is useful for the shape of the 3D object. Don't pass on information. Note that the curves on the hidden surface are not shown in (b) and (c).
一実施形態では、3D表面の照明は、全体的にユーザ制御可能であり得る。換言すると、一実施形態では、ユーザは、光を自由に操作することによって、所望の照明を達成することができる。   In one embodiment, the illumination of the 3D surface may be entirely user controllable. In other words, in one embodiment, the user can achieve the desired illumination by manipulating light freely.
3D形状の照明は、ライティング状態に依存する。グラフィックスにおいて利用可能な様々なライトモデルのうち、一般的に使用されるものは、以下のPhongの鏡面反射モデルである。   3D shaped illumination depends on the lighting conditions. Among the various light models available in graphics, the one commonly used is the following Phong specular model.
ただし、nは表面法線、1は光方向、vはビュー方向、rは反射方向であり、nは、より滑らかである表面に関するより大きい光沢定数であり、kは周囲反射定数であり、Iは周囲光強度であり、kは拡散反射定数であり、Iは拡散光強度であり、kは鏡面反射定数であり、Iは鏡面反射強度である。このコンテキストでは、表面の点Pにおける表面法線は、Pにおけるその表面に対する接平面に垂直なベクトルと呼ぶことができる。Iambは、周囲光を表す。このコンテキストでは、周囲光は、物体またはシーンを取り囲む照明を指し得る。Idiffは、表面から発する拡散光を表し、これは均一に方向づけられた光である。Ispecは鏡面反射光を表す。このコンテキストでは、鏡面反射光は、表面からの反射ベクトルに沿っておよびそのまわりで、より強く反射する光を指し得る。式(3)は、光方向とビュー方向との関数なので、対応するPELは、一実施形態ではビューおよび光に依存する。 However, n is the surface normal, 1 light direction, v is the view direction, r is the reflection direction, n s is greater than glossy constant for the surface is smoother, k a is an ambient reflection constant , the I a is the ambient light intensity, k d is the diffusion reflection constant, I d is the diffuse light intensity, k s is the specular reflection constant, the I s is the specular reflection intensity. In this context, the surface normal at a surface point P can be referred to as a vector perpendicular to the tangent plane to that surface at P. I amb represents ambient light. In this context, ambient light may refer to illumination that surrounds an object or scene. I diff represents diffuse light emanating from the surface, which is light that is uniformly directed. I spec represents specular reflection light. In this context, specular light may refer to light that reflects more strongly along and around the reflection vector from the surface. Since equation (3) is a function of the light direction and the view direction, the corresponding PEL depends on the view and light in one embodiment.
一実施形態では、PELは3D表面全体の照明の大幅な変動を強調することによって、3Dオブジェクトの形状を伝える。人の知覚的な経験に関して3D形状を示すことを目的として、一実施形態では、ライトモデルは、形状変動に強く関係する照明変動を強調し得、形状変動とあまり関係のない照明変動、または形状変動と直交する照明変動を抑制し得る。Phongのシェーディングモデルでは、周囲光Iambは一定であり、照明の変動には寄与しない。拡散光Idiffは、形状と光の両方によって判断される。拡散光Idiffの変動は、表面法線の変動に大きく影響をうける。鏡面反射光Ispecは、ビュー状態およびライティング状態によって支配され、3D表面の直交係数と見なされ得る。換言すると、Ispecは、3Dオブジェクトの形状に関連しない。したがって、鏡面反射光Ispecは、3D形状にあまり関係せず、3D形状のイラストレーションのために分散している特徴線を導入し得る。一方、鏡面反射光Ispecの出力因子は、より計算負荷が高い。したがって、一実施形態では、周囲光Iambおよび鏡面反射光Ispecを無視することができ、拡散光のみが考慮される。したがって、式(3)から、ライティングモデルについて、以下の式が得られる。
I=k(n・l) (4)
In one embodiment, the PEL conveys the shape of the 3D object by highlighting significant variations in illumination across the 3D surface. For the purpose of presenting a 3D shape with respect to a human perceptual experience, in one embodiment, the light model may emphasize illumination variations that are strongly related to shape variations, and illumination variations, or shapes, that are less related to shape variations. Illumination fluctuations orthogonal to the fluctuations can be suppressed. In the Phong shading model, the ambient light I amb is constant and does not contribute to illumination fluctuations. The diffused light I diff is determined by both shape and light. The fluctuation of the diffused light I diff is greatly affected by the fluctuation of the surface normal. The specular reflected light I spec is dominated by the view state and the lighting state and can be regarded as the orthogonal coefficient of the 3D surface. In other words, I spec is not related to the shape of the 3D object. Thus, the specular reflected light I spec can introduce feature lines that are not very related to the 3D shape and are dispersed for the illustration of the 3D shape. On the other hand, the output factor of the specular reflection light I spec has a higher calculation load. Thus, in one embodiment, ambient light I amb and specular reflection light I spec can be ignored and only diffuse light is considered. Therefore, the following equation is obtained for the lighting model from Equation (3).
I = k d I d (n · l) (4)
視線ベクトルvは、式(4)には関与しないことに留意されたい。したがって、一実施形態における対応するPELは、ビュー位置に依存しない。   Note that the line-of-sight vector v is not involved in equation (4). Thus, the corresponding PEL in one embodiment is independent of view position.
別の実施形態では、ビュー依存特性が、実世界アプリケーションでは望ましいことがある。より重要なことに、実世界の3D形状はジオメトリが複雑であり、多くの詳細をもつので、特徴線の場所を特定するための基準は、たいてい、様々な部分に応じて変動し、かなり主観的である。したがって、ユーザに、所望のイラストレーションを制御するために、より自由を提供することが望ましい。ビュー依存性、ならびにユーザ可制御性および性能要件を満たすために、一実施形態では、PELに関する以下のライトモデルが提供される。   In another embodiment, view dependent properties may be desirable in real world applications. More importantly, because real-world 3D shapes are complex in geometry and have many details, the criteria for locating feature lines often vary with different parts and are quite subjective. Is. It is therefore desirable to provide the user with more freedom to control the desired illustration. To meet view dependencies, as well as user controllability and performance requirements, in one embodiment, the following light model for PEL is provided:
一実施形態で使用されるライトモデルは、メイン光を備える。たとえば、光線が視線ベクトルと平行な指向性光を使用するメイン光の光源が設定される。換言すると、用語「メイン光」は、車両のライティングシステムで広く使用される「ヘッドライト」に類似している。この設定は、人の知覚的な経験に基づく。したがって、光は、視点が変化したときに移動する。その結果、照明および対応するPELは、ビュー依存性である。   The light model used in one embodiment comprises main light. For example, a light source for main light that uses directional light whose light rays are parallel to the line-of-sight vector is set. In other words, the term “main light” is similar to “headlights” that are widely used in vehicle lighting systems. This setting is based on human perceptual experience. Thus, the light moves when the viewpoint changes. As a result, the illumination and the corresponding PEL are view dependent.
一実施形態では、使用されるライトモデルは、少なくとも1つの補助光をさらに備える。換言すると、ユーザが指定する区域に特に強い光をあてるために、任意選択のスポット光が使用され得る。照明に対する補助光の寄与は、局所的なものであり、ビュー位置に依存しない。n・lを用いて補助的なスポット光を定義することができるが、ユーザが関心をもっている領域に局所的に適用することができ、それにより、異なる複数の区域においてPELを制御する自由がユーザに与えられる。   In one embodiment, the light model used further comprises at least one auxiliary light. In other words, an optional spot light can be used to shine particularly intense light on the area specified by the user. The contribution of the auxiliary light to the illumination is local and does not depend on the view position. n · l can be used to define an auxiliary spotlight, but it can be applied locally to the region of interest to the user, thereby giving the user the freedom to control the PEL in different areas Given to.
図3(a)〜(d)に、一実施形態におけるPELの抽出のためのライトモデルの適用例を示す。ライトモデルの効果を示すために、3Dオブジェクトとなるようにスタンフォードバニーを選択する。   3A to 3D show application examples of a light model for extracting PEL in one embodiment. To show the effect of the light model, select a Stanford bunny to be a 3D object.
図3(a)は、スタンフォードバニーを示すためのPELの抽出のために、4つの光がスタンフォードバニーに適用されることを示している。メイン光#1は、方向がカメラ方向と一致する指向性光である。メイン光#1のみを使用することによって、PELは、大まかな形状をうまく伝えることができる(図3(b))。   FIG. 3 (a) shows that four lights are applied to the Stanford bunny for extraction of the PEL to show the Stanford bunny. The main light # 1 is directional light whose direction matches the camera direction. By using only the main light # 1, the PEL can convey the rough shape well (FIG. 3B).
しかしながら、((b)に示すように)目および足に関するいくつかの重要な線が失われていることがある。次いで、補助的なスポット光#2および#3を使用して、(図3(c)に示すように)より多くの詳細を加えるために、目および足に関する局所的なコントラストを増大させることができる。スタンフォードバニー本体は、レリーフが小さいことに起因して、多くの短い特徴線を含んでいることに留意されたい。しかしながら、これらの線は、ユーザにあまり好まれないことがある。これらの線を除去するために、本体に関する局所的なコントラストを減少させるために、図3(a)に示される別の補助的なスポット光#4を加えることができる。図3(d)に示される結果として、小さな特徴線のほとんどが成功裏に除去される。   However, some important lines for the eyes and feet (as shown in (b)) may be lost. Auxiliary spot lights # 2 and # 3 can then be used to increase the local contrast for the eyes and feet to add more detail (as shown in FIG. 3 (c)). it can. Note that the Stanford Bunny body contains many short feature lines due to the small relief. However, these lines may be less preferred by users. In order to remove these lines, another auxiliary spot light # 4 shown in FIG. 3 (a) can be added to reduce local contrast on the body. As a result shown in FIG. 3 (d), most of the small feature lines are successfully removed.
より詳細には図3(a)には、スタンフォードバニーを示すために4つの光が使用される例が示されている。光#1は、ビュー方向と一致するメイン光である。メイン光#1の目的は、スタンフォードバニーの大まかなジオメトリを伝えることである。光#2、#3および#4は、局所的なコントラストを増大または減少させるために使用することができる補助光である。たとえば、この場合、補助光#2は、目区域に局所的に適用される。補助光#3は足区域に適用され、補助光#4は、スタンフォードバニーの本体区域に適用される。一実施形態では、補助光は、指定された領域の局所的なコントラストを増大または減少させるために使用される。したがって、PELは、3Dオブジェクトの局所的な特徴またはユーザの要求にしたがって追加または除去することができる。   More specifically, FIG. 3 (a) shows an example where four lights are used to show a Stanford bunny. Light # 1 is main light that matches the view direction. The purpose of Main Light # 1 is to convey the rough geometry of Stanford Bunny. Lights # 2, # 3 and # 4 are auxiliary lights that can be used to increase or decrease local contrast. For example, in this case, the auxiliary light # 2 is locally applied to the eye area. Auxiliary light # 3 is applied to the foot area, and auxiliary light # 4 is applied to the body area of the Stanford bunny. In one embodiment, auxiliary light is used to increase or decrease the local contrast of a specified area. Thus, PELs can be added or removed according to the local characteristics of the 3D object or according to user requirements.
図3(b)は、メイン光#1のみが適用されたときのPELによるスタンフォードバニーの大まかなジオメトリを示している。図3(b)を見ると分かるように、目および足をより詳細に示すことができる線のようないくつかの重要な線が消えている。また、スタンフォードバニーのいくつかの小さな特徴、すなわち、本体区域上の特徴に起因して、多くの小さなPELが存在するが、これらのPELは、散乱を生じ、後脚区域の形状を伝えるために役に立たない。   FIG. 3B shows a rough geometry of a Stanford bunny by PEL when only the main light # 1 is applied. As can be seen in FIG. 3 (b), some important lines have disappeared, such as lines that can show the eyes and feet in more detail. There are also many small PELs due to some small features of the Stanford bunny, ie the features on the body area, but these PELs cause scattering and convey the shape of the hind leg area Useless.
図3(c)は、メイン光#1ならびに補助光#2および#3が適用されたときのスタンフォードバニーのPELによるジオメトリを示している。図3(c)を見ると分かるように、2つの補助光#2および#3は、目および足に関するコントラストを増大させるために使用される。   FIG. 3C shows the geometry of Stanford Bunny PEL when main light # 1 and auxiliary lights # 2 and # 3 are applied. As can be seen from FIG. 3 (c), the two auxiliary lights # 2 and # 3 are used to increase the contrast for the eyes and feet.
図3(d)は、本体に関するコントラストを減少させるためにさらなる補助光#4が使用されたときのスタンフォードバニーのPELによるジオメトリを示している。その結果、スタンフォードバニーのPELのより良好な抽出が達成される。   FIG. 3 (d) shows the Stamford Bunny PEL geometry when additional auxiliary light # 4 is used to reduce the contrast on the body. As a result, better extraction of Stanford Bunny PEL is achieved.
単純な形状の場合、たいてい、メイン光のみを使用して所望のイラストレーションを達成することができる。しかしながら、実世界のモデルのほとんどは、単一の光を使用して示すことはできない複雑なジオメトリおよび多くの詳細を有している。したがって、一実施形態では、補助光は、イラストレーションを改善するために使用される。PELの1つの利点は、ユーザが、光の数、それらの強度、位置、および方向のように、補助光を完全に制御することができることである。これらのパラメータを手動で操作することは、面倒な作業であり得る。一実施形態では、ユーザ対話の労力を最小限に抑えるために、補助光の最適な設定を自動的に計算するための方法が提供される。   For simple shapes, it is often possible to achieve the desired illustration using only main light. However, most real-world models have complex geometries and many details that cannot be shown using a single light. Thus, in one embodiment, auxiliary light is used to improve illustration. One advantage of PEL is that the user has full control over the auxiliary light, such as the number of lights, their intensity, position, and direction. Manipulating these parameters manually can be a tedious task. In one embodiment, a method is provided for automatically calculating an optimal setting for auxiliary light to minimize user interaction effort.
一実施形態では、ユーザは、改善すべきいくつかの対象領域を指定することができる。各領域は、ただ1つの補助光Iauxを使用できるくらい十分に小さい。 In one embodiment, the user can specify several target areas to be improved. Each area is small enough that only one auxiliary light I aux can be used.
ユーザ指定パッチ   User specified patch
とする。このコンテキストでは、Aは、区域全体で積分が実行されることを意味し、cは領域Aの重心である。 And In this context, A means that the integration is performed over the entire area and c is the center of gravity of region A.
一実施形態では、スポット光Iauxは、位置xにおいて、光方向 In one embodiment, the spot light I aux is the light direction at the position x.
で適用され得る。一実施形態では、スポット光IauxによるS’に関する照明のコントラストは、ユーザによって詳細が追加されることが好ましい場合に最大化される。別の実施形態では、スポット光IauxによるS’に関する照明のコントラストは、ユーザによって線が除去されることが好ましい場合に最小限に抑えられる。たとえば、
詳細を追加するために、
Can be applied at. In one embodiment, the illumination contrast for S ′ with the spot light I aux is maximized when it is preferred that the user add details. In another embodiment, the illumination contrast for S ′ by the spot light I aux is minimized when it is desirable for the line to be removed by the user. For example,
To add details,
を使用し(5)、あるいは、詳細を除去するために、 (5) or to remove details,
を使用する(6)ことができる。ただし、 (6) can be used. However,
であり、S(u,v)は所与の3D表面パッチであり、dは光源と表面Sとの間の距離であり、kauxは補助光の強度であり、k、kおよびkは、距離dの2次関数の係数であり、n(u,v)は、単位法線ベクトル、すなわち、 S (u, v) is a given 3D surface patch, d is the distance between the light source and surface S, k aux is the intensity of the auxiliary light, k c , k l and k q is a coefficient of a quadratic function of the distance d, and n (u, v) is a unit normal vector, that is,
であり、lは光方向の単位ベクトルである。 Where l is a unit vector in the light direction.
スポット光のカットオフ角により、照明の非連続性を引き起こすことがあり、この非連続性は、次いで、不要な特徴線を生じることがあることに留意されたい。このコンテキストでは、カットオフエンジェルとは、スポット光の円錐形状の角度を指し得、3Dオブジェクトの表面Sに適用されたスポット光の境界と関連付けられる。   Note that the cut-off angle of the spot light can cause illumination discontinuity, which in turn can result in unwanted feature lines. In this context, the cut-off angel may refer to the cone-shaped angle of the spotlight and is associated with the spotlight boundary applied to the surface S of the 3D object.
照明の非連続性によって引き起こされる追加の特徴線を回避するために、一実施形態では、スポット光のカットオフ角は、S’を網羅するのに十分な大きさとすることができる。(S’よりも大きな)スポット光領域の内側の各点には、2つの照明関数f=Imainおよびf=Iauxが適用される。照明の導関数を計算するために、任意の点p∈S’についてf=Iauxが使用され、任意の点p∈S\S’(pがS内の点であるが、S’内の点ではないことを意味する)についてf=Imainが使用される。したがって、非連続性における2つの関数の結果をオーバーラップさせると、f=Imainおよびf=Imain+Iauxの2つの関数間で切り替えることによって、あらゆる場所で局所的な連続性を保証することができる。PELは局所的な極値を用いて定義され、照明はすべての点について局所的に連続しているので、補助光は、境界上に不要な線を導入することなく、S’のPELイラストレーションを改善することができる。 In order to avoid additional feature lines caused by illumination discontinuities, in one embodiment, the cut-off angle of the spot light can be large enough to cover S ′. Two illumination functions f = I main and f = I aux are applied to each point inside the spotlight region (greater than S ′). To calculate the derivative of illumination, f = I aux is used for any point pεS ′, and any point pεS \ S ′ (p is a point in S, but in S ′ F = I main is used for (which means not a point). Thus, overlapping the results of two functions in discontinuity ensures local continuity everywhere by switching between the two functions f = I main and f = I main + I aux Can do. Since the PEL is defined using local extrema and the illumination is locally continuous for all points, the auxiliary light can be used to create a SEL PEL illustration without introducing unwanted lines on the boundary. Can be improved.
一実施形態では、照明関数は、S’における補助光の最適化およびPELの抽出のために、f=Iauxとなるように設定される。一実施形態では、最適な補助光は物体空間に配置される。したがって、補助光の最適な設定は、メイン光の変化および様々なビュー状態による影響を受けることはない。一実施形態では、最適化プロセスはリアルタイムではない。換言すると、最適化は、2D画像で示すための3Dオブジェクトの曲線の抽出の前に、3D空間で実行される。一実施形態では、補助光が判断されると、補助光は、物体空間中に固定され、これは、補助光の設定が、ビュー依存性ではないことを意味する。したがって、補助光が計算されると、任意の視点についてPELをレンダリングする際に補助光を使用することができる。したがって、さらなる計算オーバーヘッドを避けることができる。より重要なことには、補助光は、視点が変化したときにアニメーション中の任意の非コヒーレンスを引き起こすことなく、PELイラストレーションを改善することができる。 In one embodiment, the illumination function is set to be f = I aux for auxiliary light optimization and PEL extraction at S ′. In one embodiment, the optimal auxiliary light is placed in the object space. Therefore, the optimum setting of the auxiliary light is not affected by changes in the main light and various view states. In one embodiment, the optimization process is not real time. In other words, the optimization is performed in 3D space before extracting the curve of the 3D object to show in the 2D image. In one embodiment, once auxiliary light is determined, the auxiliary light is fixed in the object space, which means that the setting of the auxiliary light is not view dependent. Therefore, once the auxiliary light is calculated, it can be used when rendering the PEL for any viewpoint. Thus, further computational overhead can be avoided. More importantly, auxiliary light can improve PEL illustration without causing any incoherence in the animation when the viewpoint changes.
図4(a)〜(f)に、一実施形態における、最適なライティングを使用したスタンフォードバニーの目領域に関するPELイラストレーションの改善を示す一例を示す。   FIGS. 4 (a)-(f) show an example illustrating the improvement in PEL illustration for the Stanford Bunny eye area using optimal lighting in one embodiment.
図4(a)は、メイン光のみが適用されたときのバニーモデルの目領域を示している。図4(d)は、図4(a)に示されたバニーモデルに基づく、抽出されたPELを示している。メイン光のみを使用すると、目のまわりのコントラストが低いことに起因して、目領域がうまく示されないことが分かる。   FIG. 4A shows an eye area of the bunny model when only main light is applied. FIG. 4D shows an extracted PEL based on the bunny model shown in FIG. It can be seen that using only the main light does not show the eye area well due to the low contrast around the eyes.
図4(b)は、メイン光に加えて、目領域をカバーし、コントラストを最大化するスポット光が適用されたバニーモデルの目領域を示している。図4(e)は、PELを使用して、図4(b)に示したバニーモデルの目領域を示している。図をみると分かるように、特徴が強調され、対応するPELが目を非常によく示している。   FIG. 4B shows an eye region of a bunny model to which spot light that covers the eye region and maximizes contrast is applied in addition to the main light. FIG. 4 (e) shows the eye area of the bunny model shown in FIG. 4 (b) using PEL. As can be seen in the figure, the features are emphasized and the corresponding PEL shows the eyes very well.
図4(c)は、メイン光に加えて、目領域の局所的なコントラストを最小限に抑えるスポット光が適用されたバニーモデルの目領域を示している。図4(f)は、PELを使用して、図4(c)に示したバニーモデルの目領域を示している。予測されるように、特徴線は、それに応じて低減されている。   FIG. 4C shows an eye region of a bunny model to which spot light that minimizes the local contrast of the eye region is applied in addition to the main light. FIG. 4F shows the eye area of the bunny model shown in FIG. 4C using PEL. As expected, the feature lines are reduced accordingly.
照明の非連続性は、シェーディングされた画像(図4(b)および(c))において生じ得ることに留意されたい。上述したようにPEL抽出に関する局所的な連続性を保証すると、境界上に無意味な特徴線を導入することなく、スタンフォードバニーの目の、ユーザにとって望ましい改善されたPELイラストレーションが達成される(図4(e)および(f))。また、PELは、画像空間からは抽出されないことが実証される。画像空間においてエッジ検出アルゴリズムを使用すると、前述の照明の非連続性により、エッジが生じることがあるが、これは、望ましくないことがある。また、これは、画像処理におけるPELとエッジ検出との間の1つの重要な違いを説明する。このコンテキストでは、物体空間は、3D空間と呼ばれることがある。画像空間は、2D空間と呼ばれることがある。   Note that illumination discontinuities can occur in shaded images (FIGS. 4 (b) and (c)). Ensuring local continuity for PEL extraction as described above achieves an improved PEL illustration desirable to the user of Stanford Bunny's eyes without introducing meaningless feature lines on the boundary (FIG. 4 (e) and (f)). It is also demonstrated that PEL is not extracted from the image space. When using an edge detection algorithm in image space, edges may occur due to the aforementioned discontinuities in illumination, which may be undesirable. This also explains one important difference between PEL and edge detection in image processing. In this context, the object space may be referred to as 3D space. The image space is sometimes referred to as 2D space.
以下に、PELの抽出のアルゴリズムをより詳細に説明する。   Hereinafter, the PEL extraction algorithm will be described in more detail.
PELは、トライアングルメッシュとすることができる3Dオブジェクトの全表面、細分化表面、またはスプラインベースの表面などの上に規定される。背景情報として、トライアングルメッシュは、コンピュータグラフィックスにおける多角形メッシュのタイプである。トライアングルメッシュは、(典型的には、3次元の)三角形のセットを備え、三角形はそれらの共通のエッジまたは角で接続されている。多くのグラフィックスソフトウェアパッケージおよびハードウェアデバイスは、メッシュにグループ化された三角形上では、個別に提示される同様の数の三角形上よりも効率的に動作することができる。これは、典型的には、コンピュータグラフィックスが、三角形の角の頂点上で動作を行うからである。このコンテキストでは、トライアングルメッシュは、映画、ゲーム産業、および科学的可視化における3Dオブジェクト表現の最も一般的に使用される形態なので、3Dオブジェクトの形状イラストレーションに対するPELの効率を実証するために、トライアングルメッシュ上のPEL抽出の実装形態が与えられる。他の形態で表された3Dオブジェクトの場合、それらをトライアングルメッシュに変換するために使用するために、たくさんのオープンソースツールおよび商業用のツールが利用可能である。したがって、PELは頂点を用いて表わされた3Dオブジェクトに限定されるものではないことに留意されたい。   The PEL is defined on the entire surface of a 3D object, which can be a triangle mesh, a subdivided surface, or a spline-based surface. As background information, a triangle mesh is a polygon mesh type in computer graphics. A triangle mesh comprises a set of triangles (typically three-dimensional), where the triangles are connected by their common edges or corners. Many graphics software packages and hardware devices can operate more efficiently on triangles grouped into meshes than on a similar number of triangles presented individually. This is because computer graphics typically operate on the corner vertices of a triangle. In this context, since triangle mesh is the most commonly used form of 3D object representation in the movie, gaming industry, and scientific visualization, to demonstrate the efficiency of PEL for shape illustration of 3D objects, An implementation of PEL extraction is given. For 3D objects represented in other forms, many open source and commercial tools are available for use to convert them to a triangle mesh. Therefore, it should be noted that PEL is not limited to 3D objects represented using vertices.
トライアングルメッシュSおよび各頂点上の照明fとすると、S上のPELの抽出は、一実施形態では、以下に説明するいくつかのステップを含む。   Given the triangle mesh S and the illumination f on each vertex, the extraction of the PEL on S, in one embodiment, includes several steps described below.
第1のステップは、任意選択である前処理である。このステップでは、表面Sの法線nを平滑化する。   The first step is a pre-process that is optional. In this step, the normal line n of the surface S is smoothed.
第2のステップでは、各頂点に関する照明勾配∇fを計算する。   In the second step, the illumination gradient ∇f for each vertex is calculated.
第3のステップでは、各頂点に関する勾配方向wに沿った方向導関数D||∇f||を計算する。 In the third step, the directional derivative D w || ∇f || is calculated for each vertex along the gradient direction w.
第4のステップでは、ゼロ交差を検出し、局所的な最小値であるものをフィルタ除去し、すなわち、D||∇f||>0となる。 In the fourth step, zero crossings are detected and those that are local minimums are filtered out, ie D w D w || ∇f ||> 0.
第5のステップでは、PELを得るために、ゼロ交差を追跡する。   In the fifth step, the zero crossing is tracked to obtain the PEL.
前処理について、以下により詳細に説明する。   The preprocessing will be described in more detail below.
前処理の目的は、照明のノイズを低減させることである。一実施形態では、PELに関するライトモデルの場合、メインの拡散光と補助的なスポット光の両方が、n・lの関数となる。したがって、照明のノイズは、主に、ジオメトリのノイズ、すなわち、表面法線によって引き起こされ得る。一実施形態では、S上のベクトルフィールドnを処理するために、バイラテラルフィルタが適用される。各頂点νについて、それの近傍を、N(ν)とすることができる。バイラテラルフィルタは、以下のように定義され得る。   The purpose of pre-processing is to reduce the noise of the lighting. In one embodiment, for the light model for PEL, both the main diffused light and the auxiliary spotlight are functions of n · l. Thus, illumination noise can be mainly caused by geometry noise, ie surface normal. In one embodiment, a bilateral filter is applied to process the vector field n on S. For each vertex ν, its neighborhood can be N (ν). A bilateral filter may be defined as follows:
ただし、Wは、パラメータδWhere W c is the parameter δ c :
の接近平滑化フィラーであり、ρ(ν,p)は、νおよびpの相対曲率を模倣し、Wは、パラメータδΡ (ν, p) mimics the relative curvature of ν and p, and W s is the parameter δ s :
の特徴保存フィラーであり、それにより、特徴フィールドの大きな変動は不利になる。実際には、このステップは、たいてい、本明細書で説明された走査されたモデルに対するアルゴリズムのロバスト性を改善するために役立つことが分かる。一実施形態では、パラメータδおよびδを設定するために、直観的な方法が使用される。一実施形態では、ユーザは、表面が平滑化されることが予測されるメッシュ上の点を選択し、次いで、その点の近傍の半径rが規定される。一実施形態では、パラメータはδ=r/2と設定され、δは、選択された近傍におけるρ(ν,p)の標準偏差である。 Feature preserving fillers, so that large variations in feature fields are disadvantageous. In practice, it can be seen that this step often serves to improve the robustness of the algorithm for the scanned model described herein. In one embodiment, an intuitive method is used to set the parameters δ c and δ s . In one embodiment, the user selects a point on the mesh where the surface is expected to be smoothed, and then a radius r near that point is defined. In one embodiment, the parameter is set as δ c = r / 2, where δ s is the standard deviation of ρ (ν, p) in the selected neighborhood.
表面法線を平滑化する利点は、一度だけ計算できることであり、それにより、計算オーバーヘッドが回避され、中程度のサイズのメッシュについて、PELイラストレーションを実時間で達成することが保証される。別の実施形態では、前処理は、表面上の照明fを平滑化することによって実行することができ、それにより、ライティング状態またはビュー状態が変更されると、各フレーム中で高価な平滑化オペレーションが引き起こされ得る。   The advantage of smoothing the surface normal is that it can be calculated only once, thereby avoiding computational overhead and ensuring that PEL illustrations are achieved in real time for medium size meshes. In another embodiment, the pre-processing can be performed by smoothing the illumination f on the surface, so that an expensive smoothing operation in each frame when the lighting state or view state is changed. Can be caused.
導関数の計算について、以下により詳細に説明する。   The calculation of the derivative will be described in more detail below.
PELの定義は、表面照明の3次導関数に関与し、したがって、効率的に、かつロバストに導関数を計算することが重要である。一実施形態では、頂点単位の導関数は、隣接する面単位の導関数を平均化することによって計算される。   The definition of PEL involves the third derivative of surface illumination, so it is important to calculate the derivative efficiently and robustly. In one embodiment, the per-vertex derivative is calculated by averaging the derivatives of adjacent face units.
例示するように、任意のスカラー関数gがメッシュ上で規定される、すなわち、g:M−>R、頂点V∈Rである三角形T∈M、および関連付けられたスカラー値g=f(V)∈R、i=1,2,3と見なされる。面単位の座標系は、面法線に垂直な平面中で規定される。面単位の座標系における3つの頂点Tは、(x,y)∈R、i=1,2,3とされる。面単位の勾配∇gは、 As illustrated, an arbitrary scalar function g is defined on the mesh, i.e., g: M-> R, a triangle TεM with vertices V i εR 3 , and an associated scalar value g i = f. (V i ) εR, i = 1,2,3. The plane unit coordinate system is defined in a plane perpendicular to the plane normal. The three vertices T in the plane-based coordinate system are (x i , y i ) εR 2 , i = 1, 2 , 3. Gradient ∇g per plane is
のように計算することができ、ただし、Tの符号付き区域の2倍である
=(x−y)+(x−y)+(x−y
となる。
Where d T = (x 1 y 2 −y 1 x 2 ) + (x 2 y 3 −y 2 x 3 ) + (x 3 y 1 -y 3 x 1)
It becomes.
各頂点の勾配は、その頂点の隣接する面の勾配の重み付けされた平均と見なされる。頂点座標系(U,V)は、頂点法線に垂直な平面中に規定される。   The slope of each vertex is considered a weighted average of the slopes of adjacent faces of that vertex. The vertex coordinate system (U, V) is defined in a plane perpendicular to the vertex normal.
頂点座標系および面座標系は、異なることが多いことに留意されたい。一実施形態では、頂点単位の導関数に対する面単位の導関数の寄与を計算する前に、座標系変換が適用される。   Note that the vertex coordinate system and the plane coordinate system are often different. In one embodiment, a coordinate system transformation is applied before calculating the contribution of the per-surface derivative to the per-vertex derivative.
図5(a)は、頂点(x,y),(x,y)、および(x,y)を示している。図5(b)は、面座標系を示している。 FIG. 5A shows vertices (x 1 , y 1 ), (x 2 , y 2 ), and (x 3 , y 3 ). FIG. 5B shows a plane coordinate system.
一実施形態では、最初に、局所的な頂点座標系を、局所的な面座標系と共面となるように回転させる。次いで、頂点座標系中の点(u,v)=u+vとすると、頂点単位の勾配は、 In one embodiment, the local vertex coordinate system is first rotated to be coplanar with the local surface coordinate system. Next, assuming that the point (u i , v i ) = u i U i + v i V i in the vertex coordinate system, the gradient of each vertex is
を用いて局所的な面座標系において計算される。一実施形態では、それらは、頂点の隣接する面のすべてに関する頂点単位の勾配を計算した後に、重み付けされた平均化を用いて累積される。一実施形態では、頂点の最も近くにある区域の一部分となるように設定されたボロノイ区域重みwが使用される。最終的には、頂点単位の導関数を、 Is calculated in the local plane coordinate system. In one embodiment, they are accumulated using weighted averaging after calculating the per-vertex gradient for all of the adjacent faces of the vertex. In one embodiment, the set Voronoi region weighted so that the portion of the area closest to the vertex w i is used. Ultimately, the per-vertex derivative is
のように計算することができる。 It can be calculated as follows.
PELの追跡について、以下により詳細に説明する。   PEL tracking is described in more detail below.
一実施形態では、各メッシュ頂点vにおける照明の変動の方向導関数が計算されると、メッシュエッジ[v,v]がゼロ交差を含んでいるかどうかを確認することができる。h(ν)=D||∇f(ν)||とする。h(ν)・h(ν)<0である場合、エッジ[v,v]上のゼロ交差を近似させるために、線形補間を使用することができ、pは、PEL頂点と見なされ得る。三角形のエッジ上で2つのPEL頂点が検出された場合、その2つの頂点を接続するために、直線セグメントを使用することができる。区分的線形PEL曲線を形成するために、複数の線セグメントを接続することができる。 In one embodiment, once the directional derivative of the illumination variation at each mesh vertex v is calculated, it can be ascertained whether the mesh edge [v 1 , v 2 ] contains a zero crossing. Let h (ν) = D w || ∇f (ν) ||. If h (ν 1 ) · h (ν 2 ) <0, linear interpolation can be used to approximate the zero crossing on the edge [v 1 , v 2 ], where p is the PEL vertex and Can be considered. If two PEL vertices are detected on a triangular edge, a straight line segment can be used to connect the two vertices. Multiple line segments can be connected to form a piecewise linear PEL curve.
一実施形態では、線に沿った||∇f||の積分によって、PELの強度を測定することができる。   In one embodiment, the intensity of the PEL can be measured by integration of || ∇f || along the line.
一実施形態では、しきい値Tを規定して、しきい値Tよりも強度が低いノイズの多いPELをフィルタ除去することができる。一実施形態では、このしきい値は、ユーザにより指定することができる。   In one embodiment, a threshold value T can be defined to filter out noisy PELs that are less intense than the threshold value T. In one embodiment, this threshold can be specified by the user.
科学用途および医療用途では、ボリューム測定データが広く使用されている。ボリュームビジュアライゼーションに適用される非フォトリアリスティックレンダリングとして、ボリュームイラストレーションを見ることができる。一実施形態では、等値面を使用するボリュームイラストレーションのために、PELを適用することができる。等値面は、等値輪郭の3次元相似体である。空間のボリューム内の一定値(たとえば、圧力、温度、速度、密度)の点を表す表面である。換言すると、ドメインが3D空間である連続関数のレベルセットである。医療画像では、3次元CTスキャンにおいて特定の密度の領域を表すために、等値面を使用することができ、それにより、内部器官、骨、または他の構造を視覚化することができるようなる。PELを用いたボリュームデータセットの視覚化は、2つの段階、つまり、等値面抽出段階およびレンダリング段階からなる。最初に、前処理段階において、標準的なマーチングキューブ法を用いて、ユーザが関心をもつ等値面を抽出することができる。レンダリング段階において、各等値面についてPELを計算し、次いで、合成することができる。また、ボリュームイラストレーションをさらに改善するために、スタイライズされたシェーディングを適用して、重要な詳細をハイライトし、ボリュームデータセットの内部構造を強調することができる。  Volumetric data is widely used in scientific and medical applications. Volume illustrations can be seen as non-photorealistic rendering applied to volume visualization. In one embodiment, PEL can be applied for volume illustration using isosurfaces. An isosurface is a three-dimensional analog of an isocontour. A surface representing a point of constant value (eg, pressure, temperature, velocity, density) within the volume of space. In other words, it is a level set of continuous functions whose domain is 3D space. In medical images, isosurfaces can be used to represent regions of a specific density in a 3D CT scan, thereby allowing visualization of internal organs, bones, or other structures. . Visualizing a volume data set using PEL consists of two stages: an isosurface extraction stage and a rendering stage. Initially, in the pre-processing stage, isosurfaces of interest to the user can be extracted using standard marching cube methods. In the rendering phase, a PEL can be calculated for each isosurface and then synthesized. Also, to further improve volume illustration, stylized shading can be applied to highlight important details and highlight the internal structure of the volume data set.
図6(a)〜(f)は、ボリューム測定データセットのイラストレーションのためのPELの適用を示している。図6(a)〜(c)は、等値面が様々な視点から抽出および表示されていることを示す。図6(a)〜(c)は、PEL(実線)によって伝えられていることを示している。図6(d)〜(f)は、様々な視点から抽出および表示された等値面の別のセットを示している。内部構造を強調するために、図6(a)〜(f)では、外側の等値面は点線のみを用いて示されている。   FIGS. 6 (a)-(f) show the application of PEL for illustration of a volume measurement data set. FIGS. 6A to 6C show that isosurfaces are extracted and displayed from various viewpoints. FIGS. 6A to 6C show that the information is transmitted by PEL (solid line). 6 (d)-(f) show another set of isosurfaces extracted and displayed from various viewpoints. In order to emphasize the internal structure, in FIGS. 6 (a) to 6 (f), the outer isosurface is shown using only dotted lines.
既存の特徴線と比較すると、輝度変動を用いたPELの規定は、より良好に知覚的に一致することを保証する。同時に、照明はビュー位置、ライトモデル、材質、テクスチャ、および幾何学的特性に依存するので、PELは、既存の特徴線よりも一般的でもある。より重要なことに、PELにより、上述のパラメータを操作することによって、ユーザは、より自由に所望のイラストレーションを制御することができるようになる。画像処理に由来しているが、PELが物体空間中で計算される点で、PELは、画像空間エッジ検出とは異なる。画像空間における特徴線のピクセルベースの表現は、レンダリング中に3Dシーン情報が失われること起因して、精密度が低くなってしまうことがあり、スタイライズのようなさらなる処理には適さない。対照的に、PELは物体空間中で規定されるので、PELにはこれらの制約がなく、したがって、ユーザは、光を操作することによって照明を完全に制御することができ、さらに、ユーザが所望のイラストレーションを達成するのに役立つ。   Compared to existing feature lines, the definition of PEL using luminance variation ensures a better perceptual match. At the same time, PEL is also more general than existing feature lines because lighting depends on view position, light model, material, texture, and geometric properties. More importantly, PEL allows the user to control the desired illustration more freely by manipulating the above parameters. Although derived from image processing, PEL differs from image space edge detection in that PEL is calculated in object space. Pixel-based representations of feature lines in image space can be less precise due to loss of 3D scene information during rendering and are not suitable for further processing such as styling. In contrast, since the PEL is defined in the object space, the PEL does not have these constraints, so the user can fully control the lighting by manipulating the light, and the user can Help achieve the illustration.
一実施形態にしたがって、PELを用いて線描画を生成するプロセスは、以下のようにまとめることができる。   According to one embodiment, the process of generating a line drawing using PEL can be summarized as follows.
第1のステップにおいて、初期のライティング状態の3Dシーンを設定する。換言すると、メイン光が適用される。第2のステップにおいて、PELを用いた線描画をシステムによって計算する。換言すると、PELが抽出される。第3のステップにおいて、ユーザは、全体的にまたは局所的にライティングを操作する。たとえば、ユーザは、1つまたは複数の補助光を3Dオブジェクト上に局所的に追加することができる。第4のステップにおいて、調節された光設定を用いて、改善された線描画を計算することができる。次いで、プロセスは、所望の線描画が達成されるまで、第3のステップに戻る。   In the first step, an initial lighting state 3D scene is set. In other words, main light is applied. In the second step, line drawing using PEL is calculated by the system. In other words, PEL is extracted. In the third step, the user operates the lighting globally or locally. For example, the user can add one or more auxiliary lights locally on the 3D object. In a fourth step, an improved line drawing can be calculated using the adjusted light settings. The process then returns to the third step until the desired line drawing is achieved.
一実施形態では、メイン光および補助光を用いた効果的な光設定が提供される。メイン光としてヘッドライトを使用することによって、PELを用いた直観的なビューおよび光に依存する線描画を自動的に計算することができ、これは、多くの場合では、既に望ましい。増分的なライティング操作を用いると、より複雑なシーンについて、ユーザがさらに線描画を指定することができるようになる。本発明では、ユーザフレンドリなライティング操作が提供される。また、最適なライティング設定は、高速線形最適化アルゴリズムを用いて、自動的に計算することができる。   In one embodiment, an effective light setting using main light and auxiliary light is provided. By using a headlight as the main light, an intuitive view using PEL and light-dependent line drawing can be calculated automatically, which is already desirable in many cases. Using incremental lighting operations allows the user to specify more line drawings for more complex scenes. In the present invention, a user-friendly writing operation is provided. Also, the optimal lighting settings can be automatically calculated using a fast linear optimization algorithm.
一実施形態では、PELのような特徴線を使用する3Dオブジェクトのイラストレーションは、クラスタリング曲線からの対応に基づいて、フレームコヒーレンスを用いたスタイライズされたアニメーションのための動的設定にさらに適用され得る。このコンテキストでは、用語「フレーム」はデジタルピクチャを指し、アニメーションは、複数のフレームまたはデジタルピクチャのビデオシーケンスである。フレームコヒーレンス、またはデジタルピクチャコヒーレンスは、ビデオシーケンス内の異なる複数のデジタルピクチャ間のスタイライズの一貫性を指し得る。スタイライズは、非フォトリアリスティックアプリケーションの特性である。抽出された線、すなわち、PELに基づいて、3Dオブジェクトの形状は、スタイライズされた曲線を用いて表すことができ、スタイライズされた曲線は、波打ち、幅およびテクスチャが変わり、あるいは天然媒質を用いて手で描かれた曲線とは別の方法に類似する。これらのアプリケーションでは、イラストレーションの他の目標は、形状の知覚的に一貫性のあるイラストレーションを達成することだけでなく、視覚的に満足できる線描画を達成することである。これは、テレビまたは映画用の漫画アニメーションで広く使用されている。曲線ベースのスタイライズされたアニメーションに関する重要な課題は、フレーム間コヒーレンスを提供することであり、それにより、曲線は、アニメーション化されたシーンにおいて変化するように、経時的に滑らかに適合する。現在のコヒーレンスの問題は、スタイライズされたレンダリングの主な課題である。視点が変わったときに経時的にマージする、分離する、現れる、または消える、PELのようなビューに依存する特徴線について、特に課題が多い。   In one embodiment, the illustration of 3D objects using feature lines such as PEL can be further applied to dynamic settings for stylized animation using frame coherence based on correspondence from clustering curves. . In this context, the term “frame” refers to a digital picture and an animation is a video sequence of frames or digital pictures. Frame coherence, or digital picture coherence, may refer to the consistency of styling between different digital pictures in a video sequence. Stylization is a characteristic of non-photorealistic applications. Based on the extracted lines, ie, PEL, the shape of the 3D object can be represented using a stylized curve, which changes the wavy, width and texture, or the natural medium It is similar to another method that uses hand-drawn curves. In these applications, the other goal of illustration is not only to achieve a perceptually consistent illustration of the shape, but also to achieve a visually satisfactory line drawing. This is widely used in cartoon animation for television or movies. An important challenge with curve-based stylized animation is to provide inter-frame coherence so that the curve fits smoothly over time as it changes in the animated scene. Current coherence issues are the main challenges of stylized rendering. Particularly problematic are view-dependent feature lines such as PEL that merge, separate, appear or disappear over time when the viewpoint changes.
一実施形態では、フレームコヒーレンスを用いてスタイライズされたアニメーションを生成するための手法が提供される。一実施形態では、フレームコヒーレンスは、曲線クラスタリング方法に基づいて得られる曲線の対応に基づいている。具体的には、アニメーションは、PELベースであり得る。しかしながら、本明細書に記載される方法は、PELに適用されることに限定されるものではなく、曲線が3D空間から3Dオブジェクトのために抽出される、デジタルピクチャの任意のビデオシーケンスに適用され得ることに留意されたい。   In one embodiment, a technique is provided for generating a stylized animation using frame coherence. In one embodiment, frame coherence is based on curve correspondence obtained based on a curve clustering method. Specifically, the animation can be PEL-based. However, the methods described herein are not limited to being applied to PEL, but can be applied to any video sequence of digital pictures in which curves are extracted for 3D objects from 3D space. Note that you get.
図7に、曲線コヒーレンスを用いたスタイライズされたアニメーションプロセスの図を示す。この例では、プロセスは、PEL曲線グループ化に基づいている。スタイライズされたアニメーションプロセスは、PEL曲線に限定されるものではなく、曲線が3D空間から3Dオブジェクトのために抽出されるデジタルピクチャの任意のシーケンスに適用され得ることに留意されたい。   FIG. 7 shows a diagram of a stylized animation process using curvilinear coherence. In this example, the process is based on PEL curve grouping. Note that the stylized animation process is not limited to PEL curves, but can be applied to any sequence of digital pictures in which the curves are extracted for 3D objects from 3D space.
プロセス701において、デジタルピクチャのビデオシーケンスにおいて提示されることになる3Dオブジェクトのイラストレーションのために、3Dオブジェクトに関するPELが抽出される。   In process 701, a PEL for a 3D object is extracted for illustration of the 3D object to be presented in a digital picture video sequence.
プロセス702において、ユーザは、曲線グループ化などのいくつかのルールを設定することによって、アニメーションに影響を与えることができる。   In process 702, the user can influence the animation by setting some rules, such as curve grouping.
プロセス703において、プロセス701における抽出されたPELおよびプロセス702におけるユーザからの入力に基づいて、PEL曲線グループ化が実行される。   In process 703, PEL curve grouping is performed based on the extracted PEL in process 701 and the input from the user in process 702.
任意選択で、プロセス704において、知識ベースの線描画も関与する。   Optionally, in process 704, knowledge-based line drawing is also involved.
プロセス705において、プロセス703における曲線グループ化およびプロセス704における知識ベースの線描画に基づいて、PEL曲線対応が確立される。   In process 705, PEL curve correspondence is established based on the curve grouping in process 703 and the knowledge-based line drawing in process 704.
プロセス706において、スタイライズされたアニメーション、つまり、デジタルピクチャのビデオシーケンスが提示される。   In process 706, a stylized animation, ie, a video sequence of digital pictures, is presented.
図8に、一実施形態にしたがって、ステップ801、802、803および804を含むデジタルピクチャを生成するための方法を示す。   FIG. 8 illustrates a method for generating a digital picture that includes steps 801, 802, 803, and 804, according to one embodiment.
一実施形態では、この方法は、複数の曲線の各々に関する3次元表現を受信するためのステップ801を含み、各曲線は、3次元オブジェクトの形状を少なくとも部分的に表している。例として、ビデオシーケンスの複数のデジタルピクチャ中に提示されるべき3Dオブジェクトについて、その3Dオブジェクトの形状を示すために、複数の曲線、たとえば、PELを抽出することができる。各曲線は、3D空間中の、およびビデオシーケンス中に提示されるべきデジタルピクチャ中の位置などのそれぞれ対応する3D情報を有することができる。各曲線は、3Dオブジェクトの形状の少なくとも一部を示している。たとえば、3Dオブジェクトが人の頭部である場合、各曲線は、人の頭部の一部、たとえば、左目の形状を示すことができる。   In one embodiment, the method includes a step 801 for receiving a three-dimensional representation for each of the plurality of curves, each curve at least partially representing the shape of the three-dimensional object. As an example, for a 3D object to be presented in multiple digital pictures of a video sequence, multiple curves, for example PEL, can be extracted to show the shape of the 3D object. Each curve may have corresponding 3D information, such as a position in 3D space and in a digital picture to be presented in a video sequence. Each curve indicates at least a part of the shape of the 3D object. For example, if the 3D object is a person's head, each curve may indicate a part of the person's head, for example, the shape of the left eye.
一実施形態では、この方法は、3次元表現によって与えられた3次元情報を使用して、曲線の3次元表現に基づいて、複数の曲線を少なくとも1つの曲線グループにグループ化するためのステップ802をさらに含む。例として、各デジタルピクチャについて、曲線が、3Dオブジェクトの同じ部分、近くの部分、または類似する部分を示している場合、それらの曲線を一緒にグループ化することができる。このコンテキストでは、類似する部分は、3Dオブジェクト上のあらかじめ規定された範囲内の部分、または3Dオブジェクトのジオメトリ、たとえば、曲率の変化のあらかじめ規定された範囲の部分を指し得る。たとえば、3Dオブジェクトが人の頭部である場合、左目を示すために使用される複数の曲線を一緒にグループ化することができる。別の例として、異なる複数のデジタルピクチャについて、3Dオブジェクトの同じ部分または類似する部分を示すために使用される複数の曲線を一緒にグループ化することができる。たとえば、3Dオブジェクトが人の頭部である場合、異なる複数のデジタルピクチャに提示されるべき左目区域を示す複数の曲線を一緒にグループ化することができる。具体的な例では、異なる複数のデジタルピクチャ間の曲線グループ化の場合、曲線グループAは、各デジタルピクチャからの1つまたは複数の曲線を含み得る。また、ビデオシーケンスの少なくとも1つのデジタルピクチャについて、少なくとも1つのデジタルピクチャが、グループAに関連付けられた3Dオブジェクトの一部に関する曲線を含んでいない場合、グループAにグループ化される曲線が1つもないことも起こり得る。   In one embodiment, the method uses the 3D information provided by the 3D representation to step 802 for grouping a plurality of curves into at least one curve group based on the 3D representation of the curve. Further included. As an example, for each digital picture, if the curves show the same part, a nearby part, or a similar part of the 3D object, the curves can be grouped together. In this context, a similar part may refer to a part within a predefined range on the 3D object, or a part of a predefined range of 3D object geometry, eg, a change in curvature. For example, if the 3D object is a human head, multiple curves used to show the left eye can be grouped together. As another example, for different digital pictures, multiple curves used to show the same or similar part of a 3D object can be grouped together. For example, if the 3D object is a human head, a plurality of curves indicating the left eye area to be presented in different digital pictures can be grouped together. In a specific example, in the case of curve grouping between different digital pictures, curve group A may include one or more curves from each digital picture. Also, for at least one digital picture of a video sequence, if at least one digital picture does not contain a curve for a part of the 3D object associated with group A, there is no curve grouped in group A. Things can happen.
一実施形態では、3次元情報は、3次元空間中の曲線の3次元経路に関する情報である。たとえば、3次元情報は、3D空間における曲線の各点の位置または座標を規定することができる。   In one embodiment, the three-dimensional information is information regarding a three-dimensional path of a curve in a three-dimensional space. For example, the three-dimensional information can define the position or coordinates of each point of the curve in 3D space.
一実施形態では、この方法は、曲線グループの曲線に基づいて、各曲線グループをピクチャエレメントに関連付けるためのステップ803をさらに含む。例として、1つのデジタルピクチャに関する曲線グループの場合、曲線グループを、3Dオブジェクト、たとえば、人の頭部の一部、たとえば、左目領域に関連付けることができる。さらなる例として、異なる複数のピクチャに関する曲線グループの場合、異なる複数のデジタルピクチャに提示されるべき3Dオブジェクト、すなわち、人の頭部の一部、すなわち、左目領域に、曲線グループを関連付けることができる。   In one embodiment, the method further includes a step 803 for associating each curve group with a picture element based on the curves of the curve group. As an example, in the case of a curve group for one digital picture, the curve group can be associated with a 3D object, eg, a part of a person's head, eg, a left eye region. As a further example, in the case of curve groups for different pictures, the curve group can be associated with a 3D object to be presented in different digital pictures, ie a part of the human head, ie the left eye region. .
一実施形態では、この方法は、ピクチャエレメントを使用してデジタルピクチャを形成するためのステップ804をさらに含む。たとえば、3Dオブジェクトが人の頭部である場合、左目領域、右目領域、口領域などのような異なるピクチャエレメントに関して、曲線グループを生成することができる。異なる複数のピクチャエレメントに関連付けられた曲線グループに基づいて、デジタルピクチャを生成することができる。たとえば、左目領域に関連付けられている曲線グループを太線スタイルで表示するようにユーザが設定した場合、左目に関連付けられた曲線グループを、太線モードの曲線で提示することができる。   In one embodiment, the method further includes step 804 for forming a digital picture using the picture elements. For example, if the 3D object is a human head, curve groups can be generated for different picture elements such as left eye region, right eye region, mouth region, and the like. A digital picture can be generated based on curve groups associated with different picture elements. For example, when the user sets the curve group associated with the left eye region to be displayed in a bold line style, the curve group associated with the left eye can be presented as a curve in the thick line mode.
一実施形態では、換言すると、最初に、ビデオシーケンスの異なる複数のデジタルピクチャに表されるべき3Dオブジェクトについて、曲線または特徴線が抽出される。各曲線は、3Dオブジェクトの形状の少なくとも一部を反映する。各曲線は、3D空間における位置または座標のような、3D空間におけるそれ自体の情報を有する。各曲線はまた、曲線が関係するビデオシーケンスのデジタルピクチャに関する各曲線の情報を有する。曲線は、各曲線の3D空間における位置の情報に基づいて、ある特定のルールにしたがってグループ化される。各曲線グループを、1つのデジタルピクチャ中の、または異なる複数のデジタルピクチャ中の3Dオブジェクト上の同じ部分または類似する部分に関連付けることができる。各曲線グループを、3Dオブジェクトのピクチャエレメント、たとえば、左目領域に関連付けることができる。各デジタルピクチャについて、1つのピクチャエレメントに関連付けられた少なくとも1つの曲線グループが形成される。デジタルピクチャに関係するピクチャエレメントに基づいて、デジタルピクチャが生成される。   In one embodiment, in other words, curves or feature lines are first extracted for 3D objects to be represented in different digital pictures of the video sequence. Each curve reflects at least part of the shape of the 3D object. Each curve has its own information in 3D space, such as position or coordinates in 3D space. Each curve also has information about each curve regarding the digital picture of the video sequence to which the curve relates. Curves are grouped according to certain rules based on information about the position of each curve in 3D space. Each curve group can be associated with the same or similar part on a 3D object in one digital picture or in different digital pictures. Each curve group can be associated with a picture element of a 3D object, eg, a left eye region. For each digital picture, at least one curve group associated with one picture element is formed. A digital picture is generated based on picture elements related to the digital picture.
図9に、デジタルピクチャを生成するためのデバイス900を示す。デバイス900は、受信ユニット901と、グループ化ユニット902と、関連付けユニット903と、生成ユニット904とを備える。   FIG. 9 shows a device 900 for generating a digital picture. The device 900 includes a receiving unit 901, a grouping unit 902, an association unit 903, and a generating unit 904.
一実施形態では、受信ユニット901は、複数の曲線の各々に関する3次元表現を受信するように構成され、各曲線は、3次元オブジェクトの形状を少なくとも部分的に表す。   In one embodiment, the receiving unit 901 is configured to receive a three-dimensional representation for each of the plurality of curves, each curve at least partially representing the shape of the three-dimensional object.
一実施形態では、グループ化ユニット902は、3次元表現によって与えられた3次元情報を使用して、曲線の3次元表現に基づいて、少なくとも1つの曲線グループをグループ化するように構成される。   In one embodiment, the grouping unit 902 is configured to group at least one curve group based on the 3D representation of the curve using 3D information provided by the 3D representation.
一実施形態では、関連付けユニット903は、曲線グループの曲線に基づいて、各曲線グループをピクチャエレメントに関連付けるように構成される。   In one embodiment, the association unit 903 is configured to associate each curve group with a picture element based on the curves of the curve group.
一実施形態では、生成ユニット904は、ピクチャエレメントを使用して、デジタルピクチャを形成するように構成される。   In one embodiment, the generation unit 904 is configured to form a digital picture using picture elements.
一実施形態では、コンピュータのプロセッサに、デジタルピクチャを生成するための方法を実行させるように適合されたプログラムを記録したコンピュータ可読媒体が提供される。一実施形態では、このコンピュータ可読媒体は、プロセッサに、複数の曲線の各々に関する3次元表現の受信を実行させるプログラムのコードであって、各曲線が、3次元オブジェクトの形状を少なくとも部分的に表す、コードを備える。   In one embodiment, a computer readable medium having recorded thereon a program adapted to cause a computer processor to perform a method for generating a digital picture is provided. In one embodiment, the computer-readable medium is program code for causing a processor to perform reception of a three-dimensional representation for each of a plurality of curves, each curve at least partially representing the shape of a three-dimensional object. , With code.
一実施形態では、このコンピュータ可読媒体は、プロセッサに、3次元表現によって与えられた3次元情報を使用して、曲線の3次元表現に基づいて、複数の曲線の少なくとも1つの曲線グループへのグループ化を実行させる、プログラムのコードをさらに備える。   In one embodiment, the computer-readable medium uses a 3D information provided by the 3D representation to the processor to group a plurality of curves into at least one curve group based on the 3D representation of the curve. The program further includes code for executing the program.
一実施形態では、このコンピュータ可読媒体は、プロセッサに、曲線グループの曲線に基づいて、各曲線グループとピクチャエレメントとの関連付けを実行させる、プログラムのコードをさらに備える。   In one embodiment, the computer-readable medium further comprises program code for causing the processor to perform an association of each curve group with a picture element based on the curves of the curve group.
一実施形態では、このコンピュータ可読媒体は、プロセッサに、ピクチャエレメントを使用するデジタルピクチャの形成を実行させる、プログラムのコードをさらに備える。   In one embodiment, the computer-readable medium further comprises program code for causing a processor to perform the formation of a digital picture using picture elements.
一実施形態では、このデジタルピクチャは、複数のデジタルピクチャのビデオシーケンスのうちのデジタルピクチャである。換言すると、このデジタルピクチャは、複数のデジタルピクチャを含むアニメーションのデジタルピクチャである。換言すると、曲線は、ビデオシーケンスの複数のフレーム、たとえば、ビデオシーケンスの後続のフレームにまたがって曲線をグループ化され得る。   In one embodiment, the digital picture is a digital picture in a video sequence of a plurality of digital pictures. In other words, this digital picture is an animation digital picture including a plurality of digital pictures. In other words, the curve may be grouped across multiple frames of the video sequence, eg, subsequent frames of the video sequence.
一実施形態では、複数の曲線のうちの少なくとも2つの曲線が、複数のデジタルピクチャのビデオシーケンスのうちの異なる複数のデジタルピクチャに関連付けられる。   In one embodiment, at least two of the plurality of curves are associated with different digital pictures in a video sequence of digital pictures.
一実施形態では、曲線の3次元表現は、3次元空間中の頂点のセットである。たとえば、曲線の3次元表現は、PELであり得る。前述したように、PELは、勾配の方向における照明の変動が局所的な最大値に達する、3Dオブジェクトの頂点のセットとすることができる。   In one embodiment, the 3D representation of the curve is a set of vertices in 3D space. For example, the three-dimensional representation of the curve can be PEL. As described above, the PEL can be a set of 3D object vertices where the illumination variation in the direction of the gradient reaches a local maximum.
一実施形態では、これらの頂点は、3次元オブジェクトが所定の視点から見え、少なくとも1つの所定の光源によって照明される場合に、3次元オブジェクトの照明が変わる、3次元空間中の点を特定する。たとえば、少なくとも1つの所定の光源は、メイン光であり得る。別の例では、少なくとも1つの所定の光源は、メイン光および少なくとも1つの補助光を含み得る。   In one embodiment, these vertices identify points in the three-dimensional space where the illumination of the three-dimensional object changes when the three-dimensional object is viewed from a predetermined viewpoint and illuminated by at least one predetermined light source. . For example, the at least one predetermined light source can be main light. In another example, the at least one predetermined light source may include main light and at least one auxiliary light.
PELストローククラスタリングについて、以下により詳細に説明する。   PEL stroke clustering is described in more detail below.
一実施形態では、曲線、たとえば、PELの知覚的なグループ化の基礎的な低レベルの操作である、本明細書で提供された曲線グループ化方法に基づいて、スタイライズされた曲線を生成することができる。一般的なプロセスとして、ヒューマンビジョンとコンピュータビジョンの両方において、低いレベルの特徴のグループ化は、複雑なシーンを理解する際に、抽象的かつ効果的な情報を与える。たとえば、PEL曲線のグループ化は、デジタルピクチャ間の曲線の対応を発見する際に、高いレベルの情報を与えることができる。画像処理およびコンピュータビジョンにおける従来の作業はほとんど、点および直線のセグメント化およびグループ化に着目する。これらの作業と比較すると、任意の曲線は点および直線よりも自由度が高いので、曲線のセグメント化およびグループ化はより複雑である。   In one embodiment, generating a stylized curve based on the curve grouping method provided herein, which is a basic low-level operation of a curve, eg, PEL perceptual grouping. be able to. As a general process, in both human vision and computer vision, low-level feature groupings provide abstract and effective information in understanding complex scenes. For example, grouping of PEL curves can provide a high level of information in finding the curve correspondence between digital pictures. Most conventional work in image processing and computer vision focuses on segmentation and grouping of points and lines. Compared to these tasks, segmentation and grouping of curves is more complex because any curve has more freedom than points and lines.
一実施形態では、曲線グループ化は、以下に述べるような原理に従う。点ベースの画像セグメント化と比較すると、ノイズまたはギャップならびに様々なスケールの様々な構造をもつ曲線など、いくつかの基本的な態様では、曲線グループ化は難しいことが分かる。曲線セット内の曲線の近傍を判断し、2つの任意の曲線の交点および距離を精確に判断することは難しい。スタイライズされた線描画のための曲線のグループ化ついて特に考慮すると、一実施形態では、
・連続性。曲線の曲線性の評価は、曲線の長さに関するギャップ距離、および結合曲線の湾曲量を考慮する。
・平行性。潜在的な平行性の評価は、曲線間の分離の因子、および曲線のオーバーラップ量を考慮する。
・近接度。2つの曲線のすべての点の間の最小距離。
・閉鎖性。閉曲線につながりやすい曲線の可能性。
を含む、知覚的グループ化ルールに着目して曲線のクラスタを発見するための方法が提供される。
In one embodiment, curve grouping follows the principle as described below. Compared to point-based image segmentation, curve grouping proves difficult in some basic aspects, such as noise or gaps and curves with different structures at different scales. It is difficult to determine the vicinity of a curve in a curve set and accurately determine the intersection and distance of two arbitrary curves. Specifically considering the grouping of curves for stylized line drawing, in one embodiment:
・ Continuity. The evaluation of the curvilinearity of the curve takes into account the gap distance with respect to the length of the curve and the amount of curvature of the coupling curve.
・ Parallelity. The evaluation of potential parallelism takes into account separation factors between curves and the amount of curve overlap.
・ Proximity. The minimum distance between all points of two curves.
・ Closedness. The possibility of a curve that tends to lead to a closed curve.
A method for finding a cluster of curves focusing on perceptual grouping rules is provided.
一実施形態では、最初に、曲線は、クラスタリングの前に、曲率の大きな場所で短いセグメントに分割され得る。たとえば、曲線は、曲率が所定の値よりも大きな場所で短いセグメントに分割され得る。次いで、曲線セグメントは、連続性、平行性、近接度および閉鎖性の評価の線形結合にしたがって、別々にグループ化され得る。   In one embodiment, initially, the curve may be divided into short segments at high curvature locations prior to clustering. For example, the curve may be divided into short segments where the curvature is greater than a predetermined value. Curve segments can then be grouped separately according to a linear combination of continuity, parallelism, proximity and closure ratings.
一実施形態では、1つのデジタルピクチャ内で、または異なる複数のデジタルピクチャ間で2つの曲線を一緒にグループ化すべきかどうかを判断するために、いくつかのパラメータの測定値を使用することができる。一実施形態では、そのようなパラメータは、
1.2つの曲線の連続性
2.2つの曲線の平行性
3.2つの曲線の近接度、および
4.閉曲線につながるべき2つの曲線の可能性
を含み得る。
In one embodiment, several parameter measurements can be used to determine whether two curves should be grouped together within one digital picture or between different digital pictures. . In one embodiment, such parameters are
1.2 Continuity of two curves 2.2 Parallelism of two curves 3. Proximity of two curves; It may include the possibility of two curves to be connected to a closed curve.
上述のパラメータの測定値について、以下に詳細に説明する。   The measured values of the above parameters will be described in detail below.
連続性、平行性、近接度および閉曲線につながるべき2つの曲線の可能性のパラメータの測定値は、以下に与えられる具体的な例に限定されるものではなく、連続性、平行性、近接度、および閉曲線につながるべき2つの曲線の可能性のパラメータを反映し得る任意の他の測定値であり得ることに留意されたい。   Measurements of the parameters of the continuity, parallelism, proximity and the likelihood of two curves to be connected to a closed curve are not limited to the specific examples given below, but continuity, parallelism, proximity Note that, and any other measurement that may reflect the parameters of the potential of the two curves to lead to a closed curve.
一実施形態では、2つの入力曲線(l,l)の長さに関する結合曲線(l)の長さ、ならびに結合曲線の湾曲度に基づいて、連続性を計算することができる。一実施形態では、結合曲線は、2つの入力曲線の端部の点をサンプリングすることによって生成され、次いで、これらの点を補間し、2つの入力曲線をリンクさせるBスプライン曲線を計算する。たとえば、曲線lが2つの端部AおよびBを有し、曲線lが2つの端部CおよびDを有し、端部Aは、lのもう一方の端部Bと比較してlにより近く、端部Cは、lのもう一方の端部Dと比較してlにより近いと仮定する。次いで、lの端部Aとlの端部Cとの間の点をサンプリングすることによって、結合曲線lが生成され得る。結合曲線の最大曲率(Kmax)をもつ結合曲線の湾曲を判断することができ、それは、最大曲率を有する結合曲線中の点の曲率を指す。したがって、連続性は、
=l/(l+l)*Kmax (7)
のように定義することができる。
In one embodiment, continuity can be calculated based on the length of the coupling curve (l i ) with respect to the length of the two input curves (l 1 , l 2 ), as well as the curvature of the coupling curve. In one embodiment, a combined curve is generated by sampling the end points of two input curves and then interpolating these points to calculate a B-spline curve that links the two input curves. For example, curve l 1 has two ends A and B, curve l 2 has two ends C and D, and end A is compared to the other end B of l 1 closer to l 2, end C is assumed to closer l 1 as compared to the other end D of the l 2. The coupling curve l i can then be generated by sampling the point between the end A of l 1 and the end C of l 2 . The curvature of the bond curve with the maximum curvature (K max ) of the bond curve can be determined, which refers to the curvature of the point in the bond curve with the maximum curvature. Therefore, continuity is
m c = l i / (l 1 + l 2 ) * K max (7)
Can be defined as follows.
一例では、ユーザが規定したしきい値よりもmの値が小さい場合、2つの曲線は連続していると見なされる。 In one example, if the value of m C is less than a user-defined threshold, the two curves are considered continuous.
図10に、2つの曲線lおよびlの連続性の判断の例を示し、lは2つの終点1001および1002を有し、lは2つの終点1003および1004を有している。この例では、lの終点1001は、終点1002と比較して曲線lにより近く、lの終点1003は、終点1004に比較して曲線lにより近い。 FIG. 10 shows an example of determining the continuity of two curves l 1 and l 2 , where l 1 has two end points 1001 and 1002 and l 2 has two end points 1003 and 1004. In this example, l 1 endpoint 1001 is closer to curve l 2 compared to endpoint 1002 and l 2 endpoint 1003 is closer to curve l 1 compared to endpoint 1004.
曲線lおよびlが連続しているかどうかを判断するために、結合曲線lが生成され得る。最初に、終点1001に近い曲線lおよび終点1003に近い曲線lにおいてサンプリング点を選択することによって、結合曲線lを生成することができる。この例では、それぞれ5つのサンプリング点が選択され、終点1001に近い曲線l中には、点1001および1005〜1008が選択され、終点1003に近い曲線l中には、点1003および1009〜1012が選択される。選択されたサンプリング点に基づいて、これらのサンプリング点(点1001、1003、および1005〜1012)を補間し、2つの曲線lおよびlをリンクさせるBスプライン曲線lが生成され得る。 To determine whether curves l 1 and l 2 are continuous, a binding curve l i can be generated. Initially, a combined curve l i can be generated by selecting sampling points in curve l 1 near end point 1001 and curve l 2 near end point 1003. In this example, five sampling points are selected, points 1001 and 1005 to 1008 are selected in the curve l 1 close to the end point 1001, and points 1003 and 1009 to 1002 are in the curve l 2 close to the end point 1003. 1012 is selected. Based on the selected sampling points, these sampling points (points 1001, 1003, and 1005-1012) may be interpolated to generate a B-spline curve l i that links the two curves l 1 and l 2 .
一実施形態では、式(7)を使用して、l、lおよびlに基づいて、値mが計算され得る。計算されたmは、所定のしきい値と比較され得る。所定のしきい値よりもmが小さい場合、曲線lおよびlは連続していると見なされ得る。そうでない場合、曲線lおよびlは開いていると見なされ得る。 In one embodiment, the value m C can be calculated based on l 1 , l 2 and l i using equation (7). The calculated m C can be compared to a predetermined threshold. If m C is less than the predetermined threshold, curves l 1 and l 2 can be considered continuous. Otherwise, curves l 1 and l 2 can be considered open.
一実施形態では、平行性の測定値は、2つの入力曲線間の分離の因子と、2つの曲線のオーバーラップ量とを考慮する。図11に、2つの曲線の平行性の判断を示す。たとえば、それぞれ対応する長さをもつ2つの曲線lおよびlは、Bスプラインを用いて表すことができ、点のセットは、同じパラメータ値(t=0.1,0.2,0.3・・・0.5・・・1.0など)をもつ各曲線についてサンプリングされ得る。次いで、点の第3のセットを生成するために、サンプリング点のこれらの2つのセットが線形に補間され得る。点の第3のセットは、図11に示すように、曲線lと曲線1の間に、長さlのBスプライン中間曲線を生成するために使用され得る。中間曲線は、点1100において、t=0.5で2つの部分に分割され得る。第1の部分li1の長さは、mで表すことができ、第2の部分li2の長さはmで表すことができる。2つの曲線の終点と中間曲線との間の距離を、それぞれe、eとする。一実施形態では、平行性は、
=l/(l+l)*(l−R
と定義することができ、ただし、
−(m+m)/(m+m+e+e
である。
In one embodiment, the parallelism measurement takes into account the separation factor between the two input curves and the amount of overlap between the two curves. FIG. 11 shows the determination of the parallelism of two curves. For example, two curves l 1 and l 2 , each with a corresponding length, can be represented using B-splines, and the set of points is the same parameter value (t = 0.1, 0.2, 0. 3 ... 0.5 ... 1.0 etc.) can be sampled for each curve. These two sets of sampling points can then be interpolated linearly to generate a third set of points. A third set of points, as shown in FIG. 11, between the curves l 1 and the curve 1 2, may be used to produce a B-spline intermediate curve length l i. The intermediate curve may be split into two parts at point 1100 at t = 0.5. The length of the first part l i1 can be represented by m 1 and the length of the second part l i2 can be represented by m 2 . The distances between the end points of the two curves and the intermediate curve are e 1 and e 2 , respectively. In one embodiment, the parallelism is
m P = l i / (l 1 + l 2 ) * (l−R 0 )
But can be defined as
R 0 − (m 1 + m 2 ) / (m 1 + m 2 + e 1 + e 2 )
It is.
一実施形態では、ユーザが規定したしきい値よりもmの値が大きい場合、2つの曲線は、平行であると見なされ得る。 In one embodiment, two curves can be considered parallel if the value of m P is greater than a user-defined threshold.
2つの曲線の近接度は、2つの曲線のすべての点の間の最小距離として定義することができる。たとえば、p、pをそれぞれ2つの曲線上の任意の点とすると、2つの曲線の近接度は、
=min||p−p||
のように、2つの曲線のすべての点の間の最小距離として定義することができる。
The proximity of two curves can be defined as the minimum distance between all points of the two curves. For example, if p i and p j are arbitrary points on two curves, respectively, the proximity of the two curves is
m D = min || p i -p j ||
Can be defined as the minimum distance between all points of two curves.
一実施形態では、ユーザが規定したしきい値よりもmの値が小さい場合、2つの曲線は、近接していると見なされる。 In one embodiment, two curves are considered close if the value of m D is less than a user defined threshold.
閉包mは、閉曲線につながりやすい曲線の可能性として定義することができる。たとえば、2つの入力曲線の端部において点がサンプリングされ、次いで、これらの点を補間し、2つの入力曲線をリンクさせるBスプライン曲線が計算される。たとえば、曲線lが2つの端部AおよびBを有し、曲線1が2つの端部CおよびDを有し、端部Aは、lのもう一方の端部Bに比較して1の端部Cにより近く、端部Bは、lのもう一方の端部Aに比較して、1の端部Dにより近いと仮定する。次いで、lの端部Aとlの端部Cの間に結合曲線li1が生成され得、lの端部Bとlの端部Dの間に別の結合曲線li2が生成され得る。次いで、結合曲線に沿った曲率の和が計算され得る。一実施形態では、結合曲線の曲率和mが大きい2つの曲線は、開いていると見なされ得る。たとえば、ユーザが規定したしきい値よりも和が大きい場合、2つの曲線は、開いていると見なされ得る。一実施形態では、ユーザが規定したしきい値よりも曲率の和mが小さい場合、2つの曲線は閉じていると見なされ得る。 The closure m O can be defined as the possibility of a curve that tends to lead to a closed curve. For example, points are sampled at the ends of two input curves, and then a B-spline curve is calculated that interpolates these points and links the two input curves. For example, a curve l i are the two ends A and B, it has a curve 1 2 two ends C and D, end A, compared to the other end B of l 1 closer to 1 second end station C, a end B, as compared to the other end portion a of l 1, it is assumed that the closer to 1 the second end D. Then, the binding curve l i1 between the ends C of the end A and l 2 of l 1 is generated resulting, another binding curve l i2 between the ends D of the end portion B and l 2 of l 1 Can be generated. The sum of curvatures along the binding curve can then be calculated. In one embodiment, two curves with a large combined curve sum of curvatures m O can be considered open. For example, if the sum is greater than a user defined threshold, the two curves may be considered open. In one embodiment, two curves may be considered closed if the sum of curvatures m O is less than a user defined threshold.
図12に、2つの曲線lおよびlが閉曲線を形成しやすいかどうか、すなわち、閉曲線につながるべき2つの曲線の可能性の判断を示し、曲線lは、2つの終点1201および1202を有し、曲線lは、2つの終点1203および1204を有する。 FIG. 12 shows whether the two curves l 1 and l 2 are likely to form a closed curve, ie the determination of the possibility of two curves to be connected to the closed curve, where the curve l 1 has two end points 1201 and 1202. And the curve l 2 has two end points 1203 and 1204.
この例では、終点1201は、曲線lのもう一方の終点1202に比較して曲線lの終点1203により近く、終点1202は、曲線lのもう一方の終点1201に比較して曲線lの終点1204により近い。次いで、曲線lの終点1201と曲線lの終点1203との間に、結合曲線li1が生成され得、曲線lの終点1202と曲線lの終点1204との間に、別の結合曲線li2が生成され得る。たとえば、最初に、終点1201に近い曲線lおよび終点1203に近い曲線lにおいてサンプリング点を選択することによって、結合曲線li1が生成され得る。この例では、それぞれ5つのサンプリング点が選択され、終点1201に近い曲線l中には、点1201および1205〜1208が選択され、終点1203に近い曲線1中には、点1203および1209〜1212が選択される。選択されたサンプリング点に基づいて、これらのサンプリング点(点1201、1203、および1205〜1212)を補間し、2つの曲線lおよびlをリンクさせるBスプライン曲線li1が生成され得る。同様に、最初に、終点1202に近い曲線lおよび終点1204に近い曲線lにおいてサンプリング点を選択することによって、結合曲線li2が生成され得る。この例では、それぞれ5つのサンプリング点が選択され、終点1202に近い曲線l中には、点1202および1213〜1216が選択され、終点1204に近い曲線l中には、点1204および1217〜1220が選択される。選択されたサンプリング点に基づいて、これらのサンプリング点(点1202、1204、および1213〜1220)を補間し、2つの曲線lおよびlをリンクさせるBスプライン曲線li2が生成され得る。一実施形態では、結合曲線li1およびli2に沿った曲率の和を計算する。一実施形態では、この和は、ユーザが規定したしきい値をと比較され得る。一実施形態では、ユーザが規定したしきい値よりも曲率の和mが小さい場合、2つの曲線は、閉じていると見なされ得る。ユーザが規定したしきい値よりも和が大きい場合、2つの曲線lおよびlは開いていると見なされ得る。 In this example, the end point 1201, closer to the end point 1203 of the curve l 2 as compared to the other endpoint 1202 of curve l 1, the end point 1202, the curve l 2 as compared to the other endpoint 1201 of curve l 1 Is closer to the end point 1204. Then, between the end point 1203 of the end point 1201 and the curve l 2 curves l 1, binding curve l i1 is obtained is generated, between the end point 1204 of the end point 1202 and the curve l 2 curves l 1, another binding Curve l i2 may be generated. For example, a combined curve l i1 may be generated by first selecting sampling points in curve l 1 near end point 1201 and curve l 2 near end point 1203. In this example, the five sampling points each selection, during curve l 1 close to the end point 1201, point 1201 and from 1205 to 1208 is selected, during curve 1 2 close to the end point 1203, point 1203 and 1209~ 1212 is selected. Based on the selected sampling points, these sampling points (points 1201, 1203, and 1205-1212) may be interpolated to generate a B-spline curve l i1 that links the two curves l 1 and l 2 . Similarly, a combined curve l i2 may be generated by first selecting sampling points in curve l 1 near end point 1202 and curve l 2 near end point 1204. In this example, each of the five sampling points is selected, points 1202 and 1213-1216 are selected in curve l 1 close to end point 1202, and points 1204 and 1217˜ are in curve l 2 close to end point 1204. 1220 is selected. Based on the selected sampling points, these sampling points (points 1202, 1204, and 1213-1220) can be interpolated to generate a B-spline curve l i2 that links the two curves l 1 and l 2 . In one embodiment, the sum of curvatures along the binding curves l i1 and l i2 is calculated. In one embodiment, this sum may be compared to a user defined threshold. In one embodiment, two curves may be considered closed if the sum of curvatures m O is less than a user defined threshold. If the sum is greater than a user defined threshold, the two curves l 1 and l 2 can be considered open.
一実施形態では、2つの曲線の同じグループへのグループ化は、上述のすべてのパラメータm、m、m、mの測定値に依存する。一実施形態では、全体的なグループ化値Mを計算するために、線形結合を使用することができる。ユーザは、特定のパラメータを強調するために線形結合の重みを調節することができる。一実施形態では、ユーザが規定したしきい値よりも全体的なグループ化値が大きいとき、入力曲線は、同じグループにグループ化され得る。 In one embodiment, the grouping of the two curves into the same group depends on the measured values of all the parameters m C , m P , m D , m O described above. In one embodiment, it is possible to calculate an overall grouping values M A, using a linear combination. The user can adjust the weight of the linear combination to emphasize certain parameters. In one embodiment, input curves may be grouped into the same group when the overall grouping value is greater than a user defined threshold.
たとえば、Mは、
=a*m+b*m+c*m+d*m (8)
のように表すことができ、ただし、a、b、cおよびdはそれぞれ、m、m、mおよびmの重みである。しきい値THは、デフォルト値となるように設定しても、あるいはユーザが設定してもよい。一例では、MがTHよりも大きい場合、2つの曲線は、1つの曲線グループになるべきであると判断される。
For example, M A is,
M A = a * m C + b * m P + c * m D + d * m O (8)
Where a, b, c and d are the weights of m C , m P , m D and m O , respectively. The threshold value TH may be set to be a default value or may be set by the user. In one example, if M A is greater than TH, it is determined that the two curves should be in one curve group.
一例では、重みa、b、cおよびdは、デフォルト値となるように設定しても、あるいは、たとえば、ユーザが判断してもよい。一例では、重みa、b、cおよびdはそれぞれ、異なる複数のパラメータm、m、mおよびmの異なる強調にしたがって判断され得る。たとえば、連続性および平行性のみが重要なパラメータと見なされる場合、それぞれ対応する重みaおよびbを、ある特定の非ゼロ値となるように設定することができ、重みcおよびdを、ゼロとなるように設定することができる。別の例では、2つの曲線を一緒にグループ化すべきかどうかを評価するためには、1つのパラメータ、すなわち、近接度のみが重要であると見なされる場合、それぞれ対応する重みcを、ある特定の非ゼロ値となるように設定することができ、重みa、bおよびdを、ゼロとなるように設定することができる。さらなる例では、m、m、mおよびmのすべてのパラメータが重要であると見なされる場合、重みa、b、cおよびdは、各パラメータのそれぞれ対応する重要度にしたがって、それぞれ、ある特定の非ゼロ値となるように設定することができる。 In one example, the weights a, b, c, and d may be set to be default values, or may be determined by a user, for example. In one example, the weights a, b, c and d can be determined according to different enhancements of different parameters m C , m P , m D and m O , respectively. For example, if only continuity and parallelism are considered important parameters, the corresponding weights a and b can be set to be certain non-zero values, respectively, and the weights c and d are set to zero. Can be set to In another example, to evaluate whether two curves should be grouped together, if only one parameter, namely proximity, is considered important, each corresponding weight c is given a certain And the weights a, b and d can be set to be zero. In a further example, if all parameters of m C , m P , m D and m O are considered important, the weights a, b, c and d are respectively determined according to the respective importance of each parameter. Can be set to a certain non-zero value.
一実施形態では、2つの曲線間の連続性の測定値、2つの曲線の平行性の測定値、2つの曲線の近接度の測定値、および閉曲線につながるべき2つの曲線の可能性の測定値のうちの少なくとも1つに基づいて、2つの曲線が同じ曲線グループにグループ化されるかどうかが決定される。例として、上記に与えられたMの式(8)を参照して、重みa、b、cおよびdのうちの少なくとも1つは非ゼロ値であり、したがって、Mは、m、m、mおよびmのうちの少なくとも1つのパラメータに基づいて判断される。 In one embodiment, a measure of continuity between two curves, a measure of parallelism of two curves, a measure of proximity of two curves, and a measure of the likelihood of two curves to be connected to a closed curve Based on at least one of the two, it is determined whether the two curves are grouped into the same curve group. By way of example, referring to the equation (8) for M A given above, at least one of the weights a, b, c, and d is a non-zero value, so that M A is m C , The determination is based on at least one parameter of m P , m D, and m 2 O.
一実施形態では、2つの曲線間の連続性の測定値、2つの曲線の平行性の測定値、2つの曲線の近接度の測定値、および閉曲線につながるべき2つの曲線の可能性の測定値のうちの少なくとも1つと、所定のしきい値との比較に基づいて、2つの曲線が同じ曲線グループにグループ化されるかどうかが決定される。たとえば、上記で与えられたMの式(8)を参照して、a、b、cおよびdの少なくとも1つの重みは、非ゼロ値となるように設定される。したがって、Mは、m、m、mおよびmのうちの少なくとも1つのパラメータに基づいて判断され、Mは、さらに、2つの曲線を同じ曲線グループにすべきかどうかを判断するために、所定のしきい値THと比較される。 In one embodiment, a measure of continuity between two curves, a measure of parallelism of two curves, a measure of proximity of two curves, and a measure of the likelihood of two curves to be connected to a closed curve Based on a comparison of at least one of the and a predetermined threshold, it is determined whether the two curves are grouped into the same curve group. For example, referring to Equation (8) of M A given above, a, b, at least one of the weights of c and d is set to be a non-zero value. Therefore, M A is determined based on at least one parameter of m C , m P , m D and m O , and M A further determines whether the two curves should be in the same curve group. Therefore, it is compared with a predetermined threshold value TH.
一実施形態では、2つの曲線間の連続性の測定値、2つの曲線の平行性の測定値、2つの曲線の近接度の測定値、および閉曲線につながるべき2つの曲線の可能性の測定値のうちの少なくとも2つの組合せと、所定のしきい値との比較に基づいて、2つの曲線を同じ曲線グループにグループ化すべきかどうかが決定される。例として、上記で与えられたMの式(8)を参照して、a、b、cおよびdの少なくとも2つの重みは、非ゼロ値となるように設定される。したがって、Mは、m、m、mおよびmのうちの少なくとも2つのパラメータに基づいて判断され、Mは、さらに、2つの曲線を同じ曲線グループにすべきかどうかを判断するために、所定のしきい値THと比較される。 In one embodiment, a measure of continuity between two curves, a measure of parallelism of two curves, a measure of proximity of two curves, and a measure of the likelihood of two curves to be connected to a closed curve Based on the comparison of at least two of the two and a predetermined threshold value, it is determined whether the two curves should be grouped into the same curve group. As an example, with reference to Equation (8) of M A given above, a, b, at least two of the weights of c and d is set to be a non-zero value. Thus, M A is determined based on at least two parameters of m C , m P , m D and m O , and M A further determines whether the two curves should be in the same curve group. Therefore, it is compared with a predetermined threshold value TH.
一実施形態では、組合せは、2つの曲線間の連続性の測定値、2つの曲線の平行性の測定値、2つの曲線の近接度の測定値、および閉曲線につながるべき2つの曲線の可能性の測定値のうちの少なくとも2つの重み付けされた和である。例として、m、m、mおよびmのパラメータは、それぞれ、a、b、cおよびdによって重み付けされる(式(8))。ユーザは、2つの曲線を同じ曲線グループにグループ化すべきかどうかの評価の重要度にしたがって、各パラメータの重みを設定することができる。一実施形態において、曲線のグループ化が理想的でない場合、ユーザは、さらに、異なる複数のパラメータについて重みを調節することができる。 In one embodiment, the combination is a measure of continuity between two curves, a measure of parallelism of two curves, a measure of proximity of two curves, and the possibility of two curves to lead to a closed curve Is a weighted sum of at least two of the measurements. As an example, the parameters m C , m P , m D and m O are weighted by a, b, c and d, respectively (Equation (8)). The user can set the weight of each parameter according to the importance of evaluating whether two curves should be grouped into the same curve group. In one embodiment, if curve grouping is not ideal, the user can further adjust the weights for different parameters.
一実施形態では、曲線グループ化は、単一のデジタルピクチャにおいても、複数のデジタルピクチャのビデオシーケンスの異なる複数のデジタルピクチャ間においても実行される。単一のデジタルピクチャにおける曲線グループ化は、曲線の高いレベルの構造を発見する際に役立つことがあり、デジタルピクチャ間のグループ化は、ビデオシーケンス内のデジタルピクチャの対応を発見する際に役立つ。   In one embodiment, the curve grouping is performed both in a single digital picture and between different digital pictures in a video sequence of multiple digital pictures. Curve grouping in a single digital picture may be helpful in finding high-level structures of curves, and grouping between digital pictures is helpful in finding correspondence of digital pictures in a video sequence.
3D空間で作動するとき、追加の深さ寸法は、曲線グループ化に関するさらなる情報を与えることができる。   When operating in 3D space, additional depth dimensions can provide additional information regarding curve grouping.
一実施形態では、デジタルピクチャ間の曲線グループ化は、曲線対応を発見することを目的として設計される。アニメーションでは、各デジタルピクチャ中の対応する曲線は、単一のグループにグループ化され得る。たとえば、これらの曲線は類似する位置に配置され、類似する幾何学特性を有し得る。このコンテキストでは、類似する位置とは、曲線の位置が互いにあらかじめ規定された範囲内にあることを指し得る。類似する幾何学特性とは、曲線の曲率の差が、あらかじめ規定された範囲内であり得ることを指し得る。これらの曲線グループ情報とともに、曲線スタイルおよびフレーム間補間は、異なる複数の曲線グループに適用され得る。   In one embodiment, curve groupings between digital pictures are designed with the goal of finding curve correspondences. In animation, the corresponding curves in each digital picture can be grouped into a single group. For example, these curves may be located at similar locations and have similar geometric characteristics. In this context, a similar position may refer to the positions of the curves being within a predefined range from each other. Similar geometric characteristics can refer to the fact that the difference in curvature of the curves can be within a predefined range. Along with these curve group information, curve styles and inter-frame interpolation can be applied to different curve groups.
図13(a)〜(c)に、異なる複数のデジタルピクチャに関する曲線グループ化の一例を示す。   FIGS. 13A to 13C show an example of curve grouping related to a plurality of different digital pictures.
図を見ると分かるように、図13(a)〜(c)は、回転している人の頭部を、ビデオシーケンスの3つの異なるデジタルピクチャで、アニメーションで示している。図13(a)では、第1のデジタルピクチャの曲線AおよびBは顔の左目を示す。第2のデジタルピクチャである図13(b)では、左目を示すために曲線A1のみが使用される。第3のデジタルピクチャである図13(c)では、左目を示すために、曲線A2およびB2が使用される。一実施形態では、曲線グループ化の結果として、左目に対して、2つの曲線グループ、つまり、曲線A、A1およびA2をもつ1つのグループ、ならびに曲線BおよびB2をもつもう1つのグループが判断され得る。曲線グループ化に基づいて、一実施形態では、これらの2つのグループ内の曲線に、異なるスタイルを適用することができる。この実施形態は、3Dオブジェクトの形状の理解を容易にすることができ、スタイライズされたストロークを用いて視覚的に満足できるアニメーションを達成するのに役立つ。   As can be seen in the figure, FIGS. 13 (a)-(c) show the rotating human head in animation with three different digital pictures of the video sequence. In FIG. 13A, curves A and B of the first digital picture show the left eye of the face. In FIG. 13B, which is the second digital picture, only the curve A1 is used to show the left eye. In FIG. 13C, which is the third digital picture, curves A2 and B2 are used to show the left eye. In one embodiment, as a result of curve grouping, two curve groups are determined for the left eye: one group with curves A, A1 and A2, and another group with curves B and B2. obtain. Based on curve grouping, in one embodiment, different styles can be applied to the curves in these two groups. This embodiment can facilitate understanding of the shape of the 3D object and helps achieve visually satisfactory animation using stylized strokes.
いくつかの場合、完全に自動化された曲線グループ化は、満足できるグループ化を保証しないことがあるので、一実施形態では、グループ化プロセス中に曲線グループ化を調節および修正するために、ユーザ対話を組み込むことができる。たとえば、ユーザは、式(8)に示すように、a、b、cおよびdの重みを調節することができる。別の例では、ユーザはMのしきい値THを調節することができる。 In some embodiments, fully automated curve grouping may not guarantee satisfactory grouping, so in one embodiment, user interaction is used to adjust and modify curve grouping during the grouping process. Can be incorporated. For example, the user can adjust the weights of a, b, c and d as shown in equation (8). In another example, the user can adjust the threshold value TH of M A.
一実施形態では、曲線グループ化は、3Dオブジェクトの構造に関する高いレベルの情報を提供することができ、それにより、より洗練された線描画を生成するために意味情報を組み込むことが可能になる。意味情報は、曲線に意味を与えることができ、たとえば、それは個人の顔の目または口である。曲線グループ化は、広範囲のアプリケーションに適用することができ、以下において、曲線グループ化する方法の効果について、知識ベースの線描画、およびスタイライズされたストロークアニメーションを用いて実証する。   In one embodiment, curve grouping can provide a high level of information about the structure of a 3D object, thereby allowing semantic information to be incorporated to generate a more sophisticated line drawing. Semantic information can give meaning to a curve, for example, it is the eyes or mouth of an individual's face. Curve grouping can be applied to a wide range of applications, and in the following, the effect of the method of curve grouping will be demonstrated using knowledge-based line drawing and stylized stroke animation.
知識ベース線描画について、以下により詳細に説明する。   Knowledge base line drawing will be described in more detail below.
観察から、アーティストによる線描画の線は、オブジェクト表面上のジオメトリまたはライティングを常にたどるわけではないことがわかる。たとえば、手で描いた線描画では、特別な表現を目的とした線の誇張がしばしば見られる。これは、漫画のような、いくつかの伝統的な芸術スタイルにおいて顕著である。それは、線描画で表されたオブジェクトに関する何らかの常識を理由に、人々にはよく理解される。   From observation, it can be seen that the line drawn by an artist does not always follow the geometry or lighting on the object surface. For example, in hand-drawn line drawing, line exaggeration is often seen for special purposes. This is noticeable in some traditional art styles, such as comics. It is well understood by people because of some common sense about objects represented by line drawing.
一実施形態では描画プロセスにテンプレートおよび意味情報を組み込むことによって、曲線を用いたアニメーション化された顔のイラストレーションのための方法が提供される。一実施形態では、この方法は、3Dオブジェクトについて抽出された曲線のグループ化、およびあらかじめ規定された、厳密な制約のあるドメインに基づいている。このコンテキストでは、厳密な制約のあるドメインとは、曲線グループが、あらかじめ規定された構成要素に明確に対応するという要件を指し得る。たとえば、曲線グループは、左目領域の区域に曲線を含むことがあり、曲線グループを、あらかじめ規定された構成要素、つまり、左目領域のテンプレートとマッチングさせることがある。一実施形態では、曲線は、PELである。   In one embodiment, a method for animated face illustration using curves is provided by incorporating template and semantic information into the drawing process. In one embodiment, the method is based on a grouping of curves extracted for 3D objects and a predefined, strictly constrained domain. In this context, a strictly constrained domain may refer to the requirement that a curve group clearly corresponds to a predefined component. For example, a curve group may include a curve in the area of the left eye region, and the curve group may be matched with a predefined component, ie, a template for the left eye region. In one embodiment, the curve is PEL.
一実施形態では、テンプレートおよび意味情報を描画プロセスに組み込むために、知識ベースのアルゴリズムが提供される。一実施形態では、曲線がグループ化された後、各曲線グループをあらかじめ規定された構成要素とマッチングさせることができる。たとえば、曲線グループを、あらかじめ規定された構成要素、すなわち、左目とマッチングさせることができる。あらかじめ規定された構成要素の複数のテンプレートは既にシステムに記憶しておいてもよい。一実施形態では、曲線グループに最もよく整合する、あらかじめ規定された構成要素のテンプレートを選択することができる。一実施形態では、各曲線グループを、選択されたテンプレートと交換することができる。一実施形態では、選択されたテンプレートをさらに、スタイライズする、すなわち、太線描画モードにすることができる。一実施形態では、選択されたテンプレートをデジタルピクチャにフィットするように変換および合成することができる。このようにして、スタイリスティックな線描画を達成することができる。これらの線描画中の曲線は、画像の特徴をたどらないことがあるが、全体として、線描画は、依然として、「正しく」かつ美しくなり得る。このプロセスは任意選択とすることができ、あらかじめ規定された描画は、うまく規定された曲線対応を有することができるので、スタイライズされた曲線をアニメーションに適用する際に役立つ。   In one embodiment, a knowledge-based algorithm is provided to incorporate template and semantic information into the drawing process. In one embodiment, after the curves are grouped, each curve group can be matched with a predefined component. For example, a curve group can be matched with a predefined component, i.e., the left eye. Multiple templates of predefined components may already be stored in the system. In one embodiment, a pre-defined component template that best matches a curve group may be selected. In one embodiment, each curve group can be exchanged with a selected template. In one embodiment, the selected template can be further styled, i.e. put into a thick line drawing mode. In one embodiment, the selected template can be transformed and synthesized to fit a digital picture. In this way, a stylish line drawing can be achieved. While these line-drawing curves may not follow the features of the image, overall, the line drawing may still be “correct” and beautiful. This process can be optional, and the pre-defined drawing can have a well-defined curve correspondence, which is useful in applying a stylized curve to the animation.
一実施形態では、前述のように、曲線グループ化は、連続性、平行性などのルールにしたがって自動的に実行される。   In one embodiment, as described above, curve grouping is automatically performed according to rules such as continuity and parallelism.
一実施形態では、知識ベースのアルゴリズムは、ビデオシーケンス内のすべてのデジタルピクチャで作動する。   In one embodiment, the knowledge-based algorithm operates on all digital pictures in the video sequence.
一実施形態では、あらかじめ規定されたテンプレートデータベースは、人の顔、動物、建物などのように、様々な分野について構築され得る。   In one embodiment, the predefined template database may be constructed for various fields, such as human faces, animals, buildings, and the like.
一実施形態では、PEL曲線は、最初に、目、鼻および口を含む意味のある構成要素を表すようにグループ化される。次いで、ストローククラスタと整合すべきあらかじめ規定された線描画を発見するために、ライブラリ中の検索が実行され得る。このプロセスでは、様々な顔のスケッチを表す様々なマッチングパラメータを使用することができる。最後に、PELストローククラスタは、あらかじめ規定されたユーザ描画と交換することができる。   In one embodiment, PEL curves are first grouped to represent meaningful components including eyes, nose and mouth. A search in the library can then be performed to find a predefined line drawing to be matched with the stroke cluster. In this process, different matching parameters representing different facial sketches can be used. Finally, PEL stroke clusters can be exchanged for predefined user drawings.
図14(a)〜(c)に、2つの異なるスタイルの線描画が、あらかじめ規定されたライブラリから生成される例を示す。   FIGS. 14A to 14C show examples in which two different styles of line drawing are generated from a predefined library.
図14(a)は、3Dオブジェクトを示している。図14(a)に示された3Dオブジェクトに基づいて、3Dオブジェクトの形状を表すPELのような曲線を抽出することができる。図14(b)は、抽出された曲線の例を、ストロークテンプレートのうち1つのスタイルで示している。図14(c)は、抽出された曲線の別の例を、別のストロークテンプレートのうちの別のスタイルで示している。   FIG. 14A shows a 3D object. Based on the 3D object shown in FIG. 14A, a curve such as PEL representing the shape of the 3D object can be extracted. FIG. 14B shows an example of the extracted curve in one style of the stroke template. FIG. 14 (c) shows another example of the extracted curve in another style of different stroke templates.
曲線対応について、以下により詳細に説明する。   The curve correspondence will be described in more detail below.
デジタルピクチャ間の3Dオブジェクトについて抽出された曲線、たとえば、PELの対応および進化を発見することは、曲線に基づくスタイライズされたアニメーションにとって重要である。曲線を滑らかに補間すること、様々なスタイルでコヒーレントアーティスティック曲線をレンダリングすること、および、曲線空間における動作を用いてアニメーションを操作することなどに適用することができる。前述のように、これは、特にPEL曲線について、課題の多い問題である。   Finding curves, eg, PEL correspondence and evolution, for 3D objects between digital pictures is important for curve-based stylized animation. It can be applied to smoothly interpolating curves, rendering coherent artistic curves in various styles, and manipulating animation with motion in curve space, and so on. As mentioned above, this is a problematic problem, especially for PEL curves.
一実施形態では、曲線グループ化に基づいて曲線の対応が確立される。アニメーションシーケンスにおいて、すべてのデジタルピクチャに関する曲線のセットが抽出され、次いで、異なる複数のデジタルピクチャからの曲線とともに、小さなグループに分割される。一実施形態では、グループ中の曲線の点対応は、曲線をスクリーン空間中に投射すること、およびスクリーン空間中の最も近い点を発見することによって発見することができる。このコンテキストでは、スクリーン空間とは、2D空間を指し得る。3D空間中の3Dオブジェクトの抽出された曲線は、3Dオブジェクトの2Dイラストレーションを形成するために、2D空間に投射される。このようにグループ化がうまくいかない場合には、前述のように、ユーザ対話を組み込むことができ、このユーザ対話のいくつかのルールは学習され、さらなる曲線グループ化プロセスに適用され得る。   In one embodiment, curve correspondence is established based on curve grouping. In an animation sequence, a set of curves for all digital pictures is extracted and then divided into small groups with curves from different digital pictures. In one embodiment, the point correspondence of a curve in a group can be found by projecting the curve into screen space and finding the closest point in screen space. In this context, screen space may refer to 2D space. The extracted curve of the 3D object in 3D space is projected into 2D space to form a 2D illustration of the 3D object. If grouping is not successful in this way, user interaction can be incorporated as described above, and some rules of this user interaction can be learned and applied to further curve grouping processes.
一実施形態では、デジタルピクチャの各グループについて対応が確立される。換言すると、デジタルピクチャについて、ピクチャエレメント、たとえば、左目に関して、曲線のグループを判断することができる。次いで、ビデオシーケンスの異なる複数のデジタルピクチャ中で左目に関連付けられるすべてのグループについて、対応が確立される。   In one embodiment, a correspondence is established for each group of digital pictures. In other words, for a digital picture, a group of curves can be determined for a picture element, eg, the left eye. A correspondence is then established for all groups associated with the left eye in different digital pictures of the video sequence.
一実施形態では、曲線グループ化を用いて、曲線グループの対応が最初に確立され、次いで、グループ内で、単一の曲線の対応が判断される。この階層的なマッチングで曲線対応を発見することにより、アルゴリズムの効果が改善される。例として、図13を参照すると、図13(a)〜(c)は、ビデオシーケンスの3Dオブジェクトの人の頭部の3つの異なるデジタルピクチャを示している。人の頭部の左目に関連付けられている曲線グループFは、曲線A、B、A1、A2およびB2を含んでいると判断され得、曲線A、B、A1、A2およびB2はすべて、左目の形状を示すために使用されている。一実施形態では、曲線グループFを、3つのサブグループにさらに分割することができる。たとえば、第1のフレーム中で左目に関連付けられている曲線サブグループF1は、曲線AおよびBを含んでいると判断され得る。第2のフレーム中で左目に関連付けられている曲線グループF2は、曲線A1を含んでいると判断され得る。第3のフレーム中で左目に関連付けられている曲線グループF3は、曲線A2およびB2を含んでいると判断され得る。一実施形態では、曲線サブグループFl、F2およびF3がすべて、構成要素、すなわち、左目に関連付けられているので、曲線サブグループFlとF2とF3との間に、対応を確立することができる。   In one embodiment, using curve grouping, curve group correspondences are first established, and then within a group, single curve correspondences are determined. By finding a curve correspondence with this hierarchical matching, the effectiveness of the algorithm is improved. As an example, referring to FIG. 13, FIGS. 13 (a)-(c) show three different digital pictures of a human head of a 3D object in a video sequence. Curve group F associated with the left eye of a person's head may be determined to include curves A, B, A1, A2, and B2, and curves A, B, A1, A2, and B2 are all included in the left eye Used to indicate shape. In one embodiment, the curve group F can be further divided into three subgroups. For example, the curve subgroup F1 associated with the left eye in the first frame may be determined to include curves A and B. The curve group F2 associated with the left eye in the second frame may be determined to include the curve A1. The curve group F3 associated with the left eye in the third frame may be determined to include curves A2 and B2. In one embodiment, since the curve subgroups Fl, F2 and F3 are all associated with the component, i.e. the left eye, a correspondence can be established between the curve subgroups Fl, F2 and F3.
一実施形態では、曲線サブグループFl、F2およびF3に関して対応が確立された後、単一の曲線の対応が判断され得る。たとえば、曲線サブグループFl、F2およびF3については、曲線A、A1およびA2が、人の頭部の類似する位置にあり、類似する幾何学特性を共有しているので、曲線A、A1およびA2は、対応する曲線であると判断することができる。同様に、曲線BおよびB2は対応する曲線である。一実施形態では、ビデオシーケンスの異なる複数のデジタルピクチャ全体に対応する曲線の同じセットに、同じスタイルを適用することができる。   In one embodiment, after correspondence is established for curve subgroups Fl, F2, and F3, the correspondence of a single curve may be determined. For example, for curve subgroups Fl, F2 and F3, curves A, A1 and A2 are at similar positions on the person's head and share similar geometric properties, so Can be determined as corresponding curves. Similarly, curves B and B2 are corresponding curves. In one embodiment, the same style can be applied to the same set of curves corresponding to the entire digital pictures of different video sequences.
換言すると、一実施形態では、同じピクチャエレメント、すなわち、左目に関連付けられた異なる複数のデジタルピクチャの曲線を、一緒にグループ化することができる。次いで、曲線グループをサブグループに分割することができ、各サブグループは、1つのデジタルピクチャに対応する。さらに、サブグループ中の曲線に基づいて、単一の曲線対応を確立することができる。さらなる実施形態では、単一の曲線対応にさらに基づいて、点対応を判断することができる。異なる複数の曲線サブグループ間、複数の曲線サブグループ中の単一の曲線間、および単一の曲線中の複数の点間の対応の確立は、階層的なマッチングプロセスと呼ぶことができる。   In other words, in one embodiment, curves of different digital pictures associated with the same picture element, i.e. the left eye, can be grouped together. The curve group can then be divided into subgroups, each subgroup corresponding to one digital picture. Furthermore, a single curve correspondence can be established based on the curves in the subgroup. In a further embodiment, point correspondences can be determined further based on a single curve correspondence. Establishing correspondence between different curve subgroups, between single curves in multiple curve subgroups, and between points in a single curve can be referred to as a hierarchical matching process.
図15に、階層的なマッチングの一例を示す。   FIG. 15 shows an example of hierarchical matching.
アニメーションにおいて、図15(a)に示す第1のデジタルピクチャには、ピクセルAおよびBをもつ曲線Sが存在する。図15(b)に示す第2のデジタルピクチャには、曲線S’、S1およびS2が存在する。階層的なマッチングにより、曲線グループFは、曲線S、S’、S1およびS2を備えると判断され得、それらの曲線はすべて、左目の形状を示すために使用される。さらに、曲線グループFについて、曲線Sを含んでいるフレーム1に関する曲線サブグループF1を判断することができ、曲線S’、S1およびS2を含んでいるフレーム2に関する別の曲線サブグループF2を判断することができる。さらなるステップにおいて、単一の曲線対応を判断することができる。たとえば、曲線サブグループF1中の曲線Sは、曲線サブグループF2中の曲線S’に対応すると判断することができ、曲線SおよびS’は、左目の同じ位置に配置され、類似する幾何学特性を共有する。   In the animation, a curve S having pixels A and B exists in the first digital picture shown in FIG. In the second digital picture shown in FIG. 15B, curves S ′, S1 and S2 exist. By hierarchical matching, the curve group F can be determined to comprise curves S, S ', S1 and S2, all of which are used to indicate the shape of the left eye. Furthermore, for curve group F, a curve subgroup F1 for frame 1 containing curve S can be determined, and another curve subgroup F2 for frame 2 containing curves S ′, S1 and S2 is determined. be able to. In a further step, a single curve correspondence can be determined. For example, the curve S in the curve subgroup F1 can be determined to correspond to the curve S ′ in the curve subgroup F2, and the curves S and S ′ are arranged at the same position in the left eye and have similar geometric characteristics. Share
曲線対応は、インビトゥイーニングのための滑らかな曲線補間、スタイライズされたアニメーションのための様々なスタイルアーティスティックストロークレンダリング、および曲線空間におけるアニメーションの操作などを含む、広範囲のアプリケーションに使用することができる。曲線グループ化を用いて曲線対応を発見することは、様々なアプリケーションについて、開発中の新規の高度なアルゴリズムにおいて知覚的な手掛かりを与える。   Curve support can be used for a wide range of applications, including smooth curve interpolation for in-vitroening, various style artistic stroke rendering for stylized animation, and manipulation of animation in curve space. it can. Finding curve correspondences using curve grouping provides perceptual cues in new advanced algorithms under development for various applications.
図16に、一実施形態によるコンピュータ1600を示す。   FIG. 16 illustrates a computer 1600 according to one embodiment.
一実施形態では、コンピュータ1600は、プロセッサ1601を含むことができる。一実施形態では、コンピュータ1600は、メモリ1602をさらに含むことができる。一実施形態では、コンピュータ1600は、複数の曲線の各々に関する3次元表現を受信するための入力1603をさらに備えることができ、各曲線は、3次元オブジェクトの形状を少なくとも部分的に表す。一実施形態では、コンピュータ1600は、ユーザ入力1604をさらに備えることができる。一実施形態では、コンピュータ1600は、ディスプレイ1605をさらに備えることができる。一実施形態では、コンピュータ1600は、別のコンピュータ可読媒体からコードを読み取るためのコード読取ユニット1606をさらに備えることができる。たとえば、コンピュータ1600のすべての構成要素は、コンピュータバス1607を介して互いに接続されている。   In one embodiment, computer 1600 can include a processor 1601. In one embodiment, the computer 1600 can further include a memory 1602. In one embodiment, the computer 1600 can further comprise an input 1603 for receiving a three-dimensional representation for each of the plurality of curves, each curve at least partially representing the shape of the three-dimensional object. In one embodiment, computer 1600 can further comprise user input 1604. In one embodiment, the computer 1600 can further comprise a display 1605. In one embodiment, the computer 1600 may further comprise a code reading unit 1606 for reading codes from another computer readable medium. For example, all components of computer 1600 are connected to each other via computer bus 1607.
一実施形態では、メモリ1602は、プロセッサ1601に、デジタルピクチャを生成するための方法を実行させるように適合されたプログラムが記録されており、このメモリは、プロセッサ1601に、複数の曲線の各々に関する3次元表現の受信を実行させるプログラムのコードであって、各曲線が、3次元オブジェクトの形状を少なくとも部分的に表す、コードと、プロセッサ1601に、3次元表現によって与えられた3次元情報を使用して、曲線の3次元表現に基づいて、複数の曲線の少なくとも1つの曲線グループへのグループ化を実行させるプログラムのコードと、プロセッサ1601に、曲線グループの曲線に基づいて、各曲線グループとピクチャエレメントとの関連付けを実行させるプログラムのコードと、プロセッサ1601に、ピクチャエレメントを使用したデジタルピクチャの形成を実行させるプログラムのコードとを備える。   In one embodiment, the memory 1602 stores a program adapted to cause the processor 1601 to perform a method for generating a digital picture, the memory 1602 relating to each of the plurality of curves. Code of a program that executes reception of a three-dimensional representation, wherein each curve at least partially represents the shape of a three-dimensional object, and uses the three-dimensional information given to the processor 1601 by the three-dimensional representation And a program code for performing grouping of a plurality of curves into at least one curve group based on a three-dimensional representation of the curve, and causing the processor 1601 to execute each curve group and picture based on the curve of the curve group. Code of a program for executing association with an element, and processor 1 01, and a code of a program for executing the formation of digital picture using the picture element.
一実施形態では、プロセッサ1601は、デジタルピクチャを生成するプログラムを実行するために、メモリ1602上のプログラムを読み取る。   In one embodiment, processor 1601 reads a program on memory 1602 to execute a program that generates a digital picture.
一実施形態では、プロセッサ1601は、曲線表現の入力1603を介して、曲線の3D表現を得る。   In one embodiment, the processor 1601 obtains a 3D representation of the curve via the curve representation input 1603.
一実施形態では、プロセッサ1601は、ユーザからユーザ入力1604を介して入力を得る。   In one embodiment, processor 1601 obtains input from a user via user input 1604.
一実施形態では、別のコンピュータ可読媒体(図示せず)にプログラムコードを記録してもよい。この場合、プロセッサ1601は、コード読取ユニット1606を介して、その別のコンピュータ可読媒体からコードを読み取り、本明細書に記載されたデジタルピクチャを生成する方法を実行することができる。   In one embodiment, the program code may be recorded on another computer readable medium (not shown). In this case, the processor 1601 may execute the method for reading the code from the other computer readable medium via the code reading unit 1606 and generating the digital picture described herein.
一実施形態では、生成されたデジタルピクチャは、ディスプレイ1605上に示される   In one embodiment, the generated digital picture is shown on display 1605.
特定の実施形態に関して本発明を具体的に図示し、説明してきたが、当業者には、添付の特許請求の範囲に規定された本発明の範囲から逸脱することなく、形態および詳細に様々な変更をなし得ることを理解されたい。したがって、本発明の範囲は、添付の特許請求の範囲によって指定されるものであり、したがって、各請求項の等価物の意味および範囲内となるすべての変更は包含されることが意図される。   While the invention has been particularly shown and described with respect to particular embodiments, those skilled in the art will recognize that various forms and details can be used without departing from the scope of the invention as defined in the appended claims. It should be understood that changes can be made. Accordingly, the scope of the present invention is intended to be defined by the appended claims, and therefore, all modifications that come within the meaning and range of equivalents of each claim are intended to be encompassed.
本明細書において、以下の文献を参照している。
1. Appel、「The notion of quantitative invisibility and the machine rendering of solids」(1967年第22回national conferenceの議事録)
2. Goochら、「Interactive technical illustration」(1999年symposium on Interactive 3D graphicsの議事録)
3. HertzmannおよびZorin、「Illustrating smooth surfaces」(Siggraph 2000の議事録)
4. Kalninsら、「WYSIWYG NPR: Drawing strokes directly on 3d models」 (Siggraph 2002の議事録)
5. Interranteら、「Enhancing transparent skin surfaces with ridge and valley lines」(IEEE Visualization 1995)
6. WilsonおよびMa、「Representing complexity in computer− generated pen−and−ink illustrations」(NPAR 2004の議事録)
7. Niら、「Multi−scale line drawings from 3D meshes2006年symposium on Interactive 3D graphicsの議事録」
8. DeCarloら、「Suggestive contours for conveying shape」(Siggraph 2003の議事録)
In this specification, the following documents are referred to.
1. Appel, “The notion of quantitative invisibility and the machine rendering of solids” (Proceedings of the 22nd National Conference of 1967)
2. Gooch et al., “Interactive technical illustration” (Proceedings of 1999 Symposium on Interactive 3D graphics)
3. Hertzmann and Zorin, “Illustrating smooth surfaces” (minutes from Sigmagraph 2000)
4). Kalnins et al., “WYSIWYG NPR: Drawing strokes direct on 3d models” (Minutes of Sigmagraph 2002)
5. Interrant et al., “Enhancing transparencing skin surfaces with ridge and valley lines” (IEEE Visualization 1995).
6). Wilson and Ma, “Representing complexity in computer-generated pen-and-ink illustrations” (minutes of NPAR 2004)
7). Ni et al., “Proceedings of Multi-scale line drawings from 3D meshes 2006 Symposium on Interactive 3D graphics”
8). DeCarlo et al., “Suggestive controls for conveying shape” (minutes of Sigma 2003).
1 ・・・フレーム
2 ・・・フレーム
200 ・・・3Dオブジェクトの表面
202 ・・・D||∇f||>0の領域
204 ・・・D||∇f||<0の領域
900 ・・・デバイス
901 ・・・受信ユニット
902 ・・・グループ化ユニット
903 ・・・関連付けユニット
904 ・・・生成ユニット
1001〜1004、1201〜1204 ・・・終点
1005〜1012、1205〜1220 ・・・サンプリング点
1600 ・・・コンピュータ
1601 ・・・プロセッサ
1602 ・・・メモリ
1603 ・・・曲線表現の入力
1604 ・・・ユーザ入力
1605 ・・・ディスプレイ
1606 ・・・コード読取ユニット
1 region 204 of ... Frame 2 ... Frame 200 surface 202 ... 3D object ··· D w || ∇f ||> 0 ··· D w || ∇f || <0 region 900 ... Device 901 ... Reception unit 902 ... Grouping unit 903 ... Association unit 904 ... Generation unit 1001 to 1004, 1201 to 1204 ... End point 1005 to 1012, 1205 to 1220 Sampling point 1600... Computer 1601... Processor 1602... Memory 1603... Input of curve expression 1604... User input 1605... Display 1606.

Claims (16)

  1. デジタルピクチャを生成するための方法において、
    装置の受信ユニットが、複数の曲線の各々に関する3次元表現を受信するステップであって、各曲線が、3次元オブジェクトの形状を少なくとも部分的に表す、受信するステップと、
    前記装置のグループ化ユニットが、前記3次元表現によって与えられた3次元情報を使用して、前記曲線の前記3次元表現に基づいて、前記複数の曲線を少なくとも1つの曲線グループにグループ化するステップと、
    前記装置のグループ化ユニットが、前記曲線グループの前記曲線に基づいて、各曲線グループをピクチャエレメントに関連付けるステップと、
    前記装置の生成ユニットが、前記ピクチャエレメントを使用して、前記デジタルピクチャを形成するステップと
    を含
    前記複数の曲線のうち2つの曲線間の連続性の測定値、
    前記2つの曲線の平行性の測定値、
    前記2つの曲線の近接度の測定値、および
    閉曲線につながるべき前記2つの曲線の可能性の測定値
    のうちの少なくとも1つに基づいて、前記2つの曲線が同じ曲線グループにグループ化されるかどうかが決定される、
    方法。
    In a method for generating a digital picture,
    A step receiving unit of the apparatus, the method comprising: receiving a three-dimensional representation of each of a plurality of curves, each curve, at least partially representative of the shape of the three-dimensional object, receiving,
    Grouping the plurality of curves into at least one curve group based on the three-dimensional representation of the curve using the three-dimensional information provided by the three-dimensional representation by the grouping unit of the device When,
    A grouping unit of the apparatus associating each curve group with a picture element based on the curve of the curve group;
    Generation unit of the apparatus, using said picture elements, look-containing and forming the digital picture,
    A measure of continuity between two of the plurality of curves;
    A measure of the parallelism of the two curves;
    A measure of the proximity of the two curves; and
    A measure of the possibility of the two curves to be connected to a closed curve
    Determining whether the two curves are grouped into the same curve group based on at least one of
    Method.
  2. 前記デジタルピクチャが、複数のデジタルピクチャのビデオシーケンスのうちのデジタルピクチャである、請求項1に記載の方法。 The method of claim 1, wherein the digital picture is a digital picture in a video sequence of a plurality of digital pictures.
  3. 前記複数の曲線のうちの少なくとも2つの曲線が、デジタルピクチャの前記ビデオシーケンスのうちの異なるデジタルピクチャに関連付けられる、請求項2に記載の方法。 The method of claim 2, wherein at least two curves of the plurality of curves are associated with different digital pictures of the video sequence of digital pictures.
  4. 前記2つの曲線間の連続性の測定値、
    前記2つの曲線の平行性の測定値、
    前記2つの曲線の近接度の測定値、および
    閉曲線に導くための前記2つの曲線の可能性の測定値
    のうちの少なくとも1つと、所定のしきい値との比較に基づいて、2つの曲線が前記同じ曲線グループにグループ化されるかどうかが決定される、請求項1乃至3のいずれか1項に記載の方法。
    A measure of continuity between the two curves,
    A measure of the parallelism of the two curves;
    Based on a comparison of at least one of the measure of proximity of the two curves and the measure of the likelihood of the two curves to lead to a closed curve with a predetermined threshold, the two curves are 4. A method according to any one of the preceding claims, wherein it is determined whether to group into the same curve group.
  5. 前記2つの曲線間の連続性の測定値、
    前記2つの曲線の平行性の測定値、
    前記2つの曲線の近接度の測定値、および
    閉曲線に導くための前記2つの曲線の可能性の測定値
    のうちの少なくとも2つの組合せと、所定のしきい値との比較に基づいて、2つの曲線が前記同じ曲線グループにグループ化されるかどうかが決定される、請求項1乃至4のいずれか1項に記載の方法。
    A measure of continuity between the two curves,
    A measure of the parallelism of the two curves;
    Based on a comparison of a measure of the proximity of the two curves and a measure of the likelihood of the two curves to lead to a closed curve, and a comparison with a predetermined threshold, two curve whether grouped into the same curve group is determined, the method according to any one of claims 1 to 4.
  6. 前記組合せが、
    前記2つの曲線間の連続性の測定値、
    前記2つの曲線の平行性の測定値、
    前記2つの曲線の近接度の測定値、および
    閉曲線に導くための前記2つの曲線の可能性の測定値
    のうちの少なくとも2つの重み付けされた和である、請求項に記載の方法。
    The combination is
    A measure of continuity between the two curves,
    A measure of the parallelism of the two curves;
    6. The method of claim 5 , wherein the weighted sum of at least two of the proximity measurements of the two curves and the likelihood of the two curves to lead to a closed curve.
  7. 曲線の前記3次元表現が、3次元空間中の頂点のセットである、請求項1からのいずれか一項に記載の方法。 It said three-dimensional representation of the curve is a set of vertices in the 3-dimensional space, the method according to any one of claims 1 to 6.
  8. 前記3次元オブジェクトが、所定の視点から見え、少なくとも1つの所定の光源によって照明される場合、前記頂点が、前記3次元オブジェクトの照明が変わる3次元空間中のポイントを特定する、請求項に記載の方法。 8. The vertex according to claim 7 , wherein if the three-dimensional object is visible from a predetermined viewpoint and illuminated by at least one predetermined light source, the vertex identifies a point in a three-dimensional space where the illumination of the three-dimensional object changes. The method described.
  9. 前記3次元情報が、3次元空間中の前記曲線の3次元経路に関する情報である、請求項1からのいずれか一項に記載の方法。 The three-dimensional information, which is information on three-dimensional path of the curve in three-dimensional space, the method according to any one of claims 1 to 8.
  10. 1つのピクチャエレメントに関連付けられた各曲線グループが、複数の曲線サブグループにさらに分割され、各曲線サブグループが、異なる複数のデジタルピクチャについて、同じピクチャエレメントに関連付けられる、請求項3に記載の方法。 4. The method of claim 3, wherein each curve group associated with one picture element is further divided into a plurality of curve subgroups, and each curve subgroup is associated with the same picture element for a plurality of different digital pictures. .
  11. 前記デジタルピクチャ中に示されるべき各ピクチャエレメントについて、スタイリスティックパターンを設定するステップをさらに含み、前記スタイリスティックパターンは非フォトリアリスティックアプリケーションの特性を含む、請求項10に記載の方法。 Wherein for each picture element to be presented in a digital picture, style look further including the step of setting a re stick pattern, the stylistic pattern includes the characteristics of the non-photorealistic application, The method of claim 10.
  12. 同じピクチャエレメントについて、同じスタイリスティックパターンが、異なる複数のデジタルピクチャにわたる複数の異なる曲線サブグループに適用される、請求項1に記載の方法。 For the same picture element, the same stylistic pattern is applied to a plurality of different curves subgroups across different digital pictures, the method of claim 1 1.
  13. 曲線サブグループ内の少なくとも1つの曲線についてスタイリスティックパターンを設定するステップをさらに含む、請求項1に記載の方法。 Further comprising the step of setting a stylistic pattern for at least one curve within the curve subgroup A method according to claim 1 0.
  14. 前記曲線サブグループ内の前記少なくとも1つの曲線、および同じ曲線グループ内のすべての他の曲線サブグループ内の少なくとも1つの対応する曲線に、同じスタイリスティックパターンが適用され、前記少なくとも1つの対応する曲線が、前記3次元オブジェクトに関して類似する位置または類似する幾何学特性を、前記少なくとも1つの曲線と共有する曲線を指す、請求項1に記載の方法。 The same stylistic pattern is applied to the at least one curve in the curve subgroup and to at least one corresponding curve in all other curve subgroups in the same curve group, and the at least one corresponding curve but geometrical properties located or similar similar for the three-dimensional object refers to a curve to be shared with the at least one curve, the method of claim 1 3.
  15. 複数の曲線の各々に関する3次元表現を受信するように構成された受信ユニットであって、各曲線が、3次元オブジェクトの形状を少なくとも部分的に表す、受信ユニットと、
    前記3次元表現によって与えられた3次元情報を使用して、前記曲線の前記3次元表現に基づいて、前記複数の曲線を少なくとも1つの曲線グループにグループ化するように構成されたグループ化ユニットと、
    前記曲線グループの前記曲線に基づいて、各曲線グループをピクチャエレメントに関連付けるように構成された関連付けユニットと、
    前記ピクチャエレメントを使用して、デジタルピクチャを形成するように構成された生成ユニットと
    え、
    前記複数の曲線のうち2つの曲線間の連続性の測定値、
    前記2つの曲線の平行性の測定値、
    前記2つの曲線の近接度の測定値、および
    閉曲線につながるべき前記2つの曲線の可能性の測定値
    のうちの少なくとも1つに基づいて、前記2つの曲線が同じ曲線グループにグループ化されるかどうかが決定される、
    、デバイス。
    A receiving unit configured to receive a three-dimensional representation for each of a plurality of curves, each curve at least partially representing a shape of a three-dimensional object;
    A grouping unit configured to group the plurality of curves into at least one curve group based on the three-dimensional representation of the curve using the three-dimensional information provided by the three-dimensional representation; ,
    An association unit configured to associate each curve group with a picture element based on the curves of the curve group;
    Using said picture elements, and <br/> Bei example configured generation unit to form a digital picture,
    A measure of continuity between two of the plurality of curves;
    A measure of the parallelism of the two curves;
    A measure of the proximity of the two curves; and
    A measure of the possibility of the two curves to be connected to a closed curve
    Determining whether the two curves are grouped into the same curve group based on at least one of
    ,device.
  16. コンピュータのプロセッサに、デジタルピクチャを生成するための方法を実行させるように構成されたプログラムを記録したコンピュータ可読記録媒体であって、前記コンピュータ可読記録媒体が、
    前記プロセッサに、複数の曲線の各々に関する3次元表現の受信を実行させる前記プログラムのコードであって、各曲線が、3次元オブジェクトの形状を少なくとも部分的に表す、コードと、
    前記プロセッサに、前記3次元表現によって与えられた3次元情報を使用して、前記曲線の前記3次元表現に基づいて、前記複数の曲線の少なくとも1つの曲線グループへのグループ化を実行させる、前記プログラムのコードと、
    前記プロセッサに、前記曲線グループの前記曲線に基づいて、各曲線グループとピクチャエレメントとの関連付けを実行させる、前記プログラムのコードと、
    前記プロセッサに、前記ピクチャエレメントを使用する前記デジタルピクチャの形成を実行させる、前記プログラムのコードと
    を記録し、
    前記複数の曲線のうち2つの曲線間の連続性の測定値、
    前記2つの曲線の平行性の測定値、
    前記2つの曲線の近接度の測定値、および
    閉曲線につながるべき前記2つの曲線の可能性の測定値
    のうちの少なくとも1つに基づいて、前記2つの曲線が同じ曲線グループにグループ化されるかどうかが決定される、
    コンピュータ可読記録媒体。
    A computer readable recording medium having recorded thereon a program configured to cause a computer processor to execute a method for generating a digital picture, the computer readable recording medium comprising:
    Code of the program causing the processor to receive a three-dimensional representation of each of a plurality of curves, wherein each curve at least partially represents a shape of a three-dimensional object;
    Causing the processor to perform grouping of the plurality of curves into at least one curve group based on the 3D representation of the curve using 3D information provided by the 3D representation; Program code and
    Code of the program causing the processor to perform association of each curve group with a picture element based on the curve of the curve group;
    Recording the program code for causing the processor to perform the formation of the digital picture using the picture element ;
    A measure of continuity between two of the plurality of curves;
    A measure of the parallelism of the two curves;
    A measure of the proximity of the two curves; and
    A measure of the possibility of the two curves to be connected to a closed curve
    Determining whether the two curves are grouped into the same curve group based on at least one of
    Computer-readable recording medium.
JP2012548921A 2010-01-12 2010-01-12 Method, device, and computer-readable medium for generating digital pictures Active JP5526239B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/SG2010/000003 WO2011087451A1 (en) 2010-01-12 2010-01-12 Method, device, and computer readable medium for generating a digital picture

Publications (2)

Publication Number Publication Date
JP2013517554A JP2013517554A (en) 2013-05-16
JP5526239B2 true JP5526239B2 (en) 2014-06-18

Family

ID=44304511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012548921A Active JP5526239B2 (en) 2010-01-12 2010-01-12 Method, device, and computer-readable medium for generating digital pictures

Country Status (4)

Country Link
JP (1) JP5526239B2 (en)
CN (1) CN102792337B (en)
SG (1) SG182346A1 (en)
WO (1) WO2011087451A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9154763B2 (en) 2012-10-11 2015-10-06 Sony Corporation System and method for reducing artifacts caused by view-dependent lighting components
CN105894582A (en) * 2016-03-29 2016-08-24 浙江大学城市学院 Method for processing boundary filtering data in three-dimensional geological surface model
CN105931297A (en) * 2016-03-29 2016-09-07 浙江大学 Data processing method applied to three-dimensional geological surface model

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974655B1 (en) * 1998-03-16 1999-11-10 株式会社エイ・ティ・アール人間情報通信研究所 Animation system
US7586490B2 (en) * 2004-10-20 2009-09-08 Siemens Aktiengesellschaft Systems and methods for three-dimensional sketching
US7286131B2 (en) * 2005-05-26 2007-10-23 Microsoft Corporation Generating an approximation of an arbitrary curve
FR2907569B1 (en) * 2006-10-24 2009-05-29 Jean Marc Robin METHOD AND DEVICE FOR VIRTUAL SIMULATION OF A VIDEO IMAGE SEQUENCE

Also Published As

Publication number Publication date
CN102792337B (en) 2016-01-20
CN102792337A (en) 2012-11-21
SG182346A1 (en) 2012-08-30
WO2011087451A1 (en) 2011-07-21
JP2013517554A (en) 2013-05-16

Similar Documents

Publication Publication Date Title
US10559111B2 (en) Systems and methods for generating computer ready animation models of a human head from captured data images
US9552668B2 (en) Generation of a three-dimensional representation of a user
AU2014277220B2 (en) Online modeling for real-time facial animation
US9036898B1 (en) High-quality passive performance capture using anchor frames
Lu et al. Non-photorealistic volume rendering using stippling techniques
Kort Computer aided inbetweening
US8654121B1 (en) Structured polygonal mesh retesselation
Xie et al. An effective illustrative visualization framework based on photic extremum lines (PELs)
US8576225B2 (en) Seamless fracture in a production pipeline
JP2013061927A (en) Techniques for processing image data generated from three-dimensional graphic models
US8525846B1 (en) Shader and material layers for rendering three-dimensional (3D) object data models
US10347052B2 (en) Color-based geometric feature enhancement for 3D models
US9589376B2 (en) Manipulation of splines based on a summary spline
US8665261B1 (en) Automatic spatial correspondence disambiguation
JP5526239B2 (en) Method, device, and computer-readable medium for generating digital pictures
US8681147B1 (en) Fractured texture coordinates
JP2011048586A (en) Image processing apparatus, image processing method and program
Cardona et al. Hybrid-space localized stylization method for view-dependent lines extracted from 3D models.
US9317967B1 (en) Deformation of surface objects
US8669980B1 (en) Procedural methods for editing hierarchical subdivision surface geometry
US9665955B1 (en) Pose-space shape fitting
Junior et al. A 3D modeling methodology based on a concavity-aware geometric test to create 3D textured coarse models from concept art and orthographic projections
Rasmuson et al. A low-cost, practical acquisition and rendering pipeline for real-time free-viewpoint video communication
Krompiec et al. Deformable strokes towards temporally coherent video painting
US10650524B2 (en) Designing effective inter-pixel information flow for natural image matting

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131022

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140122

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140414

R150 Certificate of patent or registration of utility model

Ref document number: 5526239

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250