JP7066855B2 - 変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置 - Google Patents

変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置 Download PDF

Info

Publication number
JP7066855B2
JP7066855B2 JP2020536147A JP2020536147A JP7066855B2 JP 7066855 B2 JP7066855 B2 JP 7066855B2 JP 2020536147 A JP2020536147 A JP 2020536147A JP 2020536147 A JP2020536147 A JP 2020536147A JP 7066855 B2 JP7066855 B2 JP 7066855B2
Authority
JP
Japan
Prior art keywords
deformation
parameter
effect
region
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020536147A
Other languages
English (en)
Other versions
JP2021508882A (ja
Inventor
▲許▼▲親▼▲親▼
岳大禹
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド
Publication of JP2021508882A publication Critical patent/JP2021508882A/ja
Application granted granted Critical
Publication of JP7066855B2 publication Critical patent/JP7066855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • G06T3/18
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • G06F8/22Procedural
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Description

(関連出願の相互参照)
本願は、2018年2月7日に中国特許局に提出された、出願番号がCN201810123074.2であり、発明の名称が「変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は、コンピュータビジョン技術に関し、特に、変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置に関する。
拡張現実技術(Augmented Reality、AR)は、現実世界と仮想世界の情報を「シームレスに」統合する新しい技術であり、元々の現実世界にある特定の時間及び空間範囲内の実物情報をシミュレートしてから仮想情報と重畳させ、仮想情報を現実世界に適用し、現実世界の人物、環境及び仮想物体を同一の画面又は空間に同時に存在させるようにリアルタイムに重畳させて、現実を超えた感覚体験を達成する。
本願の実施例は、変形特殊効果プログラムファイルパッケージを生成する技術的解決手段及び変形特殊効果を生成する技術的解決手段を提供する。
本願の実施例の一態様によれば、
少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する操作と、
少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する操作と、
前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成する操作と、を含む変形特殊効果プログラムファイルパッケージの生成方法を提供する。
本願の実施例のまた1つの態様によれば、
変形領域の変形効果パラメータのパラメータ値を取得する操作と、
被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成する操作と、を更に含む変形特殊効果生成方法を提供する。
本願の実施例の更にまた1つの態様によれば、
少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得するための第1の取得モジュールと、
少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立するための確立モジュールと、
前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成するための第1の生成モジュールスと、を含む変形特殊効果プログラムファイルパッケージの生成装置を提供する。
本願の実施例の更にまた1つの態様によれば、
変形領域の変形効果パラメータのパラメータ値を取得するための第2の取得モジュールと、
被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成するための第2の生成モジュールと、を含む変形特殊効果生成装置を提供する。
本願の実施例の別の態様によれば、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられ、前記コンピュータプログラムが実行されると、本願のいずれか1つの実施例に記載の方法を実現するプロセッサと、を含む電子機器を提供する。
本願の実施例の別の態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願のいずれか1つの実施例に記載の方法を実現するコンピュータ可読記憶媒体を提供する。
本願の実施例の別の態様によれば、コンピュータコマンドを含むコンピュータプログラムであって、前記コンピュータコマンドが機器のプロセッサで動作すると、本願のいずれか1つの実施例に記載の方法を実現するコンピュータプログラムを提供する。
本願の上記実施例で提供された変形特殊効果プログラムファイルパッケージの生成方法及び装置、電子機器、プログラム並びに媒体によれば、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得し、少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立し、前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成し、それによって該変形特殊効果プログラムファイルパッケージに基づいて画像に変形効果を追加し、画像の変形特殊効果を実現し、本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンの実行可能な変形特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、変形特殊効果を実現する効率は全体的に高められ、変形特殊効果の正確性は効果的に保障された。
本願の上記実施例で提供された変形特殊効果生成方法及び装置、電子機器、プログラム並びに媒体によれば、変形領域の変形効果パラメータのパラメータ値を取得し、被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する。本願の実施例は、予め生成した変形特殊効果プログラムファイルパッケージ内の変形領域の変形効果パラメータのパラメータ値によって、画像に対してキーポイント検出を行い、画像上で変形特殊効果を生成して、画像の変形特殊効果を実現し、画像の再生効果を高めた。
例えば、本願は以下の項目を提供する。
(項目1)
少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する操作と、
少なくとも1つの上記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する操作と、
上記パラメータ値が取得された少なくとも1つの上記変形領域及び上記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成する操作と、を含むことを特徴とする変形特殊効果プログラムファイルパッケージの生成方法。
(項目2)
少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する上記操作の前に、上記少なくとも1つの変形領域を追加する操作を更に含むことを特徴とする項目1に記載の方法。
(項目3)
上記変形領域が複数である場合、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する上記操作は、複数の変形領域の変形効果パラメータのパラメータ値を一括取得する操作、及び/又は、複数の変形領域のうちの少なくとも一部の上記変形領域の変形効果パラメータのパラメータ値をそれぞれ取得する操作、及び/又は、1つの変形領域をコピーして、他の1つの変形領域と上記他の1つの変形領域の変形効果パラメータのパラメータ値とを取得する操作を含むことを特徴とする項目1又は2に記載の方法。
(項目4)
操作欄の対話インターフェイスで入力された変形領域追加コマンドを受け取り、少なくとも1つの上記変形領域を追加し、上記変形領域の変形効果パラメータ設定画面を生成し、上記操作欄に上記変形領域の変形効果パラメータ設定画面を表示する操作を更に含み、
変形領域の変形効果パラメータのパラメータ値を取得する上記操作は、上記変形効果パラメータ設定画面で上記変形領域の変形効果パラメータのパラメータ値を取得する操作を含むことを特徴とする項目1-3のいずれか一項に記載の方法。
(項目5)
変形領域の変形効果パラメータのパラメータ値を取得する上記操作は、参照画像上で変形領域を移動することで、上記変形領域の位置パラメータを取得する操作、及び/又は、上記変形領域の大きさを調整することで、上記変形領域の範囲を取得する操作、及び/又は、変形効果を制御するための変形曲線を調整することで、上記変形領域の変形効果パラメータのパラメータ値を取得する操作、及び/又は、変形効果制御パラメータのパラメータ値を受け取ることで、上記変形領域の変形効果パラメータのパラメータ値を取得する操作を含むことを特徴とする項目1-4のいずれか一項に記載の方法。
(項目6)
変形領域の変形効果パラメータのパラメータ値を取得する上記操作は、上記変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られたことに応じて、設定されたパラメータ値を上記変形領域の変形効果パラメータのパラメータ値とする操作、及び/又は、上記変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を上記変形領域の変形効果パラメータのパラメータ値とする操作を含むことを特徴とする項目4又は5に記載の方法。
(項目7)
操作欄の対話インターフェイスで入力された変形領域削除コマンドを受け取り、上記変形領域及び上記変形領域の変形効果パラメータのパラメータ値を削除する操作を更に含むことを特徴とする項目4-6のいずれか一項に記載の方法。
(項目8)
上記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか1種又は複数種を含むことを特徴とする項目1-7のいずれか一項に記載の方法。
(項目9)
上記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記ジェスチャキーポイントは、ジェスチャボックスの4つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をN等分して生成したN個の等分点の中のいずれか一項又は複数項を含み、上記Nが1より大きく、及び/又は、
上記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目8に記載の方法。
(項目10)
上記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目9に記載の方法。
(項目11)
上記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する上記操作に、上記変形領域の位置参照点と上記少なくとも1つのキーポイントとの間の対応関係を確立する操作、及び/又は、上記変形領域の位置参照点と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を含むことを特徴とする項目1-10のいずれか一項に記載の方法。
(項目12)
上記変形効果パラメータは、
変形領域の変形効果を表示するか否かを制御するための表示パラメータ、
変形領域の変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
変形効果のリピート再生回数を表すためのリピートパラメータ、
変形領域の変形効果を遅延表示する時間を表すための遅延トリガパラメータ、
変形領域の変形効果の表示を終了する動作を表すためのトリガ終了パラメータ、
変形領域の変形効果を制御するための変形効果制御パラメータ、
変形領域のサイズ変化の参照基準を表すための表示サイズパラメータ、
変形領域と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
変形領域の回転が従う中心点を表すための回転中心パラメータ、
変形領域の中心点を表すための変形中心パラメータ、
変形領域の中心点ずらしモードを切り替えるためのモード切り替えパラメータ、
変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧効果パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目1-11のいずれか一項に記載の方法。
(項目13)
上記回転中心パラメータのパラメータ値は画像の中心点であることを特徴とする項目12に記載の方法。
(項目14)
上記トリガ動作パラメータのパラメータ値に対応するトリガ動作は、無動作トリガ、眼部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目12又は13に記載の方法。
(項目15)
変形曲線によって上記変形領域の変形効果を制御し、上記変形効果制御パラメータは上記変形曲線のパラメータを含み、
上記変形曲線のパラメータは、変形効果の引伸方向及び引伸半径を制御するための第1の制御点パラメータ、変形領域の中間領域の変形平滑性を制御するための第2の制御点パラメータ、変形領域の境界領域の変形平滑性を制御するための第3の制御点パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目12-14のいずれか一項に記載の方法。
(項目16)
上記変形効果の引伸方向は、上記変形領域の中心点から外へ引伸する方向、及び/又は、上記変形領域の中心点から内へ引伸する方向を含むことを特徴とする項目15に記載の方法。
(項目17)
上記位置パラメータ内の事前設定キーポイントは、所定キーポイントのうち、上記変形領域の境界に位置し且つ連結線が上記変形領域の中心点を通過する2つのキーポイントを含み、
上記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する操作は、上記変形領域と上記変形領域の境界に位置し且つ連結線が上記変形領域の中心点を通過する上記2つのキーポイントとの間の対応関係を確立する操作を含むことを特徴とする項目12-16のいずれか一項に記載の方法。
(項目18)
上記変形領域の中心点ずらしモードは、中心点簡便引伸モード及び/又は径方向ずらし引伸モードを含むことを特徴とする項目12-17のいずれか一項に記載の方法。
(項目19)
コンテンツ表示欄によって、少なくとも1つの参照部位を含む参照画像を表示する操作を更に含むことを特徴とする項目1-18のいずれか一項に記載の方法。
(項目20)
操作欄の対話インターフェイスで入力された参照点表示コマンドを受け取り、上記参照画像上のキーポイントを表示する操作、及び/又は、操作欄の対話インターフェイスで入力された参照点非表示コマンドを受け取り、上記参照画像上のキーポイントを表示しない操作を更に含むことを特徴とする項目19に記載の方法。
(項目21)
上記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目19又は20に記載の方法。
(項目22)
上記参照人物の少なくとも一部の画像は、上記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする項目21に記載の方法。
(項目23)
上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記コンテンツ表示欄に上記変形領域の変形効果を表示する操作を更に含むことを特徴とする項目19-22のいずれか一項に記載の方法。
(項目24)
上記コンテンツ表示欄で受け取られた、上記変形領域に対する位置移動操作により、上記コンテンツ表示欄における上記変形領域の表示位置を更新し、且つ上記変形領域の変形効果パラメータ内の対応するパラメータ値を更新する操作を更に含むことを特徴とする項目23に記載の方法。
(項目25)
上記コンテンツ表示欄で受け取られた、上記変形領域に対するサイズ調整操作により、上記コンテンツ表示欄における上記変形領域の表示サイズを更新し、且つ上記変形領域の変形効果パラメータ内の対応するパラメータ値を更新する操作を更に含むことを特徴とする項目22-24のいずれか一項に記載の方法。
(項目26)
上記操作欄の対話インターフェイスで受け取られた2つ又は2つ以上の変形領域に対する画像レイヤーパラメータ調整コマンドに基づいて、上記2つ又は2つ以上の変形領域の間の遮蔽関係を調整し、調整された遮蔽関係及び上記2つ又は2つ以上の変形領域に対応する変形パラメータのパラメータ値に基づいて、上記2つ又は2つ以上の変形領域に対応する変形効果を表示する操作を更に含むことを特徴とする項目19-25のいずれか一項に記載の方法。
(項目27)
変形特殊効果プログラムファイルパッケージを生成する上記操作の前に、予め設定された変形特殊効果プログラムファイル及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記変形領域の特殊効果プログラムファイルを生成し、プログラムファイル欄によって、上記変形領域の特殊効果プログラムファイルを表示する操作を更に含むことを特徴とする項目1-26のいずれか一項に記載の方法。
(項目28)
上記変形特殊効果プログラムファイルは、jsonプログラムで生成された特殊効果プログラムファイルを含むことを特徴とする項目27に記載の方法。
(項目29)
受け取られた起動コマンドにより起動し、操作欄、コンテンツ表示欄及び/又はプログラムファイル欄を含む操作画面を表示する操作を更に含むことを特徴とする項目1-28のいずれか一項に記載の方法。
(項目30)
上記操作画面は、左側、中部及び右側という3つの領域を含み、
操作画面を表示する上記操作は、上記操作画面の左側に上記操作欄を表示し、上記操作画面の中部に上記コンテンツ表示欄を表示し、上記操作画面の右側に上記プログラムファイル欄を表示する操作を含むことを特徴とする項目29に記載の方法。
(項目31)
変形特殊効果プログラムファイルパッケージを生成する上記操作の後に、受け取られた保存コマンドにより、上記保存コマンドの指示した位置に上記変形特殊効果プログラムファイルパッケージを保存する操作を更に含むことを特徴とする項目1-30のいずれか一項に記載の方法。
(項目32)
受け取られた保存コマンドにより、上記保存コマンドの指示した位置に上記変形特殊効果プログラムファイルパッケージを保存する上記操作は、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
上記保存パス選択インターフェイスから送られた保存位置を受け取る操作と、上記圧縮インターフェイスにより送られた圧縮方式を受け取り、上記圧縮方式に基づいて上記変形特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
上記圧縮ファイルパッケージを上記保存位置の指示したフォルダーに記憶する操作と、を含むことを特徴とする項目31に記載の方法。
(項目33)
変形領域の変形効果パラメータのパラメータ値を取得する操作と、
被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成する操作と、を含むことを特徴とする変形特殊効果生成方法。
(項目34)
変形領域の変形効果パラメータのパラメータ値を取得する上記操作の前に、変形特殊効果プログラムファイルパッケージをインポートする操作を更に含み、
変形領域の変形効果パラメータのパラメータ値を取得する上記操作は、上記変形特殊効果プログラムファイルパッケージ内の変形領域の変形効果パラメータのパラメータ値を取得する操作を含むことを特徴とする項目33に記載の方法。
(項目35)
上記変形特殊効果プログラムファイルパッケージは、項目1-32のいずれか一項に記載の方法を用いて生成したものであることを特徴とする項目33又は34に記載の方法。
(項目36)
上記被処理画像内のキーポイントを検出する操作を更に含むことを特徴とする項目33-35のいずれか一項に記載の方法。
(項目37)
上記変形領域の変形効果パラメータのパラメータ値は、上記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を含むことを特徴とする項目33-36のいずれか一項に記載の方法。
(項目38)
変形特殊効果プログラムファイルパッケージをインポートする上記操作は、変形領域を読み取るための第1のインターフェイス関数を呼び出すことによって、上記変形特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、上記変形特殊効果プログラムファイルパッケージを解析し、上記変形効果パラメータのパラメータ値を含む変形特殊効果プログラムファイルを取得する操作と、を含むことを特徴とする項目34-37のいずれか一項に記載の方法。
(項目39)
上記変形特殊効果プログラムファイルは、jsonプログラムの変形特殊効果プログラムファイルを含むことを特徴とする項目38に記載の方法。
(項目40)
変形領域の変形効果パラメータのパラメータ値を取得する上記操作は、ステッカーハンドルを作成するための第2のインターフェイス関数によって、ステッカーハンドルを作成する操作と、上記変形特殊効果プログラムファイル内の変形領域の変形効果パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する操作と、を含むことを特徴とする項目38又は39に記載の方法。
(項目41)
上記ステッカーハンドル内の上記変形特殊効果プログラムファイルの変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像における上記変形領域の表示位置を取得する操作を更に含むことを特徴とする項目40に記載の方法。
(項目42)
上記被処理画像がビデオ内の画像である場合、上記変形領域が上記画像の所在するビデオに表示されるビデオフレーム数を取得し、上記ビデオから上記ビデオフレーム数に対応する画像を読み取る操作を更に含むことを特徴とする項目41に記載の方法。
(項目43)
被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成する上記操作は、
変形領域をレンダリングするための第3のインターフェイス関数を呼び出すことによって、上記ステッカーハンドルから、上記被処理画像上に表示しようとする変形領域を読み取る操作と、
上記被処理画像内のキーポイント及び上記の表示しようとする変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像における上記変形領域の表示位置を決定する操作と、
上記被処理画像における上記変形領域の表示位置に基づいて、上記変形領域を上記被処理画像上の上記表示位置に表示する操作と、を含むことを特徴とする項目40-42のいずれか一項に記載の方法。
(項目44)
上記変形特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第4のインターフェイス関数を呼び出すことによって、上記ステッカーハンドルを廃棄する操作を更に含むことを特徴とする項目40-43のいずれか一項に記載の方法。
(項目45)
上記被処理画像内のキーポイントを検出する上記操作は、ニューラルネットワークによって、上記被処理画像に対して上記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する操作を含むことを特徴とする項目36-44のいずれか一項に記載の方法。
(項目46)
上記キーポイント検出結果は、上記対応関係に関わるキーポイントの上記被処理画像における位置、上記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目45に記載の方法。
(項目47)
上記変形効果パラメータは、変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータを含み、
上記方法は、上記被処理画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作を更に含み、
被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成する上記操作は、上記被処理画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、上記被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成する操作を含むことを特徴とする項目45又は46に記載の方法。
(項目48)
上記変形効果パラメータは、変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧効果パラメータを含み、
被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成する時に、上記美顔/化粧効果パラメータに基づいて、上記被処理画像に美顔/化粧効果を表示する操作を更に含むことを特徴とする項目33-47のいずれか一項に記載の方法。
(項目49)
少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得するための第1の取得モジュールと、
少なくとも1つの上記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立するための確立モジュールと、
上記パラメータ値が取得された少なくとも1つの上記変形領域及び上記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成するための第1の生成モジュールと、を含むことを特徴とする変形特殊効果プログラムファイルパッケージの生成装置。
(項目50)
上記少なくとも1つの変形領域を追加するための追加モジュールを更に含むことを特徴とする項目49に記載の装置。
(項目51)
上記変形領域が複数である場合、上記第1の取得モジュールは、複数の変形領域の変形効果パラメータのパラメータ値を一括取得する操作、及び/又は、複数の変形領域のうちの少なくとも一部の上記変形領域の変形効果パラメータのパラメータ値をそれぞれ取得する操作、及び/又は、1つの変形領域をコピーして、他の1つの変形領域と上記他の1つの変形領域の変形効果パラメータのパラメータ値とを取得する操作を実行するために用いられることを特徴とする項目49又は50に記載の装置。
(項目52)
操作欄を更に含み、上記操作欄が、対話インターフェイスを含み、上記対話インターフェイスが、上記対話インターフェイスで入力された変形領域追加コマンドを受け取り、少なくとも1つの上記変形領域を追加し、上記変形領域の変形効果パラメータ設定画面を生成し、上記変形領域の変形効果パラメータ設定画面を表示するために用いられる、
上記第1の取得モジュールは、上記変形効果パラメータ設定画面で上記変形領域の変形効果パラメータのパラメータ値を取得するために用いられることを特徴とする項目49-51のいずれか一項に記載の装置。
(項目53)
上記第1の取得モジュールは、参照画像上で変形領域を移動することで、上記変形領域の位置パラメータを取得する操作、及び/又は、上記変形領域の大きさを調整することで、上記変形領域の範囲を取得する操作、及び/又は、変形効果を制御するための変形曲線を調整することで、上記変形領域の変形効果パラメータのパラメータ値を取得する操作、及び/又は、変形効果制御パラメータのパラメータ値を受け取ることで、上記変形領域の変形効果パラメータのパラメータ値を取得する操作を実行するために用いられることを特徴とする項目49-52のいずれか一項に記載の装置。
(項目54)
上記第1の取得モジュールは、上記変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られたことに応じて、設定されたパラメータ値を上記変形領域の変形効果パラメータのパラメータ値とする操作、及び/又は、上記変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を上記変形領域の変形効果パラメータのパラメータ値とする操作を実行するために用いられることを特徴とする項目52又は53に記載の装置。
(項目55)
操作欄の対話インターフェイスで入力された変形領域削除コマンドを受け取り、上記変形領域及び上記変形領域の変形効果パラメータのパラメータ値を削除するための削除モジュールを更に含むことを特徴とする項目52-54のいずれか一項に記載の装置。
(項目56)
上記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか1種又は複数種を含むことを特徴とする項目49-55のいずれか一項に記載の装置。
(項目57)
上記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記ジェスチャキーポイントは、ジェスチャボックスの4つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をN等分して生成したN個の等分点の中のいずれか一項又は複数項を含み、上記Nが1より大きく、及び/又は、
上記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目56に記載の装置。
(項目58)
上記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び/又は、
上記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目57に記載の装置。
(項目59)
上記確立モジュールは、上記変形領域の位置参照点と上記少なくとも1つのキーポイントとの間の対応関係を確立する操作、及び/又は、上記変形領域の位置参照点と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を実行するために用いられることを特徴とする項目49-58のいずれか一項に記載の装置。
(項目60)
上記変形効果パラメータは、
変形領域の変形効果を表示するか否かを制御するための表示パラメータ、
変形領域の変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
変形効果のリピート再生回数を表すためのリピートパラメータ、
変形領域の変形効果を遅延表示する時間を表すための遅延トリガパラメータ、
変形領域の変形効果の表示を終了する動作を表すためのトリガ終了パラメータ、
変形領域の変形効果を制御するための変形効果制御パラメータ、
変形領域のサイズ変化の参照基準を表すための表示サイズパラメータ、
変形領域と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
変形領域の回転が従う中心点を表すための回転中心パラメータ、
変形領域の中心点を表すための変形中心パラメータ、
変形領域の中心点ずらしモードを切り替えるためのモード切り替えパラメータ、
変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧効果パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目49-59のいずれか一項に記載の装置。
(項目61)
上記回転中心パラメータのパラメータ値は画像の中心点であることを特徴とする項目60に記載の装置。
(項目62)
上記トリガ動作パラメータのパラメータ値に対応するトリガ動作は、無動作トリガ、眼部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目60又は61に記載の装置。
(項目63)
変形曲線によって上記変形領域の変形効果を制御し、上記変形効果制御パラメータは上記変形曲線のパラメータを含み
上記変形曲線のパラメータは、変形効果の引伸方向及び引伸半径を制御するための第1の制御点パラメータ、変形領域の中間領域の変形平滑性を制御するための第2の制御点パラメータ、変形領域の境界領域の変形平滑性を制御するための第3の制御点パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目60-62のいずれか一項に記載の装置。
(項目64)
上記変形効果の引伸方向は、上記変形領域の中心点から外へ引伸する方向、及び/又は、上記変形領域の中心点から内へ引伸する方向を含むことを特徴とする項目63に記載の装置。
(項目65)
上記位置パラメータ内の事前設定キーポイントは、所定キーポイントのうち、上記変形領域の境界に位置し且つ連結線が上記変形領域の中心点を通過する2つのキーポイントを含み、
上記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する操作は、上記変形領域と上記変形領域の境界に位置し且つ連結線が上記変形領域の中心点を通過する上記2つのキーポイントとの間の対応関係を確立する操作を含むことを特徴とする項目60-64のいずれか一項に記載の装置。
(項目66)
上記変形領域の中心点ずらしモードは、中心点簡便引伸モード及び/又は径方向ずらし引伸モードを含むことを特徴とする項目60-65のいずれか一項に記載の装置。
(項目67)
少なくとも1つの参照部位を含む参照画像を表すためのコンテンツ表示欄を更に含むことを特徴とする項目49-66のいずれか一項に記載の装置。
(項目68)
上記操作欄は、対話インターフェイスで入力された参照点表示コマンドを受け取り、上記参照画像上のキーポイントを表示する操作、及び/又は、対話インターフェイスで入力された参照点非表示コマンドを受け取り、上記参照画像上のキーポイントを表示しない操作のために用いられることを特徴とする項目67に記載の装置。
(項目69)
上記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目67又は68に記載の装置。
(項目70)
上記参照人物の少なくとも一部の画像は、上記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする項目69に記載の装置。
(項目71)
上記コンテンツ表示欄は、更に、上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記コンテンツ表示欄に上記変形領域の変形効果を表示するために用いられることを特徴とする項目67-70のいずれか一項に記載の装置。
(項目72)
上記コンテンツ表示欄は、更に、上記変形領域に対する位置移動操作を受け取るために用いられ、上記装置は、上記コンテンツ表示欄で受け取られた上記変形領域に対する位置移動操作により、上記コンテンツ表示欄における上記変形領域の表示位置を更新し、且つ上記変形領域の変形効果パラメータ内の対応するパラメータ値を更新するための第1の更新モジュールを更に含むことを特徴とする項目71に記載の装置。
(項目73)
上記コンテンツ表示欄は、更に上記変形領域に対するサイズ調整操作を受け取るために用いられ、
上記装置は、上記コンテンツ表示欄で受け取られた上記変形領域に対するサイズ調整操作により、上記コンテンツ表示欄における上記変形領域の表示サイズを更新し、且つ上記変形領域の変形効果パラメータ中の対応するパラメータ値を更新するための第2の更新モジュールを更に含むことを特徴とする項目70-72のいずれか一項に記載の装置。
(項目74)
上記操作欄は、更に、対話インターフェイスによって2つ又は2つ以上の変形領域に対する画像レイヤーパラメータ調整コマンドを受け取るために用いられ、
調整モジュールは、上記操作欄の対話インターフェイスで受け取られた2つ又は2つ以上の変形領域に対する画像レイヤーパラメータ調整コマンドに基づいて、上記2つ又は2つ以上の変形領域の間の遮蔽関係を調整し、調整された遮蔽関係及び上記2つ又は2つ以上の変形領域に対応する変形パラメータのパラメータ値に基づいて、上記2つ又は2つ以上の変形領域に対応する変形効果を表示するために用いられることを特徴とする項目67-73のいずれか一項に記載の装置。
(項目75)
上記第1の生成モジュールは、更に、予め設定された変形特殊効果プログラムファイル及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記変形領域の特殊効果プログラムファイルを生成し、プログラムファイル欄によって、上記変形領域の特殊効果プログラムファイルを表示するために用いられ、
上記装置は、上記変形領域の特殊効果プログラムファイルを表示するための上記プログラムファイル欄を更に含むことを特徴とする項目49-74のいずれか一項に記載の装置。
(項目76)
上記変形特殊効果プログラムファイルは、jsonプログラムで生成された特殊効果プログラムファイルを含むことを特徴とする項目75に記載の装置。
(項目77)
操作画面を更に含み、上記操作画面が、上記操作欄、上記コンテンツ表示欄及び/又は上記プログラムファイル欄を含むことを特徴とする項目49-76のいずれか一項に記載の装置。
(項目78)
上記操作画面は、左側、中部及び右側という3つの領域を含み、
上記操作画面の左側は上記操作欄であり、上記操作画面の中部は上記コンテンツ表示欄であり、上記操作画面の右側は上記プログラムファイル欄であることを特徴とする項目77に記載の装置。
(項目79)
受け取られた保存コマンドにより、上記保存コマンドの指示した位置に上記変形特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含むことを特徴とする項目49-78のいずれか一項に記載の装置。
(項目80)
上記保存モジュールは、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
上記保存パス選択インターフェイスから送られた保存位置を受け取る操作と、上記圧縮インターフェイスにより送られた圧縮方式を受け取り、上記圧縮方式に基づいて上記変形特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
上記圧縮ファイルパッケージを上記保存位置の指示したフォルダーに記憶する操作とを実行するために用いられることを特徴とする項目79に記載の装置。
(項目81)
変形領域の変形効果パラメータのパラメータ値を取得するための第2の取得モジュールと、
被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成するための第2の生成モジュールと、を含むことを特徴とする変形特殊効果生成装置。
(項目82)
変形特殊効果プログラムファイルパッケージをインポートするためのインポートモジュールを更に含み、
上記第2の生成モジュールは、上記変形特殊効果プログラムファイルパッケージ中の変形領域の変形効果パラメータのパラメータ値を取得するために用いられることを特徴とする項目81に記載の装置。
(項目83)
上記変形特殊効果プログラムファイルパッケージは、項目1-32のいずれか一項に記載の方法又は項目49-80のいずれか一項に記載の装置を用いて生成したものであることを特徴とする項目81又は82に記載の装置。
(項目84)
上記被処理画像内のキーポイントを検出するための第1の検出モジュールを更に含むことを特徴とする項目81-83のいずれか一項に記載の装置。
(項目85)
上記変形領域の変形効果パラメータのパラメータ値は、上記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を含むことを特徴とする項目81-84のいずれか一項に記載の装置。
(項目86)
上記インポートモジュールは、変形領域を読み取るための第1のインターフェイス関数を呼び出すことによって、上記変形特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、上記変形特殊効果プログラムファイルパッケージを解析し、上記変形効果パラメータのパラメータ値を含む変形特殊効果プログラムファイルを取得する操作とを実行するために用いられることを特徴とする項目82-85のいずれか一項に記載の装置。
(項目87)
上記変形特殊効果プログラムファイルは、jsonプログラムの変形特殊効果プログラムファイルを含むことを特徴とする項目86に記載の装置。
(項目88)
上記第2の取得モジュールは、ステッカーハンドルを作成するための第2のインターフェイス関数によって、ステッカーハンドルを作成する操作と、上記変形特殊効果プログラムファイル中の変形領域の変形効果パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する操作とを実行するために用いられることを特徴とする項目86又は87に記載の装置。
(項目89)
上記第2の生成モジュールは、変形領域をレンダリングするための第3のインターフェイス関数を呼び出すことによって、上記ステッカーハンドルから、上記被処理画像上に表示しようとする変形領域を読み取る操作と、上記被処理画像内のキーポイント及び上記の表示しようとする変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像における上記変形領域の表示位置を決定する操作と、上記被処理画像における上記変形領域の表示位置に基づいて、上記変形領域を上記被処理画像上の上記表示位置に表示する操作とを実行するために用いられることを特徴とする項目88に記載の装置。
(項目90)
上記被処理画像がビデオ内の画像である場合、上記第2の生成モジュールは、更に、上記変形領域が上記画像の所在するビデオに表示されるビデオフレーム数を取得し、上記ビデオから上記ビデオフレーム数に対応する画像を読み取るために用いられることを特徴とする項目89に記載の装置。
(項目91)
上記第2の取得モジュールは、更に上記変形特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第4のインターフェイス関数を呼び出すことによって、上記ステッカーハンドルを廃棄するために用いられることを特徴とする項目88-90のいずれか一項に記載の装置。
(項目92)
上記第1の検出モジュールは、上記被処理画像に対して上記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するためのニューラルネットワークを含むことを特徴とする項目84-91のいずれか一項に記載の装置。
(項目93)
上記キーポイント検出結果は、上記対応関係に関わるキーポイントの上記被処理画像における位置、上記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目92に記載の装置。
(項目94)
上記変形効果パラメータは、変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータを含み、
上記装置は、上記被処理画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するための第2の検出モジュールを更に含み、
上記第2の生成モジュールは、上記被処理画像に上記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、上記被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成するために用いられることを特徴とする項目92又は93に記載の装置。
(項目95)
上記変形効果パラメータは、変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧効果パラメータを含み、
上記第2の生成モジュールは、更に、被処理画像内のキーポイント及び上記変形領域の変形効果パラメータのパラメータ値に基づいて、上記被処理画像上で変形効果の特殊効果を生成する時に、上記美顔/化粧効果パラメータに基づいて、上記被処理画像に美顔/化粧効果を表示するために用いられることを特徴とする項目81-94のいずれか一項に記載の装置。
(項目96)
コンピュータプログラムを記憶するためのメモリと、
上記メモリに記憶されたコンピュータプログラムを実行するために用いられ、上記コンピュータプログラムが実行されると、上記項目1-49のいずれか一項に記載の方法を実現するプロセッサと、を含むことを特徴とする電子機器。
(項目97)
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、上記項目1-49のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体

以下は、図面及び実施例によって本願の技術的解決手段について更に詳細に説明する。
本願の変形特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。 本願の実施例における変形特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図である。 本願の実施例における変形領域の変形効果パラメータ設定画面を例示的に示す一模式図である。 本願の実施例における顔部キーポイントを例示的に示す一模式図である。 本願の実施例における変形曲線調整ウィンドウを例示的に示す一模式図である。 本願の実施例で外へ引伸した変形効果の変形効果模式図である。 本願の実施例で内へ引伸した変形効果の変形効果模式図である。 本願の実施例でモード切り替えパラメータが中心点簡便引伸モードにあった変形効果模式図である。 本願の実施例でモード切り替えパラメータが径方向ずらし引伸モードにあった変形効果模式図である。 本願の実施例における手部動作を例示的に示す一模式図である。 本願の変形特殊効果プログラムファイルパッケージの生成方法の更に別の実施例のフローチャートである。 本願の変形特殊効果生成方法の一実施例のフローチャートである。 本願の変形特殊効果生成方法の別の実施例のフローチャートである。 本願の変形特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。 本願の変形特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。 本願の変形特殊効果生成装置の一実施例の構造模式図である。 本願の変形特殊効果生成装置の別の実施例の構造模式図である。 本願の電子機器の一適用実施例の構造模式図である。
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
更に、本願の実施例では、「複数の」は2つ又は2つ以上を指してよく、「少なくとも1つの」は1つ、2つ又は2つ以上を指してよいことを理解すべきである。
本願の実施例における「第1の」、「第2の」等の用語は、異なるステップ、機器又はモジュール等を区別するためのものに過ぎず、何の特定の技術的意味を表したり、それらの必然的な論理的順序を表したりすることもないことが当業者に理解可能である。
更に、本願の実施例で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には1つ又は複数と理解してよいことを理解すべきである。
更に、本願ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで一つずつに繰り返して説明しないことを理解すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
また、本開示の用語の「及び/又は」は、関連対象の関連関係を記述するためのものに過ぎず、3種の関係が存在可能であることを示し、例えば、A及び/又はBは、Aが単独して存在し、AとBが同時に存在し、Bが単独して存在するという3種の場合を示してもよい。また、本願の符号の「/」は、一般的には前後の関連対象が「又は」という関係であることを示す。
本願の実施例は端末装置、コンピュータシステム、サーバ等の電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバ等の電子機器との併用に適する公知の端末装置、計算システム、環境及び/または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
端末機器、コンピュータシステム、サーバ等の電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド(例えば、プログラムモジュール)の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム/サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
図1は本願の変形特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。本願の各実施例の変形特殊効果プログラムファイルパッケージの生成方法は、例えば1つの変形装置(本願の実施例では変形特殊効果プログラムファイルパッケージの生成装置という)によって実現可能であるが、それに限定されない。図1に示すように、該実施例の変形特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
102において、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する。
選択可能な一例では、該操作102は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第1の取得モジュールにより実行されてもよい。
104において、少なくとも1つの変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する。
選択可能な一例では、該操作104は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する確立モジュールにより実行されてもよい。
106において、パラメータ値が取得された少なくとも1つの変形領域及び該少なくとも1つの変形領域と所定の少なくとも1つのキーポイントとの間の対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成する。
選択可能な一例では、該操作106は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第1の生成モジュールにより実行されてもよい。
本願の各実施例では、変形領域の形状は限定されるものではなく、例えば、円形、楕円形、長方形、正方形、三角形又は他の任意の形状等であってもよい。
本願の各実施例では、変形領域は1つであってもよいし、複数であってもよい。変形領域が複数である場合、各変形領域に対してそれぞれ操作102-104を実行してよく、即ち、各変形領域の変形効果パラメータのパラメータ値をそれぞれ取得し、各変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立し、続いて該複数の変形領域に対して操作106を実行し、複数の変形領域の変形効果パラメータのパラメータ値及びその対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成する。
本願の実施例では、変形特殊効果プログラムファイルパッケージは、画像の変形特殊効果処理に用いて、画像上で変形領域の変形効果(変形特殊効果と呼んでもよい)を生成することができ、例えば、ビデオ画像に対してAR効果のレンダリング処理を行う。
本願の上記実施例で提供された変形特殊効果プログラムファイルパッケージの生成方法によれば、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得し、少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立し、前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成し、それによって該変形特殊効果プログラムファイルパッケージに基づいて画像に変形効果を追加し、画像の変形特殊効果を実現し、本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンの実行可能な変形特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、変形特殊効果を実現する効率は全体的に高められ、変形特殊効果の正確性は効果的に保障された。
本願の変形特殊効果プログラムファイルパッケージの生成方法の別の実施例では、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する操作102の前に、上記少なくとも1つの変形領域を追加する操作を更に含んでもよい。
本願の各変形特殊効果プログラムファイルパッケージの生成方法の実施例の一実施形態では、変形領域が複数である場合、操作102は、複数の変形領域の変形効果パラメータのパラメータ値を一括取得する操作、及び/又は、複数の変形領域のうちの少なくとも一部の変形領域の変形効果パラメータのパラメータ値をそれぞれ取得する操作、及び/又は、1つの変形領域をコピーして、他の1つの変形領域と該他の1つの変形領域の変形効果パラメータのパラメータ値とを取得する操作を含んでもよい。
本願の各実施例の一実施形態では、変形特殊効果プログラムファイルパッケージの生成装置は、予め設定された特殊効果プログラムファイルを含んでもよく、例えば、JavaScript(登録商標)言語に基づく軽量のデータ交換フォーマット(JavaScript(登録商標) Object Notiation、json)ファイル、又は他の任意の実行可能なプログラムファイルであってもよい。該特殊効果プログラムファイル内の変形効果パラメータのパラメータ値は、空、又はデフォルト値にプリセットされることができ、変形領域の変形効果パラメータに対して設定したパラメータ値が受け取られた時に、該特殊効果プログラムファイル内の対応するパラメータ値は、受け取られたパラメータ値に自動的に更新される。選択可能に、上記変形特殊効果プログラムファイルパッケージの生成装置は、操作欄が含まれる操作画面を含んでもよく、該操作欄に、少なくとも1つの対話インターフェイスが設定されており、変形領域の変形効果パラメータに対して設定したパラメータ値を受け取るために用いられ、なお、該変形特殊効果プログラムファイルパッケージの生成装置の操作画面は、変形領域の変形効果のプログラムファイルを表すためのプログラムファイル表示欄を更に含んでもよい。図2は本願の実施例における特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図である。その中の「deformation」は変形特殊効果又は変形効果を示す。該特殊効果プログラムファイルパッケージの生成装置が起動された後、操作欄内の1つの変形領域の変形効果パラメータ設定画面に対応するように、プログラムファイル表示欄に、該変形領域の変形効果パラメータを空、又はデフォルト値にプリセットする時の特殊効果プログラムファイルが表示され、1つの変形領域の変形効果パラメータに対して設定したパラメータ値が操作欄の対話インターフェイスで受け取られた時に、該変形領域の変形効果パラメータのパラメータ値は、直近に受け取られたパラメータ値に更新され、プログラムファイル表示欄は、パラメータ値が更新された後の特殊効果プログラムファイルをリアルタイムに表示する。
本願の実施例は、プログラムファイルを手動で書くことなくレンダリングエンジンにより実行可能なファイルを生成し、ユーザが操作欄で変形領域の変形効果パラメータのパラメータ値に施す設定操作に基づいて変形特殊効果プログラムパッケージの生成を実現可能であり、操作は簡単であり、必要な時間は短く、変形特殊効果を実現する効率は全体的に高められ、変形効果の正確性は効果的に保障された。
図2に示すように、限定するものではない本願の各実施例の選択可能な一例として、操作欄は、少なくとも1つの対話インターフェイスを含む変形効果パラメータ設定画面を含んでもよく、更に他の領域、例えば変形領域の名称表示領域を含んでもよく、この時の変形効果パラメータ設定画面は各変形領域の変形効果パラメータ設定画面であってもよい。図3は本願の実施例における、名称が「round0」である変形領域の変形効果パラメータ設定画面を例示的に示す一模式図である。
本願の変形特殊効果プログラムファイルパッケージの生成方法の別の実施例では、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する操作102の前に、操作欄の対話インターフェイスで入力された変形領域追加コマンドを受け取り、上記少なくとも1つの変形領域を追加し、変形領域の変形効果パラメータ設定画面を生成し、操作欄に変形領域の変形効果パラメータ設定画面を表示する操作を更に含んでもよい。例えば、操作欄内の変形特殊効果「deformation」等の制御キーをクリックすることによって、1つ又は複数の変形領域を追加することができる。それに対応するように、該実施例では、変形領域の変形効果パラメータのパラメータ値を取得する操作102は、変形効果パラメータ設定画面によって変形領域の変形効果パラメータのパラメータ値を取得する操作を含んでもよい。
なお、本願の変形特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、変形領域の変形効果パラメータのパラメータ値を取得する操作102は、参照画像上で変形領域を移動することで、変形領域の位置パラメータを取得する操作、及び/又は、変形領域のサイズを調整することによって、変形領域の範囲を取得する操作、及び/又は、変形効果を制御するための変形曲線を調整することで、変形領域の変形効果パラメータのパラメータ値を取得する操作、及び/又は、変形効果制御パラメータのパラメータ値を受け取ることで、変形領域の変形効果パラメータのパラメータ値を取得する操作を含んでもよい。
そのうちの選択可能な一例では、変形領域の変形効果パラメータのパラメータ値を取得する操作は、変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られたことに応じて、設定されたパラメータ値を変形領域の変形効果パラメータのパラメータ値とする操作、及び/又は、変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を変形領域の変形効果パラメータのパラメータ値とする操作によって実現可能である。
なお、本願の変形特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、操作欄の対話インターフェイスで入力された変形領域削除コマンドを受け取り、該変形領域削除コマンドによる変形領域及び変形領域の変形効果パラメータのパラメータ値を削除する操作を更に含んでもよい。
本願の各実施例の一実施形態では、上記キーポイントは、例えば、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、頭部キーポイントは、例えば、頭頂部キーポイント、鼻先キーポイント及びあごキーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、顔部キーポイントは、例えば、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
一例としては、目キーポイントは、例えば、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。眉毛キーポイントは、例えば、左眉毛キーポイント及び右眉毛キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。鼻キーポイントは、例えば、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。口部キーポイントは、例えば、上口唇キーポイント、及び下口唇キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、肩部キーポイントは、例えば、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、腕キーポイントは、例えば、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、ジェスチャキーポイントは、例えば、ジェスチャボックス(即ち、ジェスチャ検出ボックス)の4つの頂点キーポイント、及びジェスチャボックスの中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、腿部キーポイントは、例えば、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、腰部キーポイントは、例えば、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をN等分して生成したN個の等分点の中のいずれか一項又は複数項を含んでもよいが、それらに限定されなく、ただし、Nが1より大きい。
そのうちの選択可能な一例では、足部キーポイントは、例えば、つま先キーポイント及び踵キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、人体骨格キーポイントは、例えば、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
本願の各実施例では、変形領域と少なくとも1つのキーポイントとの間の対応関係を確立するように、複数のキーポイントの位置を予め設定してもよく、そのようにして両方の位置を対応関係にする。1つの変形領域の変形効果パラメータのパラメータ値を設定する時に、予め設定されたキーポイント集合から少なくとも1つのキーポイントを直接選択して該変形領域と少なくとも1つのキーポイントとの間の対応関係を確立することができる。
例えば、そのうちの一実施形態では、顔検出及びジェスチャ検出に基づいてそれぞれ顔部及びジェスチャ(手部)に対して複数のキーポイントを定義して、変形特殊効果生成における変形領域と顔キーポイント又はジェスチャキーポイントとの間の対応関係の確立を実現することができる。
例えば、図4は本願の実施例における顔部キーポイントを例示的に示す一模式図であり、図4によれば、選択可能な一例では、顔部キーポイントを以下のように定義してもよい。
Figure 0007066855000001
選択可能な一例では、手部キーポイントを以下のように定義してもよい。
Figure 0007066855000002
ただし、番号110-113のキーポイントはそれぞれジェスチャ検出ボックス(即ち、手部の外縁枠)の4つの頂点であり、番号114のキーポイントはジェスチャ検出ボックスの中心である。
本願の各実施例の一実施形態では、変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する操作104は、変形領域の位置参照点と少なくとも1つのキーポイントとの間の対応関係を確立する操作、及び/又は、変形領域の位置参照点と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を含んでもよい。
例えば、本願の上記実施例で確立された対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントである時に、変形領域の位置参照点(例えば、変形領域の中心点、円形変形領域の円形境界における円心を通過する2つの点、四角形変形領域の4つの頂点等)と上記キーポイントのうちの少なくとも1つのキーポイントとの間の対応関係を確立することができ、本願の上記実施例で確立された対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、ジェスチャキーポイント、人体骨格キーポイントである時に、変形領域の位置参照点と対応する検出ボックス(例えば、頭部検出ボックス、顔検出ボックス、ジェスチャ検出ボックス、人体検出ボックス)の中心キーポイントとの間の対応関係を確立することができる。
本願の各実施例の一実施形態では、上記変形領域の変形効果パラメータは、例えば、以下のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
1、表示パラメータ(Display):変形領域の変形効果を表示するか否かを制御するためのものである。そのパラメータ値は「はい(Yes)」及び「いいえ(No)」といった2つのオプションを含み、パラメータ値として「はい(Yes)」が選択された時に、画像に変形領域の変形効果を表示することを意味し、パラメータ値として「いいえ(No)」が選択された時に、画像に変形領域の変形効果を表示しないことを意味する。
2、トリガ動作パラメータ(TriggerType):変形領域の変形効果の表示をトリガするトリガ動作を表すためのものであり、変形領域の変形効果の表示をどの動作でトリガするかを意味し、そのパラメータ値は各トリガ動作を含んでもよく、ユーザは、予め設定された動作集合から少なくとも1つの動作をトリガ動作として選択することができる。即ち、ビデオ又は画像から対応するトリガ動作が検出されると、対応する変形領域の変形効果の表示をトリガすることができ、例えば、ビデオ画像から、該トリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、口部に変形領域の変形効果を表示し始め、そして該変形領域の変形効果の表示開始時間、表示終了時間、表示時間等は、他のパラメータのパラメータ値により決定されてもよく、例えばそれぞれ遅延トリガパラメータ、トリガ終了パラメータにより決定されてもよい。
3、リピートパラメータ(TriggerLoop):変形効果のリピート再生回数を表すためのものである。リピート回数がユーザにより決定可能であり、例示的な一例では、回数として0を選択した場合に変形特殊効果の表示が持続するように設定してもよい。
4、遅延トリガパラメータ(TriggerDelay):変形領域の変形効果を遅延表示する時間を表すためのものであり、即ち、ビデオ画像のうちのあるフレームからトリガ動作パラメータ内のトリガ動作が検出されると、該変形領域の変形効果を表示開始まで遅延するフレーム数を指し、そのパラメータ値として変形領域の変形効果を遅延表示する時間を設定又は選択することができる。
5、トリガ終了パラメータ(TriggerStop):変形領域の変形効果の表示を終了する動作を表すためのものであり、変形領域の変形効果の表示をどの動作で終了するかを意味し、そのパラメータ値は各トリガ動作を含み、ユーザは変形領域の変形効果の表示を終了する動作として、事前設定動作集合から少なくとも1つの動作を選択することができる。即ち、ビデオ又は画像から該トリガ終了パラメータで規定されたトリガ動作が検出されると、変形領域の変形効果の表示を終了することができ、例えば、ビデオ画像からトリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、口部に変形領域の変形効果を表示し始め、トリガ終了パラメータ内のパラメータ値を「口を閉じる」に設定してもよく、そのようにビデオ画像からこの「口を閉じる」動作が検出されると、該変形領域の変形効果が消える。
6、変形効果制御パラメータ(Transform):変形領域の変形効果を制御するためのものである。その中の一例では、変形曲線によって変形領域の変形効果を制御することができ、対話インターフェイス内の変更(change)キーをクリックして変形曲線調整ウィンドウを開くことで、変形曲線のパラメータを調整して変形効果を変えることができる。図5は本願の実施例における変形曲線調整ウィンドウを例示的に示す一模式図であり、そのうちの一実施形態では、変形曲線のパラメータは、変形効果の引伸方向及び引伸半径を制御するための第1の制御点パラメータ、変形領域の中間領域の変形平滑性を制御するための第2の制御点パラメータ、変形領域の境界領域の変形平滑性を制御するための第3の制御点パラメータの中のいずれか一項又は複数項を含む。ここで、変形効果の引伸方向は、変形領域の中心点から外へ引伸する方向、及び/又は、変形領域の中心点から内へ引伸する方向を含んでもよい。そのうちの選択可能な一例では、該変形曲線は3つの制御点パラメータに対応する制御点により制御され、ここで、1番目の制御点は、変形効果の引伸方向及び引伸半径を制御して変形程度及び変形領域のサイズを影響するためのものであり、1番目の制御点が斜線1により分割してなった領域の右下に位置する時に、変形領域は変形中心点から外へ引伸されることになり、1番目の制御点が斜線1により分割してなった領域の左上部に位置する時に、変形領域は円形の境界から変形中心点の方向へ引伸され(即ち、内へ引伸される)ことになり、図6及び図7はそれぞれ本願の実施例で外及び内へ引伸した変形効果の変形効果模式図であり、第1の制御点と左下頂点との間の直線の長さは、変形中心から外へ直線変形する領域の大きさを制御し、直線が長いほど、直線変形領域が大きくなる。2番目の制御点は、変形領域の中間領域の変形平滑性を制御するためのものである。2番目の制御点が1番目の制御点に近いほど、中間領域の変形効果が著しくなり、逆に、中間領域の変形平滑性が好ましくなり、3番目の制御点は、変形領域の境界領域の変形平滑性(即ち、境界平滑効果)を制御するためのものである。3番目の制御点が右上に近いほど、境界の変形効果が著しくなり、逆に、境界が円形の外部領域に移行する平滑性が高くなる。ユーザは3つの制御点の位置を調整することによって変形表示効果を変えることができ、1番目の制御点が直線の傾斜度を制御するためのものであり、2番目の制御点及び3番目の制御点が直線傾斜度を基に曲線の幅を制御するためのものであるので、3つの制御点の移動可能位置はパラメータ関係によって制限される。
7、表示サイズパラメータ(Scale):変形領域のサイズ変化の参照基準を表すためのものであり、変形領域が近いとことで大きくて遠いところで小さいという表示効果を実現するために用いられる。該表示サイズパラメータのパラメータ値(即ち、変形領域のサイズ変化の参照基準)は事前設定キーポイントのうちの2つ又は2つ以上のキーポイント(PointA及びPointBで示してもよい)であってもよく、この時に、変形領域のサイズは画像における参照基準となる2つ又は2つ以上のキーポイントの形成したサイズの比率変化によって変化する。
8、位置パラメータ(Position):変形領域と事前設定キーポイントとの間の位置結び付け関係を表すためのものであり、画像における変形領域と事前設定キーポイントの位置関係を指し、変形領域を事前設定キーポイントのうちのどのキーポイントの位置と結び付けるかを選択することができる。そのうちの選択可能な一例では、該位置パラメータの内の事前設定キーポイントは、予め設定されたキーポイントのうち変形領域の境界にあり且つ連結線が変形領域の中心点を通過する2つのキーポイントを含んでもよい。
9、回転中心パラメータ(RotateCenter):変形領域の回転が従う中心点を表すためのものであり、そのうちの選択可能な一例では、該変形領域の回転が従う中心点は画像の中心点である。
10、変形中心パラメータ(TransformCenter):変形領域の中心点を表すためのものである。
11、モード切り替えパラメータ(Transfer):変形領域の中心点ずらしモードを切り替えるためのものである。そのうちの選択可能な一例では、変形領域の中心点ずらしモードは、中心点簡便引伸モード及び径方向ずらし引伸モードを含む。以下の2つのパラメータ値によって変形領域の中心点ずれの2種のモードを切り替えることができる。(1)Yes:中心点簡便引伸モードを指し、マウスを用いて円形内の変形中心点の位置を移動することで変形領域を引伸することができる。(2)No:径方向ずらし引伸モードを指し、変形効果制御パラメータを編集する変形曲線を基に、変形領域を変形円形内で引伸する。図8は本願の実施例でモード切り替えパラメータが中心点簡便引伸モードにあった変形効果模式図である。図9は本願の実施例でモード切り替えパラメータが径方向ずらし引伸モードにあった変形効果模式図である。
12、美顔/化粧(美顔及び/又は化粧)効果パラメータ:変形効果を表示する時に事前設定部位に表示される美顔/化粧効果、例えば紅唇、瞳美化、青い目等を表すためのものである。例えば、変形効果を表示する時に、口部に紅唇を表示する。
そのうちの一実施例では、上記位置パラメータの中の事前設定キーポイントは、所定キーポイントのうち、変形領域の境界に位置し且つ連結線が変形領域の中心点を通過する2つのキーポイントを含む。それに対応するように、該実施例の操作104は、変形領域と上記の変形領域の境界に位置し且つ連結線が変形領域の中心点を通過する2つのキーポイントとの間の対応関係を確立する操作を含んでもよい。
そのうちの選択可能な一例では、上記トリガ動作パラメータに対応するトリガ動作は、以下のいずれか一項又は複数項を含む。
無動作トリガ(NULL):即ち、動作なしで該サブ素材を表示することができる。
眼部動作:例えば、まばたきする、目を閉じる、目を開く等。
頭部動作:例えば、頭を横に振る、軽く頭を下げる、頭を傾ける、振り返る等。
眉部動作:例えば、眉を吊り上げる等。
手部動作:例えば、手でハートの形を作る、手で支える、手の平、親指、拱手でお祝いをする、片手でハートの形を作る、手でOKの形を作る、手ではさみの形を作る、手で拳銃の形を作る、人差し指等。
口部動作:例えば、口を開く、口を閉じる等。
肩部動作:例えば、肩をすぼめる等。
その他の動作。
図10は本願の実施例における手部動作を例示的に示す一模式図である。
なお、更に図2を参照し、本願の実施例の変形特殊効果プログラムファイルパッケージの生成装置の操作画面はコンテンツ表示欄を更に含んでもよい。それに対応するように、在本願の変形特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、コンテンツ表示欄によって参照画像を表示する操作を更に含んでもよい。
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
なお、本願の変形特殊効果プログラムファイルパッケージの生成方法の別の実施例では、操作欄の対話インターフェイスで入力された参照点表示コマンドを受け取り、参照画像上のキーポイントを表示する操作、及び/又は、操作欄の対話インターフェイスで入力された参照点非表示コマンドを受け取り、参照画像上のキーポイントを表示しない操作を更に含んでもよい。
なお、本願の変形特殊効果プログラムファイルパッケージの生成方法の別の実施例では、変形領域の変形効果パラメータのパラメータ値に基づいて、コンテンツ表示欄に変形領域の変形効果を表示する操作を更に含んでもよい。例えば、予め設定された変形領域の位置及びサイズで、コンテンツ表示欄に該変形領域を表示してもよい。
コンテンツ表示欄に変形領域の変形効果を表示した後、該変形領域のコンテンツ表示欄での位置を変更したり、そのサイズを調整することができる。それによって、本願の更なる選択可能な実施例では、コンテンツ表示欄で受け取られた変形領域に対する位置移動操作により、変形領域のコンテンツ表示欄での表示位置を更新し、且つ変形領域の変形効果パラメータ内の対応するパラメータ値を更新する操作を更に含んでもよい。及び/又は、コンテンツ表示欄で受け取られた変形領域に対するサイズ調整操作により、変形領域のコンテンツ表示欄での表示サイズを更新し、且つ変形領域の変形効果パラメータ内の対応するパラメータ値を更新する操作を更に含んでもよい。
例えば、ユーザは、マウスによってコンテンツ表示欄に表示されている1つの変形領域を選定し且つマウスを該変形領域の右下の小枠に移動し、該小枠を移動することで変形領域を縮小拡大して、該変形領域のサイズを調整することができ、また、ユーザは、マウスによってコンテンツ表示欄に表示されている1つの変形領域を選定し且つその位置を直接移動し、変形領域を正確な位置又は希望する位置に移動することができる。後続の変形領域の変形特殊効果プログラムファイルパッケージの再生において、該変形領域の再生端末での位置、表示比率は該コンテンツ表示欄での位置、表示比率と一致する。
なお、本願の変形特殊効果プログラムファイルパッケージの生成方法の別の実施例では、2つ又は2つ以上の変形領域を含む時に、該2つ又は2つ以上の変形領域の間の遮蔽関係を調整することができる。それによって、本願の更なる選択可能な実施例では、操作欄の対話インターフェイスで受け取られた2つ又は2つ以上の変形領域に対する画像レイヤーパラメータ調整コマンドに基づいて、2つ又は2つ以上の変形領域の間の遮蔽関係を調整し、調整された遮蔽関係及び2つ又は2つ以上の変形領域に対応する変形パラメータのパラメータ値に基づいて2つ又は2つ以上の変形領域に対応する変形効果を表示する操作を更に含んでもよい。
なお、本願の上記各変形特殊効果プログラムファイルパッケージの生成方法の実施例では、変形特殊効果プログラムファイルパッケージを生成する操作の前に、予め設定された変形特殊効果プログラムファイル及び変形領域の変形効果パラメータのパラメータ値に基づいて、変形領域の特殊効果プログラムファイルを生成し、プログラムファイル欄によって変形領域の特殊効果プログラムファイルを表示する操作を更に含んでもよい。
その中の変形特殊効果プログラムファイルは、例えば、jsonプログラム又は他の任意のプログラムで生成した特殊効果プログラムファイルを含んでもよい。
本願の変形特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、受け取られた起動コマンドにより、変形特殊効果プログラムファイルパッケージの生成装置を起動し、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む操作画面を表示する操作を更に含んでもよい。
図2に示すように、そのうちの選択可能な一例では、上記操作画面は左側、中部及び右側という3つの領域を含む。それに対応するように、上記の操作画面を表示する操作は、操作画面の左側に操作欄を表示し、操作画面の中部にコンテンツ表示欄を表示し、操作画面の右側に前記プログラムファイル欄を表示する操作を含んでもよい。
ここで、左側操作欄にある対話インターフェイス21によって各変形領域の変形効果パラメータに対してパラメータ値を設定してもよく、コンテンツ表示欄は、平均顔を基準顔とし、変形領域が全て直接表示され、マウスによって表示されている変形領域の位置を移動することができ、右側のプログラムファイル表示欄は、その中の表示領域22によって現在パラメータ値を設定されている特殊効果プログラムファイルのコンテンツを表示するために用いられ、プログラムファイル表示欄にある保存コマンドインターフェイス23によって変形特殊効果プログラムファイルパッケージを読み出すことができ、即ち、該変形特殊効果プログラムファイルパッケージを生成、保存することができる。
図11は本願の特殊効果プログラムファイルパッケージの生成方法の更に別の実施例のフローチャートである。図11に示すように、該実施例の特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
302において、受け取られた起動コマンドにより、変形特殊効果プログラムファイルパッケージの生成装置を起動し、操作画面を表示する。
該操作画面は、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む。
304において、コンテンツ表示欄によって参照画像を表示し、該参照画像におけるキーポイントを表示する。
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像であってもよい。
選択可能な一例では、該操作304は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する操作画面又は操作画面内のコンテンツ表示欄により実行されてもよい。
306において、操作欄の対話インターフェイスで入力された変形領域追加コマンドを受け取り、変形領域を追加し、該変形領域の変形効果パラメータ設定画面を生成し、操作欄に変形領域の変形効果パラメータ設定画面を表示する。
選択可能な一例では、該操作306は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する追加モジュール及び操作画面又は操作画面内の操作欄により実行されてもよい。
308において、変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値を受け取り、該変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する。
選択可能な一例では、該操作308は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する操作画面又は操作画面内の操作欄及び確立モジュールにより実行されてもよい。
310において、予め設定された特殊効果プログラムファイル及び変形領域の変形効果パラメータのパラメータ値に基づいて、変形領域の特殊効果プログラムファイルを生成し、プログラムファイル欄によって変形領域の特殊効果プログラムファイルを表示する。
本願の各実施例の一実施形態では、特殊効果プログラムファイルは、例えば、jsonプログラム又は他の実行可能なプログラムで生成したものを含んでもよいが、それに限定されない。
複数の変形領域を追加しようとする時に、各変形領域に対してそれぞれ操作306-310を実行する。次に、すべての変形領域に対して操作312を実行する。
選択可能な一例では、該操作310は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第1の生成モジュール及び操作画面又は操作画面内のプログラムファイル欄により実行されてもよい。
312において、パラメータ値が取得された少なくとも1つの変形領域及び該少なくとも1つの変形領域と所定の少なくとも1つのキーポイントとの間の対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成する。
選択可能な一例では、該操作312は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第1の生成モジュールにより実行されてもよい。
なお、本願の上記のいずれか1つの実施例に基づいて変形特殊効果プログラムファイルパッケージを生成する操作の後に、受け取られた保存コマンドにより、該保存コマンドの指示した位置に該変形特殊効果プログラムファイルパッケージを保存する操作を更に含んでもよい。
そのうちの一実施形態では、受け取られた保存コマンドにより、該保存コマンドの指示した位置に該変形特殊効果プログラムファイルパッケージを保存する操作は、
保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
上記保存パス選択インターフェイスから送られた保存位置を受け取る操作と、上記の圧縮インターフェイスにより送られた圧縮方式を受け取り、該圧縮方式により上記変形特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
上記圧縮ファイルパッケージを上記保存位置の指示したフォルダーに記憶する操作と、を含んでもよい。
変形特殊効果プログラムファイルパッケージが大きい時に、携帯型端末で動作することに適合するものではなく、携帯型端末にインポートして変形特殊効果を生成するために、本願の実施例は特殊効果プログラムファイルパッケージを圧縮した後保存することができる。
本願の上記各実施例に基づいて変形特殊効果プログラムファイルパッケージを生成した後、該変形特殊効果プログラムファイルパッケージを端末にインポートし、該端末で再生するビデオ又は画像に対して変形特殊効果を生成することができる。
図12は本願の変形特殊効果生成方法の一実施例のフローチャートである。本願の各実施例の変形特殊効果生成方法は、例えば、1つの装置(本願の実施例では変形特殊効果生成装置と称する)によって実現可能であるが、それに限定されない。その中の変形特殊効果生成装置は、例えばARエンジン又はAR作成機能を有する電子機器(例えば、ARエンジンが設けられた電子機器)等であってもよい。図12に示すように、該実施例の変形特殊効果生成方法は、以下の操作を含む。
402において、変形領域の変形効果パラメータのパラメータ値を取得する。
選択可能な一例では、該操作402は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第2の取得モジュールにより実行されてもよい。
404において、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する。
選択可能な一例では、該操作404は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第2の生成モジュールにより実行されてもよい。
本願の上記実施例で提供された変形特殊効果生成方法によれば、変形領域の変形効果パラメータのパラメータ値を取得し、被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する。本願の実施例は、予め生成した変形特殊効果プログラムファイルパッケージ内の変形領域の変形効果パラメータのパラメータ値によって、被処理画像に対してキーポイント検出を行い、被処理画像上で変形特殊効果を生成して、画像の変形特殊効果を実現し、画像の表示/再生効果及び/又は趣味性を高めるか豊富にした。
本願の変形特殊効果生成方法の別の実施例では、変形領域の変形効果パラメータのパラメータ値を取得する操作402の前に、変形特殊効果プログラムファイルパッケージをインポートする操作を更に含んでもよい。それに対応するように、該実施例の操作402において、変形特殊効果プログラムファイルパッケージ内の変形領域の変形効果パラメータのパラメータ値を取得する。一例としては、上記変形特殊効果プログラムファイルパッケージは、本願のいずれか1つの実施例の変形特殊効果プログラムファイルパッケージの生成方法を用いて生成してもよいが、それに限定されない。
図13は本願の変形特殊効果生成方法の別の実施例のフローチャートである。図13に示すように、該実施例の変形特殊効果生成方法は、以下の操作を含む。
502において、変形特殊効果プログラムファイルパッケージをインポートする。
選択可能な一例では、該操作502は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作するインポートモジュールにより実行されてもよい。
504において、変形領域の変形効果パラメータのパラメータ値を取得する。
ここで、変形領域の変形効果パラメータのパラメータ値は、例えば、変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を含んでもよいが、それに限定されない。
選択可能な一例では、該操作504は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第2の取得モジュールにより実行されてもよい。
506において、被処理画像内のキーポイントを検出する。
選択可能な一例では、該操作506は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第1の検出モジュールにより実行されてもよい。
本願の上記各変形特殊効果生成方法の実施例では、上記被処理画像は、例えば、静的画像、ビデオ内の画像等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの一実施形態では、ニューラルネットワークによって、被処理画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力することができる。その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントの被処理画像における位置、特殊効果プログラムファイルパッケージ内の対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
508において、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する。
選択可能な一例では、該操作508は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第2の生成モジュールにより実行されてもよい。
そのうちの一実施形態では、変形領域を読み取るための第1のインターフェイス関数を呼び出すことによって変形特殊効果プログラムファイルパッケージを内部メモリに読み込むこと、変形特殊効果プログラムファイルパッケージを解析して変形効果パラメータのパラメータ値を含む変形特殊効果プログラムファイルを取得することで、変形特殊効果プログラムファイルパッケージをインポートするのができる。
一例としては、該変形特殊効果プログラムファイルは、例えば、jsonプログラム又は他の任意の実行可能なプログラムの変形特殊効果プログラムファイルを含んでもよい。
また1つの実施形態では、ステッカーハンドルを作成するための第2のインターフェイス関数によって、ステッカーハンドルを作成すること、変形特殊効果プログラムファイル内の変形領域の変形効果パラメータのパラメータ値を読み取り、ステッカーハンドルに記憶することで、変形領域の変形効果パラメータのパラメータ値を取得するのができる。
更に別の実施形態では、ステッカーハンドル内の変形特殊効果プログラムファイルの変形領域の変形効果パラメータのパラメータ値に基づいて、変形領域の被処理画像での表示位置を取得する操作を更に含んでもよい。
選択可能に、上記被処理画像がビデオ内の画像である場合、上記各実施例の変形特殊効果生成方法は、変形領域が被処理画像に表示されるビデオフレーム数を取得し、被処理画像の所在するビデオからビデオフレーム数に対応する画像を予め読み取る操作を更に含んでもよい。
更に別の実施形態では、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する操作508は、変形領域をレンダリングするための第3のインターフェイス関数を呼び出すことによって、ステッカーハンドルから被処理画像上に表示しようとする変形領域を読み取る操作と、被処理画像内のキーポイント及び表示しようとする変形領域の変形効果パラメータのパラメータ値に基づいて、変形領域の被処理画像での表示位置を決定する操作と、変形領域の被処理画像での表示位置に基づいて、変形領域を被処理画像上の表示位置に表示する操作と、を含んでもよい。
なお、更なる実施形態では、
変形特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第4のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄する操作を更に含んでもよい。
選択可能に、本願の上記各変形特殊効果生成方法の実施例では、変形効果パラメータは、変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータを含んでもよい。それに対応するように、該実施例の変形特殊効果生成方法は、被処理画像にトリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作を更に含んでもよい。被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する操作508は、被処理画像にトリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する操作を含んでもよい。
選択可能に、本願の上記各変形特殊効果生成方法の実施例では、変形効果パラメータは、変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧(美顔及び/又は化粧)効果パラメータを含んでもよい。それに対応するように、該実施例の変形特殊効果生成方法は、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する時に、美顔/化粧効果パラメータに基づいて、被処理画像に美顔/化粧効果を表示する操作を更に含んでもよい。
本願の各変形特殊効果生成方法の実施例は、各種の被処理画像表示シーン又はビデオ再生シーンに用いることができ、例えば、人物を含むビデオ生放送シーンに用いて、該生放送ビデオに対して変形特殊効果を生成し、例えば、生放送人物の耳、手、顔、髪、頸部、肩等の部位で1つの変形領域の変形効果を生成し、更に例えば、人物を含む被処理画像に用いて、該被処理画像に対して変形特殊効果を生成し、例えば、被処理画像の顔のある局所部位で変形特殊効果を生成する等のシーンに用いることができる。
本願の実施例で提供されるいずれか1種の変形特殊効果プログラムファイルパッケージの生成方法及び変形特殊効果生成方法はデータ処理能力を有するいかなる適切な機器によって実行されてもよく、端末機器とサーバ等を含むが、それらに限定されない。又は、本願の実施例で提供されるいずれか1種の変形特殊効果プログラムファイルパッケージの生成方法及び変形特殊効果生成方法はプロセッサによって実行されてもよく、例えば、ププロセッサはメモリに記憶された対応のコマンドを呼び出すことで本願の実施例におけるいずれか1種の変形特殊効果プログラムファイルパッケージの生成方法及び変形特殊効果生成方法を実行する。以下、詳細な説明を省略する。
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ROM、RAM、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
図14は本願の変形特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。本願の各実施例の変形特殊効果プログラムファイルパッケージの生成装置は本願の上記各変形特殊効果プログラムファイルパッケージの生成方法を実現するために利用可能である。図14に示すように、該実施例の変形特殊効果プログラムファイルパッケージの生成装置は、第1の取得モジュール、確立モジュール及び第1の生成モジュールを含む。
第1の取得モジュールは、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得するために用いられる。
確立モジュールは、少なくとも1つの変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立するために用いられる。
第1の生成モジュールは、パラメータ値が取得された少なくとも1つの変形領域及び対応関係により、変形特殊効果プログラムファイルパッケージを生成するために用いられる。
本願の上記実施例で提供された変形特殊効果プログラムファイルパッケージの生成装置によれば、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得し、少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立し、前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成し、それによって該変形特殊効果プログラムファイルパッケージに基づいて画像に変形効果を追加して、画像の変形特殊効果を実現し、本願の実施例は、プログラムファイルを手動で書くことなく、レンダリングエンジンの実行可能な変形特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、変形特殊効果を実現する効率は全体的に高められ、変形特殊効果の正確性は効果的に保障された。
図15は本願の変形特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。図15に示すように、図14に示した実施例と比べて、該実施例の生成装置は、少なくとも1つの変形領域を追加するための追加モジュールを更に含む。
そのうちの一実施形態では、変形領域が複数である場合、第1の取得モジュールは、複数の変形領域の変形効果パラメータのパラメータ値を一括取得する操作、及び/又は、複数の変形領域のうちの少なくとも一部の前記変形領域の変形効果パラメータのパラメータ値をそれぞれ取得する操作、及び/又は、1つの変形領域をコピーして、他の1つの変形領域と該他の1つの変形領域の変形効果パラメータのパラメータ値とを取得する操作を実行するために用いられる。
なお、更に図15を参照し、本願の変形特殊効果プログラムファイルパッケージの生成装置のまた1つの実施例では、対話インターフェイスを含み、対話インターフェイスで入力された変形領域追加コマンドを受け取り、少なくとも1つの変形領域を追加し、変形領域の変形効果パラメータ設定画面を生成し、変形領域の変形効果パラメータ設定画面を表示するために用いられる操作欄を更に含んでもよい。それに対応するように、該実施例では、第1の取得モジュールは、変形効果パラメータ設定画面によって変形領域の変形効果パラメータのパラメータ値を取得するために用いられる。
そのうちの一実施形態では、第1の取得モジュールは、参照画像上で変形領域を移動することで、変形領域の位置パラメータを取得する操作、及び/又は、変形領域のサイズを調整することによって、変形領域の範囲を取得する操作、及び/又は、変形効果を制御するための変形曲線を調整することで、変形領域の変形効果パラメータのパラメータ値を取得する操作、及び/又は、変形効果制御パラメータのパラメータ値を受け取ることで、変形領域の変形効果パラメータのパラメータ値を取得する操作を実行するために用いられる。
そのうちの選択可能な一例では、第1の取得モジュールは、変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られたことに応じて、設定されたパラメータ値を変形領域の変形効果パラメータのパラメータ値とする操作、及び/又は、変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を変形領域の変形効果パラメータのパラメータ値とする操作を実行するために用いられる。
なお、更に図15を参照し、本願の変形特殊効果プログラムファイルパッケージの生成装置の更に別の実施例では、操作欄の対話インターフェイスで入力された変形領域削除コマンドを受け取り、変形領域及び変形領域の変形効果パラメータのパラメータ値を削除するための削除モジュールを更に含んでもよい。
本願の各実施例では、変形領域と少なくとも1つのキーポイントとの間の対応関係を確立するように、複数のキーポイントの位置を予め設定してもよく、そのようにして両方の位置を対応関係にする。1つの変形領域の変形効果パラメータのパラメータ値を設定する時に、予め設定されたキーポイント集合から少なくとも1つのキーポイントを直接選択して該変形領域と少なくとも1つのキーポイントとの間の対応関係を確立することができる。
例えば、そのうちの一実施形態では、顔検出及びジェスチャ検出に基づいてそれぞれ顔部及びジェスチャ(手部)に対して複数のキーポイントを定義して、変形特殊効果生成における変形領域と顔キーポイント又はジェスチャキーポイントとの間の対応関係の確立を実現することができる。
そのうちの一実施形態では、確立モジュールは、変形領域の位置参照点と少なくとも1つのキーポイントとの間の対応関係を確立する操作、及び/又は、変形領域の位置参照点と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を実行するために用いられる。
そのうちの一実施例では、上記位置パラメータの内の事前設定キーポイントは、所定キーポイントのうち、変形領域の境界に位置し且つ連結線が変形領域の中心点を通過する2つのキーポイントを含む。それに対応するように、該実施例では、確立モジュールは、変形領域と上記の変形領域の境界に位置し且つ連結線が変形領域の中心点を通過する2つのキーポイントとの間の対応関係を確立するために用いられる。
なお、更に図15を参照し、本願の変形特殊効果プログラムファイルパッケージの生成装置の更にまた1つの実施例では、参照画像を表すためのコンテンツ表示欄を更に含んでもよい。
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
選択可能に、上記実施例では、操作欄は、更に、対話インターフェイス、例えば図2における対話インターフェイス24によって入力した参照点表示コマンドを受け取り、参照画像上のキーポイントを表示する操作、及び/又は、対話インターフェイスで入力された参照点非表示コマンドを受け取り、参照画像上のキーポイントを表示しない操作を実行するために用いてもよい。
選択可能に、更にまた1つの実施例では、コンテンツ表示欄は、更に、変形領域の変形効果パラメータのパラメータ値に基づいて、コンテンツ表示欄に変形領域の変形効果を表示するために用いてもよい。
選択可能に、更にまた1つの実施例では、コンテンツ表示欄は、更に、変形領域に対する位置移動操作を受け取るために用いてもよい。それに対応するように、更に図15を参照し、該実施例の装置は、コンテンツ表示欄で受け取られた変形領域に対する位置移動操作により、変形領域のコンテンツ表示欄での表示位置を更新し、変形領域の変形効果パラメータ内の対応するパラメータ値を更新するための第1の更新モジュールを更に含んでもよい。
選択可能に、更にまた1つの実施例では、コンテンツ表示欄は、更に、変形領域に対するサイズ調整操作を受け取るために用いてもよい。それに対応するように、更に図15を参照し、該実施例の装置は、コンテンツ表示欄で受け取られた変形領域に対するサイズ調整操作により、変形領域のコンテンツ表示欄での表示サイズを更新し、変形領域の変形効果パラメータ内の対応するパラメータ値を更新するための第2の更新モジュールを更に含んでもよい。
選択可能に、更にまた1つの実施例では、操作欄は、更に、対話インターフェイス、例えば図2における対話インターフェイス25によって、2つ又は2つ以上の変形領域に対する画像レイヤーパラメータ調整コマンドを受け取るために用いてもよい。それに対応するように、更に図15を参照し、該実施例の装置は、操作欄の対話インターフェイスで受け取られた2つ又は2つ以上の変形領域に対する画像レイヤーパラメータ調整コマンドに基づいて、2つ又は2つ以上の変形領域の間の遮蔽関係を調整し、調整された遮蔽関係及び2つ又は2つ以上の変形領域に対応する変形パラメータのパラメータ値に基づいて2つ又は2つ以上の変形領域に対応する変形効果を表示させるようにコンテンツ表示欄に指示するための調整モジュールを更に含んでもよい。
選択可能に、更にまた1つの実施例では、第1の生成モジュールは、更に、予め設定された変形特殊効果プログラムファイル及び変形領域の変形効果パラメータのパラメータ値に基づいて、変形領域の特殊効果プログラムファイルを生成し、プログラムファイル欄によって変形領域の特殊効果プログラムファイルを表示するために用いられる。それに対応するように、更に図15を参照し、該実施例の装置は、変形領域の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含んでもよい。その中の変形特殊効果プログラムファイルは、例えば、jsonプログラムで生成された特殊効果プログラムファイルを含んでもよい。
更に、図15を更に参照し、本願の上記各実施例の変形特殊効果プログラムファイルパッケージの生成装置は、上記操作欄、上記コンテンツ表示欄及び/又は上記プログラムファイル欄を含む操作画面を更に含んでもよい。
そのうちの一実施形態では、操作画面は左側、中部及び右側という3つの領域を含む。ここで、操作画面の左側は操作欄であり、操作画面の中部はコンテンツ表示欄であり、操作画面の右側はプログラムファイル欄である。
更に、図15を更に参照し、本願の上記各実施例の変形特殊効果プログラムファイルパッケージの生成装置は、受け取られた保存コマンドにより保存コマンドの指示した位置に変形特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含んでもよい。
そのうちの一実施形態では、保存モジュールは、保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、保存パス選択インターフェイスから送られた保存位置を受け取る操作と、圧縮インターフェイスにより送られた圧縮方式を受け取り、圧縮方式により変形特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、圧縮ファイルパッケージを保存位置の指示したフォルダーに記憶する操作とを実行するために用いられる。
図16は本願の変形特殊効果生成装置の一実施例の構造模式図である。本願の各実施例の変形特殊効果生成装置は本願の上記変形特殊効果生成方法を実現するために利用可能である。本願の各実施例の変形特殊効果生成装置は、例えばARエンジン又はAR作成機能を有する電子機器(例えば、ARエンジンが設けられた電子機器)等であってもよい。図16に示すように、該実施例の変形特殊効果生成装置は、第2の取得モジュール及び第2の生成モジュールを含む。
第2の取得モジュールは、変形領域の変形効果パラメータのパラメータ値を取得するために用いられる。
第2の生成モジュールは、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成するために用いられる。
本願の上記実施例で提供された変形特殊効果生成装置によれば、変形領域の変形効果パラメータのパラメータ値を取得し、被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する。本願の実施例は、予め生成した変形特殊効果プログラムファイルパッケージ内の変形領域の変形効果パラメータのパラメータ値によって、画像に対してキーポイント検出を行い、画像上で変形特殊効果を生成して、画像の変形特殊効果を実現し、画像の再生効果を高めた。
図17は本願の変形特殊効果生成装置の別の実施例の構造模式図である。図17に示すように、図16に示した実施例と比べて、該実施例の変形特殊効果生成装置は、変形特殊効果プログラムファイルパッケージをインポートするためのインポートモジュールを更に含む。それに対応するように、該実施例では、第2の生成モジュールは、変形特殊効果プログラムファイルパッケージ内の変形領域の変形効果パラメータのパラメータ値を取得するために用いられる。
一例としては、該変形特殊効果プログラムファイルパッケージは、本願の上記のいずれか1つの実施例の変形特殊効果プログラムファイルパッケージの生成方法又は装置を用いて生成したものである。
なお、更に図17を参照し、変形特殊効果生成装置の更に別の実施例では、被処理画像内のキーポイントを検出するための第1の検出モジュールを更に含む。
そのうちの一実施形態では、第1の検出モジュールは、被処理画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するためのニューラルネットワークを含んでもよい。その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントの被処理画像における位置、対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの一実施形態では、上記変形領域の変形効果パラメータのパラメータ値は、変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を含んでもよい。
そのうちの一実施形態では、インポートモジュールは、変形領域を読み取るための第1のインターフェイス関数を呼び出すことによって、変形特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、変形特殊効果プログラムファイルパッケージを解析し、変形効果パラメータのパラメータ値を含む変形特殊効果プログラムファイルを取得する操作とを実行するために用いられる。
その中の変形特殊効果プログラムファイルは、例えば、jsonプログラム又は他の任意のプログラムで生成した特殊効果プログラムファイルを含んでもよい。
そのうちの一実施形態では、第2の取得モジュールは、ステッカーハンドルを作成するための第2のインターフェイス関数によって、ステッカーハンドルを作成する操作と、変形特殊効果プログラムファイル内の変形領域の変形効果パラメータのパラメータ値を読み取り、ステッカーハンドルに記憶する操作とを実行するために用いられる。
そのうちの選択可能な一例では、第2の生成モジュールは、変形領域をレンダリングするための第3のインターフェイス関数を呼び出すことによって、ステッカーハンドルから被処理画像上に表示しようとする変形領域を読み取る操作と、被処理画像におけるキーポイント及び表示しようとする変形領域の変形効果パラメータのパラメータ値に基づいて、変形領域の被処理画像での表示位置を決定する操作と、変形領域の被処理画像での表示位置に基づいて、変形領域を被処理画像上の表示位置に表示する操作とを実行するために用いられる。
更なる選択可能な例では、上記被処理画像がビデオ内の被処理画像である時に、第2の生成モジュールは、更に、変形領域が被処理画像の所在するビデオに表示されるビデオフレーム数を取得し、ビデオからビデオフレーム数に対応する画像を予め読み取るために用いてもよい。
なお、変形特殊効果生成装置の更に別の実施例では、第2の取得モジュールは、更に、変形特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第4のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄するために用いてもよい。
そのうちの一実施形態では、上記変形効果パラメータは、変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータを含んでもよい。それに対応するように、更に図17を参照し、変形特殊効果生成装置の更に別の実施例では、被処理画像にトリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出するための第2の検出モジュールを更に含む。それに対応するように、該実施例では、第2の生成モジュールは、被処理画像にトリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成するために用いられる。
そのうちの一実施形態では、上記変形効果パラメータは、変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧(美顔及び/又は化粧)効果パラメータを含んでもよい。それに対応するように、該実施例では、第2の生成モジュールは、更に、被処理画像内のキーポイント及び変形領域の変形効果パラメータのパラメータ値に基づいて、被処理画像上で変形効果の特殊効果を生成する時に、美顔/化粧効果パラメータに基づいて、被処理画像に美顔/化粧効果を表示するために用いてもよい。
なお、本願の実施例で提供された別の電子機器は、
コンピュータプログラムを記憶するためのメモリと、
メモリに記憶されたコンピュータプログラムを実行するために用いられ、コンピュータプログラムが実行されると、本願のいずれか1つの実施例に記載の変形特殊効果プログラムファイルパッケージの生成方法又は変形特殊効果生成方法を実現するプロセッサと、を含む。
図18は本願の電子機器の一適用実施例の構成模式図である。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構成模式図を示す図18を参照する。図18に示すように、該電子機器は1つ又は複数のプロセッサ、通信部などを含み、前記1つ又は複数のプロセッサは、例えば、1つ又は複数の中央処理ユニット(CPU)、及び/又は1つ又は複数の画像プロセッサ(GPU)などであり、プロセッサは、読み取り専用メモリ(ROM)に記憶された実行可能コマンド又は記憶部からランダムアクセスメモリ(RAM)にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはIB(Infiniband)ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ及び/又はランダムアクセスメモリと通信して実行可能コマンドを実行し、通信バスを介して通信部に接続され、通信部を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得し、少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立し、前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成する。更に例えば、変形領域の変形効果パラメータのパラメータ値を取得し、被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記画像上で変形効果の特殊効果を生成する。
また、RAMには、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。CPU、ROM及びRAMは、通信バスを介して相互に接続される。RAMを有する場合に、ROMは選択可能なモジュールである。RAMは実行可能コマンドを格納するか、または動作時に実行可能コマンドをROMに書き込み、実行可能コマンドによってプロセッサに本願のいずれか1種の前記方法に対応する操作を実行させる。入力/出力(I/O)インターフェイスも通信バスに接続される。通信部は、統合的に設置されてもよく、複数のサブモジュール(例えば複数のIBネットワークカード)を有し、通信バスのリンク上にあるように設置されてもよい。
キーボード、マウスなどを含む入力部と、陰極線管(CRT)、液晶ディスプレイー(LCD)など及びスピーカなどを含む出力部と、ハードディスクなどを含む記憶部と、LANカード、モデムなどのネットワークインターフェイスカードを含む通信部とがI/Oインターフェイスに接続されている。通信部は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブも必要に応じてI/Oインターフェイスに接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体は、必要に応じてドライブ上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部にインストールする。
なお、図18に示す構造は選択可能な一実施形態に過ぎず、実践過程では、実際の必要に応じて上記図18の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばGPUとCPUは分離設置するかまたはGPUをCPUに統合するようにしてよく、通信部は分離設置するか、またはCPUやGPUに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の開示した保護範囲に属する。
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される変形特殊効果プログラムファイルパッケージの生成方法のステップを対応して実行する対応のコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部によってネットワークからダウンロード及びインストールされ、及び/又はリムーバブル媒体からインストールされ得る。CPUによって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。
なお、本願の実施例は、コンピュータコマンドを含むコンピュータプログラムであって、コンピュータコマンドが機器のプロセッサ上で動作する時に、本願のいずれか1つの実施例に記載の変形特殊効果プログラムファイルパッケージの生成方法又は変形特殊効果生成方法を実現するコンピュータプログラムを更に提供する。
なお、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願のいずれか1つの実施例に記載の変形特殊効果プログラムファイルパッケージの生成方法又は変形特殊効果生成方法を実現するコンピュータ可読記憶媒体を更に提供する。
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。

Claims (35)

  1. 変形特殊効果プログラムファイルパッケージを生成する方法であって、
    少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する操作であって、前記変形効果パラメータは、前記変形領域の変形効果を制御するための変形効果制御パラメータを含み、前記変形効果制御パラメータは、変形曲線のパラメータを含み、前記変形曲線のパラメータは、変形効果の引伸方向及び引伸半径を制御するための第1の制御点パラメータ、変形領域の中間領域の変形平滑性を制御するための第2の制御点パラメータ、変形領域の境界領域の変形平滑性を制御するための第3の制御点パラメータのうちのいずれか1つ又は複数を含み、前記変形効果の引伸方向は、前記変形領域の中心点から外へ引伸する方向、及び/又は、前記変形領域の中心点から内へ引伸する方向を含む、操作と、
    少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する操作と、
    前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成する操作
    を含む方法。
  2. 少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する前記操作の前に、前記少なくとも1つの変形領域を追加する操作を更に含む請求項1に記載の方法。
  3. 前記変形領域が複数である場合、少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得する前記操作は、複数の変形領域の変形効果パラメータのパラメータ値を一括取得する操作、及び/又は、複数の変形領域のうちの少なくとも一部の前記変形領域の変形効果パラメータのパラメータ値をそれぞれ取得する操作、及び/又は、1つの変形領域をコピーして、他の1つの変形領域と前記他の1つの変形領域の変形効果パラメータのパラメータ値とを取得する操作を含む請求項1又は2に記載の方法。
  4. 操作欄の対話インターフェイスで入力された変形領域追加コマンドを受け取り、少なくとも1つの前記変形領域を追加し、前記変形領域の変形効果パラメータ設定画面を生成し、前記操作欄に前記変形領域の変形効果パラメータ設定画面を表示する操作を更に含み、
    変形領域の変形効果パラメータのパラメータ値を取得する前記操作は、前記変形効果パラメータ設定画面で前記変形領域の変形効果パラメータのパラメータ値を取得する操作を含む請求項13のいずれか一項に記載の方法。
  5. 変形領域の変形効果パラメータのパラメータ値を取得する前記操作は、参照画像上で変形領域を移動することで、前記変形領域の位置パラメータを取得する操作、及び/又は、前記変形領域の大きさを調整することで、前記変形領域の範囲を取得する操作、及び/又は、変形効果を制御するための変形曲線を調整することで、前記変形領域の変形効果パラメータのパラメータ値を取得する操作、及び/又は、変形効果制御パラメータのパラメータ値を受け取ることで、前記変形領域の変形効果パラメータのパラメータ値を取得する操作を含む請求項14のいずれか一項に記載の方法。
  6. 変形領域の変形効果パラメータのパラメータ値を取得する前記操作は、前記変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られたことに応じて、設定されたパラメータ値を前記変形領域の変形効果パラメータのパラメータ値とする操作、及び/又は、前記変形領域の変形効果パラメータ設定画面内の対話インターフェイスから送られた変形効果パラメータのパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記変形領域の変形効果パラメータのパラメータ値とする操作を含む請求項4又は請求項5に記載の方法。
  7. 操作欄の対話インターフェイスで入力された変形領域削除コマンドを受け取り、前記変形領域及び前記変形領域の変形効果パラメータのパラメータ値を削除する操作を更に含む請求項46のいずれか一項に記載の方法。
  8. 前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントのうちのいずれか1種又は複数種を含む請求項17のいずれか一項に記載の方法。
  9. 前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する前記操作に、前記変形領域の位置参照点と前記少なくとも1つのキーポイントとの間の対応関係を確立する操作、及び/又は、前記変形領域の位置参照点と検出ボックスの中心キーポイントとの間の対応関係を確立する操作を含む請求項18のいずれか一項に記載の方法。
  10. 前記変形効果パラメータは、
    変形領域の変形効果を表示するか否かを制御するための表示パラメータ、
    変形領域の変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータ、
    変形効果のリピート再生回数を表すためのリピートパラメータ、
    変形領域の変形効果を遅延表示する時間を表すための遅延トリガパラメータ、
    変形領域の変形効果の表示を終了する動作を表すためのトリガ終了パラメータ
    変形領域のサイズ変化の参照基準を表すための表示サイズパラメータ、
    変形領域と事前設定キーポイントとの間の位置結び付け関係を表すための位置パラメータ、
    変形領域の回転が従う中心点を表すための回転中心パラメータ、
    変形領域の中心点を表すための変形中心パラメータ、
    変形領域の中心点ずらしモードを切り替えるためのモード切り替えパラメータ、
    変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧効果パラメー
    うちのいずれか1つ又は複数を含み、
    前記変形領域の中心点ずらしモードは、中心点簡便引伸モード及び/又は径方向ずらし引伸モードを含み、
    前記トリガ動作パラメータのパラメータ値に対応するトリガ動作は、無動作トリガ、眼部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作のうちのいずれか1つ又は複数を含む請求項19のいずれか一項に記載の方法。
  11. 前記位置パラメータ内の事前設定キーポイントは、所定キーポイントのうち、前記変形領域の境界に位置し且つ連結線が前記変形領域の中心点を通過する2つのキーポイントを含み、
    前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立する操作は、前記変形領域と前記変形領域の境界に位置し且つ連結線が前記変形領域の中心点を通過する前記2つのキーポイントとの間の対応関係を確立する操作を含む請求項10に記載の方法。
  12. 前記方法は、コンテンツ表示欄によって、少なくとも1つの参照部位を含む参照画像を表示する操作を更に含み、
    前記方法は、操作欄の対話インターフェイスで入力された参照点表示コマンドを受け取り、前記参照画像上のキーポイントを表示する操作、及び/又は、操作欄の対話インターフェイスで入力された参照点非表示コマンドを受け取り、前記参照画像上のキーポイントを表示しない操作を更に含み、
    前記参照画像は、参照人物の少なくとも一部の画像を含み、
    前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像のうちのいずれか1つ又は複数を含む請求項1~11のいずれか一項に記載の方法。
  13. 前記方法は、前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記コンテンツ表示欄に前記変形領域の変形効果を表示する操作を更に含み、
    前記方法は、前記コンテンツ表示欄で受け取られた、前記変形領域に対する位置移動操作により、前記コンテンツ表示欄における前記変形領域の表示位置を更新し、且つ前記変形領域の変形効果パラメータ内の対応するパラメータ値を更新する操作を更に含む請求項12に記載の方法。
  14. 前記コンテンツ表示欄で受け取られた、前記変形領域に対するサイズ調整操作により、前記コンテンツ表示欄における前記変形領域の表示サイズを更新し、且つ前記変形領域の変形効果パラメータ内の対応するパラメータ値を更新する操作を更に含む請求項12又は13に記載の方法。
  15. 前記操作欄の対話インターフェイスで受け取られた2つ又は2つ以上の変形領域に対する画像レイヤーパラメータ調整コマンドに基づいて、前記2つ又は2つ以上の変形領域の間の遮蔽関係を調整し、調整された遮蔽関係及び前記2つ又は2つ以上の変形領域に対応する変形パラメータのパラメータ値に基づいて、前記2つ又は2つ以上の変形領域に対応する変形効果を表示する操作を更に含む請求項12~14のいずれか一項に記載の方法。
  16. 変形特殊効果プログラムファイルパッケージを生成する前記操作の前に、予め設定された変形特殊効果プログラムファイル及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記変形領域の特殊効果プログラムファイルを生成し、プログラムファイル欄によって、前記変形領域の特殊効果プログラムファイルを表示する操作を更に含む請求項1~15のいずれか一項に記載の方法。
  17. 受け取られた起動コマンドにより起動し、操作欄、コンテンツ表示欄及び/又はプログラムファイル欄を含む操作画面を表示する操作を更に含み、
    前記操作画面は、左側、中部及び右側という3つの領域を含み、
    操作画面を表示する前記操作は、前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示する操作を含む請求項1~16のいずれか一項に記載の方法。
  18. 変形特殊効果プログラムファイルパッケージを生成する前記操作の後に、受け取られた保存コマンドにより、前記保存コマンドの指示した位置に前記変形特殊効果プログラムファイルパッケージを保存する操作を更に含む請求項1~17のいずれか一項に記載の方法。
  19. 受け取られた保存コマンドにより、前記保存コマンドの指示した位置に前記変形特殊効果プログラムファイルパッケージを保存する前記操作は、
    保存コマンドが受け取られたことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示する操作と、
    前記保存パス選択インターフェイスから送られた保存位置を受け取る操作と、前記圧縮インターフェイスにより送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記変形特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成する操作と、
    前記圧縮ファイルパッケージを前記保存位置の指示したフォルダーに記憶する操作
    を含む請求項18に記載の方法。
  20. 変形特殊効果を生成する方法であって、
    変形領域の変形効果パラメータのパラメータ値を取得する操作であって、前記変形効果パラメータは、前記変形領域の変形効果を制御するための変形効果制御パラメータを含み、前記変形効果制御パラメータは、変形曲線のパラメータを含み、前記変形曲線のパラメータは、変形効果の引伸方向及び引伸半径を制御するための第1の制御点パラメータ、変形領域の中間領域の変形平滑性を制御するための第2の制御点パラメータ、変形領域の境界領域の変形平滑性を制御するための第3の制御点パラメータのうちのいずれか1つ又は複数を含み、前記変形効果の引伸方向は、前記変形領域の中心点から外へ引伸する方向、及び/又は、前記変形領域の中心点から内へ引伸する方向を含む、操作と、
    被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成する操作
    を含む方法。
  21. 変形領域の変形効果パラメータのパラメータ値を取得する前記操作の前に、変形特殊効果プログラムファイルパッケージをインポートする操作を更に含み、
    変形領域の変形効果パラメータのパラメータ値を取得する前記操作は、前記変形特殊効果プログラムファイルパッケージ内の変形領域の変形効果パラメータのパラメータ値を取得する操作を含む請求項20に記載の方法。
  22. 前記変形特殊効果プログラムファイルパッケージは、請求項1~19のいずれか一項に記載の方法を用いて生成したものである請求項20又は21に記載の方法。
  23. 前記被処理画像内のキーポイントを検出する操作を更に含み、
    前記変形領域の変形効果パラメータのパラメータ値は、前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を含む請求項2022のいずれか一項に記載の方法。
  24. 変形特殊効果プログラムファイルパッケージをインポートする前記操作は、変形領域を読み取るための第1のインターフェイス関数を呼び出すことによって、前記変形特殊効果プログラムファイルパッケージを内部メモリに読み込む操作と、前記変形特殊効果プログラムファイルパッケージを解析し、前記変形効果パラメータのパラメータ値を含む変形特殊効果プログラムファイルを取得する操作を含む請求項21~23のいずれか一項に記載の方法。
  25. 変形領域の変形効果パラメータのパラメータ値を取得する前記操作は、ステッカーハンドルを作成するための第2のインターフェイス関数によって、ステッカーハンドルを作成する操作と、前記変形特殊効果プログラムファイル内の変形領域の変形効果パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶する操作を含む請求項24に記載の方法。
  26. 前記ステッカーハンドル内の前記変形特殊効果プログラムファイルの変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像における前記変形領域の表示位置を取得する操作を更に含む請求項25に記載の方法。
  27. 前記被処理画像がビデオ内の画像である場合、前記変形領域が前記画像の所在するビデオに表示されるビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応する画像を読み取る操作を更に含む請求項26に記載の方法。
  28. 被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成する前記操作は、
    変形領域をレンダリングするための第3のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから、前記被処理画像上に表示しようとする変形領域を読み取る操作と、
    前記被処理画像内のキーポイント及び前記の表示しようとする変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像における前記変形領域の表示位置を決定する操作と、
    前記被処理画像における前記変形領域の表示位置に基づいて、前記変形領域を前記被処理画像上の前記表示位置に表示する操作
    を含む請求項25~27のいずれか一項に記載の方法。
  29. 前記被処理画像内のキーポイントを検出する前記操作は、ニューラルネットワークによって、前記被処理画像に対して前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する操作を含み、
    前記キーポイント検出結果は、前記対応関係に関わるキーポイントの前記被処理画像における位置、前記対応関係に関わるキーポイントの事前設定番号のうちのいずれか1つ又は複数を含む請求項23~28のいずれか一項に記載の方法。
  30. 前記変形効果パラメータは、変形効果の表示をトリガするトリガ動作を表すためのトリガ動作パラメータを含み、
    前記方法は、前記被処理画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたか否かを検出する操作を更に含み、
    被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成する前記操作は、前記被処理画像に前記トリガ動作パラメータのパラメータ値に対応するトリガ動作が現れたことが検出されたことに応じて、前記被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成する操作を含む請求項29に記載の方法。
  31. 前記変形効果パラメータは、変形効果を表示する時に事前設定部位に表示される美顔/化粧効果を表すための美顔/化粧効果パラメータを含み、
    被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成する時に、前記美顔/化粧効果パラメータに基づいて、前記被処理画像に美顔/化粧効果を表示する操作を更に含む請求項20~30のいずれか一項に記載の方法。
  32. 変形特殊効果プログラムファイルパッケージを生成する装置であって、
    少なくとも1つの変形領域の変形効果パラメータのパラメータ値を取得するための第1の取得モジュールであって、前記変形効果パラメータは、前記変形領域の変形効果を制御するための変形効果制御パラメータを含み、前記変形効果制御パラメータは、変形曲線のパラメータを含み、前記変形曲線のパラメータは、変形効果の引伸方向及び引伸半径を制御するための第1の制御点パラメータ、変形領域の中間領域の変形平滑性を制御するための第2の制御点パラメータ、変形領域の境界領域の変形平滑性を制御するための第3の制御点パラメータのうちのいずれか1つ又は複数を含み、前記変形効果の引伸方向は、前記変形領域の中心点から外へ引伸する方向、及び/又は、前記変形領域の中心点から内へ引伸する方向を含む、第1の取得モジュールと、
    少なくとも1つの前記変形領域と所定の少なくとも1つのキーポイントとの間の対応関係を確立するための確立モジュールと、
    前記パラメータ値が取得された少なくとも1つの前記変形領域及び前記対応関係に基づいて、変形特殊効果プログラムファイルパッケージを生成するための第1の生成モジュール
    を含む装置。
  33. 変形特殊効果を生成する装置であって、
    変形領域の変形効果パラメータのパラメータ値を取得するための第2の取得モジュールであって、前記変形効果パラメータは、前記変形領域の変形効果を制御するための変形効果制御パラメータを含み、前記変形効果制御パラメータは、変形曲線のパラメータを含み、前記変形曲線のパラメータは、変形効果の引伸方向及び引伸半径を制御するための第1の制御点パラメータ、変形領域の中間領域の変形平滑性を制御するための第2の制御点パラメータ、変形領域の境界領域の変形平滑性を制御するための第3の制御点パラメータのうちのいずれか1つ又は複数を含み、前記変形効果の引伸方向は、前記変形領域の中心点から外へ引伸する方向、及び/又は、前記変形領域の中心点から内へ引伸する方向を含む、第2の取得モジュールと、
    被処理画像内のキーポイント及び前記変形領域の変形効果パラメータのパラメータ値に基づいて、前記被処理画像上で変形効果の特殊効果を生成するための第2の生成モジュール
    を含む装置。
  34. 電子機器であって、
    コンピュータプログラムを記憶するためのメモリと、
    前記メモリに記憶されたコンピュータプログラムを実行するプロセッサと
    を含み、
    前記コンピュータプログラムは、前記プロセッサによって実行されると請求項1~31のいずれか一項に記載の方法を実現する電子機器。
  35. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されると請求項1~31のいずれか一項に記載の方法を実現するコンピュータ読み取り可能な記憶媒体。
JP2020536147A 2018-02-07 2019-02-01 変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置 Active JP7066855B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810123074.2A CN108280883B (zh) 2018-02-07 2018-02-07 变形特效程序文件包的生成及变形特效生成方法与装置
CN201810123074.2 2018-02-07
PCT/CN2019/074498 WO2019154337A1 (zh) 2018-02-07 2019-02-01 变形特效程序文件包的生成及变形特效生成方法与装置

Publications (2)

Publication Number Publication Date
JP2021508882A JP2021508882A (ja) 2021-03-11
JP7066855B2 true JP7066855B2 (ja) 2022-05-13

Family

ID=62807901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020536147A Active JP7066855B2 (ja) 2018-02-07 2019-02-01 変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置

Country Status (6)

Country Link
US (1) US11270408B2 (ja)
JP (1) JP7066855B2 (ja)
KR (1) KR102386640B1 (ja)
CN (1) CN108280883B (ja)
SG (1) SG11202006343RA (ja)
WO (1) WO2019154337A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280883B (zh) * 2018-02-07 2021-05-04 北京市商汤科技开发有限公司 变形特效程序文件包的生成及变形特效生成方法与装置
CN109087239B (zh) * 2018-07-25 2023-03-21 腾讯科技(深圳)有限公司 一种人脸图像处理方法、装置及存储介质
CN109064387A (zh) * 2018-07-27 2018-12-21 北京微播视界科技有限公司 图像特效生成方法、装置和电子设备
CN109146770A (zh) * 2018-07-27 2019-01-04 北京微播视界科技有限公司 一种形变图像生成方法、装置、电子设备及计算机可读存储介质
CN109064388A (zh) * 2018-07-27 2018-12-21 北京微播视界科技有限公司 人脸图像效果生成方法、装置和电子设备
CN110880156A (zh) * 2018-09-05 2020-03-13 武汉斗鱼网络科技有限公司 一种长腿特效实现方法、存储介质、设备及系统
CN111105345B (zh) * 2018-10-26 2021-11-09 北京微播视界科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109688324A (zh) * 2018-12-04 2019-04-26 深圳市子瑜杰恩科技有限公司 短视频道具切换方法及相关产品
CN110070496B (zh) * 2019-02-28 2020-07-31 北京字节跳动网络技术有限公司 图像特效的生成方法、装置和硬件装置
CN110035271B (zh) * 2019-03-21 2020-06-02 北京字节跳动网络技术有限公司 保真图像生成方法、装置及电子设备
CN113434223A (zh) 2020-03-23 2021-09-24 北京字节跳动网络技术有限公司 特效处理方法及装置
CN113709549A (zh) * 2021-08-24 2021-11-26 北京市商汤科技开发有限公司 特效数据包生成、图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263641A (ja) 2002-03-11 2003-09-19 Mitsubishi Heavy Ind Ltd 移動分析装置
JP2011053942A (ja) 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2016057775A (ja) 2014-09-08 2016-04-21 オムロン株式会社 似顔絵生成装置、似顔絵生成方法
CN105975935A (zh) 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
WO2017073001A1 (ja) 2015-10-26 2017-05-04 パナソニックIpマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
JP2017220039A (ja) 2016-06-08 2017-12-14 大日本印刷株式会社 プログラム生成装置及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3377307B2 (ja) * 1994-07-29 2003-02-17 ブラザー工業株式会社 モンタージュ作成装置
US5990901A (en) * 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
JPH11306372A (ja) * 1998-04-17 1999-11-05 Sharp Corp 画像加工装置、画像加工方法およびその方法を記憶した記憶媒体
JP2001268594A (ja) * 2000-03-15 2001-09-28 Infiniteface.Com Inc 三次元ビューティーシミュレーション用クライアントサーバシステム
JP2003116053A (ja) * 2001-10-05 2003-04-18 Hitachi Ltd 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
FR2907569B1 (fr) * 2006-10-24 2009-05-29 Jean Marc Robin Procede et dispositif de simulation virtuelle d'une sequence d'images video.
CN102055912B (zh) * 2009-10-29 2014-10-29 北京中星微电子有限公司 一种视频应用系统、视频特效处理系统和方法
EP2638526B1 (en) * 2010-11-12 2020-04-29 Provenance Asset Group LLC Method and apparatus for selecting content segments
US9007473B1 (en) * 2011-03-30 2015-04-14 Rawles Llc Architecture for augmented reality environment
CN102567031A (zh) * 2012-03-01 2012-07-11 盛乐信息技术(上海)有限公司 视频特效扩充方法及系统
US9019310B2 (en) * 2012-03-02 2015-04-28 Adobe Systems Incorporated Methods and apparatus for applying complex continuous gradients to images
WO2014028009A1 (en) * 2012-08-15 2014-02-20 Empire Technology Development Llc Digital media privacy protection
CN103810739B (zh) * 2014-02-20 2017-01-04 南京师范大学 一种图像文字变形动画的生成方法
CN105451090B (zh) * 2014-08-26 2019-03-29 联想(北京)有限公司 图像处理方法和图像处理装置
CN105868769A (zh) * 2015-01-23 2016-08-17 阿里巴巴集团控股有限公司 图像中的人脸关键点定位方法及装置
US9838641B1 (en) * 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
CN106302124A (zh) * 2016-08-18 2017-01-04 北京奇虎科技有限公司 一种添加特效的方法及电子设备
WO2018033137A1 (zh) 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107343211B (zh) * 2016-08-19 2019-04-09 北京市商汤科技开发有限公司 视频图像处理方法、装置和终端设备
EP3321846A1 (en) * 2016-11-15 2018-05-16 Mastercard International Incorporated Systems and methods for secure biometric sample raw data storage
CN108280883B (zh) * 2018-02-07 2021-05-04 北京市商汤科技开发有限公司 变形特效程序文件包的生成及变形特效生成方法与装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263641A (ja) 2002-03-11 2003-09-19 Mitsubishi Heavy Ind Ltd 移動分析装置
JP2011053942A (ja) 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2016057775A (ja) 2014-09-08 2016-04-21 オムロン株式会社 似顔絵生成装置、似顔絵生成方法
WO2017073001A1 (ja) 2015-10-26 2017-05-04 パナソニックIpマネジメント株式会社 メイクパーツ生成装置およびメイクパーツ生成方法
CN105975935A (zh) 2016-05-04 2016-09-28 腾讯科技(深圳)有限公司 一种人脸图像处理方法和装置
JP2017220039A (ja) 2016-06-08 2017-12-14 大日本印刷株式会社 プログラム生成装置及びプログラム

Also Published As

Publication number Publication date
US20200327641A1 (en) 2020-10-15
JP2021508882A (ja) 2021-03-11
KR20200094769A (ko) 2020-08-07
CN108280883B (zh) 2021-05-04
US11270408B2 (en) 2022-03-08
SG11202006343RA (en) 2020-07-29
KR102386640B1 (ko) 2022-04-14
WO2019154337A1 (zh) 2019-08-15
CN108280883A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
JP7066855B2 (ja) 変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置
JP7015921B2 (ja) 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器
JP7167165B2 (ja) 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器
US11625878B2 (en) Method, apparatus, and system generating 3D avatar from 2D image
JP7033372B2 (ja) 輪郭描画特殊効果プログラムファイルパッケージの生成方法及び装置、並びに輪郭描画特殊効果生成方法及び装置
CN108711180B (zh) 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
JP5442966B2 (ja) ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体
CN109035373A (zh) 三维特效程序文件包的生成及三维特效生成方法与装置
JP5920858B1 (ja) プログラム、情報処理装置、深度定義方法及び記録媒体
JP2723070B2 (ja) 人物像表示によるユーザインタフェース装置
KR20020015229A (ko) 캐리커쳐의 표정변형을 위한 방법 및 장치
CN115272631A (zh) 一种虚拟面部模型处理方法及相关设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220427

R150 Certificate of patent or registration of utility model

Ref document number: 7066855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150