JP7286684B2 - 顔に基づく特殊効果発生方法、装置および電子機器 - Google Patents

顔に基づく特殊効果発生方法、装置および電子機器 Download PDF

Info

Publication number
JP7286684B2
JP7286684B2 JP2020571798A JP2020571798A JP7286684B2 JP 7286684 B2 JP7286684 B2 JP 7286684B2 JP 2020571798 A JP2020571798 A JP 2020571798A JP 2020571798 A JP2020571798 A JP 2020571798A JP 7286684 B2 JP7286684 B2 JP 7286684B2
Authority
JP
Japan
Prior art keywords
special effect
face
facial image
special
special effects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020571798A
Other languages
English (en)
Other versions
JP2021530031A (ja
Inventor
林▲しん▼
王晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Microlive Vision Technology Co Ltd
Original Assignee
Beijing Microlive Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Microlive Vision Technology Co Ltd filed Critical Beijing Microlive Vision Technology Co Ltd
Publication of JP2021530031A publication Critical patent/JP2021530031A/ja
Application granted granted Critical
Publication of JP7286684B2 publication Critical patent/JP7286684B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

（関連出願の相互参照）
本開示は、２０１８年７月２７日に提出された、名称「顔に基づく特殊効果発生方法、装置および電子機器」、出願番号２０１８１０８３８４３２．８の中国特許出願を引用し、その全体が参照によって本願に組み込まれる。
本開示は画像技術の分野に関し、特に顔に基づく特殊効果発生方法、装置、ハードウェア装置およびコンピュータ可読記憶媒体に関する。
コンピュータ技術の発展に伴い、スマート端末の応用範囲は大きく広がり、例えばスマート端末で音楽を聞いたり、ゲームしたり、ネットチャットしたり、撮影したりすることなどができるようになっている。スマート端末による撮影技術では、その撮影画素数が千万画素以上となり、解像度が高く、撮影効果が本格的なカメラとほぼ同程度である。
現在、スマート端末で写真撮影やビデオ撮影を行うとき、出荷時に初期インストールされた撮影ソフトウェアで従来の撮影機能やビデオ効果を実現できるほか、ネットワーク側からアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ，ＡＰＰと略される）をダウンロードして、付加的機能を有する撮影効果やビデオ効果を実現することもできる。
現在の特殊効果作成ＡＰＰは全て、いくつかの特殊効果が予め入っており、柔軟に編集できず、また、前記特殊効果が画像の固定位置にのみ留まる。
本開示の一態様によれば、本開示は、標準顔画像を表示するステップと、受信された基準点選択コマンドに応答して、標準顔画像において基準点を選択するステップと、受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成するステップと、前記特殊効果のパラメータを発生するステップと、画像センサによって認識された第１の顔画像を取得するステップと、前記基準点および前記特殊効果のパラメータに基づいて、第１の顔画像に前記特殊効果を発生させるステップとを含む、顔に基づく特殊効果発生方法を提供する。
さらに、前記標準顔は複数の領域を含み、前記基準点は前記複数の領域に位置し、前記特殊効果は、前記基準点が所在する領域内に位置する。
さらに、前記特殊効果は複数あり、各特殊効果は異なる基準点に対応し、異なる領域内に位置する。
さらに、前記特殊効果のパラメータを発生する前に、さらに受信されたトリガ条件設定コマンドに応答して、特殊効果のトリガ条件を設定するステップを含む。
さらに、前記特殊効果のパラメータを発生する前に、さらに受信された再生設定コマンドに応答して、特殊効果の再生順番および／または再生時間を設定するステップを含む。
さらに、前記再生順番は、前記特殊効果の開始や停止を制御するためのメッセージに基づいて設定される。
さらに、前記特殊効果のパラメータは具体的に、前記特殊効果の位置および前記特殊効果のサイズを含む。
さらに、前記特殊効果の位置および前記特殊効果のサイズは、前記基準点の位置および前記基準点間の距離によって特定される。
さらに、受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成する前記ステップは、受信されたリソースパッケージ選択コマンドに応答して、リソースパッケージを選択するステップと、前記リソースパッケージを解析し、設定インタフェースを表示するステップと、受信された設定コマンドに応答して、前記リソースパッケージ内のリソースを設定するステップと、設定済みのリソースに基づいて前記特殊効果を形成し、前記特殊効果を標準顔画像に表示するステップとを含む。
さらに、前記リソースパッケージ内のリソースを設定する前記ステップは、リソースのサイズ、位置および回転中心を設定するステップを含む。
本開示の別の態様によれば、本開示は、標準顔画像を表示するための表示モジュールと、受信された基準点選択コマンドに応答して、標準顔画像において基準点を選択するための基準点選択モジュールと、受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成するための特殊効果作成モジュールと、前記特殊効果のパラメータを発生するための特殊効果パラメータ発生モジュールと、画像センサによって認識された第１の顔画像を取得するための顔画像取得モジュールと、前記基準点および前記特殊効果のパラメータに基づいて、第１の顔画像に前記特殊効果を発生させるための特殊効果発生モジュールとを含む、顔に基づく特殊効果発生装置を提供する。
さらに、前記標準顔は複数の領域を含み、前記基準点は前記複数の領域に位置し、前記特殊効果は、前記基準点が所在する領域内に位置する。
さらに、前記特殊効果は複数あり、各特殊効果は異なる基準点に対応し、異なる領域内に位置する。
さらに、前記顔に基づく特殊効果発生装置は、前記特殊効果のパラメータを発生する前に、受信されたトリガ条件設定コマンドに応答して、特殊効果のトリガ条件を設定する前記ステップに用いられる、トリガ条件設定モジュールをさらに含む。
さらに、前記顔に基づく特殊効果発生装置は、前記特殊効果のパラメータを発生する前に、受信された再生設定コマンドに応答して、特殊効果の再生順番および／または再生時間を設定するための再生設定モジュールをさらに含む。
さらに、前記再生順番は、前記特殊効果の開始や停止を制御するためのメッセージに基づいて設定される。
さらに、前記特殊効果のパラメータは具体的に、前記特殊効果の位置および前記特殊効果のサイズを含む。
さらに、前記特殊効果の位置および前記特殊効果のサイズは、前記基準点の位置および前記基準点間の距離によって特定される。
さらに、前記特殊効果作成モジュールは、受信されたリソースパッケージ選択コマンドに応答して、リソースパッケージを選択するための選択モジュールと、前記リソースパッケージを解析し、設定インタフェースを表示するための解析表示モジュールと、受信された設定コマンドに応答して、前記リソースパッケージ内のリソースを設定するためのリソース設定モジュールと、設定済みのリソースに基づいて前記特殊効果を形成し、前記特殊効果を標準顔画像に表示するための第１の表示モジュールとを含む。
さらに、前記リソースパッケージ内のリソースを設定する前記ステップは、リソースのサイズ、位置および回転中心を設定するステップを含む。
本開示のさらなる態様によれば、本開示は、非一時的コンピュータ可読命令を記憶するためのメモリと、実行されると上記いずれかの方法に記載のステップが実現される前記コンピュータ可読命令を実行するためのプロセッサとを含む、電子機器を提供する。
本開示のさらなる態様によれば、本開示は、コンピュータに実行されると上記いずれかの方法に記載のステップを前記コンピュータに実行させる非一時的コンピュータ可読命令を記憶するためのコンピュータ可読記憶媒体を提供する。
本開示の実施例は、顔に基づく特殊効果発生方法、装置、電子機器およびコンピュータ可読記憶媒体を提供する。その中で、該顔に基づく特殊効果発生方法は、標準顔画像を表示するステップと、受信された基準点選択コマンドに応答して、標準顔画像において基準点を選択するステップと、受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成するステップと、前記特殊効果のパラメータを発生するステップと、画像センサによって認識された第１の顔画像を取得するステップと、前記基準点および前記特殊効果のパラメータに基づいて、第１の顔画像に前記特殊効果を発生させるステップとを含む。本開示の実施例では、特殊効果作成動作によって、ユーザは特殊効果を設定および編集しやすく、また、基準点として顔特徴点が選択され、且つ特殊効果と基準点との間の相対関係が記録されているため、特殊効果編集の困難度および編集時間が大幅に低減され、そして特殊効果は常時顔の変化に追従して対応的に変化し、ユーザ体験が向上する。
上記説明は本開示の技術的解決手段の概要に過ぎず、本開示の技術手段をより明確に理解して、明細書の内容に基づいて実施することができるよう、並びに本発明の上記内容と他の目的、特徴および利点をより分かりやすくするように、以下、好ましい実施例を挙げ、図面と合わせて詳細に説明する。
本開示の一実施例に係る顔に基づく特殊効果発生方法のフローチャートである。 図１の実施例に係る特殊効果のパラメータを発生するという実施形態を示す図である。 本開示の他の実施例に係る顔に基づく特殊効果発生方法のフローチャートである。 本開示の他の実施例に係る顔に基づく特殊効果発生方法のフローチャートである。 本開示の一実施例に係る顔に基づく特殊効果発生装置の構成図である。 本開示の図５ａの実施例に係る顔に基づく特殊効果発生装置における特殊効果作成モジュールの構成図である。 本開示の他の実施例に係る顔に基づく特殊効果発生装置の構成図である。 本開示の他の実施例に係る顔に基づく特殊効果発生装置の構成図である。 本開示の一実施例に係る電子機器の構成図である。 本開示の一実施例に係るコンピュータ可読記憶媒体の構成図である。 本開示の一実施例に係る顔に基づく特殊効果発生端末の構成図である。
以下、特定の具体的実例を用いて本開示の実施形態を説明するが、当業者であれば、本明細書に開示された内容から、本開示の他の利点および効果を容易に理解できる。無論、記載される実施例は本開示の一部の実施例に過ぎず、全ての実施例ではない。本開示は、別の異なる具体的実施形態で実施または応用してもよく、本明細書の各詳細事項についても、別の異なる観点および応用に基づき、本開示の精神から逸脱しない範囲で各種の補足または変更を加えてもよい。説明すべきは、矛盾しない場合、以下の実施例および実施例にある特徴は、互いに組み合わせることができるということである。当業者が本開示の実施例に基づいて、創造的労力を要することなく実現した全ての他の実施例は、本開示の保護範囲に含まれる。
説明すべきは、以下、添付の特許請求の範囲内に入る実施例の様々な態様について記述するということである。本明細書に記載される態様は多くの異なる形態で具現化され得、本明細書に記載される任意の特定の構造および／または機能は説明的なものに過ぎないことが明らかである。本開示に基づき、本明細書に記載される一つの態様は、その他任意の態様とは独立して実施してもよく、二つ以上の態様を様々な形で組み合わせてもよいことが、当業者には理解されるであろう。例えば、本明細書において記載される任意の数の態様を使用して、装置が実装され得るおよび／または方法が実施され得る。また、本明細書に記載される態様の一つもしくは複数に加えて、それ以外の他の構造および／または機能性を用いて該装置が実装され得るおよび／または該方法が実施され得る。
なお、以下の実施例に提供される図面は本開示の基本構想を概略的に示すものに過ぎず、図示では、本開示に関係するコンポーネントのみを示し、実際の実施時のコンポーネントの数、形状およびサイズで描かれておらず、実際の実施時、各コンポーネントの形態、数および比率は任意に変更可能であり、そのコンポーネントの構造もより複雑になり得るということを説明する必要がある。
また、以下の記載では、実例を十分に理解できるように具体的な詳細が提供される。しかしながら、前記態様は、これらの具体的詳細なしに実施され得ることが、当業者に理解される。
どのようにユーザ体験を高めるかという技術的課題を解決するために、本開示の実施例は、顔に基づく特殊効果発生方法を提供する。図１に示すように、該顔に基づく特殊効果発生方法は主に以下のステップＳ１～ステップＳ６を含む。
ステップＳ１では、標準顔画像を表示する。
表示装置に標準顔画像を表示し、前記標準顔画像は予め設定された顔画像であり、通常、該標準顔画像は正面顔画像であり、且つ予め設定された特徴点を備え、ここで、特徴点の数は設定でき、ユーザは必要な特徴点の数を自由に設定できる。画像の特徴点とは、独特の特性を有し、画像の本質的特徴を有効に反映でき、且つ画像内の対象物を特定し得る画像内の点を指す。対象物が顔である場合、顔のキーポイントを取得する必要があり、対象画像がハウスである場合、ハウスのキーポイントを取得する必要がある。顔を例にしてキーポイントの取得方法を説明する。顔輪郭は主として眉、目、鼻、口および頬の５つの部分を含み、さらに瞳孔および鼻孔を含む場合もあり、一般に、顔輪郭の十分な記述に必要なキーポイントの数は約６０個である。基本構造だけを記述し、各部位の詳細を詳しく記述するまたは頬を記述する必要がない場合、キーポイントの数をその分減少することができ、一方、瞳孔、鼻孔またはより詳細な顔特徴を記述する必要がある場合、キーポイントの数を増加することができる。画像における顔キーポイントの抽出は、各顔輪郭キーポイントの顔画像における対応する位置座標の特定、即ちキーポイントのローカリゼーションに相当する。この手順は、キーポイントに対応する特徴に基づいて行われ、キーポイントを明確に特定できる画像特徴を取得した後、この特徴に基づいて画像において検索して対比し、画像上にキーポイントの位置を正確に位置決めする。特徴点の画像に占める面積が非常に小さいため（通常、数画素～数十画素だけである）、特徴点に対応する特徴の画像に占める領域も通常非常に限られた局所域となり、現在使用されている特徴抽出の方法は以下の二種類ある。（１）輪郭に垂直な一次元範囲に沿って画像の特徴を抽出する。（２）特徴点の角形領域の二次元範囲に沿って画像の特徴を抽出する。上記二種類の方法は多くの方法、例えばＡＳＭおよびＡＡＭのような方法、統計的エネルギー関数のような方法、回帰分析の方法、深層学習の方法、分類器の方法、バッチ抽出の方法などで実現できる。上記各種の実現方法に使用されるキーポイントの数、正確度および速度はそれぞれ異なっており、異なる応用シーンに適用される。
ステップＳ２では、受信された基準点選択コマンドに応答して、標準顔画像において基準点を選択する。
一実施例では、前記基準点を顔特徴点とし、選択される基準点は一つであっても、複数であってもよい。具体的な実現において、ユーザはマウスまたはキーボートなどの入力機器によって選択コマンドを送信することができ、例えばマウスで表示装置に表示される特徴点をクリックし、またはキーボートで特徴点の番号を入力して対応する特徴点を選択し、選択された特徴点を、前記特殊効果の顔における相対的位置およびサイズ比率を記録するための基準点とする。
ステップＳ３では、受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成する。
一実施例では、前記特殊効果作成動作は特殊効果ステッカーを作成する動作であってもよく、前記特殊効果ステッカーは２Ｄステッカーであってもよく、前記２Ｄステッカーを顔に付けて、特定の効果を示す。顔の場合、前記特殊効果はピクチャのような静的な特殊効果であってもよく、または複数フレームの動画のような動的な特殊効果であってもよい。特殊効果を作成するとき、ユーザから送信されたリソースパッケージ選択コマンドを受信し、前記リソースパッケージには特殊効果の作成に必要な素材、例えばピクチャ、音声、ビデオなどが含まれており、前記選択コマンドに応じて、対応するリソースパッケージを選択し、リソースパッケージに何の素材も入っていない場合には、素材またはリソースパッケージを導入することができる。リソースパッケージを選択した後、リソースパッケージを解析し、設定インタフェースを表示する。例えば、リソースパッケージには一枚のピクチャが含まれ、前記ピクチャがメガネである場合、該メガネはデフォルト位置に表示され、メガネ周囲に設定インタフェースが表示され、前記設定インタフェースには、位置、回転中心、サイズなどが含まれるメガネの属性パラメータを有し、ユーザは上記属性パラメータを設定し、前記設定に基づいてメガネの特殊効果を発生することができ、前記特殊効果は標準顔画像に付く。前記リソースの位置、サイズおよび回転中心は、対応する位置ウィジェット、サイズウィジェットおよび回転中心ウィジェットによって制御できる。さらに、典型的な適用では、ユーザは２Ｄステッカーのズーム枠をドラッグすることで位置を調整したり、２Ｄステッカーズーム枠の角をドラッグすることで２Ｄステッカーのサイズを調整したり、さらにキャンバスズームコマンドによって標準顔画像のズームを行い、２Ｄステッカーサイズ調整の効果を間接的に実現したりすることができる。回転中心は任意の一つの特徴点に設定してもよく、マウスでクリックしまたは設定インタフェースに直接特徴の番号を入力することができ、回転中心が選択された後、前記２Ｄステッカーは回転コマンドに応じて該回転中心回りに回転するようにしてもよい。前記リソースパッケージにはシーケンスフレームが含まれてもよく、ユーザは選択的にフレームごとに設定してもよい。上記設定方法および属性パラメータは例示的なものに過ぎず、本開示を限定するものではなく、実際、設定を要求するまたは設定できるいかなる属性パラメータも本開示の技術的解決手段に使用できる。
ステップＳ４では、前記特殊効果のパラメータを発生する。
一実施例では、前記特殊効果のパラメータは少なくとも特殊効果の位置および特殊効果のサイズを含む。該実施例では、前記特殊効果の位置および特殊効果のサイズは、特殊効果の標準顔画像における相対的位置および相対的サイズであり、該相対的位置および相対的サイズは基準点により表される。図２に示すように、基準点として特徴点Ａ点および特徴点Ｂ点を選択し、前記特殊効果を楕円とし、楕円の中心点をＣ点、その長軸の長さをａとし、短軸の長さをｂとし、Ｃ点から線分ＡＢに垂直に下した垂線の足をＤ点とする。ここでＡ点の座標を（ＸA、ＹA）、Ｂ点の座標を（ＸB、ＹB）、Ｃ点の座標を（ＸC、ＹC）、Ｄ点の座標を（ＸD、ＹD）とすると、４つの線形補間係数
Figure 0007286684000001
、
Figure 0007286684000002
、
Figure 0007286684000003
、
Figure 0007286684000004
が得られ、式中ＡＢ、ＡＤ、ＣＤはそれぞれ線分の長さを表し、ＡＢ＝
Figure 0007286684000005
、
Figure 0007286684000006
、ＣＤ＝
Figure 0007286684000007
となる。標準顔画像において、Α点、Β点、Ｃ点とＤ点の座標、およびａとｂは全て既知の値であるため、上記４つの線形補間係数で基準点ＡとＢに対する中心点Ｃの相対的位置、および基準点ＡとＢに対する楕円の長短軸の相対的長さを記録することができ、式中λ1とλ2は基準点ＡとＢに対する中心点Ｃの相対的位置を記録するために用いられ、λ3は楕円長軸の相対的長さを記録するために用いられ、λ4は楕円短軸の相対的長さを記録するために用いられ、発生する特殊効果パラメータは少なくともこの４つの線形補間係数を含む。上記の例では、特殊効果は楕円状であるため、長短軸の相対的長さをそれぞれ記録する２つの補間係数が必要となるが、実際の応用時に、特殊効果は不規則な形状であり得るため、前記特殊効果が含まれる最小矩形であり得る特殊効果の外枠で特殊効果のサイズを表してもよく、具体的には、特殊効果最外郭の４つの点を結ぶように直線を引き、４つの直線からなる直角長方形は最小矩形となり、矩形の中心を特殊効果の中心点をとするようにしてもよく、こうして、特殊効果がどのような形状であっても、上記４つの線形補間係数で相対的位置および相対的サイズを記述することができる。前記特殊効果係数は、直接特徴点で表される回転中心をさらに含んでもよく、この場合、特徴点の番号を記録するだけで済む。回転中心が特徴点でない場合、上述した中心点記録の方法で回転中心を記録することができ、特には、回転中心と中心点は同一であってもよい。
ステップＳ５では、画像センサによって認識された第１の顔画像を取得する。
該ステップにおいて、カメラによって認識された顔画像を取得し、該顔画像は実際のヒトから認識された顔であってもよく、顔が含まれるピクチャまたはビデオをカメラで撮影することで認識された顔であってもよく、これについて本開示は限定せず、要するに、該顔画像は標準顔画像とは異なる。
顔画像の認識は、主として画像から顔を検出することであり、顔検出は、任意の一つの画像または一組の画像シーケンスにおいて、一定のポリシーを採用して検索し、全ての顔の位置および領域を特定するプロセス、つまり様々な異なる画像または画像シーケンスにおいて顔が存在するか否かを判断し、顔の数および空間的分布を特定するプロセスである。一般に、顔検出の方法は以下の４種類に分類することができる。（１）事前知識に基づく方法であって、該方法は典型的な顔形成ルールベースに基づいて顔を符号化し、顔特徴間の関係に基づいて顔を位置決めする。（２）特徴を一定に保つ方法であって、該方法は姿勢、視点または照明条件が変わった状況において不変の特徴を見つけ、これらの特徴で顔を特定する。（３）テンプレートマッチングの方法であって、該方法は顔全体および顔特徴をそれぞれ記述するためのいくつかの標準顔パターンを記憶し、その後入力画像と記憶されたパターンとの間の相互関係を計算して検出に用いる。（４）外観に基づく方法であって、該方法はテンプレートマッチングの方法とは逆であり、それはトレーニング画像セットで学習してモデルを取得し、これらのモデルを検出に用いる。ここで第（４）の方法の一実現形態で顔検出のプロセスを説明する。まず特徴を抽出してモデル化を完了する必要があり、本実施例では、顔を判断する主要特徴としてＨａａｒ特徴を使用し、Ｈａａｒ特徴は簡単な矩形特徴であり、抽出速度が速く、一般に、Ｈａａｒ特徴の計算に使用される特徴テンプレートは、２個以上の合同の矩形からなる簡単な矩形の組み合わせが用いられ、特徴テンプレート内には黒色および白色の２種類の矩形がある。その後、ＡｄａＢｏｏｓｔアルゴリズムを用いて大量のＨａａｒ特徴から重要な役割を果たす一部の特徴を見つけ、これらの特徴を利用して有効な分類器を構築し、画像内の顔の検出は構築された分類器によって可能となる。本実施例では、画像内の顔一つであっても、複数であってもよい。
各顔検出アルゴリズムはそれぞれの利点があり、適応範囲も異なるため、複数の異なる検出アルゴリズムを適用し、異なる環境下で自動的に異なるアルゴリズムを切り替えるようにしてもよいことが理解される。例えば、背景環境が簡単な画像において、検出率が低いが速度が速いアルゴリズムを使用することができ、背景環境が複雑な画像において、検出率が高いが速度が遅いアルゴリズムを使用することができ、また同じ画像に対しても、複数のアルゴリズムを適用して複数回検出して検出率を高めることができる。
ステップＳ６では、前記基準点および前記特殊効果のパラメータに基づいて、第１の顔画像に前記特殊効果を発生させる。
該ステップにおいて、基準点の番号およびステップＳ４で発生された特殊効果パラメータに基づいて、カメラから認識された顔画像において標準顔画像と同じ特殊効果を発生させる。
標準顔画像における特殊効果から、画像センサにより収集された第１の顔画像の特殊効果へはマッピング関係が必要となるため、マッピング方法によって、特殊効果の形態は固定特殊効果と追跡特殊効果に分類できる。一実施例では固定特殊効果を使用し、このような特殊効果は比較的簡単であり、特殊効果範囲全体の画像センサにおける絶対的位置を設定すればよい。その実施形態として、表示装置と画像センサの画像収集ウィンドウの画素点を一対一に対応させ、特殊効果の表示装置における位置を判断し、その後、画像センサの収集ウィンドウにより収集された画像の対応位置において、対応する特殊効果の処理を行うようにしてもよい。このような特殊効果処理方法は簡単で操作しやすいという利点を有し、該実施形態に使用されるパラメータはいずれも収集ウィンドウの位置に対するものである。別の実施例では、特殊効果画像を生成する時、まず、ステップＳ１における標準顔画像の特徴点を取得し、前記特徴点から前記特殊効果の標準顔画像における位置を特定し、次に、画像センサにより収集された画像から標準顔画像に対応する第１の顔画像を認識し、その後、標準顔画像において特定された位置を第１の顔画像にマッピングさせ、最後に、第１の顔画像に特殊効果処理を行い、特殊効果画像を生成する。該実施例において、特殊効果の第１の顔画像における相対的位置を特定し、第１の顔画像の運動や変化に関わらず、前記特殊効果は常に該相対的位置に位置し、追跡特殊効果の目的が達成される。一典型的な適用において、前記標準顔画像に三角形分割を行い、１０６個の特徴点となり、特殊効果および特徴点の相対的位置に基づいて作用範囲の顔画像における相対的位置を特定し、一方、カメラにより収集された顔画像にも同様に三角形分割を行い、カメラ内の顔が動いたりまたは回動したりする時、前記特殊効果は常に顔上の相対的位置に維持でき、追跡特殊効果の効果が達成される。
例えば、基準点として１９番および２０番の特徴点を使用する場合、第１の顔画像にも同じ特徴点を使用し、第１の顔画像において対応する１９番および２０番の特徴点Ａ’とＢ’を探し、この二つの点の第１の顔画像における座標を取得し、λ1を用いて特殊効果の中心点Ｃ’からＡ’とＢ’の結線に垂直に下した垂線の足Ｄ’を計算し、その後λ2からＣ’の位置を算出し、λ3とλ4を用いて特殊効果のサイズを算出し、第１の顔画像上の特殊効果のズームを行う。こうして基準点および特殊効果のパラメータを用いて、前記特殊効果を第１の顔画像にマッピングさせるステップが完了する。
画像から複数の顔画像が認識された場合、ユーザは特殊効果の作成が必要な一つの顔画像を選択してもよく、複数の顔画像を選択して同じまたは異なる処理を行ってもよいことが理解される。例えば、特殊効果を作成する時、標準顔に例えばＩＤ１とＩＤ２のような番号を付け、ＩＤ１とＩＤ２の標準顔画像にそれぞれ特殊効果を設定するようにしてもよく、前記特殊効果は同一であっても異なっていてもよい。カメラから複数の顔画像が認識された場合、認識の順番に前記複数の顔画像に特殊効果を加え、例えば、先に１番の顔が認識された場合、１番の顔にＩＤ１の標準顔画像上の特殊効果を加え、その後認識された２番の顔にＩＤ２の標準顔画像上の特殊効果を加える。ＩＤ１の標準顔画像の特殊効果のみが作成されている場合、１番および２番の顔画像のいずれにもＩＤ１の標準顔画像上の特殊効果を加えてもよく、１番の顔にのみ特殊効果を加えてもよい。
一実施例では、前記標準顔画像は複数の領域、例えば目領域、鼻領域、口領域、頬領域、眉領域、額領域などに分けられ、各領域にはいずれも最適化された特徴点が含まれ、前記最適化された特徴点とは、データ解析を経て選別されたより代表的な特徴点を指し、これらの特徴点は、位置している領域を表すものであり、例えば、基準点として目領域の特徴点を選択した場合、特殊効果作成の対象領域として目領域を選択したことを意味する。各領域にそれぞれ複数のサブ特殊効果を作成してもよく、各サブ特殊効果はそれぞれ自身の位置している領域に追従し、サブ特殊効果は組み合わせて一つの特殊効果となる。これには、特徴点の数を減らし、基準点とする特徴点を複数の特徴点から選択する必要がなく、ユーザに示す特徴点は全て最適化されており、ユーザは領域を選択するだけで領域内の特徴点を選択することができ、そして一つの大きな特殊効果を複数のサブ特殊効果に分割して作成することができ、作成の困難度が低減されるという利点を有する。
本開示の実施例では、標準顔画像に顔特殊効果を編集し、その後選択された基準点と前記特殊効果の属性との相対関係に基づいて、顔特殊効果を画像センサにより収集された画像にマッピングさせる。従来技術では、特殊効果の作成にはサードパーティツールが必要となり、使用時、柔軟性に欠け、特殊効果をリアルタイムに設定できず、特殊効果は画像ウィンドウの固定位置にのみ留まり、顔が動いたりまたは回転したりする時、特殊効果は顔に追従して相対的に移動または回転することができず、ユーザ体験が低減してしまう。一方本実施例では、特殊効果作成動作により、ユーザは特殊効果を設定および編集しやすく、その他、基準点として顔特徴点が選択され、且つ特殊効果と基準点との間の相対関係が記録されているため、画像センサに収集された第１の顔画像の運動または回転に関わらず、特殊効果は常時基準点の変化に追従して対応的に変化する。従って、従来技術に比べて、特殊効果編集の困難度と編集時間が大幅に低減され、且つ特殊効果は常時顔の変化に追従して対応的に変化し、ユーザ体験が向上する。
代替的な一実施例において、図３に示すように、前記特殊効果のパラメータを発生するステップＳ４の前に、さらに以下のステップを含んでもよい。
ステップＳ３１では、受信されたトリガ条件設定コマンドに応答して、特殊効果のトリガ条件を設定する。
該代替的な実施例では、一定の条件を満たしている場合のみ、特殊効果の表示がトリガされ、前記トリガ条件はユーザの動作、表情、音声または端末のパラメータなどであってもよい。前記動作は顔動作、例えば瞬く動作、口を大きく開ける動作、頭を横に振る動作、うなずく動作、眉をつり上げる動作であってもよく、例えば、特殊効果がメガネの２Ｄステッカーである場合、トリガ条件を速い瞬き二回に設定することができ、ユーザの二回の速い瞬きが検出されると、ユーザの目にメガネの２Ｄステッカーを表示する。前記表情は喜ぶ表情、落胆する表情、怒る表情などであってもよく、例えば特殊効果が涙の２Ｄステッカーである場合、トリガ条件を落胆する表情に設定することができ、ユーザの落胆する表情が検出されると、ユーザの目の下に涙の２Ｄステッカーを表示する。トリガ条件を音声とした場合、ユーザの音声または環境音を検出し、所定の音声が検出されると、対応する特殊効果をトリガするようにしてもよい。トリガ条件を端末パラメータとした場合、端末内の各部品のパラメータ、例えば端末の姿勢、揺れなどを検出し、姿勢または揺れによって対応する特殊効果をトリガするようにしてもよく、ここでは一つ一つ例示しない。該トリガ条件は、本開示の技術的解決手段に適するいかなるトリガ条件であり得、トリガ条件は一つであっても複数であってもよく、ここでは限定しないことが理解される。前記トリガは開始のトリガまたは終了のトリガであり得、開始のトリガはトリガ条件が生じると、対応する特殊効果が発生し、終了のトリガはトリガ条件が生じると、対応する特殊効果が消える。前記トリガ条件はトリガ後の遅延時間、つまりトリガ条件が生じた後、特殊効果がどれほど遅延して発生するかまたはどれほど遅延して消えるかをさらに含んでもよい。
該実施例では、前記特殊効果のパラメータは特殊効果のトリガ条件をさらに含む。
代替的な一実施例において、図４に示すように、前記特殊効果のパラメータを発生するステップＳ４の前に、さらに以下のステップを含んでもよい。
ステップＳ３２では、受信された再生設定コマンドに応答して、特殊効果の再生順番および／または再生時間を設定する。
該代替的な実施例において、複数の特殊効果の再生順番および再生時間を設定してもよい。一実施例では、特殊効果１、特殊効果２および特殊効果３という三つの特殊効果を含み、特殊効果の再生順番を特殊効果１、特殊効果３、特殊効果２のように設定すると、特殊効果はこの順番で順次再生する。再生順番を設定する時、例えば特殊効果１の再生順番を１とし、特殊効果２の再生順番を３とし、特殊効果３の再生順番を２とするように、直接特殊効果の再生順番に番号を設定してもよく、可視化の方法によって時間軸を表示し、直接時間軸において特殊効果のＩＤを設定してもよく、例えば、時間軸を表示し、時間軸の正方向に順次特殊効果１、特殊効果３および特殊効果２を付して、特殊効果の再生順番を設定する。デフォルトでは、特殊効果は順次再生され、つまり再生時間とは無関係で、一つの特殊効果のフレームシーケンスが全て再生完了した場合のみ、次の特殊効果が再生する。該実施例では、さらに特殊効果の再生時間を設定してもよく、前記再生時間は時間の長さであっても、再生の回数であってもよく、例えば特殊効果１を１０秒再生しまたは特殊効果１を１０回再生し、再生の回数とは特殊効果のシーケンスフレームが完全にループ再生する回数を意味する。再生順番と再生回数は単独で使用しても組み合わせて使用してもよく、再生順番を単独で使用する場合、全ての特殊効果は順次１回再生し、再生時間を単独で使用する場合、全ての特殊効果は同時に再生するが、終了時間が再生時間によって異なることがある。再生順番と再生時間を同時に使用する場合、デフォルトでは、再生順番に各特殊効果が再生時間で再生してから次の特殊効果を再生する。より柔軟な設定では、再生順番はメッセージに基づいて設定でき、例えば、まず特殊効果１を再生するように設定し、特殊効果１が第ηフレームまで再生するとき、特殊効果３にメッセージを送信し、特殊効果３の再生を開始し、特殊効果３が第ｍフレームまで再生するとき、特殊効果１の再生を停止して特殊効果２の再生を開始する。このようなメッセージに基づく再生順番の設定を適用すると、特殊効果間の開始／停止関係をより柔軟に設定することができ、特殊効果間の組み合わせおよび繋がりがより多様になる。メッセージに基づく再生順番の設定を適用する場合、再生時間を設定しても設定しなくてもよく、この他、メッセージと再生時間の優先度を設定してもよく、例えば、特殊効果１の再生時間を１０秒として設定したが、特殊効果３からメッセージが送信されて特殊効果１に再生を停止させるとき、特殊効果１が１０秒まで再生されていない場合、設定された優先度に基づいて再生を停止するか否かを判断し、再生時間の優先度がメッセージの優先度より高い場合、特殊効果１は引き続き１０秒まで再生してから停止し、メッセージの優先度が再生時間の優先度より高い場合、特殊効果１は直ちに再生を停止するようにしてもよい。上記設定は全て理解を容易にするための例示であって、実際使用時、再生順番および再生時間は任意に組み合わせて使用でき、優先度も任意に設定できる。再生順番および再生時間は全体的パラメータであってもよく、例えば、複数の顔画像のシーンで、各顔には複数の異なる特殊効果が含まれる場合、これらの特殊効果間の再生順番および再生時間をまとめて設定する。一例では、二つの顔画像が検出され、顔１には特殊効果１と特殊効果２が含まれ、顔２には特殊効果３と特殊効果４が含まれる場合、まず特殊効果１を１０秒再生し、次に特殊効果３を２秒再生し、その後特殊効果２と特殊効果４を５秒再生するように設定してもよく、こうして複数の顔の複数の特殊効果のカルーセル表示が実現され、インタラクション効果が生じる。
該実施例では、前記特殊効果のパラメータは特殊効果の再生順番および再生時間をさらに含む。
上記二つの実施例に記載のトリガ条件の設定、および再生順番、再生時間の設定は組み合わせて使用でき、具体的な設定順番について本開示は限定せず、必要に応じて任意に入れ替えることができ、特殊効果のパラメータを生成する前に行われる動作および設定は全て、最終的には、対応する特殊効果のパラメータとして形成し、画像センサにより認識された顔の特殊効果に用いることができるということが理解される。
以上、上述のような順番で上記方法の実施例の各ステップを説明したが、当業者であれば、本開示の実施例のステップは必ずしも上記順番通り実行するとは限らず、逆の順番で実行し、並行して実行し、交差して実行するなど他の順番で実行してもよいことが理解され、なお、上記ステップを基礎として、当業者はさらに他のステップを加えることができ、これらの明らかな変形または同等な取り替えも本開示の保護範囲内に含まれるべきであり、ここでは説明を省略する。
以下、本開示の装置の実施例を説明し、本開示の装置の実施例は、本開示の方法の実施例により実現されるステップを実行するために使用でき、説明の便宜上、本開示の実施例に関連する部分のみを示し、開示されない技術的詳細については、本開示の方法の実施例を参照する。
本開示の実施例は顔に基づく特殊効果発生装置を提供する。該装置は、上記顔に基づく特殊効果発生方法の実施例に記載のステップを実行できる。図５ａに示すように、該装置は主に、標準顔画像を表示するための表示モジュール５１と、受信された基準点選択コマンドに応答して、標準顔画像において基準点を選択するための基準点選択モジュール５２と、受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成するための特殊効果作成モジュール５３と、前記特殊効果のパラメータを発生するための特殊効果パラメータ発生モジュール５４と、画像センサによって認識された第１の顔画像を取得するための顔画像取得モジュール５５と、前記基準点および前記特殊効果のパラメータに基づいて、第１の顔画像に前記特殊効果を発生させるための特殊効果発生モジュール５６とを含む。
図５ｂに示すように、代替的な一実施例において、前記特殊効果作成モジュール５３はさらに、
受信されたリソースパッケージ選択コマンドに応答して、リソースパッケージを選択するための選択モジュール５３１と、
前記リソースパッケージを解析し、設定インタフェースを表示するための解析表示モジュール５３２と、
受信された設定コマンドに応答して、前記リソースパッケージ内のリソースを設定するためのリソース設定モジュール５３３と、
設定済みのリソースに基づいて前記特殊効果を形成し、前記特殊効果を標準顔画像に表示するための第１の表示モジュール５３４とを含む。
上記顔に基づく特殊効果発生装置は、上記図１の実施例に記載の顔に基づく特殊効果発生方法に対応して一致し、具体的な詳細は、上述した顔に基づく特殊効果発生方法の説明を参照すればよく、ここでは説明を省略する。
本開示の実施例では、標準顔画像に顔特殊効果を編集し、その後選択された基準点と前記特殊効果の属性との相対関係に基づいて、顔特殊効果を画像センサにより収集された画像にマッピングさせる。従来技術では、特殊効果の作成にはサードパーティツールが必要となり、使用時、柔軟性に欠け、特殊効果をリアルタイムに設定できず、特殊効果は画像ウィンドウの固定位置にのみ留まり、顔が動いたりまたは回転したりする時、特殊効果は顔に追従して相対的に移動または回転することができず、ユーザ体験が低減してしまう。一方本実施例では、特殊効果作成動作により、ユーザは特殊効果を設定および編集しやすく、その他、基準点として顔特徴点が選択され、且つ特殊効果と基準点との間の相対関係が記録されているため、画像センサに収集された第１の顔画像の運動または回転に関わらず、特殊効果は常時基準点の変化に追従して対応的に変化する。従って、従来技術に比べて、特殊効果編集の困難度と編集時間が大幅に低減され、且つ特殊効果は常時顔の変化に追従して対応的に変化し、ユーザ体験が向上する。
図６に示すように、代替的な一実施例において、顔に基づく特殊効果発生装置は、受信されたトリガ条件設定コマンドに応答して、前記特殊効果のトリガ条件を設定するためのトリガ条件設定モジュール６１をさらに含む。
上記顔に基づく特殊効果発生装置は、上記図３の実施例に記載の顔に基づく特殊効果発生方法に対応して一致し、具体的な詳細は、上述した顔に基づく特殊効果発生方法の説明を参照すればよく、ここでは説明を省略する。
図７に示すように、代替的な一実施例において、顔に基づく特殊効果発生装置は、受信された再生設定コマンドに応答して、前記特殊効果の再生順番および／または再生時間を設定するための再生設定モジュール７１をさらに含む。
上記顔に基づく特殊効果発生装置は、上記図４の実施例に記載の顔に基づく特殊効果発生方法に対応して一致し、具体的には詳細は、上述した顔に基づく特殊効果発生方法の説明を参照すればよく、ここでは説明を省略する。
顔に基づく特殊効果発生装置の実施例の動作原理、達成される技術的効果など詳細な説明は、前述した顔に基づく特殊効果発生方法の実施例における対応する説明を参照すればよく、ここでは説明を省略する。
図８は本開示の実施例に係る電子機器を示すブロック図である。図８に示すように、本開示の実施例に係る電子機器８０はメモリ８１およびプロセッサ８２を含む。
該メモリ８１は非一時的コンピュータ可読命令を記憶するために用いられる。具体的には、メモリ８１は一つまたは複数のコンピュータタプログラム製品を含んでもよく、該コンピュータタプログラム製品は、例えば揮発性メモリおよび／または不揮発性メモリといった各種形式のコンピュータ可読記憶媒体を含んでもよい。該揮発性メモリは例えばランダムアクセスメモリ（ＲＡＭ）および／またはキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。該不揮発性メモリは例えば読み出し専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。
該プロセッサ８２は中央処理装置（ＣＰＵ）であっても、データ処理能力および／または命令実行能力を有する他の形式の処理部であってもよく、且つ電子機器８０内の他のコンポーネントを制御して所望の機能を実行することもできる。本開示の一実施例では、該プロセッサ８２は、該メモリ８１に記憶されている該コンピュータ可読命令を実行し、前述した本開示の各実施例に記載の顔に基づく特殊効果発生方法の全部または一部のステップを該電子機器８０に実行させるために用いられる。
どのようにすれば良好なユーザ体験が得られるかという技術的課題を解決するために、本実施例には、例えば通信バス、インタフェースなどの公知の構造を含んでもよく、これらの公知の構造も本開示の保護範囲内に含まれるものとすることが、当業者に理解されるだろう。
本実施例の詳細な説明は前述した各実施例の対応する説明を参照すればよく、ここでは説明を省略する。
図９は本開示の実施例に係るコンピュータ可読記憶媒体を示す模式図である。図９に示すように、本開示の実施例に係るコンピュータ可読記憶媒体９０に非一時的コンピュータ可読命令９１が記憶されている。該非一時的コンピュータ可読命令９１がプロセッサに実行されると、前述した本開示の各実施例に記載の顔に基づく特殊効果発生方法の全部または一部のステップを実行する。
上記コンピュータ可読記憶媒体９０は、光記憶媒体（例えばＣＤ－ＲＯＭおよびＤＶＤ）、光磁気記憶媒体（例えばＭＯ）、磁気記憶媒体（例えば磁気テープまたはポータブルハードディスク）、内蔵の書き換え可能な不揮発性メモリを有する媒体（例えばメモリカード）、および内蔵ＲＯＭを有する媒体（例えばＲＯＭカセット）を含むが、これらに限定されない。
本実施例の詳細な説明は前述した各実施例の対応する説明を参照すればよく、ここでは説明を省略する。
図１０は本開示の実施例に係る端末機器のハードウェア構成を示す図である。図１０に示すように、該顔に基づく特殊効果発生端末１００は上記顔に基づく特殊効果発生装置の実施例を含む。
該端末機器は様々な形で実施することができ、本開示における端末機器は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナル・デジタル・アシスタント）、ＰＡＤ（タブレット）、ＰＭＰ（可搬式マルチメディア再生機）、ナビゲーション装置、車載端末機器、車載ディスプレイ端末、車載電子ミラーなどの携帯端末機器、および例えばデジタルＴＶ、デスクトップコンピュータなどの固定端末機器を含み得るが、これらに限定されない。
同等の代替実施形態として、該端末はさらに他のコンポーネントを含んでもよい。図１０に示すように、該画像特殊効果処理端末１００は、電源供給部１０１、無線通信部１０２、Ａ／Ｖ（オーディオ／ビデオ）入力部１０３、ユーザ入力部１０４、感知部１０５、インタフェース部１０６、コントローラ１０７、出力部１０８および記憶部１０９などを含んでもよい。図１０は様々なコンポーネントを有する端末を示しているが、図示されるコンポーネントは全て必要とされるわけではなく、代替的により多くの、またはより少ないコンポーネントを有してもよいことが理解される。
その中で、無線通信部１０２は、端末１００と無線通信システムまたはネットワークとの間の無線通信を可能にする。Ａ／Ｖ入力部１０３は、オーディオまたはビデオ信号を受信するために用いられる。ユーザ入力部１０４は、ユーザから入力されるコマンドに応じてキー入力データを生成して、端末機器の各種の動作を制御することができる。感知部１０５は、端末１００の現在の状態、端末１００の位置、端末１００に対するユーザのタッチ入力の有無、端末１００の向き、端末１００の加速・減速移動、および方向などを検出し、端末１００の動作を制御するためのコマンドまたは信号を生成する。インタフェース部１０６は、少なくとも一つの外部装置と端末１００を接続するためのインタフェースとして用いられる。出力部１０８は、出力信号を視覚的、聴覚的および／または触覚的に提供するように構成される。記憶部１０９は、コントローラ１０７により実行される、プロセスおよび制御動作のソフトウェアプログラムなどを記憶してもよく、既に出力したデータまたは出力しようとするデータを一時的に記憶してもよい。記憶部１０９は、少なくとも一種の記憶媒体を含み得る。また、端末１００は、ネットワーク接続を介して記憶部１０９の記憶機能を実行するネットワーク記憶装置と協働してもよい。コントローラ１０７は、一般的に端末機器の全体的な動作を制御する。この他、コントローラ１０７は、マルチメディアデータを再現または再生するためのマルチメディアモジュールを含んでもよい。コントローラ１０７は、タッチパネル上に行われる手書き入力または描画入力を文字または画像として認識するように、パターン認識処理を行ってもよい。電源供給部１０１は、コントローラ１０７の制御下で外部電力または内部電力を受け取り、各素子およびコンポーネントの動作に必要な適切な電力を提供する。
本開示で提案した顔に基づく特殊効果発生方法の各種の実施形態は、例えばコンピュータソフトウェア、ハードウェアまたはそれらの任意の組み合わせからなるコンピュータ可読媒体を用いて実施することができる。ハードウェア実施の場合、本開示で提案した画像特殊効果処理方法の各種の実施形態は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、および本明細書に記載の機能を実行するように設計された電子部の少なくとも一種によって実施され得、いくつかの場合において、本開示で提案した顔に基づく特殊効果発生方法の各種の実施形態は、コントローラ１０７内で実施され得る。ソフトウェア実施の場合、本開示で提案した顔に基づく特殊効果発生方法の各種の実施形態は、少なくとも一種の機能または動作が実行可能な別個のソフトウェアモジュールと組み合わせて実施してもよい。ソフトウェアコードは、任意の適切なプログラミング言語で書かれたソフトウェアアプリケーション（またはプログラム）により実施され得、ソフトウェアコードは、記憶部１０９に記憶され、コントローラ１０７により実行されることが可能である。
本実施例の詳細な説明は前述した各実施例の対応する説明を参照すればよく、ここでは説明を省略する。
以上、具体的な実施例と合わせて本開示の基本原理を説明したが、指摘すべきことは、本開示に言及する利点、優位性、効果などはあくまで例示に過ぎず、限定するものではなく、これらの利点、優位性、効果などは本開示の各実施例に必須であると考えてはならないことである。また、上述で開示した具体的な詳細は例示のためおよび理解を容易にするためのものに過ぎず、限定するものではなく、上述の詳細は本開示が必ず上述の具体的な詳細を用いて実現しなければならないと限定するものではない。
本開示に言及する器具、装置、機器、システムのブロック図は例示的なものに過ぎず、ブロック図に示す方式に従い接続、配置、構成を行わなければならないと要求または暗示することを意図しない。当業者であれば知っているように、任意の方式でこれらの器具、装置、機器、システムを接続、配置、構成できる。例えば「含む」、「からなる」、「有する」などの語句は開放的な語彙であり、「含むがこれに限らない」ということを意味し、且つ置き換えて使用できる。文脈上明確に示さない限り、本明細書に用いられる「または」、「および」という語彙は「および／または」を意味し、且つ置き換えて使用できる。本明細書に用いられる「例えば」という語彙は、「例えば～だがこれに限らない」という語句を意味し、且つ置き換えて使用できる。
この他、本明細書に使用されるように、「少なくとも一つ」で始まる項目の列挙で使用する「または」は分離した列挙を指示しており、例えば「Ａ、ＢまたはＣの少なくとも一つ」の列挙は、ＡまたはＢまたはＣ、或いはＡＢまたはＡＣまたはＢＣ、或いはＡＢＣ（即ちＡとＢとＣ）を意味している。また、「例示的」という用語は記述された例が最適または他の例よりもよいことを意味していない。
さらに指摘する必要があるのは、本開示のシステムおよび方法において、各部品または各ステップは分割および／または再組み合わせが可能である、ということである。これらの分解および／または再組み合わせるは、本開示の等価方案と見なすべきである。
添附した特許請求の範囲の定義する指導的技術を逸脱しない範囲で、ここで述べている技術の各種変更、代替、更改を行うことができる。また、本開示の特許請求の範囲は以上述べたプロセス、装置、製造、事象の構成、手段、方法および動作の具体的な面に限定しない。ここで説明した相応の面と基本的に同じ機能を実行し、またはそれと基本的に同じ結果が得られる現有のまたは将来的に開発可能なプロセス、装置、製造、事象の構成、手段、方法または動作を利用することが可能である。従って、添付の特許請求の範囲は、その範囲内でのこのようなプロセス、装置、製造、事象の構成、手段、方法または動作を含む。
開示された方面の以上の説明を提供することで、いかなる当業者も本開示を実行または使用できるようになる。これらの方面への各種修正は、当業者にとって自明であり、またここで定義している一般原理は本発明を逸脱することなく他の方面に応用できる。従って、本開示はここで示した方面に限定されるものではなく、ここで開示された原理と新規的な特徴に一致する最も広い範囲に従うものである。
以上の記述は、例示および説明の目的で提供したものである。また、この記述は、本開示の実施例をここで開示した形態に限定する意図がない。以上、複数の例示方面と実施例を述べてきたが、当業者であれば、それらの変形、修正、変更、追加および副次的組み合わせが可能であることが認識できる。

Claims (13)

  1. 複数の特徴点が含まれている標準顔画像を表示するステップと、
    受信された基準点選択コマンドに応答して、標準顔画像の前記複数の特徴点において少なくとも１つの基準点を選択するステップと、
    受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成するステップと、
    複数の線形補間係数を特定することにより前記特殊効果のパラメータを発生するステップであって、前記複数の線形補間係数は特殊効果のサイズと特殊効果が少なくとも１つの基準点に対する位置を特定するステップと、
    画像センサによって認識された第１の顔画像を取得するステップと、
    少なくとも一部の前記複数の線形補間係数に基づいて、第１の顔画像に前記特殊効果を発生させるステップであって、前記標準顔画像と第１の顔画像はマッピング関係を有するステップとを含む、ことを特徴とする顔に基づく特殊効果発生方法。
  2. 前記標準顔画像は複数の領域を含み、
    前記少なくとも１つの基準点は前記複数の領域に位置し、
    前記特殊効果は、前記基準点が所在する領域内に位置する、ことを特徴とする請求項１に記載の顔に基づく特殊効果発生方法。
  3. 前記特殊効果は複数あり、各特殊効果は異なる基準点に対応し、異なる領域内に位置する、ことを特徴とする請求項２に記載の顔に基づく特殊効果発生方法。
  4. 前記特殊効果のパラメータを発生する前に、さらに
    受信されたトリガ条件設定コマンドに応答して、前記特殊効果のトリガ条件を設定するステップを含む、ことを特徴とする請求項１に記載の顔に基づく特殊効果発生方法。
  5. 前記特殊効果のパラメータを発生する前に、さらに
    受信された再生設定コマンドに応答して、前記特殊効果の再生順番および／または再生時間を設定するステップを含む、ことを特徴とする請求項１に記載の顔に基づく特殊効果発生方法。
  6. 前記再生順番は、前記特殊効果の開始や停止を制御するためのメッセージに基づいて設定される、ことを特徴とする請求項５に記載の顔に基づく特殊効果発生方法。
  7. 前記特殊効果のパラメータは具体的には、
    前記特殊効果の位置および前記特殊効果のサイズを含む、ことを特徴とする請求項１に記載の顔に基づく特殊効果発生方法。
  8. 前記特殊効果の位置および前記特殊効果のサイズは、前記基準点の位置および前記基準点間の距離によって特定される、ことを特徴とする請求項７に記載の顔に基づく特殊効果発生方法。
  9. 受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成する前記ステップは、
    受信されたリソースパッケージ選択コマンドに応答して、リソースパッケージを選択するステップと、
    前記リソースパッケージを解析し、設定インタフェースを表示するステップと、
    受信された設定コマンドに応答して、前記リソースパッケージ内のリソースを設定するステップと、
    設定済みのリソースに基づいて前記特殊効果を形成し、前記特殊効果を標準顔画像に表示するステップとを含む、ことを特徴とする請求項１に記載の顔に基づく特殊効果発生方法。
  10. 前記リソースパッケージ内のリソースを設定する前記ステップは、
    リソースのサイズ、位置および回転中心を設定するステップを含む、ことを特徴とする請求項９に記載の顔に基づく特殊効果発生方法。
  11. 複数の特徴点が含まれている標準顔画像を表示するための表示モジュールと、
    受信された基準点選択コマンドに応答して、標準顔画像の前記複数の特徴点において少なくとも１つの基準点を選択するための基準点選択モジュールと、
    受信された特殊効果作成動作に応答して、標準顔画像に特殊効果を作成するための特殊効果作成モジュールと、
    複数の線形補間係数を特定することにより前記特殊効果のパラメータを発生するための特殊効果パラメータ発生モジュールであって、前記複数の線形補間係数は特殊効果のサイズと特殊効果が少なくとも１つの基準点に対する位置を特定する特殊効果パラメータ発生モジュールと、
    画像センサによって認識された第１の顔画像を取得するための顔画像取得モジュールと、
    少なくとも一部の前記複数の線形補間係数に基づいて、第１の顔画像に前記特殊効果を発生させるための特殊効果発生モジュールであって、前記標準顔画像と第１の顔画像はマッピング関係を有する特殊効果発生モジュールとを含む、ことを特徴とする顔に基づく特殊効果発生装置。
  12. 少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサと通信接続されるメモリとを含み、
    前記メモリには前記少なくとも一つのプロセッサにより実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサにより実行されることにより、前記少なくとも一つのプロセッサは請求項１－１０のいずれか一項に記載の顔に基づく特殊効果発生方法を実行できる、ことを特徴とする電子機器。
  13. 請求項１－１０のいずれか一項に記載の顔に基づく特殊効果発生方法をコンピュータに実行させるためのコンピュータ命令を記憶する、ことを特徴とする非一時的コンピュータ可読記憶媒体。
JP2020571798A 2018-07-27 2018-12-25 顔に基づく特殊効果発生方法、装置および電子機器 Active JP7286684B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810838432.8 2018-07-27
CN201810838432.8A CN108958610A (zh) 2018-07-27 2018-07-27 基于人脸的特效生成方法、装置和电子设备
PCT/CN2018/123639 WO2020019663A1 (zh) 2018-07-27 2018-12-25 基于人脸的特效生成方法、装置和电子设备

Publications (2)

Publication Number Publication Date
JP2021530031A JP2021530031A (ja) 2021-11-04
JP7286684B2 true JP7286684B2 (ja) 2023-06-05

Family

ID=64464019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571798A Active JP7286684B2 (ja) 2018-07-27 2018-12-25 顔に基づく特殊効果発生方法、装置および電子機器

Country Status (5)

Country Link
US (1) US11354825B2 (ja)
JP (1) JP7286684B2 (ja)
CN (1) CN108958610A (ja)
GB (1) GB2590208B (ja)
WO (1) WO2020019663A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958610A (zh) 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN111328389A (zh) * 2019-02-27 2020-06-23 北京市商汤科技开发有限公司 显示方法及装置、电子设备及存储介质
CN109885231B (zh) * 2019-02-27 2021-07-02 北京市商汤科技开发有限公司 显示方法及装置、电子设备及存储介质
CN110070496B (zh) * 2019-02-28 2020-07-31 北京字节跳动网络技术有限公司 图像特效的生成方法、装置和硬件装置
KR102646684B1 (ko) * 2019-02-28 2024-03-13 삼성전자 주식회사 전자 장치 및 컨텐츠를 생성하는 방법
CN110070592B (zh) * 2019-02-28 2020-05-05 北京字节跳动网络技术有限公司 特效包的生成方法、装置和硬件装置
CN111985268B (zh) * 2019-05-21 2024-08-06 北京搜狗科技发展有限公司 一种人脸驱动动画的方法和装置
CN112132859A (zh) * 2019-06-25 2020-12-25 北京字节跳动网络技术有限公司 贴纸生成方法、装置、介质和电子设备
CN110363814A (zh) * 2019-07-25 2019-10-22 Oppo（重庆）智能科技有限公司 一种视频处理方法、装置、电子装置和存储介质
CN110503724A (zh) * 2019-08-19 2019-11-26 北京猫眼视觉科技有限公司 一种基于人脸特征点的ar表情资源构建管理系统及方法
CN112529985A (zh) * 2019-09-17 2021-03-19 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110807728B (zh) 2019-10-14 2022-12-13 北京字节跳动网络技术有限公司 对象的显示方法、装置、电子设备及计算机可读存储介质
CN111145082A (zh) * 2019-12-23 2020-05-12 五八有限公司 人脸图像处理方法、装置、电子设备及存储介质
CN111243049B (zh) * 2020-01-06 2021-04-02 北京字节跳动网络技术有限公司 人脸图像的处理方法、装置、可读介质和电子设备
CN111242881B (zh) * 2020-01-07 2021-01-12 北京字节跳动网络技术有限公司 显示特效的方法、装置、存储介质及电子设备
CN111277893B (zh) * 2020-02-12 2021-06-25 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
CN113496533A (zh) 2020-03-19 2021-10-12 北京字节跳动网络技术有限公司 贴纸处理方法及装置
CN113434223A (zh) * 2020-03-23 2021-09-24 北京字节跳动网络技术有限公司 特效处理方法及装置
CN113643411A (zh) * 2020-04-27 2021-11-12 北京达佳互联信息技术有限公司 一种图像特效添加方法、装置、电子设备和存储介质
CN113569595B (zh) * 2020-04-28 2024-03-22 富泰华工业（深圳）有限公司 身份辨识装置以及身份辨识方法
CN113628097A (zh) * 2020-05-09 2021-11-09 北京字节跳动网络技术有限公司 图像特效配置方法、图像识别方法、装置及电子设备
CN113709573B (zh) 2020-05-21 2023-10-24 抖音视界有限公司 配置视频特效方法、装置、设备及存储介质
CN111783928A (zh) * 2020-06-29 2020-10-16 北京市商汤科技开发有限公司 动物互动方法、装置、设备和介质
CN113918442A (zh) * 2020-07-10 2022-01-11 北京字节跳动网络技术有限公司 图像特效参数处理方法、设备和存储介质
CN112188103A (zh) * 2020-09-30 2021-01-05 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN112307925B (zh) * 2020-10-23 2023-11-28 腾讯科技（深圳）有限公司 图像检测方法、图像显示方法、相关设备及存储介质
CN112419143B (zh) * 2020-11-20 2024-08-06 广州繁星互娱信息科技有限公司 图像处理方法、特效参数设置方法、装置、设备及介质
CN115442639B (zh) * 2021-06-03 2024-01-16 北京字跳网络技术有限公司 一种特效配置文件的生成方法、装置、设备及介质
CN115811665A (zh) * 2021-09-14 2023-03-17 北京字跳网络技术有限公司 一种视频生成方法、装置、终端设备及存储介质
CN113938618B (zh) * 2021-09-29 2024-04-30 北京达佳互联信息技术有限公司 特效制作方法、装置、电子设备及存储介质
CN114092678A (zh) * 2021-11-29 2022-02-25 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114245031B (zh) * 2021-12-20 2024-02-23 北京字跳网络技术有限公司 图像展示方法、装置、电子设备及存储介质
CN114697568B (zh) * 2022-04-07 2024-02-20 脸萌有限公司 特效视频确定方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242566A (ja) 2004-02-25 2005-09-08 Canon Inc 画像合成装置及び方法
JP2006260198A (ja) 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
JP2009053981A (ja) 2007-08-28 2009-03-12 Kao Corp 化粧シミュレーション装置
US20120223956A1 (en) 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
WO2014171142A1 (ja) 2013-04-17 2014-10-23 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP2015034836A (ja) 2013-07-11 2015-02-19 フリュー株式会社 画像編集装置、画像編集方法、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5525923B2 (ja) * 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US9619037B2 (en) * 2012-07-25 2017-04-11 Facebook, Inc. Custom gestures
CN103024167A (zh) * 2012-12-07 2013-04-03 广东欧珀移动通信有限公司 一种移动终端拍照方法及系统
CN104240274B (zh) * 2014-09-29 2017-08-25 小米科技有限责任公司 人脸图像处理方法及装置
CN105303523A (zh) * 2014-12-01 2016-02-03 维沃移动通信有限公司 一种图像处理方法及移动终端
US9665930B1 (en) * 2015-11-10 2017-05-30 Adobe Systems Incorporated Selective editing of images using editing tools with persistent tool settings
CN105791692B (zh) * 2016-03-14 2020-04-07 腾讯科技（深圳）有限公司 一种信息处理方法、终端及存储介质
CN106341720B (zh) * 2016-08-18 2019-07-26 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN106845400B (zh) * 2017-01-19 2020-04-10 南京开为网络科技有限公司 一种基于人脸关键点跟踪实现特效而产生的品牌展示方法
CN106875332A (zh) * 2017-01-23 2017-06-20 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN107452034B (zh) * 2017-07-31 2020-06-05 Oppo广东移动通信有限公司 图像处理方法及其装置
CN107679497B (zh) * 2017-10-11 2023-06-27 山东新睿信息科技有限公司 视频面部贴图特效处理方法及生成系统
CN107888845B (zh) * 2017-11-14 2022-10-21 腾讯数码（天津）有限公司 一种视频图像处理方法、装置及终端
CN108010037B (zh) 2017-11-29 2019-09-13 腾讯科技（深圳）有限公司 图像处理方法、装置及存储介质
CN108022279B (zh) * 2017-11-30 2021-07-06 广州市百果园信息技术有限公司 视频特效添加方法、装置及智能移动终端
CN108259496B (zh) * 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN108958610A (zh) * 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242566A (ja) 2004-02-25 2005-09-08 Canon Inc 画像合成装置及び方法
JP2006260198A (ja) 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
JP2009053981A (ja) 2007-08-28 2009-03-12 Kao Corp 化粧シミュレーション装置
US20120223956A1 (en) 2011-03-01 2012-09-06 Mari Saito Information processing apparatus, information processing method, and computer-readable storage medium
WO2014171142A1 (ja) 2013-04-17 2014-10-23 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置
JP2015034836A (ja) 2013-07-11 2015-02-19 フリュー株式会社 画像編集装置、画像編集方法、およびプログラム

Also Published As

Publication number Publication date
GB2590208A (en) 2021-06-23
GB202100224D0 (en) 2021-02-24
GB2590208B (en) 2023-04-19
US11354825B2 (en) 2022-06-07
JP2021530031A (ja) 2021-11-04
US20210366163A1 (en) 2021-11-25
CN108958610A (zh) 2018-12-07
WO2020019663A1 (zh) 2020-01-30

Similar Documents

Publication Publication Date Title
JP7286684B2 (ja) 顔に基づく特殊効果発生方法、装置および電子機器
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
US10860838B1 (en) Universal facial expression translation and character rendering system
JP7152528B2 (ja) フェイシャル特殊効果による複数のフェイシャルの追跡方法、装置および電子機器
US9349218B2 (en) Method and apparatus for controlling augmented reality
CN109064387A (zh) 图像特效生成方法、装置和电子设备
CN109003224B (zh) 基于人脸的形变图像生成方法和装置
US8976182B2 (en) Facial sketch creation device, configuration information generation device, configuration information generation method, and storage medium
JP7168694B2 (ja) ヒューマンフェースによる３ｄ特殊効果生成方法、装置および電子装置
WO2020024569A1 (zh) 动态生成人脸三维模型的方法、装置、电子设备
KR102491773B1 (ko) 이미지 변형 제어 방법, 장치 및 하드웨어 장치
CN107909114B (zh) 训练有监督机器学习的模型的方法和装置
WO2022206304A1 (zh) 视频的播放方法、装置、设备、存储介质及程序产品
WO2022179344A1 (en) Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
CN107862387B (zh) 训练有监督机器学习的模型的方法和装置
JP2022531055A (ja) インタラクティブ対象の駆動方法、装置、デバイス、及び記録媒体
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
US20220222898A1 (en) Intermediary emergent content
KR20150039049A (ko) 템플릿 편집 프레임 크기에 따른 사용자 인터페이스 제공 방법 및 그 장치
KR20180074124A (ko) 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
CN114510142B (zh) 基于二维图像的手势识别方法及其系统和电子设备
KR20140078083A (ko) 증강 현실이 구현된 만화책
Kapuściński et al. A suite of tools supporting data streams annotation and its use in experiments with hand gesture recognition
US20240171782A1 (en) Live streaming method and system based on virtual image
WO2023189601A1 (ja) 情報処理装置、記録媒体及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230524

R150 Certificate of patent or registration of utility model

Ref document number: 7286684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150