JP7356575B2 - 画像の処理方法、装置、電子機器及び記憶媒体 - Google Patents
画像の処理方法、装置、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP7356575B2 JP7356575B2 JP2022508774A JP2022508774A JP7356575B2 JP 7356575 B2 JP7356575 B2 JP 7356575B2 JP 2022508774 A JP2022508774 A JP 2022508774A JP 2022508774 A JP2022508774 A JP 2022508774A JP 7356575 B2 JP7356575 B2 JP 7356575B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- target object
- anime
- anime character
- limb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 18
- 239000000463 material Substances 0.000 claims description 127
- 238000000034 method Methods 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 20
- 238000005452 bending Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 210000003414 extremity Anatomy 0.000 description 158
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 6
- 210000001364 upper extremity Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000003796 beauty Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 210000003141 lower extremity Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
ターゲットオブジェクトを含む第1のフレーム画像を収集することと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得ることと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集することであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像であることと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得ることと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすることと、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。
前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。
ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニットと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニットと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニットであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニットと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニットと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。
本開示の上記実施例が適用されると、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得ることにより、キーポイントの第1の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示し、そして、第2のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第2の位置情報を得ることにより、第1の位置情報と第2の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新し、それによって、ビデオ撮影中に、生成されたアニメキャラクターは、収集された画像におけるターゲットオブジェクトにしたがって、それと同じアクションを実行できるようになり、ユーザエクスペリエンスを向上させるための新しいインタラクション形態をユーザに提供するような有益な効果を有する。
サーバ400は、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得て、端末200に返信するために用いられ、
端末200は、さらに、前記キーポイントの第1の位置情報に基づき、ターゲット画像と同じ姿態のアニメキャラクターを生成して表示すること、及びターゲットオブジェクトを含む第2のフレーム画像を収集し、第2のフレーム画像をサーバ400に送信すること、に用いられ、第1のフレーム画像と第2のフレーム画像が連続するフレーム画像であり、
サーバ400は、さらに、第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得て、端末200に返信するために用いられ、
端末200は、さらに、第1の位置情報と第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するために用いられる。
、Convolutional Neural Networks)など)を介して、ターゲットオブジェクトのキーポイントを検出することができる。実際の実施では、端末は、第1のフレーム画像を畳み込みニューラルネットワークモデルに入力し、第1の位置情報を得る。ここで、第1の位置情報は、ターゲットオブジェクトの各キーポイントの位置情報を含み、第1のフレーム画像に座標系を確立することにより、各キーポイントの位置情報が座標で表される。
ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニット71と、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニット72と、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニット73と、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニット74であって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニット74と、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニット75と、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニット76と、を含む。
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。
ターゲットオブジェクトを含む第1のフレーム画像を収集することと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得ることと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集することであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像であることと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得ることと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすることと、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。
前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。
ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニットと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニットと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニットであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニットと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニットと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。
Claims (12)
- 画像の処理方法であって、
ターゲットオブジェクトを含む第1のフレーム画像を収集することと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得ることと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集することであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像であることと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得ることと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含み、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすることと、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含み、
ロードされた前記アニメ素材が完全なアニメキャラクターを作られない場合に、前記アニメキャラクターに前記アニメ素材が不足している部分を線で描くことを特徴とする画像の処理方法。 - 前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含むことを特徴とする請求項1に記載の方法。 - 前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含むことを特徴とする請求項1に記載の方法。 - 前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含むことを特徴とする請求項1に記載の方法。 - 前記アニメキャラクターの肢体を線の形で描くことは、
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含むことを特徴とする請求項4に記載の方法。 - 前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含むことを特徴とする請求項1~5のいずれか1項に記載の方法。 - 前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含むことを特徴とする請求項1~5のいずれか1項に記載の方法。 - 前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含むことを特徴とする請求項1~7のいずれか1項に記載の方法。 - 画像の処理装置であって、
ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニットと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニットと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニットであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニットと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニットと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含み、
前記処理ユニットは、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすること、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられ、
ロードされた前記アニメ素材が完全なアニメキャラクターを作られない場合に、前記アニメキャラクターに前記アニメ素材が不足している部分を線で描くことを特徴とする画像の処理装置。 - 電子機器であって、
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、請求項1~8のいずれか1項に記載の方法を実現するためのプロセッサと、を含むことを特徴とする電子機器。 - コンピュータに、請求項1~8のいずれか1項に記載の方法の各ステップを実行させるためのプログラムを記録したコンピュータ読み取り可能記憶媒体。
- コンピュータに、請求項1~8のいずれか1項に記載の方法の各ステップを実行させるためのコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911060495.6A CN112784622B (zh) | 2019-11-01 | 2019-11-01 | 图像的处理方法、装置、电子设备及存储介质 |
CN201911060495.6 | 2019-11-01 | ||
PCT/CN2020/122832 WO2021083028A1 (zh) | 2019-11-01 | 2020-10-22 | 图像的处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022543892A JP2022543892A (ja) | 2022-10-14 |
JP7356575B2 true JP7356575B2 (ja) | 2023-10-04 |
Family
ID=75715724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022508774A Active JP7356575B2 (ja) | 2019-11-01 | 2020-10-22 | 画像の処理方法、装置、電子機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11593983B2 (ja) |
JP (1) | JP7356575B2 (ja) |
CN (1) | CN112784622B (ja) |
WO (1) | WO2021083028A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11948237B2 (en) * | 2021-12-30 | 2024-04-02 | Samsung Electronics Co., Ltd. | System and method for mimicking user handwriting or other user input using an avatar |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027315A (ja) | 2000-07-07 | 2002-01-25 | Sony Corp | 動き検出装置及び動き検出方法 |
US20090202114A1 (en) | 2008-02-13 | 2009-08-13 | Sebastien Morin | Live-Action Image Capture |
CN107831902A (zh) | 2017-11-23 | 2018-03-23 | 腾讯科技(上海)有限公司 | 一种运动控制方法及其设备、存储介质、终端 |
JP2022501732A (ja) | 2019-01-18 | 2022-01-06 | 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 画像処理方法及び装置、画像デバイス並びに記憶媒体 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833459B (zh) * | 2010-04-14 | 2012-10-03 | 四川真视信息技术有限公司 | 基于网页的动态2d骨骼人物实现系统 |
CN102231209B (zh) * | 2011-04-19 | 2014-04-16 | 浙江大学 | 基于异构特征降维的二维角色卡通生成方法 |
CN102509333B (zh) * | 2011-12-07 | 2014-05-07 | 浙江大学 | 基于动作捕获数据驱动的二维卡通表情动画制作方法 |
CN102682420A (zh) * | 2012-03-31 | 2012-09-19 | 北京百舜华年文化传播有限公司 | 一种真实人物图像转换为卡通风格图像的方法及装置 |
JP6245477B2 (ja) * | 2014-09-18 | 2017-12-13 | 泰章 岩井 | 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 |
CN104616331A (zh) * | 2015-02-16 | 2015-05-13 | 百度在线网络技术(北京)有限公司 | 移动设备上的图像处理方法和装置 |
CN108268120B (zh) * | 2016-12-29 | 2020-07-28 | 同方威视技术股份有限公司 | 基于vr或ar的图像数据处理方法、设备和安检系统 |
KR101966384B1 (ko) * | 2017-06-29 | 2019-08-13 | 라인 가부시키가이샤 | 영상 처리 방법 및 시스템 |
US10553009B2 (en) * | 2018-03-15 | 2020-02-04 | Disney Enterprises, Inc. | Automatically generating quadruped locomotion controllers |
CN110390705B (zh) * | 2018-04-16 | 2023-11-10 | 北京搜狗科技发展有限公司 | 一种生成虚拟形象的方法及装置 |
CN108711180B (zh) * | 2018-05-02 | 2021-08-06 | 北京市商汤科技开发有限公司 | 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置 |
CN109191548A (zh) * | 2018-08-28 | 2019-01-11 | 百度在线网络技术(北京)有限公司 | 动画制作方法、装置、设备及存储介质 |
CN109308682A (zh) * | 2018-10-18 | 2019-02-05 | 杭州数为科技有限公司 | 一种人脸识别与卡通还原方法、装置、介质及系统 |
CN109727303B (zh) * | 2018-12-29 | 2023-07-25 | 广州方硅信息技术有限公司 | 视频展示方法、系统、计算机设备、存储介质和终端 |
CN109829960A (zh) * | 2019-01-22 | 2019-05-31 | 安徽状元郎电子科技有限公司 | 一种vr动漫系统交互方法 |
CN110058685B (zh) * | 2019-03-20 | 2021-07-09 | 北京字节跳动网络技术有限公司 | 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质 |
CN110047102A (zh) * | 2019-04-18 | 2019-07-23 | 北京字节跳动网络技术有限公司 | 用于输出信息的方法、装置和系统 |
CN110335331B (zh) * | 2019-07-08 | 2023-01-31 | 上海乂学教育科技有限公司 | 教学动画制作方法 |
-
2019
- 2019-11-01 CN CN201911060495.6A patent/CN112784622B/zh active Active
-
2020
- 2020-10-22 JP JP2022508774A patent/JP7356575B2/ja active Active
- 2020-10-22 WO PCT/CN2020/122832 patent/WO2021083028A1/zh active Application Filing
-
2022
- 2022-02-15 US US17/672,446 patent/US11593983B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027315A (ja) | 2000-07-07 | 2002-01-25 | Sony Corp | 動き検出装置及び動き検出方法 |
US20090202114A1 (en) | 2008-02-13 | 2009-08-13 | Sebastien Morin | Live-Action Image Capture |
CN107831902A (zh) | 2017-11-23 | 2018-03-23 | 腾讯科技(上海)有限公司 | 一种运动控制方法及其设备、存储介质、终端 |
JP2022501732A (ja) | 2019-01-18 | 2022-01-06 | 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. | 画像処理方法及び装置、画像デバイス並びに記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20220172418A1 (en) | 2022-06-02 |
WO2021083028A1 (zh) | 2021-05-06 |
JP2022543892A (ja) | 2022-10-14 |
CN112784622A (zh) | 2021-05-11 |
CN112784622B (zh) | 2023-07-25 |
US11593983B2 (en) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393154B2 (en) | Hair rendering method, device, electronic apparatus, and storage medium | |
EP3092595B1 (en) | Managing display of private information | |
KR20170028193A (ko) | 히든 디스플레이를 갖는 전자 장치 및 정보 표시 방법 | |
KR20150137828A (ko) | 데이터 처리 방법 및 그 전자 장치 | |
JP7186901B2 (ja) | ホットスポットマップの表示方法、装置、コンピュータ機器および読み取り可能な記憶媒体 | |
US10776979B2 (en) | Virtual skeleton based on computing device capability profile | |
CN112711335B (zh) | 虚拟环境画面的显示方法、装置、设备及存储介质 | |
JP7356575B2 (ja) | 画像の処理方法、装置、電子機器及び記憶媒体 | |
US20140111551A1 (en) | Information-processing device, storage medium, information-processing method, and information-processing system | |
WO2022199102A1 (zh) | 图像处理方法及装置 | |
CN112023403B (zh) | 基于图文信息的对战过程展示方法及装置 | |
CN112755517B (zh) | 虚拟对象控制方法、装置、终端及存储介质 | |
CN112870697B (zh) | 基于虚拟关系养成程序的交互方法、装置、设备及介质 | |
CN111598981B (zh) | 角色模型的显示方法、装置、设备及存储介质 | |
CN112367533A (zh) | 交互业务的处理方法、装置、设备及计算机可读存储介质 | |
KR20240141285A (ko) | 이미지 처리 방법 및 장치, 디바이스, 저장 매체 및 프로그램 제품 | |
KR20240116856A (ko) | 포그라운드 및 백그라운드 분리 시스템에 사용되는 모듈 처리 방법, 장치 및 저장매체 | |
CN110852093A (zh) | 文本信息生成方法、装置、计算机设备及存储介质 | |
CN112579037A (zh) | 音频控制方法、装置、存储介质及电子设备 | |
JP2022551671A (ja) | オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体 | |
US20240346732A1 (en) | Method and apparatus for adding video effect, and device and storage medium | |
JPWO2020031493A1 (ja) | 端末装置および端末装置の制御方法 | |
CN113058266B (zh) | 虚拟环境中场景字体的显示方法、装置、设备及介质 | |
CN117991889A (zh) | 信息交互方法、装置、电子设备和存储介质 | |
CN114037783A (zh) | 动画播放方法、装置、设备、可读存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7356575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |