JP7356575B2 - 画像の処理方法、装置、電子機器及び記憶媒体 - Google Patents

画像の処理方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7356575B2
JP7356575B2 JP2022508774A JP2022508774A JP7356575B2 JP 7356575 B2 JP7356575 B2 JP 7356575B2 JP 2022508774 A JP2022508774 A JP 2022508774A JP 2022508774 A JP2022508774 A JP 2022508774A JP 7356575 B2 JP7356575 B2 JP 7356575B2
Authority
JP
Japan
Prior art keywords
character
target object
anime
anime character
limb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022508774A
Other languages
English (en)
Other versions
JP2022543892A (ja
Inventor
▲樹▼▲鵬▼ ▲張▼
堂 唐
▲輝▼ ▲楊▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022543892A publication Critical patent/JP2022543892A/ja
Application granted granted Critical
Publication of JP7356575B2 publication Critical patent/JP7356575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本開示の実施例は、画像処理技術に関し、特に、画像の処理方法、装置、電子機器及び記憶媒体に関する。
通信技術や端末機器の発展に伴い、携帯電話やタブレットコンピュータなどのさまざまな端末機器が人々の仕事や生活に欠かせないものになり、また、端末機器の普及につれ、端末機器に基づく対話型アプリケーションは、コミュニケーションとエンターテインメントの主要なチャネルになっている。関連技術では、対話型アプリケーションの対話形態は単一であり、ユーザの多様化ニーズを満たすことはできる。
当該発明の概要は、構想を簡単な形式で説明するために提供され、これらの構想について、後述する発明を実施するための形態において詳細に説明する。当該発明の概要は、主張する技術案の重要な特徴又は必要な特徴を特定することを意図するものではなく、主張する技術案の範囲を限定することを意図するものでもない。
第1の態様では、本開示の実施例は、画像の処理方法を提供し、
ターゲットオブジェクトを含む第1のフレーム画像を収集することと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得ることと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集することであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像であることと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得ることと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。
上記技術案において、前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすることと、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。
上記技術案において、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。
上記技術案において、前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。
上記技術案において、前記アニメキャラクターの肢体を線の形で描くことは、
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。
上記技術案において、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。
上記技術案において、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、

グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。
上記技術案において、前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。
第2の態様では、本開示の実施例は、画像の処理装置を提供し、
ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニットと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニットと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニットであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニットと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニットと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。
上記技術案において、前記処理ユニットは、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすること、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。
上記技術案において、前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。
上記技術案において、前記処理ユニットは、さらに、前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
上記技術案において、前記処理ユニットは、さらに、前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
上記技術案において、前記処理ユニットは、さらに、前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。
上記技術案において、前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定すること、及び
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。
上記技術案において、前記処理ユニットは、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定すること、及び
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。
上記技術案において、前記更新ユニットは、さらに、前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定すること、及び
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。
第3の態様では、本開示の実施例は、電子機器を提供し、
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。
第4の態様では、本開示の実施例は、実行可能な命令が記憶されている記憶媒体を提供し、前記実行可能な命令が実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。
第5の態様では、本開示の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムが実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。
本開示の実施例は、
本開示の上記実施例が適用されると、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得ることにより、キーポイントの第1の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示し、そして、第2のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第2の位置情報を得ることにより、第1の位置情報と第2の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新し、それによって、ビデオ撮影中に、生成されたアニメキャラクターは、収集された画像におけるターゲットオブジェクトにしたがって、それと同じアクションを実行できるようになり、ユーザエクスペリエンスを向上させるための新しいインタラクション形態をユーザに提供するような有益な効果を有する。
本開示の各実施例の上記及び他の特徴、利点及び態様は、図面及び以下の具体的な実施形態を参照すれば明らかになる。図面全体を通して、同じ又は類似の符号は、同じ又は類似の要素を示す。図面は、例示的なものであり、部品及び要素は必ずしも一定の縮尺で描かれているわけではないことを理解すべきである。
本開示の実施例により提供される画像の処理システム100の1つの選択的なアーキテクチャ概略図である。 本開示の実施例により提供される電子機器20の構造概略図である。 本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートである。 本開示の実施例により提供される第1のフレーム画像におけるターゲットオブジェクトのキーポイント概略図である。 本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する1つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する1つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供されるアニメキャラクターを表示する1つの選択的なグラフィカルインタフェース概略図である。 本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートである。 本開示の実施例により提供される画像の処理装置の1つの選択的な構成構造概略図である。
以下、図面を参照しながら、本開示の実施例をより詳細に説明する。図面には、本開示のいくつかの実施例が示されているが、本開示は、さまざまな形式で実現されることができ、本明細書に記述される実施例に限定されると解釈されるべきでなく、むしろ、これらの実施例は、本開示をより明確且つ完全に理解するために、提供されていることを理解すべきである。本開示の図面及び実施例は、単に例示的な目的で使用されており、本開示の保護範囲を制限するために使用されるものでないことを理解すべきである。
本開示の方法の実施形態に記述される各ステップは、別の順に従って実行されてもよいし、及び/又は、並行して実行されてもよいことを理解すべきである。また、方法の実施形態では、追加のステップが含まれてもよいし、及び/又は、示されているステップの実行を省略してもよい。本開示の範囲は、それらに限定されない。
本明細書に使用される用語「含む」及びその変形は、開放的な含みであり、即ち、「…を含むが、…に限定されない」を意味する。用語「基づく」は「少なくとも部分的に基づく」を意味する。用語「1つの実施例」は「少なくとも1つの実施例」を表し、用語「他の実施例」は「少なくとも1つの他の実施例」を表し、用語「いくつかの実施例」は「少なくともいくつかの実施例」を表す。他の用語の関連定義はまた後述する。
なお、本開示で言及される「第1の」、「第2の」などの概念は、異なる装置、モジュール又はユニットを区別するためのみに使用され、これらの装置、モジュール又はユニットにより実行される機能の順序又は相互間の依存関係を限定するために使用されるものではない。
なお、本開示で言及される「1つ」及び「複数」のような修飾語は、限定的なものでなく、例示的なものであり、当業者は、文脈で明記されていない限り、「1つ又は複数」として理解すべきであることを理解すべきである。
本開示の実施形態における複数の装置の間で交換されるメッセージ又は情報の名称は、説明の目的のためだけであり、これらのメッセージ又は情報の範囲を限定するために使用されるものではない。
図1を参照すれば、図1は、本開示の実施例により提供される画像の処理システム100の1つの選択的なアーキテクチャ概略図であり、1つの例示的な応用をサポートして実現するために、端末200(端末200-1と端末200-2を含む)は、ネットワーク300を介してサーバ400に接続され、ネットワーク300は、ワイドエリアネットワーク又はローカルエリアネットワークであるか、または両者の組み合わせであり、無線リンクを使用してデータ伝送を実現する。
端末200は、ターゲットオブジェクトを含む第1のフレーム画像を収集し、第1のフレーム画像をサーバ400に送信するために用いられ、
サーバ400は、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得て、端末200に返信するために用いられ、
端末200は、さらに、前記キーポイントの第1の位置情報に基づき、ターゲット画像と同じ姿態のアニメキャラクターを生成して表示すること、及びターゲットオブジェクトを含む第2のフレーム画像を収集し、第2のフレーム画像をサーバ400に送信すること、に用いられ、第1のフレーム画像と第2のフレーム画像が連続するフレーム画像であり、
サーバ400は、さらに、第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得て、端末200に返信するために用いられ、
端末200は、さらに、第1の位置情報と第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するために用いられる。
実際の応用では、サーバ200は、さまざまなサービスをサポートするように独立して構成されたサーバであってもよいし、サーバクラスターとして構成されてもよく、端末は、スマートフォン、タブレットコンピュータ、ノートブックコンピュータなど、さまざまなタイプのユーザ端末にしてもよいし、または、ウェアラブルコンピューティングデバイス、パーソナルデジタルアシスタント(PDA)、デスクトップコンピュータ、セルラ電話、メディアプレーヤー、ナビゲーションデバイス、ゲームコンソール、テレビにしてもよいし、または、これら又は他のデータ処理装置の2つ以上の任意の組み合わせにしてもよい。
以下、本開示の実施例に係る画像の処理方法を実施する電子機器について説明する。いくつかの実施例において、電子機器は、スマートフォン、タブレットコンピュータ、デスクトップコンピュータなどの端末によって個別に実施されるか、または、端末とサーバによって共同で実施されるなど、さまざまな形で実施されることができる。
以下、図2を参照すれば、図2は、本開示の実施例により提供される電子機器20の構造概略図である。図2に示されている電子機器は、例示的なものにすぎず、本開示の実施例の機能及び使用範囲に何らかの制限をもたらすべきでない。
図2に示すように、電子機器20は、処理装置(中央処理装置やグラフィックプロセッサなど)210を含むことができ、読み取り専用メモリ(ROM、Read-Only Memory)220に記憶されたプログラムまたは記憶装置280からランダムアクセスメモリ(RAM、Random Access Memory)230にロードされたプログラムに従って、さまざまな適切なアクション及びプロセスを実行することができる。RAM 230には、電子機器20の操作に必要なさまざまなプログラム及びデータも記憶されている。処理装置210、ROM220及びRAM230は、バス240を介して互いに接続されている。入力/出力(I/O、Input/Output)インタフェース250もバス240に接続されている。
通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力装置260と、液晶ディスプレイ(LCD、Liquid Crystal Display)、スピーカー、バイブレータなどを含む出力装置270と、磁気テープ、ハードディスクなどを含む記憶装置280と、通信装置290とは、I/Oインタフェース250に接続することができる。通信装置290は、電子機器20が他のデバイスと無線又は有線で通信してデータを交換することを可能にし得る。図2は、さまざまなデバイスを備える電子機器20を示しているが、図示されたデバイスのすべてが実施又は配置される必要があるわけではないことを理解すべきである。代替的に、より多くの又は少なめのデバイスが実施又は配置され得る。
特に、本開示の実施例によれば、提供されているフローチャートに記載されているプロセスは、コンピュータソフトウェアプログラムとして実施できる。例えば、本開示の実施例は、コンピュータ読み取り可能な媒体に搭載されている、フローチャートに示される方法を実行するためのプログラムコードを含むコンピュータプログラムを含む。このような実施例において、コンピュータプログラムは、通信装置290を介してネットワークからダウンロード及びインストールするか、または記憶装置280からインストールするか、またはROM220からインストールすることができる。コンピュータプログラムは、処理装置210により実行されると、本開示の実施例に係る画像の処理方法における機能が実行される。
なお、本開示の実施例における上記のコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体又は2つの任意の組み合わせであり得る。コンピュータ読み取り可能な記憶媒体は、例えば、電気的、磁気的、光学的、電磁的、赤外線、又は半導体のシステム、装置、又はデバイス、あるいは上記の任意の組み合わせを含み得るが、それらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例として、1本又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、RAM、ROM、消去可能プログラマブル読み取り専用メモリ(EPROM、Erasable Programmable Read Only Memory)、フラッシュメモリ、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。
本開示の実施例において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用できるプログラムを含むか、または記憶する任意の有形媒体であり得る。本開示の実施例において、コンピュータ読み取り可能な信号媒体は、ベースバンドで、または搬送波の一部として伝送されるデータ信号を含むことができ、その中にコンピュータ読み取り可能なプログラムコードが搭載されている。そのような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがそれらに限定されない多くの形をとることができる。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体にすることができ、コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを送信、伝播、または伝送することができる。コンピュータ読み取り可能な媒体に含まれたプログラムコードは、電線、光ファイバケーブル、無線周波数(RF、Radio Frequency)などを含む任意の適切な媒体、または上記の任意の適切な組み合わせを使用して伝送されることができる。
上記コンピュータ読み取り可能な媒体は、上記電子機器20に含まれていてもよく、または電子機器20に組み立てられずに単独で存在していてもよい。
上記コンピュータ読み取り可能な媒体は、1つ又は複数のプログラムを搭載し、上記1つ又は複数のプログラムが電子機器20により実行されると、電子機器20に、本開示の実施例により提供される画像の処理方法を実行させる。
本開示の実施例における操作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++などのオブジェクト向けプログラミング言語、及び「C」言語又はそれに類似するプログラミング言語などの従来の手続き型プログラミング言語を含む1つ又は複数のプログラミング言語又はそれらの組み合わせでプログラミングされることができる。プログラムコードは、完全にユーザコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で部分的にリモートコンピュータ上で、または完全にリモートコンピュータ又はサーバ上で実行できる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク(LAN、Local Area Network))やワイドエリアネットワーク(WAN、Wide Area Network)など、あらゆる種類のネットワークを介してユーザコンピュータに接続することも、外部コンピュータに接続することもできる(例えば、インターネットサービスプロバイダーを使用してインターネット経由で接続する)。
本開示の実施例により提供されるフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラムによって実現可能なアーキテクチャ、機能、及び操作を示している。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理的機能を実現するための1つ又は複数の実行可能な命令を含むモジュール、グログラムセグメント、又はコードの一部を表すことができる。いくつかの代替の実現では、ブロックに示されている機能が、図に示されている順序と異なる順序で実行できることにも注意すべきである。例えば、連結して表示される2つのブロックは、実際には、基本的に並行して実行できるが、関連する機能に応じて、ブロックと逆の順序で実行される場合もある。ブロック図及び/又はフローチャート図の各ブロック、及びブロック図及び/又はフローチャート図のブロックの組み合わせは、指定された機能又は操作を実行する専用のハードウェアベースのシステムを使用して実現されることができ、または、専用のハードウェアとコンピュータ命令の組み合わせを使用して実現されることもできるにも注意する必要がある。
本開示の実施例に関与するユニットは、ソフトウェアで実現されることができ、またはハードウェアで実現されることもできる。ここで、ユニットの名称は、場合によってはユニット自体を制限するものではなく、例えば、第1の収集ユニットは、「ターゲットオブジェクトを含む第1のフレーム画像を収集する」と記載されることもできる。
本開示の実施例に記載されている機能は、少なくとも部分的に、1つ又は複数のハードウェアロジックコンポーネントによって実行され得る。例えば、限定的ものでなく、使用できるハードウェアロジックコンポーネントの例示的なタイプには、フィールドプログラマブルゲートアレイ(FPGA、Field-Programmable Gate Array)、特定用途向け集積回路(ASIC、Application Specific Integrated Circuit)、特定用途向け標準製品(ASSP、Application Specific Standard Parts))、システムオンチップ(SOC)、複雑なプログラマブルロジックデバイス(CPLD)などが含まれる。
本開示の実施例の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、又はデバイスによって、またはそれらに関連して使用するためのプログラムを含むか又は記憶することができる有形媒体であり得る。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であり得る。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、又はデバイス、あるいは上記の任意の適切な組み合わせを含み得るが、それらに限定されない。機械読み取り可能な記憶媒体のより具体的な例として、1本又は複数のワイヤに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含み得るが、それらに限定されない。
続いて、図3を参照すれば、図3は、本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートであり、本開示の実施例に係る画像の処理方法は、以下を含む。
ステップ301において、端末がターゲットオブジェクトを含む第1のフレーム画像を収集する。
実際の応用では、端末には、インスタントメッセージングクライアント、マイクロブログクライアント、ショートビデオクライアントなどのクライアントが設けられており、ユーザは、クライアントのユーザインタフェースにビデオ撮影ボタンをクリックしてビデオ撮影命令をトリガーでき、それにより、端末は、カメラなどの画像収集センサーを呼び出して、ターゲットオブジェクトを含む第1のフレーム画像を収集する。なお、ビデオ撮影のターゲットオブジェクトは、撮影されるユーザであり、ここで、ユーザの数は1人以上にすることができる。
ステップ302において、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得る。
実際の実施では、ターゲットオブジェクトのキーポイントは、頭、肩、肘、手首など、第1のフレーム画像におけるキャラクターの各関節ポイントにすることができ、図4を参照すれば、図4は、本開示の実施例により提供される第1のフレーム画像におけるターゲットオブジェクトのキーポイント概略図であり、ターゲットオブジェクトは、合計14個のキーポイントを含み、キーポイントによってターゲットオブジェクトの姿態を決定することができる。
いくつかの実施例において、端末は、トレーニングされたニューラルネットワークモデル(畳み込みニューラルネットワークモデル(CNN
、Convolutional Neural Networks)など)を介して、ターゲットオブジェクトのキーポイントを検出することができる。実際の実施では、端末は、第1のフレーム画像を畳み込みニューラルネットワークモデルに入力し、第1の位置情報を得る。ここで、第1の位置情報は、ターゲットオブジェクトの各キーポイントの位置情報を含み、第1のフレーム画像に座標系を確立することにより、各キーポイントの位置情報が座標で表される。
ステップ303において、キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示する。
実際の実施では、キーポイントの第1の位置情報に従って、ターゲットオブジェクトの姿態を決定することができるため、キーポイントの第1の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成し、生成されたアニメキャラクターを表示することができる。
いくつかの実施例において、端末は、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードし、前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定し、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及びアニメ素材に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することができる。
なお、頭部素材は、アニメキャラクターの頭部であり、肢体素材は、アニメキャラクターの手足と胴体を含み、服飾素材は、アニメキャラクターの服や靴などを含む。実際の実施では、アニメキャラクターのキーポイントとターゲットオブジェクトのキーポイントは1対1で対応しており、ターゲットオブジェクトのキーポイントの位置情報は、第1のフレーム画像に対応する座標系に基づいて決定され、アニメキャラクターを生成するとき、アニメキャラクターに対応する座標系を確立し、第1のフレーム画像の座標系とアニメキャラクターの座標系との対応関係に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する必要がある。
いくつかの実施例において、アニメ素材は、アニメキャラクターの頭部と肢体素材を含む場合に、端末は、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、頭部素材と肢体素材を組み合わせて、アニメキャラクターを得る。
ここで、アニメ素材は、アニメキャラクターの頭部と肢体素材を含み、即ち、アニメキャラクターの体の各部分にはいずれも対応する素材があり、素材を組み合わせることで、完全なアニメキャラクターを作る。実際の実施では、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報によって、各素材の位置とサイズを決定し、各素材の位置に応じて頭部素材と肢体素材を組み合わせることができる。
例えば、図5は、本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図であり、図5を参照すれば、アニメキャラクターの頭部と肢体は、いずれもアニメ素材によって生成され、アニメ素材の位置は、アニメキャラクターのキーポイントの位置に対応している。
ロードされたアニメ素材が完全なアニメキャラクターを作られない場合に、アニメキャラクターにアニメ素材が不足している部分を線で描く必要がある。
いくつかの実施例において、アニメ素材はアニメキャラクターの頭部素材を含む場合に、アニメキャラクターの肢体キーポイントの位置情報に基づき、アニメキャラクターの肢体を線の形で描き、頭部素材と描かれたアニメキャラクターの肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。
ここで、アニメ素材は、アニメキャラクターの頭部素材のみ含み、アニメキャラクターの肢体の部分が欠けているため、アニメキャラクターの肢体、即ち、アニメキャラクターの胴体と手足を線で描く必要がある。
実際の実施では、肢体キーポイントは、アニメキャラクターの胴体キーポイントと手足キーポイントに分けられ、アニメキャラクターの胴体キーポイントと手足キーポイントをそれぞれ線でつなぐ。ここで、肢体キーポイントは、左肩キーポイント、右肩キーポイント、右股キーポイント、左股キーポイントを含み、肢体キーポイントを線で順番につなぎ、アニメキャラクターの体を描き、手足キーポイントは、両上肢キーポイントと両下肢キーポイントを含み、それぞれの上肢キーポイントは、肩キーポイント、肘キーポイント及び手首キーポイントを含み、それぞれの下肢キーポイントは、股キーポイント、膝キーポイント及び足首キーポイントを含み、手足キーポイントをそれぞれ線でつなぎ、アニメキャラクターの手足を描く。例えば、左肩キーポイント、左肘キーポイント、左手首キーポイントを線で順番につなぎ、アニメキャラクターの左上肢を描く。
例えば、図6は、本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図であり、図6を参照すれば、アニメキャラクターの頭部はアニメ素材であり、アニメキャラクターの肢体は線で構成され、頭部素材の位置は頭部キーポイントの位置に対応し、アニメキャラクターの肢体は、肢体キーポイントを線でつないで得られたものである。
いくつかの実施例において、アニメ素材は、アニメキャラクターの頭部と服飾素材を含む場合に、アニメキャラクターの手足が不足しているため、アニメキャラクターの手足キーポイントの位置情報に基づき、アニメキャラクターの手足を線の形で描き、アニメキャラクターの頭部と服飾素材を描かれたアニメキャラクターの手足と組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。
例えば、図7は、本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図であり、図7を参照すれば、アニメキャラクターの頭部、服及び靴はロードされた素材であり、手足は線で作られている。
いくつかの実施例において、端末は、キーポイントの第1の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定し、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部を線の形で描き、アニメキャラクターの肢体キーポイントの位置情報に基づき、アニメキャラクターの肢体を線の形で描き、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得るような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することができる。
ここで、アニメ素材がロードされていない場合に、アニメキャラクター全体を線で描く。実際の実施では、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部の位置を決定し、アニメキャラクターの頭部に対応する位置で、アニメキャラクターの頭部を円形の線で描く。肢体キーポイントは、胴体キーポイントと手足キーポイントに分けられ、アニメキャラクターの胴体キーポイントと手足キーポイントをそれぞれ線でつなぎ、アニメキャラクターの胴体と手足を描く。
例えば、図8は、本開示の実施例により提供されるアニメキャラクターの1つの選択的な概略図であり、図8を参照すれば、アニメキャラクターの頭部と肢体は、いずれも線で構成されている。
いくつかの実施例において、端末は、アニメキャラクターの肢体キーポイントの位置に基づき、肢体キーポイントが一直線上になっていないと決定する場合に、肢体キーポイントを弧線でつなぎ、肢体の曲げ程度がターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得る。
実際の実施では、2キーポイントごとの直線の傾きによって、肢体キーポイントが一直線上になっているかどうかを判断し、一直線上になっている場合、肢体キーポイントを直接直線でつなぐが、一直線上になっていない場合、3つのキーポイントを弧線でつなぎ、このようにして、肢体の曲げ程度がターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得る。
例えば、図8を参照すれば、アニメキャラクターの右上肢の3つのキーポイントが一直線上になっていないから、その3つのキーポイントを弧線でつなぎ、曲げ程度がターゲットオブジェクトの右上肢の曲げ程度と一致する弧線の形の右上肢を得る。
いくつかの実施例において、端末は、グラフィカルインタフェースに表示されたときに、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係を決定し、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することができる。
実際の実施では、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係は、上下、左右などになってもよく、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示する。ターゲットオブジェクトとアニメキャラクターを表示するとき、アニメキャラクターがターゲットオブジェクトに対してより少ない表示領域を占めるか、またはターゲットオブジェクトがアニメキャラクターに対してより少ない表示領域を占めるか、またはターゲットオブジェクトとアニメキャラクターが同じサイズの表示領域を占めてもよい。
例えば、図9は、本開示の実施例により提供されるアニメキャラクターを表示する1つの選択的なグラフィカルインタフェース概略図であり、図9を参照すれば、同じウィンドウを介してターゲットオブジェクトとアニメキャラクターを表示しており、ここで、アニメキャラクターは、ターゲットオブジェクトの右下に表示され、ターゲットオブジェクトに対してより少ない表示領域を占めている。
いくつかの実施例において、端末は、グラフィカルインタフェースに表示されたときのアニメキャラクターとターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定し、メインウィンドウとサブウィンドウを介して、アニメキャラクターとターゲットオブジェクトをそれぞれ表示するような方法を用いてターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することができる。
ここで、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。
いくつかの実施例において、メインウィンドウを介してアニメキャラクターを表示し、サブウィンドウを介してターゲットオブジェクトを表示する。図10は、本開示の実施例により提供されるアニメキャラクターを表示する1つの選択的なグラフィカルインタフェース概略図であり、図10を参照すれば、グラフィカルインタフェースには、メインウィンドウとサブウィンドウが含まれ、サブウィンドウがメインウィンドウの右下隅領域にあり、メインウィンドウを介してアニメキャラクターを表示し、メインウィンドウを介してターゲットオブジェクトを表示する。
いくつかの実施例において、メインウィンドウを介してターゲットオブジェクトを表示し、サブウィンドウを介してアニメキャラクターを表示する。図11は、本開示の実施例により提供されるアニメキャラクターを表示する1つの選択的なグラフィカルインタフェース概略図であり、図11を参照すれば、グラフィカルインタフェースには、メインウィンドウとサブウィンドウが含まれ、サブウィンドウがメインウィンドウの右下隅領域にあり、メインウィンドウを介してターゲットオブジェクトを表示し、メインウィンドウを介してアニメキャラクターを表示する。
ステップ304において、ターゲットオブジェクトを含む第2のフレーム画像を収集し、第1のフレーム画像と第2のフレーム画像が連続するフレーム画像である。
ここで、画像の収集はリアルタイム収集であり、第2のフレーム画像は第1のフレーム画像の後に連続するフレーム画像である。
ステップ305において、第2のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第2の位置情報を得る。
ここで、端末は、ステップ302と同じ方法を使用して、ターゲットオブジェクトのキーポイントを検出することができる。
ステップ306において、第1の位置情報と第2の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新する。
ここで、第1の位置情報と第2の位置情報の違いに基づき、ターゲットオブジェクトの姿態変化を決定することができ、第1の位置情報と第2の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新することにより、アニメキャラクターは、ターゲットオブジェクトと同じアクションを実行することができる。
いくつかの実施例において、端末は、第1の位置情報と第2の位置情報の違いに基づき、アニメキャラクターのキーポイントの位置変化を決定し、アニメキャラクターのキーポイントの位置変化に基づき、表示されているアニメキャラクターの姿態を調整し、更新後のアニメキャラクターの姿態が第2のフレーム画像におけるターゲットオブジェクトの姿態と同じになるようにする方法を用いて表示されているアニメキャラクターの姿態を更新することができる。
実際の実施では、第1の位置情報に対する第2の位置情報の変化を、ベクトルで表すことができ、次いで、2つの座標系間の対応する関係に従って、アニメキャラクターのキーポイントの位置変化を決定し、そして、アニメキャラクターのキーポイントの位置変化に基づき、表示されているアニメキャラクターの姿態を調整することができる。
実際の応用では、アニメキャラクターがすべてアニメ素材で構成されている場合に、アニメキャラクターのキーポイントの位置変化に応じて、各アニメ素材の位置を調整する。アニメキャラクターが頭部素材と描かれたアニメキャラクターの肢体との組み合わせで構成されている場合に、アニメキャラクターの頭部キーポイントの位置変化に応じて、頭部素材の位置を調整し、肢体キーポイントの位置変化に応じて、肢体の曲げ程度と位置を調整する。アニメキャラクターがすべて描かれたアニメキャラクターの頭部と肢体で構成されている場合に、アニメキャラクターのキーポイントの位置変化に応じて、線で作られた肢体の曲げ程度、位置、及び頭部の位置を調整する。
なお、端末は、ターゲットオブジェクトを含むフレーム画像をリアルタイムで収集し、収集した各フレーム画像について、画像におけるターゲットオブジェクトのキーポイントの位置情報を検出し、1つ前のフレーム画像におけるターゲットオブジェクトのキーポイントの位置情報との違いに基づき、表示されているアニメキャラクターの姿態を更新するような操作を行う。
本開示の実施例は、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得ることにより、キーポイントの第1の位置情報に基づき、ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示し、第2のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第2の位置情報を得ることにより、さらに第1の位置情報と第2の位置情報の違いに基づき、表示されているアニメキャラクターの姿態を更新し、それによって、ビデオ撮影中に、生成されたアニメキャラクターは、収集された画像におけるターゲットオブジェクトにしたがって、それと同じアクションを実行できるようになり、ユーザエクスペリエンスを向上させるための新しいインタラクション形態をユーザに提供する。
以下、本開示の実施例により提供される画像の処理方法について、頭部素材を含むロードされたアニメ素材を例として説明し、図12は、本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートであり、図12を参照すれば、本開示の実施例に係る画像の処理方法は以下を含む。
ステップ401において、クライアントがターゲットオブジェクトを含む第1のフレーム画像を収集する。
ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第1のフレーム画像を収集する。
ステップ402において、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得る。
ステップ403において、アニメキャラクターの頭部素材をロードする。
ステップ404において、キーポイントの第1の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。
ステップ405において、アニメキャラクターの肢体キーポイントの位置情報に従って、アニメキャラクターの肢体を線の形で描く。
図9に示すように、アニメキャラクターは、頭部素材と肢体素材を組み合わせて得られ、アニメキャラクターの姿態はターゲットオブジェクトと同じである。
ステップ406において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に基づき、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。
ステップ407において、グラフィカルインタフェースに表示されたときに、アニメキャラクターとターゲットオブジェクトとの相対的な位置関係は、アニメキャラクターがターゲットオブジェクトの右下にあると決定される。
ステップ408において、相対的な位置関係に基づき、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示する。
図9に示すように、同じウィンドウを介して、ターゲットオブジェクトとアニメキャラクターを表示し、アニメキャラクターがターゲットオブジェクトの右下にあり、アニメキャラクターの表示領域がターゲットオブジェクトの表示領域よりも小さい。
ステップ409において、ターゲットオブジェクトを含む第2のフレーム画像を収集し、第1のフレーム画像と第2のフレーム画像が連続するフレーム画像である。
ステップ410において、第2のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第2の位置情報を得る。
ステップ411において、第1の位置情報と第2の位置情報の違いに基づき、アニメキャラクターの頭部と肢体キーポイントの位置変化を決定する。
ステップ412において、アニメキャラクターの頭部と肢体キーポイントの位置変化に基づき、表示されているアニメキャラクターの頭部と肢体の位置を調整する。
ここで、同じウィンドウを介して、第2のフレーム画像におけるターゲットオブジェクト及び調整されたアニメキャラクターを表示し、ここで、調整されたアニメキャラクターが第2のフレーム画像におけるターゲットオブジェクトの姿態と同じになっている。
以下、本開示の実施例により提供される画像の処理方法について、頭部素材と肢体素材を含むアニメ素材を例として説明し、図13は、本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートであり、図13を参照すれば、本開示の実施例に係る画像の処理方法は、以下を含む。
ステップ501において、クライアントが、ターゲットオブジェクトを含む第1のフレーム画像を収集する。
ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第1のフレーム画像を収集する。
ステップ502において、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得る。
ステップ503において、アニメキャラクターの頭部素材と肢体素材をロードする。
ステップ504において、キーポイントの第1の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。
ステップ505において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に基づき、アニメキャラクターの頭部素材と肢体素材を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。
ステップ506において、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。
図10に示すように、アニメキャラクターは頭部素材と描かれた肢体で構成されている。
ステップ507において、グラフィカルインタフェースのメインウィンドウを介してアニメキャラクターを表示し、グラフィカルインタフェースのサブウィンドウを介してターゲットオブジェクトを表示する。
図10に示すように、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。メインウィンドウを介して表示されているアニメキャラクターの姿態は、サブウィンドウを介して表示されているターゲットオブジェクトの姿態と同じである。
ステップ508において、ターゲットオブジェクトを含む第2のフレーム画像を収集し、第1のフレーム画像と第2のフレーム画像が連続するフレーム画像である。
ステップ509において、第2のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第2の位置情報を得る。
ステップ510において、第1の位置情報と第2の位置情報の違いに基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化を決定する。
ステップ511において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化に応じて、頭部素材と肢体素材の位置を調整する。
ステップ512において、グラフィカルインタフェースのメインウィンドウを介して調整されたアニメキャラクターを表示し、グラフィカルインタフェースのサブウィンドウを介して第2のフレーム画像におけるターゲットオブジェクトを表示する。
以下、本開示の実施例により提供される画像の処理方法について、線の形で描かれたアニメキャラクターを例として説明し、図14は、本開示の実施例により提供される画像の処理方法の1つの選択的なフローチャートであり、図14を参照すれば、本開示の実施例に係る画像の処理方法は以下を含む。
ステップ601において、クライアントが、ターゲットオブジェクトを含む第1のフレーム画像を収集する。
ここで、実際の応用では、クライアントは、ショートビデオクライアント、インスタントメッセージングクライアントなどのソーシャルネットワーククライアント、または美顔カメラクライアントなどの画像処理クライアントにすることができる。クライアントは、端末のカメラを呼び出すことにより、ターゲットオブジェクトを含む第1のフレーム画像を収集する。
ステップ602において、第1のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第1の位置情報を得る。
ステップ603において、キーポイントの第1の位置情報に基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定する。
ステップ604において、アニメキャラクターの頭部キーポイントの位置情報に基づき、アニメキャラクターの頭部を線の形で描く。
図11に示すように、アニメキャラクターの頭部は円形の線である。
ステップ605において、アニメキャラクターの肢体キーポイントの位置情報に基づき、肢体キーポイントが一直線上になっていないと決定する場合に、肢体キーポイントを弧線でつなぎ、アニメキャラクターの肢体を得る。
図11に示すように、アニメキャラクターの肢体は、弧線で作られ、ここで、弧線の曲げ程度はターゲットオブジェクトの肢体の曲げ程度と同じである。
ステップ606において、描かれたアニメキャラクターの頭部と肢体を組み合わせて、ターゲットオブジェクトと同じ姿態のアニメキャラクターを得る。
ステップ607において、グラフィカルインタフェースのメインウィンドウを介してターゲットオブジェクトを表示し、グラフィカルインタフェースのサブウィンドウを介してアニメキャラクターを表示する。
図11に示すように、メインウィンドウのサイズがサブウィンドウのサイズよりも大きくし、サブウィンドウがメインウィンドウ上にある。サブウィンドウを介して表示されているアニメキャラクターは、メインウィンドウを介して表示されているターゲットオブジェクトの姿態と同じである。
ステップ608において、ターゲットオブジェクトを含む第2のフレーム画像を収集し、第1のフレーム画像と第2のフレーム画像が連続するフレーム画像である。
ステップ609において、第2のフレーム画像で、ターゲットオブジェクトのキーポイントを検出し、キーポイントの第2の位置情報を得る。
ステップ610において、第1の位置情報と第2の位置情報の違いに基づき、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化を決定する。
ステップ611において、アニメキャラクターの頭部キーポイントと肢体キーポイントの位置変化に基づき、線で作られた肢体の曲げ程度、位置、及び頭部の位置を調整する。
ステップ612において、グラフィカルインタフェースのメインウィンドウを介して第2のフレーム画像におけるターゲットオブジェクトを表示し、グラフィカルインタフェースのサブウィンドウを介して調整されたアニメキャラクターを表示する。
本開示の実施例により提供される画像の処理装置のソフトウェア実現について説明し続ける。図15を参照すれば、図15は、本開示の実施例により提供される画像の処理装置の1つの選択的な構成構造概略図であり、図15を参照すれば、本開示の実施例に係る画像の処理装置70は、
ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニット71と、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニット72と、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニット73と、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニット74であって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニット74と、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニット75と、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニット76と、を含む。
いくつかの実施例において、前記処理ユニット73は、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすること、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられる。
いくつかの実施例において、前記処理ユニット73は、さらに、前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得るために用いられる。
いくつかの実施例において、前記処理ユニット73は、さらに、前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
いくつかの実施例において、前記処理ユニット73は、さらに、前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くこと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くこと、及び
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ること、に用いられる。
いくつかの実施例において、前記処理ユニット73は、さらに、前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得るために用いられる。
いくつかの実施例において、前記処理ユニット73は、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定すること、及び
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示すること、に用いられる。
いくつかの実施例において、前記処理ユニット73は、さらに、グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応する異なるウィンドウをそれぞれ決定すること、及び
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示すること、に用いられる。
いくつかの実施例において、前記更新ユニット76は、さらに、前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定すること、及び
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすること、に用いられる。
本開示の1つ又は複数の実施例によれば、画像の処理方法を提供し、
ターゲットオブジェクトを含む第1のフレーム画像を収集することと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得ることと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集することであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像であることと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得ることと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含む。
本開示の1つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすることと、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含む。
本開示の1つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含む。
本開示の1つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含む。
本開示の1つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記アニメキャラクターの肢体を線の形で描くことは、
前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含む。
本開示の1つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含む。
本開示の1つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含む。
本開示の1つ又は複数の実施例によれば、上記画像の処理方法を提供し、前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含む。
本開示の1つ又は複数の実施例によれば、画像の処理装置を提供し、
ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニットと、
前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニットと、
前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニットであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニットと、
前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニットと、
前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含む。
本開示の1つ又は複数の実施例によれば、電子機器を提供し、
実行可能な命令を記憶するためのメモリと、
前記実行可能な命令を実行すると、本開示の実施例により提供される画像の処理方法を実現するためのプロセッサと、を含む。
本開示の1つ又は複数の実施例によれば、実行可能な命令が記憶されている記憶媒体を提供し、前記実行可能な命令が実行されると、本開示の実施例により提供される画像の処理方法を実現するために用いられる。
以上、本開示の実施例及び適用される技術的原理のみについて説明している。当業者であれば、本開示に係る開示範囲は、上記技術的特徴の特定の組み合わせによって形成される技術案に限定されず、上記開示された構想から逸脱することなく、上記技術的特徴又はその同等の特徴の任意の組み合わせによって形成されるその他の技術案、例えば、上記特徴を、本開示に開示されている(ただしこれらに限定されない)、類似する機能を備える技術的特徴と交換して形成される技術案をもカバーすべきであることを理解すべきである。
また、各操作は、特定の順序で説明されているが、これらの操作は、示されている特定の順序で、又は、順番どおりに実行される必要があることを理解すべきではない。特定の状況では、マルチタスクと並列処理が有利な場合もある。同様に、いくつかの具体的な実施の詳細は、以上の記述に含まれているが、それらは、本開示の範囲を制限するものとして解釈されるべきではない。単独の実施例のコンテキストに説明されるいくつかの特徴は、さらに、単一の実施例に組み合わせて実現されることができる。逆に、単一の実施例のコンテキストに説明されるさまざまな特徴は、複数の実施例に単独で又は任意の適切なサブ組み合わせで実現されることもできる。
本趣旨は、構造的特徴及び/又は方法の論理的操作に特定の言語で説明されているが、添付される特許請求の範囲に限定される趣旨は、必ずしも以上に説明されている特定の特徴又は操作に限定されないことを理解すべきである。逆に、以上に説明されている特定の特徴及び動作は、特許請求の範囲を実現するための一例にすぎない。。
本開示は、2019年11月01日に中国特許局に提出した、出願番号が201911060495.6で、発明の名称が「画像の処理方法、装置、電子機器及び記憶媒体」という中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。

Claims (12)

  1. 画像の処理方法であって、
    ターゲットオブジェクトを含む第1のフレーム画像を収集することと、
    前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得ることと、
    前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示することと、
    前記ターゲットオブジェクトを含む第2のフレーム画像を収集することであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像であることと、
    前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得ることと、
    前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することと、を含み、
    前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
    アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすることと、
    前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
    前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することと、を含み、
    ロードされた前記アニメ素材が完全なアニメキャラクターを作られない場合に、前記アニメキャラクターに前記アニメ素材が不足している部分を線で描くことを特徴とする画像の処理方法。
  2. 前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
    前記アニメ素材がアニメキャラクターの頭部素材と肢体素材を含む場合に、
    前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報に従って、前記頭部素材と肢体素材を組み合わせて、前記アニメキャラクターを得ることを含むことを特徴とする請求項に記載の方法。
  3. 前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
    前記アニメ素材がアニメキャラクターの頭部素材を含む場合に、
    前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
    前記頭部素材と描かれた前記アニメキャラクターの肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含むことを特徴とする請求項に記載の方法。
  4. 前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成することは、
    前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定することと、
    前記アニメキャラクターの頭部キーポイントの位置情報に基づき、前記アニメキャラクターの頭部を線の形で描くことと、
    前記アニメキャラクターの肢体キーポイントの位置情報に基づき、前記アニメキャラクターの肢体を線の形で描くことと、
    描かれた前記アニメキャラクターの頭部と肢体を組み合わせて、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを得ることと、を含むことを特徴とする請求項1に記載の方法。
  5. 前記アニメキャラクターの肢体を線の形で描くことは、
    前記アニメキャラクターの肢体キーポイントの位置に基づき、前記肢体キーポイントが一直線上になっていないと決定する場合に、
    前記肢体キーポイントを弧線でつなぎ、肢体の曲げ程度が前記ターゲットオブジェクトの肢体の曲げ程度と一致する弧線の形の肢体を得ることを含むことを特徴とする請求項に記載の方法。
  6. 前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
    グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトとの相対的な位置関係を決定することと、
    前記相対的な位置関係に基づき、同じウィンドウを介して、前記ターゲットオブジェクトと前記アニメキャラクターを表示することと、を含むことを特徴とする請求項1~のいずれか1項に記載の方法。
  7. 前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを表示することは、
    グラフィカルインタフェースに表示されたときに、前記アニメキャラクターと前記ターゲットオブジェクトに対応するウィンドウをそれぞれ決定することであって、前記アニメキャラクターと前記ターゲットオブジェクトが異なるウィンドウに対応することと、
    メインウィンドウとサブウィンドウを介して、前記アニメキャラクターと前記ターゲットオブジェクトをそれぞれ表示することと、を含むことを特徴とする請求項1~のいずれか1項に記載の方法。
  8. 前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新することは、
    前記第1の位置情報と前記第2の位置情報の違いに基づき、前記アニメキャラクターのキーポイントの位置変化を決定することと、
    前記アニメキャラクターのキーポイントの位置変化に基づき、表示されている前記アニメキャラクターの姿態を調整し、更新後の前記アニメキャラクターの姿態が前記第2のフレーム画像における前記ターゲットオブジェクトの姿態と同じになるようにすることと、を含むことを特徴とする請求項1~のいずれか1項に記載の方法。
  9. 画像の処理装置であって、
    ターゲットオブジェクトを含む第1のフレーム画像を収集するための第1の収集ユニットと、
    前記第1のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第1の位置情報を得るための第1の検出ユニットと、
    前記キーポイントの第1の位置情報に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成して表示するための処理ユニットと、
    前記ターゲットオブジェクトを含む第2のフレーム画像を収集するための第2の収集ユニットであって、前記第1のフレーム画像と前記第2のフレーム画像が連続するフレーム画像である第2の収集ユニットと、
    前記第2のフレーム画像で、前記ターゲットオブジェクトのキーポイントを検出し、前記キーポイントの第2の位置情報を得るための第2の検出ユニットと、
    前記第1の位置情報と前記第2の位置情報の違いに基づき、表示されている前記アニメキャラクターの姿態を更新するための更新ユニットと、を含み、
    前記処理ユニットは、さらに、アニメキャラクターの頭部素材、肢体素材及び服飾素材の少なくとも1つを含むアニメ素材をロードすること、
    前記キーポイントの第1の位置情報に基づき、前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報を決定すること、及び
    前記アニメキャラクターの頭部キーポイントと肢体キーポイントの位置情報、及び前記アニメ素材に基づき、前記ターゲットオブジェクトと同じ姿態のアニメキャラクターを生成すること、に用いられ、
    ロードされた前記アニメ素材が完全なアニメキャラクターを作られない場合に、前記アニメキャラクターに前記アニメ素材が不足している部分を線で描くことを特徴とする画像の処理装置。
  10. 電子機器であって、
    実行可能な命令を記憶するためのメモリと、
    前記実行可能な命令を実行すると、請求項1~のいずれか1項に記載の方法を実現するためのプロセッサと、を含むことを特徴とする電子機器。
  11. コンピュータに、請求項1~のいずれか1項に記載の方法の各ステップを実行させるためのプログラムを記録したコンピュータ読み取り可能記憶媒体。
  12. コンピュータに、請求項1~のいずれか1項に記載の方法の各ステップを実行させるためのコンピュータプログラム。
JP2022508774A 2019-11-01 2020-10-22 画像の処理方法、装置、電子機器及び記憶媒体 Active JP7356575B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911060495.6 2019-11-01
CN201911060495.6A CN112784622B (zh) 2019-11-01 2019-11-01 图像的处理方法、装置、电子设备及存储介质
PCT/CN2020/122832 WO2021083028A1 (zh) 2019-11-01 2020-10-22 图像的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
JP2022543892A JP2022543892A (ja) 2022-10-14
JP7356575B2 true JP7356575B2 (ja) 2023-10-04

Family

ID=75715724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022508774A Active JP7356575B2 (ja) 2019-11-01 2020-10-22 画像の処理方法、装置、電子機器及び記憶媒体

Country Status (4)

Country Link
US (1) US11593983B2 (ja)
JP (1) JP7356575B2 (ja)
CN (1) CN112784622B (ja)
WO (1) WO2021083028A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948237B2 (en) * 2021-12-30 2024-04-02 Samsung Electronics Co., Ltd. System and method for mimicking user handwriting or other user input using an avatar

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027315A (ja) 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US20090202114A1 (en) 2008-02-13 2009-08-13 Sebastien Morin Live-Action Image Capture
CN107831902A (zh) 2017-11-23 2018-03-23 腾讯科技(上海)有限公司 一种运动控制方法及其设备、存储介质、终端
JP2022501732A (ja) 2019-01-18 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、画像デバイス並びに記憶媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101833459B (zh) * 2010-04-14 2012-10-03 四川真视信息技术有限公司 基于网页的动态2d骨骼人物实现系统
CN102231209B (zh) * 2011-04-19 2014-04-16 浙江大学 基于异构特征降维的二维角色卡通生成方法
CN102509333B (zh) * 2011-12-07 2014-05-07 浙江大学 基于动作捕获数据驱动的二维卡通表情动画制作方法
CN102682420A (zh) * 2012-03-31 2012-09-19 北京百舜华年文化传播有限公司 一种真实人物图像转换为卡通风格图像的方法及装置
JP6245477B2 (ja) * 2014-09-18 2017-12-13 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN104616331A (zh) * 2015-02-16 2015-05-13 百度在线网络技术(北京)有限公司 移动设备上的图像处理方法和装置
CN108268120B (zh) * 2016-12-29 2020-07-28 同方威视技术股份有限公司 基于vr或ar的图像数据处理方法、设备和安检系统
KR101966384B1 (ko) * 2017-06-29 2019-08-13 라인 가부시키가이샤 영상 처리 방법 및 시스템
US10553009B2 (en) * 2018-03-15 2020-02-04 Disney Enterprises, Inc. Automatically generating quadruped locomotion controllers
CN110390705B (zh) * 2018-04-16 2023-11-10 北京搜狗科技发展有限公司 一种生成虚拟形象的方法及装置
CN113658298A (zh) * 2018-05-02 2021-11-16 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术(北京)有限公司 动画制作方法、装置、设备及存储介质
CN109308682A (zh) * 2018-10-18 2019-02-05 杭州数为科技有限公司 一种人脸识别与卡通还原方法、装置、介质及系统
CN109727303B (zh) * 2018-12-29 2023-07-25 广州方硅信息技术有限公司 视频展示方法、系统、计算机设备、存储介质和终端
CN109829960A (zh) * 2019-01-22 2019-05-31 安徽状元郎电子科技有限公司 一种vr动漫系统交互方法
CN110058685B (zh) * 2019-03-20 2021-07-09 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110047102A (zh) * 2019-04-18 2019-07-23 北京字节跳动网络技术有限公司 用于输出信息的方法、装置和系统
CN110335331B (zh) * 2019-07-08 2023-01-31 上海乂学教育科技有限公司 教学动画制作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027315A (ja) 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US20090202114A1 (en) 2008-02-13 2009-08-13 Sebastien Morin Live-Action Image Capture
CN107831902A (zh) 2017-11-23 2018-03-23 腾讯科技(上海)有限公司 一种运动控制方法及其设备、存储介质、终端
JP2022501732A (ja) 2019-01-18 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、画像デバイス並びに記憶媒体

Also Published As

Publication number Publication date
CN112784622B (zh) 2023-07-25
CN112784622A (zh) 2021-05-11
US20220172418A1 (en) 2022-06-02
US11593983B2 (en) 2023-02-28
WO2021083028A1 (zh) 2021-05-06
JP2022543892A (ja) 2022-10-14

Similar Documents

Publication Publication Date Title
EP3092595B1 (en) Managing display of private information
US20210312695A1 (en) Hair rendering method, device, electronic apparatus, and storage medium
CN111408136A (zh) 一种游戏交互控制方法、装置及存储介质
KR20150137828A (ko) 데이터 처리 방법 및 그 전자 장치
KR20180109229A (ko) 전자 장치에서 증강현실 기능 제공 방법 및 장치
EP3803799A1 (en) Virtual skeleton based on computing device capability profile
JP7356575B2 (ja) 画像の処理方法、装置、電子機器及び記憶媒体
WO2022199102A1 (zh) 图像处理方法及装置
CN112023403B (zh) 基于图文信息的对战过程展示方法及装置
CN112755517B (zh) 虚拟对象控制方法、装置、终端及存储介质
CN112870697B (zh) 基于虚拟关系养成程序的交互方法、装置、设备及介质
CN112367533B (zh) 交互业务的处理方法、装置、设备及计算机可读存储介质
WO2023246859A1 (zh) 交互方法、装置、电子设备和存储介质
CN106168850A (zh) 用于显示屏幕的电子设备及其控制方法
CN112711335B (zh) 虚拟环境画面的显示方法、装置、设备及存储介质
CN111589168B (zh) 即时通讯方法、装置、设备及介质
CN111598981B (zh) 角色模型的显示方法、装置、设备及存储介质
WO2021143262A1 (zh) 地图元素添加方法、装置、终端及存储介质
CN108476314A (zh) 内容显示方法以及执行该方法的电子装置
CN112579037A (zh) 音频控制方法、装置、存储介质及电子设备
JPWO2020031493A1 (ja) 端末装置および端末装置の制御方法
CN113058266B (zh) 虚拟环境中场景字体的显示方法、装置、设备及介质
CN117991889A (zh) 信息交互方法、装置、电子设备和存储介质
CN114037783A (zh) 动画播放方法、装置、设备、可读存储介质及程序产品
US10437463B2 (en) Motion-based graphical input system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7356575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150