JP7209851B2 - 画像変形の制御方法、装置およびハードウェア装置 - Google Patents

画像変形の制御方法、装置およびハードウェア装置 Download PDF

Info

Publication number
JP7209851B2
JP7209851B2 JP2021542563A JP2021542563A JP7209851B2 JP 7209851 B2 JP7209851 B2 JP 7209851B2 JP 2021542563 A JP2021542563 A JP 2021542563A JP 2021542563 A JP2021542563 A JP 2021542563A JP 7209851 B2 JP7209851 B2 JP 7209851B2
Authority
JP
Japan
Prior art keywords
image
audio file
deformation
obtaining
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021542563A
Other languages
English (en)
Other versions
JP2022518520A (ja
Inventor
言浩 沈
旭 范
光耀 倪
▲輝▼ ▲楊▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022518520A publication Critical patent/JP2022518520A/ja
Application granted granted Critical
Publication of JP7209851B2 publication Critical patent/JP7209851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

（関連出願への相互参照）
本出願は、２０１９年０１月２５日に中国専利局（特許庁に相当する）に提出し、出願番号が２０１９１００７３６１０．７であり、発明の名称が「画像変形の制御方法、装置およびハードウェア装置」である中国特許出願の優先権を出張し、その中国出願の全文の内容を本出願に組み込む。
本発明は、画像処理の技術分野に属し、特に、画像変形の制御方法、装置およびハードウェア装置に関するものである。
コンピューター技術の発展に伴い、インテリジェント端末（intelligent terminal）の応用範囲はますます広くなっている。例えば、インテリジェント端末で音楽を聞き、ゲームをし、オンラインチャットをし、写真を撮ることができる。インテリジェント端末のカメラ技術の発展に伴い、そのカメラのピクセルは千万以上になり、高いアーティキュレーションを獲得し、プロフェッショナルカメラに匹敵する撮影の品質を獲得することができる。
従来のインテリジェント端末のカメラで写真を撮るとき、出荷時インテリジェント端末にインストールされる撮影ソフトにより一般の写真を獲得することができ、かつインターネットからダウンロードしたアプリケーション（Application、ＡＰＰと略称）、例えばダークライト（dark light）を検出するＡＰＰ、ビューティプラス（BeautyPlus）を獲得できるＡＰＰ、スーパーピクセル（Super pixel）を獲得するＡＰＰ等により写真の品質を更に向上させることができる。インテリジェント端末の特殊効果機能は通常、肌の色を調節し、大目を獲得し、顏のスリム効果を獲得することを含み、画像において検出した顔部に対して一定の特殊効果処理（ビューティプラス）をすることができる。
しかしながら、従来の技術において、特殊効果を獲得するため、特殊効果を予め設定した後、その特殊効果をビデオまたは画像中に合成させる必要がある。特殊効果を改正する必要がある場合、特殊効果を再び作成した後、その特殊効果をビデオまたは画像中に再び合成させる必要があるので、特殊効果を獲得する利便性がよくない。
本発明の一つ目の目的は下記技術的事項を提供することにある。
本発明の画像変形の制御方法は、処理待機画像を獲得するステップと、オーディオファイルを獲得するステップと、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップと、前記第一属性値により前記画像変形の幅を確定するステップと、前記画像変形の幅により前記処理待機画像に対して変形処理をするステップとを含む。
本発明の実施例において、前記処理待機画像を獲得するステップは、ビデオ画像を獲得した後、前記ビデオ画像中のビデオフレーム画像を処理待機画像にするステップを含む。
本発明の実施例において、前記オーディオファイルを獲得するステップは、前記ビデオ画像に含まれるオーディオファイルを獲得するステップを含む。
本発明の実施例において、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップは、前記オーディオファイルを再生するステップと、前記ビデオ画像が現在再生しているビデオフレーム画像を獲得するステップと、前記ビデオフレーム画像により現在のタイミングを計算するステップと、前記現在のタイミングにより前記オーディオファイルの第一属性値を獲得するステップとを含む。
本発明の実施例において、前記オーディオファイルを獲得するステップは、オーディオファイルを獲得した後そのオーディオファイルを分析することにより、前記オーディオファイル中の各タイミングとオーディオファイルの第一属性値の対応関係表を獲得するステップを含む。
本発明の実施例において、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップは、前記オーディオファイルを再生するステップと、前記オーディオの現在の再生タイミングを獲得するステップと、前記対応関係表により現在の再生タイミングに対応する第一属性値を獲得するステップとをこと含む。
本発明の実施例において、前記第一属性値により前記画像変形の幅を確定するステップは、第一属性値と前記画像変形の幅の対応関係を獲得するステップと、前記第一属性値と前記対応関係により前記画像変形の幅を計算するステップとを含む。
本発明の実施例において、前記画像変形の幅により前記処理待機画像に対して変形処理をするステップは、変形のタイプを獲得するステップと、前記画像変形のタイプと画像変形の幅により前記処理待機画像に対して変形処理をするステップとを含む。
本発明の実施例において、前記変形のタイプを獲得するステップは、現在の画像の状態シリアルナンバーを獲得するステップと、前記状態シリアルナンバーにより変形のタイプを獲得するステップとを含む。
本発明の実施例において、前記現在の画像の状態シリアルナンバーを獲得する前記ステップは、画像の変形の幅を獲得するステップと、前記画像変形の幅が第一閾値より大きいとき、変形位置の値をトゥルースバリュウに設定し、かつ現在の画像の状態シリアルナンバーを獲得するステップと、前記画像変形の幅が第一閾値より小さく、かつ変形位置の値がトゥルースバリュウであるとき、現在の画像の状態シリアルナンバーに１を加えることにより第一状態シリアルナンバーを獲得するステップと、前記第一状態シリアルナンバーを前記状態シリアルナンバーの総数で除して獲得した余りを現在の画像の状態シリアルナンバーにするステップとを含む。
本発明の二つ目の目的は下記技術的事項を提供することにある。
本発明の画像変形の制御装置は、処理待機画像を獲得することに用いられる画像獲得モジュールと、オーディオファイルを獲得することに用いられるオーディオファイル獲得モジュールと、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得することに用いられる第一属性値獲得モジュールと、前記第一属性値により前記画像変形の幅を確定することに用いられる変形幅獲得モジュールと、前記画像変形の幅により前記処理待機画像に対して変形処理をすることに用いられる変形処理モジュールとを含む。
本発明の実施例において、前記画像獲得モジュールはビデオ画像獲得モジュールを更に含み、そのビデオ画像獲得モジュールは、ビデオ画像を獲得し、かつ前記ビデオ画像中のビデオフレーム画像を処理待機画像にすることに用いられる。
本発明の実施例において、前記オーディオファイル獲得モジュールは前記ビデオ画像に含まれるオーディオファイルを獲得することにも用いられる。
本発明の実施例において、前記第一属性値獲得モジュールは、前記オーディオファイルを再生することに用いられる第一オーディオファイル再生モジュールと、前記ビデオ画像が現在再生しているビデオフレーム画像を獲得することに用いられるビデオフレーム画像獲得モジュールと、前記ビデオフレーム画像により現在のタイミングを計算することに用いられる第一タイミング獲得モジュールと、前記現在のタイミングにより前記オーディオファイルの第一属性値を獲得する第一属性値獲得モジュールとを含む。
本発明の実施例において、前記オーディオファイル獲得モジュールはオーディオファイル分析モジュールを含み、前記オーディオファイル分析モジュールは、オーディオファイルを獲得した後そのオーディオファイルを分析することにより、前記オーディオファイル中の各タイミングとオーディオファイルの第一属性値の対応関係表を獲得することに用いられる。
本発明の実施例において、前記第一属性値獲得モジュールは、前記オーディオファイルの現在の再生タイミングを計算する第二タイミング獲得モジュールと、前記対応関係表により現在の再生タイミングに対応する第一属性値を獲得する第二第一属性値獲得モジュールとを含む。
本発明の実施例において、前記変形幅獲得モジュールは、第一属性値と前記画像変形の幅の対応関係を獲得する対応関係獲得モジュールと、前記第一属性値と前記対応関係により前記画像変形の幅を計算する画像変形幅計算モジュールとを含む。
本発明の実施例において、前記変形処理モジュールは、変形のタイプを獲得する変形タイプ獲得モジュールと、前記画像変形のタイプと画像変形の幅により前記処理待機画像の変形処理をする第一変形処理モジュールとを含む。
本発明の実施例において、前記変形タイプ獲得モジュールは、処理待機画像を分割することにより処理を待っている目標対象の輪郭区域を獲得する状態シリアルナンバー獲得モジュールと、前記状態シリアルナンバーにより変形のタイプを獲得する変形タイプ獲得モジュールとを含む。
本発明の実施例において、前記状態シリアルナンバー獲得モジュールは、前記画像変形の幅を獲得する第一変形幅獲得モジュールと、前記画像変形の幅が第一閾値より大きいとき、変形位置の値をトゥルースバリュウに設定し、かつ現在の画像の状態シリアルナンバーを獲得する第一現在状態シリアルナンバー獲得モジュールと、前記画像変形の幅が第一閾値より小さく、かつ変形位置の値がトゥルースバリュウであるとき、現在の画像の状態シリアルナンバーに１を加えることにより第一状態シリアルナンバーを獲得し、前記第一状態シリアルナンバーを前記状態シリアルナンバーの総数で除して獲得した余りを現在の画像の状態シリアルナンバーにする第二現在状態シリアルナンバー獲得モジュールとを含む。
本発明の三つ目の目的は下記技術的事項を提供することにある。
本発明の電子装置は、非過渡性コンピュータ読み取り可能な指令を記憶する記憶装置と、前記コンピュータ読み取り可能な指令を実行することにより前記いずれか一項に記載の画像変形の制御方法中の各ステップを実施する処理装置とを含む。
本発明の四つ目の目的は下記技術的事項を提供することにある。
本発明のコンピュータ読み取り可能な記憶媒体は、非過渡性コンピュータ読み取り可能な指令を記憶し、前記非過渡性コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記コンピュータは前記いずれか一項に記載の画像変形の制御方法中の各ステップを実施する。
本発明は、画像変形の制御方法、装置およびハードウェア装置を公開する。前記画像変形の制御方法は、処理待機画像を獲得するステップと、オーディオファイルを獲得するステップと、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップと、前記第一属性値により前記画像変形の幅を確定するステップと、前記画像変形の幅により前記処理待機画像に対して変形処理をするステップとを含む。本発明の実施例に係る画像変形の制御方法はオーディオファイルの属性値により画像変形の幅を制御することにより、従来の技術により変形の特殊効果を容易に獲得することができない問題を解決することができる。
以上、本発明の技術的事項を簡単に説明してきた。本発明の技術的事項をより詳細に理解し、明細書の内容のとおりに実施し、本発明の前記目的、特徴および発明の効果をより詳細に理解してもらうため、以下、本発明の好適な実施例と図面により本発明を詳細に説明する。
本発明の実施例の技術事項をより詳細に説明するため、以下、本発明の実施例において用いられる図面を簡単に説明する。注意されたいことは、下記図面は本発明の例示にしか過ぎないものであり、この技術分野の技術者は下記図面により創造的な研究をしなくても他の図面を想到することができ、それらがあっても本発明に含まれることは勿論である。
本発明の実施例に係る画像変形の制御方法を示す流れ図である。 本発明の画像変形の制御方法中のステップＳ１０５０１の具体的な実施例を示す流れ図である。 本発明の画像変形の制御方法中のステップＳ２０１の具体的な実施例を示す流れ図である。 本発明の画像変形の制御方法中の状態変換方法の具体的な実施例を示す図である。 本発明の実施例に係る画像変形の制御装置の構造を示す図である。 本発明の実施例に係る画像変形の制御装置中の変形タイプ獲得モジュール５０５０１の具体的な実施例の具体的な構造を示す図である。 本発明の実施例に係る電子装置の構造を示す図である。
以下、特定の具体的な実施例により本発明の実施形態を説明し、この技術分野の技術者はその明細書が公開する事項により本発明の利点と効果を容易に理解することができる。注意されたいことは、下記実施例は本発明の一部分の実施例を示すものであり、本発明のすべての実施例を示すものでない。この明細書に記載されていない他の具体的な実施形態により本発明を実施するか或いは応用することもできる。観点と応用が異なる場合、本発明の要旨を逸脱しない範囲において本発明の各細部に対していろいろな変更または改良をすることができる。注意されたいことは、矛盾がない場合、下記実施例と実施例中の特徴を組み合わせることができる。本発明の実施例において、本技術分野の技術者は創造的な研究をしなくても他の実施例を想到することができ、それらがあっても本発明に含まれることは勿論である。
注意されたいことは、下記明細書において特許請求の範囲に係る実施例の各事項を説明する。周知のように、この明細書において説明する事項をいろいろな方面に応用することができ、この明細書において説明する任意の特徴と／或いは機能は本発明の例示にしか過ぎないものである。本技術分野の技術者は本発明の事項により本発明の各実施例を独自に実施するか或いは複数の実施例において２つまたは２つ以上を組み合わせて実施することができる。例えば、本発明の任意の数量の実施例に係る装置と／或いは実施方法を自由に採用することができる。本発明において説明する１個または複数個の実施例にのみ限定されるものでなく、他の構造と／或いは機能を採用することにより本発明の装置と／或いは実施方法を実施することもできる。
注意されたいことは、本発明の実施例において提供する図面は本発明の基本的構成のみを示すものであり、図面には本発明の実施例に係るモジュールが示されているが、それらは本発明を実施するときの実際のモジュールの数量、形態およびサイズを示すものでない。本発明を実施するとき、モジュールの形態、数量および比例を自由に変化させ、各モジュールの配置もより複雑になることができる。
下記実施例において提供する具体的な細部は本発明を徹底的に理解してもらうための実例である。本技術分野の技術者は下記具体的な細部がなくても本発明を実施することができる。
本発明の実施例において、画像変形の制御方法を提供する。本実施例に係る前記画像変形の制御方法は１つのコンピュータによって実行され、前記コンピュータはソフトウェアまたはソフトウェアとハードウェアの組合せにより前記画像変形の制御方法を実施することができる。前記コンピュータはサーバー、端末装置等に設けられることができる。図１に示すとおり、前記画像変形の制御方法は、主として、下記ステップＳ１０１～ステップＳ１０５を含む。
ステップＳ１０１において、処理待機画像を獲得する。
本実施例において、画像センサーにより処理待機画像を獲得することができる。前記画像センサーは画像を検出するいろいろな装置であることができ、常用する画像センサーは、ビデオカメラ、ウェブカム、カメラ等であることができる。本実施例において、前記画像センサーは端末装置に設けられるウェブカム、例えばスマートホンに設けられる前部カメラまたは後部カメラであることができる。ウェブカムが検出した画像はスマートホンの表示パネルに直接に表示されることができる。ステップＳ１０１において、画像センサーが検出したビデオ画像を獲得し、かつそのビデオ画像を次の画像処理に用いる。
本実施例において、獲得した前記処理待機画像は現在の端末装置が採集したビデオの現在の画像フレーム（image frame）であることができる。ビデオは複数の画像フレームで構成されるので、前記ステップＳ１０１においてビデオ画像を獲得した後、前記ビデオ画像中のビデオフレーム画像を処理待機画像にすることができる。好ましくは、前記ビデオ画像を獲得した後、前記ビデオ画像中のビデオフレーム画像を処理待機画像にするステップは、前記ビデオ画像において現在の再生タイミングに対応するビデオフレーム画像を獲得し、かつ現在の再生タイミングに対応する前記ビデオフレーム画像を処理待機画像にすることを含む。本実施例において、現在のタイミングが異なることによりビデオ画像において異なるビデオフレーム画像を獲得して処理することができる。
ステップＳ１０２において、オーディオファイルを獲得する。
ステップＳ１０２において、前記オーディオファイルは現地の記憶装置に記憶されるオーディオファイルであるか或いはネットワークストレージ（network storage）に記憶されるオーディオファイルであり、常用のオーディオファイルは音楽、人の声等であることができる。
本発明の実施例において、オーディオファイルを獲得するステップは、オーディオファイルを獲得した後そのオーディオファイルを分析することにより、前記オーディオファイル中の各タイミングとオーディオファイルの第一属性値の対応関係表を獲得することを含む。好ましくは、前記オーディオファイルと処理待機画像はそれぞれ存在するものであり、前記画像は動く画像例えばビデオまたは動画である或いは静止している画像例えば写真であることができる。用いようとするオーディオファイルを獲得し、かつそのオーディオファイルに対して予め処理をする。前記予め処理は各タイミングにおいてオーディオファイルに対して分析をするものであり、前記タイミングはサンプリングの周波数により設定されることができる。本発明の実施例において、各タイミングの間の長さを１０ｍｓにすることができる。すなわち毎１０ｍｓを空けてタイミングを１つずつサンプリングすることができる。前記タイミングにおいてオーディオファイルの第一属性値を分析する。前記オーディオファイルの第一属性値はオーディオファイルの任意の属性、例えば音量、音調、音色、レングス、リズム等であることができる。本実施例において、オーディオファイルの第一属性値がリズムの強度である例において、リズムの強度を５つのレベルに設定することができる。各タイミングにおいて、オーディオファイルを分析することにより前記タイミングに対応するリズムの強度のレベルを獲得することができる。オーディオファイルを分析した後、タイミングとそのタイミングに対応するリズムの強度のレベルの対応関係を獲得することができる。本発明の実施例において、対応関係表により前記対応関係を保存することができる。下記表に示すとおり、対応関係表の１つの実施例は次のとおりである。
Figure 0007209851000001
他の実施例において、前記オーディオファイルと処理待機画像を関連させ、前記画像は動く画像例えばビデオまたは動画である或いは静止している画像例えば写真であることができる。常用の関連関係は前記オーディオファイルと処理待機画像が具備している対応関係であることができる。ビデオを再生するか或いは写真を開くとき、前記オーディオファイルはそれらと一緒に再生される。常用の状況は前記オーディオファイルがビデオ中のオーディオファイルであるか或いは写真内のオーディオファイルであることができる。本実施例において、用いられるオーディオファイルを獲得した後、そのオーディオファイルに対して予め処理をする。前記予め処理は各タイミングにおいてオーディオファイルに対して分析するものであり、前記タイミングはサンプリングの周波数により設定されることができる。本発明の実施例において、サンプリングの周波数は画像の属性に係っている。例えば画像がビデオであるとき、毎秒のビデオは３０フレームのビデオフレームを含み、各タイミングの間の長さを３３ｍｓにすることができる。すなわち毎３３ｍｓを空けてタイミングを１つずつサンプリングすることができる。その場合、タイミングはビデオフレームに対応する。画像が動画であるとき、その動画には複数のフレームの写真が含まれ、各フレームの写真が現れる時間をタイミングにする。例えば画像が静態の写真であるとき、タイミングを任意に設定することができる。画像がビデオまたは動画であるときも、タイミングを任意に設定することができる。本発明はそれを再び説明しない。前記タイミングにおいてオーディオファイル属性データを分析し、前記オーディオファイル属性データはオーディオファイルのいずれかの属性、例えば音量、音調、音色、レングス、リズム等であることができる。本実施例において、オーディオファイル属性データがリズムの強度である例において、リズムの強度を５つのレベルに設定することができる。各タイミングにおいて、オーディオファイルを分析することにより前記タイミングに対応するリズムの強度のレベルを獲得することができる。オーディオファイルを分析した後、タイミングとそのタイミングに対応するリズムの強度のレベルの対応関係を獲得することができる。本発明の実施例において、対応関係表により前記対応関係を保存することができる。この選択可能な実施例の対応関係表は前記選択可能な実施例の対応関係表と類似しているので、ここで再び説明しない。前記対応関係表はタイミングとオーディオファイル属性の値の対応関係表であることもでき、それをオーディオファイル属性の値のレベルに直接に対応させる必要がない。本発明はそれを再び説明しない。
対応関係表の実施例において、前記対応関係表において、前記タイミングはタイミングＩＤと当該タイミングＩＤに対応するオーディオファイル属性データを含む。好適な前記タイミングＩＤはタイミングアレイ中の番号であることができる。
注意されたいことは、前記実施例において、オーディオファイルを予め分析する方法を説明してきたが、前記方法は本発明を限定するものでなく、従来のいずれかの分析方法を本発明に用いることができる。前記ステップにおいて、オーディオファイルを分析せず、オーディオファイルを獲得することができる。オーディオファイルを予め分析しない方法について下記明細書において説明するので、ここで再び説明しない。
ステップＳ１０３において、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得する。
本発明の実施例において、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップは、前記オーディオの現在の再生タイミングを獲得することと、前記対応関係表により現在の再生タイミングに対応する第一属性値を獲得することとを含む。
本発明の実施例において、前記オーディオと処理待機画像はそれぞれ存在するものであり、前記オーディオの現在の再生のタイミングを獲得する。現在の再生の時間が所定のタイミングに位置していない場合、現在の再生の時間を上または下へ調節することにより現在のタイミングを確定することができる。現在のタイミングによりステップＳ１０２において形成する対応関係表を検出し、現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得し、かつそれをオーディオファイルの第一属性値に表記する。好適な実施例において、前記タイミングの番号により前記対応関係表において前記番号と一致するタイミングに対応する前記オーディオファイルの属性値を獲得し、かつ前記オーディオファイルの属性値をオーディオファイルの第一属性値にすることができる。
本発明の他の実施例において、前記オーディオと前記処理待機画像を関連させることができる。例えば前記オーディオはビデオ中のオーディオであり、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップは、前記オーディオファイルを再生すること、前記ビデオ画像が現在再生しているビデオフレーム画像を獲得することと、前記ビデオフレーム画像により現在のタイミングを計算することと、前記現在のタイミングにより前記オーディオファイルの第一属性値を獲得することとを含む。前記ステップＳ１０１のサンプリング方法において、ビデオフレームが現れる周波数によりオーディオのタイミングをサンプリングすることができる。そのとき、ビデオフレームとオーディオのタイミングは対応関係を有しており、ビデオフレームの番号とオーディオのタイミングの番号は１つずつ対応する。そのときビデオフレームにより現在のタイミングを計算することができる。前記現在のタイミングの番号により対応関係表において番号が一致するタイミングに対応するオーディオファイルの属性値を検出し、そのオーディオファイルの属性値をオーディオファイルの第一属性値にする。
本発明の実施例において、ステップＳ１０２において前記オーディオを予め解読しないとき、前記オーディオを再生し、現在の再生タイミングに対応するオーディオファイルの第一属性値を確定するステップは、前記オーディオを再生し、かつ現在の再生タイミングのオーディオをサンプリングすることによりサンプリングオーディオを獲得するステップと、前記サンプリングオーディオを解読することによりオーディオファイルの第一属性値を獲得するステップとを含む。本実施例において、サンプリングの周波数を予め設定した後、オーディオを再生するとき、オーディオを随時にサンプリング分析することによりオーディオの属性を獲得する。前記属性は前記ステップＳ１０２中のいずれか１つのオーディオファイルの属性であることができる。本実施例において、サンプリングの周波数、オーディオファイルの属性およびオーディオファイルの属性値に対応するレベルのみを予め設定し、タイミングとオーディオ属性のレベルまたはオーディオ属性値の対応関係表を予め設定する必要がない。
ステップＳ１０４において、前記第一属性値により前記画像変形の幅を確定する。
本発明の実施例において、前記第一属性値により前記画像変形の幅を確定するステップは、第一属性値と前記画像変形の幅の対応関係を獲得することと、前記第一属性値と前記対応関係により前記画像変形の幅を計算することとを含む。
本実施例において、前記第一属性値と前記画像変形の幅の対応関係を獲得することは第一属性値と前記画像変形の幅の対応関係を獲得することであることができる。本実施例において、第一属性値と前記画像変形の幅の一対一の対応関係を予め設定し、第一属性値と前記画像変形の幅の対応関係を形成することができる。本実施例において、ステップＳ１０２のように前記第一属性値を５つのレベルに分け、各レベルを１つの変形の幅に対応させることができる。本実施例において、前記変形の幅は検出により獲得することができるので、前記第一属性値と前記対応関係により前記画像変形の幅を計算するステップは、前記第一属性値と前記画像変形の幅の対応関係表において前記第一属性値を検出し、かつ前記第一属性値に対応する画像変形の幅を獲得するステップを含む。
本実施例において、前記第一属性値と前記画像変形の幅の対応関係を獲得するとき、第一属性値により前記画像変形の幅を計算する函数関係により獲得することができる。前記函数関係は線形函数関係であるか或いは非線形函数関係であることができ、前記函数関係により変形するいろいろな変形の幅を提供することができる。本実施例において、ステップＳ１０２のように前記第一属性値を５つのレベルに分けることができる。他の実施例において、第一属性の最初値を直接に用いることができる。例えば、音楽の強度により画像変形の幅を計算することができるが、本発明はそれを限定しない。
ステップＳ１０５において、前記画像変形の幅により前記処理待機画像に対して変形処理をする。
本発明の実施例において、前記画像変形の幅により前記処理待機画像に対して変形処理をするとき、前記画像変形の幅を変形処理のパラメーターにすることにより変形処理の程度を設定し、変形程度が設定された変形処理により処理待機画像に対して変形処理をすることにより変形後の画像を獲得する。
本発明の実施例において、前記画像変形の幅により前記処理待機画像に対して変形処理をするステップは、変形のタイプを獲得するステップＳ１０５０１と、前記画像変形のタイプと画像変形の幅により前記処理待機画像に対して変形処理をするステップＳ１０５０２とを含む。本発明の実施例において、変形のタイプを予め設定することができる。本実施例において、予め設定した変形のタイプとステップＳ１０４において獲得した変形の幅により前記処理待機画像に対して変形処理をする。他の実施例において、変形のタイプの触発条件を予め設定することができる。例えば使用者が目のまばたきを二回するか或いは目を拡大させることを検出するか或いは使用者が手を動かすことを検出するとき、画像中の人の口を縮小することができる。本実施例において、触発条件と変形タイプの対応関係を予め設定し、かつその対応関係をコンフィグレーションファイル（configuration file）に記憶させることができる。触発条件が検出されるとき、所定の変形タイプを獲得した後、コンフィグレーションによりいろいろな変形タイプを切り替えることができる。
本発明の実施例において、前記処理待機画像は使用者の顔部画像であり、前記変形は顔部画像の五官の形状を変形させることである。本実施例において、変形に対応する五官を予め設定することができる。五官の変形において、処理待機画像から五官を分割する必要がある。五官を分割するとき、まず顔部を検出する。そのときいずれか１つの画像または一組の画像シリアルにより顔部を検出する。一定の手段によって検出することによりすべての顔部の位置と区域を確定し、いろいろな画像または画像シリアルに顔部が存在するかを確定し、かつ顔部の数量と空間の配列を確定する。顔部を検出する方法は下記四種類がある。（１）知識を先に検出する方法、その方法は常用の顔部により規則ベースを形成するとともに顔部に番号をつけ、面部特徴の間の関係により顔部の位置を決める。（２）特徴不変方法、その方法は姿勢、視覚または光線の条件が変化しているとき安定している特徴を検出し、その特徴らにより顔部を確定する。（３）テンプレをマッチングする方法、その方法には複数の標準的な顔モデルが記憶され、その標準的な顔モデルらは顔部と面部特徴をそれぞれ示す。入力画像と記憶モデルとの間の対応関係を計算し、その対応関係を検出に用いる。（４）外観による方法、その方法はテンプレマッチング方法と異なっており、訓練画像集合において学習をすることによりモデルを獲得した後、そのモデルを検出に用いる。前記4つの方法のうちいずれか1つの方法により顔部を検出する過程において、まず特徴を検出することによりモードを形成する。本実施例において、Haar特徴を顔部を判断するキーポイント特徴にする。Haar特徴は簡単な矩形特徴であるので、それを検出する速度が早い。Haar特徴の計算に用いられる特徴テンプレは簡単な矩形の組み合わせを用い、その矩形の組み合わせは２つまたは複数の同様の矩形で構成される。特徴テンプレには黒色と白色の矩形が含まれている。次に、AdaBoost計算方法により大量のHaar特徴においてキーポイントになることができる一部分の特徴を検出し、その特徴により有効な分類装置を構成し、構成される分類装置により画像中の顔部を検出する。
顔部を検出した後、予め定義したキーポイントにより使用者の五官を分割する。常用する顔部において、１０８個のキーポイントにより顔部の輪郭、目、眉毛、口、鼻、耳等を表記することができ、キーポイントの位置により五官が異なっている画像を分割することができる。
前記具体的な実施例は、本発明の例示にしか過ぎないものであり、本発明を限定するものでない。画像を分割する方法は多く、使用者の五官を分割することができるものであればいずれも本発明に用いることができ、本発明はそれらを１つずつ説明しない。
使用者の五官を分割し、前記方法により変形のタイプと所定の五官を獲得した後、変形の幅と所定の五官により画像に対して変形処理をする。
本実施例において、変形の幅はオーディオファイルに係っているので、オーディオファイルにより画像に対して変形処理を自動にすることができるので、画像に向いて変形処理後の画像を用意する必要がない。
本発明の実施例において、前記処理待機画像は画像中の目標対象であり、前記実施例の五官において前記第一属性値により前記現在のビデオ画像フレーム中の目標対象に対して変形処理をする。前記現在のビデオ画像フレームは複数の対象を含み、前記実施例に係る処理方法により画像フレームを処理することができる。本実施例において、前記処理待機画像はビデオであり、ビデオを再生するとき、各フレームのビデオフレームの目標対象の形態が変化する場合があるので、各フレームのビデオフレームを処理することはオーディオのタイミングが変化することにより変化し、ビデオフレームの目標対象の特殊効果がオーディオの変化により変化する効果を獲得することができる。
本発明の第二実施例において画像変形の制御方法を提供する。本実施例に係る前記画像変形の制御方法は１つのコンピュータによって実行され、前記コンピュータはソフトウェアまたはソフトウェアとハードウェアの組合せにより前記画像変形の制御方法を実施することができる。前記コンピュータはサーバー、端末装置等に設けられることができる。図２に示すとおり、第二実施例において、前記第一実施例中のステップＳ１０５０１は、現在の画像の状態シリアルナンバーを獲得するステップＳ２０１と、前記状態シリアルナンバーにより変形のタイプを獲得するステップＳ２０２とを含む。
本実施例において、前記画像は状態シリアルナンバーを含み、各状態シリアルナンバーは１つの変形の目標対象と変形のタイプに対応する。具体的に、状態シリアルナンバー１は左眉毛の動きに対応し、状態シリアルナンバー２は右眉毛の動きに対応し、状態シリアルナンバー３は左右眉毛の動きに対応し、状態シリアルナンバー４は左眉毛の動きと左目の増大に対応するように複数の状態を設定することができる。その場合、各状態は所定の状態シリアルナンバーを具備し、現在の状態シリアルナンバーを獲得することにより変形のタイプを確定することができる。
本発明の実施例において、変形処理をするとき画像の複数の状態シリアルナンバーを切り替えることにより複数の状態シリアルナンバーを切り替える効果を実現することができる。具体的に、図３に示すとおり、現在の画像の状態シリアルナンバーを獲得する前記ステップＳ２０１は、画像の変形の幅を獲得するステップＳ３０１と、前記画像変形の幅が第一閾値より大きいとき、変形位置の値をトゥルースバリュウ（truth value）に設定し、かつ現在の画像の状態シリアルナンバーを獲得するステップＳ３０２と、前記画像変形の幅が第一閾値より小さく、かつ変形位置の値がトゥルースバリュウであるとき、現在の画像の状態シリアルナンバーに１を加えることにより第一状態シリアルナンバーを獲得するステップＳ３０３と、前記第一状態シリアルナンバーを前記状態シリアルナンバーの総数で除して獲得した余りを現在の画像の状態シリアルナンバーにするステップＳ３０４とを含む。
前記実施例において、現在の状態シリアルナンバーをstateに設定し、デフォルト状態シリアルナンバーを１に設定する。すなわち画像のデフォルト状態を１に設定し、state＝１になる。変形の幅を獲得し、前記変形の幅をintensityに設定し、現在のstate値により変形のタイプを獲得し、現在のstateに対応する五官に対して変形処理をする。始まるとき、state＝１になる。そのとき、intensityが第一閾値より大きいかを判断し、intensityが第一閾値より大きい場合、変形位置をトゥルースバリュウに設定し、変形位置をflagに設定し、変形位置の値をtrueに設定する。intensityが第一閾値より小さく、flagの値がtureであるとき、state＝（state＋１）％max_state_numである。その式において、max_state_numは状態の数量であり、％は（割り算の）余りを獲得する計算方法である。図４に示すとおり、図４は状態を切り替える具体的な実施例であり、その実施例は１２個の状態を含み、状態は１から始まる。獲得した変形の幅が前記第一閾値より大きいとき、変形処理を始め、flag＝tureに設定する。変形の幅が前記第一閾値より常に大きいとき、変形処理は常に状態１になっており、それは左眉毛が動くことを意味する。変形の幅が前記第一閾値より小さいか或いは等しく、かつflag＝tureであるとき、（state＋１）％max_state_numにより現在のstate値を計算する。本実施例において、max_state_num＝１２、state＋１＝２であり、割り算の余りは２であるとき、状態を状態２に切り替える。そのとき、状態シリアルナンバーは２であり、左眉毛が動く変形処理を始める。前記処理を繰り返し、状態が１２まで達するとき、state＋１＝１３になり、獲得した（state＋１)％max_state_numは１になり、状態１に切り替えて第二回の循環を始める。
前記実施例において、音楽のリズムの強度が閾値に達すると、画像中の目標対象に対して変形処理をする。目標対象と変形のタイプは状態シリアルナンバーにより決められ、状態シリアルナンバーは所定の規則に従って変化し、状態シリアルナンバーが複数の状態において切り替えられることにより目標対象と変形処理のタイプを変化させ、音楽が異なることにより異なる循環変形の処理効果を獲得することができる。
本発明は、画像変形の制御方法、装置およびハードウェア装置を公開する。前記画像変形の制御方法は、処理待機画像を獲得するステップと、オーディオファイルを獲得するステップと、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップと、前記第一属性値により前記画像変形の幅を確定するステップと、前記画像変形の幅により前記処理待機画像に対して変形処理をするステップとを含む。本発明の実施例に係る画像変形の制御方法はオーディオファイルの属性値により画像変形の幅を制御することにより、従来の技術により変形の特殊効果を容易に獲得することができない問題を解決することができる。
以上、前記順番に沿って前記方法に係る実施例の各ステップを説明してきたが、この技術分野の技術者が知っているように、前記実施例の各ステップを前記順番に実施しなくてもよい。例えば逆の順番、並行、交差等のような方式に実施することもできる。本発明は前記ステップのみを含むものでなく、この技術分野の技術者は他のステップを更に追加することもできる。そのような実施例の変形または代替があっても本発明の特許請求の範囲が定めた範囲に含まれることは勿論であり、本発明はそのような実施例の変形または代替を１つずつ説明しない。
以下、本発明の実施例に係る画像変形の制御装置を説明する。本発明の実施例に係る画像変形の制御装置により前記画像変形の制御方法中の各ステップを実施することができる。説明を簡単にするため、以下、画像変形の制御装置に関する部分のみを説明し、説明されない技術的事項は前記画像変形の制御方法中の説明を参照することができる。
本発明の実施例において画像変形の制御装置を提供し、その画像変形の制御装置により本発明の第一実施例に係る前記画像変形の制御方法中の各ステップを実施することができる。図５に示すとおり、前記画像変形の制御装置５００は、画像獲得モジュール５０１、オーディオファイル獲得モジュール５０２、第一属性値獲得モジュール５０３、変形幅獲得モジュール５０４および変形処理モジュール５０５を含む。
画像獲得モジュール５０１は処理待機画像を獲得することに用いられる。
オーディオファイル獲得モジュール５０２はオーディオファイルを獲得することに用いられる。
第一属性値獲得モジュール５０３は前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得することに用いられる。
変形幅獲得モジュール５０４は前記第一属性値により前記画像変形の幅を確定することに用いられる。
変形処理モジュール５０５は前記画像変形の幅により前記処理待機画像に対して変形処理をすることに用いられる。
前記画像獲得モジュール５０１はビデオ画像獲得モジュールを更に含み、そのビデオ画像獲得モジュールは、ビデオ画像を獲得し、かつ前記ビデオ画像中のビデオフレーム画像を処理待機画像にすることに用いられる。
前記オーディオファイル獲得モジュール５０２は前記ビデオ画像に含まれるオーディオファイルを獲得することにも用いられる。
前記第一属性値獲得モジュール５０３は、前記オーディオファイルを再生することに用いられる第一オーディオファイル再生モジュールと、前記ビデオ画像が現在再生しているビデオフレーム画像を獲得することに用いられるビデオフレーム画像獲得モジュールと、前記ビデオフレーム画像により現在のタイミングを計算することに用いられる第一タイミング獲得モジュールと、前記現在のタイミングにより前記オーディオファイルの第一属性値を獲得する第一属性値獲得モジュールとを含む。
前記オーディオファイル獲得モジュール５０２はオーディオファイル分析モジュールを含み、そのオーディオファイル分析モジュールは、オーディオファイルを獲得した後そのオーディオファイルを分析することにより、前記オーディオファイル中の各タイミングとオーディオファイルの第一属性値の対応関係表を獲得することに用いられる。
前記第一属性値獲得モジュール５０３は、前記オーディオファイルの現在の再生タイミングを計算する第二タイミング獲得モジュールと、前記対応関係表により現在の再生タイミングに対応する第一属性値を獲得する第二第一属性値獲得モジュールとを含む。
前記変形幅獲得モジュール５０４は、第一属性値と前記画像変形の幅の対応関係を獲得する対応関係獲得モジュールと、前記第一属性値と前記対応関係により前記画像変形の幅を計算する画像変形幅計算モジュールとを含む。
前記変形処理モジュール５０５は、変形のタイプを獲得する変形タイプ獲得モジュール５０５０１と、前記画像変形のタイプと画像変形の幅により前記処理待機画像の変形処理をする第一変形処理モジュール５０５０２とを含む。
図５の装置により図１の実施例に示される方法を実施することができ、本実施例に詳細に記載されていない部分は図１の実施例の内容を参照することができる。前記技術的事項を実施する過程とそれによる発明の効果は図１の実施例の内容を参照することができるので、ここで再び説明しない。
本発明の実施例において他の画像変形の制御装置を提供する。その画像変形の制御装置により本発明の第二実施例に係る前記画像変形の制御方法中の各ステップを実施することができる。前記装置は図５に示される画像変形の制御装置の変形タイプ獲得モジュール５０５０１に係っている。図６に示すとおり、前記変形タイプ獲得モジュール５０５０１は、処理待機画像を分割することにより処理を待っている目標対象の輪郭区域を獲得する状態シリアルナンバー獲得モジュール６０１と、前記状態シリアルナンバーにより変形のタイプを獲得する変形タイプ獲得モジュール６０２とを含む。
前記状態シリアルナンバー獲得モジュール６０１は、前記画像変形の幅を獲得する第一変形幅獲得モジュールと、前記画像変形の幅が第一閾値より大きいとき、変形位置の値をトゥルースバリュウに設定し、かつ現在の画像の状態シリアルナンバーを獲得する第一現在状態シリアルナンバー獲得モジュールと、前記画像変形の幅が第一閾値より小さく、かつ変形位置の値がトゥルースバリュウであるとき、現在の画像の状態シリアルナンバーに１を加えることにより第一状態シリアルナンバーを獲得し、前記第一状態シリアルナンバーを前記状態シリアルナンバーの総数で除して獲得した余りを現在の画像の状態シリアルナンバーにする第二現在状態シリアルナンバー獲得モジュールとを含む。
図６の装置により図２の実施例に示される方法を実施することができ、本実施例に詳細に記載されていない部分は図２の実施例の内容を参照することができる。前記技術的事項を実施する過程とそれによる発明の効果は図２の実施例の内容を参照することができるので、ここで再び説明しない。
図７を参照すると、その図面は本発明の実施例に適用する電子装置７００の構造を示す図である。本発明の実施例に係る電子装置は、例えば携帯電話、ノートブックコンピューター、デジタル放送受信機（Digital broadcasting receiver）、ＰＤＡ（携帯情報端末、Personal Digital Assistant）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディアプレーヤー）、車用端末装置（例えばナビゲーション）等の携帯式端末装置と、例えばデジタルＴＶ、デスクトップコンピュータ等の非携帯式端末装置とを含むことができるが、本発明はそれらにのみ限定されるものでない。図７に示される電子装置は、本発明の例示にしか過ぎないものであり、本発明の実施例の機能と使用の範囲を限定するものでない。
図７に示すとおり、電子装置７００は処理装置（例えば中央処理装置、画像処理装置等）７０１を含み、処理装置７０１はＲＯＭ（Read-Only Memory、リードオンリーメモリー）７０２に記憶されるプログラムまたは記憶装置７０８からＲＡＭ（Random Access Memory、ランダムアクセスメモリ）７０３に送信されるプログラムにより所定の作業と処理をすることができる。ＲＡＭ７０３には電子装置７００の操作に必要であるいろいろなプログラムとデータが更に記憶されている。処理装置７０１、ＲＯＭ７０２およびＲＡＭ７０３はバス７０４により互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続される。
下記装置たちは入力／出力（Ｉ／Ｏ）インターフェース７０５に接続されることができる。その装置は、例えばタッチパネル、タッチ基板、キーボード、マウス、画像センサー、マイク、加速度計、ジャイロスコープ等を含む入力装置７０６と、液晶表示装置（ＬＣＤ）、スピーカー、振動機等を含む出力装置７０７と、テープ、ハードディスク等を含む記憶装置７０８と、通信装置７０９とであることができる。通信装置７０９は電子装置７００と他の装置が無線または有線で通信をするようにし、それによりデータを交換することができる。図７にはいろいろな装置を具備する電子装置７００が示されているが、電子装置７００は前記いろいろな装置を全部具備するか或いは全部用いる必要はない。すなわち電子装置７００はより多いか或いはより少ない装置を具備するか或いは用いることができる。
特に、本発明の実施例において、前記流れ図に示されるステップはコンピュータソフトウェアプログラムにより実施されることができる。例えば、本発明の実施例はコンピュータプログラム製品を含み、そのコンピュータプログラム製品はコンピュータ読み取り可能な媒体に記憶されるコンピュータプログラムを含み、そのコンピュータプログラムは前記流れ図中の方法を実施するプログラムコードを含むことができる。その実施例において、通信装置７０９により前記コンピュータプログラムをネットワークからダウンロードするとともにインストールするか或いは、記憶装置７０８からダウンロードするとともにインストールするか或いは、ＲＯＭ７０２からダウンロードするとともにインストールすることができる。前記コンピュータプログラムが処理装置７０１により実施されるとき、前記実施例に係る方法中の所定の機能を実施することができる。
注意されたいことは、前記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、コンピュータ読み取り可能な記憶媒体またはその二つの組合せであることができる。コンピュータ読み取り可能な記憶媒体は、電気、磁性、光、電磁、赤外線であるか或いは、半導体のシステム、装置または部品であるか或いはそれらの任意の組合せであることができる。コンピュータ読み取り可能な記憶媒体の具体的な例として、１つまたは複数の導線により接続される携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ、Random Access Memory）、リードオンリーメモリー（ＲＯＭ、Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memoryまたはフラッシュメモリー）、光ファイバー、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、光記憶部品、磁性記憶部品またはそれらの任意の組合せを含むことができるが、本発明はそれらにのみ限定されるものでない。本発明の実施例において、コンピュータ読み取り可能な記憶媒体はプログラムを含むか或いは記憶する実物媒体であり、前記プログラムは指令実行システム、装置またはそれらの組合せに用いられることができる。本発明の実施例において、コンピュータ読み取り可能な信号媒体はベースバンド（base band）またはキャリアの一部分により伝送されるデータ信号を含み、コンピュータ読み取り可能な信号媒体にはコンピュータ読み取り可能なプログラムコードが記憶される。その方法により伝送されるデータ信号はいろいろな信号例えば電磁信号、光信号またはそれらの組合せであることができるが、それらにのみ限定されるものでない。コンピュータ読み取り可能な信号媒体はコンピュータ読み取り可能な記憶媒体以外のいずれかのコンピュータ読み取り可能な媒体であることができる。前記コンピュータ読み取り可能な信号媒体は指令実行システム、装置またはそれらの組合せに用いられるプログラムを送信、伝播または伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは適当な媒体、例えば電線、光ケーブル、ＲＦ（Radio Frequency）等により伝送されるか或いはそれらの組合せにより伝送されることができる。
前記コンピュータ読み取り可能な媒体は前記電子装置に設けられるか或いは前記電子装置に設けられず前記電子装置とそれぞれ存在するものであることができる。
前記コンピュータ読み取り可能な媒体は１つまたは複数のプログラムを記憶し、１つまたは複数のプログラムが前記電子装置により実行されるとき、前記電子装置は、処理待機画像を獲得し、オーディオファイルを獲得し、前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得し、前記第一属性値により前記画像変形の幅を確定し、前記画像変形の幅により前記処理待機画像に対して変形処理をする。
１つまたは複数のプログラミング言語（programming language）またはそれらの組合せにより本発明の実施例に係る方法を実施するコンピュータプログラムコードを作成することができる。前記プログラミング言語は対象に向くプログラミング言語、例えばJava、Smalltalk、Ｃ＋＋を含むか或いは常用する過程式プログラミング言語、例えば「Ｃ」プログラミング言語またはそれに類似しているプログラミング言語を更に含むことができる。プログラムコードは使用者のコンピュータにより実行されるか或いは、一部分が使用者のコンピュータにより実行されるか或いは、独立しているソフトウェアパッケージとして実行されるか或いは、一部分が使用者のコンピュータにより実行されかつ一部分がリモートコンピュータにより実行されか或いは、リモートコンピュータまたはサーバーにより実行されることができる。リモートコンピュータの場合、リモートコンピュータはいずれかのネットワーク、例えばローカルエリアネットワーク（ＬＡＮ、local area network）またはワイドエリアネットワーク（ＷＡＮ、Wide Area Network）により使用者のコンピュータに接続されるか或いは外部のコンピュータに接続されることができる（例えばインターネットサービスプロバイダー（Internet Service Provider）が提供するインターネットにより外部のコンピュータに接続される）。
図面中の流れ図とブロックダイアグラム（block diagram）には本発明の実施例に係るシステム、方法およびコンピュータのプログラムを実施することができるシステムの構造、機能および操作方法が記載されている。流れ図とブロックダイアグラム中の各枠は、１つのモジュール、プログラムの一部分、コードの一部分を示し、前記モジュール、プログラムの一部分、コードの一部分は所定の機能を実現する実行可能な指令を含むことができる。注意されたいことは、他の実施例において、ブロックダイアグラムの各枠中の各ステップは図面に示される順番に実施されなくてもよい。例えば、隣接している各枠中のステップは通常、並行の順番に実施されるが、実現しようとする機能が異なることにより逆の順番に実施されることもできる。注意されたいことは、ブロックダイアグラムと／或いは流れ図中の各枠、ブロックダイアグラムと／或いは流れ図中の各枠の組合せは、所定の機能を獲得するか或いは所定の操作をすることができるハードウェアにより実施されるか或いは専用のハードウェアとコンピュータ指令の組合せにより実施されることができる。
本発明の実施例に係るユニットはソフトウェアにより実施されるか或いはハードウェアにより実施されることができる。特別な説明がない場合、ユニットの名称はそのユニットを限定するものでない。
以上、本発明の好適な実施例とそれらに用いられる技術的事項を説明してきた。本技術分野の技術者が知っているように、本発明が公開する範囲は、前記技術的特徴の組合せによって構成される技術的事項にのみ限定されるものでなく、本発明の要旨を逸脱しない範囲において前記技術的特徴または類似の技術的特徴の組合せにより形成される他の技術的事項を更に含むこともできる。例えば、前記技術的特徴と本発明の実施例に公開される類似の技術的特徴（それにのみ限定されるものでない）により形成される技術的事項を更に含むこともできる。

Claims (12)

  1. 処理待機画像を獲得するステップと、
    オーディオファイルを獲得するステップと、
    前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップと、
    前記第一属性値により画像変形の幅を確定するステップと、
    前記画像変形の幅により前記処理待機画像に対して変形処理をするステップとを含み、
    前記オーディオファイルを獲得するステップは、オーディオファイルを獲得した後そのオーディオファイルを分析することにより、前記オーディオファイル中の各タイミングとオーディオファイルの第一属性値の対応関係表を獲得するステップを含むことを特徴とする画像変形の制御方法。
  2. 処理待機画像を獲得するステップと、
    オーディオファイルを獲得するステップと、
    前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップと、
    前記第一属性値により画像変形の幅を確定するステップと、
    前記画像変形の幅により前記処理待機画像に対して変形処理をするステップとを含み、
    前記画像変形の幅により前記処理待機画像に対して変形処理をするステップは、
    変形のタイプを獲得するステップと、
    前記画像変形のタイプと画像変形の幅により前記処理待機画像に対して変形処理をするステップとを含み、
    前記変形のタイプを獲得するステップは、
    現在の画像の状態シリアルナンバーを獲得するステップと、
    前記状態シリアルナンバーにより変形のタイプを獲得するステップとを含むことを特徴とする画像変形の制御方法。
  3. 前記処理待機画像を獲得するステップは、ビデオ画像を獲得した後、前記ビデオ画像中のビデオフレーム画像を処理待機画像にするステップを含むことを特徴とする請求項１又は２に記載の画像変形の制御方法。
  4. 前記オーディオファイルを獲得するステップは、前記ビデオ画像に含まれるオーディオファイルを獲得するステップを含むことを特徴とする請求項３に記載の画像変形の制御方法。
  5. 前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップは、
    前記オーディオファイルを再生するステップと、
    前記ビデオ画像が現在再生しているビデオフレーム画像を獲得するステップと、
    前記ビデオフレーム画像により現在のタイミングを計算するステップと、
    前記現在のタイミングにより前記オーディオファイルの第一属性値を獲得するステップとを含むことを特徴とする請求項４に記載の画像変形の制御方法。
  6. 前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得するステップは、
    前記オーディオファイルを再生するステップと、
    前記オーディオの現在の再生タイミングを獲得するステップと、
    前記対応関係表により現在の再生タイミングに対応する第一属性値を獲得するステップとを含むことを特徴とする請求項１に記載の画像変形の制御方法。
  7. 前記第一属性値により前記画像変形の幅を確定するステップは、
    第一属性値と前記画像変形の幅の対応関係を獲得するステップと、
    前記第一属性値と前記対応関係により前記画像変形の幅を計算するステップとを含むことを特徴とする請求項１乃至６のいずれか一項に記載の画像変形の制御方法。
  8. 前記現在の画像の状態シリアルナンバーを獲得する前記ステップは、
    画像の変形の幅を獲得するステップと、
    前記画像変形の幅が第一閾値より大きいとき、変形位置の値をトゥルースバリュウに設定し、かつ現在の画像の状態シリアルナンバーを獲得するステップと、
    前記画像変形の幅が第一閾値より小さく、かつ変形位置の値がトゥルースバリュウであるとき、現在の画像の状態シリアルナンバーに１を加えることにより第一状態シリアルナンバーを獲得するステップと、
    前記第一状態シリアルナンバーを前記状態シリアルナンバーの総数で除して獲得した余りを現在の画像の状態シリアルナンバーにするステップとを含むことを特徴とする請求項２に記載の画像変形の制御方法。
  9. 処理待機画像を獲得することに用いられる画像獲得モジュールと、
    オーディオファイルを獲得することに用いられるオーディオファイル獲得モジュールと、
    前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得することに用いられる第一属性値獲得モジュールと、
    前記第一属性値により画像変形の幅を確定することに用いられる変形幅獲得モジュールと、
    前記画像変形の幅により前記処理待機画像に対して変形処理をすることに用いられる変形処理モジュールとを含み、
    前記オーディオファイル獲得モジュールは、オーディオファイルを獲得した後そのオーディオファイルを分析することにより、前記オーディオファイル中の各タイミングとオーディオファイルの第一属性値の対応関係表を獲得することを特徴とする画像変形の制御装置。
  10. 処理待機画像を獲得することに用いられる画像獲得モジュールと、
    オーディオファイルを獲得することに用いられるオーディオファイル獲得モジュールと、
    前記オーディオファイルを再生することにより現在のタイミングに対応する前記オーディオファイルの第一属性値を獲得することに用いられる第一属性値獲得モジュールと、
    前記第一属性値により画像変形の幅を確定することに用いられる変形幅獲得モジュールと、
    前記画像変形の幅により前記処理待機画像に対して変形処理をすることに用いられる変形処理モジュールとを含み、
    前記変形処理モジュールは、
    変形のタイプを獲得する変形タイプ獲得モジュールと、
    前記画像変形のタイプと画像変形の幅により前記処理待機画像に対して変形処理をする第一変形処理モジュールとを含み、
    前記変形タイプ獲得モジュールは、
    現在の画像の状態シリアルナンバーを獲得し、
    前記状態シリアルナンバーにより変形のタイプを獲得することを特徴とする画像変形の制御装置。
  11. 非過渡性コンピュータ読み取り可能な指令を記憶する記憶装置と、
    前記コンピュータ読み取り可能な指令を実行することにより前記請求項１～８のいずれか一項に記載の画像変形の制御方法を実施する処理装置とを含むことを特徴とする電子装置。
  12. 非過渡性コンピュータ読み取り可能な指令を記憶し、前記非過渡性コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記コンピュータは前記請求項１～８のいずれか一項に記載の画像変形の制御方法を実施することを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2021542563A 2019-01-25 2020-01-07 画像変形の制御方法、装置およびハードウェア装置 Active JP7209851B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910073610.7A CN110072047B (zh) 2019-01-25 2019-01-25 图像形变的控制方法、装置和硬件装置
CN201910073610.7 2019-01-25
PCT/CN2020/070729 WO2020151491A1 (zh) 2019-01-25 2020-01-07 图像形变的控制方法、装置和硬件装置

Publications (2)

Publication Number Publication Date
JP2022518520A JP2022518520A (ja) 2022-03-15
JP7209851B2 true JP7209851B2 (ja) 2023-01-20

Family

ID=67366108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021542563A Active JP7209851B2 (ja) 2019-01-25 2020-01-07 画像変形の制御方法、装置およびハードウェア装置

Country Status (7)

Country Link
US (1) US11409794B2 (ja)
EP (1) EP3917131A4 (ja)
JP (1) JP7209851B2 (ja)
KR (1) KR102491773B1 (ja)
CN (1) CN110072047B (ja)
BR (1) BR112021014591A2 (ja)
WO (1) WO2020151491A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072047B (zh) 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置
CN113055738B (zh) * 2019-12-26 2022-07-29 北京字节跳动网络技术有限公司 视频特效处理方法及装置
CN111669497A (zh) * 2020-06-12 2020-09-15 杭州趣维科技有限公司 一种移动端自拍时音量驱动贴纸效果的方法
CN111833460B (zh) * 2020-07-10 2024-07-26 北京字节跳动网络技术有限公司 增强现实的图像处理方法、装置、电子设备及存储介质
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266793A (ja) 2006-03-28 2007-10-11 Casio Comput Co Ltd 画像加工装置
JP2012078982A (ja) 2010-09-30 2012-04-19 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
JP2016208200A (ja) 2015-04-21 2016-12-08 キヤノン株式会社 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384314B2 (ja) * 1997-12-02 2003-03-10 ヤマハ株式会社 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
JP3645716B2 (ja) * 1998-07-31 2005-05-11 シャープ株式会社 アニメーション作成方法、アニメーション作成装置、及びアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
CN1320497C (zh) * 2002-07-03 2007-06-06 中国科学院计算技术研究所 基于统计与规则结合的语音驱动人脸动画方法
CN100369469C (zh) * 2005-08-23 2008-02-13 王维国 语音驱动头部图像合成影音文件的方法
US20090268039A1 (en) * 2008-04-29 2009-10-29 Man Hui Yi Apparatus and method for outputting multimedia and education apparatus by using camera
JP5428294B2 (ja) * 2008-10-31 2014-02-26 ブラザー工業株式会社 運動コンテンツ生成システム、出力端末、運動コンテンツ生成装置、コンテンツ生成方法及びコンテンツ生成プログラム
US20100118033A1 (en) * 2008-11-10 2010-05-13 Vistaprint Technologies Limited Synchronizing animation to a repetitive beat source
US20120179757A1 (en) * 2011-01-10 2012-07-12 Troy Allen Jones System and process for communication and promotion of audio within a social network
JP5434965B2 (ja) * 2011-06-03 2014-03-05 カシオ計算機株式会社 動画生成方法、動画生成装置及びプログラム
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
US10453494B2 (en) * 2017-01-10 2019-10-22 Adobe Inc. Facilitating synchronization of motion imagery and audio
CN108989706A (zh) * 2017-06-02 2018-12-11 北京字节跳动网络技术有限公司 基于音乐节奏生成特效的方法及装置
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108334821B (zh) * 2018-01-18 2020-12-18 联想(北京)有限公司 一种图像处理方法及电子设备
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109147825A (zh) * 2018-08-09 2019-01-04 湖南永爱生物科技有限公司 基于语音识别的人脸表情装饰方法、装置、存储介质及电子设备
CN110072047B (zh) * 2019-01-25 2020-10-09 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007266793A (ja) 2006-03-28 2007-10-11 Casio Comput Co Ltd 画像加工装置
JP2012078982A (ja) 2010-09-30 2012-04-19 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置
JP2016208200A (ja) 2015-04-21 2016-12-08 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
KR20210110852A (ko) 2021-09-09
EP3917131A4 (en) 2022-11-02
CN110072047A (zh) 2019-07-30
US20210406305A1 (en) 2021-12-30
CN110072047B (zh) 2020-10-09
KR102491773B1 (ko) 2023-01-26
WO2020151491A1 (zh) 2020-07-30
JP2022518520A (ja) 2022-03-15
EP3917131A1 (en) 2021-12-01
BR112021014591A2 (pt) 2021-10-05
US11409794B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
JP7209851B2 (ja) 画像変形の制御方法、装置およびハードウェア装置
US11354825B2 (en) Method, apparatus for generating special effect based on face, and electronic device
US11412153B2 (en) Model-based method for capturing images, terminal, and storage medium
CN107831902B (zh) 一种运动控制方法及其设备、存储介质、终端
US12008167B2 (en) Action recognition method and device for target object, and electronic apparatus
WO2021254502A1 (zh) 目标对象显示方法、装置及电子设备
US20230360184A1 (en) Image processing method and apparatus, and electronic device and computer-readable storage medium
JP7395070B1 (ja) ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体
WO2022166897A1 (zh) 脸型调整图像生成方法、模型训练方法、装置和设备
WO2020052062A1 (zh) 检测方法和装置
CN113536866A (zh) 一种人物追踪显示方法和电子设备
CN106548117B (zh) 一种人脸图像处理方法和装置
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质
WO2020155984A1 (zh) 人脸表情图像处理方法、装置和电子设备
CN110069996A (zh) 头部动作识别方法、装置和电子设备
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN112381709B (zh) 图像处理方法、模型训练方法、装置、设备和介质
CN111506184A (zh) 化身呈现方法及电子设备
WO2021073204A1 (zh) 对象的显示方法、装置、电子设备及计算机可读存储介质
WO2020155981A1 (zh) 表情图像效果生成方法、装置和电子设备
CN114630085A (zh) 图像投影方法、装置、存储介质及电子设备
CN111353929A (zh) 图像处理方法、装置和电子设备
CN111489769B (zh) 图像处理方法、装置和硬件装置
CN111079472A (zh) 图像对比方法和装置
CN115426505B (zh) 基于面部捕捉的预设表情特效触发方法及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230110

R150 Certificate of patent or registration of utility model

Ref document number: 7209851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150