JP7338041B2 - 画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体 - Google Patents

画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体 Download PDF

Info

Publication number
JP7338041B2
JP7338041B2 JP2022509655A JP2022509655A JP7338041B2 JP 7338041 B2 JP7338041 B2 JP 7338041B2 JP 2022509655 A JP2022509655 A JP 2022509655A JP 2022509655 A JP2022509655 A JP 2022509655A JP 7338041 B2 JP7338041 B2 JP 7338041B2
Authority
JP
Japan
Prior art keywords
image
special effect
preset
preset target
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022509655A
Other languages
English (en)
Other versions
JP2022545394A (ja
Inventor
兢▲業▼ 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022545394A publication Critical patent/JP2022545394A/ja
Application granted granted Critical
Publication of JP7338041B2 publication Critical patent/JP7338041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

［関連出願の相互参照］
本願は、２０１９年０８月１６日に中国特許庁に出願した、発明の名称が「画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体」である中国特許出願第２０１９１０７５９０８２．０号の優先権を主張し、その全ての内容が参照により本願に援用される。
［技術分野］
本発明は、画像処理の技術分野に関し、特に画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体に関するものである。
スマート端末技術の発展に伴い、スマート端末の機能も多様化され、例えば、ユーザは、端末を利用して、ライブ配信やショート動画（Ｓｈｏｒｔ ｖｉｄｅｏ）の撮影を行うことができる。ライブ配信やショート動画の撮影において、予め設定された動作特殊効果の実現は、非常に面白いインタラクティブエンターテイメントである。
現在、予め設定された動作特殊効果を実現する方法はない。
この発明の概要は、簡単な形式で本発明の思想を説明するためのものであり、これらの思想は、後述する実施の形態で詳細に説明される。この発明の概要は、保護しようとする技術的構成の肝要な特徴や必要な特徴を特定するためのものではなく、保護しようとする技術的構成の保護範囲を限定するためのものでもない。
本開示は、少なくとも、従来技術において予め設定された動作特殊効果を実現することができなかった技術的問題を部分的に解決する画像処理方法を提供する。また、画像処理装置、画像処理ハードウェア装置、コンピュータ可読型記憶媒体及び画像処理端末も提供する。
上記の目的を実現するために、本開示の一形態に係る画像処理方法は、
動画画像を取得するステップと、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップと、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップと、を含む。
上記の目的を実現するために、本開示の一形態に係る画像処理装置は、
動画画像を取得するための画像取得手段と、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するためのステッカー重畳手段と、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するための特殊効果生成手段と、を備える。
上記の目的を実現するために、本開示の一形態に係る電子機器は、
非一時的なコンピュータ可読指令を記憶するための記憶器と、
前記コンピュータ可読指令の実行によって上記のいずれか１項に記載の画像処理方法を実行するための処理器と、備える。
上記の目的を実現するために、本開示の一形態に係るコンピュータ可読型記憶媒体は、
非一時的なコンピュータ可読指令を記憶するためのものであり、
前記非一時的なコンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが上記のいずれか１項に記載の画像処理方法を実行する。
上記の目的を実現するために、本開示のもう一形態に係る画像処理端末は、上記のいずれか１項に記載の画像処理装置を備える。
本開示の実施例は、動画画像を取得し、前記動画画像に予め設定されたターゲットが出現したことを検出したときに前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳し、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに画面特殊効果を生成することにより、予め設定されたターゲットで生じる予め設定された動作の画面特殊効果を実現することができる。
以上、本発明の技術的構成の概要を説明してきた。以下、本発明の技術的構成をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の上述した及びそれ以外の目的、特徴及び発明の効果をより容易に理解してもらうために、好適な実施例と図面により本発明を詳細に説明する。
図面及び下記の実施の形態により、本開示の各実施例の上述した及びそれ以外の目的、特徴及び発明の効果は明らかになる。図面の全般において、同一又は類似の符号は、同一又は類似の構成要素を表す。なお、図面は、模式的なものであり、実際の構成要素を必ずしも実寸通りに表したものではない。
本開示の一実施例に係る画像処理方法のフローチャートである。 本開示の一実施例に係る画像処理方法のフローチャートである。 本開示の一実施例に係る画像処理方法のフローチャートである。 本開示の一実施例に係る電子機器の構成を示す図である。
以下、図面及び実施例を参照しながら本開示を説明する。図面には、本開示の一部の実施例を示しているが、本開示は、いろいろな形式によって実現することができ、説明される実施例に限定されるものではなく、逆にこれらの実施例は、本開示を適切かつ完全に理解するためのものである。なお、本開示の図面及び実施例は、例示的なものであり、本開示の保護範囲を限定するためのものではない。
なお、本開示の方法において、実施の形態に記載の各ステップは、異なる順序に従って、及び／又は、並行に実行される。また、方法の実施の形態は、あるステップを付加的に実行したり、及び／又は、あるステップの実行を省略したりすることができる。本開示は、これらに限定されるものではない。
本開示で使用される用語「含む」及びその変形は、開放的な「含む」であり、すなわち「含むがこれらに限定しない」とのことを意味する。用語「基づく」は、「少なくとも部分的に基づく」とのことを意味する。用語「一実施例」は、「少なくとも１つの実施例」とのことを意味する。用語「別の実施例」は、「少なくとも１つの別の実施例」とのことを意味する。他の用語の関連定義は、以下で説明する。
従来技術において予め設定された動作特殊効果を実現することができなかった技術的問題を解決するために、画像処理方法を提供する。図１に示したように、この画像処理方法は、主に以下のステップＳ１１～Ｓ１３を含む。
ステップＳ１１では、動画画像を取得する。
動画画像は、実時間で入力される、ショート動画アプリケーションにおけるブロードキャスト動画のような動画ストリーミングであってもよく、端末に予め記憶されている動画画像であってもよい。端末は、スマートフォンやタブレット型コンピュータのような携帯端末であってもよく、デスクトップ型コンピュータのような固定端末であってもよい。
ステップＳ１２では、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する。
予め設定されたターゲットは、例えば、ガッツポーズ、Ｖポーズ、ＯＫポーズのような、予め設定されたポーズであることができる。
前景ステッカーは、予め設定されたターゲットの前景としてのステッカーである。具体的には、予め設定されたターゲットの前景ステッカーは、インターネットから取得することができる。
具体的には、既存の検出アルゴリズム（例えば、ニューラルネットワークによるターゲット検出アルゴリズムや、領域によるターゲット検出アルゴリズム等）を採用して動画画像に対して検出を行うことにより、予め設定されたターゲットを含む動画画像を検出することができる。
ステップＳ１３では、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成する。
予め設定された動作は、前記予め設定されたターゲットと対応付けられた動作である。例えば、予め設定されたターゲットがガッツポーズである場合、対応する予め設定された動作は、拳を掲げる動作である。
画面特殊効果は、画面揺動特殊効果及び／又は画面特殊効果画像であることができる。
画面特殊効果画像は、前景ステッカーに基づいて生成されるものであることもでき、前記前景ステッカーと無関係の画像であることもできる。この画面特殊効果画像と予め設定された動作とは相互作用する。
本実施例では、動画画像を取得し、前記動画画像に予め設定されたターゲットが出現したことを検出したときに前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳し、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに画面特殊効果を生成することにより、予め設定されたターゲットで生じる予め設定された動作の画面特殊効果を実現することができる。
ある選択可能な実施例において、ステップＳ１３は、具体的に、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップを含む。
画面特殊効果画像は、縦方向へ歪んだ前景ステッカー、横方向へ歪んだ前景ステッカー、又は縦方向と横方向とへ歪んだ前景ステッカーであることができる。
ある選択可能な実施例において、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るステップと、
を含む。
オフセット量は、縦方向オフセット量、横方向オフセット量、又は縦方向と横方向とのオフセット量であることができる。
ある選択可能な実施例において、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも１つのパラメータを取得するステップと、
前記少なくとも１つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
を含む。
歪み係数は、歪みの速さを制御するためのものである。
補正係数は、画面のちらつき現象を防止するためのものである。
ある選択可能な実施例において、前記少なくとも１つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定するステップを含む。
Figure 0007338041000001
 ここで、ｘは、画素点の横座標であり、例えば、正規化した横座標である。ｙは、画素点の縦座標であり、例えば、正規化した縦座標である。αは、前記オフセット幅であり、例えば、α＝ｈ／１５であり、ｈは、動画画像の高さである。βは、歪みの速さを制御するための前記歪み係数であり、例えば、３０と設定することができる。ｔは、前記システム時間であり、単位は、ｓである。δは、前記歪み密度であり、例えば、２．７と設定することができる。ε１及びε２は、前記補正係数である。ｓｉｎ（．）は、正弦関数である。
横座標及び時間のみに関する三角関数を使用して縦方向オフセット量を制御すると、上下縁に画面のちらつき現象が発生してしまう。従って、補正項ε１及びε２が提案され、計算方法は、それぞれε１＝ｈ／３及びε２＝－ｈ／３である。
ある選択可能な実施例において、前記方法は、下記のステップＳ１４～Ｓ１５をさらに含む。
ステップＳ１４では、前記画面特殊効果画像に対してフィルター処理を行う。
ステップＳ１５では、フィルター処理後の画面特殊効果画像をレンダリングする。
ある選択可能な実施例において、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向において後ろから前に順に配列される。
ある選択可能な実施例において、前記前景ステッカーは、第１の動画シーケンスからなる。
対応的に、ステップＳ１２は、具体的に、
前記第１の動画シーケンスから第１のフレーム動画画像を選択して前記前景ステッカーとするステップを含む。
対応的に、ステップＳ１３は、具体的に、
前記動画画像の重畳進度に基づいて、周期的に前記第１の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とするステップを含む。
具体的には、前景ステッカーも、動画シーケンスからなる。画面特殊効果の同期を確保するために、前景ステッカーの重畳周期とフィルターの重畳周期とを一致するようにする。この周期は、動画画像のフレームレートによって確定されることができる。
ある選択可能な実施例において、前記フィルターは、第２の動画シーケンスからなる。
対応的に、ステップＳ１４は、下記のステップＳ１４１～Ｓ１４２をさらに含む。
ステップＳ１４１では、前記動画画像の重畳進度に基づいて、周期的に前記第２の動画シーケンスから動画画像を順に選択してフィルター画像とするステップを含む。
具体的には、フィルターは、マルティプライ（ｍｕｌｔｉｐｌｙ）モードを採用することができ、動画シーケンスからなり、５０ｍｓ毎に新しい動画をフィルターとして循環的に重畳する。
ステップＳ１４２では、前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行う。
ある選択可能な実施例において、前記方法は、第１のタイマによって前記周期を制御するステップをさらに含む。
具体的には、タイマをセットすることにより実現することができ、このタイマは予め設定された時間（例えば、５０ｍｓ）毎に活性化される。
ある選択可能な実施例において、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、
第２のタイマを起動させて計時するステップをさらに含む。
ある選択可能な実施例において、前記方法は、
前記第２のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフするステップをさらに含む。
ある選択可能な実施例において、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向において後ろから前に順に配列される。
画面方向に向かう方向は、３次元座標のある方向上の座標によって表され、例えば、Ｚ軸方向であり、前記前景ステッカー、前記画面特殊効果、前記フィルターの座標は、Ｚ軸方向に沿って順に減少する。
本実施例は、本開示を具体的に説明するためのものであり、図２に示したように、この画像処理方法は、主に以下のステップＳ２１～Ｓ２５を含む。
ステップＳ２１では、動画画像を取得する。
ステップＳ２２では、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、タイマを起動させて計時する。
ステップＳ２３では、前景ステッカーを重畳する。
ステップＳ２４では、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果画像を生成する。
ステップＳ２５では、前記画面特殊効果画像に対してフィルター処理を行う。
ステップＳ２６では、フィルター処理後の画面特殊効果画像をレンダリングする。
予め設定されたターゲットが出現した後、タイマがセットされ、持続期間は２ｓであることができる。タイマが起動している期間中、３つの特殊効果をトリガし、前景ステッカーを重畳し、画面特殊効果及びフィルター特殊効果を生成する。それら３つのＺ軸高さは順に減少する。
フィルターは、マルティプライモードを採用し、動画シーケンスからなり、５０ｍｓ毎に新しい動画をフィルターとして循環的に重畳し、別のタイマをセットすることによって実現され、このタイマは予め設定された時間（例えば、５０ｍｓ）毎に活性化される。
前景ステッカーも、動画シーケンスからなる。特殊効果の同期を確保するために、同様のタイマを採用し、５０ｍｓ毎にトリガさせる。
ステップＳ２７では、前記第１のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフする。
予め設定された時間は、２ｓであることができる。
当業者であれば、上記の各実施例に基づいて、変更（例えば、説明した形式を組み合わせること）を行うことができ、均等置換を行うこともできる。
以上で、上記の順に従って画像処理方法の実施例における各ステップを説明したが、当業者であれば、本開示の実施例におけるステップを上記の順に従って行わなくてもよく、すなわち逆順、並行、交差などの他の順に行ってもよい。そして、上記のステップに基づいて、当業者が他のステップを追加することもでき、これらの変更や均等置換の方式も本開示の保護範囲に属するため、その説明を省略する。
以下は、本開示の方法に係る実施例を実行する装置に係る実施例であり、説明の便宜上、本開示の実施例に関連する部分のみを示し、具体的な技術的細部は開示せず、本開示の方法に係る実施例を参照することができる。
従来技術において予め設定された動作特殊効果を実現することができなかった技術的問題を解決するために、画像処理装置を提供する。この装置は、上記の実施例１に記載の画像処理方法に係る実施例におけるステップを実行する。図３に示したように、この装置は、主に、画像取得手段３１と、ステッカー重畳手段３２と、特殊効果生成手段３３と、を備える。
画像取得手段３１は、動画画像を取得する。
ステッカー重畳手段３２は、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する。
特殊効果生成手段３３は、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成する。
さらに、前記特殊効果生成手段３３は、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成する。
さらに、前記特殊効果生成手段３３は、オフセット量確定ユニット３３１と、特殊効果生成ユニット３３２と、を備える。
オフセット量確定ユニット３３１は、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定する。
特殊効果生成ユニット３３２は、前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得る。
さらに、前記オフセット量確定ユニット３３１は、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも１つのパラメータを取得し、前記少なくとも１つのパラメータに基づいて前記前景ステッカーにおける各画素点のオフセット量を確定する。
さらに、前記オフセット量確定ユニット３３１は、具体的に、下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定する。
Figure 0007338041000002
 ここで、ｘは、画素点の横座標であり、ｙは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、ｔは、前記システム時間であり、δは、前記歪み密度であり、ε１及びε２は、前記補正係数であり、ｓｉｎ（．）は、正弦関数である。
さらに、前記装置は、フィルター手段３４と、画像レンダリング手段３５と、をさらに備える。
フィルター手段３４は、前記画面特殊効果画像に対してフィルター処理を行う。
画像レンダリング手段３５は、フィルター処理後の画面特殊効果画像をレンダリングする。
さらに、前記前景ステッカーは、第１の動画シーケンスからなる。
対応的に、前記ステッカー重畳手段３２は、具体的に、前記第１の動画シーケンスから第１のフレーム動画画像を選択して前記前景ステッカーとする。
対応的に、前記特殊効果生成手段３３は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第１の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とする。
さらに、前記フィルターは、第２の動画シーケンスからなる。
対応的に、前記フィルター手段３４は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第２の動画シーケンスから動画画像を順に選択してフィルター画像とし、前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行う。
さらに、前記装置は、第１のタイマ手段３６をさらに備える。
第１のタイマ手段３６は、第１のタイマによって前記周期を制御する。
さらに、前記装置は、第２のタイマ手段３７をさらに備える。
さらに、第２のタイマ手段３７は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、第２のタイマを起動して計時する。
さらに、第２のタイマ手段３７は、前記第２のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフする。
さらに、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向において後ろから前に順に配列される。
画像処理装置に係る実施例の工作原理、実現される技術的効果などの詳細な説明については、前出の画像処理方法に係る実施例における説明を参照することができるため、その説明を省略する。
図４は、本開示に係る実施例の電子機器４００の実現に適合する構成を模式的に示す図である。本開示に係る実施例における端末設備は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント（ＰＤＡ）、タブレット型コンピュータ（ＰＡＤ）、携帯型メディアプレーヤー（ＰＭＰ）、車載端末（例えば、車載ナビゲーション端末）などのような携帯端末や、デジタルテレビ、デスクトップ型コンピュータなどのような固定端末を含むことができるが、これらに限定されない。図４に示す電子機器は、例示にすぎず、本開示に係る実施例の機能及び使用される範囲を限定するのではない。
図４に示したように、電子機器４００は、リードオンリーメモリ（ＲＯＭ）に記憶されているプログラムや記憶装置４０8からランダムアクセスメモリ（ＲＡＭ）４０３にアップロードしたプログラムに基づいて、各種の適切な動作や処理を行う処理装置（例えば、ＣＰＵ、ＧＰＵなど）４０１を備えることができる。ＲＡＭ４０３には、電子機器４００の操作に必要な各種のプログラム及びデータも記憶されている。処理装置４０１とＲＯＭ４０２とＲＡＭ４０３とは、バス４０４を介して互いに接続される。入出力（Ｉ／Ｏ）インターフェース４０５もバス４０４に接続される。
Ｉ／Ｏインターフェース４０５には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイク、アクセラメーター、ジャイロスコープなどのような入力装置４０６、例えば液晶装置、スピーカー、バイブレータなどのような出力装置４０７、例えばテープ、ハードディスクなどのような記憶装置４０８、及び通信装置４０９が接続されることができる。通信装置４０９は、電子機器４００と他の機器との無線や有線によるデータ交換を可能にすることができる。図４では、各種の装置を有する電子機器４００を示しているが、これらの全ての装置を備えることを要求するものではない。その代わりに、より多い装置又はより少ない装置を備えることもできる。
特に、本開示の実施例によれば、以上でフローチャートを参照しながら説明した過程は、ソフトウェアプログラムによって実現することができる。例えば、本開示の実施例に係るソフトウェアプログラム製品は、非一時的なコンピュータ可読型記憶媒体に記憶されているソフトウェアプログラムを含み、このソフトウェアプログラムは、フローチャートに示す方法を実行するプログラムコードを含む。このような実施例では、このソフトウェアプログラムは、通信装置４０９を介してインターネットからダウンロードしてインストールされるか、又は、記憶装置４０8からインストールされるか、又は、ＲＯＭ４０２からインストールされることができる。このソフトウェアプログラムが処理装置４０１によって実行されるときに、本開示の実施例に係る方法で限定された上記機能を実行する。
なお、本開示におけるコンピュータ可読型媒体は、コンピュータ可読型信号媒体、コンピュータ可読型記憶媒体又はこれらの組み合わせであることができる。コンピュータ可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されるものではない。コンピュータ可読型記憶媒体のより具体的な例としては、１つ又は複数の導線によって電気接続される、携帯式コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができるが、これらに限定されるものではない。本開示において、コンピュータ可読型記憶媒体は、プログラムを含むか又は記憶する有形的表現媒体であることができ、このプログラムは、指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるものであることができる。本開示において、コンピュータ可読型信号媒体は、ベースバンドで又は搬送波の一部として伝播するデータ信号であることができ、このデータ信号は、コンピュータ可読型プログラムコードを搬送する。このようなデータ信号は、電磁気信号、光学信号又は上記のいずれかの適切な組み合わせのような各種の形式を採用することができるが、これらに限定されるものではない。コンピュータ可読型信号媒体は、コンピュータ可読型記憶媒体以外の何らかのコンピュータ可読型媒体であることもでき、この指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるプログラムを発送、伝播又は伝送することができる。コンピュータ可読型媒体に含まれるプログラムコードは、何らかの適切な媒体（例えば、電線、光ケーブル、ＲＦ（ラジオ周波数）など、又は、上記のいずれかの適切な組み合わせ）によって伝送することができる。
ある実施の形態において、クライアント、サーバは、ＨＴＴＰ（Hypertext Transfer Protocol、ハイパーテキストトランスファープロトコル）のようないずれかの既知の又は将来開発されるネットワークプロトコルによって通信を行うと共に、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）と相互接続されることができる。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、エクストラネット（例えば、インターネット）、エンドツーエンドネットワーク（例えば、Ａｄ Ｈｏｃエンドツーエンドネットワーク）、及びいずれかの既知の又は将来開発されるネットワークが挙げられる。
上記のコンピュータ可読型媒体は、上記の電子機器に備えることができ、また、この電子機器に装着せずに単独的に存在することができる。
コンピュータ可読型媒体には、１つ又は複数のプログラムが記憶されており、１つ又は複数のプログラムがこの電子機器によって実行される場合、この電子機器は、動画画像を取得し、前記動画画像に予め設定されたターゲットが出現したことを検出したときに前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳し、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに画面特殊効果を生成する。
１種又は複数種のプログラミング言語又はその組み合わせによって本開示の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語は、Jａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語、Ｃ言語又はそれに類似するプログラミング言語のような常用の手続き型プログラミング言語を含むことができるが、これらに限定されるものではない。プログラムコードは、ユーザコンピュータで完全に実行されるか、又は、ユーザコンピュータで部分的に実行されるか、又は、１つのソフトウェアパッケージとして実行されるか、又は、一部がユーザコンピュータで実行され、一部がリモートコンピュータで実行されるか、又は、リモートコンピュータ若しくはサーバで完全に実行されることができる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）のような任意種類のネットワークによって、ユーザコンピュータに接続されるか、又は、外部コンピュータに接続されることができる（例えば、インターネットサービスプロバイダを利用して、インターネットによって接続される）。
図面におけるフローチャート及びブロック図には、本開示に係る各実施例のシステム、方法及びソフトウェアプログラム製品の、実現可能なシステムアーキテクチャ、機能及び操作が示される。この点において、フローチャートやブロック図における各ブロックは、１つのモジュール、プログラムセグメント又はコードの一部を代表することができ、このモジュール、プログラムセグメント又はコードの一部は、１つ又は複数の所定のロジック機能を実現するための実行可能な指令を含む。もちろん、ある実施例において、ブロックに記載の機能は、図面に記載の順と異なる順に実現されることもできる。例えば、２つの接続されるブロックは、実際上、基本的に並行に実行されることができ、逆の順に実行されることもでき、これらは実現される機能によって決められる。なお、ブロック図及び／又はフローチャートにおける各ブロック、並びに、ブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能や操作を実行する専門のハードウェアによるシステムによって実現するか、又は、専門のハードウェアとコンピュータ指令との組合せによって実現することができる。
本開示の実施例に記述されるユニットは、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ユニットの名称は、ある場合はこのユニット自身を限定するのではない。
本開示に記述される機能の少なくとも一部は、１つ又は複数のハードウェアロジック部材によって実行されることができる。例えば、限定的ではないが、使用可能なハードウェアロジック部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス（ＣＰＬＤ）などを含む。
本開示の全般において、機械可読型媒体は、有形的表現媒体であることができ、指令によって実行されるシステム、装置やデバイスに使用されるか、又は指令によって実行されるシステム、装置やデバイスと組み合わせて使用されるプログラムを含むか若しくは記憶することができる。機械可読型媒体は、機械可読型信号媒体又は機械可読型記憶媒体であることができる。機械可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されるものではない。機械可読型記憶媒体のより具体的な例としては、１つ又は複数の線によって電気接続される、携帯式コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができる。
本開示の１つ又は複数の実施例に係る画像処理方法は、
動画画像を取得するステップと、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップと、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップと、
を含む。
さらに、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップを含む。
さらに、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るステップと、
を含む。
さらに、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも１つのパラメータを取得するステップと、
前記少なくとも１つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
を含む。
さらに、前記少なくとも１つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定するステップを含む。
Figure 0007338041000003
 ここで、ｘは、画素点の横座標であり、ｙは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、ｔは、前記システム時間であり、δは、前記歪み密度であり、ε１及びε２は、前記補正係数であり、ｓｉｎ（．）は、正弦関数である。
さらに、前記前景ステッカーは、第１の動画シーケンスからなり、
対応的に、前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップは、
前記第１の動画シーケンスから第１のフレーム動画画像を選択して前記前景ステッカーとするステップを含み、
対応的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、
前記動画画像の重畳進度に基づいて、周期的に前記第１の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とするステップを含む。
さらに、前記方法は、
前記画面特殊効果画像に対してフィルター処理を行うステップと、
フィルター処理後の画面特殊効果画像をレンダリングするステップと、
をさらに含む。
さらに、前記フィルターは、第２の動画シーケンスからなり、
対応的に、前記画面特殊効果画像に対してフィルター処理を行うステップは、
前記動画画像の重畳進度に基づいて、周期的に前記第２の動画シーケンスから動画画像を順に選択してフィルター画像とするステップと、
前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行うステップと、
を含む。
さらに、前記方法は、
第１のタイマによって前記周期を制御するステップをさらに含む。
さらに、前記方法は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、
第２のタイマを起動させて計時するステップをさらに含む。
さらに、前記方法は、
前記第２のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフするステップをさらに含む。
さらに、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向での空間座標が順に減少する。
本開示の１つ又は複数の実施例に係る画像処理装置は、
動画画像を取得するための画像取得手段と、
前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するためのステッカー重畳手段と、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するための特殊効果生成手段と、
を備える。
さらに、前記特殊効果生成手段は、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するためのものである。
さらに、前記特殊効果生成手段は、
前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するためのオフセット量確定ユニットと、
前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るための特殊効果生成ユニットと、
備える。
さらに、前記オフセット量確定ユニットは、具体的に、前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも１つのパラメータを取得し、前記少なくとも１つのパラメータに基づいて前記前景ステッカーにおける各画素点のオフセット量を確定する。
さらに、前記オフセット量確定ユニットは、具体的に、下記の式を採用して前記前景ステッカーにおける各画素点のオフセット量を確定する。
Figure 0007338041000004
 ここで、ｘは、画素点の横座標であり、ｙは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、ｔは、前記システム時間であり、δは、前記歪み密度であり、ε１及びε２は、前記補正係数であり、ｓｉｎ（．）は、正弦関数である。
さらに、前記装置は、
前記画面特殊効果画像に対してフィルター処理を行うためのフィルター手段と、
フィルター処理後の画面特殊効果画像をレンダリングするための画像レンダリング手段と、
備える。
さらに、前記前景ステッカーは、第１の動画シーケンスからなり、
対応的に、前記ステッカー重畳手段は、具体的に、前記第１の動画シーケンスから第１のフレーム動画画像を選択して前記前景ステッカーとし、
対応的に、前記特殊効果生成手段は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第１の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とする。
さらに、前記フィルターは、第２の動画シーケンスからなり、
対応的に、前記フィルター手段は、具体的に、前記動画画像の重畳進度に基づいて、周期的に前記第２の動画シーケンスから動画画像を順に選択してフィルター画像とし、前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行う。
さらに、前記装置は、第１のタイマによって前記周期を制御するための第１のタイマ手段をさらに備える。
さらに、前記装置は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、第２のタイマを起動して計時するための第２のタイマ手段をさらに備える。
さらに、第２のタイマ手段は、前記第２のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフする。
さらに、前記前景ステッカー、前記画面特殊効果、前記フィルターは、画面方向に向かう方向での空間座標が減少する。
本開示の１つ又は複数の実施例に係る電子機器は、
非一時的なコンピュータ可読指令を記憶するための記憶器と、
前記コンピュータ可読指令の実行によって上記の画像処理方法を実行するための処理器と、
備える。
本開示の１つ又は複数の実施例に係るコンピュータ可読型記憶媒体は、
非一時的なコンピュータ可読指令を記憶するためのものであり、
前記非一時的なコンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが上記の画像処理方法を実行する。
以上、本発明の実施例及びそれらに用いられる技術的構成を説明してきた。当業者が知っているように、本発明が開示する範囲は、前記技術的特徴の組合せによって構成される技術的構成にのみ限定されるものでなく、本開示の要旨を逸脱しない範囲において前記技術的特徴又は類似の技術的特徴の組合せにより形成される他の技術的構成を更に含むこともできる。例えば、前記技術的特徴と本開示の実施例に係る類似の技術的特徴（それにのみ限定されるものでない）により形成される技術的構成を更に含むこともできる。
なお、以上、本開示の各ステップを所定の順番で説明してきたが、本開示の前記ステップは、前記所定の順番でのみ実施されるものではなく、別の順番で実施されることもできる。所定の条件において、複数のタスクを同時に実施するか或いは複数のタスクを並行に実施することにより想像外の効果を獲得することができる。同様に、前記明細書には本開示の複数の具体的な実施形態が含まれているが、本開示は前記具体的な実施形態にのみ限定されるものでない。ある実施例に記載されている所定の技術的特徴を結合させることによりその実施例を実施することができる。また、ある実施例に記載されている所定の技術的特徴を複数の実施例にそれぞれ結合させるか或いは適切な結合手段により複数の実施例に同時に結合させることができる。
以上、所定の構造的特徴及び／又は方法のロジカルアクション（ｌｏｇｉｃａｌ ａｃｔｉｏｎ）により本開示を説明してきたが、前記所定の構造的特徴及び／又は方法のロジカルアクションのみにより本開示の特許請求の範囲を特定するものでない。前記所定の構造的特徴及び／又は方法のロジカルアクションは本開示の例示に過ぎないものである。

Claims (13)

  1. 画像処理方法であって、
    動画画像を取得するステップと、
    前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップと、
    前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップと、を含み、
    前記前景ステッカーは、第１の動画シーケンスからなり、
    前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するステップは、前記第１の動画シーケンスから第１のフレーム動画画像を選択して前記前景ステッカーとするステップを含み、
    前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、前記動画画像の重畳進度に基づいて、周期的に前記第１の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とするステップを含み、
    前記前景ステッカー、前記画面特殊効果、フィルターは、画面方向に向かう方向において後ろから前に順に配列される、
    ことを特徴とする画像処理方法。
  2. 前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するステップは、
    前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップを含む、
    ことを特徴する請求項１に記載の画像処理方法。
  3. 前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーに基づいて歪みの画面特殊効果画像を生成するステップは、
    前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、
    前記オフセット量に基づいて前記前景ステッカーにおける各画素点を移動させて、前記歪みの画面特殊効果画像を得るステップと、を含む、
    ことを特徴する請求項２に記載の画像処理方法。
  4. 前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
    前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、前記動画画像の高さ、オフセット幅、システム時間、歪み係数、歪み密度及び補正係数のうちの少なくとも１つのパラメータを取得するステップと、
    前記少なくとも１つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップと、を含む、
    ことを特徴する請求項３に記載の画像処理方法。
  5. 前記少なくとも１つのパラメータに基づいて、前記前景ステッカーにおける各画素点のオフセット量を確定するステップは、
    下記の式
    Figure 0007338041000005
     を採用して前記前景ステッカーにおける各画素点のオフセット量を確定するステップを含み、
    ｘは、画素点の横座標であり、ｙは、画素点の縦座標であり、αは、前記オフセット幅であり、βは、前記歪み係数であり、ｔは、前記システム時間であり、δは、前記歪み密度であり、ε１及びε２は、前記補正係数であり、ｓｉｎ（．）は、正弦関数である、
    ことを特徴する請求項４に記載の画像処理方法。
  6. 前記方法は、
    前記画面特殊効果画像に対してフィルター処理を行うステップと、
    フィルター処理後の画面特殊効果画像をレンダリングするステップと、をさらに含む、
    ことを特徴する請求項２～５のいずれか１項に記載の画像処理方法。
  7. 前記フィルターは、第２の動画シーケンスからなり、
    前記画面特殊効果画像に対してフィルター処理を行うステップは、
    前記動画画像の重畳進度に基づいて、周期的に前記第２の動画シーケンスから動画画像を順に選択してフィルター画像とするステップと、
    前記フィルター画像を採用して前記画面特殊効果画像に対してフィルター処理を行うステップと、を含む、
    ことを特徴する請求項６に記載の画像処理方法。
  8. 前記方法は、第１のタイマによって前記周期を制御するステップをさらに含む、
    ことを特徴する請求項１または６または７に記載の画像処理方法。
  9. 前記方法は、前記動画画像に予め設定されたターゲットが出現したことを検出した後かつ前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳する前に、第２のタイマを起動させて計時するステップをさらに含む、
    ことを特徴する請求項６に記載の画像処理方法。
  10. 前記方法は、前記第２のタイマの計時が予め設定された時間を超えたときに、前記フィルター、前記画面特殊効果、及び前記前景ステッカーを順にオフするステップをさらに含む、
    ことを特徴する請求項９に記載の画像処理方法。
  11. 画像処理装置であって、
    動画画像を取得するための画像取得手段と、
    前記動画画像に予め設定されたターゲットが出現したことを検出したときに、前記予め設定されたターゲットに対応するターゲット画像に前景ステッカーを重畳するためのステッカー重畳手段と、
    前記動画画像における前記予め設定されたターゲットが予め設定された動作を発生したときに、画面特殊効果を生成するための特殊効果生成手段と、
    を備え、
    前記前景ステッカーは、第１の動画シーケンスからなり、
    前記ステッカー重畳手段は、前記第１の動画シーケンスから第１のフレーム動画画像を選択して前記前景ステッカーとし、
    前記特殊効果生成手段は、前記動画画像の重畳進度に基づいて、周期的に前記第１の動画シーケンスにおける残り動画から動画画像を順に選択して画面特殊効果画像とし、
    前記前景ステッカー、前記画面特殊効果、フィルターは、画面方向に向かう方向において後ろから前に順に配列される、
    ことを特徴するの画像処理装置。
  12. 非一時的なコンピュータ可読指令を記憶するための記憶器と、
    前記コンピュータ可読指令の実行によって請求項１～１０のいずれか１項に記載の画像処理方法を実行するための処理器と、備える、
    ことを特徴する電子機器。
  13. 非一時的なコンピュータ可読指令を記憶するためのものであり、
    前記非一時的なコンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが請求項１～１０のいずれか１項に記載の画像処理方法を実行する、
    ことを特徴するコンピュータ可読型記憶媒体。
JP2022509655A 2019-08-16 2020-08-04 画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体 Active JP7338041B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910759082.0A CN112396676B (zh) 2019-08-16 2019-08-16 图像处理方法、装置、电子设备和计算机可读存储介质
CN201910759082.0 2019-08-16
PCT/CN2020/106861 WO2021031847A1 (zh) 2019-08-16 2020-08-04 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2022545394A JP2022545394A (ja) 2022-10-27
JP7338041B2 true JP7338041B2 (ja) 2023-09-04

Family

ID=74601972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022509655A Active JP7338041B2 (ja) 2019-08-16 2020-08-04 画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体

Country Status (5)

Country Link
US (1) US11516411B2 (ja)
EP (1) EP4016993A4 (ja)
JP (1) JP7338041B2 (ja)
CN (1) CN112396676B (ja)
WO (1) WO2021031847A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278041B (zh) * 2021-04-29 2024-02-27 北京字跳网络技术有限公司 图像处理方法、装置、电子设备以及可读存储介质
CN113923355A (zh) * 2021-09-30 2022-01-11 上海商汤临港智能科技有限公司 一种车辆及图像拍摄方法、装置、设备、存储介质
CN116126182A (zh) * 2022-09-08 2023-05-16 北京字跳网络技术有限公司 特效处理方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833818A (zh) 2018-06-28 2018-11-16 腾讯科技（深圳）有限公司 视频录制方法、装置、终端及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074035B (zh) * 2010-12-29 2014-07-02 拓维信息系统股份有限公司 一种基于全景图像扭曲的手机动漫人物创作方法
CN104967801B (zh) * 2015-02-04 2019-09-17 腾讯科技（深圳）有限公司 一种视频数据处理方法和装置
CN105068748A (zh) * 2015-08-12 2015-11-18 上海影随网络科技有限公司 触屏智能设备的摄像头实时画面中用户界面交互方法
CN106210545A (zh) * 2016-08-22 2016-12-07 北京金山安全软件有限公司 一种视频拍摄方法、装置及电子设备
KR101961241B1 (ko) * 2017-09-07 2019-03-22 라인 가부시키가이샤 영상 통화 및 객체 인식을 바탕으로 한 게임 제공 방법 및 그 시스템
CN108289180B (zh) * 2018-01-30 2020-08-21 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN108712661B (zh) * 2018-05-28 2022-02-25 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN108986017B (zh) * 2018-06-29 2023-06-20 北京微播视界科技有限公司 图像特效处理方法、装置和计算机可读存储介质
CN109462776B (zh) * 2018-11-29 2021-08-20 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109803165A (zh) * 2019-02-01 2019-05-24 北京达佳互联信息技术有限公司 视频处理的方法、装置、终端及存储介质
CN109889893A (zh) * 2019-04-16 2019-06-14 北京字节跳动网络技术有限公司 视频处理方法、装置及设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833818A (zh) 2018-06-28 2018-11-16 腾讯科技（深圳）有限公司 视频录制方法、装置、终端及存储介质

Also Published As

Publication number Publication date
WO2021031847A1 (zh) 2021-02-25
US11516411B2 (en) 2022-11-29
CN112396676A (zh) 2021-02-23
US20220174226A1 (en) 2022-06-02
JP2022545394A (ja) 2022-10-27
EP4016993A4 (en) 2022-08-31
CN112396676B (zh) 2024-04-02
EP4016993A1 (en) 2022-06-22

Similar Documents

Publication Publication Date Title
JP7338041B2 (ja) 画像処理方法、装置、電子機器及びコンピュータ可読型記憶媒体
US10389938B2 (en) Device and method for panoramic image processing
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
CN108337547B (zh) 一种文字动画实现方法、装置、终端和存储介质
CN112965780B (zh) 图像显示方法、装置、设备及介质
CN113076048B (zh) 视频的展示方法、装置、电子设备和存储介质
CN112764845B (zh) 视频处理方法及装置、电子设备和计算机可读存储介质
CN111790148B (zh) 游戏场景中的信息交互方法、设备及计算机可读介质
WO2023020239A1 (zh) 特效生成方法、装置、电子设备及存储介质
WO2023169305A1 (zh) 特效视频生成方法、装置、电子设备及存储介质
CN112351221B (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN115379105B (zh) 视频拍摄方法、装置、电子设备和存储介质
CN111833459B (zh) 一种图像处理方法、装置、电子设备及存储介质
US10242479B2 (en) Information processing device and information processing method
CN111726666A (zh) 视频显示控制方法和装置
CN117244249A (zh) 多媒体数据生成方法、装置、可读介质及电子设备
CN106462935B (zh) 图像处理装置、图像处理方法和计算机可读存储介质
WO2021027632A1 (zh) 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN114897688A (zh) 视频处理方法、装置、计算机设备及介质
JP2022551671A (ja) オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体
CN112363787A (zh) 图像处理方法、装置和电子设备
US20240163392A1 (en) Image special effect processing method and apparatus, and electronic device and computer readable storage medium
US11880919B2 (en) Sticker processing method and apparatus
US20230334730A1 (en) Dynamic fluid display method and apparatus, electronic device, and readable medium
CN114757815A (zh) 动态流体显示方法、装置、电子设备和可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230823

R150 Certificate of patent or registration of utility model

Ref document number: 7338041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150