JP2023508462A - ビデオエフェクト処理方法及び装置 - Google Patents

ビデオエフェクト処理方法及び装置 Download PDF

Info

Publication number
JP2023508462A
JP2023508462A JP2022539328A JP2022539328A JP2023508462A JP 2023508462 A JP2023508462 A JP 2023508462A JP 2022539328 A JP2022539328 A JP 2022539328A JP 2022539328 A JP2022539328 A JP 2022539328A JP 2023508462 A JP2023508462 A JP 2023508462A
Authority
JP
Japan
Prior art keywords
video
effect processing
frame image
target object
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022539328A
Other languages
English (en)
Other versions
JP7427792B2 (ja
Inventor
リ，シャオチー
ジョウ，ジンジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023508462A publication Critical patent/JP2023508462A/ja
Application granted granted Critical
Publication of JP7427792B2 publication Critical patent/JP7427792B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本開示の実施形態は、ビデオエフェクト処理方法及び装置を開示する。本方法は、ビデオの再生中に、ビデオと共に再生される音楽を検出することと、音楽が所定のリズムで再生されていることが検出された場合、ビデオのうち再生待ちのビデオフレーム画像を取得することと、ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、エフェクト処理後のビデオフレーム画像を表示再生することと、を含む。本開示の実施形態は、ビデオの再生中に、ビデオと共に再生される音楽を検出し、前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得し、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を取得し、エフェクト処理後のビデオフレーム画像を表示再生することによって、音楽とエフェクトとを組み合わせて、ビデオのエフェクト機能をより豊かにすることができる。

Description

本開示は、ビデオエフェクト処理の技術分野に関し、特には、ビデオエフェクト処理方法及び装置に関する。
本出願は、2019年12月26日に中国特許庁に提出された、出願番号が201911364890.3であり、タイトルが「ビデオエフェクト処理方法及び装置」である中国特許出願について優先権を主張するものであり、その全体の内容が引用により本出願に組み込まれている。
インターネット技術やビデオエフェクト処理技術の発展に伴い、ビデオの撮影に際して、ビデオにエフェクトを付加することが人々の注目を集めている。ユーザは、それぞれのエフェクト機能を選択することにより、自分の好みのエフェクトを撮影されたビデオに加えることができ、ビデオの撮影の興趣性をさらに高めることができる。
従来技術では、ビデオのみに対して処理が行われ、ビデオのエフェクトは比較的単一である。
この発明の概要は、発明を実施するための形態で詳細に説明される構想を簡潔な形態で紹介するために提供される。この発明の概要は、特許請求の範囲に記載された技術案の主な特徴又は必須の特徴を特定することを意図するものではなく、また、保護請求される技術案の範囲を限定するために使用されることも意図するものではない。
本開示が解決しようとする技術的課題は、従来技術におけるビデオのエフェクトが比較的単一であるという技術的課題を少なくとも部分的に解決するビデオエフェクト処理方法を提供することにある。また、ビデオエフェクト処理装置、電子機器、コンピュータ読み取り可能な記録媒体、及びビデオエフェクト処理端末を提供する。
上記の目的を達成するために、本開示の一態様によれば、以下の技術案が提供される。
目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出することと、
前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得することと、
前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、
エフェクト処理後のビデオフレーム画像を表示再生することと、を含む、ビデオエフェクト処理方法が提供される。
上記の目的を達成するために、本開示の一態様によれば、以下の技術案が提供される。
目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出するための音楽検出モジュールと、
前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得するための画像取得モジュールと、
前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得るためのエフェクト処理モジュールと、
エフェクト処理後のビデオフレーム画像を表示再生するエフェクト表示モジュールと、を含む、ビデオエフェクト処理装置が提供される。
上記の目的を達成するために、本開示の一態様によれば、以下の技術案が提供される。
非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
前記コンピュータ読み取り可能な命令を実行するプロセッサであって、前記プロセッサによって実行されたときに、上記のいずれかのビデオエフェクト処理方法を実施させるプロセッサと、を含む、電子デバイスが提供される。
上記の目的を達成するために、本開示の一態様によれば、以下の技術案が提供される。
コンピュータによって実行されたときに、上記のいずれかのビデオエフェクト処理方法を前記コンピュータに実行させる非一時的なコンピュータ読み取り可能な命令を記憶する、コンピュータ読み取り可能な記憶媒体が提供される。
上記目的を達成するために、本開示のさらに別の態様によれば、以下の技術案が提供される。
上記のいずれかのビデオエフェクト処理装置を含むビデオエフェクト処理端末が提供される。
本開示の実施形態は、ビデオの再生中に、前記ビデオとともに再生される音楽を検出し、前記音楽が所定のリズムで再生されることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得し、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を取得し、エフェクト処理後のビデオフレーム画像を表示再生することによって、音楽とエフェクトとを組み合わせて、ビデオのエフェクト機能をより豊かにすることができる。
上記説明は、本開示の技術案の概要に過ぎず、本開示の技術手段をより明確に理解するために、本明細書の内容にしたがって実施され、本開示の上記の及び他の目的、特徴、及び利点をより明確に理解するために、以下の好ましい実施形態を挙げて、添付の図面と合わせて詳細に説明する。
本開示の一実施形態によるビデオエフェクト処理方法のフローチャートである。 本開示の一実施形態によるビデオエフェクト処理装置の構造概略図である。 本開示の一実施形態による電子デバイスの構造概略図である。
以下、本開示の実施形態について図面を参照して詳細に説明する。本開示の特定の実施形態が図面に示されているが、本開示は、様々な形態で実施されてもよく、本明細書に説明される実施形態に限定されるものとして解釈されるものではない。むしろ、これらの実施形態は、本開示のより明白かつ完全な理解のために提供されるものであると、理解すべきである。本開示の図面及び実施形態は、単に例示的なものであり、本開示の保護範囲を制限するものではないと、理解すべきである。
本開示の方法の実施形態に記載された各々のステップは、異なる順序で、かつ／あるいは、並行して実行されてもよいと、理解すべきである。さらに、方法の実施形態は、追加のステップを含んでもよく、かつ／あるいは、示されたステップの実行を省略してもよい。本開示の範囲は、この点において限定されない。
本明細書で使用される用語である「含む」及びその変形は、開放的な包括、すなわち、「含むが、これに限定されない」を指すものである。「基づいて」という用語は、「少なくとも部分的に基づいて」を指すものである。「一実施形態」という用語は、「少なくとも1つの実施形態」を意味し、「別の実施形態」という用語は、「少なくとも1つの別の実施形態」を意味し、「いくつかの実施形態」という用語は、「少なくともいくつかの実施形態」を意味する。他の用語の関連する定義は、以下の説明において与えられる。
実施形態1
本開示の実施形態は、従来技術におけるビデオ効果が比較的単一であるという技術的課題を解決するために、ビデオエフェクト処理方法を提供する。図1に示すように、このビデオエフェクト処理方法は、主に、以下のステップS11～ステップS14を含む。
ステップS11：目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出する。
ここで、ビデオはリアルタイムで取得されるビデオであってもよく、具体的には、端末のカメラヘッド又はカメラによってリアルタイムでビデオを取得してもよい。あるいは、端末のローカルに予め記憶されているビデオ、または、動画、または、一連の静止画からなる画像シーケンスでもよい。ここで、端末は、移動端末(例えば、スマートフォン、iPhone（登録商標）、タブレット、ノート、またはウェアラブル機器)であってもよく、固定端末(例えば、デスクトップコンピュータ)であってもよい。
ここで、目標オブジェクトは、予め設定されてよく、例えば、顔、動物、植物、人体、手振りなどであってもよく、具体的には、既存の目標検出アルゴリズムを用いてビデオを検出して、目標オブジェクトを得ることができる。適用可能な目標検出アルゴリズムは、深さ学習による目標検出アルゴリズム、ニューラルネットワークによる画像認識アルゴリズムであり得る。
ここで、音楽は、ビデオそのものに含まれる背景音楽であってもよいし、ユーザがビデオを撮影する際に選択した音楽であってもよい。具体的には、ビデオの再生中に、音楽を同時に再生するが、その音楽は歌詞を含む音楽であってもよいし、軽音楽であってもよい。
ステップS12：前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得する。
具体的には、まず、音楽に応じて、対応する音楽信号を取得し、次いで、取得された音楽信号を、音声信号検出アルゴリズムを用いて検出し、前記音楽のリズム情報を得る。採用可能な音声信号検出アルゴリズムには、BPM(Beat Per Minute、1分あたりの拍数)アルゴリズムや改良のBPMアルゴリズムが含まれる。
ここで、前記リズム情報は、拍点、アクセントポイント、ドラムポイント、または所定のメロディポイントの少なくとも1つを含む。ここで、拍には、1/4、2/4、3/4、4/4、3/8、6/8、7/8、9/8、12/8拍などが含まれる。アクセントには、通常アクセント、倍アクセント、ドラムポイントが含まれる。通常アクセントとは、ある音に力を加え、息を入れるものである。倍アクセントとは、音の長さがなくなるまで、ある音に力を加えたり、息を入れたりするものであり、すなわち、ピアノのタッチが終わった後も、その弦振動波がやはり働いている。ドラムポイントとは、ドラム上の一打やたたき音、或いはオーケストラにおけるパーカッションの拍ドラムポイントである。
ステップS13：前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得る。
具体的には、ビデオによって、下記の2つの場合に分けて処理できる。第1に、ビデオにおけるフレーム画像毎に目標オブジェクトが含まれている場合、直接的に所定のリズムに応じて前記目標オブジェクトに対してエフェクト処理を施すことができる。第2に、ビデオにおいてフレーム画像毎に前記目標オブジェクトが含まれていることではないので、この場合、ビデオの現時点の再生位置に前記目標オブジェクトが出現したと判定され、かつ前記音楽が同時に所定のリズムで再生されていると判定された場合のみ、前記所定のリズムに応じて前記目標オブジェクトに対してエフェクト処理を施す。
ステップS14：エフェクト処理後のビデオフレーム画像を表示し再生する。
本実施形態は、ビデオの再生中に、前記ビデオと共に再生される音楽を検出し、前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得し、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を取得し、エフェクト処理後のビデオフレーム画像を表示再生することによって、音楽とエフェクトとを組み合わせて、ビデオのエフェクト機能をより豊かにすることができる。
代替の実施形態において、ステップS13は、具体的には以下を含む。
ステップS131：前記所定のリズムに応じて、前記所定のリズムに対応するエフェクト処理方式を決定する。
ステップS132：前記エフェクト処理方式に従って、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得る。
ここで、前記エフェクト処理方式は、前記ビデオフレーム画像において前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現するためのミラー引き処理、または、前記ビデオフレーム画像において前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現するためのミラー押し処理である。
具体的には、前記目標オブジェクトを拡大する際に、ビデオフレーム画像における目標オブジェクトのみを拡大することができる。例えば、まず、ビデオフレーム画像から前記目標オブジェクトを抜き出し、ビデオフレーム画像における目標オブジェクト以外の画像領域を背景領域とし、前記目標オブジェクトのみを拡大し、背景領域はそのままにしておき、拡大した目標オブジェクトを背景領域に重ね合わせることで、エフェクト処理後のビデオフレーム画像を得る。同様に、前記目標オブジェクトを縮小する際に、ビデオフレーム画像における目標オブジェクトのみを縮小してもよい。例えば、まず、ビデオフレーム画像から前記目標オブジェクトを抜き出し、ビデオフレーム画像における目標オブジェクト以外の画像領域を背景領域とし、目標オブジェクトのみを縮小し、背景領域はそのままにしておき、縮小した目標オブジェクトを背景領域に重ね合わせることで、エフェクト処理後のビデオフレーム画像を得る。
代替の実施形態では、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、または、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理である。
具体的には、前記所定のリズムが強拍の拍点である場合、前記ビデオフレーム画像において前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現し、かつ、前記所定のリズムが弱拍の拍点である場合、前記ビデオフレーム画像において前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現する。または、前記所定のリズムが強拍の拍点である場合、前記ビデオフレーム画像において前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現し、かつ、前記所定のリズムが弱拍の拍点である場合、前記ビデオフレーム画像において前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現する。
代替の実施形態では、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の拡大パラメータを用いるミラー引き処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の拡大パラメータを用いるミラー引き処理であり、ここで、前記第1の拡大パラメータと前記第2の拡大パラメータとは異なるパラメータである。または、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の縮小パラメータを用いるミラー押し処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の縮小パラメータを用いるミラー押し処理であり、ここで、前記第1の縮小パラメータと前記第2の縮小パラメータとは異なるパラメータである。
ここで、所定のリズムにおける拍点に応じて、対応するスケーリングパラメータを予め設定することができ、具体的には、縮小パラメータ又は拡大パラメータを設定することができる。縮小パラメータである場合に、前記所定のリズムの再生中において、対応する拍点で再生されたとき、前記目標オブジェクトを縮小し、かつ、拡大パラメータである場合に、前記所定のリズムの再生中において、対応する拍点で再生されたとき、前記目標オブジェクトを拡大する。
代替の実施形態では、前記第1の拡大パラメータは、前記第2の拡大パラメータよりも大きく、前記第1の縮小パラメータは、前記第2の縮小パラメータよりも大きい。
具体的に、所定のリズムは、複数のアクセント、または複数のドラムポイント、または少なくとも1つのアクセントおよび少なくとも1つのドラムポイントを含んでもよい。前記アクセント又はドラムポイントの音量の高低に応じて、異なるスケーリングパラメータをそれぞれ設定でき、即ち、音量が比較的高いアクセント又はドラムポイントの場合には、相対的に大きい拡大パラメータを対応させ、音量が比較的低いアクセント又はドラムポイントの場合には、相対的に小さい拡大パラメータを対応させることにより、前記所定のテンポの再生中に、異なるアクセント又はドラムポイントで再生された場合に、前記目標オブジェクトを拡大縮小、若しくは縮小拡大、若しくは徐々に拡大、若しくは徐々に縮小する効果を奏することができる。
例えば、拍が2/4拍の場合、小節あたり2拍しかなく、その拍の規律が強、弱であれば、所定のリズムに含まれる拍数に応じて強弱拍のシーケンスを決定することができる。例えば、所定のリズムが1拍を含む場合、強弱拍シーケンスは「強 弱」と決定され、所定のリズムが2拍を含む場合、強弱拍シーケンスは「強 弱 強 弱」と決定されてよく、このように類推できるが、ここでは、その説明を省略する。
拍が3/4拍の場合、小節あたり3拍しかなく、拍の規律は、強、弱、弱となっている。強弱拍のシーケンスは、所定のリズムに含まれる拍数に基づいて決定することができる。例えば、所定のリズムが1拍を含む場合、強弱拍シーケンスは「強 弱 弱」と決定され、所定のリズムが2拍を含む場合、強弱拍シーケンスは「強 弱 弱 強 弱 弱」と決定されてよく、このように類推できるが、ここでは、その説明を省略する。
拍が4/4拍である場合、小節あたり4拍しかなく、拍の規律は、強、弱、次に強、弱となる。強弱拍のシーケンスは、所定のリズムに含まれる拍数に基づいて決定されてよい。例えば、所定のリズムが1拍を含む場合、強弱拍のシーケンスは「強 弱 次に強 弱」と決定され、所定のリズムが2拍を含む場合、強弱拍のシーケンスは「強 弱 次に強 弱 強 弱 次に強 弱」と決定されてよく、このように類推できるが、ここでは、その説明を省略する。
拍が6/8拍の場合、小節あたり6拍しかなく、拍の規律は、強、弱、弱、次に強、弱、弱となっている。強弱拍のシーケンスは、所定のリズムに含まれる拍数に基づいて決定されてよい。例えば、所定のリズムが1拍を含む場合、強弱拍シーケンスは「強 弱 弱 次に強 弱 弱」と決定され、所定のリズムが2拍を含む場合、強弱拍シーケンスは「強 弱 弱 次に強 弱 弱」と決定されてよく、このように類推できるが、ここでは、その説明を省略する。
縮小パラメータまたは拡大パラメータは、対応する強拍と弱拍に応じて個別に設定することができる。設定の規則は、前記強拍のスケーリング係数を前記弱拍のスケーリング係数よりも大きくし、または前記強拍のスケーリング係数を前記弱拍のスケーリング係数よりも小さくすることができる。
例えば、強弱拍シーケンスが[強 弱]である場合、強拍に対応するエフェクトパラメータを拡大パラメータに設定し、弱拍に対応するエフェクトのパラメータを縮小パラメータに設定することができる。これにより、前記所定のリズムの再生中に、強拍で再生された場合、前記目標オブジェクトを拡大し、弱拍で再生された場合、前記目標オブジェクトを縮小して、前記目標オブジェクトを拡大縮小する効果を実現することができる。または、強拍に対応するエフェクトのパラメータを縮小パラメータとし、弱拍に対応するエフェクトのパラメータを拡大パラメータとすることにより、前記所定のリズムの再生中に、強拍で再生された場合、前記目標オブジェクトを縮小し、弱拍で再生された場合、前記目標オブジェクトを拡大して、前記目標オブジェクトを縮小拡大する効果を実現することができる。または、強拍に対応するエフェクトのパラメータを、相対的に小さい縮小パラメータに設定し、弱拍に対応するエフェクトのパラメータを、相対的に大きい縮小パラメータに設定することにより、前記所定のリズムの再生中に、強拍で再生されると、前記目標オブジェクトを縮小し、弱拍で再生されると、前記目標オブジェクトをさらに縮小して、前記目標オブジェクトを徐々に縮小する効果を実現することができる。または、強拍に対応するエフェクトのパラメータを、相対的に小さい拡大パラメータに設定し、弱拍に対応するエフェクトのパラメータを、相対的に大きい拡大パラメータに設定することにより、前記所定のリズムの再生中に、強拍で再生されると、前記目標オブジェクトを拡大し、弱拍で再生されると、前記目標オブジェクトをさらに拡大して、前記目標オブジェクトを徐々に拡大する効果を実現することができる。
代替の実施形態において、前記ミラー引き処理としては、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最大閾値に拡大されるまで、前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現し、最大閾値まで拡大された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行する。前記ミラー押し処理としては、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最小閾値に縮小されるまで、前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現し、最小閾値まで縮小された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行する。
具体的には、端末のスクリーンに表示された目標オブジェクトが最大に拡大され、または、最小に縮小されると、ディザリングパラメータを取得する。ここで、ディザリングパラメータは、ディザリング方向(例えば、前後ディザリング)、ディザリング幅、およびディザリング周波数、等を含む。ここで、ディザリング幅は、スケーリングパラメータに関連し得る。例えば、拡大パラメータが大きいほどディザリング幅を大きくし、スケーリングパラメータが大きいほどディザリング幅を小さくするようにしてもよい。ディザリング方向とディザリング周波数は、カスタム的に設定することができる。ここで、ディザリングパラメータは、予め設定し、端末ローカルまたはネットワーク上に格納しておき、取得時に端末ローカルまたはネットワーク上から取得するようにしてもよい。前記取得されたディザリングパラメータに応じて、最大に拡大または最小に縮小されたときの前記目標オブジェクトに対応するビデオ画面をディザリングする。
当業者であれば、上記の各実施形態に加えて、例示の態様の組み合わせなど、明らかな変形、または等価な置換が可能であると、理解することができる。
以上、ビデオエフェクト処理方法の実施形態における各ステップは、上記の順序で説明されているが、本開示の実施形態におけるステップは、必ずしも上記の順序で実行される必要はなく、逆順、並列、交差などの他の順序で実行されてもよいことは当業者にとって明らかである。また、上記のステップに加えて、当業者は、他のステップを加えてもよい。これらの明らかな変形又は等価な置換は、本開示の保護範囲に含まれ、ここではその説明を省略する。
以下は、本開示の装置の実施形態である。本開示の装置の実施形態は、本開示の方法の実施形態により実現されるステップを実行するために使用されてもよく、説明を簡単にするために、本開示の実施形態に関連する部分のみが示され、具体的な技術的詳細が開示されていない部分は、本開示の方法の実施形態を参照できる。
実施形態2
本開示の実施形態は、従来技術におけるビデオ効果が比較的単一であるという技術的課題を解決するために、ビデオエフェクト処理装置を提供する。この装置は、実施形態1で説明したビデオエフェクト処理方法の実施形態の各ステップを実行することができる。図2に示すように、この装置は、主として、音楽検出モジュール21と、画像取得モジュール22と、エフェクト処理モジュール23と、エフェクト表示モジュール24と、を含む。ここで、
音楽検出モジュール21は、目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出することに用いられ、
画像取得モジュール22は、前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得することに用いられ、
エフェクト処理モジュール23は、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることに用いられ、
エフェクト表示モジュール24は、エフェクト処理後のビデオフレーム画像を表示再生することに用いられる。
さらに、前記エフェクト処理モジュール23は、具体的には、前記所定のリズムに応じて、前記所定のリズムに対応するエフェクト処理方式を決定することと、前記エフェクト処理方式に従って、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、に用いられる。ここで、 前記エフェクト処理方式は、前記ビデオフレーム画像において前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現するためのミラー引き処理、または、前記ビデオフレーム画像において前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現するためのミラー押し処理、である。
さらに、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、または、
前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理である。
さらに、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の拡大パラメータを用いるミラー引き処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の拡大パラメータを用いるミラー引き処理であり、ここで、前記第1の拡大パラメータと前記第2の拡大パラメータとは異なるパラメータである。または、
前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の縮小パラメータを用いるミラー押し処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の縮小パラメータを用いるミラー押し処理であり、ここで、前記第1の縮小パラメータと前記第2の縮小パラメータとは異なるパラメータである。
さらに、前記第1の拡大パラメータは、前記第2の拡大パラメータよりも大きく、前記第1の縮小パラメータは、前記第2の縮小パラメータよりも大きい。
さらに、前記ミラー引き処理としては、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最大閾値に拡大されるまで、前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現し、最大閾値まで拡大された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行し、
前記ミラー押し処理としては、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最小閾値に縮小されるまで、前記目標オブジェクトを縮小してミラー押しのビデオ効果を実現し、最小閾値まで縮小された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行する。
さらに、前記所定のリズムは、前記音楽における拍点、アクセントポイント、ドラムポイント、または所定のメロディポイントである。
ビデオエフェクト処理装置の実施形態の動作原理や技術的効果等の詳細については、上述したビデオエフェクト処理方法の実施形態の説明を参照することができ、ここでは、その説明を省略する。
実施形態3
図3は、本開示の実施形態を実施するのに適した電子デバイス300の構造概略図を示す。本開示の実施形態に係る端末機器は、携帯電話、ノートパソコン、デジタル放送受信機、PDA（パーソナルデジタルアシスタント）、PAD(パッド)、PMP(ポータブルメディアプレーヤ)、車載用端末(例えばカーナビゲーション端末)などの携帯端末や、デジタルTV、デスクトップコンピュータなどの固定端末などを含み得るが、これらに限定されない。図3に示す電子機器は一例であって、本開示の実施形態の機能及び使用範囲について何ら制限がない。
図3に示すように、電子機器300は、リードオンリーメモリ(ROM)302に格納されたプログラム、又は、記憶装置308からランダムアクセスメモリ(RAM)303にロードされたプログラムに従って、様々な適切な動作及び処理を実行することができる処理装置(例えば、中央プロセッサ、グラフィックプロセッサ、等)301を含んでもよい。RAM303には、電子機器300の動作に必要な各種のプログラムやデータも記憶される。処理装置301、ROM302、およびRAM303は、バス304を介して互いに接続されている。バス304には、さらに、入出力(I/O)インターフェース305が接続されている。
一般的に、I/Oインターフェース305には、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラヘッド、マイクロフォン、加速度計、ジャイロスコープ、などを含む入力装置306と、例えば、液晶ディスプレイ(LCD)、スピーカ、バイブレータ、などを含む出力装置307と、例えば、磁気テープ、ハードディスク、などを含む記憶装置308と、通信装置309と、が接続されている。通信装置309は、電子機器300が、他のデバイスと無線又は有線で通信して、データを交換することを可能にする。図3は、様々な装置を有する電子機器300を示すが、示される装置の全てが実現され、または、備えられることを要求しないことが、理解されるべきである。これに代えて、より多くの、又は、より少ない装置が実現され、または、備えられてもよい。
特に、本開示の実施形態によれば、フローチャートを参照して上述したプロセスは、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施形態は、フローチャートに示される方法を実行するためのプログラムコードを含む、非一時的コンピュータ読み取り可能な媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含む。このような実施形態において、コンピュータプログラムは、通信装置309を介してネットワークからダウンロードされてインストールされてもよく、または、記憶装置308からインストールされてもよく、または、ROM302からインストールされてもよい。処理装置301によってコンピュータプログラムが実行されると、本開示の実施形態の方法に規定された上記機能が実行される。
なお、本開示に係る上記のコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、またはコンピュータ読み取り可能な記憶媒体、または上記の2つの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、または半導体のシステム、装置、またはデバイス、あるいは、それらの任意の組合せとすることができるが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例は、1つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、又は、上記の任意の適切な組み合わせを含み得るが、これらに限定されない。本開示において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、または、それらと関連して使用され得るプログラムを含み、または、記憶する、任意の有形媒体であり得る。本開示では、コンピュータ読み取り可能な信号媒体は、ベースバンド又は搬送波の一部として伝搬されるデータ信号を含み、コンピュータ読み取り可能なプログラムコードを担持する。このような伝搬データ信号は、電磁信号、光信号、又は、上記の任意の適切な組み合わせを含む様々な形態をとり得るが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、又はデバイスによって、または、それらと関連して使用されるプログラムを送信、伝播、又は伝送することができる、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、電線、光ケーブル、RF(無線周波数)など、または、上記の任意の適切な組み合わせを含む、任意の適切な媒体で送信され得るが、これらに限定されない。
いくつかの実施形態において、クライアント、サーバは、HTT(Hyper Text Transfer Protocol、ハイパーテキストトランスファープロトコル)などの任意の現在既知の、または、将来開発されるネットワークプロトコルを用いて通信することができ、任意の形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、インターネット、及びエンドツーエンドネットワーク(例えば、アドホックエンドツーエンドネットワーク)、並びに、現在既知の、又は、将来開発される任意のネットワークが挙げられる。
前記コンピュータ読み取り可能な媒体は、前記電子機器に含まれたものであってもよく、当該電子機器に組み込まれずに単独で存在してもよい。
前記コンピュータ読み取り可能な媒体は、1つまたは複数のプログラムを担持する。前記1つまたは複数のプログラムは、電子機器によって実行されると、前記電子機器に、目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出し、前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得し、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を取得し、エフェクト処理後のビデオフレーム画像を表示再生するようにする。
本開示の動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++などのオブジェクト指向プログラミング言語、及び、「C」言語又は類似のプログラミング言語のような従来の手続き型プログラミング言語も含むがこれらに限定されない、1つまたは複数のプログラミング言語又はそれらの組合せで記述されてもよい。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的に遠隔コンピュータ上で、又は、完全に遠隔コンピュータ若しくはサーバ上で、実行され得る。遠隔コンピュータを用いる場合、遠隔コンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、または、外部のコンピュータに接続されてもよい(例えば、インターネットサービスプロバイダを用いてインターネットを介して接続する)。
図面におけるフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能、および動作を示す。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能を実施するための1つ又は複数の実行可能な命令を含むモジュール、プログラムセグメント、又はコードの一部を表すことができる。いくつかの代替の実施形態では、ブロックに記された機能は、図に記された順序とは異なる順序で生じ得る。例えば、連続して示される2つのブロックは、実際には、関連する機能に応じて、実質的に並列に実行されてもよく、時には、逆順に実行されてもよい。ブロック図及び/又はフローチャートの各ブロック、並びに、ブロック図及び/又はフローチャートのブロックの組み合わせは、指定された機能又は動作を実行する専用のハードウェアベースのシステムで実現されてもよく、又は、専用ハードウェアとコンピュータ命令との組み合わせで実現されてもよい。
本開示の実施形態に記載されたユニットは、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。ここで、ユニットの名称は、ある場合には、そのユニット自体を限定するものではない。例えば、第１の取得ユニットは、「少なくとも２つのインターネットプロトコルアドレスを取得するためのユニット」として説明することもできる。
本明細書で上述された機能は、1つまたは複数のハードウェア論理構成要素によって少なくとも部分的に実行され得る。例えば、限定ではないが、例示的なタイプのハードウェア論理構成要素は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)、などを含む。
本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって、または、命令実行システム、装置、またはデバイスと関連して使用されるプログラムを含み、または、記憶する有形媒体であり得る。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であり得る。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置、もしくはデバイス、または、上記の任意の好適な組み合わせを含み得るが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、1つまたは複数の配線に基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、コンパクトディスクリードオンリーメモリ(CD-ROM)、光記憶機器、磁気記憶機器、又は、これらの任意の適切な組み合わせを含む。
本開示の１つまたは複数の実施形態によれば、目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出することと、
前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得することと、
前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、
エフェクト処理後のビデオフレーム画像を表示再生することと、を含む、ビデオエフェクト処理方法が提供される。
さらに、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることは、
前記所定のリズムに応じて、前記所定のリズムに対応するエフェクト処理方式を決定することと、
前記エフェクト処理方式に従って、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、を含む。
ここで、前記エフェクト処理方式は、前記ビデオフレーム画像において前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現するためのミラー引き処理、または、前記ビデオフレーム画像において前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現するためのミラー押し処理、である。
さらに、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、または、
前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理である。
さらに、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の拡大パラメータを用いるミラー引き処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の拡大パラメータを用いるミラー引き処理であり、ここで、前記第1の拡大パラメータと前記第2の拡大パラメータとは異なるパラメータであり、または、
前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の縮小パラメータを用いるミラー押し処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の縮小パラメータを用いるミラー押し処理であり、ここで、前記第1の縮小パラメータと前記第2の縮小パラメータとは異なるパラメータである。
さらに、前記第1の拡大パラメータは、前記第2の拡大パラメータよりも大きく、かつ、前記第1の縮小パラメータは、前記第2の縮小パラメータよりも大きい。
さらに、前記ミラー引き処理は、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最大閾値に拡大されるまで、前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現し、最大閾値まで拡大された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行し、
前記ミラー押し処理は、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最小閾値に縮小されるまで、前記目標オブジェクトを縮小してミラー押しのビデオ効果を実現し、最小閾値まで縮小された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行する。
さらに、前記所定のリズムは、前記音楽における拍点、アクセントポイント、ドラムポイント、または所定のメロディポイントである。
本開示の１つまたは複数の実施形態によれば、目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出するための音楽検出モジュールと、
前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得するための画像取得モジュールと、
前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得るためのエフェクト処理モジュールと、
エフェクト処理後のビデオフレーム画像を表示再生するエフェクト表示モジュールと、を含む、ビデオエフェクト処理装置が提供される。
さらに、前記エフェクト処理モジュールは、具体的には、前記所定のリズムに応じて、前記所定のリズムに対応するエフェクト処理方式を決定することと、前記エフェクト処理方式に従って、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、に用いられる。
ここで、前記エフェクト処理方式は、前記ビデオフレーム画像において前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現するためのミラー引き処理であり、または、前記ビデオフレーム画像において前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現するためのミラー押し処理である。
さらに、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理である。または、
前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理である。
さらに、前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の拡大パラメータを用いるミラー引き処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の拡大パラメータを用いるミラー引き処理であり、ここで、前記第1の拡大パラメータと前記第2の拡大パラメータとは異なるパラメータである。または、
前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の縮小パラメータを用いるミラー押し処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の縮小パラメータを用いるミラー押し処理である。ここで、前記第1の縮小パラメータと前記第2の縮小パラメータとは異なるパラメータである。
さらに、前記第1の拡大パラメータは、前記第2の拡大パラメータよりも大きく、かつ、前記第1の縮小パラメータは、前記第2の縮小パラメータよりも大きい。
さらに、前記ミラー引き処理は、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最大閾値に拡大されるまで、前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現し、最大閾値まで拡大された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行し、
前記ミラー押し処理は、具体的に、前記ビデオフレーム画像において、前記目標オブジェクトが最小閾値に縮小されるまで、前記目標オブジェクトを縮小してミラー押しのビデオ効果を実現し、最小閾値まで縮小された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行する。
さらに、前記所定のリズムは、前記音楽における拍点、アクセントポイント、ドラムポイント、または所定のメロディポイントである。
本開示の１つまたは複数の実施形態によれば、非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
前記コンピュータ読み取り可能な命令を実行するプロセッサであって、前記プロセッサに実行されたときに、上記のビデオエフェクト処理方法を実施させるプロセッサと、を含む、電子デバイスが提供される。
本開示の１つまたは複数の実施形態によれば、コンピュータによって実行されたときに、上記のビデオエフェクト処理方法を前記コンピュータに実行させる非一時的なコンピュータ読み取り可能な命令を記憶する、コンピュータ読み取り可能な記憶媒体が提供される。
以上の説明は、本開示の好ましい実施形態およびその適用技術原理の説明に過ぎない。本開示に係る開示の範囲は、上述の技術的特徴の特定の組み合わせによる技術案に限定されず、上述の開示の構想を逸脱しない限り、上述の技術的特徴またはその均等物の任意の組み合わせによる他の技術案も含むものであることは、当業者にとって理解されるべきである。例えば、上記特徴を類似の機能を備えた本開示（これに限定されない）に開示された技術的特徴と互いに置き換えることによって形成される技術案をも含む。
さらに、動作は、特定の順序で記載されているが、動作が、示された特定の順序で、または連続した順序で実行されることを要求するものとして理解されてはいけない。ある状況では、マルチタスクおよび並列処理が有利であり得る。同様に、いくつかの具体的な実現の詳細は、上記の説明に含まれているが、それらは、本開示の範囲を限定するものとして解釈してはいけない。個々の実施形態の文脈で説明される特定の特徴は、また、単一の実施形態において組み合わせても実現され得る。逆に、単一の実施形態の文脈で説明された様々な特徴は、複数の実施形態において、別々に、または、任意の適切な部分的組合せで実現されてもよい。
本主題は、構造的特徴および/または方法論理動作に特有の言語で説明されてきたが、特許請求の範囲に定義された主題は、必ずしも上記で説明された特定の特徴または動作に限定されないものと理解すべきである。むしろ、上記で説明した特定の特徴および動作は、特許請求の範囲を実施する例示的な形態にすぎない。

Claims (11)

  1. ビデオエフェクト処理方法であって、
    目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出することと、
    前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得することと、
    前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、
    エフェクト処理後のビデオフレーム画像を表示再生することと、を含む、
    ことを特徴とする、方法。
  2. 前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることは、
    前記所定のリズムに応じて、前記所定のリズムに対応するエフェクト処理方式を決定することと、
    前記エフェクト処理方式に従って、前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得ることと、を含み、
    前記エフェクト処理方式は、
    前記ビデオフレーム画像において前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現するためのミラー引き処理、または、
    前記ビデオフレーム画像において前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現するためのミラー押し処理、である、
    ことを特徴とする、請求項1に記載の方法。
  3. 前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、
    または、
    前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、ミラー押し処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、ミラー引き処理である、
    ことを特徴とする、請求項2に記載の方法。
  4. 前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の拡大パラメータを用いるミラー引き処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の拡大パラメータを用いるミラー引き処理であり、前記第1の拡大パラメータと前記第2の拡大パラメータとは異なるパラメータであり、
    または、
    前記所定のリズムが強拍の拍点である場合、前記エフェクト処理方式は、第1の縮小パラメータを用いるミラー押し処理であり、かつ、前記所定のリズムが弱拍の拍点である場合、前記エフェクト処理方式は、第2の縮小パラメータを用いるミラー押し処理であり、前記第1の縮小パラメータと前記第2の縮小パラメータとは異なるパラメータである、
    ことを特徴とする、請求項2に記載の方法。
  5. 前記第1の拡大パラメータは、前記第2の拡大パラメータよりも大きく、かつ、前記第1の縮小パラメータは、前記第2の縮小パラメータよりも大きい、
    ことを特徴とする、請求項4に記載の方法。
  6. 前記ミラー引き処理は、前記ビデオフレーム画像において、前記目標オブジェクトが最大閾値に拡大されるまで、前記目標オブジェクトを拡大して、ミラー引きのビデオ効果を実現し、最大閾値まで拡大された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行し、
    前記ミラー押し処理は、前記ビデオフレーム画像において、前記目標オブジェクトが最小閾値に縮小されるまで、前記目標オブジェクトを縮小して、ミラー押しのビデオ効果を実現し、最小閾値まで縮小された目標オブジェクトに対応するビデオ画面をディザリングする機能を実行する、
    ことを特徴とする、請求項2～5のいずれか一項に記載の方法。
  7. 前記所定のリズムは、前記音楽における拍点、アクセントポイント、ドラムポイント、または所定のメロディポイントである、
    ことを特徴とする、請求項1～5のいずれか一項に記載の方法。
  8. 目標オブジェクトを含むビデオの再生中に、前記ビデオと共に再生される音楽を検出するための音楽検出モジュールと、
    前記音楽が所定のリズムで再生されていることが検出された場合、前記ビデオのうち再生待ちのビデオフレーム画像を取得するための画像取得モジュールと、
    前記ビデオフレーム画像における目標オブジェクトに対してエフェクト処理を行い、エフェクト処理後のビデオフレーム画像を得るためのエフェクト処理モジュールと、
    エフェクト処理後のビデオフレーム画像を表示再生するエフェクト表示モジュールと、を含む、
    ことを特徴とする、ビデオエフェクト処理装置。
  9. 非一時的なコンピュータ読み取り可能な命令を記憶するためのメモリと、
    前記コンピュータ読み取り可能な命令を実行するプロセッサと、を含み、
    前記命令が前記プロセッサによって実行されると、請求項1～7のいずれか一項に記載の方法を前記プロセッサに実施させる、
    電子デバイス。
  10. コンピュータ読み取り可能な命令を記憶する、非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記命令がコンピュータによって実行されると、請求項1～7のいずれか一項に記載の方法を前記コンピュータに実行させる、
    コンピュータ読み取り可能な記憶媒体。
  11. 複数の命令を含むコンピュータプログラムであって、
    前記命令がコンピュータ機器によって実行されると、請求項1～7のいずれか一項に記載の方法を前記コンピュータ機器に実行させる、
    ことを特徴とする、コンピュータプログラム。
JP2022539328A 2019-12-26 2020-12-22 ビデオエフェクト処理方法及び装置 Active JP7427792B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911364890.3A CN113055738B (zh) 2019-12-26 2019-12-26 视频特效处理方法及装置
CN201911364890.3 2019-12-26
PCT/CN2020/138415 WO2021129628A1 (zh) 2019-12-26 2020-12-22 视频特效处理方法及装置

Publications (2)

Publication Number Publication Date
JP2023508462A true JP2023508462A (ja) 2023-03-02
JP7427792B2 JP7427792B2 (ja) 2024-02-05

Family

ID=76505990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539328A Active JP7427792B2 (ja) 2019-12-26 2020-12-22 ビデオエフェクト処理方法及び装置

Country Status (7)

Country Link
US (2) US11882244B2 (ja)
EP (1) EP4068757A4 (ja)
JP (1) JP7427792B2 (ja)
KR (1) KR20220106848A (ja)
CN (1) CN113055738B (ja)
BR (1) BR112022012742A2 (ja)
WO (1) WO2021129628A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923378B (zh) * 2021-09-29 2024-03-19 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
WO2023051245A1 (zh) * 2021-09-29 2023-04-06 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113905177B (zh) * 2021-09-29 2024-02-02 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967706A (zh) * 2017-11-27 2018-04-27 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据的处理方法、装置及计算机可读存储介质
US20190080719A1 (en) * 2017-03-02 2019-03-14 Gopro, Inc. Systems and methods for modifying videos based on music
CN110070896A (zh) * 2018-10-19 2019-07-30 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100408297B1 (ko) 2001-09-11 2003-12-01 삼성전자주식회사 영상신호 처리 시스템에서의 특수 효과 발생 방법 및 장치
EP1422668B1 (en) * 2002-11-25 2017-07-26 Panasonic Intellectual Property Management Co., Ltd. Short film generation/reproduction apparatus and method thereof
CN101247482B (zh) * 2007-05-16 2010-06-02 北京思比科微电子技术有限公司 一种实现动态图像处理的方法和装置
JP2009069185A (ja) * 2007-09-10 2009-04-02 Toshiba Corp 映像処理装置及び映像処理方法
CN104754372A (zh) * 2014-02-26 2015-07-01 苏州乐聚一堂电子科技有限公司 同步节拍特效系统及同步节拍特效处理方法
CN104811787B (zh) * 2014-10-27 2019-05-07 深圳市腾讯计算机系统有限公司 游戏视频录制方法及装置
CN107124624B (zh) * 2017-04-21 2022-09-23 腾讯科技（深圳）有限公司 视频数据生成的方法和装置
CN108259983A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 一种视频图像处理方法、计算机可读存储介质和终端
CN108322802A (zh) * 2017-12-29 2018-07-24 广州市百果园信息技术有限公司 视频图像的贴图处理方法、计算机可读存储介质及终端
CN108259984A (zh) * 2017-12-29 2018-07-06 广州市百果园信息技术有限公司 视频图像处理方法、计算机可读存储介质及终端
CN108111911B (zh) * 2017-12-25 2020-07-28 北京奇虎科技有限公司 基于自适应跟踪框分割的视频数据实时处理方法及装置
JP2018107834A (ja) 2018-04-05 2018-07-05 株式会社ニコン 再生演出プログラムおよび再生演出装置
CN110392297B (zh) * 2018-04-18 2021-12-14 腾讯科技（深圳）有限公司 视频处理方法及设备、存储介质、终端
CN108810597B (zh) * 2018-06-25 2021-08-17 百度在线网络技术（北京）有限公司 视频特效处理方法及装置
CN109040615A (zh) * 2018-08-10 2018-12-18 北京微播视界科技有限公司 视频特效添加方法、装置、终端设备及计算机存储介质
CN109729297A (zh) * 2019-01-11 2019-05-07 广州酷狗计算机科技有限公司 在视频中添加特效的方法和装置
US11297244B2 (en) * 2020-02-11 2022-04-05 Samsung Electronics Co., Ltd. Click-and-lock zoom camera user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190080719A1 (en) * 2017-03-02 2019-03-14 Gopro, Inc. Systems and methods for modifying videos based on music
CN107967706A (zh) * 2017-11-27 2018-04-27 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据的处理方法、装置及计算机可读存储介质
CN110070896A (zh) * 2018-10-19 2019-07-30 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
CN110072047A (zh) * 2019-01-25 2019-07-30 北京字节跳动网络技术有限公司 图像形变的控制方法、装置和硬件装置

Also Published As

Publication number Publication date
EP4068757A1 (en) 2022-10-05
BR112022012742A2 (pt) 2022-09-06
EP4068757A4 (en) 2023-01-25
CN113055738A (zh) 2021-06-29
JP7427792B2 (ja) 2024-02-05
US20240106968A1 (en) 2024-03-28
US11882244B2 (en) 2024-01-23
WO2021129628A1 (zh) 2021-07-01
US20220321802A1 (en) 2022-10-06
KR20220106848A (ko) 2022-07-29
CN113055738B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
JP7427792B2 (ja) ビデオエフェクト処理方法及び装置
WO2021093737A1 (zh) 生成视频的方法、装置、电子设备和计算机可读介质
WO2022083148A1 (zh) 特效展示方法、装置、电子设备及计算机可读介质
CN111309962B (zh) 提取音频片段的方法、装置以及电子设备
CN112153460B (zh) 一种视频的配乐方法、装置、电子设备和存储介质
WO2021114979A1 (zh) 视频页面显示方法、装置、电子设备和计算机可读介质
US20230421716A1 (en) Video processing method and apparatus, electronic device and storage medium
US20230093621A1 (en) Search result display method, readable medium, and terminal device
WO2020259130A1 (zh) 精选片段处理方法、装置、电子设备及可读介质
WO2021057740A1 (zh) 视频生成方法、装置、电子设备和计算机可读介质
WO2022057348A1 (zh) 音乐海报生成方法、装置、电子设备及介质
CN112000267A (zh) 信息显示方法、装置、设备及存储介质
WO2023125164A1 (zh) 页面显示方法、装置、电子设备和存储介质
CN111459364A (zh) 图标更新方法、装置和电子设备
JP2023538943A (ja) オーディオデータの処理方法、装置、機器及び記憶媒体
KR20220123073A (ko) 이미징 프로세싱 방법 및 장치
WO2023273615A1 (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
CN114584716A (zh) 图片处理方法、装置、设备及存储介质
WO2024078293A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2023165390A1 (zh) 变焦特效的生成方法、装置、设备及存储介质
WO2023098576A1 (zh) 图像处理方法、装置、设备及介质
WO2023056925A1 (zh) 文档内容更新方法、装置和电子设备
WO2022257777A1 (zh) 多媒体处理方法、装置、设备及介质
CN113905177A (zh) 视频生成方法、装置、设备及存储介质
WO2021018176A1 (zh) 文字特效处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240124

R150 Certificate of patent or registration of utility model

Ref document number: 7427792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150