JP7352032B2 - 動画生成方法、装置、電子デバイス及びコンピュータ読取可能記憶媒体 - Google Patents

動画生成方法、装置、電子デバイス及びコンピュータ読取可能記憶媒体 Download PDF

Info

Publication number
JP7352032B2
JP7352032B2 JP2022540315A JP2022540315A JP7352032B2 JP 7352032 B2 JP7352032 B2 JP 7352032B2 JP 2022540315 A JP2022540315 A JP 2022540315A JP 2022540315 A JP2022540315 A JP 2022540315A JP 7352032 B2 JP7352032 B2 JP 7352032B2
Authority
JP
Japan
Prior art keywords
image
predetermined
coordinate
scaling
foreground image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540315A
Other languages
English (en)
Other versions
JP2023508516A (ja
Inventor
ホアン,チウハン
リ,ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023508516A publication Critical patent/JP2023508516A/ja
Application granted granted Critical
Publication of JP7352032B2 publication Critical patent/JP7352032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

本開示は、画像処理技術の分野に関し、具体的には、動画生成方法、装置、電子デバイス及びコンピュータ読取可能記憶媒体に関する。
ピクチャは、客観的なオブジェクトの類似的且つ鮮明的な描画または表現であり、人間の社会的活動で最も一般的に利用される情報キャリアと言える。情報を共有する過程では、文字情報の表現力は限られる一方、ピクチャは、鮮明なイメージを持ったり、膨大な情報量を伝えたりするような利点がある。動画は動いているように見せるピクチャであり、ピクチャより人目を引くことが多い。例えば、特別な祝日などに、販促キャンペーンを動画で宣伝したりする方式によって、ユーザーからより多くの注目を集めることができる。
従来より、FlashアニメーションやGIFピクチャまたは3Dアニメーションによって動画を制作し、より豊富な情報表示と伝播を行う手法が一般的に使用されてきた。しかしながら、本開示の発明者は、具体的に実施をしたところ、上記のような動画を生成する過程において、通常、技術者が描画ツールを利用して手動で位置合わせ、動画を制作し、このような手法が手動操作への依存度が高いため、コストが高くなり、効率が低くなることを発見した。
本開示は、少なくとも上記の技術的欠陥の1つを解決することを目的とし、当該「発明の概要」セクションは、以下の「発明を実施するための形態」セクションで詳しく説明される構想を概略的な形態で紹介するために提供される。当該「発明の概要」セクションは、保護を請求する技術案の主要な特徴または必要な特徴を特定することを意図しておらず、保護を請求する技術案の範囲を制限することも意図していない。
一態様において、動画生成方法を提供し、
元画像の背景画像と第1の前景画像を決定するステップと、
第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得するステップであって、第1の2Dステッカー画像が、所定のオーバレイ方式に基づいて元画像から予め生成されたものであるステップと、
第2の前景画像と背景画像を混合処理して、第1の混合画像を取得するステップと、
第1の混合画像と第2の2Dステッカー画像を混合処理して、元画像の動画を生成するステップとを含む。
一態様において、動画生成装置を提供し、
元画像の背景画像と第1の前景画像を決定する決定モジュールと、
第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得するための処理モジュールであって、第1の2Dステッカー画像が、所定のオーバレイ方式に基づいて元画像から予め生成されたものである処理モジュールと、
第2の前景画像と背景画像を混合処理して、第1の混合画像を取得するための第1の混合モジュールと、
第1の混合画像と第2の2Dステッカー画像を混合処理して、元画像の動画を生成するための第2の混合モジュールとを備える。
一態様において、メモリと、プロセッサと、メモリに記憶され、プロセッサ上で実行可能なコンピュータプログラムとを含み、プロセッサが、コンピュータプログラムを実行するとき、上記の動画生成方法を実現する、電子デバイスを提供する。
一態様において、コンピュータプログラムが記憶されており、当該コンピュータプログラムがプロセッサによって実行されるとき、上記の動画生成方法を実現する、コンピュータ読取可能記憶媒体を提供する。
本開示によって提供される動画生成方法において、元画像の背景画像を、元画像の第1の前景画像を回転、スケーリング及び平行移動することで得られた第2の前景画像と混合して、第1の混合画像を取得し、そして、第1の混合画像を、第1の2Dステッカー画像を回転、スケーリング及び平行移動することで得られた第2の2Dステッカー画像と混合して、元画像の動画を生成することによって、新しい動画自動生成方法を提供し、これにより、動画の自動生成を実現するだけでなく、動画の生成過程において手動操作を大幅に減らし、開発や制作のコストを最大限に削減し、作業効率を向上させる。
本開示の実施形態の追加の態様及び利点は、以下の説明において部分的に記載されるが、これらは、以下の説明から明らかになるか、または本開示の実施によって学習することができる。
本開示の各実施例の上記及び他の特徴、利点、並びに態様は、添付の図面と併せて以下の具体的な実施形態を参照することによってより明らかになる。図面全体を通して、同一または類似の符号は、同一または類似の要素を示す。ここで、図面は、概略的なものであり、部品及び要素は必ずしも一定の縮尺で描かれているわけではない。
本開示の実施形態に係る動画生成方法のフローチャートである; 本開示の実施形態に係る元画像、背景画像及び前景画像の概略図である; 本開示の実施形態に係る動画生成装置の基本的な構造を示す概略図である; 本開示の実施形態に係る電子デバイスの構造を示す概略図である。
以下で、図面を参照しながら本開示の実施例についてより詳しく説明する。本開示のいくつかの実施例は図面に示されているが、本開示は様々な形態で実現されることができ、本明細書に記載の実施例に制限されるものと解釈されるべきではなく、むしろこれらの実施例は本開示をより深くかつ完全に理解するために提供されることを理解されたい。また、本開示の図面及び実施例は、例示的な目的のためにのみ使用され、本開示の保護範囲を制限することを意図するものではないことは理解されるべきである。
本開示の方法の実施形態に記載される各ステップは、異なる順序に従って実行され、及び/または並行して実行されることが理解されるべきである。また、方法の実施形態は、追加のステップを含み、及び/または図示されるステップの実行を省略し得る。本開示の範囲はこの点に関して限定されない。
本明細書で使用される「含む」という用語及びその変形は、自由形式の包含、即ち、「含むがこれらに限定されない」という意味である。「に基づく」という用語は、「少なくとも部分的に基づく」という意味である。「一実施例」という用語は、「少なくとも1つの実施例」を意味し、「別の実施例」という用語は、「少なくとも1つの別の実施形態」を意味し、「いくつかの実施例」という用語は、「少なくともいくつかの実施例」を意味する。他の用語の関連する定義は、以下で説明される。
なお、本開示で言及される「第1」、「第2」などの概念は、装置、モジュールまたはユニットを区別するためにのみ使用され、これらの装置、モジュールまたはユニットが必ず異なる装置、モジュール、またはユニットであると限定されるものではなく、これらの装置、モジュール、またはユニットによって実行される機能の順序または相互依存関係を制限することを意図するものでもない。
なお、本開示で言及される「1つ」及び「複数」などの修飾は、限定的ではなく例示的であり、当業者であれば理解できるように、本明細書において特に指摘されない限り、「1つまたは複数」として理解されるべきである。
本開示の実施形態における複数の装置の間でやり取りされるメッセージまたは情報の名称は、これらのメッセージまたは情報の範囲を限定することを意図するものではなく、説明する目的のためだけである。
本開示の実施形態の目的、技術案及び利点をより明確にするために、以下、図面を参照しながら、本開示の実施形態についてさらに詳細に説明する。
本開示の実施形態によって提供される動画生成方法、装置、電子デバイス及びコンピュータ記憶媒体は、従来の技術における上記の技術的問題を解決することを目的としている。
本開示の技術案、及び本開示の技術案が上記の技術的問題をどのように解決するかについて、具体的な実施形態とともに以下に詳細に説明する。以下に示すこれらの具体的な実施形態は、互いに組み合わせることができ、同じまたは類似の概念またはプロセスについて、いくつかの実施形態で記述しない場合がある。本開示の実施形態について、図面を参照しながら以下で説明する。
本開示の一実施形態は、コンピュータデバイスによって実行される動画生成方法を提供する。当該コンピュータデバイスは、端末またはサーバーであってもよい。端末は、デスクトップデバイスまたはモバイル端末であってもよい。サーバーは、独立した物理サーバー、物理サーバークラスター、または仮想サーバーであってもよい。図1に示すように、この方法は次のステップを含む。
ステップS110:元画像の背景画像と第1の前景画像を決定する。
具体的には、動画は動いているように見せるピクチャであり、ピクチャから動画を生成する過程において、ピクチャ中の画像(即ち、元画像)に対して一連の処理を行い、ピクチャから動画を生成することができる。その中で、ピクチャ中の元画像に対して一連の処理を行う過程において、まず、元画像の背景画像及び前景画像(第1の前景画像と称する)を決定することができ、これにより、後で当該背景画像及び第1の前景画像に基づいてピクチャから動画を生成するので、後続の動画生成のために必要な基盤を築くことができる。
ステップS120:第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得し、第1の2Dステッカー画像は、所定のオーバレイ方式に基づいて元画像から予め生成されたものである。
具体的には、元画像の第1の前景画像を決定した後、第1の前景画像に対して、回転、スケーリング及び平行移動などの処理を実行して、処理後の第1の前景画像を得ることができるため、後続の動画生成に前提条件を提供することができる。ここで、説明の便宜上、得られた処理後の第1の前景画像を第2の前景画像と称することもある。
具体的には、対応する2Dステッカーを元画像に基づいて描画し、所定のオーバレイ方式によって、2Dステッカーを元画像に重ねて2Dステッカー画像(第1の2Dステッカー画像と称する)を生成することができる。ここで、当該所定のオーバレイ方式は、非混合(Notblend)のオーバレイ方式であってもよく、このような混合を取り消すオーバレイ方式は、直接オーバレイ法と称することもある。
一例では、第1の2Dステッカー画像は、非混合のオーバレイ方式によって元画像全体を2Dステッカーでオーバレイした後、2Dステッカーでオーバレイされた元画像を切り取ることによって得られるものであってもよい。ここで、第1の2Dステッカー画像は、2Dステッカーが上にあり、元画像が下にあるキャンバスに似ている。
具体的には、第1の2Dステッカー画像が生成された後、第1の2Dステッカー画像に対して回転、スケーリング及び平行移動などの処理を行い、処理後の第1の2Dステッカー画像を得ることで、後続の動画生成のための前提条件を提供することができる。ここで、説明の便宜上、得られた処理後の第1の2Dステッカー画像は、第2の2Dステッカー画像と称することもある。
ステップS130:第2の前景画像と背景画像を混合処理して、第1の混合画像を取得する。
具体的には、ステップS120により第2の前景画像が得られた後、第2の前景画像を、ステップS110により得られた背景画像と混合処理して、混合処理後の画像を得ることができる。ここで、説明の便宜上、得られた混合処理後の画像を第1の混合画像と称することもある。
ステップS140:第1の混合画像と第2の2Dステッカー画像を混合処理して、元画像の動画を生成する。
具体的には、ステップS130により第1の混合画像が得られ、ステップS120により第2の2Dステッカー画像が得られた後、第1の混合画像と第2の2Dステッカー画像を混合処理することによって、ピクチャ中の元画像が動いているように見える効果を実現し、元画像の動画を生成することができる。
本開示によって提供される動画生成方法において、元画像の背景画像を、元画像の第1の前景画像を回転、スケーリング及び平行移動することで得られた第2の前景画像と混合して、第1の混合画像を取得し、そして、第1の混合画像を、第1の2Dステッカー画像を回転、スケーリング及び平行移動することで得られた第2の2Dステッカー画像と混合して、元画像の動画を生成することによって、新しい動画自動生成方法を提供し、これにより、動画の自動生成を実現するだけでなく、動画の生成過程において手動操作を大幅に減らし、開発や制作のコストを最大限に削減し、作業効率を向上させる。
以下、本開示の実施形態に係る方法について具体的に説明する。
可能な実施形態では、元画像の背景画像を決定する過程において、第1の所定のスケーリング比に基づいて、元画像に対して第1の所定の画像エッジに従って、第1のスケーリング処理を行い、第1のスケーリング画像を取得し、第1のスケーリング画像に対してガウスぼかし処理を行い、上記の背景画像を取得することができる。
具体的には、元画像は、図2の最も左端に示す長方形画像、または正方形画像であってもよく、もちろん、他の形態またはスタイルの多角形画像であってもよく、本出願の実施形態では限定されない。第1の所定のスケーリング比は、3:4、9:16などであってもよく、もちろん、他の比率であってもよく、本出願の実施形態では限定されない。上記の第1の所定の画像エッジは、元画像の任意のエッジである。
一例では、元画像が図2の最も左端に示す長方形画像である場合を例として、上記の第1の所定の画像エッジを長方形画像の短辺とし、第1の所定のスケーリング比を9:16とすると、9:16に基づいて、元画像に対して元画像の短辺に従ってスケーリング処理(即ち、上記の第1のスケーリング処理)を行い、第1のスケーリング処理が行われた元画像を得る。説明の便宜上、第1のスケーリング処理が行われた元画像を第1のスケーリング画像と称することもある。言い換えれば、元画像の短辺に従って元画像を9:16にスケーリングし、スケーリングされたサイズが9:16の第1のスケーリング画像を得る。ここで、得られた第1のスケーリング画像は、図2の中央に示されている画像であってもよい。
具体的には、上記の例に基づいて、サイズが9:16の第1のスケーリング画像が得られた後、サイズが9:16の第1のスケーリング画像に対してガウスぼかし処理を実行する必要があり、また、ガウスぼかし処理が実行された第1のスケーリング画像を元画像の背景画像として取り扱う。ここで、ガウスぼかし処理は、ガウス平滑化処理とも呼ばれる。ガウスぼかし処理によれば、画像ノイズを低減し、詳細さの度合い(LOD)を減らすことができる。数学的な観点から、画像のガウスぼかし処理は、画像と正規分布を畳み込むことである。
具体的には、元画像の前景画像(即ち、第1の前景画像)を決定する過程において、第2の所定のスケーリング比に基づいて、元画像に対して第2の所定の画像エッジに従って第2のスケーリング処理を行い、第1の前景画像を取得することができる。ここで、第1の前景画像は、第2のスケーリング処理が行われた元画像領域及び余白領域を含み、第2のスケーリング処理が行われた元画像領域のアスペクト比は、元画像のアスペクト比と一致する。
一例では、依然として、元画像が図2の最も左端に示す長方形画像である場合を例として、上記の第2の所定の画像エッジを長方形画像の長辺とし、第2の所定のスケーリング比を9:16とすると、9:16に基づいて、元画像に対して元画像の長辺に従ってスケーリング処理(即ち、上記の第2のスケーリング処理)を行い、当該第2のスケーリング処理において、第2のスケーリング処理が行われた元画像領域のアスペクト比は、元画像のアスペクト比と一致するか、または、第2のスケーリング処理が行われた元画像領域のアスペクト比と元画像のアスペクト比との間の誤差が所定の閾値未満であれば、第2のスケーリング処理が行われた元画像領域のアスペクト比が、上記の元画像のアスペクト比と一致すると見なす。言い換えれば、元画像の短辺に従って元画像を9:16にスケーリングした後、得られた第1の前景画像には、スケーリングされたサイズが9:16のスケーリング画像だけでなく、上記のスケーリング処理によって形成された余白領域も含まれている。ここで、得られた第1の前景画像は、図2の最も右端に示す画像であってもよい。
具体的には、上記の例に基づいて、第1の前景画像が得られた後、その中の余白領域に所定の数値を埋める必要があり、また当該空白領域に所定の数値が埋められた第1の前景画像を、元画像の第1の前景画像として決定する。ここで、当該所定の数値は、0、1、2などの数値、または他の数値であってもよく、本出願の実施形態で限定されない。また、元画像が4チャンネル画像である場合、得られた第1の前景画像も4チャンネル画像になる。このとき、第1の前景画像の余白領域に所定の数値(例えば0)を埋める際に、余白領域の4つのチャンネルすべてに所定の数値を埋める必要がある。
可能な実施形態では、第1の前景画像を回転、スケーリング及び平行移動する過程は、第1の前景画像における各前景画像テクスチャ座標を、それぞれ、回転、スケーリング及び平行移動することであってもよく、即ち、第1の前景画像における各前景画像テクスチャ座標を、それぞれ、回転、スケーリング及び平行移動することによって、第1の前景画像の回転、スケーリング及び平行移動を実現する。
具体的には、第1の前景画像がN個のテクスチャ座標(即ち、前景画像テクスチャ座標)を持っており、このN個の前景画像テクスチャ座標がそれぞれ、前景画像テクスチャ座標A、前景画像テクスチャ座標B、...、前景画像テクスチャ座標Nである場合、このN個の前景画像テクスチャ座標における各前景画像テクスチャ座標を回転、スケーリング、及び平行移動することは、以下の通りであってもよい。まず、所定の回転中心及び所定の回転パラメータに基づいて、各前景画像テクスチャ座標に対して、座標回転処理を実行する。次いで、第1の所定のスケーリングパラメータに基づいて、座標回転処理が実行された前景画像テクスチャ座標に対して、座標スケーリング処理を実行し、次いで、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理が実行された前景画像テクスチャ座標に対して、座標平行移動処理を実行する。
以下、前景画像テクスチャ座標Aを例として、各前景画像テクスチャ座標の回転、スケーリング、及び平行移動を具体的に説明する。
具体的には、所定の回転中心及び所定の回転パラメータに基づいて、前景画像テクスチャ座標Aに対して、座標回転処理を実行する過程において、まず、第1の所定の回転公式によって、所定の回転中心に基づいて、前景画像テクスチャ座標Aに対して第1の座標回転処理を行い、第1の座標回転処理後の前景画像テクスチャ座標A(ここで、第1の前景画像テクスチャ座標と称する)を取得し、その後、第2の所定の回転公式によって、所定の回転パラメータに基づいて、第1の前景画像テクスチャ座標に対して第2の座標回転処理を行い、第2の座標回転処理後の第2の前景画像テクスチャ座標(ここで、第2の前景画像テクスチャ座標と称する)を取得する。
Figure 0007352032000001
Figure 0007352032000002
具体的には、所定の回転中心及び所定の回転パラメータに基づいて、前景画像テクスチャ座標Aに対して、座標回転処理を行った後、第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標A(即ち、上記の第2の前景画像テクスチャ座標)に対して、座標スケーリング処理を実行することができる。第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行する過程において、第1の所定のスケーリングパラメータに基づいて、第2の前景画像テクスチャ座標に対して座標スケーリング処理を行い、第3の前景画像テクスチャ座標を得ることができる。
Figure 0007352032000003
具体的には、第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行した後、所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標(即ち、上記の第3の前景画像テクスチャ座標)に対して、座標平行移動処理を実行することができる。ここで、所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標(即ち、上記の第3の前景画像テクスチャ座標)に対して、座標平行移動処理を実行する前に、まず、第3の所定の回転公式によって、所定の回転中心Centerに基づいて、第3の前景画像テクスチャ座標に対して、第3の座標回転処理を行い、第4の前景画像テクスチャ座標を取得し、さらに、所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、第4の前景画像テクスチャ座標に対して、座標平行移動処理を実行することができる。
Figure 0007352032000004
Figure 0007352032000005
なお、以上では、第1の前景画像における前景画像テクスチャ座標Aを例として、前景画像テクスチャ座標の回転、スケーリング、及び平行移動について具体的に説明した。第1の前景画像における他の前景画像テクスチャ座標についても、上記の方法によって回転、スケーリング及び平行移動を行う。第1の前景画像におけるすべての前景画像テクスチャ座標に対する回転、スケーリング、及び平行移動が完了すれば、第1の前景画像に対する回転、スケーリング、及び平行移動を完了することができる。
可能な実施形態では、第1の2Dステッカー画像を回転、スケーリング及び平行移動する過程は、第1の2Dステッカー画像における各テクスチャ座標(ここで、ステッカーテクスチャ座標と称する)をそれぞれ、回転、スケーリング及び平行移動することであってもよく、つまり、第1の2Dステッカー画像における各ステッカーテクスチャ座標に対する回転、スケーリング及び平行移動によって、第1の2Dステッカー画像の回転、スケーリング及び平行移動を実現する。第1の2Dステッカー画像における各ステッカーテクスチャ座標をそれぞれ回転、スケーリング及び平行移動する過程は、以下の通りであってもよい。まず、所定の回転中心及び所定の回転パラメータに基づいて、各ステッカーテクスチャ座標に対して座標回転処理を実行し、次いで、第1の所定のスケーリングパラメータに基づいて、座標回転処理後のステッカーテクスチャ座標に対して、座標スケーリング処理を実行し、次いで、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後のステッカーテクスチャ座標に対して、座標平行移動処理を実行する。ここで、第1の2Dステッカー画像を回転、スケーリング及び平行移動した後、対応するステッカー画像(ここで、第2の2Dステッカー画像と称する)を得ることができる。
具体的には、第1の2Dステッカー画像における各ステッカーテクスチャ座標を回転、スケーリング、及び平行移動する過程は、第1の前景画像における各前景画像テクスチャ座標を回転、スケーリング、及び平行移動する前述の過程と類似し、ただ前景画像テクスチャ座標をステッカーテクスチャ座標に置き換えるだけであり、ここでは繰り返さない。
可能な実施形態では、第1の前景画像を回転、スケーリング及び平行移動して、対応する第2の前景画像を取得した後、マスク層を第2の前景画像にオーバレイすることができる。ここで、第2の前景画像にマスク層をオーバレイする過程は、第2の前景画像を元画像の背景画像と混合処理する過程である。即ち、第2の前景画像が得られた後、第2の背景画像と元画像の背景画像を混合処理することができる。ここで、第2の背景画像と背景画像を混合処理した後、混合処理後の画像(ここで、第1の混合画像と称する)を得ることができる。
具体的には、元画像は、4チャンネル画像であってもよい。ここで4チャンネルはそれぞれ、チャンネルR、チャンネルG、チャンネルB及びチャンネルAであり、即ち、元画像はRGBA画像であり、各チャンネルの数値範囲はそれぞれ、0-1である。元画像がRGBA画像の場合、第2の前景画像と元画像の背景画像を混合処理する過程は、第2の前景画像の透明チャンネル(即ち、チャンネルA)に基づいて、第2の前景画像と元画像の背景画像とを混合処理することであってもよい。一例では、第2の前景画像の透明チャンネル(即ち、チャンネルA)に基づいて、第2の前景画像と元画像の背景画像とを混合処理することは、第2の前景画像のチャンネルAに基づいて、第2の前景画像のチャンネルRと背景画像のチャンネルRを混合し、第2の前景画像のチャンネルGと背景画像のチャンネルGを混合し、及び第2の前景画像のチャンネルBと背景画像のチャンネルBを混合することであってもよい。
具体的には、上記の混合処理によって第1の混合画像が得られた後、第1の混合画像と第2の2Dステッカー画像とを混合処理して、混合処理後の画像、即ち、元画像の動画像を取得し、即ち、元画像の動画を生成することができる。ここで、第1の混合画像と第2の2Dステッカー画像を混合処理する前に、まず、第1の混合画像にフィルタ層を付加して、フィルタ層が付加された第1の混合画像(ここで、第2の混合画像と称する)を取得してから、第2の混合画像と第2の2Dステッカー画像を混合処理してもよい。
Figure 0007352032000006
Figure 0007352032000007
図3は、本開示の別の実施形態に係る動画生成装置の構造を示す概略図である。図3に示すように、当該装置300は、決定モジュール301と、処理モジュール302と、第1の混合モジュール303及び第2の混合モジュール304を含むことができ、
決定モジュール301は、元画像の背景画像と第1の前景画像を決定し、
処理モジュール302は、第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得し、第1の2Dステッカー画像は、所定のオーバレイ方式に基づいて元画像から予め生成されたものであり、
第1の混合モジュール303は、第2の前景画像と背景画像を混合処理して、第1の混合画像を取得し、
第2の混合モジュール304は、第1の混合画像と第2の2Dステッカー画像を混合処理して、元画像の動画を生成する。
可能な実施形態では、決定モジュールは、元画像の背景画像を決定する際に、第1の所定のスケーリング比に基づいて、元画像に対して第1の所定の画像エッジに従って、第1のスケーリング処理を行い、第1のスケーリング画像を取得し、第1のスケーリング画像に対してガウスぼかし処理を行い、背景画像を取得する。
決定モジュールは、元画像の第1の前景画像を決定する際に、第2の所定のスケーリング比に基づいて、元画像に対して第2の所定の画像エッジに従って第2のスケーリング処理を行い、第1の前景画像を取得する。第1の前景画像は、第2のスケーリング処理後の元画像領域及び余白領域を含み、第2のスケーリング処理後の元画像領域のアスペクト比は、元画像のアスペクト比と一致する。
可能な実施形態では、処理モジュールは、第1の前景画像を回転、スケーリング及び平行移動する際に、第1の前景画像における各前景画像テクスチャ座標をそれぞれ、回転、スケーリング及び平行移動する。
処理モジュールは、第1の前景画像における各前景画像テクスチャ座標に対して、各前景画像テクスチャ座標を回転、スケーリング及び平行移動する際に、具体的には、
所定の回転中心及び所定の回転パラメータに基づいて、各前景画像テクスチャ座標に対して、座標回転処理を実行し、
第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行し、
所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行する。
可能な実施形態では、処理モジュールは、所定の回転中心及び所定の回転パラメータに基づいて、各前景画像テクスチャ座標に対して座標回転処理を実行する際に、具体的には、
第1の所定の回転公式によって、所定の回転中心に基づいて、各前景画像テクスチャ座標に対して第1の座標回転処理を行い、第1の前景画像テクスチャ座標を取得し、
第2の所定の回転公式によって、所定の回転パラメータに基づいて、第1の前景画像テクスチャ座標に対して第2の座標回転処理を行い、第2の前景画像テクスチャ座標を取得する。
可能な実施形態では、処理モジュールは、第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行する際に、具体的には、
第1の所定のスケーリングパラメータに基づいて、第2の前景画像テクスチャ座標に対して座標スケーリング処理を行い、第3の前景画像テクスチャ座標を取得する。
可能な実施形態では、処理モジュールは、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行する際に、具体的には、
所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第3の前景画像テクスチャ座標に対して、平行移動処理を実行する。
可能な実施形態では、回転モジュールをさらに含む。
回転モジュールは、第3の所定の回転公式によって、所定の回転中心に基づいて、第3の前景画像テクスチャ座標に対して第3の座標回転処理を行い、第4の前景画像テクスチャ座標を取得し、
処理モジュールは、所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第3の前景画像テクスチャ座標に対して、平行移動処理を実行する際に、具体的には、
所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第4の前景画像テクスチャ座標に対して、平行移動処理を実行する。
可能な実施形態では、処理モジュールは、第1の2Dステッカー画像を回転、スケーリング及び平行移動する際に、第1の2Dステッカー画像における各ステッカーテクスチャ座標をそれぞれ、回転、スケーリング及び平行移動し、
処理モジュールは、第1の2Dステッカー画像における各ステッカーテクスチャ座標に対して、各ステッカーテクスチャ座標を回転、スケーリング及び平行移動する際に、具体的には、
所定の回転中心及び所定の回転パラメータに基づいて、各ステッカーテクスチャ座標に対して、座標回転処理を実行し、
第1の所定のスケーリングパラメータに基づいて、座標回転処理後のステッカーテクスチャ座標に対して、座標スケーリング処理を実行し、
所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後のステッカーテクスチャ座標に対して、座標平行移動処理を実行する。
可能な実施形態では、元画像は4チャンネル画像であり、4チャンネルは、それぞれ、チャンネルR、チャンネルG、チャンネルB及びチャンネルAであり、
第1の混合モジュールは、第2の前景画像のチャンネルAに基づいて、第2の前景画像のチャンネルRと背景画像のチャンネルRを混合し、第2の前景画像のチャンネルGと背景画像のチャンネルGを混合し、第2の前景画像のチャンネルBと背景画像のチャンネルBを混合する。
可能な実施形態では、フィルターモジュールをさらに含む。
フィルターモジュールは、第1の混合画像にフィルタ層を付加して、第2の混合画像を取得し、
第2の混合モジュールは、具体的に、第2の混合画像と第2の2Dステッカー画像を混合処理する。
本開示の実施形態によって提供される装置は、元画像の背景画像を、元画像の第1の前景画像を回転、スケーリング及び平行移動することで得られた第2の前景画像と混合して、第1の混合画像を取得し、そして、第1の混合画像を、第1の2Dステッカー画像を回転、スケーリング及び平行移動することで得られた第2の2Dステッカー画像と混合して、元画像の動画を生成することによって、新しい動画自動生成方法を提供し、これにより、動画の自動生成を実現するだけでなく、動画の生成過程において手動操作を大幅に減らし、開発や制作のコストを最大限に削減し、作業効率を向上させる。
なお、本実施形態は、上記の方法の実施形態に対応する装置の実施形態であり、本実施形態は、上記の方法の実施形態と連携して実施することができる。上記の方法の実施形態で言及された関連する技術的詳細は、本実施形態においても依然として有効であり、重複を減らすためにここでは繰り返さない。同様に、本実施形態で言及された関連する技術的詳細は、上記の方法の実施形態にも適用可能である。
以下、図4を参照し、本開示の実施形態を実現するのに好適な電子デバイス400の構造を示す概略図を示す。本開示の実施形態に係る端末デバイスは例えば、携帯電話、ノートパソコン、デジタル放送受信機、PDA(パーソナルデジタルアシスタント)、PAD(タブレットコンピュータ)、PMP(ポータブルマルチメディアプレーヤー)、車載端末(例えば、車載ナビゲーション端末)、及びデジタルTV、デスクトップコンピュータなどの固定端末などを含むが、これらに限定されない。図4に示される電子デバイスは単なる一例にすぎず、本開示の実施形態の機能及び使用範囲にいかなる制限も設けるべきではない。
電子デバイスは、メモリ及びプロセッサを含む。ここで、プロセッサは、以下に説明する処理装置401と呼ばれることができ、メモリは、以下に説明する読み取り専用メモリ(ROM)402、ランダムアクセスメモリ(RAM)403、及び記憶装置408のうちの少なくとも1つを含むことができる。具体的に次のように示す。
図4に示すように、電子デバイス400は、処理装置(例えば中央処理装置、グラフィックプロセッサなど)401を含み、読み取り専用メモリ(ROM)402に記憶されたプログラムまたは記憶装置408からランダムアクセスメモリ(RAM)403内にロードされたプログラムに従って、様々な適切な動作と処理を実行することができる。RAM403には、電子デバイス400を操作するのに必要な様々なプログラム及びデータも記憶されている。処理装置401、ROM402及びRAM403は、バス404を介して互いに接続されている。入出力(I/O)インターフェース405もバス404に接続されている。
典型的には、I/Oインターフェース405には、例えばタッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力デバイス406、例えば液晶ディスプレイ(LCD)、スピーカー、振動器などを含む出力装置407、例えば磁気テープ、ハードディスクなどを含む記憶装置408、及び通信装置409が接続されることができる。通信装置409は、電子デバイス400が他のデバイスと無線または有線で通信してデータを交換することを可能にする。図4には、様々な装置を有する電子デバイス400が示されているが、図示された装置のすべてを実施または具備する必要があるわけではないことは理解されるべきである。代替的に、より多くのまたはより少ない装置を実施または具備することができる。
特に、本開示の実施形態によれば、フローチャートを参照して上記で説明されたプロセスは、コンピュータソフトウェアプログラムとして実現され得る。例えば、本開示の実施形態は、非一時的なコンピュータ読取可能媒体上で実行されるコンピュータプログラムを含むコンピュータプログラム製品を含み、当該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。このような実施形態では、コンピュータプログラムは、通信装置409を介してネットワークからダウンロード及びインストールされ得るか、または記憶装置408から、またはROM402からインストールされ得る。コンピュータプログラムが処理装置401によって実行されるとき、本開示の実施形態に係る方法で定義された上記の機能が実行される。
なお、本開示に言及された上記のコンピュータ読取可能媒体は、コンピュータ読取可能信号媒体またはコンピュータ読取可能記憶媒体、あるいは上記2つの任意の組み合わせであり得る。コンピュータ読取可能記憶媒体は、例えば、電気的、磁気的、光学的、電磁気的、赤外線または半導体システム、装置またはデバイス、あるいは上記の任意の組み合わせであり得るが、これらに限定されない。コンピュータ読取可能記憶媒体のより具体的な例には、1つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能なプログラミング可能読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光ストレージデバイス、磁気ストレージデバイス、または上記の任意の適切な組み合わせを含み得るが、これらに限定されない。本開示では、コンピュータ読取可能記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用することができるプログラムを含むか、または記憶する任意の有形媒体であり得る。しかしながら、本開示では、コンピュータ読取可能信号媒体は、ベースバンドで、または搬送波の一部として伝搬されるデータ信号を含み、コンピュータ読取可能プログラムコードがベアラされる。そのように伝搬されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、または前述の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ読取可能信号媒体はまた、コンピュータ読取可能記憶媒体以外の任意のコンピュータ読取可能媒体であってもよく、当該コンピュータ読取可能信号媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用されるためのプログラムを送信、伝搬、または伝送することができる。コンピュータ読取可能媒体上に含まれたプログラムコードは、電線、光ケーブル、RF(無線周波数)、または前述の任意の適切な組み合わせなどを含むがこれらに限定されない任意の適切な媒体を使用して送信することができる。
上記のコンピュータ読取可能媒体は、上記の電子デバイスに含まれてもよいし、電子装置に組み込まれずに個別として存在しもよい。
上記のコンピュータ読取可能媒体には、1つ以上のプログラムが記憶されている。上記の1つ以上のプログラムが電子デバイスによって実行されるとき、当該電子デバイスに以下のステップを実行させ、即ち、元画像の背景画像と第1の前景画像を決定し、次に、第1の前景画像と、所定のオーバレイ方式に基づいて元画像から予め生成された第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得し、次に、第2の前景画像と背景画像を混合処理して、第1の混合画像を取得し、次に、第1の混合画像と第2の2Dステッカー画像を混合処理して、元画像の動画を生成する。
本開示の操作を実行するためのコンピュータプログラムコードは、1つ以上のプログラミング言語またはそれらの組み合わせで作成することができる。上記のプログラミング言語には、Java(登録商標)、Smalltalk、C++などのオブジェクト指向プログラミング言語が含まれ、さらに「C」言語または類似するプログラミング言語などの従来の手続き型プログラミング言語が含まれる。プログラムコードは、完全にユーザーのコンピュータで実行されてもよく、部分的にユーザーのコンピュータに実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、一部はユーザーのコンピュータ上で、かつもう一部はリモートコンピュータ上で実行されてもよく、または完全にリモートコンピュータまたはサーバー上で実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザーのコンピュータに接続されるか、または、外部コンピュータに接続される(インターネットサービスプロバイダによってインターネット接続を介して接続するなど)ことができる。
図面におけるフローチャート及びブロック図は、本開示の様々な実施形態に係るシステム、方法、及びコンピュータプログラム製品に従って実現可能な体系アーキテクチャ、機能及び操作を示している。この点に関して、フローチャートまたはブロック図の各ブロックは、所定の論理機能を実現するための1つ以上の実行可能命令を含むモジュール、プログラムセグメント、またはコードの一部を表すことができる。なお、いくつかの代替の実現では、ブロックに示されている機能が、図示されている順序とは異なる順で生じる場合もあることに注意されたい。例えば、連続して表示される2つのブロックは、実際にほぼ並行して実行される場合もあれば、逆な順序に従って実行される場合もあり、関連する機能に応じて決定される。なお、ブロック図及び/またはフローチャート図の各ブロック、及びブロック図及び/またはフローチャート図のブロックの組み合わせは、所定の機能または操作を実行するための専用のハードウェアベースのシステムによって実現されるか、または専用のハードウェアとコンピュータ命令の組み合わせによって実現されることができる。
本開示の実施形態に記載される関連モジュールまたはユニットは、ソフトウェアまたはハードウェアで実現されてもよい。ここで、モジュールまたはユニットの名称は、ある場合、当該ユニット自体への制限にならない。例えば、取得モジュールは、「予め定めた生放送イベントが発生したことが検出された場合、予め定めた生放送イベントに対応する少なくとも1つのイベント処理方式を取得するモジュール」として説明されることもできる。
本明細書で上記に説明された機能は、少なくとも部分的に、1つ以上のハードウェアロジック部材によって実行されてもよい。例えば、使用できるハードウェアロジック部材の例示的なタイプは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)などを含むが、これらに限定されない。
本開示において、機械読取可能媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用されるためのプログラムを含むか、または記憶することができる有形の媒体であってもよい。機械読取可能媒体は、機械読取可能信号媒体または機械読取可能記憶媒体であってもよい。機械読取可能媒体は、電子的、磁気的、光学的、電磁的、赤外線、または半導体システム、装置またはデバイス、あるいは上記の任意の適切な組み合わせを含むが、これらに限定されない。機械読取可能記憶媒体のより具体的な例は、1つまたは複数のワイヤによる電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能なプログラムミング可能な読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、コンパクトディスク読み取り専用メモリ(CD-ROM)、光ストレージ、磁気ストレージ、または上記の任意の適切な組み合わせが含まれる。
本開示の1つ以上の実施形態によれば、動画生成方法を提供し、
元画像の背景画像と第1の前景画像を決定するステップと、
第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得するステップであって、前記第1の2Dステッカー画像が、所定のオーバレイ方式に基づいて前記元画像から予め生成されたものであるステップと、
第2の前景画像と背景画像を混合処理して、第1の混合画像を取得するステップと、
第1の混合画像と前記第2の2Dステッカー画像を混合処理して、元画像の動画を生成するステップとを含む。
可能な実施形態では、元画像の背景画像を決定するステップは、
第1の所定のスケーリング比に基づいて、元画像に対して第1の所定の画像エッジに従って、第1のスケーリング処理を行い、第1のスケーリング画像を取得し、第1のスケーリング画像に対してガウスぼかし処理を行い、背景画像を取得するステップを含み、
元画像の第1の前景画像を決定するステップは、
第2の所定のスケーリング比に基づいて、元画像に対して第2の所定の画像エッジに従って第2のスケーリング処理を行い、第1の前景画像を取得するステップであって、第1の前景画像が、第2のスケーリング処理後の元画像領域及び余白領域を含み、第2のスケーリング処理後の元画像領域のアスペクト比が、元画像のアスペクト比と一致するステップを含む。
可能な実施形態では、第1の前景画像を回転、スケーリング及び平行移動するステップは、
第1の前景画像における各前景画像テクスチャ座標をそれぞれ、回転、スケーリング及び平行移動するステップを含み、
第1の前景画像における各前景画像テクスチャ座標に対して、各前景画像テクスチャ座標を回転、スケーリング及び平行移動するステップは、
所定の回転中心及び所定の回転パラメータに基づいて、各前景画像テクスチャ座標に対して、座標回転処理を実行するステップと、
第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行するステップと、
所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行するステップと、を含む。
可能な実施形態では、所定の回転中心及び所定の回転パラメータに基づいて、各前景画像テクスチャ座標に対して座標回転処理を実行するステップは、
第1の所定の回転公式によって、所定の回転中心に基づいて、各前景画像テクスチャ座標に対して第1の座標回転処理を行い、第1の前景画像テクスチャ座標を取得するステップと、
第2の所定の回転公式によって、所定の回転パラメータに基づいて、第1の前景画像テクスチャ座標に対して第2の座標回転処理を行い、第2の前景画像テクスチャ座標を取得するステップと、を含む。
可能な実施形態では、第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行するステップは、
第1の所定のスケーリングパラメータに基づいて、第2の前景画像テクスチャ座標に対して座標スケーリング処理を行い、第3の前景画像テクスチャ座標を取得するステップを含む。
可能な実施形態では、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行するステップは、
所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第3の前景画像テクスチャ座標に対して、平行移動処理を実行するステップを含む。
可能な実施形態では、所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第3の前景画像テクスチャ座標に対して、平行移動処理を実行する前に、さらに、
第3の所定の回転公式によって、所定の回転中心に基づいて、第3の前景画像テクスチャ座標に対して第3の座標回転処理を行い、第4の前景画像テクスチャ座標を取得するステップを含み、
所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第3の前景画像テクスチャ座標に対して、平行移動処理を実行するステップは、
所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第4の前景画像テクスチャ座標に対して、平行移動処理を実行するステップを含む。
可能な実施形態では、第1の2Dステッカー画像を回転、スケーリング及び平行移動するステップは、
第1の2Dステッカー画像における各ステッカーテクスチャ座標をそれぞれ、回転、スケーリング及び平行移動するステップを含み、
第1の2Dステッカー画像における各ステッカーテクスチャ座標に対して、各ステッカーテクスチャ座標を回転、スケーリング及び平行移動するステップは、
所定の回転中心及び所定の回転パラメータに基づいて、各ステッカーテクスチャ座標に対して、座標回転処理を実行するステップと、
第1の所定のスケーリングパラメータに基づいて、座標回転処理後のステッカーテクスチャ座標に対して、座標スケーリング処理を実行するステップと、
所定の平行移動ベクトル及び前記所定の平行移動時間に基づいて、座標スケーリング処理後のステッカーテクスチャ座標に対して、座標平行移動処理を実行するステップと、を含む。
可能な実施形態では、元画像は4チャンネル画像であり、4チャンネルは、それぞれ、チャンネルR、チャンネルG、チャンネルB及びチャンネルAであり、
第2の前景画像と背景画像を混合処理するステップは、
第2の前景画像のチャンネルAに基づいて、第2の前景画像のチャンネルRと背景画像のチャンネルRを混合し、第2の前景画像のチャンネルGと背景画像のチャンネルGを混合し、第2の前景画像のチャンネルBと背景画像のチャンネルBを混合するステップを含む。
可能な実施形態では、第1の混合画像と第2の2Dステッカー画像を混合処理する前に、さらに、
第1の混合画像にフィルタ層を付加して、第2の混合画像を取得するステップを含み、
第1の混合画像と第2の2Dステッカー画像を混合処理するステップは、
第2の混合画像と第2の2Dステッカー画像を混合処理するステップを含む。
本開示の1つ以上の実施形態によれば、動画生成装置を提供し、
元画像の背景画像と第1の前景画像を決定するための決定モジュールと、
第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得するための処理モジュールであって、前記第1の2Dステッカー画像が、所定のオーバレイ方式に基づいて前記元画像から予め生成されたものである処理モジュールと、
第2の前景画像と背景画像を混合処理して、第1の混合画像を取得するための第1の混合モジュールと、
第1の混合画像と第2の2Dステッカー画像を混合処理して、元画像の動画を生成するための第2の混合モジュールとを含む。
可能な実施形態では、決定モジュールは、元画像の背景画像を決定する際に、第1の所定のスケーリング比に基づいて、元画像に対して第1の所定の画像エッジに従って、第1のスケーリング処理を行い、第1のスケーリング画像を取得し、第1のスケーリング画像に対してガウスぼかし処理を行い、背景画像を取得する。
決定モジュールは、元画像の第1の前景画像を決定する際に、第2の所定のスケーリング比に基づいて、元画像に対して第2の所定の画像エッジに従って第2のスケーリング処理を行い、第1の前景画像を取得する。第1の前景画像は、第2のスケーリング処理後の元画像領域及び余白領域を含み、第2のスケーリング処理後の元画像領域のアスペクト比は、元画像のアスペクト比と一致する。
可能な実施形態では、処理モジュールは、第1の前景画像を回転、スケーリング及び平行移動する際に、第1の前景画像における各前景画像テクスチャ座標をそれぞれ、回転、スケーリング及び平行移動する。
処理モジュールは、第1の前景画像における各前景画像テクスチャ座標に対して、各前景画像テクスチャ座標を回転、スケーリング及び平行移動さする際に、具体的には、
所定の回転中心及び所定の回転パラメータに基づいて、各前景画像テクスチャ座標に対して、座標回転処理を実行し、
第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行し、
所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行する。
可能な実施形態では、処理モジュールは、所定の回転中心及び所定の回転パラメータに基づいて、各前景画像テクスチャ座標に対して座標回転処理を実行する際に、具体的には、
第1の所定の回転公式によって、所定の回転中心に基づいて、各前景画像テクスチャ座標に対して第1の座標回転処理を行い、第1の前景画像テクスチャ座標を取得し、
第2の所定の回転公式によって、所定の回転パラメータに基づいて、第1の前景画像テクスチャ座標に対して第2の座標回転処理を行い、第2の前景画像テクスチャ座標を取得する。
可能な実施形態では、処理モジュールは、第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行する際に、具体的には、
第1の所定のスケーリングパラメータに基づいて、第2の前景画像テクスチャ座標に対して座標スケーリング処理を行い、第3の前景画像テクスチャ座標を取得する。
可能な実施形態では、処理モジュールは、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行する際に、具体的には、
所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第3の前景画像テクスチャ座標に対して、平行移動処理を実行する。
可能な実施形態では、回転モジュールをさらに含む。
回転モジュールは、第3の所定の回転公式によって、所定の回転中心に基づいて、第3の前景画像テクスチャ座標に対して第3の座標回転処理を行い、第4の前景画像テクスチャ座標を取得し、
処理モジュールは、所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第3の前景画像テクスチャ座標に対して、平行移動処理を実行する際に、具体的には、
所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、所定の平行移動時間における各所定の平行移動時点で、第4の前景画像テクスチャ座標に対して、平行移動処理を実行する。
可能な実施形態では、処理モジュールは、第1の2Dステッカー画像を回転、スケーリング及び平行移動する際に、第1の2Dステッカー画像における各ステッカーテクスチャ座標をそれぞれ、回転、スケーリング及び平行移動し、
処理モジュールは、第1の2Dステッカー画像における各ステッカーテクスチャ座標に対して、各ステッカーテクスチャ座標を回転、スケーリング及び平行移動する際に、
所定の回転中心及び所定の回転パラメータに基づいて、各ステッカーテクスチャ座標に対して、座標回転処理を実行し、
第1の所定のスケーリングパラメータに基づいて、座標回転処理後のステッカーテクスチャ座標に対して、座標スケーリング処理を実行し、
所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後のステッカーテクスチャ座標に対して、座標平行移動処理を実行する。
可能な実施形態では、元画像は4チャンネル画像であり、4チャンネルは、それぞれ、チャンネルR、チャンネルG、チャンネルB及びチャンネルAであり、
第1の混合モジュールは、第2の前景画像のチャンネルAに基づいて、第2の前景画像のチャンネルRと背景画像のチャンネルRを混合し、第2の前景画像のチャンネルGと背景画像のチャンネルGを混合し、第2の前景画像のチャンネルBと背景画像のチャンネルBを混合する。
可能な実施形態では、フィルターモジュールをさらに含む。
フィルターモジュールは、第1の混合画像にフィルタ層を付加して、第2の混合画像を取得し、
第2の混合モジュールは、具体的に、第2の混合画像と第2の2Dステッカー画像を混合処理する。
以上の記載は、本開示の好適な実施例及び応用される技術原理に対する説明にすぎない。当業者であれば理解できるように、本開示に係る開示範囲は、上記の技術特徴の特定の組み合わせによって形成される技術案に限定されず、同時に、上記の開示された構想から逸脱することなく、上記の技術特徴またはその均等な特徴の任意の組み合わせによって形成される他の技術案も含む。例えば、技術案は、上記の特徴と、本開示に開示された(ただしこれに限定されていない)類似機能を有する技術特徴とを互いに置き換えることによって形成された。
また、特定の順序を採用して各操作を記載したが、示される特定の順番、または順序に従ってこれらの操作を順に実行することを要求するものとして解釈されるべきではない。特定の環境で、マルチタスク及び並行処理は有利である可能性がある。同様に、以上の論述には、いくつかの具体的な実現の詳細が含まれるが、本開示の範囲に対する限定として解釈されるべきではない。複数の実施例の文脈で説明されるいくつかの特徴は、組み合わせて、単一の実施例で実現されてもよい。反対に、単一の実施例の文脈で説明される様々な特徴は、別々に、または任意の適切なサブ組み合わせの形態で、複数の実施例で実現されてもよい。
構成特徴及び/または方法の論理動作に固有の言語で本主題を説明したが、添付の特許請求の範囲で限定される主題は、上記の特定の特徴または動作に限定されないことを理解すべきである。むしろ、上述した特定の特徴及び動作は、特許請求の範囲を実現するための単なる例示的な形態である。

Claims (13)

  1. 動画生成方法であって、
    元画像の背景画像と第1の前景画像を決定するステップと、
    前記第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得するステップであって、前記第1の2Dステッカー画像が、所定のオーバレイ方式に基づいて前記元画像から予め生成されたものであるステップと、
    前記第2の前景画像と前記背景画像を混合処理して、第1の混合画像を取得するステップと、
    前記第1の混合画像と前記第2の2Dステッカー画像を混合処理して、前記元画像の動画を生成するステップと、を含む方法。
  2. 元画像の背景画像を決定するステップは、
    第1の所定のスケーリング比に基づいて、前記元画像に対して第1の所定の画像エッジに従って第1のスケーリング処理を行い、第1のスケーリング画像を取得し、前記第1のスケーリング画像に対してガウスぼかし処理を行い、前記背景画像を取得するステップを含み、
    元画像の第1の前景画像を決定するステップは、
    第2の所定のスケーリング比に基づいて、前記元画像に対して第2の所定の画像エッジに従って第2のスケーリング処理を行い、前記第1の前景画像を取得するステップであって、前記第1の前景画像が、第2のスケーリング処理後の元画像領域及び余白領域を含み、第2のスケーリング処理後の元画像領域のアスペクト比が、前記元画像のアスペクト比と一致するステップを含む、請求項1に記載の方法。
  3. 前記第1の前景画像を回転、スケーリング及び平行移動するステップは、
    前記第1の前景画像における各前景画像テクスチャ座標をそれぞれ、回転、スケーリング及び平行移動するステップと、を含み、
    前記第1の前景画像における各前景画像テクスチャ座標に対して、前記各前景画像テクスチャ座標を回転、スケーリング及び平行移動するステップは、
    所定の回転中心及び所定の回転パラメータに基づいて、前記各前景画像テクスチャ座標に対して座標回転処理を実行するステップと、
    第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行するステップと、
    所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行するステップと、を含む、請求項1に記載の方法。
  4. 所定の回転中心及び所定の回転パラメータに基づいて、前記各前景画像テクスチャ座標に対して座標回転処理を実行するステップは、
    第1の所定の回転公式によって、所定の回転中心に基づいて、前記各前景画像テクスチャ座標に対して第1の座標回転処理を行い、第1の前景画像テクスチャ座標を取得するステップと、
    第2の所定の回転公式によって、所定の回転パラメータに基づいて、前記第1の前景画像テクスチャ座標に対して第2の座標回転処理を行い、第2の前景画像テクスチャ座標を取得するステップと、を含む、請求項3に記載の方法。
  5. 第1の所定のスケーリングパラメータに基づいて、座標回転処理後の前景画像テクスチャ座標に対して、座標スケーリング処理を実行するステップは、
    前記第1の所定のスケーリングパラメータに基づいて、前記第2の前景画像テクスチャ座標に対して座標スケーリング処理を行い、第3の前景画像テクスチャ座標を取得するステップを含む、請求項4に記載の方法。
  6. 所定の平行移動ベクトル及び所定の平行移動時間に基づいて、座標スケーリング処理後の前景画像テクスチャ座標に対して、座標平行移動処理を実行するステップは、
    所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、前記所定の平行移動時間における各所定の平行移動時点で、前記第3の前景画像テクスチャ座標に対して、平行移動処理を実行するステップを含む、請求項5に記載の方法。
  7. 所定の平行移動公式よって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、前記所定の平行移動時間における各所定の平行移動時点で、前記第3の前景画像テクスチャ座標に対して、平行移動処理を実行する前に、さらに、
    第3の所定の回転公式よって、前記所定の回転中心に基づいて、前記第3の前景画像テクスチャ座標に対して第3の座標回転処理を行い、第4の前景画像テクスチャ座標を取得するステップを含み、
    所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、前記所定の平行移動時間における各所定の平行移動時点で、前記第3の前景画像テクスチャ座標に対して、平行移動処理を実行するステップは、
    所定の平行移動公式によって、所定の平行移動ベクトル及び所定の平行移動時間に基づいて、前記所定の平行移動時間における各所定の平行移動時点で、前記第4の前景画像テクスチャ座標に対して、平行移動処理を実行するステップを含む、請求項6に記載の方法。
  8. 前記第1の2Dステッカー画像を回転、スケーリング及び平行移動するステップは、
    前記第1の2Dステッカー画像における各ステッカーテクスチャ座標をそれぞれ回転、スケーリング及び平行移動するステップを含み、
    前記第1の2Dステッカー画像における各ステッカーテクスチャ座標に対して、前記各ステッカーテクスチャ座標を回転、スケーリング及び平行移動するステップは、
    前記所定の回転中心及び前記所定の回転パラメータに基づいて、前記各ステッカーテクスチャ座標に対して、座標回転処理を実行するステップと、
    前記第1の所定のスケーリングパラメータに基づいて、座標回転処理後のステッカーテクスチャ座標に対して、座標スケーリング処理を実行するステップと、
    前記所定の平行移動ベクトル及び前記所定の平行移動時間に基づいて、座標スケーリング処理後のステッカーテクスチャ座標に対して、座標平行移動処理を実行するステップと、を含む、請求項3から7のいずれか一項に記載の方法。
  9. 前記元画像は、4チャンネル画像であり、4チャンネルはそれぞれ、チャンネルR、チャンネルG、チャンネルB及びチャンネルAであり、
    前記第2の前景画像と前記背景画像を混合処理するステップは、
    前記第2の前景画像のチャンネルAに基づいて、前記第2の前景画像のチャンネルRと前記背景画像のチャンネルRを混合し、前記第2の前景画像のチャンネルGと前記背景画像のチャンネルGを混合し、前記第2の前景画像のチャンネルBと前記背景画像のチャンネルBを混合するステップを含む、請求項1に記載の方法。
  10. 前記第1の混合画像と前記第2の2Dステッカー画像を混合処理する前に、さらに、
    前記第1の混合画像にフィルタ層を付加して、第2の混合画像を取得するステップを含み、
    前記第1の混合画像と前記第2の2Dステッカー画像を混合処理するステップは、
    前記第2の混合画像と前記第2の2Dステッカー画像を混合処理するステップを含む、請求項1に記載の方法。
  11. 元画像の背景画像と第1の前景画像を決定するための決定モジュールと、
    前記第1の前景画像と第1の2Dステッカー画像をそれぞれ、回転、スケーリング及び平行移動して、対応する第2の前景画像及び第2の2Dステッカー画像を取得するための処理モジュールであって、前記第1の2Dステッカー画像が、所定のオーバレイ方式に基づいて前記元画像から予め生成されたものである処理モジュールと、
    前記第2の前景画像と前記背景画像を混合処理して、第1の混合画像を取得するための第1の混合モジュールと、
    前記第1の混合画像と前記第2の2Dステッカー画像を混合処理して、前記元画像の動画を生成するための第2の混合モジュールと、を含む動画生成装置。
  12. メモリと、プロセッサと、メモリに記憶され、プロセッサ上で実行可能なコンピュータプログラムとを含む電子デバイスであって、前記プロセッサは、前記コンピュータプログラムを実行するとき、請求項1から10のいずれか一項に記載の方法を実現する、電子デバイス。
  13. コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項1から10のいずれか一項に記載の方法を実現する、コンピュータ読取可能記憶媒体。
JP2022540315A 2020-01-15 2020-11-06 動画生成方法、装置、電子デバイス及びコンピュータ読取可能記憶媒体 Active JP7352032B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010042968.6A CN111275800B (zh) 2020-01-15 2020-01-15 动画生成方法、装置、电子设备及计算机可读存储介质
CN202010042968.6 2020-01-15
PCT/CN2020/127228 WO2021143310A1 (zh) 2020-01-15 2020-11-06 动画生成方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2023508516A JP2023508516A (ja) 2023-03-02
JP7352032B2 true JP7352032B2 (ja) 2023-09-27

Family

ID=70999038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022540315A Active JP7352032B2 (ja) 2020-01-15 2020-11-06 動画生成方法、装置、電子デバイス及びコンピュータ読取可能記憶媒体

Country Status (5)

Country Link
US (1) US11972517B2 (ja)
EP (1) EP4092627A4 (ja)
JP (1) JP7352032B2 (ja)
CN (1) CN111275800B (ja)
WO (1) WO2021143310A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275800B (zh) 2020-01-15 2021-09-14 北京字节跳动网络技术有限公司 动画生成方法、装置、电子设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165768A (ja) 2006-12-18 2008-07-17 Samsung Electronics Co Ltd 動的映像物を生成するためのテンプレートを編集する装置および方法。
JP2013186521A (ja) 2012-03-06 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2357796A3 (en) * 2002-05-28 2013-05-15 Casio Computer Co., Ltd. Composite image output apparatus and composite image delivery apparatus
CN100583126C (zh) 2008-01-14 2010-01-20 浙江大学 基于快速图像配准的视角变化条件下视频前景提取方法
CN101324963A (zh) 2008-07-24 2008-12-17 上海交通大学 基于静止图像的流体视频合成方法
US9160938B2 (en) 2010-04-12 2015-10-13 Wsi Corporation System and method for generating three dimensional presentations
RU2481640C1 (ru) * 2011-12-01 2013-05-10 Корпорация "Самсунг Электроникс Ко., Лтд" Способ и система генерации анимированных художественных эффектов на статичных изображениях
CN104318600B (zh) * 2014-10-10 2018-01-16 无锡梵天信息技术股份有限公司 一种使用Bézier曲线实现角色行走轨迹动画的方法
CN106162137B (zh) * 2016-06-30 2018-10-12 北京大学 虚拟视点合成方法及装置
US10275856B2 (en) * 2017-08-03 2019-04-30 Facebook, Inc. Composited animation
CN109697689B (zh) * 2017-10-23 2023-09-01 北京京东尚科信息技术有限公司 存储介质、电子设备、视频合成方法及装置
CN108014497B (zh) * 2017-12-06 2021-03-30 北京像素软件科技股份有限公司 物体添加方法、装置及电子设备
JP7106282B2 (ja) 2018-01-30 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10762682B2 (en) * 2018-03-21 2020-09-01 Electronic Arts Inc. Skinning weights and underlying object suppression of three-dimensional images
US11012389B2 (en) * 2018-05-07 2021-05-18 Apple Inc. Modifying images with supplemental content for messaging
CN109240689B (zh) * 2018-08-15 2022-08-09 腾讯科技(深圳)有限公司 一种应用图标的生成方法、装置、服务器及介质
CN109685872B (zh) 2018-09-25 2023-04-11 平安科技(深圳)有限公司 动画生成方法、装置、设备及计算机可读存储介质
CN109859097B (zh) * 2019-01-08 2023-10-27 北京奇艺世纪科技有限公司 脸部图像处理方法、设备、图像处理设备、介质
CN110060320A (zh) * 2019-04-18 2019-07-26 成都四方伟业软件股份有限公司 基于webgl的动画生成方法及装置
CN110060205B (zh) * 2019-05-08 2023-08-08 北京迈格威科技有限公司 图像处理方法及装置、存储介质及电子设备
CN110209861A (zh) * 2019-05-21 2019-09-06 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110264546B (zh) * 2019-06-24 2023-03-21 北京向上一心科技有限公司 图像合成的方法、装置、计算机可读存储介质及终端
CN110378847A (zh) * 2019-06-28 2019-10-25 北京字节跳动网络技术有限公司 人脸图像处理方法、装置、介质及电子设备
CN111275800B (zh) 2020-01-15 2021-09-14 北京字节跳动网络技术有限公司 动画生成方法、装置、电子设备及计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008165768A (ja) 2006-12-18 2008-07-17 Samsung Electronics Co Ltd 動的映像物を生成するためのテンプレートを編集する装置および方法。
JP2013186521A (ja) 2012-03-06 2013-09-19 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
EP4092627A1 (en) 2022-11-23
WO2021143310A1 (zh) 2021-07-22
CN111275800B (zh) 2021-09-14
US20230043150A1 (en) 2023-02-09
EP4092627A4 (en) 2024-01-10
US11972517B2 (en) 2024-04-30
JP2023508516A (ja) 2023-03-02
CN111275800A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
US9275493B2 (en) Rendering vector maps in a geographic information system
JP2018512644A (ja) 低品質タイルを使用してメモリ帯域幅を減らすためのシステムおよび方法
US8952981B2 (en) Subpixel compositing on transparent backgrounds
CN107908608B (zh) 文稿的转换及在三维空间中展现的方法、存储介质和设备
WO2023207001A1 (zh) 图像渲染方法、装置、电子设备及存储介质
CN114742931A (zh) 渲染图像的方法、装置、电子设备及存储介质
CN111724313B (zh) 一种阴影贴图生成方法与装置
CN110363837B (zh) 游戏中纹理图像的处理方法及装置、电子设备、存储介质
CN112891946B (zh) 游戏场景生成方法和装置、可读存储介质、电子设备
CN112700519A (zh) 动画展示方法、装置、电子设备及计算机可读存储介质
CN111127603B (zh) 动画生成方法、装置、电子设备及计算机可读存储介质
JP7352032B2 (ja) 動画生成方法、装置、電子デバイス及びコンピュータ読取可能記憶媒体
TWI527445B (zh) 於x視窗系統上顯示硬體加速之視頻的技術
CN116471438A (zh) 特效处理方法、装置、处理设备及存储介质
CN109803163B (zh) 图像展示方法及其装置、存储介质
CN113808238A (zh) 动画的渲染方法、装置、可读介质和电子设备
CN110288685B (zh) 一种基于svg遮罩功能的齿轮模式数据展示方法以及装置
US12039628B2 (en) Video mask layer display method, apparatus, device and medium
CN112822418B (zh) 视频处理方法和装置、存储介质和电子设备
US20120120197A1 (en) Apparatus and method for sharing hardware between graphics and lens distortion operation to generate pseudo 3d display
CN115984409A (zh) 一种地理信息系统矢量数据绘制的方法、装置及电子设备
CN116957967A (zh) 3d界面色差解决方法、系统、设备及介质
CN118916437A (zh) 一种矢量瓦片样式的转换方法、装置、设备及介质
CN118694959A (zh) 变分辨率云控视频压缩方法、系统、设备、介质及产品
CN117994378A (zh) 一种车道线绘制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230914

R150 Certificate of patent or registration of utility model

Ref document number: 7352032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150