JP7383714B2 - 動物顔部の画像処理方法と装置 - Google Patents

動物顔部の画像処理方法と装置 Download PDF

Info

Publication number
JP7383714B2
JP7383714B2 JP2021542562A JP2021542562A JP7383714B2 JP 7383714 B2 JP7383714 B2 JP 7383714B2 JP 2021542562 A JP2021542562 A JP 2021542562A JP 2021542562 A JP2021542562 A JP 2021542562A JP 7383714 B2 JP7383714 B2 JP 7383714B2
Authority
JP
Japan
Prior art keywords
image
animal
animal face
image processing
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021542562A
Other languages
English (en)
Other versions
JP2022518276A (ja
Inventor
沈▲韜▼ 王
▲輝▼ ▲楊▼
▲楽▼ 高
小奇 李
言浩 沈
光耀 倪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022518276A publication Critical patent/JP2022518276A/ja
Application granted granted Critical
Publication of JP7383714B2 publication Critical patent/JP7383714B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

（関連出願への相互参照）
本出願は、２０１９年０１月２５日に中国専利局（特許庁に相当する）に提出し、出願番号が２０１９１００７３６０９．４であり、発明の名称が「動物顔部の画像処理方法と装置」である中国特許出願の優先権を出張し、その中国出願の全文の内容を本出願に組み込む。
本発明は、画像処理の分野に属し、特に、動物顔部の画像処理方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体に関するものである。
コンピューター技術の発展に伴い、インテリジェント端末（intelligent terminal）の応用範囲はますます広くなっている。例えば、インテリジェント端末で音楽を聞き、ゲームをし、オンラインチャットをし、写真を撮ることができる。インテリジェント端末のカメラ技術の発展に伴い、そのカメラのピクセルは千万以上になり、高いアーティキュレーションを獲得し、プロフェッショナルカメラに匹敵する撮影の品質を獲得することができる。
従来のインテリジェント端末のカメラで写真を撮るとき、出荷時インテリジェント端末にインストールされる撮影ソフトにより一般の写真を獲得することができ、インターネットからダウンロードしたアプリケーション（Application、ＡＰＰと略称）、例えばダークライト（dark light）を検出するＡＰＰ、ビューティプラス（BeautyPlus）を獲得できるＡＰＰ、スーパーピクセル（Super pixel）を獲得するＡＰＰ等により写真の品質を更に向上させることができる。インテリジェント端末の特定機能は通常、肌の色を調節し、大目を獲得し、顏のスリム効果を獲得することを含み、画像において検出した顔部に対して一定のビューティプラスをすることができる。
しかいながら、従来のいろいろなカメラとＡＰＰは、使用者の顔部全体に対して最適化または処理をするが、動物の顔部に対して処理をしない。ペット例えば猫と犬が画像に存在し、猫と犬の画像を処理する必要があるとき、通常、猫と犬の画像を丸で処理する。猫の体全体を処理し、局部の処理をより精密にするため、後期の処理をする必要があるので、一般の使用者にとって操作の容易性がよくない。したがって、簡単であり、動物の画像に対して特殊な処理することができる技術的手段を提供する必要がある。
本発明の実施例において動物顔部の画像処理方法を提供する。その動物顔部の画像処理方法は、入力画像を獲得するステップであって、前記画像には少なくとも１つの動物が含まれているステップと、前記画像中の動物顔部画像を認識するステップと、 画像処理に用いられるコンフィグレーションファイルを読み取るステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含むステップと、前記画像処理のパラメーターで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップとを含む。
本発明の実施例において、入力画像を獲得するステップであって、前記画像には少なくとも１つの動物が含まれているステップはビデオ画像を獲得するステップを含み、前記ビデオ画像は複数のビデオフレームを含み、前記複数のビデオフレームうち少なくとも１つのビデオフレームには少なくとも１つの動物が含まれている。
本発明の実施例において、前記画像中の動物顔部画像を認識するステップは現在のビデオフレーム中の動物の顔部画像を認識するステップを含む。
本発明の実施例において、前記画像中の動物顔部画像を認識するステップは、前記画像中の動物の顔部区域を認識し、かつ前記顔部区域において前記動物の顔部画像中のキーポイントを検出するステップを含む。
本発明の実施例において、画像処理に用いられるコンフィグレーションファイルを読み取るステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含む前記ステップは画像処理に用いられるコンフィグレーションファイルを読み取るステップを含み、前記コンフィグレーションファイルには前記画像処理に用いられるタイプパラメーターと位置パラメーターが含まれ、前記位置パラメーターは前記キーポイントに係っている。
本発明の実施例において、前記画像処理のパラメーターで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップは、前記画像処理のタイプパラメーターと前記動物の顔部画像のキーポイントで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップを含む。
本発明の実施例において、前記画像処理のタイプパラメーターと前記動物の顔部画像のキーポイントで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップは、前記画像処理のタイプパラメーターが画像ペースト処理である場合、前記画像処理に用いられる素材を獲得するステップと、前記動物の顔部画像のキーポイントにより前記素材を動物顔部画像の所定の位置にレンダーさせることにより前記素材が含まれる動物顔部画像を獲得するステップとを含む。
本発明の実施例において、前記画像処理のタイプパラメーターと前記動物の顔部画像のキーポイントで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップは、前記画像処理タイプのパラメーターが変形タイプであるとき、前記変形タイプに係っているキーポイントを獲得するステップと、前記変形タイプに係っているキーポイントを所定の位置に移動させることにより変形後の動物顔部画像を獲得するステップとを含む。
本発明の実施例において、前記画像中の動物顔部画像を認識するステップは、前記画像中の複数の動物の顔部画像を認識し、かつ認識の順番により各動物の顔部画像に動物顔部ＩＤをそれぞれ分配するステップを含む。
本発明の実施例において、画像処理に用いられるコンフィグレーションファイルを読み取るステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含むステップは、画像処理に用いられるコンフィグレーションファイルを読み取り、前記動物顔部ＩＤにより当該動物顔部ＩＤに対応する画像処理のパラメーターを獲得するステップを含む。
本発明の実施例において動物顔部の画像処理装置を提供する。その動物顔部の画像処理装置は、画像獲得モジュール、動物顔部認識モジュール、コンフィグレーションファイル読取モジュールおよび画像処理モジュールを含み、前記画像獲得モジュールは入力される画像を獲得することに用いられ、前記画像には少なくとも１つの動物が含まれており、前記動物顔部認識モジュールは前記画像中の動物顔部画像を認識することに用いられ、前記コンフィグレーションファイル読取モジュールは画像処理用コンフィグレーションファイルを読み取ることに用いられ、前記コンフィグレーションファイルは前記画像処理パラメーターを含み、前記画像処理モジュールは前記画像処理パラメーターによって前記動物顔部画像を処理することにより処理後の動物顔部画像を獲得することに用いられる。
本発明の実施例において、前記画像獲得モジュールはビデオ画像を獲得することに用いられるビデオ画像獲得モジュールを更に含み、前記ビデオ画像は複数のビデオフレームを含み、前記複数のビデオフレームのうち少なくとも１つのビデオフレームには少なくとも１つの動物が含まれている。
本発明の実施例において、前記動物顔部認識モジュールは現在のビデオフレーム中の動物顔部画像を認識することに用いられる動物顔部ビデオ認識モジュールを更に含む。
本発明の実施例において、前記動物顔部認識モジュールは、前記画像中の動物顔部区域を認識し、かつ前記動物顔部区域において前記動物顔部画像のキーポイントを検出することに用いられるキーポイント検出モジュールを更に含む。
本発明の実施例において、前記コンフィグレーションファイル読取モジュールは画像処理用コンフィグレーションファイルを読み取ることに用いられる第一コンフィグレーションファイル読取モジュールを含み、前記コンフィグレーションファイルには画像処理に用いられるタイプパラメーターと位置パラメーターが含まれ、前記位置パラメーターは前記キーポイントに係っている。
本発明の実施例において、前記画像処理モジュールは前記画像処理のタイプパラメーターと前記動物の顔部画像のキーポイントで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得する第一画像処理モジュールを更に含む。
本発明の実施例において、前記第一画像処理モジュールは、前記画像処理のタイプパラメーターが画像ペースト処理である場合、前記画像処理に用いられる素材を獲得することに用いられる素材獲得モジュールと、前記動物の顔部画像のキーポイントにより前記素材を動物顔部画像の所定の位置にレンダーさせることにより前記素材が含まれる動物顔部画像を獲得することに用いられる画像ペースト処理モジュールとを更に含む。
本発明の実施例において、前記第一画像処理モジュールは、前記画像処理タイプのパラメーターが変形タイプであるとき、前記変形タイプに係っているキーポイントを獲得することに用いられるキーポイント獲得モジュールと、前記変形タイプに係っているキーポイントを所定の位置に移動させることにより変形後の動物顔部画像を獲得することに用いられる変形処理モジュールとを更に含む。
本発明の実施例において、前記動物顔部認識モジュールは、前記画像中の複数の動物の顔部画像を認識し、かつ認識の順番により各動物の顔部画像に動物顔部ＩＤをそれぞれ分配することに用いられるＩＤ分配モジュールを更に含む。前記コンフィグレーションファイル読取モジュールは、画像処理に用いられるコンフィグレーションファイルを読み取り、前記動物顔部ＩＤにより当該動物顔部ＩＤに対応する画像処理のパラメーターを獲得することに用いられる処理パラメーター獲得モジュールを更に含む。
本発明の実施例において電子装置を提供する。その電子装置は、非過渡性コンピュータ読み取り可能な指令を記憶する記憶装置と、前記コンピュータ読み取り可能な指令を実行することにより前記いずれか一項に記載の動物顔部の画像処理方法を実施する処理装置とを含む。
本発明の実施例においてコンピュータ読み取り可能な記憶媒体を提供する。そのコンピュータ読み取り可能な記憶媒体は非過渡性コンピュータ読み取り可能な指令を記憶し、前記非過渡性コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記コンピュータは前記いずれか一項に記載の動物顔部の画像処理方法を実施する。
本発明の実施例において、動物顔部の画像処理方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体を提供する。前記動物顔部の画像処理方法は、入力画像を獲得するステップであって、前記画像には少なくとも１つの動物が含まれているステップと、前記画像中の動物顔部画像を認識するステップと、画像処理に用いられるコンフィグレーションファイルを読み取るステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含むステップと、前記画像処理のパラメーターで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップとを含む。本発明の実施例において、画像中の動物顔部画像を認識し、かつ画像処理に用いられるコンフィグレーションファイルのコンフィグレーションにより動物の顔部画像を処理することによりいろいろな特殊な効果を獲得することができる。また、従来の技術において後期の処理手段により動物顔部画像を処理する必要があるので、特殊な効果を獲得する利便性がよくないという欠点を解決することができる。
以上、本発明の技術的事項を簡単に説明してきた。本発明の技術的事項をより詳細に理解し、明細書の内容のとおりに実施し、本発明の前記目的、特徴および発明の効果をより詳細に理解してもらうため、以下、本発明の好適な実施例と図面により本発明を詳細に説明する。
本発明の実施例の技術事項をより詳細に説明するため、以下、本発明の実施例において用いられる図面を簡単に説明する。注意されたいことは、下記図面は本発明の例示にしか過ぎないものであり、この技術分野の技術者は下記図面により創造的な研究をしなくもて他の図面を想到することができ、それらがあっても本発明に含まれることは勿論である。
本発明の実施例に係る動物顔部の画像処理方法の第一実施例を示す流れ図である。 本発明の実施例に係る動物顔部の画像処理方法に用いられる猫顔部のキーポイントを示す流れ図である。 本発明の実施例に係る動物顔部の画像処理方法に用いられる犬顔部のキーポイントを示す流れ図である。 本発明の実施例に係る動物顔部の画像処理方法の第二実施例を示す流れ図である。 本発明の実施例に係る動物顔部の画像処理装置の第一実施例の構造を示す図である。 本発明の実施例に係る動物顔部の画像処理装置の第二実施例において、動物顔部認識モジュールと、コンフィグレーションファイル読取モジュールの構造を示す図である。 本発明の実施例に係る電子装置の構造を示す図である。
以下、特定の具体的な実施例により本発明の実施形態を説明し、この技術分野の技術者はその明細書が公開する事項により本発明の利点と効果を容易に理解することができる。注意されたいことは、下記実施例は本発明の一部分の実施例を示すものであり、本発明のすべての実施例を示すものでない。この明細書に記載されていない他の具体的な実施形態により本発明を実施するか或いは応用することもできる。観点と応用が異なる場合、本発明の要旨を逸脱しない範囲において本発明の各細部に対していろいろな変更または改良をすることができる。注意されたいことは、矛盾がない場合、下記実施例と実施例中の特徴を組み合わせることができる。本発明の実施例において、本技術分野の技術者は創造的な研究をしなくても他の実施例を想到することができ、それらがあっても本発明に含まれることは勿論である。
注意されたいことは、下記明細書において特許請求の範囲に係る実施例の各事項を説明する。周知のように、この明細書において説明する事項をいろいろな方面に応用することができ、この明細書において説明する任意の特徴と／或いは機能は本発明の例示にしか過ぎないものである。本技術分野の技術者は本発明の事項により本発明の各実施例を独自に実施するか或いは複数の実施例において２つまたは２つ以上を組み合わせて実施することができる。例えば、本発明の任意の数量の実施例に係る装置と／或いは実施方法を自由に採用することができる。本発明において説明する１個または複数個の実施例にのみ限定されるものでなく、他の構造と／或いは機能を採用することにより本発明の装置と／或いは実施方法を実施することもできる。
注意されたいことは、本発明の実施例において提供する図面は本発明の基本的構成のみを示すものであり、図面には本発明の実施例に係るモジュールが示されているが、それらは本発明を実際に実施するときのモジュールの数量、形態およびサイズを示すものでない。本発明を実際に実施するとき、各モジュールの形態、数量および比例を自由に変化させ、各モジュールの配置もより複雑になることができる。
下記実施例において提供する具体的な細部は本発明を徹底的に理解してもらうための実例である。本技術分野の技術者は下記具体的な細部がなくても本発明を実施することができる。
図１は本発明の実施例に係る動物顔部の画像処理方法の第一実施例を示す流れ図である。本実施例に係る前記動物顔部の画像処理方法は動物顔部の画像処理装置によって実行され、前記動物顔部の画像処理装置はソフトウェアまたはソフトウェアとハードウェアの組合せで構成されることができる。前記動物顔部の画像処理装置は画像処理システム中のある装置、例えば画像処理サーバー、画像処理端末装置等に設けられることができる。図１に示すとおり前記動物顔部の画像処理方法は下記ステップを含む。
ステップＳ１０１において、入力される画像（以下、入力画像と略称）を獲得し、前記画像には少なくとも１つの動物が含まれている。
本発明の実施例において、前記入力画像を獲得するステップは現地の記憶空間から前記入力画像を獲得するか或いはネットワークの記憶空間から前記入力画像を獲得するステップを含むことができる。現地またはネットワークの記憶空間から入力画像を獲得するとき、まず入力画像の記憶アドレスを獲得し、次に前記記憶アドレスにより入力画像を獲得する。前記入力画像はビデオ画像またはピクチャーであるか或いは動的効果を有しているピクチャーであることができるが、本発明はそれを限定しない。
本発明の実施例において、前記入力画像を獲得するステップはビデオ画像を獲得するステップを含み、前記ビデオ画像は複数のビデオフレームを含み、前記複数のビデオフレームうち少なくとも１つのビデオフレームには少なくとも１つの動物が含まれている。本実施例において、前記ビデオ画像は画像センサーにより獲得するものであり、画像センサーは画像を検出するいろいろな装置であることができ、常用する画像センサーは、ビデオカメラ、ウェブカム、カメラ等がある。本実施例において、前記画像センサーは携帯型端末上のウェブカム例えばスマートフォンの前部たまは後部に取り付けられるウェブカムであることができる。ウェブカムで検出するビデオ画像を携帯電話の表示パネル上に直接に表示することができる。そのステップにおいて、画像センサーで撮影してえた画像ビデオは次のステップにおいて画像を認識することに用いられる。
前記ステップにおいて、前記入力画像には少なくとも１つの動物が含まれており、動物画像は動物顔部画像を認識する基礎（前提）である。本実施例において、前記入力画像がピクチャーである場合、ピクチャーには少なくとも１つの動物の画像が含まれ、前記入力画像がビデオである場合、前記入力画像中のビデオフレームにおいて少なくとも１つのビデオフレームには少なくとも１つの動物の画像が含まれる。
ステップＳ１０２において、前記画像中の動物顔部画像を認識する。
前記ステップにおいて、前記画像中の動物顔部画像を認識するステップは、前記画像中の動物の顔部区域を認識し、かつ前記顔部区域において前記動物の顔部画像中のキーポイントを検出するステップを含む。前記画像中の動物の顔部区域を認識するとき、画像において前記動物の顔部が含まれている画像区域を粗末に認識するとともにその画像区域を選出し、次のステップにおいて前記顏部区域中のキーポイントを検出することができる。動物の顔部区域を認識するとき、分類装置で画像中の動物顔部を分類することにより動物の顔部区域を獲得することができる。具体的に、複数回の分類をする方法により、画像中の動物顔部に対してラフクラシフィケーション（rough classification）をした後、ファインクラシフィケーション（fine classification）を更にすることにより最終の分類結果を獲得することができる。
本発明の具体的な実施例において、まず動物画像に対してグレースケール（gray scale）をすることにより画像をグレースケールイメージ（gray scale image）に変換させる。次にグレースケールイメージの第一特徴を検出する。前記第一特徴は画像上の形状が同一である複数の矩形内のすべての画素のグレースケール値（gray scale value）の総合の差であり、前記第一特徴は画像の局部のグレースケールの変化を示すものである。訓練が集中している画像の第一特徴で基本的な分類装置を訓練し、分類能力が優れている前Ｎ個の基本的な分類装置を組み合わせることにより１つの第一分類装置を獲得することができる。訓練が集中しているサンプルと基本的な分類装置において、ウエートにより強化または弱化することができる。サンプルのウエートは正確に分類する難易度を示し、始まるとき各サンプルに対応するウエートは同一である。そのサンプルの分布において、基本的な分類装置ｈ１を訓練し、分類装置ｈ１が分類し間違ったサンプルのウエートを増加させ、分類装置ｈ１が正確に分類したサンプルのウエートを低減することにより、新しいサンプルの分布において分類し間違ったサンプルを突出させ、次の訓練において、基本的な分類装置は分類し間違ったサンプルを注目することができる。基本的な分類装置のウエートは分類能力の強弱を示し、分類し間違ったサンプルが少なければ少ないほど、基本的な分類装置のウエートが大きく、その分類能力がよいことを意味する。新しいサンプルの分布において、分類能力が弱い分類装置ｈ１を訓練することにより分類装置ｈ２およびそのウエートを獲得する。それを繰り返し、かつＮ回のイテレーションをすることにより、Ｎ個の基本的な分類装置ｈ１、ｈ２、ｈ３、……、ｈＮとそれらに対応するＮ個のウエートを獲得する。最後に、ウエートにより基本的な分類装置ｈ１、ｈ２、ｈ３、……、ｈＮを加えることにより第一分類装置を形成する。前記訓練が集中しているサンプルはポジティブサンプル（Positive Sample）とネガティブサンプル（negative sample）を含み、ポジティブサンプルは動物の顔部画像を含み、ネガティブサンプルは動物の顔部画像を含まない。前記動物の顔部画像はある一つの動物、例えばいずれも犬の顔部画像であるか或いはいずれも猫の顔部画像であることができる。各動物に対して訓練をそれぞれすることにより各自の第一分類装置を形成する。第一分類装置で画像を分類することにより第一分類結果を獲得する。
第一分類装置の分類結果は第二分類装置によって更に分類され、第二分類装置は第二特徴により動物画像を分類することができる。第二特徴は方向勾配ヒストグラム（Histogram of oriented gradient）の特徴であり、第二分類装置はサポートベクトルマシン（support vector machine）分類装置であることができる。第一分類装置の分類結果中の画像の方向勾配ヒストグラム特徴を獲得し、サポートベクトルマシン分類装置で前記分類結果中の画像に対して二回目の分類をすることにより最終の分類結果を獲得する。すなわち所定の動物顔部画像が含まれる入力画像と前記所定の動物顔部画像の画像区域を獲得する。第二分類装置は、分類が間違ったサンプルを第一分類装置のネガティブサンプルに送入し、かつそのサンプルのウエートを調節することにより、第一分類装置の調節に向いて情報をフィードバックする。
前記第一分類装置と第二分類装置で分類をすることにより画像中の動物の顔部区域を獲得し、前記区域において動物顔部のキーポイントを更に検出する。前記検出方法は複数回の検出方法により獲得することができる。その方法を実施するとき、まず顔部画像区域において動物顔部上のキーポイントの位置を予め検出する。次に、動物顔部上のいろいろな区域の位置を正確に決める。前記いろいろな区域は動物顔部の器官、例えば目区域、鼻区域、口区域等により確定されることができる。最後に、顔部の輪郭の複数のキーポイントを検出し、その複数のキーポイントを連結させることにより完璧なキーポイントを形成する。
常用する動物のキーポイントは図２ａ、図２ｂに示すとおりである。図２ａは８２個のキーポイントで構成される猫の顏を示す図であり、図２ｂは９０個のキーポイントで構成される犬の顏を示す図である。その図面において、数値が付いているキーポイントはセマンティックポイント（semantic point）である。例えば、猫の顏の画像において、数値０が付いているポイントは左側の下側に位置している耳のつけ根であり、数値８が付いているポイントは下あごであり、数値１～７は具体的な意味を含んでおらず、数値０～８の間の同分ポイントは輪郭の辺縁部に近づいている。他のキーポイントもそれと類似しているので、ここで再び説明しない。認識される他のキーポイントは後のステップにおいて画像を処理する根拠になることができる。
本発明の実施例において、ステップＳ１０１中の前記入力画像はビデオ画像であるので、前記画像中の動物の顔部画像を認識するステップは現在のビデオフレーム中の動物の顔部画像を認識するステップを含む。本実施例において、各フレームの画像を１つの入力画像とし、かつ前記認識方法により動物の顔部画像のキーポイントを認識するので、ビデオ中の動物の顔部が移動しても動物の顔部画像を動的に認識するとともに追跡することができる。
注意されたいことは、前記動物顔部の認識方法は本発明の例示にしか過ぎないものであり、動物の顔部画像を認識するとともに動物顔部のキーポイントを検出できる方法であればいずれも本発明の技術的事項に用いることができ、本発明はそれを限定しない。
ステップＳ１０３において、画像処理に用いられるコンフィグレーションファイル（configuration file）を読み取り、前記コンフィグレーションファイルは前記画像処理のパラメーターを含む。
前記ステップにおいて、前記コンフィグレーションファイルには前記画像処理のタイプパラメーターおよび位置パラメーターが含まれている。前記タイプパラメーターは画像処理タイプを決めるものであり、前記タイプは画像をペーストするタイプであり（以下、画像ペーストタイプと略称）或いは変形を処理するタイプであることができる。前記位置パラメーターは処理の必要がある画像の位置を表記する。前記位置パラメーターは画像の絶対位置、例えば画像のＵＶ座標または他の座標を示すものであることができる。前記位置パラメーターはステップＳ１０２において認識してえたキーポイントと係っている。各キーポイントは動物の顔部と係っているので、動物の顔部が移動することにより画像処理の効果が移動する効果を獲得することができる。
画像ペーストタイプにおいて、前記位置パラメータはキーポイントに係っている。前記位置パラメータは画像処理素材の表示位置が動物の顔部のどのキーポイントに係っているかを意味する。画像処理素材の表示位置をすべてのキーポイントに関連させるか或いは複数のキーポイントに関連させることができる。コンフィグレーションファイルには、位置パラメータだけでなく、素材とキーポイントの位置関係ポイント「point」が更に含まれている。「point」は二組の関連ポイントを含み、「point０」は第一組の関連ポイントを意味し、「point１」は第二組の関連ポイントを意味することができる。各組の関連ポイントにおいて、「point」はウェブカムのアンカー点（anchor point）を意味し、複数組のキーポイントおよびそのウエートによってウエートの平均を算出ることにより獲得することができる。「idx」によりキーポイントの順番を示す。具体的に、動物の顔部に追跡して移動する素材の４個のキーポイントを設定し、それらはそれぞれ、９号、１０号、１１号および１２号キーポイントであり、各キーポイントのウエートは０．２５である。各キーポイントの座標はそれぞれ、（Ｘ９、Ｙ９）、（Ｘ１０、Ｙ１０）、（Ｘ１１，Ｙ１１）、（Ｘ１２、Ｙ１２）であり、素材が追跡するアンカー点のＸ軸の座標は、Ｘａ＝Ｘ９＊０．２５＋Ｘ１０＊０．２５＋Ｘ１１＊０．２５＋Ｘ１２＊０．２５であり、アンカー点のＹ軸の座標は、Ｙａ＝Ｙ９＊０．２５＋Ｙ１０＊０．２５＋Ｙ１１＊０．２５＋Ｙ１２＊０．２５である。注意されたいことは、「point」は、一組の関連ポイントを含むことができ、二組の関連ポイントを含むことにのみ限定されるものでない。前記具体的な実施例において、２つのアンカー点を獲得し、素材はその２つのアンカー点が移動することにより移動することができる。実際の応用において、アンカー点は、２つだけでなく、用いられる関連ポイントの組数により変化することができる。各キーポイントの座標はステップＳ１０２において検出したキーポイントにより獲得することができる。
画像ペーストタイプにおいて、前記コンフィグレーションファイルは素材の縮小拡大程度とキーポイントの関係を含み、パラメーター「scaleX」と「scaleY」はｘ方向とｙ方向の縮小の程度をそれぞれ意味する。各方向はいずれも２つのパラメーター「start_idx」と「end_idx」を含み、その２つのパラメーターは２つのキーポイントに対応し、２つのキーポイントの間の距離に「factor」値を掛けることにより縮小拡大の強度を獲得する。「factor」値は、予め設定される値であり、いずれかの値であることができる。縮小拡大の場合、「position」に一組のキーポイント「point0」のみが含まれていると、ｘ方向は水平方向において右へ向く方向であり、ｙ方向は垂直方向において下へ向く方向である。「scaleX」と「scaleY」はいずれも有効状態になり、いずれか１つがなくなってしまうとき、残されているパラメーターにより素材の最初の長さ幅比を縮小拡大させることを維持する。「position」に「point0」と「point1」が含まれているとき、ｘ方向はpoint1.anchor-point0.anchorにより獲得するベクトルの方向であり、ｙ方向はｘ方向をクロックワイズ方向に９０度回転させることにより獲得するものであり、「scaleX」は無効状態になり、ｘ方向の縮小拡大はアンカー点により決められる。「scaleY」が有効状態になり、「scaleY」がなくなってしまうとき、素材の最初の長さ幅比を縮小拡大させることを維持することができる。
画像ペーストタイプにおいて、前記コンフィグレーションファイルは回転ポイント「rotationtype」を更に含むことができ、「position」に「point０」のみが含まれているとき、回転ポイント「rotationtype」が有効状態になる。回転ポイント「rotationtype」は０と１を含み、「０」は回転の必要がないことを意味し、「１」はキーポイントに係る角度により回転することを意味する。
画像ペーストタイプにおいて、前記コンフィグレーションファイルはレンダー混合モードを更に含むことができる。前記レンダー混合は２種のカラーが混合されていることを意味する。具体的な実施例において、ある１つの画素位置のカラーとかいて得たカラーを混合させることにより特殊な効果を獲得することができる。レンダー混合モードは混合に用いられる方式を意味する。混合方法は通常、ソースカラーと目標カラーに対して計算をすることにより混合後のカラーを獲得することを意味する。実際の応用において、ソースカラーにソースファクターを掛けることによって獲得した結果と目標カラーに目標ファクターを掛けることによって獲得した結果とに対して計算をすることにより混合後のカラーを獲得する。例えば、前記計算が加法計算である場合、BLENDcolor = SRC_color*SCR_factor+DST_color*DST_factorであり、その式において０≦SCR_factor≦１、０≦DST_factor≦１である。前記計算式において、ソースカラーの４つの分量（赤色、緑色、青色、alpha値）は（Ｒｓ、Ｇｓ、Ｂｓ、Ａｓ）であり、目標カラーの４つの分量は（Ｒｄ、Ｇｄ、Ｂｄ、Ａｄ）であり、ソースファクターは（Ｓｒ、Ｓｇ、Ｓｂ、Ｓａ）であり、目標ファクターは（Ｄｒ、Ｄｇ、Ｄｂ、Ｄａ）であると仮定する。混合により形成される新カラーを（Rs*Sr+Rd*Dr、Gs*Sg+Gd*Dg、Bs*Sb+Bd*Db、As*Sa+Ad*Da）に示し，その式において、alpha値は透明度を意味し、０≦alpha≦１である。前記混合方法は本発明の例示にしか過ぎないものであり、実施の応用において混合方法を自分で定義するか或いは適合な混合方向を選択することができる。前記計算は、加、減、乗、除、二者において大きいものを選択すること、二者において小さいものを選択すること、ロジカルオペレーション（アンド、オア、エクスクルーシブ・オア等）であることができる。
画像ペーストタイプにおいて、前記コンフィグレーションファイルはレンダー順序を更に含むことができる。前記レンダー順序は２つの順序を含む。一つ目は素材のシーケンスの間のレンダー順序である。そのレンダー順序はパラメーター「zorder」により定義され、「zorder」の値が小さければ小さいほど、レンダー順序がもっと前に位置することを意味する。二つ目は素材と動物顔部画像との間のレンダー順序である。そのレンダー順序はいろいろな方法により確定されるが、常用する実施例において「zorder」と類似している方法によりレンダー順序を確定し、動物顔部が先にレンダーされるか或いは素材が先にレンダーされることを直接に設定することができる。
変形タイプにおいて、前記位置パラメーターとキーポイントは係っている。前記位置パラメーターは変形位置が動物の顔部のどのキーポイントに係っているかを意味する。具体的に、変形タイプが拡大をするものである場合、キーポイントにより拡大区域を確定することができる。例えば、動物顔部上の目を拡大するとき、位置パラメーターは目のキーポイントを意味するものであることができる。変形タイプがドラッグをするものである場合、前記位置パラメーターはドラッグのキーポイントを意味するものであることができる。前記変形タイプは、拡大、縮小、移動、回転、ドラッグのうちいずれか一種であるか或いは複数の組合せであることができる。
変形タイプにおいて、前記コンフィグレーションファイルは変形の程度を示すパラメーター（変形程度パラメーターと略称）を更に含むことができる。前記変形程度は、例えば、拡大と縮小の倍数、移動の距離、回転の角度、ドラッグの距離等を示すことができる。前記変形のタイプが移動することであるとき、前記変形程度パラメーターは目標ポイントの位置と中心ポイントから目標ポイントまで移動する距離とを含み、前記距離が負数であることは逆方向の移動を意味する。前記変形程度パラメーターは移動逓減係数を更に含み、前記移動逓減係数が多ければ大きいほど、移動の逓減が中心ポイントから離れる方向においてより小さくなることを意味する。前記変形タイプは特殊変形タイプを更に含むことにより、拡大／縮小を容易に実施し、変形区域から中心ポイントまでの距離に依頼せずに画像位置の画像変形程度を容易に調節することができる。
注意されたいことは、前記画像処理タイプと画像処理タイプに対応する具体的なパラメーターは、本発明の技術的事項を示す具体的な実施例であり、本発明を限定するものでない。前記実施例に適用する画像処理タイプ、例えばレンズのファイター、ビューティプラス（BeautyPlus）、バーグ（vague）等の画像処理タイプを本発明に用いることができ、その画像処理タイプに用いられるパラメーターは本発明の前記具体的な実施例と異なることができるが、本発明はそれを１つずつ説明しない。
ステップＳ１０４において、前記画像処理のパラメーターで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得する。
前記ステップにおいて、前記画像処理のタイプパラメーターと前記動物の顔部画像のキーポイントで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得する。
具体的に、前記画像処理のタイプパラメーターが画像ペースト処理である場合、前記画像処理に用いられる素材を獲得する。前記動物の顔部画像のキーポイントにより前記素材を動物顔部画像の所定の位置にレンダーさせることにより前記素材が含まれる動物顔部画像を獲得する。
本実施例において、前記画像ペーストは複数の素材を含み、前記素材の記憶アドレスはステップＳ１０３中のコンフィグレーションファイルに記憶されることができる。本発明の実施例において、前記素材が１つのメガネであるとき、前記動物の顔部画像のキーポイント中のキーポイントはステップＳ１０３中の位置パラメーターであることができる。具体的な実施例において、前記位置パラメーターは動物の目の位置であり、前記メガネを前記動物の目の位置にレンダーさせることによりメガネを掛けている動物顔部画像を獲得することができる。
具体的に、前記画像処理タイプのパラメーターが変形タイプであるとき、前記変形タイプに係っているキーポイントを獲得する。前記変形タイプに係っているキーポイントを所定の位置に移動させることにより変形後の動物顔部画像を獲得することができる。前記変形タイプが拡大をするものであるとき、前記変形タイプに係っているキーポイントは目のキーポイントになることができる。前記コンフィグレーションファイル中の変形程度パラメーターにより拡大の程度を獲得し、計算により拡大された目のキーポイントの位置を獲得することができる。すべての目のキーポイントを拡大された位置に移動させることにより、目が拡大された動物顔部画像を獲得することができる。
注意されたいことは、前記画像ペースト処理と変形処理は、本発明の技術的事項を示すための実施例であり、本発明を限定するものでない。本発明に適用する他のいずれかの処理手段をコンフィグレーションファイルに配置するとともに本発明に用いることができるが、本発明はそれを説明しない。
図２に示すとおり、本発明の他の実施例に係る動画生成方法において、前記画像中の動物の顔部画像を認識する前記ステップＳ１０２は下記ステップＳ３０１を含む。
ステップＳ３０１において、前記画像中の複数の動物の顔部画像を認識し、かつ認識の順番により各動物の顔部画像に動物顔部ＩＤをそれぞれ分配する。
画像処理に用いられるコンフィグレーションファイルを読み取り、前記コンフィグレーションファイルには前記画像処理のパラメーターが含まれる前記ステップＳ１０３は、画像処理に用いられるコンフィグレーションファイルを読み取り、前記動物顔部ＩＤにより当該動物顔部ＩＤに対応する画像処理のパラメーターを獲得するステップＳ３０２を含む。
本実施例において、前記画像中の複数の動物の顔部画像に対して画像処理を同時に実施する方法を獲得することができる。複数の動物顔部画像を認識するとき、認識の順番または他の順番により認識される各動物顔部画像に動物顔部ＩＤをそれぞれ分配する。コンフィグレーションファイルには各ＩＤに対応する処理パラメーターが予め設定され、その処理パラメーターは、処理タイプ、処理位置および他の状況に用いられる処理パラメーターを含む。コンフィグレーションファイル中の配置により認識される各動物顔部画像に対していろいろな処理をすることにより所定の効果を獲得することができる。
本発明の実施例において、動物顔部の画像処理方法、装置、電子装置およびコンピュータ読み取り可能な記憶媒体を提供する。前記動物顔部の画像処理方法は、入力画像を獲得するステップであって、前記画像には少なくとも１つの動物が含まれているステップと、前記画像中の動物顔部画像を認識するステップと、画像処理に用いられるコンフィグレーションファイルを読み取るステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含むステップと、前記画像処理のパラメーターで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップとを含む。本発明の実施例において、画像中の動物顔部画像を認識し、かつ画像処理に用いられるコンフィグレーションファイルのコンフィグレーションにより動物の顔部画像を処理することによりいろいろな特殊な効果を獲得することができる。また、従来の技術において後期の処理手段により動物顔部画像を処理する必要があるので、特殊な効果を獲得する利便性がよくないという欠点を解決することができる。
図４は本発明の第一実施例に係る動物顔部の画像処理装置４００の構造を示す図である。図４に示すとおり、前記動物顔部の画像処理装置は、画像獲得モジュール４０１、動物顔部認識モジュール４０２、コンフィグレーションファイル読取モジュール４０３および画像処理モジュール４０４を含む。
画像獲得モジュール４０１は入力される画像を獲得することに用いられ、前記画像には少なくとも１つの動物が含まれており、
動物顔部認識モジュール４０２は前記画像中の動物顔部画像を認識することに用いられ、
コンフィグレーションファイル読取モジュール４０３は画像処理用コンフィグレーションファイルを読み取ることに用いられ、前記コンフィグレーションファイルは前記画像処理パラメーターを含み、
画像処理モジュール４０４は前記画像処理パラメーターによって前記動物顔部画像を処理することにより処理後の動物顔部画像を獲得することに用いられる。
前記画像獲得モジュール４０１はビデオ画像を獲得することに用いられるビデオ画像獲得モジュールを更に含む。前記ビデオ画像は複数のビデオフレームを含み、前記複数のビデオフレームのうち少なくとも１つのビデオフレームには少なくとも１つの動物が含まれている。
前記動物顔部認識モジュール４０２は現在のビデオフレーム中の動物顔部画像を認識することに用いられる動物顔部ビデオ認識モジュールを更に含む。
前記動物顔部認識モジュール４０２は、前記画像中の動物顔部区域を認識し、かつ前記動物顔部区域において前記動物顔部画像のキーポイントを検出することに用いられるキーポイント検出モジュールを更に含む。
前記コンフィグレーションファイル読取モジュール４０３は画像処理用コンフィグレーションファイルを読み取ることに用いられる第一コンフィグレーションファイル読取モジュールを含む。前記コンフィグレーションファイルには画像処理に用いられるタイプパラメーターと位置パラメーターが含まれ、前記位置パラメーターは前記キーポイントに係っている。
前記画像処理モジュール４０４は前記画像処理のタイプパラメーターと前記動物の顔部画像のキーポイントで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得する第一画像処理モジュールを更に含む。
前記第一画像処理モジュールは、前記画像処理のタイプパラメーターが画像ペースト処理である場合、前記画像処理に用いられる素材を獲得することに用いられる素材獲得モジュールと、前記動物の顔部画像のキーポイントにより前記素材を動物顔部画像の所定の位置にレンダーさせることにより前記素材が含まれる動物顔部画像を獲得することに用いられる画像ペースト処理モジュールとを更に含む。
前記第一画像処理モジュールは、前記画像処理タイプのパラメーターが変形タイプであるとき、前記変形タイプに係っているキーポイントを獲得することに用いられるキーポイント獲得モジュールと、前記変形タイプに係っているキーポイントを所定の位置に移動させることにより変形後の動物顔部画像を獲得することに用いられる変形処理モジュールとを更に含む。
図４の装置により図１の実施例に示される方法を実施することができ、本実施例に詳細に記載されていない部分は図１の実施例の内容を参照することができる。前記技術的事項を実施する過程とそれによる発明の効果は図１の実施例の内容を参照することができるので、ここで再び説明しない。
本発明の実施例に係る動物顔部の画像処理装置の第二実施例において、図５に示すとおり、前記動物顔部認識モジュール４０２は、前記画像中の複数の動物の顔部画像を認識し、かつ認識の順番により各動物の顔部画像に動物顔部ＩＤをそれぞれ分配することに用いられるＩＤ分配モジュール５０１を更に含む。前記コンフィグレーションファイル読取モジュール４０３は、画像処理に用いられるコンフィグレーションファイルを読み取り、前記動物顔部ＩＤにより当該動物顔部ＩＤに対応する画像処理のパラメーターを獲得することに用いられる処理パラメーター獲得モジュール５０２を更に含む。
前記第二実施例に係る装置により図３の実施例に示される方法を実施することができ、本実施例に詳細に記載されていない部分は図３の実施例の内容を参照することができる。前記技術的事項を実施する過程とそれによる発明の効果は図３の実施例の内容を参照することができるので、ここで再び説明しない。
図６を参照すると、その図面は本発明の実施例に適用する電子装置６００の構造を示す図である。本発明の実施例に係る電子装置は、例えば携帯電話、ノートブックコンピューター、デジタル放送受信機（Digital broadcasting receiver）、ＰＤＡ（携帯情報端末、Personal Digital Assistant）、ＰＡＤ（タブレット）、ＰＭＰ（ポータブルメディアプレーヤー）、車用端末装置（例えばナビゲーション）等の携帯式端末装置と、例えばデジタルＴＶ、デスクトップコンピュータ等の非携帯式端末装置とを含むことができるが、本発明はそれらにのみ限定されるものでない。図６に示される電子装置は、本発明の例示にしか過ぎないものであり、本発明の実施例の機能と使用の範囲を限定するものでない。
図６に示すとおり、電子装置６００は処理装置（例えば中央処理装置、画像処理装置等）６０１を含み、処理装置６０１はＲＯＭ（Read-Only Memory、リードオンリーメモリー）６０２に記憶されるプログラムまたは記憶装置６０８からＲＡＭ（Random Access Memory、ランダムアクセスメモリ）６０３に送信されるプログラムにより所定の作業と処理をすることができる。ＲＡＭ６０３には電子装置６００の操作に必要であるいろいろなプログラムとデータが更に記憶されている。処理装置６０１、ＲＯＭ６０２およびＲＡＭ６０３はバス６０４により互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続される。
下記装置たちは入力／出力（Ｉ／Ｏ）インターフェース６０５に接続されることができる。その装置たちは、例えばタッチパネル、タッチ基板、キーボード、マウス、画像センサー、マイク、加速度計、ジャイロスコープ等を含む入力装置６０６と、液晶表示装置（ＬＣＤ）、スピーカー、振動機等を含む出力装置６０７と、テープ、ハードディスク等を含む記憶装置６０８と、通信装置６０９とであることができる。通信装置６０９は電子装置６００と他の装置が無線または有線で通信をするようにし、それによりデータを交換することができる。図６にはいろいろな装置を具備する電子装置６００が示されているが、電子装置６００は前記いろいろな装置を全部具備するか或いは全部用いる必要はない。すなわち電子装置６００はより多いか或いはより少ない装置を具備するか或いは用いることができる。
特に、本発明の実施例において、前記流れ図に示されるステップはコンピュータソフトウェアプログラムにより実施されることができる。例えば、本発明の実施例はコンピュータプログラム製品を含み、そのコンピュータプログラム製品はコンピュータ読み取り可能な媒体に記憶されるコンピュータプログラムを含み、そのコンピュータプログラムは前記流れ図中の方法を実施するプログラムコードを含むことができる。その実施例において、通信装置６０９により前記コンピュータプログラムをネットワークからダウンロードするとともにインストールするか或いは、記憶装置６０８からダウンロードするとともにインストールするか或いは、ＲＯＭ６０２からダウンロードするとともにインストールすることができる。前記コンピュータプログラムが処理装置６０１により実施されるとき、前記実施例に係る方法中の所定の機能を実施することができる。
注意されたいことは、前記コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、コンピュータ読み取り可能な記憶媒体またはその二つの組合せであることができる。コンピュータ読み取り可能な記憶媒体は、電気、磁性、光、電磁、赤外線であるか或いは、半導体のシステム、装置または部品であるか或いはそれらの任意の組合せであることができる。コンピュータ読み取り可能な記憶媒体の具体的な例として、１つまたは複数の導線により接続される携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ、Random Access Memory）、リードオンリーメモリー（ＲＯＭ、Read-Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read-Only Memoryまたはフラッシュメモリー）、光ファイバー、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、光記憶部品、磁性記憶部品またはそれらの任意の組合せを含むことができるが、本発明はそれらにのみ限定されるものでない。本発明の実施例において、コンピュータ読み取り可能な記憶媒体はプログラムを含むか或いは記憶する実物媒体であり、前記プログラムは指令実行システム、装置またはそれらの組合せに用いられることができる。本発明の実施例において、コンピュータ読み取り可能な信号媒体はベースバンド（base band）またはキャリアの一部分により伝送されるデータ信号を含み、コンピュータ読み取り可能な信号媒体にはコンピュータ読み取り可能なプログラムコードが記憶される。その方法により伝送されるデータ信号はいろいろな信号例えば電磁信号、光信号またはそれらの組合せであることができるが、それらにのみ限定されるものでない。コンピュータ読み取り可能な信号媒体はコンピュータ読み取り可能な記憶媒体以外のいずれかのコンピュータ読み取り可能な媒体であることができる。前記コンピュータ読み取り可能な信号媒体は指令実行システム、装置またはそれらの組合せに用いられるプログラムを送信、伝播または伝送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは適当な媒体、例えば電線、光ケーブル、ＲＦ（Radio Frequency）等により伝送されるか或いはそれらの組合せにより伝送されることができる。
前記コンピュータ読み取り可能な媒体は前記電子装置に設けられるか或いは前記電子装置に設けられず前記電子装置とそれぞれ存在するものであることができる。
前記コンピュータ読み取り可能な媒体は１つまたは複数のプログラムを記憶し、１つまたは複数のプログラムが前記電子装置により実行されるとき、前記電子装置は下記ステップを実施する。すなわち、入力画像を獲得するステップであって、前記画像には少なくとも１つの動物が含まれているステップと、前記画像中の動物顔部画像を認識するステップと、画像処理に用いられるコンフィグレーションファイルを読み取るステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含むステップと、前記画像処理のパラメーターで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップとを実施する。
１つまたは複数のプログラミング言語（programming language）またはそれらの組合せにより本発明の実施例に係る方法を実施するコンピュータプログラムコードを作成することができる。前記プログラミング言語は対象に向くプログラミング言語、例えばJava、Smalltalk、Ｃ＋＋を含むか或いは常用する過程式プログラミング言語、例えば「Ｃ」プログラミング言語またはそれに類似しているプログラミング言語を更に含むことができる。プログラムコードは使用者のコンピュータにより実行されるか或いは、一部分が使用者のコンピュータにより実行されるか或いは、独立しているソフトウェアパッケージとして実行されるか或いは、一部分が使用者のコンピュータにより実行されかつ一部分がリモートコンピュータにより実行されか或いは、リモートコンピュータまたはサーバーにより実行されることができる。リモートコンピュータの場合、リモートコンピュータはいずれかのネットワーク、例えばローカルエリアネットワーク（ＬＡＮ、local area network）またはワイドエリアネットワーク（ＷＡＮ、Wide Area Network）により使用者のコンピュータに接続されるか或いは外部のコンピュータに接続されることができる（例えばインターネットサービスプロバイダー（Internet Service Provider）が提供するインターネットにより外部のコンピュータに接続される）。
図面中の流れ図とブロックダイアグラム（block diagram）には本発明の実施例に係るシステム、方法およびコンピュータのプログラムを実施することができるシステムの構造、機能および操作方法が記載されている。流れ図とブロックダイアグラム中の各枠は、１つのモジュール、プログラムの一部分、コードの一部分を示し、前記モジュール、プログラムの一部分、コードの一部分は所定の機能を実現する実行可能な指令を含むことができる。注意されたいことは、他の実施例において、ブロックダイアグラムの各枠中の各ステップは図面に示される順番に実施されなくてもよい。例えば、隣接している各枠中のステップは通常、並行の順番に実施されるが、実現しようとする機能が異なることにより逆の順番に実施されることもできる。注意されたいことは、ブロックダイアグラムと／或いは流れ図中の各枠、ブロックダイアグラムと／或いは流れ図中の各枠の組合せは、所定の機能を獲得するか或いは所定の操作をすることができるハードウェアにより実施されるか或いは専用のハードウェアとコンピュータ指令の組合せにより実施されることができる。
本発明の実施例に係るユニットはソフトウェアにより実施されるか或いはハードウェアにより実施されることができる。特別な説明がない場合、ユニットの名称はそのユニットを限定するものでない。
以上、本発明の好適な実施例とそれらに用いられる技術的事項を説明してきた。本技術分野の技術者が知っているように、本発明が公開する範囲は、前記技術的特徴の組合せによって構成される技術的事項にのみ限定されるものでなく、本発明の要旨を逸脱しない範囲において前記技術的特徴または類似の技術的特徴の組合せにより形成される他の技術的事項を更に含むこともできる。例えば、前記技術的特徴と本発明の実施例に公開される類似の技術的特徴（それにのみ限定されるものでない）により形成される技術的事項を更に含むこともできる。

Claims (8)

  1. 入力画像を獲得するステップであって、前記画像には少なくとも１つの動物が含まれているステップと、
    前記画像中の複数の動物顔部画像を認識し、認識の順番により各動物顔部画像に動物顔部ＩＤをそれぞれ分配するステップと、
    画像処理に用いられるコンフィグレーションファイルを読み取り、前記動物顔部ＩＤにより当該動物顔部ＩＤに対応する画像処理のパラメーターを獲得するステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含むステップと、
    前記複数の動物顔部画像にそれぞれ対応する前記画像処理のパラメーターで前記複数の動物顔部画像を同時に処理することにより処理後の動物顔部画像を獲得するステップとを含み、
    前記画像処理のパラメーターで前記複数の動物顔部画像を同時に処理することにより処理後の動物顔部画像を獲得するステップは、
    前記画像処理のタイプパラメーターが画像ペースト処理である場合、前記画像処理に用いられる素材を獲得するステップと、
    前記動物の顔部画像のキーポイントにより前記素材を動物顔部画像の所定の位置にレンダーさせることにより前記素材が含まれる動物顔部画像を獲得するステップとを含むことを特徴とする動物顔部の画像処理方法。
  2. 入力画像を獲得するステップであって、前記画像には少なくとも１つの動物が含まれているステップはビデオ画像を獲得するステップを含み、前記ビデオ画像は複数のビデオフレームを含み、前記複数のビデオフレームうち少なくとも１つのビデオフレームには少なくとも１つの動物が含まれていることを特徴とする請求項１に記載の動物顔部の画像処理方法。
  3. 前記画像中の動物顔部画像を認識するステップは現在のビデオフレーム中の動物の顔部画像を認識するステップを含むことを特徴とする請求項２に記載の動物顔部の画像処理方法。
  4. 前記画像中の動物顔部画像を認識するステップは、前記画像中の動物の顔部区域を認識し、かつ前記顔部区域において前記動物の顔部画像中のキーポイントを検出するステップを含むことを特徴とする請求項１に記載の動物顔部の画像処理方法。
  5. 画像処理に用いられるコンフィグレーションファイルを読み取るステップであって、前記コンフィグレーションファイルは前記画像処理のパラメーターを含む前記ステップは画像処理に用いられるコンフィグレーションファイルを読み取るステップを含み、前記コンフィグレーションファイルには前記画像処理に用いられるタイプパラメーターと位置パラメーターが含まれ、前記位置パラメーターは前記キーポイントに係っていることを特徴とする請求項４に記載の動物顔部の画像処理方法。
  6. 前記画像処理のタイプパラメーターと前記動物の顔部画像のキーポイントで前記動物の顔部画像を処理することにより処理後の動物顔部画像を獲得するステップは、
    前記画像処理のタイプパラメーターが変形タイプであるとき、前記変形タイプに係っているキーポイントを獲得するステップと、
    前記変形タイプに係っているキーポイントを所定の位置に移動させることにより変形後の動物顔部画像を獲得するステップとを含むことを特徴とする請求項１に記載の動物顔部の画像処理方法。
  7. 非過渡性コンピュータ読み取り可能な指令を記憶する記憶装置と、
    前記コンピュータ読み取り可能な指令を実行することにより前記請求項１～６のいずれか一項に記載の動物顔部の画像処理方法を実施する処理装置とを含むことを特徴とする電子装置。
  8. 非過渡性コンピュータ読み取り可能な指令を記憶し、前記非過渡性コンピュータ読み取り可能な指令がコンピュータに実行されることにより前記コンピュータは前記請求項１～６のいずれか一項に記載の動物顔部の画像処理方法を実施することを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2021542562A 2019-01-25 2019-12-27 動物顔部の画像処理方法と装置 Active JP7383714B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910073609.4A CN111488759A (zh) 2019-01-25 2019-01-25 动物脸部的图像处理方法和装置
CN201910073609.4 2019-01-25
PCT/CN2019/129119 WO2020151456A1 (zh) 2019-01-25 2019-12-27 动物脸部的图像处理方法和装置

Publications (2)

Publication Number Publication Date
JP2022518276A JP2022518276A (ja) 2022-03-14
JP7383714B2 true JP7383714B2 (ja) 2023-11-20

Family

ID=71736107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021542562A Active JP7383714B2 (ja) 2019-01-25 2019-12-27 動物顔部の画像処理方法と装置

Country Status (5)

Country Link
US (1) US20220101645A1 (ja)
JP (1) JP7383714B2 (ja)
CN (1) CN111488759A (ja)
GB (1) GB2595094B (ja)
WO (1) WO2020151456A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质
CN112565863B (zh) * 2020-11-26 2024-07-05 深圳Tcl新技术有限公司 视频播放方法、装置、终端设备及计算机可读存储介质
CN113673439B (zh) * 2021-08-23 2024-03-05 平安科技（深圳）有限公司 基于人工智能的宠物狗识别方法、装置、设备及存储介质
CN113822177A (zh) * 2021-09-06 2021-12-21 苏州中科先进技术研究院有限公司 一种宠物脸关键点检测方法、装置、存储介质及设备
CN114327705B (zh) * 2021-12-10 2023-07-14 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN114926858B (zh) * 2022-05-10 2024-06-28 吉林大学 一种基于特征点信息的深度学习的猪脸识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053718A (ja) 2004-08-11 2006-02-23 Noritsu Koki Co Ltd 写真処理装置
JP2007025746A (ja) 2005-07-12 2007-02-01 Softbank Mobile Corp 画像処理パラメータ決定方法、画像処理方法及び情報処理装置
JP2007274264A (ja) 2006-03-31 2007-10-18 Casio Comput Co Ltd カメラ、ベストショット撮影方法、プログラム
JP2007282119A (ja) 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
JP2011090413A (ja) 2009-10-20 2011-05-06 Canon Inc 画像認識装置、その処理方法及びプログラム
WO2012132039A1 (ja) 2011-03-30 2012-10-04 ピットメディア・マーケティングス株式会社 三次元モザイク画像表示装置
CN108012081A (zh) 2017-12-08 2018-05-08 北京百度网讯科技有限公司 智能美颜方法、装置、终端和计算机可读存储介质
CN108833779A (zh) 2018-06-15 2018-11-16 Oppo广东移动通信有限公司 拍摄控制方法及相关产品
CN109254775A (zh) 2018-08-30 2019-01-22 广州酷狗计算机科技有限公司 基于人脸的图像处理方法、终端及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661906B1 (en) * 1996-12-19 2003-12-09 Omron Corporation Image creating apparatus
US20050231512A1 (en) * 2004-04-16 2005-10-20 Niles Gregory E Animation of an object using behaviors
CN101535171B (zh) * 2006-11-20 2011-07-20 Nxp股份有限公司 一种密封结构以及制造这种密封结构的方法
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
CN104284055A (zh) * 2013-07-01 2015-01-14 索尼公司 图像处理方法、装置以及电子设备
CN105184249B (zh) * 2015-08-28 2017-07-18 百度在线网络技术（北京）有限公司 用于人脸图像处理的方法和装置
CN108229278B (zh) * 2017-04-14 2020-11-17 深圳市商汤科技有限公司 人脸图像处理方法、装置和电子设备
CN108876704B (zh) * 2017-07-10 2022-03-04 北京旷视科技有限公司 人脸图像变形的方法、装置及计算机存储介质
CN108958801B (zh) * 2017-10-30 2021-06-25 上海寒武纪信息科技有限公司 神经网络处理器及使用处理器执行向量最大值指令的方法
US11068741B2 (en) * 2017-12-28 2021-07-20 Qualcomm Incorporated Multi-resolution feature description for object recognition
US10699126B2 (en) * 2018-01-09 2020-06-30 Qualcomm Incorporated Adaptive object detection and recognition
CN108073914B (zh) * 2018-01-10 2022-02-18 成都品果科技有限公司 一种动物面部关键点标注方法
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
CN108805961A (zh) * 2018-06-11 2018-11-13 广州酷狗计算机科技有限公司 数据处理方法、装置及存储介质
CN109087239B (zh) * 2018-07-25 2023-03-21 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质
CN109064388A (zh) * 2018-07-27 2018-12-21 北京微播视界科技有限公司 人脸图像效果生成方法、装置和电子设备
CN109003224B (zh) * 2018-07-27 2024-10-15 北京微播视界科技有限公司 基于人脸的形变图像生成方法和装置
CN110826371A (zh) * 2018-08-10 2020-02-21 京东数字科技控股有限公司 一种动物识别方法、装置、介质及电子设备
CN109147017A (zh) * 2018-08-28 2019-01-04 百度在线网络技术（北京）有限公司 动态图像生成方法、装置、设备及存储介质
CN109242765B (zh) * 2018-08-31 2023-03-10 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置和存储介质
CN109147012B (zh) * 2018-09-20 2023-04-14 麒麟合盛网络技术股份有限公司 图像处理方法和装置
CN111382612A (zh) * 2018-12-28 2020-07-07 北京市商汤科技开发有限公司 动物面部检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053718A (ja) 2004-08-11 2006-02-23 Noritsu Koki Co Ltd 写真処理装置
JP2007025746A (ja) 2005-07-12 2007-02-01 Softbank Mobile Corp 画像処理パラメータ決定方法、画像処理方法及び情報処理装置
JP2007274264A (ja) 2006-03-31 2007-10-18 Casio Comput Co Ltd カメラ、ベストショット撮影方法、プログラム
JP2007282119A (ja) 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
JP2011090413A (ja) 2009-10-20 2011-05-06 Canon Inc 画像認識装置、その処理方法及びプログラム
WO2012132039A1 (ja) 2011-03-30 2012-10-04 ピットメディア・マーケティングス株式会社 三次元モザイク画像表示装置
CN108012081A (zh) 2017-12-08 2018-05-08 北京百度网讯科技有限公司 智能美颜方法、装置、终端和计算机可读存储介质
CN108833779A (zh) 2018-06-15 2018-11-16 Oppo广东移动通信有限公司 拍摄控制方法及相关产品
CN109254775A (zh) 2018-08-30 2019-01-22 广州酷狗计算机科技有限公司 基于人脸的图像处理方法、终端及存储介质

Also Published As

Publication number Publication date
US20220101645A1 (en) 2022-03-31
CN111488759A (zh) 2020-08-04
GB202110696D0 (en) 2021-09-08
WO2020151456A1 (zh) 2020-07-30
JP2022518276A (ja) 2022-03-14
GB2595094A (en) 2021-11-17
GB2595094B (en) 2023-03-08

Similar Documents

Publication Publication Date Title
JP7383714B2 (ja) 動物顔部の画像処理方法と装置
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
US11282182B2 (en) Image processing method and apparatus, computer-readable medium, and electronic device
CN108986016B (zh) 图像美化方法、装置及电子设备
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
CN109003224B (zh) 基于人脸的形变图像生成方法和装置
CN109614902A (zh) 人脸图像处理方法、装置、电子设备及计算机存储介质
JP2022518520A (ja) 画像変形の制御方法、装置およびハードウェア装置
WO2020114097A1 (zh) 一种边界框确定方法、装置、电子设备及存储介质
TW202121343A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
CN112837213A (zh) 脸型调整图像生成方法、模型训练方法、装置和设备
WO2024125267A1 (zh) 图像处理方法、装置、计算机可读存储介质、电子设备及计算机程序产品
CN115937033A (zh) 图像生成方法、装置及电子设备
WO2020155984A1 (zh) 人脸表情图像处理方法、装置和电子设备
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
CN111199169A (zh) 图像处理方法和装置
CN106548117A (zh) 一种人脸图像处理方法和装置
CN109559288A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109146770A (zh) 一种形变图像生成方法、装置、电子设备及计算机可读存储介质
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN110069126A (zh) 虚拟对象的控制方法和装置
CN110288552A (zh) 视频美化方法、装置及电子设备
CN111507139A (zh) 图像效果生成方法、装置和电子设备
CN110264431A (zh) 视频美化方法、装置及电子设备
CN111292247A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231108

R150 Certificate of patent or registration of utility model

Ref document number: 7383714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150