JP7251000B2 - 顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム - Google Patents

顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム Download PDF

Info

Publication number
JP7251000B2
JP7251000B2 JP2022524624A JP2022524624A JP7251000B2 JP 7251000 B2 JP7251000 B2 JP 7251000B2 JP 2022524624 A JP2022524624 A JP 2022524624A JP 2022524624 A JP2022524624 A JP 2022524624A JP 7251000 B2 JP7251000 B2 JP 7251000B2
Authority
JP
Japan
Prior art keywords
feature map
spectrogram
input data
frequency domain
spectrograms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022524624A
Other languages
English (en)
Other versions
JP2022553768A (ja
Inventor
国君 殷
▲セイ▼ 邵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2022553768A publication Critical patent/JP2022553768A/ja
Application granted granted Critical
Publication of JP7251000B2 publication Critical patent/JP7251000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Discrete Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、画像識別技術分野に関し、具体的に顔画像の真偽を識別する方法、装置及び媒体並びにプログラム製品に関する。
機械学習及びコンピュータビジョン技術の発展に伴い、益々多くの顔部偽造技術は、登場してきている。顔部偽造技術により、人の顔をリアルに置換したり、顔部の表情、口形を変更したりする等が可能である。例えば、顔偽造技術によってビデオにおけるＡの顔をＢの顔に交換することができる。
しかし、このような顔部偽造技術は、他人の肖像権及び名誉権を深刻に侵害してしまう。顔部画像偽造を識別するために、現在、常に画像の周波数領域情報を使用して、顔部画像が偽造されたものであるか否かを識別する。例えば、画像に対して離散コサイン変換(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ)を行い、画像の周波数領域情報を抽出し、当該周波数領域情報によって当該画像のエッジ及びテクスチャを分析し、エッジ又はテクスチャが異常である場合に、当該画像が偽造されたものであると特定することができる。しかし、低品質の画像、例えば、圧縮された画像について、エッジ又はテクスチャが異常であると特定された場合に、当該画像が偽造されたものであると完全に特定することができない。
本発明の実施例は、顔画像の真偽を識別する方法、装置及び媒体を提供する。複数グループのフィルタによってスペクトログラムに対してフィルタリング処理を行い、複数の周波数帯域情報を取得し、更に顔画像真偽識別に対する正確度を向上させる。
第１態様において、本発明の実施例は、顔画像の真偽を識別する方法を提供する。当該方法は、第１顔画像を取得するステップと、前記第１顔画像に対して周波数領域変換を行い、第１スペクトログラムを取得するステップと、前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得するステップと、前記複数の第２スペクトログラムに基づいて、入力データを取得するステップと、前記入力データに基づいて、前記第１顔画像の真偽を特定するステップと、を含む。
第２態様において、本発明の実施例は、顔画像の真偽を識別する装置を提供する。当該装置は、第１顔画像を取得するための取得手段と、前記第１顔画像に対して周波数領域変換を行い、第１スペクトログラムを取得するための変換手段と、前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得するためのフィルタリング手段と、前記複数の第２スペクトログラムに基づいて、入力データを取得するための処理手段と、前記入力データに基づいて、前記第１顔画像の真偽を特定するための判断手段と、を備える。
第３態様において、本発明の実施例は、顔画像の真偽を識別するデバイスを提供する。当該デバイスは、プロセッサと、メモリと、通信インターフェースと、１つ又は複数のプログラムとを含み、前記１つ又は複数のプログラムは、前記メモリに記憶され、且つ前記プロセッサによって実行されるように構成され、前記プログラムは、第１態様に記載の方法におけるステップを実行するための指令を含む。
第４態様において、本発明の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムは、第１態様に記載の方法をコンピュータに実行させる。
第５態様において、本発明の実施例は、コンピュータプログラム製品を提供する。前記コンピュータプログラム製品は、コンピュータプログラムが記憶された非一時的コンピュータ可読記憶媒体を含み、前記コンピュータプログラムがコンピュータによって実行されたときに、第１態様に記載の方法を実行させる。
本発明の実施例を実施すると、以下の有利な作用効果を奏する。本発明の実施例において、複数グループのフィルタを介して当該第１スペクトログラムに対して複数回のフィルタリング処理を行い、複数の第２スペクトログラムを取得することが分かる。したがって、当該複数の第２スペクトログラムの周波数帯域情報が異なり、当該複数の第２スペクトログラムに基づいて入力データを取得するため、当該入力データが当該第１スペクトログラムの複数の周波数帯域情報を含み、更に当該入力データに基づいて第１顔画像の真偽を識別し、即ち複数の周波数帯域情報を利用して第１顔画像の真偽を識別するため、第１顔画像の真偽を識別する正確度をより向上させ、誤識別率を低減する。
本発明の実施例に係る顔画像の真偽を識別する方法の模式的なフローチャートである。 本発明の実施例に係るフィルタリング処理の模式図である。 本発明の実施例に係る第２所定パラメータを設定する模式的なフローチャートである。 本発明の実施例に係るクロス融合処理の模式図である。 本発明別の実施例に係る顔画像の真偽を識別する方法の模式図である。 本発明の実施例に係るグローバル周波数領域変換ブランチの模式図である。 本発明の実施例に係る局所周波数領域変換ブランチの模式図である。 本発明の実施例に係る顔画像の真偽を識別する装置の構成模式図である。 本発明の実施例に係る顔画像の真偽を識別する装置の機能ユニット構成ブロック図である。
以下では、本発明の実施例の図面を組み合わせて本発明の実施例における解決手段を明瞭で完全に記述する。明らかに、記述される実施例が単に本発明の一部の実施例に過ぎず、全部の実施例ではない。本発明における実施例に基づいて、当業者が進歩性に値する労働をせずに成した全ての他の実施例は、何れも本発明の保護範囲に含まれる。
本発明の明細書及び特許請求の範囲並びに上記図面における用語「第１」、「第２」、「第３」と「第４」等は、異なる対象を区分するために用いられ、特定の順番を記述するためのものではない。また、用語「含む」と「備える」およびそれらの如何なる変形も、非排他的な含有をカバーすることを意図する。例えば、一シリーズのステップ若しくは手段を含む過程、方法、システム、製品若しくは機器は、挙げられたステップや手段に限定されず、挙げられていないステップや手段を選択可能に含み、又は、これらの過程、方法、製品若しくは機器固有の他のステップや手段を含んでもよい。
本文で言及された「実施例」は、実施例を組み合わせて記述された特定の特徴、構造又は特性が本発明の少なくとも１つの実施例に含まれ得ることを意味する。明細書における各位置に当該用語が現れるのは、必ずしも同じ実施例を指すとは限らず、他の実施例に対して排他的な独立又候補の実施例でもない。当業者が明示的に且つ暗示的に理解できるように、本文で記述される実施例は、他の実施例と組み合わせられ得る。
図１は、本発明の実施例に係る顔画像の真偽を識別する方法の模式的なフローチャートである。当該方法は、顔画像の真偽を識別する装置に用いられる。当該方法は、以下のステップを含む。
１０１では、第１顔画像を取得する。
１０２では、第１顔画像に対して周波数領域変換を行い、第１スペクトログラムを取得する。
当該周波数領域変換は、ＤＣＴ、フーリエ変換（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）のうちの一種を含んでもよいが、それらに限定されない。本発明では、当該周波数領域変換がＤＣＴであることを例として説明する。
更に、当該周波数領域変換は、グローバル周波数領域変換及び／又は局所周波数領域変換を含む。グローバル周波数領域変換とは、当該第１顔画像全体に対して周波数領域変換を行って１つの第１スペクトログラムを得ることを指す。局所周波数領域変換とは、当該第１顔画像中の複数の局所領域に対して周波数領域変換を行って複数の第１スペクトログラムを得ることを指す。幾つかの例において、局所周波数領域変換は、スライド窓を用いて当該第１顔画像においてスライドし、毎回のスライドによって当該スライド窓で枠選択された局所領域に対して周波数領域変換を行ってもよい。したがって、当該局所周波数領域変換は、スライド窓離散コサイン変換（Ｓｌｉｄｅ Ｗｉｎｄｏｗ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＳＷＤＣＴ）であってもよい。
また、幾つかの例において、スライド窓を使用せずに当該第１顔画像の複数の領域に対して周波数領域変換を行ってもよい。例えば、当該領域は、予め設定された領域、細部情報の多い領域、又は重点的に注目された領域であってもよく、本発明ではこれについて限定しない。したがって、当該第１顔画像に対して局所周波数領域変換を行う場合に、得られた第１スペクトログラムの数は、複数であってもよい。
グローバル周波数領域変換と局所周波数領域変換とのそれぞれによって得られた第１スペクトログラムが容易に区分されるように、本発明の後述する部分において、局所周波数領域変換によって得られた第１スペクトログラムを第１局所スペクトログラムと呼び、グローバル周波数領域変換によって得られた第１スペクトログラムを第１グローバルスペクトログラムと呼ぶ。
なお、当該第１顔画像に対してグローバル周波数領域変換及び局所周波数領域変換を行う場合に、グローバル周波数領域変換を先に行ってもよく、局所周波数領域変換を先に行ってもよく、又はグローバル周波数領域変換と局所周波数領域変換とを並行に行ってもよく、本発明では、周波数領域変換の順番について限定しない。
１０３では、第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得する。
例示として、当該第１顔画像に対してグローバル周波数領域変換のみを行った場合に、即ち、当該第１グローバルスペクトログラムがグローバル周波数領域変換によって得られた場合に、当該グローバル周波数領域変換に対応する複数グループのフィルタを介して当該第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行うことにより、当該複数の第２スペクトログラムを取得してもよい。本発明では、当該グローバル周波数領域変換に対応する複数グループのフィルタを複数グループの第１フィルタと呼び、後では、複数グループの第１フィルタを介して当該第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行う過程を詳細に紹介し、ここで詳しく説明しない。複数グループの第１フィルタを介して第１グローバルスペクトログラムに対してフィルタリングを行うことにより、異なる周波数帯域の第２スペクトログラムを取得することができ、後で得られる入力データに当該第１グローバルスペクトログラムにおける異なる周波数帯域の情報を含ませ、即ち、当該入力データに豊富な周波数帯域情報を含ませ、更に第１顔画像に対して真偽識別を行う正確度を向上させることができる。
例示として、当該第１顔画像に対して局所周波数領域変換のみを行った場合に、即ち、当該第１局所スペクトログラムが局所周波数領域変換によって得られた場合に、当該局所変換に対応する複数グループのフィルタを介して、第１局所スペクトログラムのそれぞれに対して複数回のフィルタリング処理を行い、各第１局所スペクトログラムに対応する複数の第２スペクトログラムを取得してもよい。本発明では、当該局所周波数領域変換に対応する複数グループのフィルタを複数グループの第２フィルタと呼び、後では、複数グループの第２フィルタを介して第１局所スペクトログラムのそれぞれに対して複数回のフィルタリング処理を行う過程を詳細に紹介し、ここで詳しく説明しない。
例示として、当該第１顔画像に対してグローバル周波数領域変換及び局所周波数領域変換を行った場合に、即ち、当該第１スペクトログラムがグローバル周波数領域変換によって得られた１つの第１グローバルスペクトログラムと局所周波数領域変換によって得られた複数の第１局所スペクトログラムとを含む場合に、複数グループの第１フィルタを介して第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行い、当該第１グローバルスペクトログラムに対応する複数の第２スペクトログラムを取得して、複数グループの第２フィルタを介して第１局所スペクトログラムのそれぞれに対して複数回のフィルタリング処理を行い、各第１局所スペクトログラムに対応する複数の第２スペクトログラムを取得する必要がある。したがって、このような場合に、複数の第２スペクトログラムは、グローバル周波数領域変換で得られた第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行って取得された複数の第２スペクトログラムと、局所周波数領域変換で得られた第１局所スペクトログラムのそれぞれに対して複数回のフィルタリング処理を行って取得された複数の第２スペクトログラムとを含む。
なお、上記第１スペクトログラムに対して複数回のフィルタリング処理を行う過程は、先に複数グループの第１フィルタを介して、グローバル周波数領域変換で得られた第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行ってもよく、先に複数グループの第２フィルタを介して、局所周波数領域変換で得られた第１局所スペクトログラムのそれぞれに対して複数回のフィルタリング処理を行ってもよく、無論、グローバル周波数領域変換処理と局所周波数領域変換処理とで得られた第１スペクトログラムに対してフィルタリング処理を並行に行ってもよい。本発明では、フィルタリングの順番について限定しない。
ただし、上記係るフィルタリング処理過程は、毎回のフィルタリング処理によって１つの第２スペクトログラムが取得され得、各グループのフィルタが１回のフィルタリング処理に対応する。
１０４では、複数の第２スペクトログラムに基づいて、入力データを取得する。
例示として、当該複数の第２スペクトログラムが第１グローバルスペクトログラムに対応する複数の第２スペクトログラムのみを含む場合に、当該複数の第２スペクトログラムのうちの各第２スペクトログラムに対して周波数領域逆変換を行い、複数の第２画像を取得してもよい。当該周波数領域逆変換は、当該グローバル周波数領域変換の逆過程である。その後、当該複数の第２画像を繋ぎ合わせ、当該入力データを取得する。本発明では、グローバル周波数領域変換によって得られた入力データを第１入力データと呼ぶ。
例示として、当該複数の第２スペクトログラムが当該第１局所スペクトログラムに対応する複数の第２スペクトログラムのみを含む場合に、各第２スペクトログラムのエネルギーを特定し、各第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギーに基づいて、各第１局所スペクトログラムに対応する特徴ベクトルを取得することができる。その後、当該複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成（ｒｅ－ａｓｓｅｍｂｌｅ）を行い、当該入力データを取得する。本発明では、局所周波数領域変換によって得られた入力データを第２入力データと呼ぶ。
説明すべきことは、再構成された第２入力データのサイズが当該ニューラルネットワークによって規定されたサイズにマッチングしない場合に、第２入力データのサイズが当該ニューラルネットワークによって規定されたサイズにマッチングするように、再構成して得られた第２入力データに対してチャンネル変換を行う必要があり、チャンネル変換後のデータを当該第２入力データとする必要がある。後述する第２入力データは、何れも対応するチャンネル変換を経て得られた、当該ニューラルネットワークによって規定されたサイズにマッチングする入力データである。
例示として、当該複数の第２スペクトログラムが当該グローバル周波数領域変換に対応する複数の第２スペクトログラムと当該局所周波数領域変換に対応する複数の第２スペクトログラムとを含む場合に、当該入力データは、上記第１入力データ及び第２入力データを含み、且つ当該第１入力データ及び当該第２入力データを取得する方式は、上記過程と類似するため、再び説明しない。
１０５では、入力データに基づいて、第１顔画像の真偽を特定する。
当該第１顔画像の真偽を特定することは、本質的に、当該第１顔画像がオリジナルの顔画像であるか否かを特定することであり、即ち、当該第１顔画像が置換されたか、変更されたか又は複写されたか等を特定することである。
本発明の実施例において、複数グループのフィルタを介して当該第１スペクトログラムに対して複数回のフィルタリング処理を行い、複数の第２スペクトログラムを取得することが分かる。したがって、当該複数の第２スペクトログラムの周波数帯域情報が異なり、当該複数の第２スペクトログラムに基づいて入力データを取得するため、当該入力データが当該第１スペクトログラムの複数の周波数帯域情報を含み、更に当該入力データに基づいて第１顔画像の真偽を識別し、即ち複数の周波数帯域情報を利用して第１顔画像の真偽を識別するため、第１顔画像の真偽を識別する正確度をより向上させ、誤識別率を低減する。
幾つかの可能な実施形態において、当該入力データが第１入力データ又は第２入力データのみを含む場合に、当該入力データに対して特徴抽出を行って第１特徴マップを取得し、当該第１特徴マップに基づいて第１顔画像の真偽を特定し、即ち、当該第１特徴マップに応じて分類を行い、第１顔画像の真偽を特定してもよい。
単一の周波数帯域情報によって識別を行うのではなく、第１スペクトログラムにおける複数の周波数帯域情報によって第１顔画像の真偽を識別することにより、第１顔画像の真偽を識別する正確度をより向上させることが分かる。
幾つかの可能な実施形態において、当該入力データが第１入力データ及び第２入力データを含む場合に、当該第１入力データ及び第２入力データに対してクロス融合処理を行い、第２特徴マップ及び第３特徴マップを取得し、当該第２特徴マップ及び当該第３特徴マップに基づいて当該第１顔画像の真偽を特定する必要がある。
例えば、当該第２特徴マップと第３特徴マップとを繋ぎ合わせてもよく、繋ぎ合わせられた特徴マップに基づいて当該第１画像の真偽を特定する。即ち、繋ぎ合わせられた特徴マップに対して特徴抽出を行い、目標特徴マップを取得し、当該目標特徴マップに応じて分類を行い、当該第１画像の真偽を特定してもよい。
また、当該第２特徴マップと第３特徴マップとを繋ぎ合わせる必要がなくてもよい。例示として、当該第２特徴マップと第３特徴マップとに対してプーリング処理を同時に行って目標特徴マップを取得してもよく、これは、プーリング過程において当該第２特徴マップと当該第３特徴マップとをマージすることに相当する。その後、当該目標特徴マップに応じて分類を行い、当該第１画像の真偽を特定する。
これにより、第１顔画像のグローバル周波数領域情報と局所周波数領域情報とに対してクロス融合処理を行ったため、クロス融合後の第２特徴マップ及び第３特徴マップがより多くの周波数帯域情報を含み、更に第１顔画像の真偽を識別する正確度を向上させることができる。また、グローバル周波数領域変換において当該第１顔画像中のより細かい周波数帯域情報を抽出するため、識別正確度を更に向上させる。また、局所周波数領域変換過程においてスライド窓を用いて第１顔画像を枠選択するため、各第１局所スペクトログラムの特徴ベクトルは、空間位置情報（スライド窓による第１顔画像中の枠選択の位置）も含む。これにより、当該第２入力データが空間位置情報を含むようになり、目標特徴マップに含まれる情報がより豊富になる。
幾つかの可能な実施形態において、当該クロス融合処理の回数が複数回であってもよく、当該第２特徴マップ及び第３特徴マップを取得する実現過程は、当該第１入力データと当該第２入力データとに対して第１回のクロス融合処理を行い、第４特徴マップ及び第５特徴マップを取得して、当該第４特徴マップ及び当該第５特徴マップを次回のクロス融合処理の入力データとし、複数回の当該クロス融合処理を行った後、当該第２特徴マップ及び当該第３特徴マップを取得することであってもよい。
以下では、第１入力データ及び第２入力データに対して第１回のクロス融合処理を行うことを基にクロス融合処理の具体的な過程を説明し、他のクロス融合処理の実現過程は、当該第１回のクロス融合処理の過程と類似するため、再び説明しない。
当該第１入力データに対して特徴抽出を行い、第６特徴マップを取得する。当該第２入力データに対して特徴抽出を行い、第７特徴マップを取得する。なお、第１入力データと第２入力データとに対して特徴抽出を行う過程は、前後順を問わない。当該第６特徴マップ及び第７特徴マップに基づいて第１行列を取得し、当該第１行列は、第６特徴マップと第７特徴マップとの間の相関を表すために用いられる。即ち、当該第６特徴マップ及び第７特徴マップは、実質的に２つの行列であり、当該第１行列は、当該２つの行列の間の相互相関係数そのものである。当該第１行列及び当該第７特徴マップに基づいて、第８特徴マップを取得し、即ち、当該第１行列と当該第７特徴マップとに対してアダマール積を求め、当該第８特徴マップを取得し、当該第８特徴マップと当該第６特徴マップとを重畳して、当該第４特徴マップを取得してもよい。当該第１行列及び当該第６特徴マップに基づいて、第９特徴マップを取得し、即ち、当該第１行列と当該第６特徴マップとに対してアダマール積を求め、当該第９特徴マップを取得し、その後、当該第９特徴マップと当該第７特徴マップとを重畳して、当該第５特徴マップを取得する。
以下では、本発明において第１スペクトログラムに対して複数回のフィルタリング処理を行う過程を詳細に紹介する。
まず、本発明では、グローバル周波数領域変換で得られた第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行っても、局所周波数領域変換で得られた第１局所スペクトログラムに対して複数回のフィルタリング処理を行っても、いずれも複数グループのフィルタを用いてスペクトログラムに対して複数回のフィルタリング処理を行う。したがって、第１グローバルスペクトログラム及び／又は第１局所スペクトログラムに対して複数回のフィルタリング処理を行う過程は、複数グループのフィルタを介して、第１グローバルスペクトログラム及び／又は第１局所スペクトログラムに対して複数回のフィルタリング処理を行うことを含む。各グループのフィルタのフィルタリングパラメータは、所定パラメータ及び参照パラメータを含み、当該参照パラメータは、ネットワークパラメータであり、ニューラルネットワークに対して予めトレーニングを行ったものである。後では、当該参照パラメータを如何に取得するかを詳細に記述するため、ここで詳しく説明しない。また、各グループのフィルタは、第１グローバルスペクトログラム及び／又は第１局所スペクトログラムから当該所定パラメータに対応する周波数帯域情報を分離し、当該参照パラメータは、当該周波数帯域情報に対して補償を行うために用いられ、且つ何れか２グループのフィルタで分離された周波数帯域情報は、異なり、且つ当該複数グループのフィルタで分離された複数の周波数帯域情報は、当該第１グローバルスペクトログラム及び／又は第１局所スペクトログラムにおける全部の周波数帯域情報を含む。
グローバル周波数領域変換で得られた第１グローバルスペクトログラム及び局所周波数領域変換で得られた第１局所スペクトログラムに対して複数回のフィルタリング処理を行う過程において、何れも複数グループのフィルタを介して第１グローバルスペクトログラム及び／又は第１局所スペクトログラムに対して複数回のフィルタリング処理を行う。実際の応用では、異なる周波数領域変換について、使用されるフィルタの間のフィルタリングパラメータが異なり、且つ使用されるフィルタの数も異なる。当該フィルタリングパラメータが異なるとは、フィルタ同士の所定パラメータが異なり、又はフィルタ同士の参照パラメータが異なり、又はフィルタ同士の所定パラメータと参照パラメータとが何れも異なることを指す。無論、実際の応用では、グローバル周波数領域処理及び局所周波数領域処理フィルタで得られたスペクトルに対してフィルタリングを行う過程において、通常、フィルタ同士の所定パラメータと参照パラメータとを何れも異なるように設定する。つまり、第１フィルタと第２フィルタの間の所定パラメータと参照パラメータが何れも異なり、且つ第１フィルタの数と第２フィルタの数も異なる。したがって、区分の便宜上、第１フィルタの所定パラメータ及び参照パラメータを第１所定パラメータ及び第１参照パラメータと呼び、第２フィルタの所定パラメータ及び参照パラメータを第２所定パラメータ及び第２参照パラメータと呼んでもよい。以下では、複数グループの第１フィルタ及び複数グループの第２フィルタを介してフィルタリングを行う過程をそれぞれ紹介する。
例示として、各グループの第１フィルタの第１所定パラメータによって当該グローバル周波数領域変換で得られた第１グローバルスペクトログラムの第１周波数帯域情報を抽出し、当該第１参照パラメータによって当該第１周波数帯域情報に対して補償を行うことにより、当該グループの第１フィルタに対応する第２スペクトログラムを取得し、即ち、当該第１参照パラメータによって当該第１グローバルスペクトログラムにおける第３周波数帯域情報を抽出し、当該第１周波数帯域情報と当該第３周波数帯域情報とを重畳して当該第２スペクトログラムを取得する。また、何れか２グループの第１フィルタ同士の第１所定パラメータが異なる。つまり、何れか２グループの第１フィルタで抽出された第１周波数帯域情報が異なる。且つ、複数グループのフィルタで抽出された複数の第１周波数帯域情報は、当該第１グローバルスペクトログラムにおける全部の周波数帯域情報を含む。即ち、将当該複数の第１周波数帯域情報を組み合わせると、当該第１グローバルスペクトログラムにおける全部の周波数帯域情報を取得することができる。
実際の応用では、各グループの第１フィルタの第１所定パラメータと第１参照パラメータとを重畳してから、重畳後のパラメータを用いて当該第１グローバルスペクトログラムに対してフィルタリング処理を行い、当該グループの第１フィルタに対応する当該第２スペクトログラムを直接取得してもよい。
当該第１所定パラメータによって第１周波数帯域情報を抽出することは、当該第１所定パラメータと当該第１グローバルスペクトログラムとを用いて対応位置成分乗算を行い、当該第１グローバルスペクトログラムにおける一部の周波数帯域情報をフィルタリングによって除去し、一部の周波数帯域情報を保留することである。保留された一部の周波数帯域情報は、当該第１周波数帯域情報である。
ただし、当該第１所定パラメータは、当該第１グローバルスペクトログラムと同じ規模の二値行列であってもよい。例示として、第１所定パラメータが[０, １／１６]である場合に、[０, １／１６]は、当該行列中の左上隅の１／１６の部分の値が１であり、他の部分の値が０であることを表す。図２に示すように、当該第１所定パラメータに対応する行列中の黒色部分は、値が０であることを表し、白色部分は、値が１であることを表す。また、当該第１グローバルスペクトログラム２１０は、第１顔画像に対してＤＣＴ変換を行ったものであり、何れか１枚の画像に対してＤＣＴ変換を行って得られたスペクトログラムにおける左上隅部分は、当該画像の低周波数情報であり、中間部分は、当該画像の中間周波数情報であり、右下隅は、当該画像の高周波数情報である。したがって、複数グループの異なる第１フィルタを介して、同一の第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行い、当該第１グローバルスペクトログラムに対応する複数の異なる第２スペクトログラムを取得することができる。図２に示すように、第１グループの第１フィルタ２２０の第１所定パラメータが[０, １／１６]であると仮定すれば、当該グループの第１フィルタ２２０の第１所定パラメータと第１グローバルスペクトログラム２１０とを用いてアダマール積を求めると、当該第１グローバルスペクトログラム２１０の左上隅１／１６部分領域の周波数帯域情報、即ち、低周波数情報を保留可能であり、当該第１グローバルスペクトログラムにおける他の周波数帯域情報をフィルタリングによって除去し、当該グループの第１フィルタ２２０に対応する第２スペクトログラム２３０を取得する。当該第２スペクトログラム２３０における白色部分は、低周波数情報そのものである。また、図２に示すように、最後１グループの第１フィルタ２２ｎの第１所定パラメータが[１／８, １]であるため、当該グループの第１フィルタ２２ｎの第１所定パラメータを使用して第１グローバルスペクトログラム２１０に対してアダマール積を求めると、当該第１グローバルスペクトログラム２１０の右下隅の７／８部分領域の周波数帯域情報、即ち、高周波数情報を保留可能であり、当該第１グローバルスペクトログラム２１０における他の周波数帯域情報をフィルタリングによって除去し、当該グループの第１フィルタ２２ｎに対応する第２スペクトログラム２３ｎを取得する。当該第２スペクトログラム２３ｎにおける白色部分は、保留された高周波数情報そのものである。後でフィルタを用いてスペクトログラムに対してフィルタリングを行う過程は、図２に示すフィルタリング過程を参照すればよく、再び詳しく説明しない。
したがって、複数グループの第１フィルタを設計して当該第１グローバルスペクトル画像に対してフィルタリング処理を行い、複数の周波数帯域情報の互い異なる第２スペクトログラムを取得してもよい。例示として、当該第１グローバルスペクトログラムの低周波数情報、中間周波数情報及び高周波数情報を分離する場合に、３グループの第１フィルタを設計してフィルタリング処理を行ってもよい。例えば、当該３グループの第１フィルタの第１所定パラメータは、それぞれ
Figure 0007251000000001
 である。したがって、
Figure 0007251000000002
 は、当該第１グローバルスペクトログラムにおける低周波数情報を分離するために用いられ、
Figure 0007251000000003
 は、当該第１グローバルスペクトログラムにおける中間周波数情報を分離するために用いられ、
Figure 0007251000000004
 は、当該第１グローバルスペクトログラムにおける高周波数情報を分離するために用いられる。当該３グループの第１所定パラメータが単に例示的な説明であり、実際の応用では、当該第１グローバルスペクトログラムに対して等分フィルタリングを行ってもよい。即ち、３グループのフィルタの第１所定パラメータの間の間隔を同じにするように設計する。そうすると、第１所定パラメータは、それぞれ[０, １／３]、[１／３, ２／３]、[２／３, １]となる。
したがって、各グループの第１フィルタの第１所定パラメータは、分離すべき周波数帯域情報に応じて事前に設定され得る。例えば、第１所定パラメータをそれぞれ
Figure 0007251000000005
 と設定してもよい。このように、フィルタリング処理して得られた３つの第２スペクトログラムのエネルギーが同じであることは、保証される。これにより、当該３つの第２スペクトログラムに対して繋ぎ合わせを行って得た第１入力データにおいて、各層のデータの間のエネルギー差分が大きすぎなく、空間上の連続性が満たされ、後で当該第１入力データの特徴を抽出することは、容易になる。
また、各グループの第１フィルタは、１つの基礎フィルタと１つの調整可能フィルタとを含んでもよい。当該基礎フィルタのフィルタリングパラメータは、当該グループの第１フィルタの第１所定パラメータであり、当該調整可能フィルタのフィルタリングパラメータは、当該グループの第１フィルタの第１参照パラメータである。
ただし、各グループの第１フィルタは、数式（１）で表されてもよい。
Figure 0007251000000006
ｆｉは、複数グループの第１フィルタのうちの第ｉグループの第１フィルタであり、
Figure 0007251000000007
 は、当該第ｉグループの第１フィルタの第１所定パラメータ、即ち、基礎フィルタであり、
Figure 0007251000000008
 は、当該第ｉグループの第１フィルタの第１参照パラメータ、即ち、調整可能フィルタであり、σは、圧縮関数であり、第１参照パラメータの値を所定範囲に絞り込むために用いられる。例えば、σ（ｘ）＝（１－ｅｘ）／（１＋ｅｘ）、ｉの値は、１～Ｎの整数であり、Ｎは、当該複数グループの第１フィルタの数である。例えば、上記高中低周波数情報を分離する例において、Ｎは、３である。
第１参照パラメータは、周波数帯域情報のみに対して補償を行う。つまり、各グループの第１フィルタで分離された周波数帯域情報の範囲は、各グループの第１フィルタにおける基礎フィルタによって決定される。このように、複数グループの第１フィルタが事前に区分された後、当該第１グローバルスペクトログラムの全部の周波数帯域情報を抽出することができる。したがって、圧縮関数σを使用するのは、主に当該第１参照パラメータの値を[－１, １]まで絞り込むことにより、第１参照パラメータの値が大きすぎることに起因して基礎フィルタと重畳した後で各グループの第１フィルタのフィルタリングパラメータが最終的に当該第１参照パラメータによって決定され、即ち、分離された周波数帯域情報の範囲が調整可能フィルタによって決定されたので、当該第１グローバルスペクトログラムの全部の周波数帯域情報を抽出することができない状況を、回避するためである。
数式（１）を組み合わせ、第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行うことは、数式（２）で表されてもよい。
Figure 0007251000000009
 ｓｉは、当該複数グループの第１フィルタにおける、第ｉグループの第１フィルタに対応する第２スペクトログラムであり、ｘは、第１顔画像であり、Ｄ(ｘ)は、第１顔画像の全体に対する周波数領域変換であり、即ち、第１グローバルスペクトログラムに対応し、
Figure 0007251000000010
 は、行列間のドット積であり、即ち、アダマール積（ｅｌｅｍｅｎｔ－ｗｉｓｅ ｐｒｏｄｕｃｔ）である。
また、周波数領域逆変換は、当該グローバル変換の逆過程である。数式（２）を組み合わせて、第２画像を取得する過程は、数式（３）で表されてもよい。
Figure 0007251000000011
 ｘは、第１顔画像であり、ｙｉは、第ｉグループの第１フィルタに対応する第２画像であり、Ｄ(ｘ)は、グローバル周波数領域変換であり、Ｄ－１は、周波数領域逆変換であり、
Figure 0007251000000012
 は、行列間のドット積、即ち、アダマール積である。
例示として、第１フィルタと類似し、各グループの第２フィルタを介して各第１局所スペクトログラムにおける、第２所定パラメータに対応する第２周波数帯域情報を抽出し、当該グループの第２フィルタの第２参照パラメータによって、当該グループのフィルタで抽出された第２周波数帯域情報に対して補償を行い、当該第２フィルタに対応する第２スペクトログラムを取得してもよい。即ち、当該第１参照パラメータによって当該第１局所スペクトログラムにおける第４周波数帯域情報を抽出し、当該第２周波数帯域情報と当該第４周波数帯域情報とを重畳して当該第２スペクトログラムを取得する。当該第２参照パラメータはネットワークパラメータでもあり、予めトレーニングされたものでもある。また、何れか２グループの第２フィルタの第２所定パラメータ異なるため、何れか２グループの第２フィルタで抽出された第２周波数帯域情報は、異なる。且つ、当該複数グループの第２フィルタで抽出された複数の第２周波数帯域情報は、各第１局所スペクトログラムにおける全部の周波数帯域情報を含む。即ち、当該複数の第２周波数帯域情報を組み合わせると、各第１局所スペクトログラムの全部の周波数帯域情報を取得することができる。
また、各グループの第２フィルタも１つの基礎フィルタと１つの調整可能フィルタとを含む。当該基礎フィルタのフィルタリングパラメータは、当該グループの第２フィルタの第２所定パラメータであり、当該調整可能フィルタのフィルタリングパラメータは、当該グループの第２フィルタの第２参照パラメータである。
各グループの第２フィルタは、数式（４）で表されてもよい。
Figure 0007251000000013
 ｈｉは、複数グループの第２フィルタのうちの第ｉグループの第２フィルタであり、
Figure 0007251000000014
 は、当該第ｉグループの第２フィルタの第２所定パラメータ、即ち、基礎フィルタであり、
Figure 0007251000000015
 は、当該第ｉグループの第２フィルタの参照パラメータ、即ち、調整可能フィルタであり、σは、圧縮関数である。
数式（４）を組み合わせて各第１目標スペクトルに対して複数回のフィルタリング処理を行う過程は、数式（５）で表されてもよい。
Figure 0007251000000016
 ただし、ｇｉは、各第１局所スペクトログラムに対応する複数の第２スペクトログラムにおける第ｉ個の第２スペクトログラムであり、ｐは、当該第１顔画像に対して第ｐ回の枠選択を行って得た画像領域であり、Ｄ（ｐ）は、局所画像に対する周波数領域変換であり、即ち、当該第１局所スペクトログラムであり、
Figure 0007251000000017
 は、行列間のドット積、即ち、アダマール積である。
幾つかの可能な実施形態において、当該複数グループの第２フィルタの第２所定パラメータは、事前に設定されたものである。例示として、第２所定パラメータに対する設定は、設定された第２フィルタの数に応じて、当該第１局所スペクトログラムの対角線に沿って等距離区分を行って得られてもよい。図３に示すように、局所スペクトログラムは、８グループの第２フィルタが設置された場合に、対角線を等距離移動させてもよく、各グループの第２フィルタの第２所定パラメータを特定可能であり、且つ当該８グループの第２フィルタの第２所定パラメータは、それぞれ[０, １／３２]、[１／３２, １／８]、[１／８, ９／３２]、[９／３２, １／２]、[１／２, ２３／３２]、[２３／３２, ２８／３２]、[２８／３２, ３１／３２]、[３１／３２, １]となる。
無論、第２所定パラメータを設定する過程において、等距離区分を行わなくてもよい。例えば、等差級数的に漸増の方式で対角線を移動させて第２所定パラメータを取得してもよく、又は、等差級数的に漸減の方式で対角線を移動させて第２所定パラメータを取得してもよく、又は、他の移動方式を採用してもよい。本発明では、第２所定パラメータを設定する方式について限定しない。
その後、各第１局所スペクトログラムに対応する複数の第２スペクトログラムのうちの各第２スペクトログラムのエネルギーを特定し、複数のエネルギーを取得し、当該複数のエネルギーを特徴ベクトルとして構成すると、各第１局所スペクトログラムに対応する特徴ベクトルを取得することができる。各第２スペクトログラムに対応する周波数帯域情報異なるため、当該特徴ベクトルは、実質的に当該第１局所スペクトログラムにおける各周波数帯域に対応するエネルギーによって構成される。
各第２スペクトログラムのエネルギーは、数式（６）で表されてもよい。
Figure 0007251000000018
 ｑｉは、各第１局所スペクトログラムに対応する複数の第２スペクトログラムのうちの第ｉ個の第２スペクトログラムのエネルギーであり、|| ||１は、行列の１つのノルム、即ち、行列における各成分の絶対値の和であり、即ち、スペクトログラムのエネルギーを求め、ｉの値は、１～Ｍのうちの整数であり、Ｍは、当該複数の第２スペクトログラムの数、即ち、第２フィルタの数であり、
Figure 0007251000000019
 は、行列間のドット積、即ち、アダマール積である。
ｌｏｇ１０は、異なる周波数帯域のエネルギーを同一の桁にするためのものである。これは、幾つかの周波数帯域のエネルギーが高すぎたり、幾つかの周波数帯域のエネルギーが低すぎたりして、後続の処理へ不便をもたらすことを防止するためのものである。
各第１局所スペクトログラムごとに、それに対応する複数の第２スペクトログラムのエネルギーが取得された後、即ち、各ｑｉが取得された後、各ｑｉを連合して１つの１×１×Ｍの特徴ベクトルとしてもよい。全ての第１局所スペクトログラムの特徴ベクトルが取得された後、これらの特徴ベクトルを第２所定パラメータの周波数帯域に基づいて新な行列として再構成して第２入力データとする。例示として、図７に示すように、各第１局所スペクトログラムに対応する第ｉ個の第２スペクトログラムのエネルギーを同一チャンネルに再構成するため、チャンネルの数は、Ｍとなる。合計でＡ×Ｂ個の第１局所スペクトログラムがあると仮定すれば、第２入力データは、Ａ×Ｂ×Ｍの行列となる。
なお、第１フィルタは、グローバル周波数領域変換の第１グローバルスペクトログラムに対してフィルタリング処理を行う。そのため、第１フィルタは、グローバルの周波数帯域情報に対してフィルタリング処理を行い、第１グローバルスペクトログラムの周波数帯域情報に対して概略の区分を行ってもよい。例えば、高周波数、中間周波数、低周波数に区分可能である。したがって、第１フィルタの数を相対的に少なく設定してもよい。その一方、第２フィルタが局所変換の第１局所スペクトログラムに対してフィルタリング処理を行うため、第２フィルタは、局所の周波数帯域情報に対してフィルタリングを行い、第１局所スペクトログラムからより詳細な周波数領域情報を抽出しようとする。したがって、第１局所スペクトログラムの周波数帯域情報に対して繊細な区分を行う必要があり、即ち、第２フィルタの数を相対的に多く設定する必要がある。
幾つかの可能な実施形態において、上記顔画像の真偽を識別する過程は、ニューラルネットワークを介して実現されてもよい。当該ニューラルネットワークは、第１ネットワーク及び第２ネットワークを含む。当該ニューラルネットワークに対するトレーニング過程は、従来の教師ありのトレーニングであり、再び説明しない。
実際の使用において、第１顔画像を第１ネットワークに入力して周波数領域変換を行わせ、第１スペクトログラムを取得し、第１スペクトログラムに対して複数回のフィルタリング処理を行い、複数の第２スペクトログラムを取得し、当該複数の第２スペクトログラムに基づいて入力データを取得し、その後、当該入力データを第２ネットワークに入力し、第１顔画像の真偽を特定する。
例示として、当該第１ネットワークは、周波数領域変換及びフィルタリングを行うことができるニューラルネットワークであってもよい。本発明にとって、調整可能フィルタが導入されたため、当該ニューラルネットワークをトレーニングするとともに、調整可能フィルタの第１参照パラメータ及び第２参照パラメータをトレーニングする必要がある。その後、トレーニング中において、当該ニューラルネットワークの第１参照パラメータ及び第２参照パラメータに対して最適化を行い、トレーニングが完了された後、当該第１ネットワークを介して第１顔画像に対して周波数領域変換を行い且つ第１スペクトログラムに対して複数回のフィルタリング処理を行い、入力データを取得してもよい。
実際の応用では、第１顔画像に対して周波数領域変換を行い且つ第１スペクトログラムに対して複数回のフィルタリング処理を行うことは、カプセル化された関数にて実現されてもよい。つまり、第１ネットワークに対するトレーニングが完了された後、当該第１ネットワークの複数グループのフィルタ（複数グループの第１フィルタと複数グループの第２フィルタとを含む）のフィルタリングパラメータを関数としてカプセル化し、後で当該関数を用いて直接当該顔画像に対して周波数領域変換及びフィルタリング処理を行ってもよい。したがって、実際の応用において、第１ネットワークは、ニューラルネットワークで実現されてもよく、パラメータが特定された関数で実現されてもよく、本発明ではこれについて限定しない。
以下では、第２ネットワークを介して第１顔画像の真偽を特定する過程を紹介する。
例示として、当該第２ネットワークは、畳み込みニューラルネットワークであってもよい。図４に示すように、当該第２ネットワークは、Ｘｃｅｐｔｉｏｎネットワークを当該畳み込みニューラルネットワークのバックボーンとする。当該第２ネットワークは、２つのブランチと複数のクロス融合処理モジュールとを含む。各ブランチは、複数のネットワークブロック（ｂｌｏｃｋ）を含み、各ｂｌｏｃｋは、複数の畳み込み層及びプーリング層を含み、且つ当該ｂｌｏｃｋは、従来のネットワーク構造であるため、説明を展開しない。また、当該２つのブランチは、第１入力データ４０１及び第２入力データ４０２にそれぞれ対応する。
当該入力データが第１入力データ４０１である場合に、第１個のブランチを介して当該第１入力データに対して特徴抽出を行い、即ち、第１ブランチの複数のｂｌｏｃｋ ４１１を介して特徴抽出を行い、直接、抽出された特徴に基づいて当該第１顔画像の真偽を特定してもよい。この場合に、クロス融合処理４４０に係らない。
当該入力データが第２入力データ４０２である場合に、第２個のブランチを介して当該第１入力データに対して特徴抽出を行い、即ち、第２ブランチの複数のｂｌｏｃｋ ４１２を介して特徴抽出を行い、直接、抽出された特徴マップに基づいて当該第１顔画像の真偽を特定してもよい。この場合に、クロス融合処理４４０に係らない。
当該入力データが第１入力データ及び第２入力データを含む場合に、それぞれ各ブランチのｂｌｏｃｋを介して第１入力データ４０１及び第２入力データ４０２に対して特徴抽出を行い、第６特徴マップ４２１及び第７特徴マップ４２２を取得してもよい。その後、クロス融合処理４４０により、当該第６特徴マップ４２１及び第７特徴マップ４２２に対して第１回のクロス融合を行い、第４特徴マップ４３１及び第５特徴マップ４３２を取得してもよい。後で、当該第４特徴マップ４３１及び第５特徴マップ４３２を次回のクロス融合処理の入力データとして、２つのブランチに対応する第２特徴マップ４５１及び第３特徴マップ４５２が取得されるまで、クロス融合処理４４０を引き続き行う。最後に、当該第２特徴マップ４５１及び第３特徴マップ４５２に対して繋ぎ合わせ又はプーリング処理を行い、繋ぎ合わせ又はプーリング処理後の特徴マップに基づいて当該第１顔画像の真偽を特定する。
このように、周波数領域情報を繋ぎ合わせる従来の方式よりも、本発明では、グローバル周波数領域変換及び局所周波数領域変換で得られた周波数領域情報に対してクロス融合を行い、即ち、２つの周波数領域変換で得られた周波数領域情報を互いに融合することにより、得られた第２特徴マップ及び第３特徴マップの何れにも当該第１スペクトログラムにおけるグローバル周波数領域情報及び局所周波数領域情報を含ませ、当該第１顔画像真偽を識別する正確度を向上させることができる。
以下では、図５－図７を参照しながら、本発明の顔画像の真偽を識別する過程を詳細に説明する。
図５に示すように、２つの変換ブランチを介して第１顔画像５１０に対して周波数領域変換及びフィルタリング処理をそれぞれ行い、即ち、第１顔画像５１０に対してグローバル周波数領域変換及び局所周波数領域変換を行い、一連のフィルタリング処理を行い、グローバル周波数領域変換ブランチ５２０に対応する第１入力データ５２１、及び局所周波数領域変換ブランチ５３０に対応する第２入力データ５３１を取得する。その後、当該第１入力データ５２１及び第２入力データ５３１を各自のブランチに対応する畳み込みネットワーク５４１及び５４２にそれぞれ入力して特徴抽出を行わせ、抽出された特徴に対してクロス融合処理５４３を行い、最終的に２つのブランチの第２特徴マップ５４４及び第３特徴マップ５４５を取得する。第２特徴マップ５４４及び第３特徴マップ５４５に対して同期プーリング処理５５０を行い、目標特徴マップ５５１を取得する。最後に、当該目標特徴マップ５５１に基づいて第１顔画像５１０の真偽に対して予測５６０を行うことにより、当該第１顔画像５１０の真偽を特定する。
図６は、グローバル周波数領域変換ブランチ５２０の具体化過程である。図６に示すように、まず、第１顔画像５１０に対してＤＣＴ変換６２０を行い、第１グローバルスペクトログラム６２１を取得する。次に、複数グループの第１フィルタ６３０（図６は、３グループの第１フィルタのみを示す）を介して当該第１グローバルスペクトログラム６２１に対して複数回のフィルタリング処理を行い、複数の第２スペクトログラム６３１を取得する。最後に、当該複数の第２スペクトログラム６３１のうちの各第２スペクトログラムに対して周波数領域逆変換６４０を行い、複数の第２画像６４１を取得し、当該複数の第２画像６４１を繋ぎ合わせ、第１入力データを取得する。
図７は、局所周波数領域変換ブランチ５３０の具体化過程である。図７に示すように、まず、当該第１顔画像５１０に対してＳＷＤＣＴ変換７２０を行い、複数の第１局所スペクトログラム７２１を取得する。その後、複数グループの第２フィルタ７３１を介して各第１局所スペクトログラム７２１に対して複数回のフィルタリング処理７３０を行い、各第１局所スペクトログラムに対応する複数の第２スペクトログラムを取得し、各第２スペクトログラムのエネルギーを特定する（図７におけるフィルタリング処理７３０は、エネルギーを算出するステップを含む）。各第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギー７３２に基づいて、各第１局所スペクトログラムの特徴ベクトルを特定する（７３２における各小格子の中の６つの棒を有するヒストグラムに示すように、各棒は、１つの第２スペクトログラムのエネルギーを表す）。最後に、当該複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成を行い、第２所定パラメータの周波数帯域に基づいて、周波数帯域が同じであるデータを同一のチャンネルにマージすることにより、第２入力データ５３２を取得する。
以下では、本発明の顔真偽を識別する方法を組み合わせて、本発明の技術案の応用シーンを紹介する。
幾つかの可能な実施形態において、当該第１顔画像がユーザの肖像画像である場合に、本発明の技術案に基づいて当該肖像画像を識別してもよい。当該肖像画像が偽画像であると特定された場合に、具体的な応用シーンに応じて、異なる対策がある。例えば、ユーザ認証のシーンでは、当該偽画像を使用するユーザがシステムへアクセスするのを拒否してもよい。更に、幾つかの場合に、他人が当該肖像画像を変更したと特定し、当該ユーザの肖像権を侵害する可能性があるため、悪意のある肖像画像改ざん行為に対して責任を追及してもよい。
幾つかの可能な実施形態において、当該第１顔画像が識別すべきビデオの何れか１フレーム又は特定の１フレームの顔画像である場合に、本発明の技術案に基づいて当該顔画像に対して識別を行い、当該顔画像、即ち本発明に係る第１顔画像が偽画像であると特定された場合に、他人が当該識別すべきビデオを変更したと特定し、他人がビデオ作品を改ざんした行為に対して責任を追及してもよい。
図８は、本発明の実施例に係る顔画像の真偽を識別するデバイスの構成模式図である。図８に示すように、デバイス８００は、プロセッサ８１０と、メモリ８２０と、通信インターフェース８３０と、１つ又は複数のプログラムとを備える。プロセッサ８１０、メモリ８２０及び通信インターフェース８３０は、バス８４０を介して互いに接続される。上記１つ又は複数のプログラムは、上記メモリ８２０に記憶され、且つ上記プロセッサ８１０によって実行されるように構成される。上記プログラムは、第１顔画像を取得するステップと、前記第１顔画像に対して周波数領域変換を行い、第１スペクトログラムを取得するステップと、前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得するステップと、前記複数の第２スペクトログラムに基づいて、入力データを取得するステップと、前記入力データに基づいて、前記第１顔画像の真偽を特定するステップと、を実行するための指令を含む。
幾つかの可能な実施形態において、前記周波数領域変換は、グローバル周波数領域変換と局所周波数領域変換とのうちの少なくとも一項を含む。
幾つかの可能な実施形態において、周波数領域変換が前記グローバル周波数領域変換を含む場合に、前記複数の第２スペクトログラムに基づいて、入力データを取得することは、前記第２スペクトログラムのそれぞれに対して周波数領域逆変換を行い、第２画像を取得することと、複数の第２画像を繋ぎ合わせて前記入力データを取得することとを含む。前記周波数領域逆変換は、前記グローバル周波数領域変換の逆過程である。
幾つかの可能な実施形態において、前記周波数領域変換が前記局所周波数領域変換を含む場合に、前記第１スペクトログラムの数は、複数であり、前記第１スペクトログラムに対して複数回のフィルタリング処理を行い、複数の第２スペクトログラムを取得することは、前記複数の第１スペクトログラムのうちの各第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、各第１スペクトログラムに対応する複数の第２スペクトログラムを取得することを含む。
幾つかの可能な実施形態において、前記複数の第２スペクトログラムに基づいて、入力データを取得することは、各第２スペクトログラムのエネルギーを特定することと、各第１スペクトログラムを第１局所スペクトログラムとし、前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギーに基づいて、前記第１局所スペクトログラムに対応する特徴ベクトルを取得することと、複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成を行い、前記入力データを取得することと、を含む。
幾つかの可能な実施形態において、前記入力データに基づいて、前記第１顔画像の真偽を特定することは、前記入力データに対して特徴抽出を行い、第１特徴マップを取得することと、前記第１特徴マップに基づいて、前記第１顔画像の真偽を特定することと、を含む。
幾つかの可能な実施形態において、前記周波数領域変換が前記グローバル周波数領域変換及び前記局所周波数領域変換を含む場合に、前記グローバル周波数領域変換によって１つの第１グローバルスペクトログラムが取得され、前記局所周波数領域変換によって複数の第１局所スペクトログラムが取得され、前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得することは、前記第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行い、前記第１グローバルスペクトログラムに対応する複数の第２スペクトログラムを取得することと、前記複数の第１局所スペクトログラムに対して複数回のフィルタリング処理を行い、各第１局所スペクトログラムに対応する複数の第２スペクトログラムを取得することと、を含む。
幾つかの可能な実施形態において、入力データは、第１入力データ及び第２入力データを含み、前記複数の第２スペクトログラムに基づいて、入力データを取得することは、前記第１グローバルスペクトログラムに対応する複数の第２スペクトログラムのうちの各第２スペクトログラムに対して周波数領域逆変換を行い、複数の第２画像を取得することと、前記複数の第２画像を繋ぎ合わせて前記第１入力データを取得することと、各第１局所スペクトログラムごとに、前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのうちの各第２スペクトログラムのエネルギーを特定することと、前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギーに基づいて、前記第１局所スペクトログラムに対応する特徴ベクトルを取得することと、複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成を行い、前記第２入力データを取得することと、を含み、前記周波数領域逆変換は、前記グローバル周波数領域変換の逆過程である。
幾つかの可能な実施形態において、前記入力データに基づいて、前記第１顔画像の真偽を特定することは、前記第１入力データ及び前記第２入力データに対してクロス融合処理を行い、第２特徴マップ及び第３特徴マップを取得することと、前記第２特徴マップ及び前記第３特徴マップに基づいて、前記第１顔画像の真偽を特定することと、を含む。
幾つかの可能な実施形態において、前記クロス融合処理の回数が複数回である場合に、前記第１入力データ及び前記第２入力データに対してクロス融合処理を行い、第２特徴マップ及び第３特徴マップを取得することは、前記第１入力データ及び前記第２入力データに対して第１回のクロス融合処理を行い、第４特徴マップ及び第５特徴マップを取得することと、前記第４特徴マップ及び前記第５特徴マップを次回のクロス融合処理の入力データとし、複数回の前記クロス融合処理を行った後、前記第２特徴マップ及び前記第３特徴マップを取得することと、を含む。
幾つかの可能な実施形態において、前記第１入力データ及び前記第２入力データに対して第１回のクロス融合処理を行い、第４特徴マップ及び第５特徴マップを取得することは、前記第１入力データに対して特徴抽出を行い、第６特徴マップを取得することと、前記第２入力データに対して特徴抽出を行い、第７特徴マップを取得することと、前記第６特徴マップ及び前記第７特徴マップに基づいて、前記第６特徴マップと前記第７特徴マップとの相関を表すための第１行列を取得することと、前記第１行列及び前記第７特徴マップに基づいて、第８特徴マップを取得し、前記第８特徴マップと前記第６特徴マップとを重畳し、前記第４特徴マップを取得することと、前記第１行列及び前記第６特徴マップに基づいて、第９特徴マップを取得し、前記第９特徴マップと前記第７特徴マップとを重畳し、前記第５特徴マップを取得することとを含む。
幾つかの可能な実施形態において、前記第２特徴マップ及び前記第３特徴マップに基づいて、前記第１顔画像の真偽を特定することは、前記第２特徴マップ及び前記第３特徴マップを処理し、処理後の特徴マップに基づいて前記第１顔画像の真偽を特定することを含む。前記処理は、繋ぎ合わせとプーリングとのうちの少なくとも一項を含む。
幾つかの可能な実施形態において、複数回のフィルタリング処理は、複数グループのフィルタを介して、第１スペクトログラムに対して複数回のフィルタリング処理を行うことを含み、各グループの前記フィルタは、１回のフィルタリング処理に対応し、各グループのフィルタのフィルタリングパラメータは、所定パラメータ及び参照パラメータを含み、各グループのフィルタは、前記所定パラメータに対応する周波数帯域情報を第１スペクトログラムから分離し、前記参照パラメータは、前記周波数帯域情報を補償するために用いられ、何れか２つのグループの前記フィルタで分離された周波数帯域情報は、異なり、且つ前記複数グループのフィルタで分離された複数の周波数帯域情報は、前記第１スペクトログラムにおける全部の周波数帯域情報を含む。
幾つかの可能な実施形態において、在複数グループのフィルタを介して前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行う過程では、各グループのフィルタのフィルタリングパラメータが異なる。
図９は、本発明の実施例に係る顔画像の真偽を識別する装置である。装置９００は、取得手段９１０、変換手段９２０、フィルタリング手段９３０、処理手段９４０及び判断手段９５０を備える。取得手段９１０は、第１顔画像を取得する。変換手段９２０は、前記第１顔画像に対して周波数領域変換を行い、第１スペクトログラムを取得する。フィルタリング手段９３０は、前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得する。処理手段９４０は、前記複数の第２スペクトログラムに基づいて、入力データを取得する。判断手段９５０は、前記入力データに基づいて、前記第１顔画像の真偽を特定する。
幾つかの可能な実施形態において、前記周波数領域変換は、グローバル周波数領域変換と局所周波数領域変換とのうちの少なくとも一項を含む。
幾つかの可能な実施形態において、前記周波数領域変換が前記グローバル周波数領域変換を含む場合に、処理手段９４０は、具体的に、前記第２スペクトログラムのそれぞれに対して周波数領域逆変換を行い、第２画像を取得し、前記複数の第２画像を繋ぎ合わせ、前記入力データを取得する。前記周波数領域逆変換は、前記グローバル周波数領域変換の逆過程である。
幾つかの可能な実施形態において、前記周波数領域変換が前記局所周波数領域変換を含む場合に、前記第１スペクトログラムの数は、複数であり、フィルタリング手段９３０は、具体的に、前記複数の第１スペクトログラムのうちの各第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、各第１スペクトログラムに対応する複数の第２スペクトログラムを取得する。
幾つかの可能な実施形態において、処理手段９４０は、具体的に、各第２スペクトログラムのエネルギーを特定し、各第１スペクトログラムを第１局所スペクトログラムとし、前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギーに基づいて、前記第１局所スペクトログラムに対応する特徴ベクトルを取得し、複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成を行い、前記入力データを取得する。
幾つかの可能な実施形態において、判断手段９５０は、具体的に、前記入力データに対して特徴抽出を行い、第１特徴マップを取得し、前記第１特徴マップに基づいて、前記第１顔画像の真偽を特定する。
幾つかの可能な実施形態において、前記周波数領域変換が前記グローバル周波数領域変換及び前記局所周波数領域変換を含む場合に、前記グローバル周波数領域変換によって１つの第１グローバルスペクトログラムが取得され、前記局所周波数領域変換によって複数の第１局所スペクトログラムが取得され、フィルタリング手段９３０は、具体的に、前記第１グローバルスペクトログラムに対して複数回のフィルタリング処理を行い、前記第１グローバルスペクトログラムに対応する複数の第２スペクトログラムを取得し、前記複数の第１局所スペクトログラムに対して複数回のフィルタリング処理を行い、各第１局所スペクトログラムに対応する複数の第２スペクトログラムを取得する。
幾つかの可能な実施形態において、前記入力データは、第１入力データ及び第２入力データを含み、処理手段９４０は、具体的に、前記第１グローバルスペクトログラムに対応する複数の第２スペクトログラムのうちの各第２スペクトログラムに対して周波数領域逆変換を行い、複数の第２画像を取得し、前記複数の第２画像を繋ぎ合わせて前記第１入力データを取得し、各第１局所スペクトログラムごとに、前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのうちの各第２スペクトログラムのエネルギーを特定し、前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギーに基づいて、前記第１局所スペクトログラムに対応する特徴ベクトルを取得し、複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成を行い、前記第２入力データを取得する。前記周波数領域逆変換は、前記グローバル周波数領域変換の逆過程である。
幾つかの可能な実施形態において、判断手段９５０は、具体的に、前記第１入力データ及び前記第２入力データに対してクロス融合処理を行い、第２特徴マップ及び第３特徴マップを取得し、前記第２特徴マップ及び前記第３特徴マップに基づいて、前記第１顔画像の真偽を特定する。
幾つかの可能な実施形態において、前記クロス融合処理の回数が複数回である場合に、判断手段９５０は、具体的に、前記第１入力データ及び前記第２入力データに対して第１回のクロス融合処理を行い、第４特徴マップ及び第５特徴マップを取得し、前記第４特徴マップ及び前記第５特徴マップを次回のクロス融合処理の入力データとし、複数回の前記クロス融合処理を行った後、前記第２特徴マップ及び前記第３特徴マップを取得する。
幾つかの可能な実施形態において、判断手段９５０は、具体的に、前記第１入力データに対して特徴抽出を行い、第６特徴マップを取得し、前記第２入力データに対して特徴抽出を行い、第７特徴マップを取得し、前記第６特徴マップ及び前記第７特徴マップに基づいて、前記第６特徴マップと前記第７特徴マップとの相関を表すための第１行列を取得し、前記第１行列及び前記第７特徴マップに基づいて、第８特徴マップを取得し、前記第８特徴マップと前記第６特徴マップとを重畳し、前記第４特徴マップを取得し、前記第１行列及び前記第６特徴マップに基づいて、第９特徴マップを取得し、前記第９特徴マップと前記第７特徴マップとを重畳し、前記第５特徴マップを取得する。
幾つかの可能な実施形態において、判断手段９５０は、具体的に、前記第２特徴マップ及び前記第３特徴マップを処理し、処理後の特徴マップに基づいて前記第１顔画像の真偽を特定する。前記処理は、繋ぎ合わせとプーリングとのうちの少なくとも一項を含む。
幾つかの可能な実施形態において、フィルタリング手段９３０は、具体的に、複数グループのフィルタを介して、第１スペクトログラムに対して複数回のフィルタリング処理を行い、各グループの前記フィルタは、１回のフィルタリング処理に対応し、各グループのフィルタのフィルタリングパラメータは、所定パラメータ及び参照パラメータを含み、各グループのフィルタは、前記所定パラメータに対応する周波数帯域情報を第１スペクトログラムから分離し、前記参照パラメータは、前記周波数帯域情報を補償するために用いられ、何れか２つのグループの前記フィルタで分離された周波数帯域情報は、異なり、且つ前記複数グループのフィルタで分離された複数の周波数帯域情報は、前記第１スペクトログラムにおける全部の周波数帯域情報を含む。
幾つかの可能な実施形態において、在複数グループのフィルタを介して前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行う過程では、各グループのフィルタのフィルタリングパラメータが異なる。
装置実施例は、方法実施例に基本的に対応するため、その関連箇所が方法実施例部分の説明を参照すればよい。
本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、上記方法実施例に記載の何れか一種の顔画像の真偽を識別する方法の一部又は全部のステップは、実施される。前記コンピュータ可読記憶媒体は、不揮発性記憶媒体であってもよい。
本発明の実施例は、コンピュータプログラム製品を更に提供する、前記コンピュータプログラム製品は、コンピュータプログラムが記憶された非一時的コンピュータ可読記憶媒体を含み、前記コンピュータプログラムを操作することにより、上記方法実施例に記載の何れか一種の顔画像の真偽を識別する方法の一部又は全部のステップをコンピュータに実行させる。
説明すべきことは、記述の便宜上、上記各方法実施例が一連の動作の組み合わせとして記述されたが、当業者であれば理解できるように、本発明が記述された動作順番に限定されない。本発明によると、幾つかのステップが他の順番で又は同時に行われてもよいからである。次に、当業者であれば理解できるように、明細書に記述された実施例が何れも選択可能な実施例であり、係る動作及びモジュールが必ずしも本発明の必須項目であるとは限らない。
上記実施例では、各実施例の記述に偏りがあり、ある実施例における詳細に記述されていない部分は、他の実施例の関連記述を参照すればよい。
本発明に係る幾つかの実施例において、開示された機器及び方法が他の方式にて実現され得ることは、理解されるべきである。例えば、上述した装置実施例が単に模式的なものであり、例えば、前記手段の区分が、単に１種の論理機能区分であり、実際に実施するときに別の区分方式もあり得る。例えば、複数の手段或いはユニットは、組み合わせられてもよく、又は、別のシステムに統合されてもよく、又は、幾つかの特徴が略され、若しくは実行しないようにしてもよい。また、示され或いは議論された融合又は直接融合又は通信接続は、幾つかのインターフェース、装置若しくは手段を介する間接融合若しくは通信接続であってもよく、電気的なもの或いは他の形態であってもよい。
上記分離部品として説明された手段が物理的に分離されるものであってもよくでなくてもよい。また、手段として表示された部品は、物理手段であってもでなくてもよい。更に、それらの手段は、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部のモジュールを選択して本実施例の目的を果たすことが可能である。
また、本発明の各実施例における各機能手段は、全部で１つの処理手段に集積されてもよく、各手段が単独で物理的に存在してもよく、２つ或いは２つ以上の手段が１つの手段に集積されてもよい。上記集積手段は、ハードウェアの形態にて実現されてよく、ソフトウェアプログラムモジュールの形態にて実現されてもよい。
上記集積手段は、ソフトウェアプログラムモジュールの形態で実現され、且つ独立の製品として販売や使用されるときに、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解を基に、本発明の技術案は、本質的に又は従来技術に対して貢献を与える部分又は当該技術案の全部若しくは一部がソフトウェア製品の形式で体現されてもよい。当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、幾つかの指令を含むことで一台のコンピュータ機器（パソコン、サーバ又はネットワーク機器等であってもよい）に本発明の各実施例の前記方法の全部或いは一部のステップを実行させる。上述した記憶媒体は、Ｕディスク、読み出し専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、モバイルハードディスク、磁気ディスク又は光ディスク等の、プログラムコードを格納可能な各種の媒体を含む。
当業者であれば理解できるように、上記実施例の各種の方法における全部又は一部のステップは、プログラムが関連するハードウェアを指示して実施され得、当該プログラムは、コンピュータ読み取り可能な記憶媒体に記憶可能であり、記憶媒体は、フラッシュメモリ、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等を含んでもよい。
以上では、本発明の実施例について詳細に紹介した。本文では、具体的な例を用いて本発明の原理及び実施形態を説明したが、以上の実施例の説明が単に本発明の方法およびその要旨を容易に理解するために用いられる。それとともに、当業者であれば、本発明の思想に基づいて具体的な実施形態及び応用範囲を変更可能である。このように、本明細書の内容は、本発明に対する制限として理解されるべきではない。
本願は、２０２０年０６月１０日に提出された、出願番号が２０２０１０５２７５３０．７であって発明名称が「顔画像の真偽を識別する方法、装置及び媒体」である中国特許出願の優先権を要求し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。

Claims (13)

  1. 第１顔画像を取得するステップと、
    前記第１顔画像に対して周波数領域変換を行い、第１スペクトログラムを取得するステップと、
    前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得するステップと、
    前記複数の第２スペクトログラムに基づいて、入力データを取得するステップと、
    前記入力データに基づいて、前記第１顔画像の真偽を特定するステップと、を含み、
    前記周波数領域変換は、グローバル周波数領域変換と局所周波数領域変換とのうちの少なくとも一項を含むことを特徴とする顔画像の真偽を識別する方法。
  2. 前記周波数領域変換が前記グローバル周波数領域変換を含む場合に、前記複数の第２スペクトログラムに基づいて、入力データを取得するステップは、
    前記第２スペクトログラムのそれぞれに対して周波数領域逆変換を行い、第２画像を取得することと、
    複数の第２画像を繋ぎ合わせて、前記入力データを取得することと、を含み、
    前記周波数領域逆変換は、前記グローバル周波数領域変換の逆過程であることを特徴とする請求項１に記載の顔画像の真偽を識別する方法。
  3. 前記周波数領域変換が前記局所周波数領域変換を含む場合に、前記第１スペクトログラムの数は、複数であり、
    前記複数の第２スペクトログラムに基づいて、入力データを取得するステップは、
    各第２スペクトログラムのエネルギーを特定することと、
    各第１スペクトログラムを第１局所スペクトログラムとし、前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギーに基づいて、前記第１局所スペクトログラムに対応する特徴ベクトルを取得することと、
    複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成を行い、前記入力データを取得することと、を含むことを特徴とする請求項１に記載の顔画像の真偽を識別する方法。
  4. 前記周波数領域変換が前記グローバル周波数領域変換及び前記局所周波数領域変換を含む場合に、前記グローバル周波数領域変換によって１つの第１グローバルスペクトログラムが取得され、前記局所周波数領域変換によって複数の第１局所スペクトログラムが取得され、
    前記複数の第２スペクトログラムに基づいて、入力データを取得するステップは、
    前記第１グローバルスペクトログラムに対応する複数の第２スペクトログラムのうちの各第２スペクトログラムに対して周波数領域逆変換を行い、複数の第２画像を取得することと、
    前記複数の第２画像を繋ぎ合わせて前記入力データのうちの第１入力データを取得することと、
    各第１局所スペクトログラムごとに、
    前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのうちの各第２スペクトログラムのエネルギーを特定し、
    前記第１局所スペクトログラムに対応する複数の第２スペクトログラムのエネルギーに基づいて、前記第１局所スペクトログラムに対応する特徴ベクトルを取得することと、
    複数の第１局所スペクトログラムに対応する特徴ベクトルについて再構成を行い、前記入力データのうちの第２入力データを取得することと、を含み、
    前記周波数領域逆変換は、前記グローバル周波数領域変換の逆過程であることを特徴とする請求項１に記載の顔画像の真偽を識別する方法。
  5. 前記入力データに基づいて、前記第１顔画像の真偽を特定するステップは、
    前記第１入力データ及び前記第２入力データに対してクロス融合処理を行い、第２特徴マップ及び第３特徴マップを取得することと、
    前記第２特徴マップ及び前記第３特徴マップに基づいて、前記第１顔画像の真偽を特定することと、を含むことを特徴とする請求項４に記載の顔画像の真偽を識別する方法。
  6. 前記クロス融合処理の回数が複数回である場合に、前記第１入力データ及び前記第２入力データに対してクロス融合処理を行い、第２特徴マップ及び第３特徴マップを取得することは、
    前記第１入力データ及び前記第２入力データに対して第１回のクロス融合処理を行い、第４特徴マップ及び第５特徴マップを取得することと、
    前記第４特徴マップ及び前記第５特徴マップを次回のクロス融合処理の入力データとし、複数回の前記クロス融合処理を行った後、前記第２特徴マップ及び前記第３特徴マップを取得することと、を含むことを特徴とする請求項５に記載の顔画像の真偽を識別する方法。
  7. 前記第１入力データ及び前記第２入力データに対して第１回のクロス融合処理を行い、第４特徴マップ及び第５特徴マップを取得することは、
    前記第１入力データに対して特徴抽出を行い、第６特徴マップを取得することと、
    前記第２入力データに対して特徴抽出を行い、第７特徴マップを取得することと、
    前記第６特徴マップ及び前記第７特徴マップに基づいて、前記第６特徴マップと前記第７特徴マップとの相関を表すための第１行列を取得することと、
    前記第１行列及び前記第７特徴マップに基づいて、第８特徴マップを取得することと、
    前記第８特徴マップと前記第６特徴マップとを重畳し、前記第４特徴マップを取得することと、
    前記第１行列及び前記第６特徴マップに基づいて、第９特徴マップを取得することと、
    前記第９特徴マップと前記第７特徴マップとを重畳し、前記第５特徴マップを取得することと、を含むことを特徴とする請求項６に記載の顔画像の真偽を識別する方法。
  8. 前記第２特徴マップ及び前記第３特徴マップに基づいて、前記第１顔画像の真偽を特定することは、
    前記第２特徴マップ及び前記第３特徴マップを処理し、処理後の特徴マップに基づいて前記第１顔画像の真偽を特定することを含み、
    前記処理は、繋ぎ合わせとプーリングとのうちの少なくとも一項を含むことを特徴とする請求項５から７の何れか一項に記載の顔画像の真偽を識別する方法。
  9. 前記複数回のフィルタリング処理は、複数グループのフィルタを介して、第１スペクトログラムに対して複数回のフィルタリング処理を行うことを含み、
    各グループの前記フィルタは、１回のフィルタリング処理に対応し、
    各グループのフィルタのフィルタリングパラメータは、所定パラメータ及び参照パラメータを含み、各グループのフィルタは、前記所定パラメータに対応する周波数帯域情報を第１スペクトログラムから分離し、前記参照パラメータは、前記周波数帯域情報を補償するために用いられ、何れか２つのグループの前記フィルタで分離された周波数帯域情報は、異なり、且つ前記複数グループのフィルタで分離された複数の周波数帯域情報は、前記第１スペクトログラムにおける全部の周波数帯域情報を含むことを特徴とする請求項１から８の何れか一項に記載の顔画像の真偽を識別する方法。
  10. 第１顔画像を取得するための取得手段と、
    前記第１顔画像に対して周波数領域変換を行い、第１スペクトログラムを取得するための変換手段と、
    前記第１スペクトログラムに対して複数回のフィルタリング処理をそれぞれ行い、複数の第２スペクトログラムを取得するためのフィルタリング手段と、
    前記複数の第２スペクトログラムに基づいて、入力データを取得するための処理手段と、
    前記入力データに基づいて、前記第１顔画像の真偽を特定するための判断手段と、を備えることを特徴とする顔画像の真偽を識別する装置。
  11. 顔画像の真偽を識別するデバイスであって、
    プロセッサと、メモリと、通信インターフェースと、１つ又は複数のプログラムとを含み、
    前記１つ又は複数のプログラムは、前記メモリに記憶され、且つ前記プロセッサによって実行されるように構成され、前記１つ又は複数のプログラムは、請求項１から９の何れか一項に記載の方法におけるステップを実行するための指令を含むことを特徴とする顔画像の真偽を識別するデバイス。
  12. コンピュータ可読記憶媒体であって、
    前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１から９の何れか一項に記載の方法は、実施されることを特徴とするコンピュータ可読記憶媒体。
  13. コンピュータプログラムであって、
    前記コンピュータプログラムがコンピュータによって実行されたときに、請求項１から９の何れか一項に記載の方法を実施させることを特徴とするコンピュータプログラム。
JP2022524624A 2020-06-10 2021-04-13 顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム Active JP7251000B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010527530.7 2020-06-10
CN202010527530.7A CN111723714B (zh) 2020-06-10 2020-06-10 识别人脸图像真伪的方法、装置及介质
PCT/CN2021/086893 WO2021249006A1 (zh) 2020-06-10 2021-04-13 识别人脸图像真伪的方法、装置及介质和程序产品

Publications (2)

Publication Number Publication Date
JP2022553768A JP2022553768A (ja) 2022-12-26
JP7251000B2 true JP7251000B2 (ja) 2023-04-03

Family

ID=72567953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022524624A Active JP7251000B2 (ja) 2020-06-10 2021-04-13 顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム

Country Status (3)

Country Link
JP (1) JP7251000B2 (ja)
CN (1) CN111723714B (ja)
WO (1) WO2021249006A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723714B (zh) * 2020-06-10 2023-11-03 上海商汤智能科技有限公司 识别人脸图像真伪的方法、装置及介质
CN113537173B (zh) * 2021-09-16 2022-03-18 中国人民解放军国防科技大学 一种基于面部补丁映射的人脸图像真伪识别方法
CN113935365B (zh) * 2021-09-27 2024-05-14 华南农业大学 基于空域和频域双特征的深度伪造视频鉴定方法及系统
CN114283475A (zh) * 2021-12-24 2022-04-05 深圳万兴软件有限公司 视频人脸分割方法、装置、计算机设备及存储介质
CN115005782A (zh) * 2022-06-06 2022-09-06 杭州新瀚光电科技有限公司 一种人体健康的评估方法、系统、终端设备及存储介质
CN118297951B (zh) * 2024-06-06 2024-08-16 浙江大学 基于频域学习的gan伪造图像增强检测方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210888A (ja) 2008-03-05 2009-09-17 Univ Of Tokyo 音信号の分離方法
JP2012239661A (ja) 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム
JP2014059483A (ja) 2012-09-18 2014-04-03 Fuji Xerox Co Ltd 分類装置及びプログラム
WO2015122183A1 (ja) 2014-02-12 2015-08-20 日本電気株式会社 情報処理装置、情報処理方法及びプログラム記憶媒体
JP2017049996A (ja) 2015-09-02 2017-03-09 富士通株式会社 画像認識に用いられるニューラルネットワークの訓練方法及び訓練装置
WO2019083130A1 (ko) 2017-10-25 2019-05-02 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2020009381A (ja) 2018-07-12 2020-01-16 日産自動車株式会社 個人照合方法及び個人照合装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09147115A (ja) * 1995-11-20 1997-06-06 Hamamatsu Photonics Kk 人物照合装置
KR100819027B1 (ko) * 2006-04-26 2008-04-02 한국전자통신연구원 얼굴 영상을 이용한 사용자 인증 방법 및 장치
KR100846500B1 (ko) * 2006-11-08 2008-07-17 삼성전자주식회사 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치
KR101443139B1 (ko) * 2011-09-30 2014-09-19 아이포콤 주식회사 단일 영상을 사용한 위조 얼굴 검출 방법
CN104143078B (zh) * 2013-05-09 2016-08-24 腾讯科技（深圳）有限公司 活体人脸识别方法、装置和设备
CN106372648B (zh) * 2016-10-20 2020-03-13 中国海洋大学 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN107292275B (zh) * 2017-06-28 2020-04-10 北京飞搜科技有限公司 一种频域划分的人脸特征识别方法及系统
CN107911576A (zh) * 2017-11-01 2018-04-13 北京小米移动软件有限公司 图像处理方法、装置和存储介质
CN110462633B (zh) * 2019-06-27 2023-05-26 深圳市汇顶科技股份有限公司 一种人脸识别的方法、装置和电子设备
CN110428402B (zh) * 2019-07-18 2022-05-10 数字广东网络建设有限公司 图像篡改识别方法、装置、计算机设备及存储介质
CN110826444A (zh) * 2019-10-28 2020-02-21 北京影谱科技股份有限公司 一种基于Gabor滤波器的人脸表情识别方法及系统
CN111178137B (zh) * 2019-12-04 2023-05-26 百度在线网络技术（北京）有限公司 检测真实人脸方法、装置、电子设备以及计算机可读存储介质
CN111723714B (zh) * 2020-06-10 2023-11-03 上海商汤智能科技有限公司 识别人脸图像真伪的方法、装置及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210888A (ja) 2008-03-05 2009-09-17 Univ Of Tokyo 音信号の分離方法
JP2012239661A (ja) 2011-05-20 2012-12-10 Fujitsu Ltd 心拍数・呼吸数検出装置，方法およびプログラム
JP2014059483A (ja) 2012-09-18 2014-04-03 Fuji Xerox Co Ltd 分類装置及びプログラム
WO2015122183A1 (ja) 2014-02-12 2015-08-20 日本電気株式会社 情報処理装置、情報処理方法及びプログラム記憶媒体
JP2017049996A (ja) 2015-09-02 2017-03-09 富士通株式会社 画像認識に用いられるニューラルネットワークの訓練方法及び訓練装置
WO2019083130A1 (ko) 2017-10-25 2019-05-02 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2020009381A (ja) 2018-07-12 2020-01-16 日産自動車株式会社 個人照合方法及び個人照合装置

Also Published As

Publication number Publication date
WO2021249006A1 (zh) 2021-12-16
CN111723714B (zh) 2023-11-03
CN111723714A (zh) 2020-09-29
JP2022553768A (ja) 2022-12-26

Similar Documents

Publication Publication Date Title
JP7251000B2 (ja) 顔画像の真偽を識別する方法、装置、デバイス及び媒体並びにコンピュータプログラム
EP3236391B1 (en) Object detection and recognition under out of focus conditions
CN103810490B (zh) 一种确定人脸图像的属性的方法和设备
CN103279936B (zh) 基于画像的人脸伪照片自动合成及修正方法
CN111192201B (zh) 一种生成人脸图像及其模型训练的方法、装置及电子设备
Jia et al. Inconsistency-aware wavelet dual-branch network for face forgery detection
WO2018102700A1 (en) Photorealistic facial texture inference using deep neural networks
CN105912912B (zh) 一种终端用户身份登录方法和系统
CN105813548A (zh) 用于评估至少一个面部临床体征的方法
JP2008152789A (ja) 顔映像の類似度の算出方法及び装置とこれを利用した顔映像の検索方法及び装置、並びに顔合成方法
CN110023989B (zh) 一种素描图像的生成方法及装置
DE112015001656T5 (de) Bildverarbeitungsverfahren und -vorrichtung
CN102385703A (zh) 一种基于人脸的身份认证方法及系统
CN112949605A (zh) 基于语义分割的人脸上妆方法和系统
Yin et al. Dynamic difference learning with spatio-temporal correlation for deepfake video detection
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
KR20190076288A (ko) 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
CN110472498A (zh) 基于手部特征的身份认证方法、系统、存储介质及设备
CN109447095B (zh) 视觉属性识别方法、装置及存储介质
JP7519127B2 (ja) ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法
Kang et al. Detection enhancement for various deepfake types based on residual noise and manipulation traces
Kim et al. Generalized facial manipulation detection with edge region feature extraction
CN114449362A (zh) 视频封面的选取方法、装置、设备及存储介质
Choraś Retina recognition for biometrics
CN115880203A (zh) 图像真伪检测方法、图像真伪检测模型训练方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230322

R150 Certificate of patent or registration of utility model

Ref document number: 7251000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150