JP6975848B2 - 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 - Google Patents
生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP6975848B2 JP6975848B2 JP2020517441A JP2020517441A JP6975848B2 JP 6975848 B2 JP6975848 B2 JP 6975848B2 JP 2020517441 A JP2020517441 A JP 2020517441A JP 2020517441 A JP2020517441 A JP 2020517441A JP 6975848 B2 JP6975848 B2 JP 6975848B2
- Authority
- JP
- Japan
- Prior art keywords
- modal
- image
- sample
- classification
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Description
例えば、本願は以下の項目を提供する。
(項目1)
生体検出方法であって、
収集された画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することであって、前記モーダル分類結果は、前記画像が少なくとも1つのモーダルにおける目標モーダルに対応することを指示することと、
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、前記生体検出方法。
(項目2)
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することは、
前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも1つのモーダルにおける各モーダルに属する分類確率を取得することと、
前記少なくとも1つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定することと、を含むことを特徴とする、
項目1に記載の方法。
(項目3)
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することを含むことを特徴とする、
項目1または2に記載の方法。
(項目4)
前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得することと、
前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目3に記載の方法。
(項目5)
前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像特徴情報に基づいて、前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率を取得することと、
前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目3に記載の方法。
(項目6)
前記モーダル分類結果は、前記画像が前記少なくとも1つのモーダルにおける各モーダルに属する分類確率を含み、
前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記少なくとも1つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも1つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得することと、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目5に記載の方法。
(項目7)
前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記モーダル分類結果に含まれる少なくとも1つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも1つの真偽予測確率から目標真偽予測確率を決定することと、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目5に記載の方法。
(項目8)
前記モーダル分類結果に含まれる少なくとも1つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも1つの真偽予測確率から目標真偽予測確率を決定することは、
前記モーダル分類結果に含まれる少なくとも1つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記のプリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定することを含むことを特徴とする、
項目7に記載の方法。
(項目9)
前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、
デュアルチャネルカメラによって画像を収集して、前記画像を取得することを更に含むことを特徴とする、
項目1〜8のいずれか1項に記載の方法。
(項目10)
前記少なくとも1つのモーダルは、デュアルチャネルモーダルおよびRGBモーダルを含むことを特徴とする、
項目9に記載の方法。
(項目11)
前記方法は、生体検出ネットワークを使用して実現され、
前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、
サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することであって、前記サンプルデータセットは、少なくとも2つのモーダルのサンプル画像を含むことを更に含むことを特徴とする、
項目1〜10のいずれか1項に記載の方法。
(項目12)
生体検出方法であって、
第1のモーダル画像を取得することと、
生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第1のモーダルサンプル画像および第2のモーダルサンプル画像が含まれることと、を含むことを特徴とする、前記生体検出方法。
(項目13)
前記生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することは、
生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
前記画像特徴情報に基づいて、前記生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定することと、を含むことを特徴とする、
項目12に記載の方法。
(項目14)
前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得することと、
前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することであって、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも1つのモーダル中のサンプルモーダルに対応することを指示することと、
前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することと、
前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することと、を更に含むことを特徴とする、
項目12または13に記載の方法。
(項目15)
前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することは、
前記サンプル特徴情報に基づいて、前記サンプル画像が前記第1のモーダルに属する分類確率および前記サンプル画像が前記第2のモーダルに属する分類確率を決定することと、
前記サンプル画像が前記第1のモーダルに属する分類確率および前記サンプル画像が前記第2のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定することと、を含むことを特徴とする、
項目14に記載の方法。
(項目16)
前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することは、
前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することを含むことを特徴とする、
項目14または15に記載の方法。
(項目17)
前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することは、
前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得することと、
前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定することと、を含むことを特徴とする、
項目16に記載の方法。
(項目18)
前記第1のモーダルは、近赤外線モーダルであり、前記第2のモーダルは、RGBモーダルであることを特徴とする、
項目12〜17のいずれか1項に記載の方法。
(項目19)
生体検出装置であって、
収集された画像に対して特徴抽出を実行して、画像特徴情報を取得するように構成される特徴抽出ユニットと、
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定するように構成されるモーダル分類ユニットであって、前記モーダル分類結果は、前記画像が少なくとも1つのモーダル中の目標モーダルに対応することを指示するモーダル分類ユニットと、
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される生体検出ユニットと、を含むことを特徴とする、前記生体検出装置。
(項目20)
前記モーダル分類ユニットは、
前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも1つのモーダルにおける各モーダルに属する分類確率を取得し、
前記少なくとも1つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定するように構成されることを特徴とする、
項目19に記載の装置。
(項目21)
前記生体検出ユニットは、前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目19または20に記載の装置。
(項目22)
前記生体検出ユニットは、
前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得し、
前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目21に記載の装置。
(項目23)
前記生体検出ユニットは、
前記画像特徴情報に基づいて前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率を取得するように構成される真偽予測確率モジュールと、
前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成される結果決定モジュールと、を含むことを特徴とする、
項目21に記載の装置。
(項目24)
前記モーダル分類結果は、前記画像が前記少なくとも1つのモーダルにおける各モーダルに属する分類確率を含み、
前記結果決定モジュールは、前記少なくとも1つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも1つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得し、前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目23に記載の装置。
(項目25)
前記結果決定モジュールは、前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成され、具体的には、
前記結果決定モジュールは、前記モーダル分類結果に含まれる少なくとも1つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも1つの真偽予測確率から目標真偽予測確率を決定し、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目23に記載の装置。
(項目26)
前記結果決定モジュールは、前記モーダル分類結果に含まれる少なくとも1つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも1つの真偽予測確率から目標真偽予測確率を決定するように構成され、具体的には、
前記モーダル分類結果に含まれる少なくとも1つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記結果決定モジュールは、前記プリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定するように構成されることを特徴とする、
項目25に記載の装置。
(項目27)
デュアルチャネルカメラによって画像を収集して、前記画像を取得するように構成される画像収集ユニットを更に含むことを特徴とする、
項目19〜26のいずれか1項に記載の装置。
(項目28)
前記少なくとも1つのモーダルは、デュアルチャネルモーダルおよびRGBモーダルを含むことを特徴とする、
項目27に記載の装置。
(項目29)
前記装置は、生体検出ネットワークを使用して実現され、
サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得するように構成されるネットワークトレーニングユニットであって、前記サンプルデータセットは、少なくとも2つのモーダルのサンプル画像を含むネットワークトレーニングユニットを更に含むことを特徴とする、
項目19〜28のいずれか1項に記載の装置。
(項目30)
生体検出装置であって、
第1のモーダル画像を取得するように構成される画像取得ユニットと、
生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定するように構成される目標検出ユニットであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第1のモーダルサンプル画像および第2のモーダルサンプル画像が含まれる目標検出ユニットと、を含むことを特徴とする、前記生体検出装置。
(項目31)
前記目標検出ユニットは、生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得し、前記画像特徴情報に基づいて、生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定するように構成されることを特徴とする、
項目30に記載の装置。
(項目32)
前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得し、前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定し、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも1つのモーダル中のサンプルモーダルに対応することを指示し、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定し、前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整するように構成される検出ネットワークトレーニングユニットを更に含むことを特徴とする、
項目30または31に記載の装置。
(項目33)
前記検出ネットワークトレーニングユニットは、前記サンプル特徴情報に基づいて前記サンプル画像のサンプルモーダル分類結果を決定する場合、前記サンプル特徴情報に基づいて、前記サンプル画像が前記第1のモーダルに属する分類確率および前記サンプル画像が前記第2のモーダルに属する分類確率を決定し、前記サンプル画像が前記第1のモーダルに属する分類確率および前記サンプル画像が前記第2のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定するように構成されることを特徴とする、
項目32に記載の装置。
(項目34)
前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定する場合、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定するように構成されることを特徴とする、
項目31または32に記載の装置。
(項目35)
前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定する場合、前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得し、前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定するように構成されることを特徴とする、
項目34に記載の装置。
(項目36)
前記第1のモーダルは、近赤外線モーダルであり、前記第2のモーダルは、RGBモーダルであることを特徴とする、
項目30〜35のいずれか1項に記載の装置。
(項目37)
電子機器であって、
項目19〜29のいずれか1項に記載の生体検出装置または項目30〜36のいずれか1項に記載の生体検出装置を備えるプロセッサを含むことを特徴とする、前記電子機器。
(項目38)
電子機器であって、
実行可能命令を記憶するように構成されるメモリと、
前記メモリと通信して、前記実行可能命令を実行することによって、項目1〜11のいずれか1項に記載の生体検出方法または項目12〜18のいずれか1項に記載の生体検出方法の動作を実現するように構成されるプロセッサと、を含むことを特徴とする、前記電子機器。
(項目39)
コンピュータ可読命令を記憶するように構成されるコンピュータ可読記憶媒体であって、
前記命令が実行される時に、項目1〜11のいずれか1項に記載の生体検出方法または項目12〜18のいずれか1項に記載の生体検出方法の動作を実行することを特徴とする、前記コンピュータ可読記憶媒体。
(項目40)
コンピュータ可読コードを含むコンピュータプログラム製品であって、
前記コンピュータ可読コードがデバイス上で実行される時に、前記デバイス中のプロセッサは、項目1〜11のいずれか1項に記載の生体検出方法または項目12〜18のいずれか1項に記載の生体検出方法を実現するための命令を実行することを特徴とする、前記コンピュータプログラム製品。
画像のモーダル分類結果および画像特徴情報に基づいて、画像中の目標対象が生体であるか否かを決定することを含む。
目標モーダルに基づいて画像特徴情報に対して処理を行い、目標モーダルに対応する真偽予測確率を取得することと、
目標モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することと、を含む。
画像特徴情報に基づいて少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率を取得することと、
モーダル分類結果および少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することと、を含む。
それに応じて、モーダル分類結果および少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することは、
少なくとも1つのモーダルにおける各モーダルの分類確率を該各モーダルに対応する重み値として、少なくとも1つのモーダルにおける各モーダルの真偽予測確率を加重加算して、目標真偽予測確率を取得することと、
目標真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することと、を含む。
モーダル分類結果に含まれる少なくとも1つのモーダルにおける各モーダルに対応する分類確率に基づいて、少なくとも1つの真偽予測確率から目標真偽予測確率を決定し、目標真偽予測確率に基づいて、画像中の目標対象が生体であるか否かを決定することを含む。
サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得するステップは、
深層ニューラルネットワークに基づいてサンプルデータセット中の各サンプル画像に対して特徴抽出を実行して、少なくとも2つのサンプル特徴情報を取得することと、
モーダル分類器に基づいて少なくとも2つのサンプル特徴情報に対してそれぞれ処理し、少なくとも2つのサンプルモーダル分類結果を取得することと、
真偽分類器を使用して、少なくとも2つのサンプルモーダル分類結果および少なくとも2つのサンプル特徴情報に基づいて、サンプルデータセット中の各サンプル画像の予測真偽結果をそれぞれ取得することと、
予測真偽結果およびタグ付きの真偽情報に基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することと、を含む。
デュアルチャネルカメラによって画像を収集して、画像を取得するための画像収集ユニットを更に含む。
サンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得することと、サンプル特徴情報に基づいて、サンプル画像が少なくとも1つのモーダルにおけるサンプルモーダルに対応することを示すサンプル画像のサンプルモーダル分類結果を決定することと、サンプルモーダル分類結果に基づいて、サンプル画像の予測真偽結果を決定することと、予測真偽結果およびサンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することと、を含む。
サンプル特徴情報に基づいて、サンプル画像が第1のモーダルに属する分類確率およびサンプル画像が第2のモーダルに属する分類確率を決定することと、サンプル画像が第1のモーダルに属する分類確率およびサンプル画像が第2のモーダルに属する分類確率に基づいて、サンプル画像の属するサンプルモーダルを決定することと、を含む。
サンプルモーダル分類結果およびサンプル特徴情報に基づいて、サンプル画像の予測真偽結果を決定することを含む。
サンプル特徴情報とサンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得することと、
サンプル合併結果に基づいて、サンプル画像の予測真偽結果を決定することと、を含む。
第1のモーダル画像を取得するための画像取得ユニット61と、
生体検出ネットワークによって画像に対して生体検出を実行して、画像中の目標対象が生体であるか否かを決定するための目標検出ユニット62と、を含む。ここで、生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、サンプル画像セットには第1のモーダルサンプル画像および第2のモーダルサンプル画像が含まれる。
サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得すること、サンプル特徴情報に基づいて、サンプル画像が少なくとも1つのモーダルにおけるサンプルモーダルに対応することを示すサンプル画像のサンプルモーダル分類結果を決定すること、サンプルモーダル分類結果に基づいて、サンプル画像の予測真偽結果を決定すること、および予測真偽結果およびサンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することに用いられる検出ネットワークトレーニングユニットを、さらに含む。
Claims (23)
- 生体検出方法であって、
収集された画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することであって、前記モーダル分類結果は、前記画像が少なくとも1つのモーダルにおける目標モーダルに対応することを指示する、ことと、
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
を含む、生体検出方法。 - 前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定することは、
前記画像特徴情報に基づいて分類処理を実行して、前記画像が少なくとも1つのモーダルにおける各モーダルに属する分類確率を取得することと、
前記少なくとも1つのモーダルにおける各モーダルの分類確率に基づいて、前記画像の属する目標モーダルを決定することと
を含む、請求項1に記載の方法。 - 前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することを含む、請求項1または請求項2に記載の方法。 - 前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像特徴情報と前記画像のモーダル分類結果を合併して、合併結果を取得することと、
前記合併結果に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
を含む、請求項3に記載の方法。 - 前記画像のモーダル分類結果および前記画像特徴情報に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記画像特徴情報に基づいて、前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率を取得することと、
前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
を含む、請求項3に記載の方法。 - 前記モーダル分類結果は、前記画像が前記少なくとも1つのモーダルにおける各モーダルに属する分類確率を含み、
前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記少なくとも1つのモーダルにおける各モーダルの分類確率を前記各モーダルに対応する重み値として、前記少なくとも1つのモーダルにおける各モーダルの真偽予測確率に対して加重加算を実行して、目標真偽予測確率を取得することと、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
を含む、請求項5に記載の方法。 - 前記モーダル分類結果および前記少なくとも1つのモーダルにおける各モーダルに対応する真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することは、
前記モーダル分類結果に含まれる少なくとも1つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも1つの真偽予測確率から目標真偽予測確率を決定することと、
前記目標真偽予測確率に基づいて、前記画像中の目標対象が生体であるか否かを決定することと
を含む、請求項5に記載の方法。 - 前記モーダル分類結果に含まれる少なくとも1つのモーダルにおける各モーダルに対応する分類確率に基づいて、前記少なくとも1つの真偽予測確率から目標真偽予測確率を決定することは、
前記モーダル分類結果に含まれる少なくとも1つの分類確率にプリセット確率より大きいか等しい分類確率が存在することに応じて、前記のプリセット確率より大きいか等しい分類確率に対応するモーダルを目標モーダルとして決定し、前記目標モーダルの真偽予測確率を前記目標真偽予測確率として決定することを含む、請求項7に記載の方法。 - 前記方法は、前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、デュアルチャネルカメラによって画像を収集して、前記画像を取得することを更に含む、請求項1〜8のいずれか1項に記載の方法。
- 前記少なくとも1つのモーダルは、デュアルチャネルモーダルおよびRGBモーダルを含む、請求項9に記載の方法。
- 前記方法は、生体検出ネットワークを使用して実現され、
前記方法は、前記収集された画像に対して特徴抽出を実行して、画像特徴情報を取得する前に、サンプルデータセットに基づいて初期生体検出ネットワークをトレーニングして、前記生体検出ネットワークを取得することをさらに含み、前記サンプルデータセットは、少なくとも2つのモーダルのサンプル画像を含む、請求項1〜10のいずれか1項に記載の方法。 - 生体検出方法であって、
第1のモーダル画像を取得することと、
生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第1のモーダルサンプル画像および第2のモーダルサンプル画像が含まれる、ことと、
前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得することと、
前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することであって、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも1つのモーダル中のサンプルモーダルに対応することを指示することと、
前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することと、
前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整することと
を含む、生体検出方法。 - 前記生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定することは、
前記生体検出ネットワークによって前記画像に対して特徴抽出を実行して、画像特徴情報を取得することと、
前記画像特徴情報に基づいて、前記生体検出ネットワークによって前記画像中の目標対象が生体であるか否かを決定することと
を含む、請求項12に記載の方法。 - 前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定することは、
前記サンプル特徴情報に基づいて、前記サンプル画像が前記第1のモーダルに属する分類確率および前記サンプル画像が前記第2のモーダルに属する分類確率を決定することと、
前記サンプル画像が前記第1のモーダルに属する分類確率および前記サンプル画像が前記第2のモーダルに属する分類確率に基づいて、前記サンプル画像の属するサンプルモーダルを決定することと
を含む、請求項12に記載の方法。 - 前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定することは、
前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することを含む、請求項12または請求項14に記載の方法。 - 前記サンプルモーダル分類結果および前記サンプル特徴情報に基づいて、前記サンプル画像の予測真偽結果を決定することは、
前記サンプル特徴情報と前記サンプル画像のサンプルモーダル分類結果を合併して、サンプル合併結果を取得することと、
前記サンプル合併結果に基づいて、前記サンプル画像の予測真偽結果を決定することと
を含む、請求項15に記載の方法。 - 前記第1のモーダルは、近赤外線モーダルであり、前記第2のモーダルは、RGBモーダルである、請求項12〜16のいずれか1項に記載の方法。
- 生体検出装置であって、
収集された画像に対して特徴抽出を実行して、画像特徴情報を取得するように構成されている特徴抽出ユニットと、
前記画像特徴情報に基づいて、前記画像のモーダル分類結果を決定するように構成されているモーダル分類ユニットであって、前記モーダル分類結果は、前記画像が少なくとも1つのモーダル中の目標モーダルに対応することを指示する、モーダル分類ユニットと、
前記画像のモーダル分類結果に基づいて、前記画像中の目標対象が生体であるか否かを決定するように構成されている生体検出ユニットと
を含む、生体検出装置。 - 生体検出装置であって、
第1のモーダル画像を取得するように構成されている画像取得ユニットと、
生体検出ネットワークによって前記画像に対して生体検出を実行して、前記画像中の目標対象が生体であるか否かを決定するように構成されている目標検出ユニットであって、前記生体検出ネットワークは、サンプル画像セットに基づいて初期生体検出ネットワークをトレーニングすることにより取得され、前記サンプル画像セットは、前記第1のモーダルサンプル画像および第2のモーダルサンプル画像が含まれる、目標検出ユニットと、
前記サンプル画像セット中のサンプル画像に対して特徴抽出を実行して、サンプル特徴情報を取得し、前記サンプル特徴情報に基づいて、前記サンプル画像のサンプルモーダル分類結果を決定するように構成されている検出ネットワークトレーニングユニットであって、前記サンプルモーダル分類結果は、前記サンプル画像が少なくとも1つのモーダル中のサンプルモーダルに対応することを指示し、前記検出ネットワークトレーニングユニットは、前記サンプルモーダル分類結果に基づいて、前記サンプル画像の予測真偽結果を決定し、前記予測真偽結果および前記サンプル画像のタグ付きの真偽情報に基づいて、前記初期生体検出ネットワークのネットワークパラメータを調整するように構成されている、検出ネットワークトレーニングユニットと
を含む、生体検出装置。 - 電子機器であって、
前記電子機器は、請求項18または請求項19に記載の生体検出装置を備えるプロセッサを含む、電子機器。 - 電子機器であって、
実行可能な命令を記憶するように構成されているメモリと、
前記メモリと通信して、前記実行可能な命令を実行することによって、請求項1〜11のいずれか1項に記載の生体検出方法または請求項12〜17のいずれか1項に記載の生体検出方法の動作を実現するように構成されているプロセッサと
を含む、電子機器。 - コンピュータ読み取り可能な命令を記憶するように構成されているコンピュータ読み取り可能な記憶媒体であって、
前記命令が実行される時に、請求項1〜11のいずれか1項に記載の生体検出方法または請求項12〜17のいずれか1項に記載の生体検出方法の動作を実行する、コンピュータ読み取り可能な記憶媒体。 - コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、
前記コンピュータ読み取り可能なコードがデバイス上で実行される時に、前記デバイス中のプロセッサは、請求項1〜11のいずれか1項に記載の生体検出方法または請求項12〜17のいずれか1項に記載の生体検出方法を実現するための命令を実行する、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811046177.X | 2018-09-07 | ||
CN201811046177.XA CN110889312B (zh) | 2018-09-07 | 2018-09-07 | 活体检测方法和装置、电子设备、计算机可读存储介质 |
PCT/CN2019/083639 WO2020048140A1 (zh) | 2018-09-07 | 2019-04-22 | 活体检测方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020535529A JP2020535529A (ja) | 2020-12-03 |
JP6975848B2 true JP6975848B2 (ja) | 2021-12-01 |
Family
ID=69722987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517441A Active JP6975848B2 (ja) | 2018-09-07 | 2019-04-22 | 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11222222B2 (ja) |
JP (1) | JP6975848B2 (ja) |
KR (1) | KR102324697B1 (ja) |
CN (1) | CN110889312B (ja) |
SG (1) | SG11202003136QA (ja) |
WO (1) | WO2020048140A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507262B (zh) * | 2020-04-17 | 2023-12-08 | 北京百度网讯科技有限公司 | 用于检测活体的方法和装置 |
CN111597918A (zh) * | 2020-04-26 | 2020-08-28 | 北京金山云网络技术有限公司 | 人脸活体检测模型的训练、检测方法、装置及电子设备 |
CN111695616A (zh) * | 2020-05-29 | 2020-09-22 | 平安科技(深圳)有限公司 | 基于多模态数据的病灶分类方法及相关产品 |
JP7441312B2 (ja) * | 2020-06-11 | 2024-02-29 | 富士フイルム株式会社 | 学習装置、学習方法、及びプログラム |
CN112364825B (zh) * | 2020-11-30 | 2022-10-25 | 支付宝(杭州)信息技术有限公司 | 用于人脸识别的方法、装置和计算机可读存储介质 |
CN113052142A (zh) * | 2021-04-26 | 2021-06-29 | 的卢技术有限公司 | 一种基于多模态数据的静默活体检测方法 |
US11769313B2 (en) | 2021-05-21 | 2023-09-26 | Ford Global Technologies, Llc | Counterfeit image detection |
US11967184B2 (en) * | 2021-05-21 | 2024-04-23 | Ford Global Technologies, Llc | Counterfeit image detection |
US11636700B2 (en) | 2021-05-21 | 2023-04-25 | Ford Global Technologies, Llc | Camera identification |
CN113469085B (zh) * | 2021-07-08 | 2023-08-04 | 北京百度网讯科技有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
CN113627263B (zh) * | 2021-07-13 | 2023-11-17 | 支付宝(杭州)信息技术有限公司 | 一种基于人脸检测的曝光方法、装置以及设备 |
CN113642639B (zh) * | 2021-08-12 | 2024-03-01 | 云知声智能科技股份有限公司 | 活体检测方法、装置、设备和存储介质 |
CN114419741B (zh) * | 2022-03-15 | 2022-07-19 | 深圳市一心视觉科技有限公司 | 活体检测方法、活体检测装置、电子设备以及存储介质 |
CN115035608A (zh) * | 2022-05-26 | 2022-09-09 | 支付宝(杭州)信息技术有限公司 | 活体检测方法、装置、设备及系统 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006093508A2 (en) * | 2004-06-01 | 2006-09-08 | Lumidigm, Inc. | Multispectral imaging biometrics |
US7715597B2 (en) * | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
JP5121506B2 (ja) * | 2008-02-29 | 2013-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
WO2010099475A1 (en) * | 2009-02-26 | 2010-09-02 | Kynen Llc | User authentication system and method |
JP6222948B2 (ja) | 2013-03-14 | 2017-11-01 | セコム株式会社 | 特徴点抽出装置 |
CN104077597B (zh) * | 2014-06-25 | 2017-09-05 | 小米科技有限责任公司 | 图像分类方法及装置 |
CN107451510B (zh) * | 2016-05-30 | 2023-07-21 | 北京旷视科技有限公司 | 活体检测方法和活体检测系统 |
CN106127159A (zh) * | 2016-06-28 | 2016-11-16 | 电子科技大学 | 一种基于卷积神经网络的性别识别方法 |
KR102483642B1 (ko) * | 2016-08-23 | 2023-01-02 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
CN108171250A (zh) * | 2016-12-07 | 2018-06-15 | 北京三星通信技术研究有限公司 | 目标检测方法及装置 |
US11023757B2 (en) * | 2018-02-14 | 2021-06-01 | Samsung Electronics Co., Ltd. | Method and apparatus with liveness verification |
CN108399401B (zh) * | 2018-03-27 | 2022-05-03 | 百度在线网络技术(北京)有限公司 | 用于检测人脸图像的方法和装置 |
-
2018
- 2018-09-07 CN CN201811046177.XA patent/CN110889312B/zh active Active
-
2019
- 2019-04-22 JP JP2020517441A patent/JP6975848B2/ja active Active
- 2019-04-22 US US16/649,748 patent/US11222222B2/en active Active
- 2019-04-22 SG SG11202003136QA patent/SG11202003136QA/en unknown
- 2019-04-22 KR KR1020207009471A patent/KR102324697B1/ko active IP Right Grant
- 2019-04-22 WO PCT/CN2019/083639 patent/WO2020048140A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2020535529A (ja) | 2020-12-03 |
KR102324697B1 (ko) | 2021-11-10 |
CN110889312B (zh) | 2022-09-02 |
CN110889312A (zh) | 2020-03-17 |
SG11202003136QA (en) | 2020-05-28 |
KR20200050994A (ko) | 2020-05-12 |
US20200410267A1 (en) | 2020-12-31 |
WO2020048140A1 (zh) | 2020-03-12 |
US11222222B2 (en) | 2022-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6975848B2 (ja) | 生体検出方法及び装置、電子機器、並びにコンピュータ可読記憶媒体 | |
TWI746674B (zh) | 識別圖像中物件的類型預測方法、裝置及電子設備 | |
US10726244B2 (en) | Method and apparatus detecting a target | |
Shen et al. | Domain-invariant interpretable fundus image quality assessment | |
US8819015B2 (en) | Object identification apparatus and method for identifying object | |
Niemeijer et al. | Image structure clustering for image quality verification of color retina images in diabetic retinopathy screening | |
JP6692049B2 (ja) | 識別装置および識別方法 | |
Greco et al. | Benchmarking deep network architectures for ethnicity recognition using a new large face dataset | |
Abrahim et al. | RETRACTED ARTICLE: Splicing image forgery identification based on artificial neural network approach and texture features | |
CN114287878A (zh) | 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法 | |
JP2016062253A (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
Tania et al. | Intelligent image-based colourimetric tests using machine learning framework for lateral flow assays | |
JP7036401B2 (ja) | 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム | |
WO2020195732A1 (ja) | 画像処理装置、画像処理方法、およびプログラムが格納された記録媒体 | |
CN113240655B (zh) | 一种自动检测眼底图像类型的方法、存储介质及装置 | |
WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
Jemima Jebaseeli et al. | Retinal blood vessel segmentation from depigmented diabetic retinopathy images | |
Sri et al. | Diabetic retinopathy classification using deep learning technique | |
JP2022039984A (ja) | 顔画像から眼の領域を見つけるシステム及び方法 | |
Jeena et al. | A comparative analysis of stroke diagnosis from retinal images using hand-crafted features and CNN | |
JP2012234497A (ja) | オブジェクト識別装置、オブジェクト識別方法、及びプログラム | |
Hoque Tania | An Intelligent Image-based Colourimetric Test Framework for Diagnosis | |
KR20210146690A (ko) | 신장 기능 이상을 검출하는 심층 신경망 기반 망막 영상 분석 방법 및 장치 | |
Sharma et al. | Digital Eye Strain Detection By Applying Deep Learning Technique To Categories Of Images | |
KR20200004939A (ko) | 스마트 폰 기반의 홍채를 통한 건강 관리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6975848 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |