WO2023248806A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023248806A1
WO2023248806A1 PCT/JP2023/021289 JP2023021289W WO2023248806A1 WO 2023248806 A1 WO2023248806 A1 WO 2023248806A1 JP 2023021289 W JP2023021289 W JP 2023021289W WO 2023248806 A1 WO2023248806 A1 WO 2023248806A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
face
information processing
processing device
Prior art date
Application number
PCT/JP2023/021289
Other languages
English (en)
French (fr)
Inventor
彰 横川
吉隆 杉本
誠司 黒田
雄一 鈴木
雅也 加太
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2023248806A1 publication Critical patent/WO2023248806A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present technology relates to an information processing device, an information processing method, and a recording medium, and particularly relates to an information processing device, an information processing method, and a recording medium that can reduce the processing time and processing load of face detection.
  • Patent Document 1 discloses that after a face image is detected from an image taken by a camera, an authenticity determination process is performed to determine whether the detected face image is an image of a real face.
  • the present technology was developed in view of this situation, and makes it possible to reduce the processing time and processing load of face detection.
  • the processing unit of an information processing device having a processing unit detects an area where face detection is not performed as an exclusion area out of an image area of a captured image obtained by an imaging device, and
  • the information processing method detects a face image from a face detection target area that is an area other than the exclusion area of the image area of the image.
  • the face authentication system 11 also detects the faces of real people existing in the photographing location (photographing range) of the camera 21, such as real persons Ob1 to Ob3, and the faces of people photographed, such as face photographs Ob4 and Ob5. Distinguish the face (face that does not exist as a real thing) presented by a presentation medium (presentation medium that presents an image) such as a paper medium or electronic medium existing in a place, and apply it to the image area of real people Ob1 to Ob3. Performs face detection and facial recognition only. This reduces the processing time and processing load required for face detection in the image processing device 22, and prevents unauthorized face authentication using a fake face using the presentation medium.
  • FIG. 2 is a diagram illustrating a method for limiting the target area (face detection target area) in which the face authentication system 11 performs face detection (and face authentication) on a captured image to a part.
  • FIG. 2 illustrates the same real people Ob1 to Ob3 as in FIG. 1 and facial photographs Ob4 and Ob5.
  • the image processing device 22 detects the outline of a geometric shape such as a rectangular (square) frame or an elliptical frame, which is a characteristic of a photograph or a supporting frame of a photograph, in the photographed image from the camera 21, The area surrounded by the outline is excluded from the face detection target area where face detection is performed.
  • images presented on presentation media such as paper media such as facial photographs or electronic media (displays of smartphones, tablets, etc.) are subject to the outline of the presentation medium itself or the support frame that supports the presentation medium.
  • a contour line exists and is surrounded by the contour line of a geometric shape.
  • a real human face is not included in an area surrounded by a geometrically shaped contour line. Therefore, even if an area surrounded by a geometrically shaped outline is excluded from the face detection target area in a captured image, the area of a real person's face may not be excluded from the face detection target area. Therefore, the face detection target area is appropriately limited to a part of the captured image.
  • FIG. 3 is a configuration diagram showing an example of the configuration of the image processing device 22.
  • the face authentication system 11, the camera 21, and the output device/external device control device 23 are the same as the parts denoted by the same reference numerals in FIG. 1, so a description thereof will be omitted.
  • the detection device 41 and the authentication device 42 are included in the image processing device 22 in FIG.
  • the detection device 41 limits the face detection target area for the captured image from the camera 21, and performs face detection on the image of the face detection target area.
  • the authentication device 42 performs face authentication on the detected face detected by the detection device 41 using the face of the registered person.
  • the image processing device 22 can be configured by a so-called computer including a processor, a memory, etc., and the configuration shown in FIG. 3 can be realized by executing software including a program.
  • Line Segment Detector The photographic feature recognition unit 61 detects line segments from within the photographed image using a well-known Line Segment Detector method, and detects an area surrounded by continuous line segments as an excluded area. Even if it is not completely surrounded by continuous line segments, only part of the outline of the photograph disappears in the photographed image, and in reality, the existing outline of the photograph is replaced by other outlines. It may be estimated from line segments forming a line.
  • the photographic feature recognition unit 61 uses well-known Box Detection, Segmentation, Hough transform, Edge contour, etc. to exclude a region surrounded by a rectangular, elliptical, or polygonal contour existing in a photographed image. Detected using the detection method.
  • the photographic feature recognition unit 61 uses an optical information detection means such as a polarization sensor to obtain optical features (light source, direction of reflection, etc.) of a spatial region including the shooting range of the camera 21 as optical feature information.
  • the photographic feature recognition unit 61 acquires optical feature information of the shooting range of the camera 21 in advance (before operation, etc.) or by another information processing device, and detects optical feature information that does not exist in the captured image or other information. If optical feature information different from the spatial region is detected, the region of the photographed image corresponding to that region is set as an exclusion region.
  • any one or more of the detection processes 1 to 3 may be performed. Further, the processes of detections 1 to 3 may be performed using a learning model having a neural network structure generated using machine learning technology.
  • the authentication device 42 includes history data 81, registration data 82, a face verification section 83, and an authentication section 84. Note that the authentication device 42 is an example of a device that uses the image or feature amount of the detected face detected by the detection device 41, and the present technology is not limited to performing face authentication.
  • the authentication unit 84 determines whether or not the detected face matches the face of any registered person as a result of the matching performed by the face matching unit 83. If they match, the detected face (or that person) matches the registered person's face. The face of the matched registered person (or the registered person) is authenticated. If it is determined that the detected face does not match the face of any registered person, it is determined that the detected face (or the person) is not the face of the registered person (or the registered person), and the face of any registered person ( or a registered person). Authentication result information regarding the result of face authentication, such as information on the fact that the face has been authenticated and information on the registered person whose face has been authenticated, is supplied to the output device/external device control device 23 .
  • step S13 the face/feature amount detection unit 63 of the detection device 41 detects the face from the image of the face detection target area generated in step S12, or from the image of the face detection target area when the result is negative in step S11. Detect images or feature amounts.
  • step S14 the authentication device 42 performs processing such as authentication or recognition by comparison with the face of the registered person, using the face image or the facial feature amount detected in step S13.
  • the process returns from step S14 to step S11, and repeats steps S11 to S14.
  • the series of processes described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer built into dedicated hardware and, for example, a general-purpose personal computer that can execute various functions by installing various programs.
  • the input unit 206 consists of a keyboard, mouse, microphone, etc.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 executes the above-described series by, for example, loading a program stored in the storage unit 208 into the RAM 203 and executing it via the input/output interface 205 and the bus 204. processing is performed.
  • the program executed by the computer may be a program in which processing is performed chronologically in accordance with the order described in this specification, in parallel, or at necessary timing such as when a call is made. It may also be a program that performs processing.
  • the processing that a computer performs according to a program does not necessarily have to be performed chronologically in the order described as a flowchart. That is, the processing that a computer performs according to a program includes processing that is performed in parallel or individually (for example, parallel processing or processing using objects).
  • program may be processed by one computer (processor) or may be processed in a distributed manner by multiple computers. Furthermore, the program may be transferred to a remote computer and executed.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • the present technology can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
  • the above-mentioned program can be executed on any device. In that case, it is only necessary that the device has the necessary functions (functional blocks, etc.) and can obtain the necessary information.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by multiple devices.
  • the multiple processes included in that one step can be executed by one device or can be shared and executed by multiple devices.
  • multiple processes included in one step can be executed as multiple steps.
  • processes described as multiple steps can also be executed together as one step.
  • the present technology can also have the following configuration.
  • An information processing device that includes a processing unit that detects facial images.
  • the processing unit detects, as the excluded area, an area that does not include a face image of a real person from among the image areas of the photographed image.
  • the processing unit detects an area having characteristics of a photograph as the exclusion area.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本技術は、顔検出の処理時間及び処理負担を軽減できるようにする情報処理装置、情報処理方法、及び、記録媒体に関する。 撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域が除外領域として検出され、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像が検出される。

Description

情報処理装置、情報処理方法、及び、記録媒体
 本技術は、情報処理装置、情報処理方法、及び、記録媒体に関し、特に、顔検出の処理時間及び処理負担を軽減できるようにした情報処理装置、情報処理方法、及び、記録媒体に関する。
 特許文献1には、カメラの撮影画像から顔画像を検出した後、検出された顔画像が実物の顔の画像か否かの真贋判定処理を実施することが開示されている。
特開2014-219703号公報
 カメラの撮影画像から人物の顔を検出する場合に、撮影場所に実際に存在する人物の顔以外の画像領域は、できるだけ顔検出の対象領域から除外し、顔検出の処理時間及び処理負担を軽減することが望ましい。
 本技術はこのような状況に鑑みてなされたものであり、顔検出の処理時間及び処理負担を軽減できるようにする。
 本技術の情報処理装置、又は、記録媒体は、撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する処理部を有する情報処理装置、又は、そのような情報処理装置として、コンピュータを機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
 本技術の情報処理方法は、処理部を有する情報処理装置の前記処理部が、撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する情報処理方法である。
 本技術の情報処理装置、情報処理方法、及び、記録媒体においては、撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域が除外領域として検出され、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像が検出される。
本技術が適用された実施の形態に係る顔認証システムの構成例を示したブロック図である。 撮影画像に対して顔検出を行う対象領域を一部に限定する方法について説明する図である。 画像処理装置の構成例を示した構成図である。 顔認証システムが行う処理手順を例示したフローチャートである。 図4のフローチャートに従って顔検出が行われた場合を例示した図である。 図4のフローチャートに従って顔検出が行われた場合を例示した図である。 周知の方法で顔検出が行われる場合を例示した図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
 以下、図面を参照しながら本技術の実施の形態について説明する。
<<本実施の形態に係る顔認証システム>>
 図1は、本技術が適用された実施の形態に係る顔認証システムの構成例を示したブロック図である。
 図1において、本実施の形態に係る顔認証システム11は、例えば、カメラ21(撮像装置)で撮影された撮影画像(映像)から人物の顔(顔画像)を検出する顔検出を画像処理装置22で行う。顔認証システム11は、撮影画像から検出された人物の顔(検出顔という)と、予め登録されている人物(登録人物)の顔との照合を行い、照合の結果、検出顔と登録人物の顔とが一致した場合には、検出顔が登録人物の顔であると認証(顔認証)したことや登録人物の情報等を認証結果情報として出力装置/外部機器制御装置23に供給する。出力装置/外部機器制御装置23は、認証結果を利用する装置の一例であり、出力装置と外部機器制御装置とのうちのいずれか一方又は両方の装置を示す。例えば、出力装置は、認証結果を表示するモニタであり、外部機器制御装置は、認証結果に応じて外部機器を制御する制御装置である。なお、本実施の形態に係る顔認証システム11は、特定の用途に限らず、様々な用途に用いることができる。例えば、顔認証システム11は、セキュリティ性が要求される施設の入場口で来訪者の顔認証を行い、事前に登録された人物であることが認証された来訪者のみに対してゲート装置を開放して施設内に入場できるようにした顔認証システムとして用いることができる。その場合に、出力装置/外部機器制御装置23の外部機器制御装置は、ゲート装置の開放又は閉鎖を制御する制御装置等が該当する。なお、撮影画像上に検出される顔の画像は、単に顔ともいう。
 また、本実施の形態に係る顔認証システム11は、実人物Ob1乃至Ob3のようにカメラ21の撮影場所(撮影範囲)に実物として存在する人物の顔と、顔写真Ob4及びOb5のように撮影場所に存在する紙媒体や電子媒体などの提示媒体(画像を提示する提示媒体)により提示された顔(実物としては存在しない顔)とを区別し、実人物Ob1乃至Ob3の画像領域に対してのみ顔検出や顔認証を行う。これによって、画像処理装置22での顔検出に要する処理時間や処理負担の軽減が図られるとともに、提示媒体を用いた偽の顔による不正な顔認証が防止される。
 顔認証システム11は、カメラ21、画像処理装置22、及び、出力装置/外部機器制御装置23を有する。カメラ21は、撮影場所周辺に設置される。ただし、移動型ロボット等の移動体に搭載されていてもよく、カメラ21の設置場所は特定の場所に限定されない。カメラ21で撮影された撮影画像は画像処理装置22に供給される。なお、撮影画像は、所定時間間隔で撮影されたフレーム(コマ画像)からなる動画像であってもよいし、静止画像であってもよいが、本実施の形態では動画像であるとする。
 画像処理装置22は、カメラ21からの撮影画像に含まれる人物の顔を検出し、予め登録された1又は複数の人物(登録人物)の顔と照合する。照合の結果、画像処理装置22は、検出された検出顔と、登録人物のいずれかの顔とが一致したと判定した場合には、検出顔(又はその人物)が、その一致した登録人物の顔(又はその登録人物)であることを認証(顔認証)する。画像処理装置22は、検出顔と登録人物のいずれの顔とも一致しないと判定した場合には、検出顔が、登録人物の顔ではないと判定し、登録人物のいずれの顔であるとも認証しない。検出顔が登録人物の顔であると認証(顔認証)したことや登録人物の情報等を含む認証結果情報は、出力装置/外部機器制御装置23に供給される。
 出力装置/外部機器制御装置23は、画像処理装置22からの認証結果情報を表示する出力装置(モニタ等)や、認証結果情報に応じて外部機器を制御する外部機器制御装置を含む。
<画像処理装置22における顔検出対象領域の限定方法>
 図2は、顔認証システム11が撮影画像に対して顔検出(及び顔認証)を行う対象領域(顔検出対象領域)を一部に限定する方法について説明する図である。図2には、図1と同じ実人物Ob1乃至Ob3と、顔写真Ob4及びOb5とが例示されている。画像処理装置22は、カメラ21からの撮影画像に対して、写真又は写真の支持枠の特徴である矩形(四角形)枠や楕円形枠のような幾何学的な形状の輪郭線を検出し、その輪郭線で囲まれた領域を、顔検出を行う顔検出対象領域から除外する。これによれば、例えば、実人物Ob1乃至Ob3の顔の周辺には、実人物Ob1乃至Ob3の顔に伴って撮影画像内で動く幾何学的な形状の輪郭線が存在しないため、実人物Ob1乃至Ob3に対しては、顔検出が行われ、それぞれの顔の領域Da1乃至Da3が検出される。一方、顔写真Ob4及びOb5に対しては、それらの周辺にそれぞれ写真又は写真の支持枠の特徴である幾何学的な形状の輪郭線Ea1、Ea2が存在する。輪郭線Ea1は、顔写真Ob4を支持する額縁の1又は複数の輪郭線であり、輪郭線Ea2は、写真入れペンダントの1又は複数の輪郭線である。このように、顔写真のような紙媒体や電子媒体(スマートフォンやタブレット等のディスプレイ)等の提示媒体に提示された画像は、提示媒体自体の輪郭線、又は、提示媒体を支持する支持枠の輪郭線が存在し、幾何学的な形状の輪郭線により囲まれる。また。撮影画像において、幾何学的な形状の輪郭線により囲まれる領域内には実物としての人物の顔は含まれないと考えられる。したがって、撮影画像内において、幾何学的な形状の輪郭線で囲まれた領域を顔検出対象領域から除外しても、実物としての人物の顔の領域が顔検出対象領域から除外されることがなく、顔検出対象領域が撮影画像の一部の領域に適切に限定される。
<画像処理装置22の構成>
 図3は、画像処理装置22の構成例を示した構成図である。図3において、顔認証システム11、カメラ21、及び、出力装置/外部機器制御装置23は、図1の同一符号で付した部分と共通するので説明を省略する。検出装置41及び認証装置42は、図1の画像処理装置22に含まれる。検出装置41は、カメラ21からの撮影画像に対して顔検出対象領域を限定し、顔検出対象領域の画像に対して顔検出を行う。認証装置42は、検出装置41により検出された検出顔に対して登録人物の顔を用いた顔認証を行う。なお、画像処理装置22は、プロセッサやメモリ等からなるいわゆるコンピュータにより構成することができ、プログラムを含むソフトウエアの実行により、図3の構成が実現され得る。
 検出装置41は、写真特徴認識部61、画像処理部62、顔/特徴量検出部63、及び、認証装置制御部64を有する。写真特徴認識部61は、カメラ21からの撮影画像に対して、写真の特徴を有する領域を認識する。写真の特徴は、上述のように、写真又は写真を支持する支持枠の輪郭線によって、直線や楕円のような単純な幾何学的な形状の輪郭線で囲まれているという点である。このような領域を顔検出対象領域から除外する除外領域ということとする。除外領域は、実際に写真が含まれていない画像領域であったとしても実物としての人物の顔をも含まれていない領域と考えられるので、顔検出対象領域から除外してよい。また、除外領域としては、写真の特徴を有する領域に限らず、写真の特徴と同様の特徴を有する任意の種類の提示媒体の領域が含まれる。また、図3の構成例では、写真特徴認識部61は、写真の特徴を有する領域を検出し、検出した領域を除外領域とするが、その代わりに提示媒体の特徴を有する領域を検出し、検出した領域を除外領域としてもよい。なお、除外領域は、顔検出が行われる前に検出されて顔検出対象領域から除外される。したがって、除外領域は、実際に顔写真のような提示媒体で提示された像画像が含まれるか否かにかかわらず顔検出を行わない領域として検出され、かつ、実物としての人物の顔画像が含まれない領域(実物としての人物の顔画像が含まれない可能性が高い領域)として検出される。
 写真特徴認識部61は、カメラ21からの撮影画像に対して、以下の検出1及び2を行い、写真又は写真を支持する支持枠の輪郭線で囲まれた領域、即ち、写真の特徴を有する領域を、除外領域として検出する。なお、写真特徴認識部61による以下の検出は、写真の特徴を有する領域の検出としてだけではなく、実物としての人物の顔画像が含まれない領域(除外領域としての特徴を有する領域)の検出として適用され得る。
・検出1.線分検出(Line Segment Detector)
 写真特徴認識部61は、撮影画像内から周知のLine Segment Detectorの手法を用いて線分を検出し、連続的な線分で囲まれる領域を除外領域として検出する。連続的な線分で完全に囲まれていない場合であっても、撮影画像として写真の輪郭の一部が消失しているだけであって、実際には存在する写真の輪郭線を他の輪郭線を形成する線分から推定してもよい。
・検出2.領域検出(Box Detection、 Segmentation、ハフ変換、Edge輪郭)
 写真特徴認識部61は、撮影画像内に存在する矩形、楕円、又は、多角形の形状の輪郭線で囲まれた領域を除外領域として周知のBox Detection、Segmentation、ハフ変換、又は、Edge輪郭等の検出方法を用いて検出する。
 なお、撮影画像の背景として線分等が検出される場合があるので、写真特徴認識部61は、撮影画像内に定常的に存在する線分や矩形、楕円、又は、多角形の形状の輪郭線で囲まれた領域を予め取得して、除外領域の輪郭線、又は、除外領域として認識しないようにしてもよい。
 また、写真の特徴を有する領域を検出方法として(検出3として)、写真特徴認識部61は、空間検出により写真の特徴を有する除外領域を検出してもよい。具体的には、写真特徴認識部61は、距離センサを用いてカメラ21の撮影範囲を含む空間領域の距離情報を取得する。写真特徴認識部61は、カメラ21の撮影範囲に定常的に存在する平面領域を距離情報に基づいて事前(運用前等)に取得しておき、定常的に存在しない平面領域が距離情報により検出された場合には、その平面領域に対応する撮影画像の領域を除外領域とする。また、写真特徴認識部61は、偏光センサなどの光学情報検出手段を用いてカメラ21の撮影範囲を含む空間領域の光学的な特徴(光源や反射の方向等)を光学特徴情報として取得する。写真特徴認識部61は、カメラ21の撮影範囲の光学特徴情報を事前(運用前等)または他の情報処理装置により取得しておき、撮影画像に存在しない光学特徴情報であり、または、他の空間領域と異なる光学特徴情報が検出された場合には、その領域に対応する撮影画像の領域を除外領域とする。
 また、検出1乃至3の処理は、いずれか1つ又は複数の処理が行われる場合であってよい。また、検出1乃至3の処理は、機械学習の技術を用いて生成されたニューラルネットワークの構造を有する学習モデルを用いて行われる場合であってよい。
 画像処理部62は、カメラ21からの撮影画像に対して、写真特徴認識部61により検出された除外領域の画像を除去した顔検出対象領域の画像を生成する。顔/特徴量検出部63は、画像処理部62により生成された顔検出対象領域の画像から、顔の画像又は特徴量を周知の方法を用いて検出する。認証装置制御部64は、顔/特徴量検出部63により検出された検出顔の画像又は特徴量を認証装置42に供給し、認証装置42に対して顔認証を行わせる。
 認証装置42は、履歴データ81、登録データ82、顔照合部83、及び、認証部84を有する。なお、認証装置42は、検出装置41により検出された検出顔の画像又は特徴量を利用する装置の一例であり、本技術は顔認証を行う場合に限定されない。
 履歴データ81は、過去から現在までに、検出装置41の顔/特徴量検出部63により検出された検出顔の画像又は特徴量に対して、同一人物であると認証部84により認証された登録人物に関する情報、認証された時刻等の情報である。
 登録データ82は、予め登録された人物に関する情報であり、人物を識別する識別情報(氏名等)、各人物の顔画像(登録人物の顔)を含む。なお、顔画像に代えて、顔画像から抽出された特徴量の情報が登録データ82に登録される場合であってもよい。
 顔照合部83は、検出装置41の顔/特徴量検出部63により検出された検出顔の画像又は特徴量に基づいて、検出顔と、登録データ82に登録された登録人物の顔とを照合する。
 認証部84は、顔照合部83の照合の結果、検出顔と登録人物のいずれかの顔とが一致したか否かを判定し、一致した場合には、検出顔(又はその人物)がその一致した登録人物の顔(又はその登録人物)であることを認証する。検出顔がいずれの登録人物の顔とも一致しないと判定した場合には、検出顔(又はその人物)が、登録人物の顔(又は登録人物)ではないと判定し、いずれの登録人物の顔(又は登録人物)であるとも認証しない。顔認証されたことや顔認証された登録人物の情報等の顔認証の結果に関する認証結果情報は、出力装置/外部機器制御装置23に供給される。
<顔認証システム11の処理手順>
 図4は、顔認証システム11が行う処理手順を例示したフローチャートである。ステップS11では、検出装置41の写真特徴認識部61は、カメラ21からの撮影画像のうち、写真の特徴を有する領域が検出されたか否かを判定する。なお、上述のように写真の特徴を有する領域を、提示媒体の特徴を有する領域と読み替えてもよい。ステップS11において、肯定された場合には、検出された領域が除外領域とされ、処理はステップS11からステップS12に進む。ステップS11において、否定された場合には、処理はステップS11からステップS13に進む。
 ステップS12では、検出装置41の画像処理部62は、カメラ21からの撮影画像から、ステップS11で検出された除外領域の画像を除去した画像を顔検出対象領域の画像として生成する。処理はステップS12からステップS13に進む。なお、ステップS11において否定された場合には、カメラ21からの撮影画像の全体を顔検出対象領域の画像とする。
 ステップS13では、検出装置41の顔/特徴量検出部63は、ステップS12で生成された顔検出対象領域の画像、又は、ステップS11おいて否定された場合の顔検出対象領域の画像から、顔の画像又は特徴量を検出する。処理はステップS13からステップS14に進む。ステップS14では、認証装置42は、ステップS13で検出された顔の画像、又は、顔の特徴量を利用して、登録人物の顔との照合による認証又は認識等の処理を行う。処理は、ステップS14からステップS11に戻り、ステップS11乃至ステップS14を繰り返す。
 図5及び図6は、図4のフローチャートに従って顔検出が行われた場合を例示した図である。図5において、カメラ21からの撮影画像101に、実人物Ob1、用紙Ob2、顔写真(顔が映っている写真)Ob3がそれぞれ映り込んでいたとする。このような撮影画像101に対して、ステップS11では、図6のように、用紙Ob2の矩形(四角形)の形状の輪郭線Ea1で囲まれた領域と顔写真Ob3の矩形の形状の輪郭線Ea2で囲まれた領域とが除外領域として検出される。その結果、ステップS13では、撮影画像101から除外領域の画像を除去した顔検出対象領域の画像内から顔(又はその特徴量)の検出が行われる、したがって、実人物Ob1の顔画像の領域Da1のみが検出される。
 図7は、周知の方法で顔検出が行われる場合を例示した図である。なお、図中、図5及び図6と対応する部分には同一符号が付してあるのでその説明は省略する。図7において、従来は除外領域の検出が行われていないため、撮影画像101の全体に対して顔検出が行われる。その結果、実人物Ob1の顔画像の領域Da1のみではなく、顔写真Ob3の顔画像の領域Da2も検出されることになる。その分、顔検出に要する本来不要な処理時間や処理負担が大きくなり、かつ、本人ではない偽物の写真を用いて不正な顔認証が行われる可能性も生じる。
 ここで、本技術と特許文献1(特開2014-219703号公報)に記載された技術を比較する。顔認証システム等では、検出された顔に対する真贋判定が必要とされる場合がある。特許文献1では、カメラの撮影範囲内の撮影画像から顔画像を検出し、検出された顔領域に対して、次のような真贋判定処理を実施している。
・顔の周囲一定範囲における、矩形枠、または線分による矩形推定
・顔周辺の背景の変化率や、背景の連続性
・顔パーツ等が一定時間に変化するか
・生体認証(追加HW/アルゴリズム)を用いた判定
 これらの真贋判定処理は、検出された顔領域に対して個別に処理を行うため、撮影画像内に顔が多数存在することになる、ウォークスルー型のような顔認証システムを想定した場合、顔の検出数に応じて処理が重くなってしまうため、期待する処理時間に収まらないという問題が生じ得る。
 これに対して、本技術では、撮影画像に対して、実物としての人物の顔が存在しない領域を除外領域として顔検出対象領域から除外し、顔検出や顔認証を行わないので、顔検出の処理時間や処理負担を軽減することができる。従って、特許文献1等の周知の技術と比較して本技術は、より多くの数の顔検出を行うことが可能になる。
 <コンピュータの構成例>
 上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
 図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
 バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
 入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
 以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
 また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
 さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 また、例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 <構成の組み合わせ例>
 なお、本技術は以下のような構成も取ることができる。
(1)
 撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する処理部
 を有する情報処理装置。
(2)
 前記処理部は、前記撮影画像の画像領域のうち、実物としての人物の顔画像が含まれない領域を前記除外領域として検出する
 前記(1)に記載の情報処理装置。
(3)
 前記処理部は、前記除外領域として、写真の特徴を有する領域を検出する
 前記(1)又は(2)に記載の情報処理装置。
(4)
 前記処理部は、前記除外領域として、画像を提示する提示媒体の特徴を有する領域を検出する
 前記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
 前記提示媒体は、紙媒体である
 前記(3)に記載の情報処理装置。
(6)
 前記提示媒体は、電子媒体である
 前記(3)又は(4)に記載の情報処理装置。
(7)
 前記処理部は、前記除外領域として、幾何学的な形状の輪郭線により囲まれた領域を検出する
 前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
 前記輪郭線は、連続的な線分を有する
 前記(7)に記載の情報処理装置。
(9)
 前記輪郭線は、矩形、楕円形、又は、多角形の形状を有する
 前記(7)又は(8)に記載の情報処理装置。
(10)
 前記処理部は、前記除外領域として、空間に存在する平面領域に対応する前記撮影画像の領域を検出する
 前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
 前記処理部は、前記除外領域として、空間における光学的な特徴が他と異なる領域に対応する前記撮影画像の領域を検出する
 前記(1)乃至(10)のいずれかに記載の情報処理装置。
(12)
 前記処理部により検出された前記顔画像と、予め登録された登録人物の顔画像とに基づいて顔認証を行う認証部
 を有する
 前記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
 処理部
 を有する
 情報処理装置の
 前記処理部が、撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する
 情報処理方法。
(14)
 コンピュータを、
 撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する処理部
 として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
 なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
 11 顔認識システム, 21 カメラ, 22 画像処理装置, 23出力装置/外部機器制御装置, 41 検出装置, 42 認識装置, 61 写真特徴認識部, 62 画像処理部, 63 顔/特徴量検出部, 64 認証装置制御部, 83 顔照合部, 84 認証部

Claims (14)

  1.  撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する処理部
     を有する情報処理装置。
  2.  前記処理部は、前記撮影画像の画像領域のうち、実物としての人物の顔画像が含まれない領域を前記除外領域として検出する
     請求項1に記載の情報処理装置。
  3.  前記処理部は、前記除外領域として、写真の特徴を有する領域を検出する
     請求項1に記載の情報処理装置。
  4.  前記処理部は、前記除外領域として、画像を提示する提示媒体の特徴を有する領域を検出する
     請求項1に記載の情報処理装置。
  5.  前記提示媒体は、紙媒体である
     請求項4に記載の情報処理装置。
  6.  前記提示媒体は、電子媒体である
     請求項4に記載の情報処理装置。
  7.  前記処理部は、前記除外領域として、幾何学的な形状の輪郭線により囲まれた領域を検出する
     請求項1に記載の情報処理装置。
  8.  前記輪郭線は、連続的な線分を有する
     請求項7に記載の情報処理装置。
  9.  前記輪郭線は、矩形、楕円形、又は、多角形の形状を有する
     請求項7に記載の情報処理装置。
  10.  前記処理部は、前記除外領域として、空間に存在する平面領域に対応する前記撮影画像の領域を検出する
     請求項1に記載の情報処理装置。
  11.  前記処理部は、前記除外領域として、空間における光学的な特徴が他と異なる領域に対応する前記撮影画像の領域を検出する
     請求項1に記載の情報処理装置。
  12.  前記処理部により検出された前記顔画像と、予め登録された登録人物の顔画像とに基づいて顔認証を行う認証部
     を有する
     請求項1に記載の情報処理装置。
  13.  処理部
     を有する
     情報処理装置の
     前記処理部が、撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する
     情報処理方法。
  14.  コンピュータを、
     撮像装置により得られた撮影画像の画像領域のうち、顔検出を行わない領域を除外領域として検出し、前記撮影画像の前記画像領域のうちの前記除外領域以外の領域である顔検出対象領域から顔画像を検出する処理部
     として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
PCT/JP2023/021289 2022-06-20 2023-06-08 情報処理装置、情報処理方法、及び、記録媒体 WO2023248806A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-098577 2022-06-20
JP2022098577 2022-06-20

Publications (1)

Publication Number Publication Date
WO2023248806A1 true WO2023248806A1 (ja) 2023-12-28

Family

ID=89379644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021289 WO2023248806A1 (ja) 2022-06-20 2023-06-08 情報処理装置、情報処理方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023248806A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009231922A (ja) * 2008-03-19 2009-10-08 Sony Corp 構図判定装置、構図判定方法、プログラム
WO2015122183A1 (ja) * 2014-02-12 2015-08-20 日本電気株式会社 情報処理装置、情報処理方法及びプログラム記憶媒体
JP2015201750A (ja) * 2014-04-08 2015-11-12 パナソニックIpマネジメント株式会社 撮像装置及び特徴部位検出方法
WO2019216091A1 (ja) * 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 顔認証装置、顔認証方法および顔認証システム
JP2021026744A (ja) * 2019-08-09 2021-02-22 日本テレビ放送網株式会社 情報処理装置、画像認識方法及び学習モデル生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009231922A (ja) * 2008-03-19 2009-10-08 Sony Corp 構図判定装置、構図判定方法、プログラム
WO2015122183A1 (ja) * 2014-02-12 2015-08-20 日本電気株式会社 情報処理装置、情報処理方法及びプログラム記憶媒体
JP2015201750A (ja) * 2014-04-08 2015-11-12 パナソニックIpマネジメント株式会社 撮像装置及び特徴部位検出方法
WO2019216091A1 (ja) * 2018-05-10 2019-11-14 パナソニックIpマネジメント株式会社 顔認証装置、顔認証方法および顔認証システム
JP2021026744A (ja) * 2019-08-09 2021-02-22 日本テレビ放送網株式会社 情報処理装置、画像認識方法及び学習モデル生成方法

Similar Documents

Publication Publication Date Title
CN109948408B (zh) 活性测试方法和设备
KR102387571B1 (ko) 라이브니스 검사 방법 및 장치
US10289822B2 (en) Liveness detection for antispoof face recognition
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
WO2020083111A1 (zh) 活体检测方法、装置、电子设备、存储介质及应用活体检测方法的相关系统
JP6409929B1 (ja) 照合システム
JP5076563B2 (ja) 顔照合装置
US11348370B2 (en) Iris authentication device, iris authentication method, and recording medium
JP7197485B2 (ja) 検出システム、検出装置およびその方法
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
US10970953B2 (en) Face authentication based smart access control system
US11670069B2 (en) System and method for face spoofing attack detection
WO2021082045A1 (zh) 微笑表情检测方法、装置、计算机设备及存储介质
CN110782228A (zh) 一种工作时长获得方法、装置、电子设备及存储介质
JP6544404B2 (ja) 照合システム
KR20190118993A (ko) 딥러닝을 이용한 대리 면접 예방 방법 및 처리기술
JP6947202B2 (ja) 照合システム
JP2002304651A (ja) 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体
WO2023248806A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
US20230206686A1 (en) Face authentication method, storage medium, and face authentication device
JP2020063659A (ja) 情報処理システム
JP7040578B2 (ja) 照合システム
JP6774036B2 (ja) 照合システム
JP2019132019A (ja) 情報処理装置
RU2798179C1 (ru) Способ, терминал и система для биометрической идентификации

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23826993

Country of ref document: EP

Kind code of ref document: A1