WO2019026722A1 - 画像処理装置および制御プログラム - Google Patents

画像処理装置および制御プログラム Download PDF

Info

Publication number
WO2019026722A1
WO2019026722A1 PCT/JP2018/027858 JP2018027858W WO2019026722A1 WO 2019026722 A1 WO2019026722 A1 WO 2019026722A1 JP 2018027858 W JP2018027858 W JP 2018027858W WO 2019026722 A1 WO2019026722 A1 WO 2019026722A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fingerprint
image processing
unit
finger
Prior art date
Application number
PCT/JP2018/027858
Other languages
English (en)
French (fr)
Inventor
誠司 福田
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2019026722A1 publication Critical patent/WO2019026722A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • One aspect of the present invention relates to an image processing apparatus that processes an image including an image of a living body.
  • Patent Document 1 discloses an authentication device for the purpose of preventing impersonation due to forgery of biological information. Specifically, the authentication device of Patent Document 1 authenticates the living body based on the information indicated by the gesture of the living body included in the image.
  • An aspect of the present invention aims to improve security in fingerprint authentication.
  • the image processing device concerning one mode of the present invention makes the living body concerned from the picture of the finger of the living body contained in the 1st picture by making the picture containing the picture of a living body into the 1st image.
  • FIG. 1 It is a functional block diagram showing composition of an important section of a smart phone concerning Embodiment 1. It is a figure which illustrates a fingerprint.
  • (A)-(m) is a figure for demonstrating the example of operation
  • (A)-(c) is a figure which shows the example of an experiment of the fingerprint concealment process which each used the smart phone of FIG.
  • FIG. It is a functional block diagram which shows the structure of the principal part of the smart phone which concerns on Embodiment 3.
  • Embodiment 1 The first embodiment will be described below.
  • the members having the same functions as the members described in the first embodiment will be denoted by the same reference numerals, and the description thereof will be omitted.
  • the description is suitably abbreviate
  • FIG. 1 is a functional block diagram showing the configuration of the main part of the smartphone 1 (image processing apparatus) of the first embodiment.
  • the smartphone 1 includes a control unit 10, an imaging unit 80, a display unit 81, a communication unit 82, and a storage unit 90.
  • the control unit 10 controls each part of the smartphone 1 in an integrated manner.
  • the control unit 10 includes an image acquisition unit 11, a finger identification unit 12 (finger determination unit), a fingerprint portion extraction unit 13 (extraction unit), and an image processing unit 14.
  • the imaging unit 80 captures an image (hereinafter, also referred to as a first image IMG1) including an image of the user U (living body).
  • the first image IMG1 includes the image of the finger F of the user U and the image of the fingerprint FP of the finger F is mainly illustrated.
  • Examples of the first image IMG1 include (i) an image in which a scene in which the user U is making a peace sign, and (ii) a subject specific to the palm of the user U (e.g., a small animal or a small commodity The image where the scene which carried) was photographed is mentioned.
  • the smartphone 1 can process the first image IMG1 and generate a second image IMG2.
  • 1st image IMG1 is not a specific image and 2nd image IMG2 is a specific image is illustrated mainly.
  • the specific image is an image in which the authentication success rate of the fingerprint FP by image authentication is lower than that of the first image IMG1 in the case where the image of the fingerprint FP is included.
  • the specific image can also be expressed as an image in which it is impossible or difficult to identify the user U by the fingerprint FP.
  • known fingerprint authentication technology may be used for image authentication of the fingerprint FP.
  • the function of performing authentication of the fingerprint FP may be provided to the smartphone 1.
  • authentication of the fingerprint FP may be performed by a device (authentication device) different from the smartphone 1.
  • a person is illustrated as a living body.
  • the living body according to one aspect of the present invention is not limited to a human being, and may be an animal such as a dog or a cat.
  • the living body may be any one that can identify each individual by applying fingerprint authentication technology.
  • the display unit 81 displays various images. For example, the display unit 81 receives a desired image (e.g., the first image IMG1 or the second image IMG2) stored in the storage unit 90 in response to the operation of the user U with respect to the input unit (not shown) of the smartphone 1.
  • the display unit 81 is displayed.
  • a touch panel is used as the display unit 81, the display unit 81 and the input unit can be integrated.
  • the communication unit 82 is a communication interface for the smartphone 1 to communicate with an external device.
  • the communication unit 82 communicates with an external device via, for example, a wireless communication network (not shown).
  • the smartphone 1 can transmit the email attached with the desired image to an external device (eg, a smartphone owned by a user different from the user U).
  • the smartphone 1 can upload the image to the SNS by transmitting the desired image to an external device (for example, a management server of the SNS (Social Network System)).
  • an external device for example, a management server of the SNS (Social Network System)
  • the storage unit 90 is provided with a specific image data storage area 95 as an area for storing the specific image (second image IMG2).
  • the first image captured by the imaging unit 80 may be stored in the storage unit 90 (see an image data storage area 94 described later).
  • the imaging unit 80 images the user U and generates a first image IMG1.
  • the image acquisition unit 11 acquires the first image IMG1 from the imaging unit 80.
  • the finger identifying unit 12 determines whether or not the image of the finger F of the user U is included in the first image.
  • the finger identification unit 12 may use a known finger identification algorithm to determine the presence or absence of the finger F. For example, the finger identifying unit 12 extracts the area including the features unique to the finger F and the periphery thereof (for example, the shapes and colors of the hand, the finger, and the nail) from the first image, thereby the finger Identify F.
  • the finger identifying unit 12 extracts the area including the features unique to the finger F and the periphery thereof (for example, the shapes and colors of the hand, the finger, and the nail) from the first image, thereby the finger Identify F.
  • the finger identification algorithm may use a method (e.g., linear discriminant analysis) that directly geometrically compares the apparent features of each object (object) in the image.
  • the finger identification algorithm may use a method of statistically quantifying an image and comparing the value with a template.
  • the first image IMG1 does not include the image of the finger F of the user U.
  • the first image IMG1 does not include the image of the fingerprint FP. Therefore, the first image IMG1 is a specific image.
  • the control unit 10 stores the first image IMG1 in the specific image data storage area 95 as a specific image.
  • the control unit 10 processes the first image IMG1 to 2
  • the process of generating the image IMG2 (fingerprint concealment process described below) is not performed.
  • the first image IMG1 includes the image of the finger F of the user U.
  • the first image IMG1 may include an image of the fingerprint FP. Therefore, when the third party acquires the first stroke IMG1 image, there is a concern that the third party may steal the image of the fingerprint FP from the first image IMG1.
  • a third party may perform spoofing (eg, unauthorized login) to the user U at the time of fingerprint authentication. Therefore, as described below, the smartphone 1 performs a process for preventing the above-mentioned plagiarism.
  • the fingerprint extraction unit 13 extracts the region to be concealed from the image of the finger F.
  • the region to be concealed is a region (partial region) including the image of the fingerprint FP of the user U in the image of the finger F.
  • the first image IMG1 may not include the image of the fingerprint FP.
  • the first image IMG1 is an image obtained by photographing the vicinity of the back of the hand of the user U
  • the first image IMG1 does not include the image of the fingerprint FP of the user U.
  • the region to be concealed is not extracted from the image of the finger F. Therefore, even when the concealment target area is not extracted from the image of the finger F, the control unit 10 may store the first image IMG1 as the specific image in the specific image data storage area 95.
  • the image processing unit 14 performs image processing on the first image IMG1 so as to conceal at least a part of the image of the fingerprint FP included in the region to be concealed.
  • fingerprint concealment process the process of concealing at least a part of the image of the fingerprint FP is referred to as fingerprint concealment process.
  • the image processing unit 14 generates a second image IMG2 as a result of the fingerprint hiding process on the first image IMG1. As described above, the image processing unit 14 performs image processing on the concealing target area so as to reduce the authentication success rate of the fingerprint FP by image authentication, and generates the second image IMG2.
  • a process of blurring at least a part of the image of the fingerprint in the concealment target area (ii) at least a part of the image of the fingerprint Reducing the resolution of the image, (iii) distorting at least part of the image of the fingerprint, (iv) deleting at least part of the image of the fingerprint, and (v) at least removing the image of the fingerprint.
  • a mask image for example, a stamp image
  • the fingerprint concealing process is preferably irreversible image processing. In this case, it is difficult for a third party to restore the first image IMG1 from the second image IMG2. Therefore, the risk of stealing the image of the fingerprint FP based on the second image IMG2 can be reduced.
  • FIG. 2 is a diagram illustrating a fingerprint FP.
  • characteristic positions the following seven characteristic positions (hereinafter, characteristic positions), that is, (1) “Start point”: the position where the finger ridge starts; (2) “island line”: the position where the island is formed; (3) “short ridge point”: the position of the short ridge which is cut and independent (position of triangle); (4) “end point”: position where finger ridge ends; (5) “junction point”: the position where finger ridges are connected; (6) “branch point”: a position at which the finger ridge is split (a position at which the ridge pattern of the fingerprint is branched); (7) “center point”: the position of the center point; The individual (for example: user U) is collated focusing on
  • fingerprint authentication may be performed using the technology disclosed in "Japanese Patent Application Laid-Open No. 9-44666" or "Japanese Patent Application Laid-Open No. 2000-182057” (both are Japanese published patent applications).
  • the image processing unit 14 performs fingerprint concealment processing to such an extent (level) that at least a part of the seven feature positions described above can not be authenticated by image authentication. From the viewpoint of security improvement, in the fingerprint concealing process, it is preferable that the image processing of the concealment target area is performed to such an extent that at least one of the center point, the triangle, and the branch point can not be authenticated. Further, in the fingerprint concealment process, the security can be further improved by performing the image processing of the concealment target area to such an extent that all of the seven feature positions are not authenticated.
  • FIG. 3 is a diagram for explaining the operations of the fingerprint portion extraction unit 13 and the image processing unit 14.
  • FIG. 3A shows an image of the finger F included in the first image IMG1 in the first example.
  • the first image IMG1 in (a) of FIG. 3 is an image obtained by photographing the finger F from the side.
  • the image of the finger F in the first example includes the image of the fingerprint FP and the image of the nail of the finger F.
  • the image of the finger F shown in FIG. 3A is identified by the finger identification unit 12.
  • the fingerprint portion extraction unit 13 detects a fingertip area (a tip of the finger F) from the image of the finger F.
  • the fingertip area in (b) of FIG. 3 is a portion on the tip side of the first joint of the finger F.
  • the finger tip area may further include a portion proximal to the second joint of the finger F.
  • the fingerprint part extraction unit 13 selects the area inside the fingertip area (the side opposite to the nail), and extracts the concealment target area including the image of the fingerprint FP.
  • (C) of FIG. 3 shows the concealment target area in the first example.
  • the image of the fingerprint FP is clearly displayed to an extent that can be identified by a known fingerprint authentication technology.
  • the resolution of the region to be concealed in (c) of FIG. 3 is taken as the reference value (100%) of the resolution of the region to be concealed.
  • FIG. 3D shows the concealment target area (hereinafter referred to as post-process concealment target area) after the fingerprint concealment process by the image processing unit 14 is performed in the first example.
  • the fingerprint concealment process in the example of (d) of FIG. 3 is a process of reducing the resolution of the concealment target area (more specifically, the resolution of the image of the fingerprint FP in the fingerprint concealment target area) to 20%.
  • the image of the fingerprint FP in the post-process concealment target area can be concealed to such an extent that it can not be identified by a known fingerprint authentication technology.
  • the image processing unit 14 superimposes the post-processing concealment target area on the concealment target area of the first image IMG1 to generate a second image IMG2.
  • (D) of FIG. 3 shows a second image IMG2 in the first example.
  • the image processing unit 14 stores the second image IMG2 as a specific image in the specific image data storage area 95 of the storage unit 90.
  • FIG. (F) of FIG. 3 shows an image of the finger F included in the first image IMG1 in the second example.
  • the first image IMG1 in (f) of FIG. 3 is an image obtained by photographing the finger F from the side of the belly of the finger F.
  • the image of the finger F in the second example includes the image of the fingerprint FP but does not include the image of the nail of the finger F.
  • the image of the finger F shown in (f) of FIG. 3 has been identified by the finger identification unit 12.
  • the fingerprint portion extraction unit 13 detects a fingertip area (the tip of the finger F) from the image of the finger F as in the case of (b) of FIG. 3 described above. . Then, the fingerprint part extraction unit 13 extracts the concealment target area including the image of the fingerprint FP.
  • FIG. 3 shows the concealment target area extracted by the fingerprint portion extraction unit 13. Also in the region to be concealed in (h) of FIG. 3, as in the case of (c) of FIG. 3, the image of the fingerprint FP is clearly represented to an extent that can be identified by a known fingerprint authentication technology.
  • the resolution of the region to be concealed in (h) of FIG. 3 is taken as the reference value (100%) of the resolution of the region to be concealed.
  • the image processing unit 14 performs fingerprint concealment processing on the concealment target area.
  • Each of (i) to (m) in FIG. 3 shows the region to be concealed (the region to be concealed after processing) after the fingerprint concealment process by the image processing unit 14 is performed in the second example.
  • the fingerprint concealment processing in the example of (i) to (m) of FIG. 3 has 80% and 60% resolution of the concealment target area (more specifically, resolution of the image of the fingerprint FP in the fingerprint concealment target area). . Processing to reduce to 40%, 20%, and 10%.
  • the image processing unit 14 As shown in (i) to (m) of FIG. 3, as the resolution of the region to be concealed is lowered, the degree of concealment of the image of the fingerprint FP in the region to be concealed after processing can be improved. That is, as the resolution of the region to be concealed is lowered, the authentication success rate of the fingerprint FP by image authentication can be lowered. Thereafter, the image processing unit 14 generates a second image IMG2 as in the first example. Then, the image processing unit 14 stores the second image IMG2 in the specific image data storage area 95 of the storage unit 90 as a specific image.
  • FIG. 4 is a diagram showing an experimental example of fingerprint hiding processing using the smartphone 1.
  • (A) of FIG. 4 shows the first image IMG1 in the experimental example.
  • the first image IMG1 in (a) of FIG. 4 is a photograph taken in a state in which the user holds the marker pen with the hand.
  • FIG. 4 shows a second image IMG2 obtained as a result of the fingerprint hiding process in the experimental example.
  • the fingerprint concealment process in the example of FIG. 4 is also a process of reducing the resolution of the concealment target area, as in the example of FIG. 3 described above.
  • the fingerprint concealment process in the example of FIG. 4 is a mosaic process on the concealment target area.
  • FIG. 4C is an enlarged view of a region in the vicinity of the finger F in the second image IMG2. As shown in (c) of FIG. 4, it was confirmed that the fingerprint concealing process can appropriately conceal the image of the fingerprint FP.
  • the first image IMG1 is an image captured at random without considering security of fingerprint authentication.
  • the first image IMG1 includes at least an image of fingerprints FP of one or more persons (eg, an image of a fingerprint FP of the user U himself, and an image of a fingerprint FP of a person different from the user U). May be included.
  • the user U manually performs an operation for image processing on the first image IMG1 (for example, an operation for performing mosaic processing on the image of the fingerprint FP), and the first image IMG1 to the fingerprint FP I needed to hide the image. Therefore, in order to ensure the security in fingerprint authentication, it was necessary to make the user U perform complicated operations.
  • the second image IMG2 can be generated from the first image IMG1 by automatically performing the above-mentioned fingerprint concealment processing. That is, the security in fingerprint authentication can be improved without the user U performing a complicated operation. Therefore, it is possible to secure the security in the fingerprint authentication while improving the convenience of the operation of the user U.
  • the fingerprint hiding process of the first embodiment is also applicable to moving images. That is, the smartphone 1 may process the first moving image (e.g., a moving image captured by the imaging unit 80) to generate a second moving image.
  • the first moving image may be a moving image (moving image captured in the past) stored in advance in the storage unit 90 (see also the second embodiment described later).
  • the smartphone 1 may perform the above-mentioned fingerprint concealment processing with each of the N frames included in the first moving image as the first image IMG1. Then, the smartphone 1 generates N second images IMG2. Subsequently, the smartphone 1 combines the N second images IMG2 in order of frame number to generate a second moving image. As a result, it is possible to obtain a second moving image in which security in fingerprint authentication is improved as compared to the first moving image.
  • the image processing device is not limited to the smartphone 1.
  • the function of the image processing apparatus may be added to a digital camera capable of capturing still images and moving images.
  • FIG. 5 is a functional block diagram showing the configuration of the main part of the smartphone 2 (image processing apparatus) of the second embodiment.
  • the smartphone 2 has a configuration in which the imaging unit 80 is removed from the smartphone 1 of the first embodiment.
  • the control unit of the smartphone 2 is referred to as a control unit 20.
  • the control unit 20 has a configuration in which the image acquisition unit 11 of the control unit 10 is replaced with an image acquisition unit 21.
  • An image data storage area 94 is provided in the storage unit 90 of the second embodiment as an area for storing arbitrary image data.
  • the image data storage area 94 may be provided in the storage unit 90 of the first and third embodiments. In the second embodiment, it is assumed that the first image IMG1 is stored in the image data storage area 94.
  • the image acquisition unit 21 acquires a first image from the image data storage area 94. Then, the smartphone 2 performs the same fingerprint concealing process as that of the first embodiment to generate a second image IMG2.
  • the first image IMG1 to be subjected to the fingerprint hiding process in the image processing apparatus according to an aspect of the present invention is not limited to the image captured in real time by the imaging unit 80.
  • the image processing apparatus can also perform fingerprint hiding processing on the first image IMG1 captured in the past.
  • FIG. 6 is a functional block diagram showing the configuration of the main part of the smartphone 3 (image processing apparatus) of the third embodiment.
  • the control unit of the smartphone 3 is referred to as a control unit 30.
  • the control unit 30 has a configuration in which the mode switching unit 35 and the warning unit 36 are added to the control unit 10.
  • the first mode and the second mode are set as the operation mode of the smartphone 3.
  • the mode switching unit 35 switches between the first mode and the second mode.
  • the first mode is a mode in which the image processing unit 14 performs fingerprint concealment processing (a mode in which the image processing unit 14 performs image processing on a region to be concealed).
  • the first mode can also be expressed as a mode in which the image processing unit 14 generates the second image IMG2.
  • the second mode is a mode in which the image processing unit 14 does not perform fingerprint concealment processing (a mode in which the image processing unit 14 does not subject the concealment target area to image processing).
  • the second mode can also be expressed as a mode in which the image processing unit 14 does not generate the second image IMG2.
  • the fingerprint masking process it may be considered preferable not to perform the fingerprint masking process on the first image IMG1.
  • the fingerprint concealment process is not performed on the first image IMG1.
  • the mode switching unit 35 can select one of the first mode and the second mode as the operation mode of the smartphone 3. Therefore, it is possible to allow the user U to optionally select whether to cause the smartphone 3 to perform the fingerprint hiding process on the first image IMG1.
  • the image processing unit 14 may add, to the second image IMG2, identification information indicating that the second image IMG2 is generated as a result of the image processing on the region to be concealed.
  • the identification information may be character data "Fingerprint concealment processing has been performed".
  • the identification information may be an image (eg, a stamp image or a mark) that suggests the user U that the fingerprint concealment process has been performed by the smartphone 3.
  • the identification information may be a management number indicating a history of execution of the fingerprint hiding process by the smartphone 3.
  • the second image IMG2 By adding identification information to the second image IMG2, it is possible to notify the user U that the second image IMG2 is an image generated as a specific image. Therefore, it is possible to reduce the risk that the user U erroneously presents the third image to the first image IMG1 in which the fingerprint FP may be stolen.
  • the warning unit 36 determines whether or not identification information is attached to an image to be transmitted (hereinafter, an image to be transmitted) when the user causes the smartphone 3 to transmit the image to an external device. Determine When the identification information is not attached to the transmission target image, the warning unit 36 warns (informs) the user U to that effect.
  • the warning unit 36 warns the user U that identification information is not attached to the first image IMG1. Do.
  • the warning unit 36 causes the display unit 81 to display character data (message) that "the identification information is not attached to this image. Do you really want to transmit this image?".
  • the warning unit 36 does not give the above warning.
  • the smartphone 3 may transmit the image to the external device after confirming that the warning has not been issued in the warning unit 36.
  • the warning unit 36 it is possible to reduce the risk that the user U erroneously transmits the first image IMG1 in which the fingerprint FP may be stolen to the external device. Therefore, the security in fingerprint authentication can be further improved.
  • the image processing unit 14 may assign a security level to the second image IMG2. For example, the image processing unit 14 may provide the second image IMG2 with any one of three security levels, “high”, “medium”, or “low”.
  • the first image IMG1 is an authentication image (reference image) registered in advance by the user U.
  • the second image IMG2 an image obtained by performing fingerprint concealment processing on the first image IMG1 can also be used as a guide image.
  • the guide image is an image in which the outline of the finger F of the user U is represented.
  • the user U can place the finger F on the sensor with the contour of the finger F indicated in the guide image as a reference of the position. Therefore, the success rate of fingerprint authentication can be improved. Also, as described above, in the guide image, the image of the fingerprint FP is concealed. Therefore, it is possible to prevent the third party from stealing the fingerprint FP from the guide image.
  • control blocks (in particular, the control units 10 to 30) of the smartphones 1 to 3 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.
  • the smartphones 1 to 3 include a computer that executes instructions of a program that is software that implements each function.
  • the computer includes, for example, at least one processor (control device) and at least one computer readable storage medium storing the program.
  • the processor reads the program from the recording medium and executes the program to achieve the object of one aspect of the present invention.
  • a CPU Central Processing Unit
  • the above-mentioned recording medium a tape, a disk, a card, a semiconductor memory, a programmable logic circuit or the like can be used besides “a non-temporary tangible medium”, for example, a ROM (Read Only Memory).
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An image processing apparatus (smart phone 1) is an image processing apparatus (smart phone 1) including an image (user U) of a living body as a first image (IMG1) of the finger (F) of the living body included in the first image.
  • an image processing unit (14) that performs image processing on the area and generates a second image (IMG2).
  • the second image can be generated by performing image processing on the region to be concealed of the first image (that is, performing the fingerprint concealment process described above). That is, as the second image, the above-mentioned specific image (image in which it is impossible or difficult to identify the user U by the fingerprint FP) can be generated. As a result, the risk of fingerprints being stolen from the first image can be reduced, and security in fingerprint authentication can be improved.
  • the image processing in the image processing unit is processing for blurring at least a part of the image of the fingerprint in the concealment target area, at least one of the images of the fingerprint Processing for reducing the resolution of the part, processing for distorting at least part of the fingerprint image, processing for deleting at least part of the fingerprint image, and superimposing a mask image on at least part of the fingerprint image
  • at least one of the treatments is included.
  • fingerprint concealment processing can be appropriately performed.
  • a finger determination unit (finger identification unit 12) that determines whether or not the first image includes an image of the finger of the living body It is preferable to have further.
  • the fingerprint concealment process is performed on the image processing unit only when the first image includes the image of the finger of the living body (when there is a possibility that the fingerprint is stolen from the first image).
  • the image processing unit may not perform fingerprint concealment processing. it can.
  • the mode in which the image processing unit causes the image processing target area to process the image is the first mode. It is preferable to further include a mode switching unit (35) that switches the first mode and the second mode to a second mode that does not process the region to be concealed.
  • the user can arbitrarily select whether or not to cause the image processing apparatus to perform fingerprint concealment processing.
  • the image processing unit in any one of the above aspects 1 to 4, the image processing unit generates that the second image is generated as a result of the image processing on the concealing target area. It is preferable to add identification information to the second image.
  • the second image by adding identification information to the second image, it is possible to notify the user that the second image is an image generated as a specific image. Therefore, it is possible to reduce the risk that the user mistakenly presents the third image to the first image in which the fingerprint may be stolen.
  • the image to be transmitted to the external apparatus by the image processing apparatus is used as the image to be transmitted as the image to be transmitted (eg, first image IMG1). It is preferable to further include a notification unit (warning unit 36) that notifies that effect when the identification information is not added.
  • a notification unit warning unit 36
  • the image processing apparatus may be realized by a computer.
  • the computer is operated as each unit (software element) included in the image processing apparatus to cause the computer to execute the image processing apparatus.
  • a control program of an image processing apparatus to be realized and a computer readable recording medium recording the same also fall within the scope of one aspect of the present invention.

Abstract

指紋認証におけるセキュリティを向上させる。スマートフォン(1)は、第1画像に含まれるユーザ(U)の指の像から、ユーザ(U)の指紋を含む領域である隠蔽対象領域を抽出する指紋部分抽出部(13)と、指紋の像の少なくとも一部を隠蔽するように隠蔽対象領域を画像処理し、第2画像を生成する画像処理部(14)と、を備えている。

Description

画像処理装置および制御プログラム
 本発明の一態様は、生体の像を含む画像を処理する画像処理装置に関する。
 近年、指紋等の生体情報に基づいて個人を認証する生体認証技術において、様々な工夫が提案されている。例えば、特許文献1には、生体情報の偽造による成りすましを防止することを一目的とする認証装置が開示されている。具体的には、特許文献1の認証装置は、画像に含まれる生体のジェスチャが示す情報に基づいて、当該生体を認証する。
日本国公開特許公報「特開2017-49867号公報(2017年3月9日公開)」
 但し、指紋認証においてセキュリティを向上させるための手法については、なお改善の余地がある。本発明の一態様は、指紋認証におけるセキュリティを向上させることを目的とする。
 上記の課題を解決するために、本発明の一態様に係る画像処理装置は、生体の像を含む画像を第1画像として、上記第1画像に含まれる上記生体の指の像から、当該生体の指紋の像を含む領域である隠蔽対象領域を抽出する抽出部と、上記指紋の像の少なくとも一部を隠蔽するように上記隠蔽対象領域を画像処理し、第2画像を生成する画像処理部と、を備えている。
 本発明の一態様に係る画像処理装置によれば、指紋認証におけるセキュリティを向上させることが可能となる。
実施形態1に係るスマートフォンの要部の構成を示す機能ブロック図である。 指紋を例示する図である。 (a)~(m)はそれぞれ、図1のスマートフォンにおける指紋部分抽出部および画像処理部の動作の例を説明するための図である。 (a)~(c)はそれぞれ、図1のスマートフォンを用いた指紋隠蔽処理の実験例を示す図である。 実施形態2に係るスマートフォンの要部の構成を示す機能ブロック図である。 実施形態3に係るスマートフォンの要部の構成を示す機能ブロック図である。
 〔実施形態1〕
 以下、実施形態1について説明する。以降の各実施形態において、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。また、以下では、公知技術と同様の事項については説明を適宜省略する。
 (スマートフォン1の概要)
 図1は、実施形態1のスマートフォン1(画像処理装置)の要部の構成を示す機能ブロック図である。スマートフォン1は、制御部10、撮像部80、表示部81、通信部82、および記憶部90を備える。
 制御部10は、スマートフォン1の各部を統括的に制御する。制御部10は、画像取得部11、指識別部12(指判定部)、指紋部分抽出部13(抽出部)、および画像処理部14を備える。撮像部80は、ユーザU(生体)の像を含む画像(以下、第1画像IMG1とも称する)を撮像する。
 以下、第1画像IMG1において、ユーザUの指Fの像が含まれており、かつ、当該指Fの指紋FPの像が含まれている場合を主に例示する。当該第1画像IMG1の例としては、(i)ユーザUがピースサインをしているシーンが撮影された画像、および、(ii)ユーザUが掌に特定の被写体(例:小動物または小型の商品)を載せたシーンが撮影された画像が挙げられる。
 以下に述べるように、スマートフォン1は、第1画像IMG1を処理し、第2画像IMG2を生成できる。以下では、第1画像IMG1が特定画像でなく、第2画像IMG2が特定画像である場合を主に例示する。特定画像とは、指紋FPの像が含まれている場合の第1画像IMG1に比べて、画像認証による当該指紋FPの認証成功率が低い画像である。
 特定画像は、指紋FPによるユーザUの識別を行うことが不可能または困難である画像とも表現できる。以下に述べるように、指紋FPの画像認証には、公知の指紋認証技術が用いられてよい。指紋FPの認証を行う機能は、スマートフォン1に付与されていてもよい。あるいは、指紋FPの認証は、スマートフォン1とは別の装置(認証装置)によって行われてもよい。
 実施形態1では、生体として人(ユーザU)を例示する。但し、本発明の一態様に係る生体は、人に限定されず、犬または猫等の動物であってもよい。当該生体は、指紋認証技術を適用することにより、各個体を識別できるものであればよい。
 表示部81は、各種の画像を表示する。例えば、表示部81は、スマートフォン1の入力部(不図示)に対するユーザUの操作に応じて、記憶部90に格納された所望の画像(例:第1画像IMG1または第2画像IMG2)を、表示部81に表示させる。なお、表示部81としてタッチパネルを用いた場合、表示部81と入力部とを一体化できる。
 通信部82は、スマートフォン1が外部装置との通信を行うための通信インターフェースである。通信部82は、例えば、不図示の無線通信ネットワークを介して、外部装置と通信を行う。
 一例として、スマートフォン1は、上記所望の画像が添付された電子メールを、外部装置(例:ユーザUとは別のユーザが所持するスマートフォン)に送信できる。あるいは、スマートフォン1は、上記所望の画像を外部装置(例:SNS(Social Network System)の管理サーバ)に送信することにより、当該画像をSNS上にアップロードすることもできる。
 記憶部90には、特定画像(第2画像IMG2)を格納するための領域として、特定画像データ格納領域95が設けられている。記憶部90には、撮像部80によって撮像された第1画像が格納されてもよい(後述の画像データ格納領域94を参照)。
 (スマートフォン1の動作の一例)
 まず、撮像部80は、ユーザUを撮像し、第1画像IMG1を生成する。画像取得部11は、撮像部80から第1画像IMG1を取得する。指識別部12は、第1画像にユーザUの指Fの像が含まれているか否かを判定する。
 指識別部12において、指Fの有無の判定処理には、公知の指識別アルゴリズムが用いられてよい。例えば、指識別部12は、第1画像中から指Fおよびその周辺に固有の特徴(例:手、指、および爪のそれぞれの形状および色)が含まれる領域を抽出することで、当該指Fを識別する。
 指識別アルゴリズムには、画像中の各物体(オブジェクト)の見た目の特徴を、直接的に幾何学的に比較する方法(例:線形判別分析)が用いられてよい。あるいは、指識別アルゴリズムには、画像を統計的に数値化し、その数値をテンプレートと比較する方法が用いられてもよい。
 まず、第1画像IMG1にユーザUの指Fの像が含まれていない場合を考える。この場合、第1画像IMG1には指紋FPの像が含まれていない。従って、第1画像IMG1は特定画像である。
 この場合、ユーザUとは異なる悪意の第3者が第1画像IMG1を取得したとしても、当該第3者は、第1画像IMG1から指紋FPの像を盗用できない。このため、第1画像IMG1にユーザUの指Fの像が含まれていない場合には、制御部10は、第1画像IMG1を特定画像として、特定画像データ格納領域95に格納する。
 つまり、第1画像IMG1にユーザUの指Fの像が含まれていない場合(第1画像IMG1がすでに特定画像である場合)には、制御部10は、第1画像IMG1を処理して第2画像IMG2を生成する処理(以下に述べる指紋隠蔽処理)を行わない。
 続いて、第1画像IMG1にユーザUの指Fの像が含まれている場合を考える。この場合、第1画像IMG1には指紋FPの像が含まれている可能性がある。従って、第3者が第1画IMG1像を取得した場合、当該第3者が、第1画像IMG1から指紋FPの像を盗用することが懸念される。このような盗用が行われた場合、第3者が、指紋認証時にユーザUへの成りすまし(例:不正ログイン)を行う可能性がある。そこで、以下に述べるように、スマートフォン1は、上記盗用を防止するための処理を行う。
 第1画像IMG1にユーザUの指Fの像が含まれている場合、指紋部分抽出部13は、指Fの像から隠蔽対象領域を抽出する。隠蔽対象領域とは、指Fの像のうち、ユーザUの指紋FPの像を含む領域(部分領域)である。
 なお、第1画像IMG1にユーザUの指Fの像が含まれていたとしても、当該第1画像IMG1に指紋FPの像が含まれていない場合がある。例えば、第1画像IMG1がユーザUの手の甲の付近を撮影した画像である場合、当該第1画像IMG1にはユーザUの指紋FPの像が含まれていない。この場合、指Fの像から隠蔽対象領域は抽出されない。従って、指Fの像から隠蔽対象領域が抽出されなかった場合にも、制御部10は、第1画像IMG1を特定画像として、特定画像データ格納領域95に格納してよい。
 以下、第1画像IMG1に指紋FPの像が含まれている場合(すなわち、指紋部分抽出部13によって隠蔽対象領域が抽出された場合)を考える。この場合、画像処理部14は、隠蔽対象領域に含まれる指紋FPの像の少なくとも一部を隠蔽するように、第1画像IMG1に画像処理を施す。以下、指紋FPの像の少なくとも一部を隠蔽する処理を、指紋隠蔽処理と称する。
 画像処理部14は、第1画像IMG1に対する指紋隠蔽処理の結果として、第2画像IMG2を生成する。このように、画像処理部14は、画像認証による指紋FPの認証成功率を低下させるように隠蔽対象領域を画像処理し、第2画像IMG2を生成する。
 具体的に具体的には、画像処理部14における指紋隠蔽処理は、上記隠蔽対象領域において、(i)上記指紋の像の少なくとも一部をぼかす処理、(ii)上記指紋の像の少なくとも一部の解像度を低下させる処理、(iii)上記指紋の像の少なくとも一部を歪ませる処理、(iv)上記指紋の像の少なくとも一部を削除する処理、および、(v)上記指紋の像の少なくとも一部にマスク画像(例:スタンプ画像)を重ね合わせる処理、のうちの少なくとも1つを含んでいる。
 なお、指紋隠蔽処理は、不可逆的な画像処理であることが好ましい。この場合、第3者が、第2画像IMG2から第1画像IMG1を復元することが困難となるためである。それゆえ、第2画像IMG2に基づいて指紋FPの像を盗用されるリスクを低減できる。
 図2は、指紋FPを例示する図である。一般的に、指紋認証では、以下の7つの特徴的な位置(以下、特徴位置)、すなわち、
  (1)「開始点」:指隆線が始まる位置;
  (2)「島形線」:島形になっている位置;
  (3)「短い隆線の点」:切れて独立している短い隆線の位置(三角州の位置);
  (4)「終止点」:指隆線が終わる位置;
  (5)「接合点」:指隆線が繋がる位置;
  (6)「分岐点」:指隆線が分裂している位置(指紋の凸部模様の枝分かれが生じる位置);
  (7)「中心点」:中心点の位置;
に着目して、個人(例:ユーザU)の照合が行われる。
 指紋認証には、公知の技術が用いられてよい。例えば、「特開平9-44666号公報」または「特開2000-182057号公報」(いずれも日本国公開特許公報)に開示されている技術を用いて、指紋認証が行われてよい。
 画像処理部14は、上述の7つの特徴位置のうちの少なくとも一部が画像認証によって認証できない程度(レベル)まで、指紋隠蔽処理を行う。セキュリティ向上の観点から、指紋隠蔽処理では、中心点、三角洲、および分岐点の少なくとも1つが認証できない程度まで、隠蔽対象領域の画像処理が行われることが好ましい。また、指紋隠蔽処理において、7つの特徴位置のうちの全てが認証されない程度まで隠蔽対象領域の画像処理を行うことにより、さらにセキュリティを向上させることができる。
 (第1の例)
 図3は、指紋部分抽出部13および画像処理部14の動作を説明するための図である。まず、図3の(a)~(e)を参照し、第1の例について述べる。図3の(a)は、第1の例において第1画像IMG1に含まれる指Fの像を示す。図3の(a)の第1画像IMG1は、指Fを側面から撮影することで得られた画像であるとする。第1の例における指Fの像には、指紋FPの像および指Fの爪の像が含まれている。以下の例では、図3の(a)に示される指Fの像が、指識別部12によって識別されたものとする。
 図3の(b)に示されるように、指紋部分抽出部13は、指Fの像から指先エリア(指Fの先端部)を検出する。図3の(b)における指先エリアは、指Fの第1関節よりも先端側の部分である。但し、指先エリアには、指Fの第2関節よりも基端側の部分がさらに含まれていてもよい。
 続いて、指紋部分抽出部13は、指先エリアの内側(爪とは反対の側)の領域を選択し、指紋FPの像を含む隠蔽対象領域を抽出する。図3の(c)は、第1の例における隠蔽対象領域を示す。図3の(c)の隠蔽対象領域(指紋隠蔽処理が施される前の隠蔽対象領域)では、指紋FPの像が、公知の指紋認証技術によって識別可能な程度に鮮明に表現されている。第1の例では、図3の(c)における隠蔽対象領域の解像度を、当該隠蔽対象領域の解像度の基準値(100%)とする。
 続いて、画像処理部14は、隠蔽対象領域に指紋隠蔽処理を施す。図3の(d)は、第1の例において、画像処理部14による指紋隠蔽処理が施された後の隠蔽対象領域(以下、処理後隠蔽対象領域)を示す。
 図3の(d)の例における指紋隠蔽処理は、隠蔽対象領域の解像度(より具体的には、指紋隠蔽対象領域における指紋FPの像の解像度)を20%に低下させる処理である。当該指紋隠蔽処理によれば、処理後隠蔽対象領域における指紋FPの像を、公知の指紋認証技術によって識別できない程度に隠蔽できる。
 続いて、画像処理部14は、第1画像IMG1の隠蔽対象領域に処理後隠蔽対象領域を重ね合わせて、第2画像IMG2を生成する。図3の(d)は、第1の例における第2画像IMG2を示す。画像処理部14は、第2画像IMG2を特定画像として、記憶部90の特定画像データ格納領域95に格納する。
 (第2の例)
 図3の(f)~(m)を参照し、第2の例について述べる。図3の(f)は、第2の例において第1画像IMG1に含まれる指Fの像を示す。図3の(f)の第1画像IMG1は、指Fを当該指Fの腹の側から撮影することで得られた画像であるとする。第2の例における指Fの像には、指紋FPの像が含まれているが、指Fの爪の像は含まれていない。以下の例では、図3の(f)に示される指Fの像が、指識別部12によって識別されたものとする。
 図3の(g)に示されるように、指紋部分抽出部13は、上述の図3の(b)の場合と同様に、指Fの像から指先エリア(指Fの先端部)を検出する。そして、指紋部分抽出部13は、指紋FPの像を含む隠蔽対象領域を抽出する。
 図3の(h)は、指紋部分抽出部13によって抽出された隠蔽対象領域を示す。図3の(h)の隠蔽対象領域においても、図3の(c)の場合と同様に、指紋FPの像が、公知の指紋認証技術によって識別可能な程度に鮮明に表現されている。第2の例では、図3の(h)における隠蔽対象領域の解像度を、当該隠蔽対象領域の解像度の基準値(100%)とする。
 続いて、画像処理部14は、隠蔽対象領域に指紋隠蔽処理を施す。図3の(i)~(m)はそれぞれ、第2の例において、画像処理部14による指紋隠蔽処理が施された後の隠蔽対象領域(処理後隠蔽対象領域)を示す。
 図3の(i)~(m)の例における指紋隠蔽処理はそれぞれ、隠蔽対象領域の解像度(より具体的には、指紋隠蔽対象領域における指紋FPの像の解像度)を、80%、60%。40%、20%、および10%に低下させる処理である。
 図3の(i)~(m)に示されるように、隠蔽対象領域の解像度を低くするにつれて、処理後隠蔽対象領域における指紋FPの像の隠蔽の程度を向上させることができる。つまり、隠蔽対象領域の解像度を低くするにつれて、画像認証による指紋FPの認証成功率を低下させることができる。以降、画像処理部14は、第1の例の場合と同様に、第2画像IMG2を生成する。そして、画像処理部14は、第2画像IMG2を特定画像として、記憶部90の特定画像データ格納領域95に格納する。
 (実験例)
 図4は、スマートフォン1を用いた指紋隠蔽処理の実験例を示す図である。図4の(a)は、当該実験例における第1画像IMG1を示す。図4の(a)における第1画像IMG1は、マーカーペンをユーザUの手によって把持した状態が撮影された写真である。
 図4の(b)は、当該実験例における指紋隠蔽処理の結果として得られた第2画像IMG2を示す。図4の例における指紋隠蔽処理も、上述の図3の例と同様に、隠蔽対象領域の解像度を低下させる処理である。具体的には、図4の例における指紋隠蔽処理は、隠蔽対象領域に対するモザイク処理である。
 図4の(c)は、第2画像IMG2における指Fの付近の領域を拡大した図である。図4の(c)に示されるように、指紋隠蔽処理によって指紋FPの像を適切に隠蔽できることが確認された。
 (スマートフォン1の効果)
 例えば、第1画像IMG1が、指紋認証のセキュリティを考慮することなく、無作為に撮影された画像である場合を考える。このような場合、第1画像IMG1には、1人以上の人物の指紋FPの像(例:ユーザU自身の指紋FPの像、および、ユーザUとは別の人物の指紋FPの像の少なくともいずれか)が含まれている可能性がある。
 悪意の第3者が指紋FPの像を盗用することを避けるためには、第1画像IMG1から指紋FPの像を隠蔽することが好ましい。しかしながら、従来では、ユーザU自身が第1画像IMG1に対する画像処理のための操作(例:指紋FPの像にモザイク処理を施すための操作)を手動で行い、当該第1画像IMG1から指紋FPの像を隠蔽する必要があった。従って、指紋認証におけるセキュリティを確保するためには、ユーザUに煩雑な操作を行わせる必要があった。
 これに対して、スマートフォン1によれば、上述の指紋隠蔽処理を自動で行うことにより、第1画像IMG1から第2画像IMG2を生成できる。つまり、ユーザUに煩雑な操作を行わせることなく、指紋認証におけるセキュリティを向上させることができる。このため、ユーザUの操作の利便性を向上させつつ、指紋認証におけるセキュリティを確保することが可能となる。
 なお、実施形態1の指紋隠蔽処理は、動画像に対しても適用可能である。つまり、スマートフォン1は、第1動画像(例:撮像部80によって撮像された動画像)を処理し、第2動画像を生成してもよい。なお、第1動画像は、記憶部90にあらかじめ格納された動画像(過去に撮影された動画像)であってもよい(後述の実施形態2も参照)。
 具体的には、スマートフォン1は、第1動画像に含まれるN個のフレームのそれぞれを第1画像IMG1として、上述の指紋隠蔽処理を行えばよい。そして、スマートフォン1は、N個の第2画像IMG2を生成する。続いて、スマートフォン1は、N個の第2画像IMG2をフレーム番号順に合成して、第2動画像を生成する。これにより、指紋認証におけるセキュリティが第1動画像に比べて向上した第2動画像を得ることができる。
 なお、本発明の一態様に係る画像処理装置は、スマートフォン1に限定されない。一例として、静止画および動画像を撮影可能なデジタルカメラに当該画像処理装置の機能を付与してもよい。
 〔実施形態2〕
 図5は、実施形態2のスマートフォン2(画像処理装置)の要部の構成を示す機能ブロック図である。スマートフォン2は、実施形態1のスマートフォン1から撮像部80を取り除いた構成である。スマートフォン2の制御部を、制御部20と称する。制御部20は、制御部10の画像取得部11を、画像取得部21に置き換えた構成である。
 実施形態2の記憶部90には、任意の画像データを格納するための領域として、画像データ格納領域94が設けられている。画像データ格納領域94は、実施形態1・3の記憶部90に設けられてもよい。実施形態2では、画像データ格納領域94に第1画像IMG1が格納されているものとする。
 画像取得部21は、画像データ格納領域94から第1画像を取得する。そして、スマートフォン2は、実施形態1と同様の指紋隠蔽処理を行い、第2画像IMG2を生成する。このように、本発明の一態様に係る画像処理装置における指紋隠蔽処理の対象となる第1画像IMG1は、撮像部80によってリアルタイムで撮影された画像に限定されない。当該画像処理装置は、過去に撮影された第1画像IMG1に対しても、指紋隠蔽処理を施すことができる。
 このため、例えば、スマートフォン2が、過去に撮影された第1画像IMG1を外部装置に通信する場合(例:第1画像IMG1をSNS上にアップロードする場合)においても、指紋認証におけるセキュリティを向上させることが可能となる。
 〔実施形態3〕
 図6は、実施形態3のスマートフォン3(画像処理装置)の要部の構成を示す機能ブロック図である。スマートフォン3の制御部を、制御部30と称する。制御部30は、制御部10に対して、モード切替部35および警告部36を付加した構成である。
 実施形態3では、スマートフォン3の動作モードとして、第1モードと第2モードとが設定されている。モード切替部35は、第1モードと第2モードとを切り替える。第1モードとは、画像処理部14に指紋隠蔽処理を行わせるモード(画像処理部14に隠蔽対象領域を画像処理させるモード)である。第1モードは、画像処理部14に第2画像IMG2を生成させるモードとも表現できる。
 第2モードとは、画像処理部14に指紋隠蔽処理を行わせないモード(画像処理部14に隠蔽対象領域を画像処理させないモード)である。第2モードは、画像処理部14に第2画像IMG2を生成させないモードとも表現できる。
 第1画像IMG1の用途によっては、当該第1画像IMG1に対して指紋隠蔽処理を施さないことが好ましいことも考えられる。例えば、ユーザUが指紋FPを意図的に特定の人物に提示したいと考えている場合には、第1画像IMG1に対して指紋隠蔽処理を施さないことが好ましい。
 モード切替部35によれば、スマートフォン3の動作モードとして、第1モードまたは第2モードの一方を選択できる。それゆえ、スマートフォン3に第1画像IMG1に対する指紋隠蔽処理を行わせるか否かを、ユーザUに随意に選択させることができる。
 実施形態3において、画像処理部14は、第2画像IMG2が隠蔽対象領域に対する画像処理の結果として生成されたことを示す識別情報を、当該第2画像IMG2に付加してもよい。
 一例として、識別情報は、「指紋隠蔽処理を実行しました」という文字データであってよい。あるいは、識別情報は、スマートフォン3によって指紋隠蔽処理が実行されたことをユーザUに示唆する画像(例:スタンプ画像またはマーク)であってもよい。また、識別情報は、スマートフォン3による指紋隠蔽処理が実行された履歴を示す管理番号であってもよい。
 第2画像IMG2に識別情報が付加されることにより、第2画像IMG2は特定画像として生成された画像である旨を、ユーザUに報知できる。従って、指紋FPが盗用される可能性がある第1画像IMG1を、ユーザUが誤って第3者に提示するリスクを低減できる。
 警告部36(報知部)は、ユーザがスマートフォン3に画像を外部装置に送信させる操作を行った場合に、送信対象となる画像(以下、送信対象画像)に識別情報が付されているか否かを判定する。そして、警告部36は、送信対象画像に識別情報が付されていない場合には、その旨をユーザUに警告(報知)する。
 一例として、警告部36は、ユーザがスマートフォン3に第1画像IMG1を外部装置に送信させる操作を行った場合には、当該第1画像IMG1に識別情報が付されていない旨をユーザUに警告する。例えば、警告部36は、「この画像には識別情報が付されていません。本当にこの画像を送信しますか?」という文字データ(メッセージ)を、表示部81に表示させる。
 他方、警告部36は、送信対象画像に識別情報が付されている場合(例:第2画像IMG2が送信対象画像である場合)には、上記警告を行わない。この場合、スマートフォン3は、警告部36において上記警告が行われなかったことを確認した後、当該画像を外部装置に送信してもよい。
 警告部36によれば、指紋FPが盗用される可能性がある第1画像IMG1を、ユーザUが誤って外部装置に送信するリスクを低減できる。このため、指紋認証におけるセキュリティをさらに向上させることが可能となる。
 なお、画像処理部14は、第2画像IMG2を特定画像データ格納領域95に格納する場合に、当該第2画像IMG2にセキュリティレベルを付与してもよい。例えば、画像処理部14は、第2画像IMG2に、「高」、「中」、または「低」の3通りのうちの、いずれか1つのセキュリティレベルを付与してもよい。
 また、例えば、フルインセルパネル内のセンサを用いてユーザUに指紋認証を行わせる場合を考える。ここで、第1画像IMG1が、ユーザUによってあらかじめ登録された認証用の画像(基準画像)であるとする。この場合、第2画像IMG2(第1画像IMG1に指紋隠蔽処理が施された画像)をガイド画像として用いることもできる。一例として、ガイド画像は、ユーザUの指Fの輪郭が表現された画像であるとする。
 当該構成によれば、ユーザUは、ガイド画像に示された指Fの輪郭を位置の目安として、センサ上に指Fを載置できる。それゆえ、指紋認証の成功率を向上させることができる。また、上述のように、ガイド画像では指紋FPの像が隠蔽されている。このため、第3者によってガイド画像から指紋FPが盗用されることを防止できる。
 〔ソフトウェアによる実現例〕
 スマートフォン1~3の制御ブロック(特に制御部10~30)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
 後者の場合、スマートフォン1~3は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 〔まとめ〕
 本発明の態様1に係る画像処理装置(スマートフォン1)は、生体の像(ユーザU)を含む画像を第1画像(IMG1)として、上記第1画像に含まれる上記生体の指(F)の像から、当該生体の指紋(FP)の像を含む領域である隠蔽対象領域を抽出する抽出部(指紋部分抽出部13)と、上記指紋の像の少なくとも一部を隠蔽するように上記隠蔽対象領域を画像処理し、第2画像(IMG2)を生成する画像処理部(14)と、を備えている。
 上記の構成によれば、第1画像の隠蔽対象領域を画像処理し(つまり、上述の指紋隠蔽処理を行って)、第2画像を生成できる。すなわち、第2画像として、上述の特定画像(指紋FPによるユーザUの識別を行うことが不可能または困難である画像)を生成できる。このため、第1画像から指紋を盗用されるリスクを低下させることができるので、指紋認証におけるセキュリティを向上させることが可能となる。
 本発明の態様2に係る画像処理装置は、上記態様1において、上記画像処理部における画像処理が、上記隠蔽対象領域において上記指紋の像の少なくとも一部をぼかす処理、上記指紋の像の少なくとも一部の解像度を低下させる処理、上記指紋の像の少なくとも一部を歪ませる処理、上記指紋の像の少なくとも一部を削除する処理、および、上記指紋の像の少なくとも一部にマスク画像を重ね合わせる処理、のうちの少なくとも1つを含んでいることが好ましい。
 上記の構成によれば、指紋隠蔽処理を適切に行うことができる。
 本発明の態様3に係る画像処理装置は、上記態様1または2において、上記第1画像に上記生体の指の像が含まれているか否かを判定する指判定部(指識別部12)をさらに備えていることが好ましい。
 上記の構成によれば、第1画像に生体の指の像が含まれている場合(第1画像から指紋を盗用される可能性がある場合)にのみ、画像処理部に指紋隠蔽処理を行わせることができる。つまり、第1画像から指紋を盗用される可能性がない場合(第1画像に生体の指の像が含まれていない場合)には、当該画像処理部に指紋隠蔽処理を行わせないことができる。
 本発明の態様4に係る画像処理装置は、上記態様1から3のいずれか1つにおいて、上記画像処理部に上記隠蔽対象領域を画像処理させるモードを第1モードとして、上記画像処理部に上記隠蔽対象領域を画像処理させないモードを第2モードとして、上記第1モードと上記第2モードとを切り替えるモード切替部(35)をさらに備えていることが好ましい。
 上記の構成によれば、画像処理装置に指紋隠蔽処理を行わせるか否かを、ユーザに随意に選択させることができる。
 本発明の態様5に係る画像処理装置は、上記態様1から4のいずれか1つにおいて、上記画像処理部は、上記第2画像が上記隠蔽対象領域に対する画像処理の結果として生成されたことを示す識別情報を、当該第2画像に付加することが好ましい。
 上記の構成によれば、第2画像に識別情報が付加されることにより、当該第2画像は特定画像として生成された画像である旨を、ユーザに報知できる。従って、指紋が盗用される可能性がある第1画像を、ユーザが誤って第3者に提示するリスクを低減できる。
 本発明の態様6に係る画像処理装置は、上記態様5において、上記画像処理装置が外部装置への送信対象とする画像を送信対象画像(例:第1画像IMG1)として、上記送信対象画像に上記識別情報が付加されていない場合に、その旨を報知する報知部(警告部36)をさらに備えていることが好ましい。
 上記の構成によれば、指紋が盗用される可能性がある送信対象画像を、ユーザが誤って外部装置に送信するリスクを低減できる。このため、指紋認証におけるセキュリティをさらに向上させることが可能となる。
 本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部(ソフトウェア要素)として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の一態様の範疇に入る。
 〔付記事項〕
 本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成できる。
 1、2、3 スマートフォン(画像処理装置)
 12 指識別部(指判定部)
 13 指紋部分抽出部(抽出部)
 14 画像処理部
 35 モード切替部
 36 警告部(報知部)
 F 指
 FP 指紋
 IMG1 第1画像、送信対象画像
 IMG2 第2画像
 U ユーザ(生体)

Claims (7)

  1.  生体の像を含む画像を第1画像として、
     上記第1画像に含まれる上記生体の指の像から、当該生体の指紋の像を含む領域である隠蔽対象領域を抽出する抽出部と、
     上記指紋の像の少なくとも一部を隠蔽するように上記隠蔽対象領域を画像処理し、第2画像を生成する画像処理部と、を備えていることを特徴とする画像処理装置。
  2.  上記画像処理部における画像処理は、
     上記隠蔽対象領域において
      上記指紋の像の少なくとも一部をぼかす処理、
      上記指紋の像の少なくとも一部の解像度を低下させる処理、
      上記指紋の像の少なくとも一部を歪ませる処理、
      上記指紋の像の少なくとも一部を削除する処理、および、
      上記指紋の像の少なくとも一部にマスク画像を重ね合わせる処理、のうちの少なくとも1つを含んでいることを特徴とする請求項1に記載の画像処理装置。
  3.  上記第1画像に上記生体の指の像が含まれているか否かを判定する指判定部をさらに備えていることを特徴とする請求項1または2に記載の画像処理装置。
  4.  上記画像処理部に上記隠蔽対象領域を画像処理させるモードを第1モードとして、
     上記画像処理部に上記隠蔽対象領域を画像処理させないモードを第2モードとして、
     上記第1モードと上記第2モードとを切り替えるモード切替部をさらに備えていることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5.  上記画像処理部は、上記第2画像が上記隠蔽対象領域に対する画像処理の結果として生成されたことを示す識別情報を、当該第2画像に付加することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6.  上記画像処理装置が外部装置への送信対象とする画像を送信対象画像として、
     上記送信対象画像に上記識別情報が付加されていない場合に、その旨を報知する報知部をさらに備えていることを特徴とする請求項5に記載の画像処理装置。
  7.  請求項1に記載の画像処理装置としてコンピュータを機能させるための制御プログラムであって、上記抽出部および上記画像処理部としてコンピュータを機能させるための制御プログラム。
PCT/JP2018/027858 2017-08-01 2018-07-25 画像処理装置および制御プログラム WO2019026722A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-149026 2017-08-01
JP2017149026 2017-08-01

Publications (1)

Publication Number Publication Date
WO2019026722A1 true WO2019026722A1 (ja) 2019-02-07

Family

ID=65232650

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027858 WO2019026722A1 (ja) 2017-08-01 2018-07-25 画像処理装置および制御プログラム

Country Status (1)

Country Link
WO (1) WO2019026722A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597592A (zh) * 2020-04-27 2020-08-28 华为技术有限公司 一种输入方法、输入装置及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213181A (ja) * 2006-02-08 2007-08-23 Advanced Telecommunication Research Institute International プライバシー保護画像生成装置
JP2014204273A (ja) * 2013-04-04 2014-10-27 キヤノン株式会社 画像記録装置、その制御方法、および制御プログラム
JP2015138409A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 画像管理装置、画像管理方法、及びプログラム
JP2015222460A (ja) * 2014-05-22 2015-12-10 日本電信電話株式会社 公開画像編集方法及び公開画像編集装置
JP2016212345A (ja) * 2015-05-13 2016-12-15 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213181A (ja) * 2006-02-08 2007-08-23 Advanced Telecommunication Research Institute International プライバシー保護画像生成装置
JP2014204273A (ja) * 2013-04-04 2014-10-27 キヤノン株式会社 画像記録装置、その制御方法、および制御プログラム
JP2015138409A (ja) * 2014-01-22 2015-07-30 シャープ株式会社 画像管理装置、画像管理方法、及びプログラム
JP2015222460A (ja) * 2014-05-22 2015-12-10 日本電信電話株式会社 公開画像編集方法及び公開画像編集装置
JP2016212345A (ja) * 2015-05-13 2016-12-15 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597592A (zh) * 2020-04-27 2020-08-28 华为技术有限公司 一种输入方法、输入装置及移动终端
CN111597592B (zh) * 2020-04-27 2022-10-04 华为技术有限公司 一种输入方法、输入装置及移动终端

Similar Documents

Publication Publication Date Title
US10997445B2 (en) Facial recognition-based authentication
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
CN105612533B (zh) 活体检测方法、活体检测系统以及计算机程序产品
US20150186708A1 (en) Biometric identification system
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
US10846514B2 (en) Processing images from an electronic mirror
US10303863B2 (en) Motion-based credentials using magnified motion
WO2016172923A1 (zh) 视频检测方法、视频检测系统以及计算机程序产品
JP2007122400A (ja) 認証装置、プログラムおよび記録媒体
CN109684993B (zh) 一种基于鼻孔信息的人脸识别方法、系统和设备
CN109635021A (zh) 一种基于人体检测的数据信息录入方法、装置及设备
CN108959884B (zh) 人证核验装置和方法
CN112101200A (zh) 一种人脸反识别方法、系统、计算机设备及可读存储介质
JP2005259049A (ja) 顔面照合装置
WO2019026722A1 (ja) 画像処理装置および制御プログラム
CN112600886A (zh) 端云结合的隐私保护方法、装置以及设备
JP2018129750A (ja) 画像監視システム
US10956604B2 (en) Electronic device and operation method thereof
CN108304563A (zh) 图片处理方法、装置及设备
CN111260537A (zh) 一种图像隐私保护方法、装置、存储介质及摄像设备
JP2019032640A (ja) 生体認証装置、制御装置、制御方法、および、プログラム
JP7077106B2 (ja) 撮影画像データ処理装置および撮影画像データ処理方法
JP5700524B2 (ja) 個人認証方法及びシステム
CN111866573A (zh) 视频的播放方法、装置、电子设备及存储介质
KR102531287B1 (ko) 자세 인식 기반의 영상 초상권 보호 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18840880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18840880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP