WO2021194103A1 - 센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법 - Google Patents

센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법 Download PDF

Info

Publication number
WO2021194103A1
WO2021194103A1 PCT/KR2021/002230 KR2021002230W WO2021194103A1 WO 2021194103 A1 WO2021194103 A1 WO 2021194103A1 KR 2021002230 W KR2021002230 W KR 2021002230W WO 2021194103 A1 WO2021194103 A1 WO 2021194103A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
electronic device
light source
display
Prior art date
Application number
PCT/KR2021/002230
Other languages
English (en)
French (fr)
Inventor
김진호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021194103A1 publication Critical patent/WO2021194103A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification

Definitions

  • Various embodiments disclosed in this document relate to an electronic device including a sensor and a method for obtaining biometric information using the same.
  • the electronic device may support a biometric information acquisition function.
  • the electronic device may support a fingerprint recognition function.
  • the sensor providing the fingerprint recognition function may be disposed on the periphery of the lower periphery of the display area of the electronic device or on the rear side of the case of the electronic device, and the electronic device may support the fingerprint authentication function based on this.
  • a sensor eg, a fingerprint sensor
  • a non-display area eg, a bezel area
  • a fingerprint sensor may be attached to the rear surface of the display.
  • the width of a non-display area such as a bezel around the display area may be reduced while the fingerprint sensor is disposed.
  • a light source for fingerprint recognition is not separately disposed, and a light source included in the display (eg, a backlight unit (BLU), a light emitting diode (LED), or an organic light emitting diode (OLED)) ) can be used as a light source for the fingerprint sensor.
  • a light source included in the display eg, a backlight unit (BLU), a light emitting diode (LED), or an organic light emitting diode (OLED)
  • the electronic device may acquire the shape of the fingerprint as an image by turning on the light source at the position where the fingerprint is sensed and detecting light reflected from the fingerprint.
  • the sensor may form an image of the fingerprint by sensing a difference in reflectance at ridges and/or valleys of the fingerprint.
  • the sensor may detect a difference in reflectance according to characteristics of ridges and/or valleys of the fingerprint based on a difference in the amount of light obtained, and generate an image. It may not be easy for the sensor to determine the reason for the difference in the amount of light. For example, distinguishing a case in which a difference in the amount of light occurs due to the ridges and/or valleys of the actual fingerprint of the sensor and a case in which a difference in the amount of light occurs due to portions having different reflectances in the output of the image of the fingerprint. It may not be easy. When substantially the same amount of light is obtained by the output of the image of the real finger print and the fingerprint, the real finger print may be stolen.
  • an object of the present disclosure is to provide a method for obtaining biometric information that increases security performance by clearly distinguishing an actual finger print from an image of the fingerprint, and an electronic device implementing the same.
  • An electronic device includes a display including at least one light source, a sensor disposed on one surface of the display or inside the display, and at least the display and at least one operatively connected to the sensor.
  • one processor wherein the at least one processor emits a first light corresponding to an object outside the display from at least one light source disposed in a first area of the display, and based on the first light obtain a first image of the object, extract at least one first feature point from the first image, and correspond to the at least one first feature point among the at least one light source in a first direction emitting a second light from a first light source disposed at a position where the user's finger When the first area is in contact, the at least one light source emits the first light to obtain a second image of the finger, and the at least one first feature point corresponding to the second image of the finger When a second feature point is sensed, the first light source emits a third light to obtain second material property information that is the physical property information of the finger based on light
  • the electronic device includes a display including at least one light source, a sensor disposed on one surface of the display or inside the display, and the display and the sensor operatively. at least one processor connected to it, wherein the at least one processor emits a first light corresponding to an object outside the display from at least one light source disposed in a first area of the display, and receives the first light based on obtaining a first image of the object, emitting a second light from a second light source disposed in a second area that is a peripheral area of the first area, and based on light amount information according to a distance from the second light source to acquire and register the first physical property information, which is the physical property information of the object, and when the user's finger touches the first area, the first light is emitted from the at least one light source to obtain a second image of the finger and when the second image of the finger corresponds to the first image by a specified degree or more, a third light is emitted from the second light source, and the
  • the method for obtaining biometric information of an electronic device includes: emitting a first light from at least one light source disposed in a first area of a display in response to an object outside the display; obtaining a first image of the object based on the first light; extracting at least one first feature point from the first image; An operation of emitting a second light from a first light source disposed at a position corresponding to the first direction, and obtaining and registering first material property information, which is property information of the object, based on light amount information according to a distance from the first light source an operation of emitting the first light from the at least one light source when a user's finger comes into contact with the first region to obtain a second image of the finger, the at least one of the second image of the finger When detecting a second feature point corresponding to the first feature point of and setting to be authenticated when the second image corresponds to the first image and the second material property information corresponds to the first material property information.
  • FIG. 1 is a front perspective view of an electronic device according to an exemplary embodiment
  • FIG. 2 is a rear perspective view of the electronic device shown in FIG. 1 .
  • FIG. 3 is an exploded perspective view of the electronic device shown in FIG. 1 .
  • FIG. 4 is a block diagram illustrating an electronic device for acquiring biometric information according to an embodiment.
  • FIG. 5 is a flowchart illustrating a method of acquiring biometric information of an electronic device according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating an operation in which an electronic device acquires a first image of an object based on a first light, according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an operation in which an electronic device extracts at least one first feature point from a first image, according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating an operation in which an electronic device acquires first physical property information according to an exemplary embodiment.
  • FIG. 9 is a diagram illustrating light amount information according to an emitted second light according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating light amount information in different media.
  • 11 is a graph illustrating light amount information according to a distance between a light source and an object according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating a penetration depth according to a distance between a light source and a sensor according to an exemplary embodiment.
  • FIG. 13 is a diagram illustrating an operation in which an electronic device detects a second feature point in a second image of an object, according to an exemplary embodiment.
  • FIG. 14 is a diagram illustrating an operation in which an electronic device acquires second physical property information according to an exemplary embodiment.
  • 15 is a flowchart illustrating a method of acquiring biometric information of an electronic device according to another exemplary embodiment.
  • 16 is a diagram illustrating an operation in which an electronic device acquires first physical property information according to another exemplary embodiment.
  • 17 is a diagram illustrating an operation in which an electronic device acquires first physical property information according to another exemplary embodiment.
  • FIG. 18 is a diagram illustrating an operation in which an electronic device acquires first physical property information according to another exemplary embodiment.
  • 19 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure.
  • FIG. 1 is a front perspective view of an electronic device according to an exemplary embodiment.
  • FIG. 2 is a rear perspective view of the electronic device shown in FIG. 1 .
  • an electronic device 100 includes a first surface (or front surface) 110A, a second surface (or rear surface) 110B, and a first surface 110A. and a housing 110 including a side surface 110C surrounding the space between the second surfaces 110B.
  • the housing 110 may refer to a structure that forms part of the first surface 110A, the second surface 110B, and the side surface 110C of FIG. 1 .
  • the first surface 110A may be formed by the front plate 102 (eg, a glass plate including various coating layers or a polymer plate), at least a portion of which is substantially transparent.
  • the second surface 110B may be formed by the substantially opaque back plate 111 .
  • the back plate 111 is formed by, for example, coated or colored glass, ceramic, polymer, metal (eg, aluminum, stainless steel (STS), or magnesium), or a combination of at least two of the above materials.
  • the side surface 110C is coupled to the front plate 102 and the rear plate 111 and may be formed by a side bezel structure (or “side member”) 118 including a metal and/or a polymer.
  • the back plate 111 and the side bezel structure 118 are integrally formed and may include the same material (eg, a metal material such as aluminum).
  • the front plate 102 includes two first regions 110D that extend seamlessly from the first surface 110A toward the rear plate 111 by bending the front plate. It may include both ends of the long edge of (102).
  • the rear plate 111 has two second regions 110E that extend seamlessly by bending from the second surface 110B toward the front plate 102 with long edges. It can be included at both ends.
  • the front plate 102 (or the back plate 111 ) may include only one of the first regions 110D (or the second regions 110E). In another embodiment, the front plate 102 (or the rear plate 111 ) may not include some of the first regions 110D (or the second regions 110E).
  • the side bezel structure 118 when viewed from the side of the electronic device 100 , is on the side (eg, on the side) not including the first regions 110D or the second regions 110E as described above. : has a first thickness (or width) on the short side), and has a second thickness that is thinner than the first thickness on the side side (eg, long side) including the first regions 110D or the second regions 110E can
  • the electronic device 100 includes a display 101 , an audio module 103 , 107 , 114 , a sensor module 104 , 116 , 119 , a camera module 105 , 112 , 113 , and a key input device. At least one of 117A, 117B, and 117C, a light emitting device 106, and connector holes 108 and 109 may be included. In some embodiments, the electronic device 100 may omit at least one of the components (eg, the key input device 117A, 117B, 117C, or the light emitting device 106) or additionally include other components. have.
  • the display 101 may be exposed through a substantial portion of the front plate 102 , for example. In some embodiments, at least a portion of the display 101 may be exposed through the front plate 102 including the first surface 110A and the first areas 110D of the side surface 110C.
  • the edge of the display 101 may be formed to be substantially the same as an adjacent outer shape of the front plate 102 .
  • the distance between the periphery of the display 101 and the periphery of the front plate 102 may be substantially the same.
  • the surface (or front plate 102 ) of the housing 110 may include a screen display area formed as the display 101 is visually exposed.
  • the screen display area may include a first surface 110A and side first areas 110D.
  • the screen display areas 110A and 110D may include a sensing area 110F configured to obtain the user's biometric information.
  • the meaning of “the screen display regions 110A and 110D includes the sensing region 110F” means that at least a portion of the sensing region 110F may be overlapped with the screen display regions 110A and 110D.
  • the sensing region 110F can display visual information by the display 101 like other regions of the screen display regions 110A and 110D, and additionally obtains the user's biometric information (eg, fingerprint). It can mean an area that can be
  • the screen display areas 110A and 110D of the display 101 may include an area 110G to which the first camera device 105 (eg, a punch hole camera) may be visually exposed. . At least a portion of an edge of the area 110G to which the first camera device 105 is visually exposed may be surrounded by the screen display areas 110A and 110D.
  • the first camera device 105 may include a plurality of camera devices.
  • a recess or opening is formed in a part of the screen display areas 110A and 110D of the display 101, and the audio module is aligned with the recess or the opening.
  • At least one of 114 , a first sensor module 104 , and a light emitting device 106 may be included.
  • the display 101 is at least one of the audio module 114 , the sensor module 104 , 116 , 119 , and the light emitting element 106 on the rear surface of the screen display areas 110A and 110D. It may include more than one.
  • the display 101 is coupled to or adjacent to a touch sensing circuit, a pressure sensor capable of measuring the intensity (pressure) of a touch, and/or a digitizer detecting a magnetic field type stylus pen. can be placed.
  • At least a portion of the sensor module 104 , 116 , 119 , and/or at least a portion of a key input device 117A, 117B, 117C may include the side surface 110C (eg, first region 110D) ) and/or the second regions 110E).
  • the audio modules 103 , 107 , and 114 may include a microphone hole 103 and speaker holes 107 and 114 .
  • a microphone for acquiring an external sound may be disposed therein, and in some embodiments, a plurality of microphones may be disposed to detect the direction of the sound.
  • the speaker holes 107 and 114 may include an external speaker hole 107 and a receiver hole 114 for a call.
  • the speaker holes 107 and 114 and the microphone hole 103 may be implemented as one hole, or a speaker may be included without the speaker holes 107 and 114 (eg, a piezo speaker).
  • the sensor modules 104 , 116 , and 119 may generate electrical signals or data values corresponding to an internal operating state of the electronic device 100 or an external environmental state.
  • the sensor modules 104 , 116 , and 119 may include a first sensor module 104 (eg, a proximity sensor) disposed on the first surface 110A of the housing 110 , the second of the housing 110 .
  • a second sensor module 116 eg, TOF camera device
  • a third sensor module 119 eg, an HRM sensor
  • a fourth sensor module eg, sensor 190 of FIG. 3
  • coupled to the display 101 eg, a fingerprint sensor.
  • the second sensor module 116 may include a TOF camera device for measuring a distance.
  • the fourth sensor module may be disposed below the screen display areas 110A and 110D.
  • the fourth sensor module may be disposed in a recess (eg, the recess 139 of FIG. 3 ) formed on the rear surface of the display 101 . That is, the fourth sensor module (eg, the sensor 190 of FIG. 3 ) is not exposed to the screen display areas 110A and 110D, and forms the sensing area 110F in at least a portion of the screen display areas 110A and 110D. can do.
  • the fingerprint sensor may be disposed on the second surface 110B as well as the first surface 110A (eg, the screen display areas 110A and 110D) of the housing 110 .
  • the electronic device 100 includes a sensor module (not shown), for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an IR (infrared) sensor, and a biometric sensor. It may further include at least one of a sensor, a temperature sensor, a humidity sensor, and an illuminance sensor.
  • a sensor module for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an IR (infrared) sensor, and a biometric sensor. It may further include at least one of a sensor, a temperature sensor, a humidity sensor, and an illuminance sensor.
  • the camera modules 105 , 112 , and 113 include a first camera device 105 (eg, a punch hole camera device) exposed to the first surface 110A of the electronic device 100 , and a second surface 110B. It may include an exposed second camera device 112 , and/or a flash 113 .
  • a first camera device 105 eg, a punch hole camera device
  • a second surface 110B It may include an exposed second camera device 112 , and/or a flash 113 .
  • the first camera device 105 may be exposed through a portion of the screen display area 110D of the first surface 110A.
  • the first camera device 105 may be exposed as a portion of the screen display area 110D through an opening (not shown) formed in a portion of the display 101 .
  • the second camera device 112 may include a plurality of camera devices (eg, a dual camera or a triple camera). However, the second camera device 112 is not necessarily limited to including a plurality of camera devices, and may include one camera device.
  • the camera devices 105 , 112 may include one or more lenses, an image sensor, and/or an image signal processor.
  • the flash 113 may include, for example, a light emitting diode or a xenon lamp.
  • two or more lenses (infrared cameras, wide-angle and telephoto lenses) and image sensors may be disposed on one side of the electronic device 100 .
  • the key input devices 117A, 117B, and 117C may be disposed on the side surface 110C of the housing 110 .
  • the electronic device 100 may not include some or all of the above-mentioned key input devices 117A, 117B, and 117C, and the non-included key input devices 117A, 117B, 117C may display a display ( 101) may be implemented in other forms, such as soft keys.
  • the key input device may include a sensor module (eg, the sensor 190 of FIG. 3 ) that forms the sensing area 110F included in the screen display areas 110A and 110D.
  • the light emitting device 106 may be disposed, for example, on the first surface 110A of the housing 110 .
  • the light emitting device 106 may provide, for example, state information of the electronic device 100 in the form of light.
  • the light emitting device 106 may provide, for example, a light source linked to the operation of the first camera device 105 .
  • the light emitting element 106 may include, for example, an LED, an IR LED, and a xenon lamp.
  • the connector holes 108 and 109 include a first connector hole 108 capable of receiving a connector (eg, a USB connector) for transmitting and receiving power and/or data to and from an external electronic device, and/or an external electronic device. and a second connector hole 109 (eg, an earphone jack) capable of accommodating a connector for transmitting and receiving an audio signal.
  • a connector eg, a USB connector
  • a second connector hole 109 eg, an earphone jack
  • FIG. 3 is an exploded perspective view of the electronic device shown in FIG. 1 .
  • the electronic device 100 includes a side member 140 , a first support member 142 (eg, a bracket), a front plate 120 , and a display 130 (eg, the display of FIG. 1 ). 101 ), a printed circuit board 150 , a battery 152 , a second support member 160 (eg, a rear case), an antenna 170 , and a rear plate 180 .
  • the electronic device 100 may omit at least one of the components (eg, the first support member 142 or the second support member 160 ) or additionally include other components. .
  • At least one of the components of the electronic device 100 may be the same as or similar to at least one of the components of the electronic device 100 of FIG. 1 or 2 , and overlapping descriptions will be omitted below.
  • the first support member 142 may be disposed inside the electronic device 100 and connected to the side member 140 , or may be integrally formed with the side member 140 .
  • the first support member 142 may be formed of, for example, a metal material and/or a non-metal (eg, polymer) material.
  • the first support member 142 may have a display 130 coupled to one surface and a printed circuit board 150 coupled to the other surface.
  • the printed circuit board 150 may be equipped with a processor, memory, and/or an interface.
  • the processor may include, for example, one or more of a central processing unit, an application processor, a graphics processing unit, an image signal processor, a sensor hub processor, or a communication processor.
  • Memory may include, for example, volatile memory or non-volatile memory.
  • the interface may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, and/or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • the interface may, for example, electrically or physically connect the electronic device 100 to an external electronic device, and may include a USB connector, an SD card/MMC connector, or an audio connector.
  • the battery 152 is a device for supplying power to at least one component of the electronic device 100 and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell. . At least a portion of the battery 152 may be disposed substantially coplanar with the printed circuit board 150 , for example. The battery 152 may be integrally disposed inside the electronic device 100 , or may be disposed detachably from the electronic device 100 .
  • the antenna 170 may be disposed between the rear plate 180 and the battery 152 .
  • the antenna 170 may include, for example, a near field communication (NFC) antenna, a wireless charging antenna, and/or a magnetic secure transmission (MST) antenna.
  • the antenna 170 may, for example, perform short-range communication with an external device or wirelessly transmit/receive power required for charging.
  • the antenna structure may be formed by a part of the side member 140 and/or the first support member 142 or a combination thereof.
  • the electronic device 100 may further include a sensor 190 coupled to the display 130 .
  • the sensor 190 may be disposed in the recess 139 formed on the rear surface of the display 130 .
  • the sensor 190 may form a sensing region (eg, the sensing region 110F of FIG. 1 ) in a portion of the first plate 120 .
  • the electronic device 100 may include a processor 410 , a display 420 , a sensor 430 , and a register 450 (eg, the memory 1930 of FIG. 19 ).
  • the processor 410 may be operatively coupled to the display 420 , the sensor 430 , and the register 450 .
  • the processor 410 may provide a first control signal to the display 420 .
  • the first control signal may set a position where at least one light source, such as a pixel disposed on the display 420 , emits light, an amount of emitted light, and/or a timing at which the light is emitted.
  • the processor 410 may provide a second control signal to the sensor 430 .
  • the second control signal may set a timing at which the sensor 430 is activated.
  • the processor 410 may be set to synchronize the operation timing of the light source and the operation timing of the specific sensor 430 .
  • the display 420 may display an image.
  • the display 420 may emit light to display an image.
  • the display 420 may include at least one light source for emitting light. At least one light source may be disposed on the display 420 in an array structure.
  • the senor 430 may be disposed on one surface of the display 420 or inside the display 420 . At least one sensor 430 may be distributed on the display 420 in an array form. The sensor 430 may collect light reflected from the external object 440 to the display 420 , and detect the collected light.
  • the sensor 430 may include a light collecting element such as a lens and a light receiving element such as a photo diode.
  • the senor 430 may be disposed below the display 420 .
  • the sensor 430 may be disposed under the display 420 and include a light collecting element (eg, a lens) and an image sensor generating a fingerprint image.
  • the register 450 may record the amount of reflected light detected when a particular light source is turned on.
  • the processor 410 may obtain a value related to the amount of reflected light stored in the register 450 .
  • the processor 410 may reconstruct biometric information related to the object 440 . For example, when the object 440 is a user's finger, the processor 410 may reconstruct the image of the fingerprint based on the amount of reflected light received from the register 450 .
  • the processor 410 transmits a first control signal to the display 420 in response to the contact between the object 440 and the display 420 to set the emission light of the display 420 .
  • the processor 410 may set a position, intensity, pattern, and/or timing for emitting light from the display 420 .
  • the processor 410 performs fingerprint information or contact information (eg, a contact position, a contact) from a touch sensor disposed on the display 420 . area, contact strength), you can set the measurement range of the fingerprint.
  • the processor 410 may transmit a first control signal for operating at least one light source corresponding to the measurement range to the display 420 .
  • the processor 410 may provide a second control signal to the sensor 430 in response to the contact between the object 440 and the display 420 .
  • the processor 410 determines the area on the display 420 that the object 440 has contacted, one surface of the display 420 , or the display 420 . ) by supplying a second control signal to the sensor 430 disposed below the sensor 430 may be activated.
  • the processor 410 may operate the sensor 430 disposed under the area corresponding to the area emitting light on the display 420 , one surface of the display 420 , or under the display 420 . .
  • the processor 410 may detect light reflected from the object 440 by activating the sensor 430 while emitting light from the display 420 .
  • the processor 410 may activate at least one sensor 430 disposed at a position where the light emitting region of the display 420 overlaps in the first direction, which is the thickness direction of the display 420 .
  • the processor 410 may activate the plurality of sensors 430 disposed in a position overlapping the region emitting light in the display 420 in the first direction and in a peripheral region.
  • the senor 430 may generate sensing data based on the sensed reflected light. For example, the sensor 430 may generate sensing data based on an amount of light reflected from the object 440 among the light emitted from the display 420 .
  • the sensing data may be stored in the register 450 .
  • the register 450 may transmit sensed data to the processor 410 .
  • the processor 410 may be set to emit light from the display 210 until all areas corresponding to the biometric information measurement range are scanned. When the measurement of the area corresponding to the biometric information measurement range is finished, the processor 410 may form an image related to the biometric information in the biometric information measurement range based on the stored sensing data. For example, the processor 410 may form the shape of the user's fingerprint in the fingerprint sensing area as an image.
  • FIG. 5 is a flowchart 500 illustrating a method of obtaining biometric information by an electronic device (eg, the electronic device 100 of FIG. 1 ) according to an embodiment.
  • the processor of the electronic device 100 (eg, the processor 410 of FIG. 4 ) of the electronic device 100 according to an embodiment includes at least one disposed in the first area of the display (eg, the display 420 of FIG. 4 ).
  • the first light may be emitted in response to an object outside the display 420 (eg, the object 440 of FIG. 4 ) from the light source of .
  • the first area may be an area corresponding to a biometric information measurement range.
  • the first area may be a fingerprint sensing area.
  • the first light may be emitted from a pixel of the display 420 .
  • the processor 410 of the electronic device 100 may acquire a first image of the object 440 based on the first light.
  • the processor 410 may obtain a first image of the object 440 based on the amount of the first light reflected from the object 440 .
  • the first image may be a surface image of the object 440 .
  • the first image may be an image representing the shape of a fingerprint on a two-dimensional plane.
  • the processor 410 of the electronic device 100 may extract at least one first feature point from the first image in operation 530 .
  • the first feature point may be a point including a feature for distinguishing the first image from other images.
  • the first feature point may be a major feature point.
  • the first feature point is a central part of the fingerprint shape, a part where the ridge part of the fingerprint is bifurcation or ending, a boundary point where the pattern of the fingerprint shape changes, or a biometric part. It may be the border of the information measurement range.
  • the processor 410 of the electronic device 100 is located at a position corresponding to at least one first feature point among the at least one light source in the first direction (thickness direction of the display 420 ).
  • the second light may be emitted from the disposed first light source.
  • the first light source may be a light source disposed in a region overlapped with the first feature point in the thickness direction of the display 420 among one or more light sources disposed on the display 420 .
  • the second light may be output from the first light source.
  • the second light may be output at a point in time when a specified time elapses from a point in time at which the first light is output.
  • the second light may be output with a higher intensity than the first light.
  • the second light may be output from at least a portion of the first light source.
  • the second light may overlap at least a portion of the first light source or may be output using at least a portion of the first light source.
  • the processor 410 of the electronic device 100 acquires and registers first material property information that is property information of the object 440 based on light amount information according to a distance from the first light source.
  • a pattern of light scattered inside the object 440 may change according to a distance from the first light source.
  • the amount of light may vary depending on the position of the object 440 .
  • the amount of light according to the position of the object 440 may vary according to the physical properties of the object 440 .
  • the physical property information of the object 440 may include a change in the amount of light according to the depth of the object 440 .
  • the processor 410 may obtain the physical property information of the object 440 and store it in a register (eg, the register 450 of FIG. 4 ).
  • the processor 410 of the electronic device 100 acquires a second image of the finger by emitting a first light from at least one light source when the user's finger contacts the first area.
  • the first area may be a fingerprint sensing area.
  • the second image may be a surface image representing the surface shape of the finger in two dimensions.
  • the processor 410 may acquire a surface image of the finger by emitting light from the fingerprint sensing area.
  • the processor 410 of the electronic device 100 detects a second feature point corresponding to at least one first feature point in the second image of the finger, the third light source from the first light source may be emitted to obtain the second physical property information, which is the physical property information of the finger, based on the light amount information according to the distance from the first light source.
  • the processor 410 may perform an operation of matching the second image with the first image.
  • the processor 410 may acquire the physical property information of the finger by emitting a third light to compare the physical property information of the finger and the object 440 .
  • the third light may be output from at least a portion of the first light source.
  • the third light may overlap at least a portion of the first light source or may be output using at least a portion of the first light source.
  • the third light may be substantially the same as the second light.
  • the processor 410 of the electronic device 100 may be set to be authenticated when the second image and the first image correspond and the second material property information corresponds to the first material property information. .
  • the processor 410 determines that the finger in contact with the display 420 is It may be determined to correspond to the registered object 440 and set to be authenticated.
  • the processor 410 further compares whether the physical property information of the contacting finger corresponds to the physical property information of the object 440 . This can improve security performance.
  • FIG. 6 is a diagram illustrating an operation in which the electronic device 601 (eg, the electronic device 100 of FIG. 1 ) acquires a first image 602 of an object 440 based on a first light, according to an embodiment. (600).
  • the electronic device 601 eg, the electronic device 100 of FIG. 1
  • acquires a first image 602 of an object 440 based on a first light according to an embodiment. (600).
  • the electronic device 601 may include a display 420 and a sensor 430 disposed on a lower surface or inside of the display 420 .
  • a first lens 621 and a second lens 622 may be disposed between the display 420 and the sensor 430 .
  • 6 illustrates a case in which a lens type light collecting element is disposed.
  • the present invention is not limited thereto, and various types of light collecting structures such as a micro lens, a collimator, an optical fiber, and a pin hole are applied to the light receiving element of the sensor 430 . can be focused.
  • the object 440 may contact the first area corresponding to the biometric information measurement range on the display 420 .
  • the processor eg, the processor 410 of FIG. 4 ) displays the display so that the first light source disposed in the first area of the display 420 emits light when the object 440 comes into contact with the first area of the display 420 .
  • a first control signal may be provided to 420 .
  • the sensor 430 may acquire reflected light that is reflected by the object 440 after being emitted from the display 420 and returned.
  • the light reflected from the object 440 may be condensed by the first lens 621 and the second lens 622 to be incident on the sensor 430 .
  • the sensor 430 may acquire the first image 602 of the object 440 based on the amount and pattern of light reflected from the object 440 .
  • the sensor 430 may image a part of the object 440 to obtain a partial image.
  • the first image 602 may be an image obtained by stitching a partial image obtained by imaging a portion of the object 440 .
  • the first image 602 may be a surface image in which the shape of the object 440 is expressed in two dimensions.
  • the first image 602 may be an image representing ridges and valleys of a fingerprint.
  • FIG. 7 illustrates an electronic device (eg, the electronic device 100 of FIG. 1 ) according to an embodiment of the present invention, at least one first feature point in a first image 701 (eg, the first image 602 of FIG. 6 ). It is a diagram 700 illustrating an operation of extracting 710 .
  • the processor may extract the first feature point 710 from the first image 701 .
  • the first feature point 710 may be a point used in a fingerprint matching process performed in optical fingerprint sensing.
  • Each of the extracted first feature points 710 may be spaced apart from each other by a specified distance or more.
  • At least one of the first feature points 710 may be a major feature point 710a.
  • the main feature point may be a position serving as a reference for measuring the physical property value of the skin in the depth direction.
  • the main feature point 710a may be a feature point of a central portion of a fingerprint shape.
  • the first feature point 710 in the fingerprint image 702 from which the first feature point 710 is extracted, has a central part of the fingerprint shape, a part in which the ridge part of the fingerprint is split or cut, and a pattern in the form of a fingerprint. It may be a changing boundary point or an edge of a biometric information measurement range.
  • FIG. 8 is a diagram 800 illustrating an operation in which the electronic device 801 (eg, the electronic device 100 of FIG. 1 ) acquires first physical property information according to an exemplary embodiment.
  • the electronic device 801 eg, the electronic device 100 of FIG. 1
  • acquires first physical property information according to an exemplary embodiment.
  • the processor (eg, the processor 410 of FIG. 4 ) includes the first light source 810 disposed at a position corresponding to the first feature point 710 and the first direction (thickness direction of the display 420 ). ) may emit a second light.
  • the first light source 810 may be a light source disposed to overlap the first feature point 710 in the thickness direction of the display 420 .
  • the second light may be emitted with a higher intensity than the first light.
  • the second light may be emitted to acquire physical property information of the object 440 .
  • parameters related to a material in the depth direction of the object 440 may be three-dimensionally extracted with respect to the first feature point 710 by emitting the second light.
  • the first light source 810 is The intensity of the second light, which changes based on the distance from , may be measured by the sensor 430 .
  • the first light source 810 is turned on, more physical property information can be acquired and accuracy in the authentication process can be improved. can increase
  • the senor 430 may acquire light amount information by measuring a degree to which the second light decreases as the second light travels in a direction away from each of the first light sources 810 .
  • the amount of light according to the distance from the first light source 810 may be calculated by Equation 1 below.
  • Equation 1 as the distance increases, the amount of light decreases on a log scale, and the degree of the decrease may be set according to the halving coefficient ⁇ _eff of the photon flow of the material.
  • the light source corresponding to the position corresponding to the first feature point 710, which is the main feature point, of the first region that is the fingerprint sensing region is turned on to emit a second light, so that each of the first feature points 710 is turned on.
  • the half-half coefficient ⁇ _eff of the photon flow in the skin around the first feature point 710 may be extracted.
  • the halving coefficient ⁇ _eff of the photon flow may represent the physical property of the object 440 as a function of the absorption and scattering rates of the second light.
  • the half-half coefficient ⁇ _eff of photon flow in normal skin may have a uniform value.
  • the half-half coefficient ( ⁇ _eff) of the photon flow is Other factors may present non-uniform values in a particular direction.
  • the processor 410 may authenticate the user using the half-half coefficient ⁇ _eff of the photon flow of the object 440 in the authentication operation.
  • FIG. 9 is a view 900 illustrating light amount information 910 , 920 , 930 , and 940 according to the emitted second lights 911 and 931 according to an exemplary embodiment.
  • the first light amount information 910 and the second light amount information 920 are numerical analysis simulation results for an object (eg, the object 440 of FIG. 8 ) for a single point source.
  • the first light amount information 910 may be a result of visually representing light amount information on a front side on a log scale.
  • the second light amount information 920 may be a result of visually representing light amount information of a cross-section in the depth direction.
  • the third light amount information 930 and the fourth light amount information 940 may be numerical analysis simulation results for the object 440 with respect to a circular type source.
  • the third light amount information 930 may be a result of visually representing light amount information on the front side.
  • the fourth light amount information 940 may be a result of visually representing light amount information of a cross-section in the depth direction.
  • light may travel within the object 440 according to a radiation transport equation (RTE).
  • RTE radiation transport equation
  • c is the speed of light in the material
  • L is the light radiance per unit area of light traveling in the ⁇ direction at position r
  • time t is the amount of light emitted in the ⁇ direction at position r and time t.
  • Intensity per unit volume ⁇ a is the absorption coefficient of light
  • ⁇ s is the scattering coefficient
  • f is the probability that light incident in the ⁇ direction is scattered in the ⁇ direction in a scattering event occurring in the material.
  • the radiation transmission equation may be expressed briefly.
  • the radiation transmission equation shows that the distance between the light source (eg, the first light source 810 in FIG. 8 ) and the object 440 is greater than or equal to the specified distance, and the scattering rate ( ⁇ s ) of the material is greater than the absorption rate ( ⁇ a ) by a specified ratio or greater.
  • the material constituting the object 440 is a scattering-dominant material, it can be briefly expressed as a diffusion equation expressed by Equation 2 below.
  • Equation 2 ⁇ denotes a photon fluence
  • D denotes a diffusion coefficient
  • g denotes an anisotropy factor
  • S denotes an intensity of light per unit volume.
  • the intensity of light per unit volume may be modeled as an impulse function, so that the following relationship is established as in Equation 3 below.
  • Equation 3 When Equation 3 is applied to Equation 2, the diffusion equation is expressed in the form of a Helmholtz equation, and an analytical solution such as Equation 4 can be calculated.
  • ⁇ eff may be a decay constant of the photon flow by the material.
  • ⁇ eff may be a property value of a material constituting the object 440 through which light travels.
  • the flow of photons around the light source 810 may decrease in a circularly symmetric manner.
  • the photon flow can be attributed to the material properties ( ⁇ a , ⁇ s ') through which the light is passing.
  • FIG. 10 is a diagram 1000 illustrating light amount information 1010 and 1020 in different media.
  • the fifth light amount information 1010 is light amount information when the object (eg, the object 440 of FIG. 8 ) is real human skin
  • the sixth light amount information 1020 is the object 440 It may be light amount information in the case of an artificial material such as silicon. The amount of light information may change according to the characteristics of the material constituting the object 440 .
  • the flow of photons that change according to the distance from the light source may be different according to the characteristics of the material constituting the object 440 .
  • the photon flow in an actual human skin cell and the photon flow in an artificial material may be different.
  • the processor eg, the processor 410 of FIG. 4
  • the processor 410 may measure the degree to which the photon flow changes.
  • the processor 410 may acquire characteristics of a material constituting the object 440 for measuring a fingerprint.
  • Equation 5 may be obtained by performing logarithm processing on Equation 4, and obtaining a slope according to distance.
  • Equation 5 the following Equation 6 can be obtained by moving the distance from the light source away and measuring the slope.
  • FIG. 11 is a graph 1100 illustrating light amount information according to a distance between a light source (eg, the first light source 810 of FIG. 8 ) and an object (eg, the object 440 of FIG. 8 ) according to an embodiment.
  • a light source eg, the first light source 810 of FIG. 8
  • an object eg, the object 440 of FIG. 8
  • Equation 7 when Equation 7 is expressed as a graph, the effective magnetic permeability ⁇ _eff may be extracted.
  • the slope value of the graph expressing Equation 7 may be effective magnetic permeability ⁇ _eff, which is a material property of the object 440 .
  • the first graph 1110 may be a graph visually expressing the simulated light amount information of the fifth light amount information 1010 of FIG. 10 .
  • the second graph 1120 is a graph in which the light source 810 is brought close to the actual skin to emit light, and a sensor (eg, the sensor 430 in FIG. 8 ) is positioned at a different distance from the light source 810 to measure the degree of skin reflection.
  • the third graph 1130 may be a graph in which the first graph 1110 is expressed on a log scale.
  • the fourth graph 1140 may be a graph in which the second graph 1120 is expressed on a log scale.
  • the amount of light expressed on a log scale according to the distance may have a constant negative slope value.
  • a constant negative slope value may be substantially equal to a negative value of the effective magnetic permeability ⁇ _eff.
  • the gradient of the amount of light expressed on a log scale according to the distance may represent the material characteristics of the skin being measured.
  • the processor eg, the processor 410 of FIG. 4 ) may acquire properties of the material constituting the object 440 being measured.
  • the penetration depth may be a distance through which light passes through the object 440 in the thickness direction of the display (eg, the display 420 of FIG. 8 ) from the light source (eg, the first light source 810 of FIG. 8 ).
  • a decrease in the amount of light may occur between the light source 810 and the sensor 430 .
  • the processor eg, the processor 410 of FIG. 4 ) determines the properties of the material according to the thickness based on the amount of light information that visually indicates the decrease in the amount of light as the light passes through the object (eg, the object 440 of FIG. 8 ). can be obtained
  • the penetration depth may vary according to distances at the first distance 1210 , the second distance 1220 , and the third distance 1230 .
  • the physically dominant penetration depth may be about 1/3 times the distance between the light source 810 and the sensor 430 .
  • the main penetration depth may be about 2 mm.
  • the density of photons incident to the sensor 430 disposed at different distances from the light source 810 may be simulated.
  • Lights incident to the sensor 430 spaced apart from the light source 810 may pass through the object 440 to a specified depth.
  • the light incident on the sensor 430 may travel in a curved path such as a banana-shape.
  • the depth of the light path may increase as the distance between the light source 810 and the sensor 430 increases.
  • the shape of the object 440 may be obtained in three dimensions by combining the surface shape of the object 440 and the physical properties of the object 440 in the depth direction. .
  • FIG. 13 is a diagram in which an electronic device (eg, the electronic device 100 of FIG. 1 ) according to an embodiment detects a second feature point 1320 in a second image 1302 of an object 440 (eg, a finger) It is a drawing showing the operation.
  • an electronic device eg, the electronic device 100 of FIG. 1
  • detects a second feature point 1320 in a second image 1302 of an object 440 eg, a finger
  • the processor eg, the processor 410 of FIG. 4 . checks the fingerprint of the object 440 .
  • the electronic device 100 may be authenticated to unlock the electronic device 100 .
  • the processor 410 emits a first light from the first area 1310 to obtain a second image of the object 440 .
  • the second image 1302 may be a surface image representing a part of the fingerprint shape of the object 440 .
  • the processor 410 may detect the second feature point 1320 in the second image 1302 .
  • the processor 410 may determine whether the second feature point 1320 corresponds to the first feature point (eg, the first feature point 710 of FIG. 7 ).
  • the processor 410 determines that the second image 1302 of the object 440 is the first image of the object 440 (eg, in FIG. 6 ). It may be checked whether the first image 602 matches.
  • the processor 410 when the user touches the object 440 in the first area 1310 where the fingerprint is measured, the processor 410 is the light source of the display 420 superimposed on the first area 1310 in the first direction.
  • the second image 1302 may be obtained by measuring the fingerprint of the object 440 by turning it on at the same time.
  • the processor 410 determines that the second image 1302 of the object 440 is of the object 440 . It may be determined whether the first image 602 matches or not.
  • the number of feature points 710 and 1320 for determining whether the second image 1302 corresponds to the first image 602 may be one or more.
  • FIG. 14 is a diagram 1400 illustrating an operation in which an electronic device (eg, the electronic device 100 of FIG. 1 ) acquires second physical property information according to an exemplary embodiment.
  • an electronic device eg, the electronic device 100 of FIG. 1
  • acquires second physical property information according to an exemplary embodiment.
  • the processor (eg, processor 410 of FIG. 4 ) is configured to convert a second image of object 440 (eg, second image 1302 of FIG. 13 ) to a first image (eg, second image 1302 of FIG. 13 ) of object 440 .
  • the third light may be emitted from the first light source 1410 .
  • the third light may be a light source disposed in a region corresponding to the second feature point 1320 in the first light source 1410 .
  • the processor 410 may obtain the second physical property information, which is the physical property information of the finger 440 , by using the third light.
  • the processor 410 may compare the second physical property information with the first physical property information that is the physical property information of the object 440 .
  • the processor 410 may be configured to authenticate when the second image corresponds to the first image and the second material property information corresponds to the first material property information.
  • the processor 410 may improve the security performance of the electronic device 100 by checking both the surface image and the physical property information of the object 440 .
  • the third light may be output from at least a portion of the first light source.
  • the third light may overlap at least a portion of the first light source or may be output using at least a portion of the first light source.
  • the third light may be substantially the same as the second light.
  • the processor 410 when at least one of the main feature points used in the fingerprint registration process is detected from the second image 1302 acquired in the fingerprint authentication process, the processor 410 is configured to perform a first function corresponding to the detected main feature points.
  • the light source 1410 may be turned on.
  • the processor 410 may measure a change in the amount of light reduced around the first light source 1410 to extract second material property information that is property information of the object (eg, a finger) 440 .
  • the processor 410 determines whether the contacted object 440 and the registered object 440 are made of the same material by comparing similar degrees of the registered first and second physical property information in the matching process can do.
  • FIG. 15 is a flowchart 1500 illustrating a method of acquiring biometric information of an electronic device (eg, the electronic device 100 of FIG. 1 ) according to another exemplary embodiment.
  • the processor (eg, the processor 410 of FIG. 4 ) of the electronic device 100 ) of the electronic device 100 includes at least one disposed in the first area of the display (eg, the display 420 of FIG. 4 ).
  • the first light may be emitted in response to an object outside the display 420 (eg, the object 440 of FIG. 4 ) from the light source of .
  • the processor 410 of the electronic device 100 may acquire a first image of the object 440 based on the first light.
  • the processor 410 of the electronic device 100 may emit a second light from a second light source disposed in a second area that is a peripheral area of the first area.
  • the second area may be at least a partial area of areas other than the first area on the display 420 .
  • the second area may be an area surrounding the first area.
  • the second area may include at least a portion of the first area on the display 420 and be larger than the first area.
  • the second light emitted from the second light source may be emitted in a wider area than the first light.
  • the second light may be emitted with a higher intensity than the first light.
  • the second light may be emitted after a time point at which the first light is emitted.
  • the second light may be emitted simultaneously with the first light.
  • the fingerprint image may have a graded background that decreases as the distance from the location where the second light is emitted.
  • the fingerprint image may be obtained by removing the background.
  • the physical property information may be obtained from the degree of change according to the location of the background.
  • the processor 410 of the electronic device 100 acquires and registers first material property information that is property information of the object 440 based on light amount information according to a distance from the second light source.
  • the processor 410 may acquire material property information of the object 440 based on a change in a pattern of light scattered inside the object 440 according to a distance from the second light source.
  • the processor 410 of the electronic device 100 acquires a second image of the finger by emitting a first light from at least one light source when the user's finger contacts the first area.
  • the processor 410 of the electronic device 100 emits a third light from the second light source when the second image of the finger corresponds to the first image or more by a specified degree or more from the second light source.
  • Second physical property information that is physical property information of the finger may be obtained based on the light amount information according to the distance of .
  • the processor 410 may determine that the second image corresponds to the first image when the surface image of the finger is the same as or similar to the surface image of the object 440 by more than a specified degree of similarity.
  • the processor 410 may acquire the physical property information of the finger by emitting a third light to compare the physical property information of the finger and the object 440 .
  • the processor 410 of the electronic device 100 may be set to be authenticated when the second image corresponds to the first image and the second material property information corresponds to the first material property information. .
  • the processor 410 of the electronic device 100 may be set to be authenticated when the second image corresponds to the first image and the second material property information corresponds to the first material property information.
  • the second material property information corresponds to the first property information It can be set to be authenticated.
  • FIG. 16 is a diagram 1600 illustrating an operation in which an electronic device (eg, the electronic device 100 of FIG. 1 ) acquires first physical property information according to another exemplary embodiment.
  • an electronic device eg, the electronic device 100 of FIG. 1
  • acquires first physical property information according to another exemplary embodiment.
  • the processor moves to the second area 1610 that is a peripheral area of the first area.
  • the second light may be emitted from the disposed second light source.
  • the second area 1610 may be an area that does not overlap the sensor 430 .
  • the processor 410 may measure a degree to which the second light emitted from the second area 1610 decreases while moving away from the second area 1610 and passing through the object 440 .
  • the processor 410 may acquire first material property information, which is material property information of the object 440 , based on light amount information according to a distance from the second area 1610 .
  • the physical property information of the object 440 may be measured globally.
  • the processor 410 may turn on the light sources disposed in an area other than the area where the lenses 621 and 622 and the sensor 430 are disposed in order to globally measure the physical property information of the object 440 . .
  • the processor 410 may measure a tendency for the intensity of light to decrease in a direction away from the light source within the area measured by the sensor 430 .
  • the processor 410 may measure the physical property information of the object 440 even when the intensity of the light source is less than or equal to the specified intensity.
  • the processing time may be reduced by reducing the amount of data of the physical property information measured by the processor 410 .
  • FIG. 17 is a diagram 1700 illustrating an operation in which an electronic device (eg, the electronic device 100 of FIG. 1 ) acquires first physical property information according to another exemplary embodiment.
  • an electronic device eg, the electronic device 100 of FIG. 1
  • acquires first physical property information according to another exemplary embodiment.
  • the processor may change the region emitting the second light at a specified period.
  • the processor 410 may change the area emitting the second light to spread concentrically. 17 illustrates a case in which the region emitting the second light has a donut shape.
  • the present invention is not limited thereto, and the region emitting the second light may change while spreading in various shapes such as an elliptical shape similar to a concentric shape, a polygonal shape, and a free curve shape.
  • the processor 410 may acquire the physical properties of the object 440 based on a pattern of a change in the amount of the second light according to a change in the area emitting the second light.
  • the sensor 430 for optical fingerprint sensing may be a point detect sensor or a single photo diode instead of a two-dimensional array type.
  • the amount of light reaching the sensor 430 may be less than or equal to a specified amount.
  • a sequential imaging method may be applied to extract the physical properties of the object 440 .
  • the processor 410 operates the light sources 1711, 1721, 1731, and 1741 disposed on the display 420 in the form of concentric circles that are distant from the center point of the lenses 621 and 622 and the sensor 430 to sequentially increase the amount of light.
  • a light source is applied to a first pattern 1710 in a first period, a second pattern 1720 in a second period, a third pattern 1730 in a third period, and a fourth pattern 1740 in a fourth period. It can be operated sequentially.
  • the processor 410 may acquire light amount information according to the first pattern 1710 , the second pattern 1720 , the third pattern 1730 , and the fourth pattern 1740 .
  • the first pattern 1710 , the second pattern 1720 , the third pattern 1730 , and the fourth pattern 1740 may be reduced by using the total amount of light emitted from each.
  • SNR signal to noise ratio
  • the processor 410 may obtain information on the amount of light that changes as the patterns 1710 , 1720 , 1730 , and 1740 of the light source change by combining the respective measurement results.
  • the processor 410 may acquire physical property information of the object 440 based on the light amount information.
  • FIG. 18 is a diagram 1800 illustrating an operation of an electronic device (eg, the electronic device 100 of FIG. 1 ) acquiring first physical property information according to another exemplary embodiment.
  • an electronic device eg, the electronic device 100 of FIG. 1
  • the processor may change the region emitting the second light at a specified period.
  • the processor 410 may change the area of the region emitting the second light at every designated period.
  • the processor 410 may change the location of the area emitting the second light every designated period while maintaining the same area.
  • the processor 410 may acquire the physical properties of the object 440 based on a pattern of a change in the amount of the second light according to a change in the area emitting the second light.
  • the processor 410 may operate the light source using a differential illumination method.
  • the processor 410 generates a fifth pattern 1811 in a fifth period 1810 , a sixth pattern 1821 in a sixth period 1820 , a seventh pattern 1831 in a seventh period 1830 , and an eighth period
  • the light sources may be sequentially operated in the eighth pattern 1741 .
  • the processor 410 may measure the degree of reflection of the second light from the object 440 due to different patterns to obtain information on the properties of the object 440 .
  • the processor 410 may acquire the physical property information of the object 440 by adjusting the area in which the turned-on light source is disposed based on the specified luminance of the luminance of the light source.
  • FIG. 19 is a block diagram of an electronic device 1901 in a network environment 1900, according to various embodiments.
  • an electronic device 1901 communicates with an electronic device 1902 through a first network 1998 (eg, a short-range wireless communication network), or a second network 1999 It may communicate with the electronic device 1904 or the server 1908 through (eg, a long-distance wireless communication network).
  • the electronic device 1901 may communicate with the electronic device 1904 through the server 1908 .
  • the electronic device 1901 includes a processor 1920, a memory 1930, an input device 1950, a sound output device 1955, a display device 1960, an audio module 1970, a sensor module ( 1976), interface 1977, haptic module 1979, camera module 1980, power management module 1988, battery 1989, communication module 1990, subscriber identification module 1996, or antenna module 1997 ) may be included.
  • at least one of these components eg, the display device 1960 or the camera module 1980
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 1976 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 1960 eg, a display.
  • the processor 1920 for example, executes software (eg, a program 1940) to execute at least one other component (eg, hardware or software component) of the electronic device 1901 connected to the processor 1920 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 1920 may store commands or data received from other components (eg, the sensor module 1976 or the communication module 1990) into the volatile memory 1932 . may be loaded into the volatile memory 1932 , and may process commands or data stored in the volatile memory 1932 , and store the resulting data in the non-volatile memory 1934 .
  • software eg, a program 1940
  • the processor 1920 may store commands or data received from other components (eg, the sensor module 1976 or the communication module 1990) into the volatile memory 1932 .
  • the processor 1920 includes a main processor 1921 (eg, a central processing unit or an application processor), and a coprocessor 1923 (eg, a graphics processing unit, an image signal processor) that can operate independently or in conjunction with the main processor 1921 (eg, a central processing unit or an application processor). , a sensor hub processor, or a communication processor). Additionally or alternatively, the auxiliary processor 1923 may be configured to use less power than the main processor 1921 or to be specialized for a designated function.
  • the coprocessor 1923 may be implemented separately from or as part of the main processor 1921 .
  • the coprocessor 1923 may, for example, act on behalf of the main processor 1921 while the main processor 1921 is in an inactive (eg, sleep) state, or when the main processor 1921 is active (eg, executing an application). ), together with the main processor 1921, at least one of the components of the electronic device 1901 (eg, the display device 1960, the sensor module 1976, or the communication module 1990) It is possible to control at least some of the related functions or states.
  • the coprocessor 1923 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 1980 or communication module 1990. have.
  • the memory 1930 may store various data used by at least one component of the electronic device 1901 (eg, the processor 1920 or the sensor module 1976).
  • the data may include, for example, input data or output data for software (eg, a program 1940) and instructions related thereto.
  • the memory 1930 may include a volatile memory 1932 or a non-volatile memory 1934 .
  • the program 1940 may be stored as software in the memory 1930 , and may include, for example, an operating system 1942 , middleware 1944 , or an application 1946 .
  • the input device 1950 may receive a command or data to be used by a component (eg, the processor 1920 ) of the electronic device 1901 from the outside (eg, a user) of the electronic device 1901 .
  • the input device 1950 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 1955 may output a sound signal to the outside of the electronic device 1901 .
  • the sound output device 1955 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display device 1960 may visually provide information to the outside (eg, a user) of the electronic device 1901 .
  • the display device 1960 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display device 1960 may include a touch circuitry configured to sense a touch or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of a force generated by the touch. have.
  • the audio module 1970 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1970 acquires a sound through the input device 1950 or an external electronic device (eg, a sound output device 1955 ) directly or wirelessly connected to the electronic device 1901 .
  • the electronic device 1902) eg, a speaker or headphones
  • the sensor module 1976 detects an operating state (eg, power or temperature) of the electronic device 1901 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1976 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1977 may support one or more specified protocols that may be used for the electronic device 1901 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1902).
  • the interface 1977 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • the connection terminal 1978 may include a connector through which the electronic device 1901 can be physically connected to an external electronic device (eg, the electronic device 1902 ).
  • the connection terminal 1978 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1979 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1979 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1980 may capture still images and moving images.
  • the camera module 1980 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1988 may manage power supplied to the electronic device 1901 .
  • the power management module 1988 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1989 may supply power to at least one component of the electronic device 1901 .
  • battery 1989 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1990 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1901 and an external electronic device (eg, the electronic device 1902, the electronic device 1904, or the server 1908). It can support establishment and communication through the established communication channel.
  • the communication module 1990 may include one or more communication processors that operate independently of the processor 1920 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1990 is a wireless communication module 1992 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1994 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • the corresponding communication module is a first network 1998 (eg, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 1999 (eg, a cellular network, the Internet, Alternatively, it may communicate with the external electronic device 1904 through a computer network (eg, a telecommunication network such as a LAN or WAN).
  • a computer network eg, a telecommunication network such as a LAN or WAN.
  • the wireless communication module 1992 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1996 within a communication network such as the first network 1998 or the second network 1999.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 1997 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1997 may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1997 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 1998 or the second network 1999 is connected from the plurality of antennas by, for example, the communication module 1990 . can be selected. A signal or power may be transmitted or received between the communication module 1990 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 1997 .
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1901 and the external electronic device 1904 through the server 1908 connected to the second network 1999 .
  • Each of the external electronic devices 1902 and 1904 may be the same as or different from the electronic device 1901 .
  • all or a part of operations executed in the electronic device 1901 may be executed in one or more of the external electronic devices 1902 , 1904 , or 1908 .
  • the electronic device 1901 may perform the function or service by itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1901 .
  • the electronic device 1901 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C” and “A,
  • Each of the phrases “at least one of B, or C” may include any one of, or all possible combinations of, items listed together in the corresponding one of the phrases.
  • Terms such as “first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited.
  • one (eg first) component is “coupled” or “connected” to another (eg, second) component with or without the terms “functionally” or “communicatively”
  • one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 1936 or external memory 1938) readable by a machine (eg, electronic device 1901).
  • a machine eg, electronic device 1901
  • a processor eg, processor 1920
  • a device eg, electronic device 1901
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Input (AREA)

Abstract

디스플레이의 제1 영역에 배치된 적어도 하나의 광원에서 상기 디스플레이 외부의 객체에 대응하여 제1 광을 방출하고, 상기 제1 광에 기반하여 상기 객체의 제1 이미지를 획득하고, 상기 제1 이미지에서 적어도 하나의 제1 특징 점(feature point)을 추출하고, 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 객체의 물성 정보인 제1 물성 정보를 획득하여 등록하고, 사용자의 손가락이 상기 제1 영역에 접촉하는 경우 상기 적어도 하나의 광원에서 상기 제1 광을 방출하여 상기 손가락의 제2 이미지를 획득하고, 상기 손가락의 상기 제2 이미지에서 상기 적어도 하나의 제1 특징 점과 대응하는 제2 특징점을 감지한 경우 상기 제1 광원에서 제3 광을 방출하여 상기 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 손가락의 물성 정보인 제2 물성 정보를 획득하고, 및 상기 제2 이미지가 상기 제1 이미지와 대응하고, 상기 제2 물성 정보가 상기 제1 물성 정보와 대응하는 경우 인증되도록 설정된 전자 장치가 개시된다.

Description

센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법
본 문서에서 개시되는 다양한 실시 예들은, 센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법에 관한 것이다.
전자 장치는 생체 정보 획득 기능을 지원할 수 있다. 예를 들어, 전자 장치는 지문 인식 기능을 지원할 수 있다. 지문 인식 기능을 제공하는 센서는 전자 장치의 외곽 중 표시 영역의 하단 주변부 또는 전자 장치의 케이스 후면에 배치될 수 있으며, 전자 장치는 이를 기반으로 지문 인증 기능을 지원할 수 있다.
최근, 큰 화면을 선호하는 사용자가 늘면서, 휴대용 전자 장치의 화면 크기를 증가시키기 위한 연구가 지속적으로 이뤄지고 있다. 예를 들어, 전자 장치의 비표시 영역(예: 베젤(bezel) 영역)에 배치되는 센서(예: 지문 센서)를 디스플레이의 표시 영역에 배치하여 비표시 영역을 감소시키거나 제거하여 큰 화면을 구현하고자 하는 시도가 지속적으로 이뤄지고 있다.
전자 장치의 디스플레이의 표시 영역의 넓이를 증가시키기 위해, 지문 센서를 디스플레이의 배면에 부착할 수 있다. 디스플레이의 배면에 지문 센서를 부착하는 인-디스플레이(In-display) 구조를 구현하는 경우, 지문 센서를 배치하면서도 표시 영역의 주변의 베젤(bezel)과 같은 비표시 영역의 넓이를 감소시킬 수 있다. 또한 지문 센서를 디스플레이의 배면에 부착하는 경우 지문 인식을 위한 광원을 별도로 배치하지 않고, 디스플레이에 포함된 광원(예: 백 라이트 유닛(BLU), 발광 다이오드(LED), 또는 유기 발광 다이오드(OLED))을 지문 센서의 광원으로 이용할 수 있다.
전자 장치는 지문이 센싱된 위치의 광원을 턴-온 하고 지문에서 반사된 광을 감지하여 지문의 형상을 이미지로 획득할 수 있다. 센서는 지문의 릿지(Ridge) 및/또는 벨리(Valley)에서의 반사율의 차이를 감지하여 지문의 이미지를 형성할 수 있다.
센서는 획득되는 광량의 차이에 기반하여 지문의 릿지 및/또는 벨리의 특성에 따른 반사율의 차이로 감지하고 이미지를 생성할 수 있다. 센서가 광량의 차이가 발생하는 이유를 확인하는 것은 용이하지 않을 수 있다. 예를 들어, 센서가 실제 손가락 지문의 릿지 및/또는 벨리에 의하여 광량의 차이가 발생하는 경우 및 지문의 이미지의 출력물에서 서로 다른 반사율을 갖는 부분에 의하여 광량의 차이가 발생하는 경우를 구분하는 것은 용이하지 않을 수 있다. 실제 손가락 지문 및 지문의 이미지의 출력물에 의해 실질적으로 동일한 광량의 획득되는 경우 실제 손가락 지문이 도용될 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 실제 손가락 지문을 지문의 이미지와 명확하게 구분하여 보안 성능을 증가시킨 생체 정보 획득 방법 및 이를 구현한 전자 장치를 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 적어도 하나의 광원을 포함하는 디스플레이, 상기 디스플레이의 일 면 또는 상기 디스플레이의 내부에 배치된 센서, 및 상기 디스플레이 및 상기 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 디스플레이의 제1 영역에 배치된 적어도 하나의 광원에서 상기 디스플레이 외부의 객체에 대응하여 제1 광을 방출하고, 상기 제1 광에 기반하여 상기 객체의 제1 이미지를 획득하고, 상기 제1 이미지에서 적어도 하나의 제1 특징 점(feature point)을 추출하고, 상기 적어도 하나의 광원 중 상기 적어도 하나의 제1 특징 점과 제1 방향으로 대응하는 위치에 배치된 제1 광원에서 제2 광을 방출하고, 상기 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 객체의 물성 정보인 제1 물성 정보를 획득하여 등록하고, 사용자의 손가락이 상기 제1 영역에 접촉하는 경우 상기 적어도 하나의 광원에서 상기 제1 광을 방출하여 상기 손가락의 제2 이미지를 획득하고, 상기 손가락의 상기 제2 이미지에서 상기 적어도 하나의 제1 특징 점과 대응하는 제2 특징점을 감지한 경우 상기 제1 광원에서 제3 광을 방출하여 상기 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 손가락의 물성 정보인 제2 물성 정보를 획득하고, 및 상기 제2 이미지가 상기 제1 이미지와 대응하고, 상기 제2 물성 정보가 상기 제1 물성 정보와 대응하는 경우 인증되도록 설정될 수 있다.
또한, 본 문서에 개시되는 다른 실시 예에 따른 전자 장치는, 적어도 하나의 광원을 포함하는 디스플레이, 상기 디스플레이의 일 면 또는 상기 디스플레이의 내부에 배치된 센서, 및 상기 디스플레이 및 상기 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 디스플레이의 제1 영역에 배치된 적어도 하나의 광원에서 상기 디스플레이 외부의 객체에 대응하여 제1 광을 방출하고, 상기 제1 광에 기반하여 상기 객체의 제1 이미지를 획득하고, 상기 제1 영역의 주변 영역인 제2 영역에 배치된 제2 광원에서 제2 광을 방출하고, 상기 제2 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 객체의 물성 정보인 제1 물성 정보를 획득하여 등록하고, 사용자의 손가락이 상기 제1 영역에 접촉하는 경우 상기 적어도 하나의 광원에서 상기 제1 광을 방출하여 상기 손가락의 제2 이미지를 획득하고, 상기 손가락의 상기 제2 이미지가 상기 제1 이미지와 지정된 정도 이상 대응하는 경우 상기 제2 광원에서 제3 광을 방출하여 상기 제2 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 손가락의 물성 정보인 제2 물성 정보를 획득하고, 및 상기 제2 이미지가 상기 제1 이미지와 대응하고, 상기 제2 물성 정보가 상기 제1 물성 정보와 대응하는 경우 인증되도록 설정될 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 전자 장치의 생체 정보 획득 방법은, 디스플레이의 제1 영역에 배치된 적어도 하나의 광원에서 상기 디스플레이 외부의 객체에 대응하여 제1 광을 방출하는 동작, 상기 제1 광에 기반하여 상기 객체의 제1 이미지를 획득하는 동작, 상기 제1 이미지에서 적어도 하나의 제1 특징 점을 추출하는 동작, 상기 적어도 하나의 광원 중 상기 적어도 하나의 제1 특징 점과 제1 방향으로 대응하는 위치에 배치된 제1 광원에서 제2 광을 방출하는 동작, 상기 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 객체의 물성 정보인 제1 물성 정보를 획득하여 등록하는 동작, 사용자의 손가락이 상기 제1 영역에 접촉하는 경우 상기 적어도 하나의 광원에서 상기 제1 광을 방출하여 상기 손가락의 제2 이미지를 획득하는 동작, 상기 손가락의 상기 제2 이미지에서 상기 적어도 하나의 제1 특징 점과 대응하는 제2 특징점을 감지한 경우 상기 제1 광원에서 제3 광을 방출하여 상기 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 손가락의 물성 정보인 제2 물성 정보를 획득하는 동작, 및 상기 제2 이미지가 상기 제1 이미지와 대응하고, 상기 제2 물성 정보가 상기 제1 물성 정보와 대응하는 경우 인증되도록 설정하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 지문 표면의 이미지뿐만 아니라 손가락 내부의 피부 특성을 감지하여 보안 성능을 강화할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 전자 장치의 전면 사시도이다.
도 2는 도 1에 도시된 전자 장치의 후면 사시도이다.
도 3은 도 1에 도시된 전자 장치의 분해 사시도이다.
도 4는 일 실시 예에 따른 생체 정보를 획득하는 전자 장치를 나타낸 블록도이다.
도 5는 일 실시 예에 따른 전자 장치의 생체 정보를 획득하는 방법을 나타낸 흐름도이다.
도 6은 일 실시 예에 따른 전자 장치가 제1 광에 기반하여 객체의 제1 이미지를 획득하는 동작을 나타낸 도면이다.
도 7은 일 실시 예에 따른 전자 장치가 제1 이미지에서 적어도 하나의 제1 특징 점을 추출하는 동작을 나타낸 도면이다.
도 8은 일 실시 예에 따른 전자 장치가 제1 물성 정보를 획득하는 동작을 나타낸 도면이다.
도 9는 일 실시 예에 따른 방출된 제2 광에 따른 광량 정보를 나타낸 도면이다.
도 10은 서로 다른 매질에서의 광량 정보를 나타낸 도면이다.
도 11은 일 실시 예에 따른 광원과 객체 사이의 거리에 따른 광량 정보를 나타낸 그래프이다.
도 12는 일 실시 예에 따른 광원과 센서 사이의 거리에 따른 관통 깊이를 나타낸 도면이다.
도 13은 일 실시 예에 따른 전자 장치가 객체의 제2 이미지에서 제2 특징 점을 감지하는 동작을 나타낸 도면이다.
도 14는 일 실시 예에 따른 전자 장치가 제2 물성 정보를 획득하는 동작을 나타낸 도면이다.
도 15는 다른 실시 예에 따른 전자 장치의 생체 정보를 획득하는 방법을 나타낸 흐름도이다.
도 16은 다른 실시 예에 따른 전자 장치가 제1 물성 정보를 획득하는 동작을 나타낸 도면이다.
도 17은 또 다른 실시 예에 따른 전자 장치가 제1 물성 정보를 획득하는 동작을 나타낸 도면이다.
도 18은 또 다른 실시 예에 따른 전자 장치가 제1 물성 정보를 획득하는 동작을 나타낸 도면이다.
도 19는, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은, 일 실시 예에 따른 전자 장치의 전면 사시도이다. 도 2는 도 1에 도시된 전자 장치의 후면 사시도이다.
도 1 및 도 2를 참조하면, 일 실시 예에 따른 전자 장치(100)는, 제1 면(또는 전면)(110A), 제2 면(또는 후면)(110B), 및 제1 면(110A) 및 제2 면(110B) 사이의 공간을 둘러싸는 측면(110C)을 포함하는 하우징(110)을 포함할 수 있다.
다른 실시 예(미도시)에서, 하우징(110)은, 도 1의 제1 면(110A), 제2 면(110B) 및 측면(110C)들 중 일부를 형성하는 구조를 지칭할 수도 있다.
일 실시 예에 따르면, 제1 면(110A)은 적어도 일부분이 실질적으로 투명한 전면 플레이트(102)(예: 다양한 코팅 레이어들을 포함하는 글라스 플레이트, 또는 폴리머 플레이트)에 의하여 형성될 수 있다. 제2 면(110B)은 실질적으로 불투명한 후면 플레이트(111)에 의하여 형성될 수 있다. 상기 후면 플레이트(111)는, 예를 들어, 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다. 상기 측면(110C)은, 전면 플레이트(102) 및 후면 플레이트(111)와 결합하며, 금속 및/또는 폴리머를 포함하는 측면 베젤 구조(또는 “측면 부재”)(118)에 의하여 형성될 수 있다.
어떤 실시 예에서, 후면 플레이트(111) 및 측면 베젤 구조(118)는 일체로 형성되고 동일한 물질(예: 알루미늄과 같은 금속 물질)을 포함할 수 있다.
도시된 실시 예에서, 상기 전면 플레이트(102)는, 상기 제1 면(110A)으로부터 상기 후면 플레이트(111) 쪽으로 휘어져 심리스하게(seamless) 연장된 2개의 제1 영역(110D)들을, 상기 전면 플레이트(102)의 긴 엣지(long edge) 양단에 포함할 수 있다.
도시된 실시 예(도 2 참조)에서, 상기 후면 플레이트(111)는, 상기 제2 면(110B)으로부터 상기 전면 플레이트(102) 쪽으로 휘어져 심리스하게 연장된 2개의 제2 영역(110E)들을 긴 엣지 양단에 포함할 수 있다.
어떤 실시 예에서, 상기 전면 플레이트(102)(또는 상기 후면 플레이트(111))는 상기 제1 영역(110D)들(또는 상기 제2 영역(110E)들) 중 하나 만을 포함할 수 있다. 다른 실시 예에서, 상기 전면 플레이트(102)(또는 상기 후면 플레이트(111))는 상기 제1 영역(110D)들 (또는 제2 영역(110E)들) 중 일부를 포함하지 않을 수 있다.
상기 실시 예들에서, 상기 전자 장치(100)의 측면에서 볼 때, 측면 베젤 구조(118)는, 상기와 같은 제1 영역(110D)들 또는 제2 영역(110E)들이 포함되지 않는 측면 쪽(예: 단변)에서는 제1 두께(또는 폭)을 가지고, 상기 제1 영역(110D)들 또는 제2 영역(110E)들을 포함한 측면 쪽(예: 장변)에서는 상기 제1 두께보다 얇은 제2 두께를 가질 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 디스플레이(101), 오디오 모듈(103, 107, 114), 센서 모듈(104, 116, 119), 카메라 모듈(105, 112, 113), 키 입력 장치(117A, 117B, 117C), 발광 소자(106), 및 커넥터 홀(108, 109) 중 적어도 하나 이상을 포함할 수 있다. 어떤 실시 예에서, 전자 장치(100)는, 구성요소들 중 적어도 하나(예: 키 입력 장치(117A, 117B, 117C), 또는 발광 소자(106))를 생략하거나 다른 구성요소를 추가적으로 포함할 수 있다.
디스플레이(101)는, 예를 들어, 전면 플레이트(102)의 상당 부분을 통하여 노출될 수 있다. 어떤 실시 예에서는, 상기 제1 면(110A), 및 상기 측면(110C)의 제1 영역(110D)들을 포함하는 전면 플레이트(102)를 통하여 상기 디스플레이(101)의 적어도 일부가 노출될 수 있다.
어떤 실시 예에서, 디스플레이(101)의 모서리는 상기 전면 플레이트(102)의 인접한 외곽 형상과 대체로 동일하게 형성될 수 있다. 다른 실시 예(미도시)에서, 디스플레이(101)가 노출되는 면적을 확장하기 위하여, 디스플레이(101)의 외곽과 전면 플레이트(102)의 외곽 간의 간격은 대체로 동일하게 형성될 수 있다.
일 실시 예에서, 하우징(110)의 표면(또는 전면 플레이트(102))는 디스플레이(101)가 시각적으로 노출됨에 따라 형성되는 화면 표시 영역을 포함할 수 있다. 일례로, 화면 표시 영역은 제1 면(110A), 및 측면의 제1 영역(110D)들을 포함할 수 있다.
도시된 실시 예에서, 화면 표시 영역(110A, 110D)은 사용자의 생체 정보를 획득하도록 구성된 센싱 영역(110F)을 포함할 수 있다. 여기서, “화면 표시 영역(110A, 110D)이 센싱 영역(110F)을 포함함”의 의미는 센싱 영역(110F)의 적어도 일부가 화면 표시 영역(110A, 110D)에 겹쳐질(overlapped) 수 있는 것으로 이해될 수 있다. 다시 말해, 센싱 영역(110F)은 화면 표시 영역(110A, 110D)의 다른 영역과 마찬가지로 디스플레이(101)에 의해 시각 정보를 표시할 수 있고, 및 추가적으로 사용자의 생체 정보(예: 지문)를 획득할 수 있는 영역을 의미할 수 있다.
도시된 실시 예에서, 디스플레이(101)의 화면 표시 영역(110A, 110D)은 제1 카메라 장치(105)(예: 펀치 홀 카메라)가 시각적으로 노출될 수 있는 영역(110G)을 포함할 수 있다. 상기 제1 카메라 장치(105)가 시각적으로 노출된 영역(110G)은 가장자리의 적어도 일부가 화면 표시 영역(110A, 110D)에 의해 둘러싸일 수 있다. 다양한 실시 예에서, 상기 제1 카메라 장치(105)는 복수의 카메라 장치를 포함할 수 있다.
다른 실시 예(미도시)에서, 디스플레이(101)의 화면 표시 영역(110A, 110D)의 일부에는 리세스 또는 개구부(opening)가 형성되고, 상기 리세스 또는 상기 개구부(opening)와 정렬되는 오디오 모듈(114), 제1 센서 모듈(104), 및 발광 소자(106) 중 적어도 하나 이상을 포함할 수 있다.
다른 실시 예(미도시)에서, 디스플레이(101)는 화면 표시 영역(110A, 110D)의 배면에, 오디오 모듈(114), 센서 모듈(104, 116, 119), 및 발광 소자(106) 중 적어도 하나 이상을 포함할 수 있다.
다른 실시 예(미도시)에서, 디스플레이(101)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 자기장 방식의 스타일러스 펜을 검출하는 디지타이저와 결합되거나 인접하여 배치될 수 있다.
어떤 실시 예에서, 상기 센서 모듈(104, 116, 119)의 적어도 일부, 및/또는 키 입력 장치(117A, 117B, 117C)의 적어도 일부는, 상기 측면(110C)(예: 제1 영역(110D)들 및/또는 상기 제2 영역(110E)들)에 배치될 수 있다.
오디오 모듈(103, 107, 114)은, 마이크 홀(103) 및 스피커 홀(107, 114)을 포함할 수 있다. 마이크 홀(103)은 외부의 소리를 획득하기 위한 마이크가 내부에 배치될 수 있고, 어떤 실시 예에서는 소리의 방향을 감지할 수 있도록 복수개의 마이크가 배치될 수 있다. 스피커 홀(107, 114)은, 외부 스피커 홀(107) 및 통화용 리시버 홀(114)을 포함할 수 있다. 어떤 실시 예에서는 스피커 홀(107, 114)과 마이크 홀(103)이 하나의 홀로 구현 되거나, 스피커 홀(107, 114) 없이 스피커가 포함될 수 있다(예: 피에조 스피커).
센서 모듈(104, 116, 119)은, 전자 장치(100)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 예를 들어, 센서 모듈(104, 116, 119)은, 하우징(110)의 제1 면(110A)에 배치된 제1 센서 모듈(104)(예: 근접 센서), 하우징(110)의 제2 면(110B)에 배치된 제2 센서 모듈(116)(예: TOF 카메라 장치), 상기 하우징(110)의 제2 면(110B)에 배치된 제3 센서 모듈(119)(예: HRM 센서) 및/또는 디스플레이(101)에 결합되는 제4 센서 모듈(예: 도 3의 센서(190))(예: 지문 센서)을 포함할 수 있다.
다양한 실시 예에서, 제2 센서 모듈(116)은 거리 측정을 위한 TOF 카메라 장치를 포함할 수 있다.
다양한 실시 예에서, 제4 센서 모듈(예: 도 3의 센서(190))는 적어도 일부가 화면 표시 영역(110A, 110D) 아래에 배치될 수 있다. 일례로, 제4 센서 모듈은 디스플레이(101)의 배면에 형성된 리세스(예: 도 3의 리세스(139))에 배치될 수 있다. 즉, 제4 센서 모듈(예: 도 3의 센서(190))은 화면 표시 영역(110A, 110D)으로 노출되지 않으며, 화면 표시 영역(110A, 110D)의 적어도 일부에 센싱 영역(110F)을 형성할 수 있다.
어떤 실시 예에서(미도시), 상기 지문 센서는 하우징(110)의 제1 면(110A)(예: 화면 표시 영역(110A, 110D))뿐만 아니라 제2 면(110B)에 배치될 수 있다.
다양한 실시 예에서, 전자 장치(100)는, 도시 되지 않은 센서 모듈, 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 더 포함할 수 있다.
카메라 모듈(105, 112, 113)은, 전자 장치(100)의 제1 면(110A)으로 노출되는 제1 카메라 장치(105)(예: 펀치 홀 카메라 장치), 및 제2 면(110B)으로 노출되는 제2 카메라 장치(112), 및/또는 플래시(113)를 포함할 수 있다.
도시된 실시 예에서, 제1 카메라 장치(105)는 제1 면(110A) 중 화면 표시 영역(110D)의 일부를 통해 노출될 수 있다. 일례로, 제1 카메라 장치(105)는 디스플레이(101)의 일부에 형성된 개구(미도시)를 통해 화면 표시 영역(110D)의 일부 영역으로 노출될 수 있다.
도시된 실시 예에서, 제2 카메라 장치(112)는 복수의 카메라 장치(예: 듀얼 카메라, 트리플 카메라)를 포함할 수 있다. 다만, 제2 카메라 장치(112)가 반드시 복수의 카메라 장치를 포함하는 것으로 한정되는 것은 아니며 하나의 카메라 장치를 포함할 수도 있다.
상기 카메라 장치들(105, 112)은, 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 플래시(113)는, 예를 들어, 발광 다이오드 또는 제논 램프(xenon lamp)를 포함할 수 있다. 어떤 실시 예에서는, 2개 이상의 렌즈들(적외선 카메라, 광각 및 망원 렌즈) 및 이미지 센서들이 전자 장치(100)의 한 면에 배치될 수 있다.
키 입력 장치(117A, 117B, 117C)는, 하우징(110)의 측면(110C)에 배치될 수 있다. 다른 실시 예에서는, 전자 장치(100)는 상기 언급된 키 입력 장치(117A, 117B, 117C) 중 일부 또는 전부를 포함하지 않을 수 있고 포함되지 않은 키 입력 장치(117A, 117B, 117C)는 디스플레이(101) 상에 소프트 키와 같은 다른 형태로 구현될 수 있다. 어떤 실시 예에서, 키 입력 장치는 화면 표시 영역(110A, 110D)에 포함된 센싱 영역(110F)을 형성하는 센서 모듈(예: 도 3의 센서(190))을 포함할 수 있다.
발광 소자(106)는, 예를 들어, 하우징(110)의 제1 면(110A)에 배치될 수 있다. 발광 소자(106)는, 예를 들어, 전자 장치(100)의 상태 정보를 광 형태로 제공할 수 있다. 다른 실시 예에서, 발광 소자(106)는, 예를 들어, 제1 카메라 장치(105)의 동작과 연동되는 광원을 제공할 수 있다. 발광 소자(106)는, 예를 들어, LED, IR LED 및 제논 램프를 포함할 수 있다.
커넥터 홀(108, 109)은, 외부 전자 장치와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예를 들어, USB 커넥터)를 수용할 수 있는 제1 커넥터 홀(108), 및/또는 외부 전자 장치와 오디오 신호를 송수신하기 위한 커넥터를 수용할 수 있는 제2 커넥터 홀(109)(예를 들어, 이어폰 잭)을 포함할 수 있다.
도 3은 도 1에 도시된 전자 장치의 분해 사시도이다.
도 3을 참조하면, 전자 장치(100)는, 측면 부재(140), 제1 지지 부재(142)(예: 브라켓), 전면 플레이트(120), 디스플레이(130)(예: 도 1의 디스플레이(101)), 인쇄 회로 기판(150), 배터리(152), 제2 지지 부재(160)(예: 리어 케이스), 안테나(170), 및 후면 플레이트(180)를 포함할 수 있다. 어떤 실시 예에서, 전자 장치(100)는, 구성요소들 중 적어도 하나(예: 제1 지지 부재(142), 또는 제2 지지 부재(160))를 생략하거나 다른 구성요소를 추가적으로 포함할 수 있다. 전자 장치(100)의 구성요소들 중 적어도 하나는, 도 1, 또는 도 2의 전자 장치(100)의 구성요소들 중 적어도 하나와 동일, 또는 유사할 수 있으며, 중복되는 설명은 이하 생략한다.
제1 지지 부재(142)는, 전자 장치(100) 내부에 배치되어 측면 부재(140)와 연결될 수 있거나, 측면 부재(140)와 일체로 형성될 수 있다. 제1 지지 부재(142)는, 예를 들어, 금속 재질 및/또는 비금속 (예: 폴리머) 재질로 형성될 수 있다. 제1 지지 부재(142)는, 일면에 디스플레이(130)가 결합되고 타면에 인쇄 회로 기판(150)이 결합될 수 있다. 인쇄 회로 기판(150)에는, 프로세서, 메모리, 및/또는 인터페이스가 장착될 수 있다. 프로세서는, 예를 들어, 중앙처리장치, 어플리케이션 프로세서, 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
메모리는, 예를 들어, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
인터페이스는, 예를 들어, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다. 인터페이스는, 예를 들어, 전자 장치(100)를 외부 전자 장치와 전기적 또는 물리적으로 연결시킬 수 있으며, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터를 포함할 수 있다.
배터리(152)는 전자 장치(100)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 또는 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 배터리(152)의 적어도 일부는, 예를 들어, 인쇄 회로 기판(150)과 실질적으로 동일 평면 상에 배치될 수 있다. 배터리(152)는 전자 장치(100) 내부에 일체로 배치될 수 있고, 전자 장치(100)와 탈부착 가능하게 배치될 수도 있다.
안테나(170)는, 후면 플레이트(180)와 배터리(152) 사이에 배치될 수 있다. 안테나(170)는, 예를 들어, NFC(near field communication) 안테나, 무선 충전 안테나, 및/또는 MST(magnetic secure transmission) 안테나를 포함할 수 있다. 안테나(170)는, 예를 들어, 외부 장치와 근거리 통신을 하거나, 충전에 필요한 전력을 무선으로 송수신 할 수 있다. 다른 실시 예에서는, 측면 부재(140) 및/또는 상기 제1 지지 부재(142)의 일부 또는 그 조합에 의하여 안테나 구조가 형성될 수 있다.
도시된 실시 예에서, 전자 장치(100)는 디스플레이(130)에 결합되는 센서(190)를 더 포함할 수 있다. 센서(190)는 디스플레이(130) 배면에 형성된 리세스(139)에 배치될 수 있다. 센서(190)는 제1 플레이트(120)의 일부에 센싱 영역(예: 도 1의 센싱 영역(110F))을 형성할 수 있다.
도 4는 일 실시 예에 따른 생체 정보를 획득하는 전자 장치(예: 도 1의 전자 장치(100))를 나타낸 블록도(400)이다. 일 실시 예에 따른 전자 장치(100)는 프로세서(410), 디스플레이(420), 센서(430), 및 레지스터(450)(예: 도 19의 메모리(1930))를 포함할 수 있다.
일 실시 예에서, 프로세서(410)는 디스플레이(420), 센서(430), 및 레지스터(450)와 작동적으로 연결될 수 있다. 프로세서(410)는 디스플레이(420)에 제1 제어 신호를 제공할 수 있다. 제1 제어 신호는 디스플레이(420)에 배치된 화소와 같은 적어도 하나의 광원이 광을 방출하는 위치, 방출하는 광의 양, 및/또는 광을 방출하는 타이밍을 설정할 수 있다. 프로세서(410)는 센서(430)에 제2 제어 신호를 제공할 수 있다. 제2 제어 신호는 센서(430)가 활성화되는 타이밍을 설정할 수 있다. 예를 들어, 프로세서(410)는 광원의 동작 타이밍 및 특정 센서(430)의 동작 타이밍을 동기화(synchronize)시키도록 설정될 수 있다.
일 실시 예에서, 디스플레이(420)는 영상을 표시할 수 있다. 디스플레이(420)는 영상을 표시하기 위해 광을 방출할 수 있다. 디스플레이(420)은 광을 방출하기 위한 적어도 하나의 광원을 포함할 수 있다. 적어도 하나의 광원은 디스플레이(420)에 어레이(array) 구조로 배치될 수 있다.
일 실시 예에서, 센서(430)는 디스플레이(420)의 일 면 또는 디스플레이(420)의 내부에 배치될 수 있다. 센서(430)는 디스플레이(420)에 어레이 형태로 적어도 하나 이상 분포될 수 있다. 센서(430)는 외부의 객체(440)로부터 디스플레이(420)로 반사되는 광을 집광하고, 집광된 광을 감지할 수 있다. 예를 들어, 센서(430)는 렌즈와 같은 집광 소자 및 포토 다이오드(photo diode)와 같은 수광 소자를 포함할 수 있다.
일 실시 예에서, 센서(430)는 디스플레이(420)의 아래에 배치될 수 있다. 예를 들어, 센서(430)는 디스플레이(420)의 아래에 배치되고, 집광 소자(예: 렌즈)와 지문 이미지를 생성하는 이미지 센서를 포함할 수 있다.
일 실시 예에서, 레지스터(450)는 특정 광원이 켜졌을 때 감지된 반사 광의 양을 기록할 수 있다. 프로세서(410)는 레지스터(450)에 저장된 반사 광의 양과 관련된 값을 획득할 수 있다. 프로세서(410)는 객체(440)와 관련된 생체 정보를 재구성할 수 있다. 예를 들어, 객체(440)가 사용자의 손가락인 경우, 프로세서(410)는 레지스터(450)로부터 받아 들인 반사 광의 양에 기반하여 지문의 이미지를 재구성할 수 있다.
일 실시 예에서, 프로세서(410)는 객체(440) 및 디스플레이(420)의 접촉에 대응하여 디스플레이(420)에 제1 제어 신호를 전달하여 디스플레이(420)의 방출 광을 설정할 수 있다. 프로세서(410)는 디스플레이(420)에서 광을 방출하는 위치, 세기, 패턴, 및/또는 타이밍을 설정할 수 있다. 예를 들어, 객체(440)가 사용자의 손가락인 경우, 지문 측정을 시작하게 되면, 프로세서(410)는 디스플레이(420)에 배치된 터치 센서에서의 지문 정보 또는 접촉 정보(예: 접촉 위치, 접촉 면적, 접촉 세기)를 바탕으로 지문의 측정 범위를 설정할 수 있다. 프로세서(410)는 측정 범위에 해당하는 적어도 하나의 광원들을 동작시키는 제1 제어 신호를 디스플레이(420)에 전달할 수 있다.
일 실시 예에서, 프로세서(410)는 객체(440) 및 디스플레이(420)의 접촉에 대응하여 센서(430)에 제2 제어 신호를 제공할 수 있다. 예를 들어, 센서(430)가 적어도 하나 이상의 어레이 형태로 구성되어 있는 경우, 프로세서(410)는 객체(440)가 접촉한 디스플레이(420) 상의 영역, 디스플레이(420)의 일면, 또는 디스플레이(420) 아래에 배치된 센서(430)에 제2 제어 신호를 공급하여 센서(430)를 활성화시킬 수 있다.
일 실시 예에서, 프로세서(410)는 디스플레이(420)에서 광을 방출하는 영역에 대응하는 영역, 디스플레이(420)의 일면, 또는 디스플레이(420) 아래에 배치된 센서(430)를 작동시킬 수 있다. 프로세서(410)는 디스플레이(420)에서 광을 방출하는 동안 센서(430)를 활성화시켜 객체(440)로부터 반사되는 광을 감지할 수 있다. 예를 들어, 프로세서(410)는 디스플레이(420)에서 광을 방출하는 영역과 디스플레이(420)의 두께 방향인 제1 방향으로 중첩되는 위치에 배치된 적어도 하나의 센서(430)를 활성화시킬 수 있다. 다른 예로, 프로세서(410)는 디스플레이(420)에서 광을 방출하는 영역과 제1 방향으로 중첩되는 위치 및 주변 영역에 배치된 복수의 센서(430)들을 활성화시킬 수 있다.
일 실시 예에서, 센서(430)는 감지된 반사 광에 기반하여 센싱 데이터를 생성할 수 있다. 예를 들어, 센서(430)는 디스플레이(420)로부터 방출된 광 중 객체(440)에서 반사된 광의 양에 기반하여 센싱 데이터를 생성할 수 있다. 센싱 데이터는 레지스터(450)에 저장될 수 있다. 레지스터(450)는 센싱 데이터를 프로세서(410)에 전송할 수 있다.
일 실시 예에서, 프로세서(410)는 생체 정보 측정 범위에 해당하는 영역을 모두 스캔할 때까지 디스플레이(210)에서 광을 방출하도록 설정될 수 있다. 프로세서(410)는 생체 정보 측정 범위에 해당하는 영역의 측정이 종료되는 경우 저장된 센싱 데이터에 기반하여 생체 정보 측정 범위에서의 생체 정보와 관련된 이미지를 형성할 수 있다. 예를 들어, 프로세서(410)는 지문 센싱 영역에서의 사용자의 지문의 형태를 이미지로 형성할 수 있다.
도 5는 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))가 생체 정보를 획득하는 방법을 나타낸 흐름도(500)이다.
일 실시 예에 따른 전자 장치(100))의 프로세서(예: 도 4의 프로세서(410))는 동작 510에서, 디스플레이(예: 도 4의 디스플레이(420))의 제1 영역에 배치된 적어도 하나의 광원에서 디스플레이(420) 외부의 객체(예: 도 4의 객체(440))에 대응하여 제1 광을 방출할 수 있다. 제1 영역은 생체 정보 측정 범위에 해당하는 영역일 수 있다. 예를 들어, 제1 영역은 지문 센싱 영역일 수 있다. 제1 광은 디스플레이(420)의 화소에서 방출될 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 520에서, 제1 광에 기반하여 객체(440)의 제1 이미지를 획득할 수 있다. 프로세서(410)는 제1 광이 객체(440)에서 반사되는 양에 기반하여 객체(440)의 제1 이미지를 획득할 수 있다. 제1 이미지는 객체(440)의 표면 이미지일 수 있다. 예를 들어, 제1 이미지는 지문의 형태를 2차원 평면 상에 나타낸 이미지일 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 530에서, 제1 이미지에서 적어도 하나의 제1 특징 점(feature point)을 추출할 수 있다. 제1 특징 점은 제1 이미지를 다른 이미지로부터 구분하기 위한 특징을 포함하는 지점일 수 있다. 제1 특징 점은 주 특징 점(major feature point)일 수 있다. 예를 들어, 지문 이미지에서 제1 특징 점은 지문 형태의 중앙 부분, 지문의 릿지(ridge) 부분이 갈라지거나(bifurcation) 끊어지는(ending) 부분, 지문 형태의 패턴이 변화하는 경계 점, 또는 생체 정보 측정 범위의 가장자리(border)일 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 540에서, 적어도 하나의 광원 중 적어도 하나의 제1 특징 점과 제1 방향(디스플레이(420)의 두께 방향)으로 대응하는 위치에 배치된 제1 광원에서 제2 광을 방출할 수 있다. 제1 광원은 디스플레이(420)에 배치된 하나 이상의 광원 중 제1 특징 점과 디스플레이(420)의 두께 방향으로 중첩된 영역에 배치된 광원일 수 있다. 제2 광은 제1 광원에서 출력될 수 있다. 제2 광은 제1 광이 출력된 시점보다 지정된 시간이 경과한 시점에 출력될 수 있다. 제2 광은 제1 광보다 높은 세기로 출력될 수 있다.
일 실시 예에서, 제2 광은 제1 광원의 적어도 일부에서 출력될 수 있다. 예를 들어, 제2 광은 제1 광원의 적어도 일부와 중첩되거나 제1 광원의 적어도 일부를 이용하여 출력될 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 550에서, 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 객체(440)의 물성 정보인 제1 물성 정보를 획득하여 등록할 수 있다. 제1 광원으로부터의 거리에 따라 객체(440) 내부에서 산란(scatter)되는 광의 패턴이 변화할 수 있다. 산란되는 광의 패턴이 변화하는 경우 객체(440)에서의 위치에 따라 광량이 달라질 수 있다. 객체(440)에서의 위치에 따른 광량은 객체(440)의 물성에 따라 달라질 수 있다. 객체(440)의 물성 정보는 객체(440)의 깊이에 따른 광량의 변화를 포함할 수 있다. 프로세서(410)는 객체(440)의 물성 정보를 획득하여 레지스터(예: 도 4의 레지스터(450))에 저장할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 560에서, 사용자의 손가락이 제1 영역에 접촉하는 경우 적어도 하나의 광원에서 제1 광을 방출하여 손가락의 제2 이미지를 획득할 수 있다. 제1 영역은 지문 센싱 영역일 수 있다. 제2 이미지는 손가락의 표면 형태를 2차원적으로 나타낸 표면 이미지일 수 있다. 프로세서(410)는 지문 센싱 영역에서 광을 방출하여 손가락의 표면 이미지를 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 570에서, 손가락의 제2 이미지에서 적어도 하나의 제1 특징 점과 대응하는 제2 특징점을 감지한 경우 제1 광원에서 제3 광을 방출하여 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 손가락의 물성 정보인 제2 물성 정보를 획득할 수 있다. 프로세서(410)는 손가락의 제2 이미지에서 제2 특징점을 감지한 경우 제2 이미지를 제1 이미지와 매칭(matching)하는 동작을 수행할 수 있다. 프로세서(410)는 손가락과 객체(440)의 물성 정보를 비교하기 위해 제3 광을 방출하여 손가락의 물성 정보를 획득할 수 있다.
일 실시 예에서, 제3 광은 제1 광원의 적어도 일부에서 출력될 수 있다. 예를 들어, 제3 광은 제1 광원의 적어도 일부와 중첩되거나 제1 광원의 적어도 일부를 이용하여 출력될 수 있다.
일 실시 예에서, 제3 광은 제2 광과 실질적으로 동일할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 580에서, 제2 이미지와 제1 이미지가 대응하고, 제2 물성 정보가 제1 물성 정보와 대응하는 경우 인증되도록 설정될 수 있다. 예를 들어, 프로세서(410)는 손가락의 표면 이미지가 객체(440)의 표면 이미지와 대응하고, 손가락의 물성 정보가 객체(440)의 물성 정보와 대응하는 경우 디스플레이(420)에 접촉한 손가락이 등록된 객체(440)와 대응하는 것으로 판단하고 인증되도록 설정될 수 있다. 프로세서(410)는 디스플레이(420)에 접촉한 손가락의 표면 이미지가 객체(440)의 표면 이미지와 대응하는 경우 접촉한 손가락의 물성 정보가 객체(440)의 물성 정보와 대응하는지 여부를 추가로 비교하여 보안 성능을 향상시킬 수 있다.
도 6은 일 실시 예에 따른 전자 장치(601)(예: 도 1의 전자 장치(100))가 제1 광에 기반하여 객체(440)의 제1 이미지(602)를 획득하는 동작을 나타낸 도면(600)이다.
일 실시 예에서, 전자 장치(601)는 디스플레이(420) 및 디스플레이(420)의 하부 면 또는 내부에 배치된 센서(430)를 포함할 수 있다. 디스플레이(420) 및 센서(430) 사이에는 제1 렌즈(621) 및 제2 렌즈(622)가 배치될 수 있다. 도 6에서는 렌즈 타입(lens type)의 집광 소자가 배치된 경우를 도시하였다. 그러나 이에 한정되지 않으며, 마이크로 렌즈(micro lens), 시준기(collimator), 광 섬유(optical fiber), 핀 홀(pin hole)과 같은 다양한 종류의 집광 구조를 적용하여 센서(430)의 수광 소자로 광을 집광시킬 수 있다.
일 실시 예에서, 디스플레이(420) 상의 생체 정보 측정 범위에 해당하는 제1 영역에 객체(440)가 접촉할 수 있다. 프로세서(예: 도 4의 프로세서(410))는 디스플레이(420)의 제1 영역에 객체(440)가 접촉하는 경우 디스플레이(420)의 제1 영역에 배치된 제1 광원이 광을 방출하도록 디스플레이(420)에 제1 제어 신호를 제공할 수 있다.
일 실시 예에서, 센서(430)는 디스플레이(420)로부터 방출된 이후 객체(440)에 의해 반사되어 되돌아오는 반사 광을 획득할 수 있다. 객체(440)로부터 반사된 광은 제1 렌즈(621) 및 제2 렌즈(622)에 의해 집광되어 센서(430)로 입사할 수 있다. 센서(430)는 객체(440)로부터 반사된 광의 양 및 패턴에 기반하여 객체(440)의 제1 이미지(602)를 획득할 수 있다. 센서(430)의 크기가 작아서 객체(440) 전체를 한 번에 이미지화(imaging) 할 수 없는 경우에, 센서(430)는 객체(440)의 일부를 이미지화 하여 부분 이미지를 획득할 수 있다. 제1 이미지(602)는 객체(440)의 일부를 이미지화 한 부분 이미지를 스티칭(stitching)하여 획득된 이미지일 수 있다. 제1 이미지(602)는 객체(440)의 형태를 2차원으로 표현한 표면 이미지일 수 있다. 예를 들어, 제1 이미지(602)는 지문의 릿지(Ridge) 및 벨리(Valley)를 표현한 이미지일 수 있다.
도 7은 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))가 제1 이미지(701)(예: 도 6의 제1 이미지(602))에서 적어도 하나의 제1 특징 점(710)을 추출하는 동작을 나타낸 도면(700)이다.
일 실시 예에서, 프로세서(예: 도 4의 프로세서(410))는 제1 이미지(701)에서 제1 특징 점(710)을 추출할 수 있다. 제1 특징 점(710)은 광학식 지문 센싱에서 진행하는 지문 매칭(Matching) 과정에서 사용되는 지점일 수 있다. 추출된 제1 특징 점(710)들 각각은 지정된 거리 이상 서로 이격될 수 있다. 제1 특징 점(710) 중 적어도 하나의 특징 점은 주 특징 점(710a)(major feature point)일 수 있다. 주 특징 점은 깊이 방향으로 피부의 물성 수치를 측정하는 레퍼런스(reference)가 되는 위치일 수 있다. 예를 들어, 주 특징 점(710a)은 지문 형태의 중앙 부분의 특징 점일 수 있다.
일 실시 예에서, 제1 특징 점(710)을 추출한 지문 이미지(702)에서 제1 특징 점(710)은 지문 형태의 중앙 부분, 지문의 릿지 부분이 갈라지거나 끊어지는 부분, 지문 형태의 패턴이 변화하는 경계 점, 또는 생체 정보 측정 범위의 가장자리일 수 있다.
도 8은 일 실시 예에 따른 전자 장치(801)(예: 도 1의 전자 장치(100))가 제1 물성 정보를 획득하는 동작을 나타낸 도면(800)이다.
일 실시 예에서, 프로세서(예: 도 4의 프로세서(410))는 제1 특징 점(710)과 제1 방향(디스플레이(420)의 두께 방향)으로 대응하는 위치에 배치된 제1 광원(810)에서 제2 광을 방출할 수 있다. 제1 광원(810)은 제1 특징 점(710)과 디스플레이(420)의 두께 방향으로 중첩되도록 배치된 광원일 수 있다. 제2 광은 제1 광보다 높은 세기로 방출될 수 있다. 제2 광은 방출되어 객체(440)의 물성 정보를 획득할 수 있다.
일 실시 예에서, 제2 광을 방출하여 제1 특징 점(710)을 중심으로 객체(440)의 깊이 방향으로의 물질과 관련된 파라미터들을 3차원적으로 추출할 수 있다. 예를 들어, 객체(440)가 손가락인 경우, 피부 물질을 측정하기 위해 제1 특징 점(710)의 위치에 해당하는 제1 광원(810)을 턴-온 한 이후, 제1 광원(810)에서의 거리에 기반하여 변화하는 제2 광의 세기를 센서(430)로 측정할 수 있다. 객체(440)의 물성이 균일하지 않고 객체(440)가 방향에 따른 특이점이 있는 경우, 제1 광원(810)을 턴-온 시키는 경우 보다 많은 물성 정보를 취득할 수 있고 인증 과정에서의 정확도를 증가시킬 수 있다.
일 실시 예에서, 센서(430)는 제1 광원(810) 각각으로부터 멀어지는 방향으로 제2 광이 진행함에 따라 제2 광이 감소하는 정도를 측정하여 광량 정보를 획득할 수 있다. 제1 광원(810)으로부터의 거리에 따른 광량은 다음 수학식 1로 산출할 수 있다.
Figure PCTKR2021002230-appb-M000001
수학식 1에 따르면, 거리가 증가할수록 로그 스케일(log scale)로 광량은 감소하고, 감소하는 정도는 물질의 광자 흐름의 반감 계수(μ_eff)에 따라 설정될 수 있다.
일 실시 예에서, 지문 센싱 영역인 제1 영역 중 주 특징 점인 제1 특징 점(710)에 해당하는 위치에 해당하는 광원을 턴-온 시켜 제2 광을 방출하여 각각의 제1 특징 점(710) 주변의 물질 특성 값을 추출할 수 있다. 예를 들어, 제2 광을 방출하여 제1 특징 점(710) 주변의 피부의 광자 흐름의 반감 계수(μ_eff)를 추출할 수 있다. 광자 흐름의 반감 계수(μ_eff)는 제2 광의 흡수율 및 산란율의 함수로 객체(440)의 물성을 나타낼 수 있다. 예를 들어, 객체(440)가 피부인 경우, 정상적인 피부에서 광자 흐름의 반감 계수(μ_eff)는 균일한 값을 가질 수 있다. 다른 예로, 객체(440)가 피부인 경우, 피부 속 특정 위치에 경화된 피부 세포나 산란을 증가시키는 다른 요인(예: 암세포, 점, 굳은살)이 있는 경우 광자 흐름의 반감 계수(μ_eff)는 다른 요인이 존재하는 특정한 방향으로 균일하지 않은 값을 나타낼 수 있다. 프로세서(410)는 인증 동작에서 객체(440)의 광자 흐름의 반감 계수(μ_eff)를 이용하여 사용자를 인증할 수 있다.
도 9는 일 실시 예에 따른 방출된 제2 광(911, 931)에 따른 광량 정보(910, 920, 930, 940)를 나타낸 도면(900)이다.
일 실시 예에서, 제1 광량 정보(910) 및 제2 광량 정보(920)는 단일 점 광원(single point source)에 대한 객체(예: 도 8의 객체(440))에 대한 수치 해석 시뮬레이션 결과일 수 있다. 제1 광량 정보(910)는 전면(front side)에서의 광량 정보를 로그 스케일로 시각적으로 나타낸 결과일 수 있다. 제2 광량 정보(920)는 깊이 방향의 단면의 광량 정보를 시각적으로 나타낸 결과일 수 있다. 단일 점 광원에 대한 광량 정보를 분석하는 경우 광원으로부터 거리에 기반하여 지수적으로(exponentially) 광량이 감소하는 것을 알 수 있다. 제3 광량 정보(930) 및 제4 광량 정보(940)는 원형 광원(circular type source)에 대한 객체(440)에 대한 수치 해석 시뮬레이션 결과일 수 있다. 제3 광량 정보(930)는 전면에서의 광량 정보를 시각적으로 나타낸 결과일 수 있다. 제4 광량 정보(940)는 깊이 방향의 단면의 광량 정보를 시각적으로 나타낸 결과일 수 있다.
일 실시 예에서, 광은 객체(440) 내부에서 방사 전송 방정식(radiation transport equation, RTE)에 따라 진행할 수 있다.
방사 전송 방정식에서 c는 물질 속에서의 빛의 속도, L은 위치 r, 시간 t에서 Ω방향으로 진행하는 광의 단위 면적당 세기(light radiance), Q는 위치 r, 시간 t에서 Ω방향으로 방출된 광의 단위 부피당 세기, μa는 빛의 흡수율(absorption coefficient), μs는 빛의 산란율(scattering coefficient), f는 물질 속에서 발생되는 산란 이벤트에서 Ω방향으로 입사된 빛이 Ω방향으로 산란되는 확률을 나타낼 수 있다.
일 실시 예에서, 방사 전송 방정식을 간략히 표현할 수 있다. 방사 전송 방정식은 광원(예: 도 8의 제1 광원(810)) 및 객체(440) 사이의 거리가 지정된 거리 이상이고, 물질의 산란율(μs)이 흡수율(μa)보다 지정된 비율 이상 커서 객체(440)를 이루는 물질이 산란 우세(scattering-dominant) 물질인 경우, 다음과 같은 수학식 2로 표현되는 확산 방정식(diffusion equation)으로 간략히 표현할 수 있다.
Figure PCTKR2021002230-appb-M000002
수학식 2에서 Ф는 광자 흐름(photon fluence), D는 확산 계수(diffusion coefficient), g는 이방성 요인(anisotropy factor), S는 단위 부피 당 광의 세기를 의미한다. 예를 들어, 광이 피부 속에서 진행하는 환경에서는 광원 및 센서(예: 도 8의 센서(430)) 사이의 거리가 지정된 거리 이상인 경우, 광의 분포를 수학식 3으로 표현할 수 있다.
일 실시 예에서, 광원의 종류가 단일 점 광원인 경우, 단위 부피 당 광의 세기는 임펄스 함수로 모델링할 수 있어, 다음 수학식 3과 같은 관계가 성립한다.
Figure PCTKR2021002230-appb-M000003
수학식 3을 수학식 2에 적용하는 경우 확산 방정식을 헬름홀츠 방정식(Helmholtz equation)의 형태로 나타내고 수학식 4와 같은 분석 해(analytical solution)를 산출할 수 있다.
Figure PCTKR2021002230-appb-M000004
수학식 4에서 μeff는 물질에 의한 광자 흐름의 반감 계수(decay constant)일 수 있다. μeff는 광이 진행하는 객체(440)를 이루는 물질의 특성 값일 수 있다.
일 실시 예에서, 제1 광량 정보(910) 및 제2 광량 정보(920)를 참조하면, 광원(810)을 중심으로 광자 흐름이 원형 대칭적(circularly symmetric)으로 감소할 수 있다. 광자 흐름은 광이 통과하고 있는 물질 특성(μa, μs')에 기인할 수 있다.
도 10은 서로 다른 매질에서의 광량 정보(1010, 1020)를 나타낸 도면(1000)이다.
일 실시 예에서, 제5 광량 정보(1010)는 객체(예: 도 8의 객체(440))가 실제 사람의 피부인 경우의 광량 정보이고, 제6 광량 정보(1020)는 객체(440)가 실리콘과 같은 인공 물질인 경우의 광량 정보일 수 있다. 객체(440)를 이루는 물질의 특성에 따라 광량 정보가 변화할 수 있다.
일 실시 예에서, 객체(440)를 이루는 물질의 특성에 따라서 광원으로부터 거리에 따라 변화하는 광자 흐름이 상이할 수 있다. 실제 사람의 피부 세포에서의 광자 흐름 및 인공 물질에서의 광자 흐름은 서로 다를 수 있다. 프로세서(예: 도 4의 프로세서(410))는 광자 흐름이 변화하는 정도를 측정할 수 있다. 프로세서(410)는 지문을 측정하는 객체(440)를 이루는 물질의 특성을 획득할 수 있다.
일 실시 예에서, 수학식 4를 로그(logarithm) 처리하고, 거리에 따른 기울기를 구하여 다음과 같은 수학식 5를 획득할 수 있다.
Figure PCTKR2021002230-appb-M000005
수학식 5에서 광원에서의 거리를 멀리하고 기울기 측정을 통해 다음과 같은 수학식 6을 획득할 수 있다.
Figure PCTKR2021002230-appb-M000006
도 11은 일 실시 예에 따른 광원(예: 도 8의 제1 광원(810))과 객체(예: 도 8의 객체(440)) 사이의 거리에 따른 광량 정보를 나타낸 그래프(1100)이다.
일 실시 예에서, 수학식 7을 그래프로 표현하는 경우, 유효 자기 투자율(μ_eff)을 추출할 수 있다. 수학식 7을 표현한 그래프의 기울기 값은 객체(440)의 물질 특성인 유효 자기 투자율(μ_eff)일 수 있다.
일 실시 예에서, 제1 그래프(1110)는 도 10의 제5 광량 정보(1010)의 시뮬레이션 광량 정보를 시각적으로 표현한 그래프일 수 있다. 제2 그래프(1120)는 실제 피부에 광원(810)을 근접시켜 발광하고 센서(예: 도 8의 센서(430))를 광원(810)과 다른 거리에 위치시켜서 피부 반사 정도를 측정한 그래프일 수 있다. 제3 그래프(1130)는 제1 그래프(1110)를 로그 스케일로 표현한 그래프일 수 있다. 제4 그래프(1140)는 제2 그래프(1120)를 로그 스케일로 표현한 그래프일 수 있다.
일 실시 예에서, 제3 그래프(1130) 또는 제4 그래프(1140)에서 지정된 거리 이상인 경우를 참조하면, 거리에 따른 로그 스케일로 표현된 광량은 일정한 음의 기울기 값을 가질 수 있다. 일정한 음의 기울기 값은 유효 자기 투자율(μ_eff)의 음의 값과 실질적으로 동일할 수 있다. 거리에 따른 로그 스케일로 표현된 광량의 기울기는 측정하고 있는 피부의 물질 특성을 나타낼 수 있다. 프로세서(예: 도 4의 프로세서(410))는 측정하고 있는 객체(440)를 이루는 물질의 특성을 획득할 수 있다.
도 12는 일 실시 예에 따른 광원(예: 도 8의 제1 광원(810))과 센서(예: 도 8의 센서(430)) 사이의 거리에 따른 관통 깊이를 나타낸 도면(1200)이다. 관통 깊이는 광원(예: 도 8의 제1 광원(810))으로부터 디스플레이(예: 도 8의 디스플레이(420))의 두께 방향으로 광이 객체(440)를 통과하는 거리일 수 있다.
일 실시 예에서, 광원(810) 및 센서(430) 사이에서는 광량의 감소가 발생할 수 있다. 프로세서(예: 도 4의 프로세서(410))는 광이 객체(예: 도 8의 객체(440))를 관통함에 따라 광량의 감소를 시각적으로 나타낸 광량 정보에 기반하여 두께에 따른 물질의 특성을 획득할 수 있다.
일 실시 예에서, 제1 거리(1210), 제2 거리(1220), 및 제3 거리(1230)에서 거리에 따른 관통 깊이가 변화할 수 있다. 광원(810) 및 센서(430) 사이의 거리가 증가할수록 광의 산란이 증가하여 관통 깊이가 증가할 수 있다. 구체적으로, 물리적으로 주된 관통 깊이는 광원(810) 및 센서(430) 사이의 거리의 약 1/3 배일 수 있다. 예를 들어, 광원(810) 및 센서(430) 사이의 거리가 약 6㎜인 경우, 주된 관통 깊이는 약 2㎜일 수 있다.
일 실시 예에서, 광원(810)으로부터 서로 다른 거리에 배치된 센서(430)로 입사되는 광자들의 밀도를 시뮬레이션 할 수 있다. 광원(810)으로부터 이격된 센서(430)로 입사하는 광들은 객체(440)를 지정된 깊이까지 통과할 수 있다. 센서(430)로 입사하는 광은 바나나 형태(banana-shape)와 같은 곡선의 경로로 이동할 수 있다. 광의 경로의 깊이는 광원(810) 및 센서(430) 사이의 거리가 증가할수록 깊어질 수 있다. 광원(810) 및 센서(430) 사이의 거리를 조절하면서 측정하는 경우, 객체(440)의 깊이 방향으로 객체(440)의 물성이 변화하는지 여부를 측정할 수 있다. 객체(440)의 깊이 방향으로의 물성을 측정하는 경우 객체(440)의 표면 형태 및 객체(440)의 깊이 방향으로의 물성을 결합하여 객체(440)의 형태를 3차원적으로 획득할 수 있다.
도 13은 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))가 객체(440)(예: 손가락)의 제2 이미지(1302)에서 제2 특징 점(1320)을 감지하는 동작을 나타낸 도면이다.
일 실시 예에서, 전자 장치(100)의 디스플레이(420)의 지문 센싱 영역에 객체(440)가 접촉하는 경우, 프로세서(예: 도 4의 프로세서(410))는 객체(440)의 지문을 확인하여 전자 장치(100)의 잠금을 해제하도록 전자 장치(100)를 인증할 수 있다. 전자 장치(100)의 디스플레이(420)의 지문 센싱 영역에 객체(440)가 접촉하는 경우, 프로세서(410)는 제1 영역(1310)에서 제1 광을 방출하여 객체(440)의 제2 이미지(1302)를 획득할 수 있다. 예를 들어, 객체(440)가 손가락인 경우, 제2 이미지(1302)는 객체(440)의 지문 형태의 일부를 표현한 표면 이미지일 수 있다.
일 실시 예에서, 프로세서(410)는 제2 이미지(1302)에서 제2 특징 점(1320)을 감지할 수 있다. 프로세서(410)는 제2 특징 점(1320)이 제1 특징 점(예: 도 7의 제1 특징 점(710))과 대응하는지 여부를 판단할 수 있다. 프로세서(410)는 제2 특징 점(1320)이 제1 특징 점(710)과 대응하는 경우 객체(440)의 제2 이미지(1302)가 객체(440)의 제1 이미지(예: 도 6의 제1 이미지(602)와 매칭하는지 확인할 수 있다.
일 실시 예에서, 사용자가 지문 측정 위치인 제1 영역(1310)에 객체(440)를 접촉하는 경우 프로세서(410)는 제1 영역(1310)에 제1 방향으로 중첩된 디스플레이(420)의 광원이 동시에 턴-온 시켜 객체(440)의 지문을 측정하여 제2 이미지(1302)를 획득할 수 있다. 프로세서(410)는 제2 이미지(1302)에서 제1 특징 점(710)과 대응하는 제2 특징 점(1320)이 감지되는 경우 객체(440)의 제2 이미지(1302)가 객체(440)의 제1 이미지(602)와 대응(matching)하는지 여부를 판단할 수 있다. 제2 이미지(1302)가 제1 이미지(602)와 대응하는지 여부를 판단하는 특징점(710, 1320)의 개수는 한 개 이상일 수 있다.
도 14는 일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))가 제2 물성 정보를 획득하는 동작을 나타낸 도면(1400)이다.
일 실시 예에서, 프로세서(예: 도 4의 프로세서(410))는 객체(440)의 제2 이미지(예: 도 13의 제2 이미지(1302))가 객체(440)의 제1 이미지(예: 도 6의 제1 이미지(602))와 대응하는 것으로 판단한 경우, 제1 광원(1410)에서 제3 광을 방출할 수 있다. 제3 광은 제1 광원(1410)에서 제2 특징 점(1320)과 대응하는 영역에 배치된 광원일 수 있다. 프로세서(410)는 제3 광을 이용하여 손가락(440)의 물성 정보인 제2 물성 정보를 획득할 수 있다. 프로세서(410)는 제2 물성 정보를 객체(440)의 물성 정보인 제1 물성 정보와 비교할 수 있다. 프로세서(410)는 제2 이미지가 제1 이미지와 대응하고, 제2 물성 정보가 제1 물성 정보와 대응하는 경우 인증하도록 설정될 수 있다. 프로세서(410)는 객체(440)의 표면 이미지 및 물성 정보를 모두 확인하여 전자 장치(100)의 보안 성능을 향상시킬 수 있다.
일 실시 예에서, 제3 광은 제1 광원의 적어도 일부에서 출력될 수 있다. 예를 들어, 제3 광은 제1 광원의 적어도 일부와 중첩되거나 제1 광원의 적어도 일부를 이용하여 출력될 수 있다.
일 실시 예에서, 제3 광은 제2 광과 실질적으로 동일할 수 있다.
일 실시 예에서, 프로세서(410)는 지문 인증 과정에서 획득한 제2 이미지(1302)에서 지문 등록 과정에서 사용된 주 특징 점 중 적어도 하나가 감지되는 경우, 감지된 주 특징 점에 해당하는 제1 광원(1410)을 턴-온 할 수 있다. 프로세서(410)는 제1 광원(1410) 주위로 감소되는 광량의 변화를 측정하여 객체(예: 손가락)(440)의 물성 정보인 제2 물성 정보를 추출할 수 있다. 프로세서(410)는 등록된 제1 물성 정보 및 제2 물성 정보의 유사한 정도를 비교하여 접촉한 객체(440) 및 등록된 객체(440)가 동일한 물질로 이루어져 있는지 여부를 매칭(matching) 과정에서 판단할 수 있다.
도 15는 다른 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))의 생체 정보를 획득하는 방법을 나타낸 흐름도(1500)이다.
일 실시 예에 따른 전자 장치(100))의 프로세서(예: 도 4의 프로세서(410))는 동작 1510에서, 디스플레이(예: 도 4의 디스플레이(420))의 제1 영역에 배치된 적어도 하나의 광원에서 디스플레이(420) 외부의 객체(예: 도 4의 객체(440))에 대응하여 제1 광을 방출할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 1520에서, 제1 광에 기반하여 객체(440)의 제1 이미지를 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 1530에서, 제1 영역의 주변 영역인 제2 영역에 배치된 제2 광원에서 제2 광을 방출할 수 있다. 예를 들어, 제2 영역은 디스플레이(420) 상에서 제1 영역을 제외한 영역 중 적어도 일부 영역일 수 있다. 다른 예로, 제2 영역은 제1 영역을 둘러싸는 영역일 수 있다. 또 다른 예로, 제2 영역은 디스플레이(420) 상에서 제1 영역을 적어도 일부 포함하고 제1 영역보다 넓은 영역일 수 있다. 제2 광원에서 방출되는 제2 광은 제1 광보다 넓은 영역에서 방출될 수 있다. 제2 광은 제1 광보다 높은 세기로 방출될 수 있다. 제2 광은 제1 광이 방출된 시점 이후에 방출될 수 있다. 제2 광은 제1 광과 동시에 방출될 수도 있다. 제2 광이 제1 광과 동시에 방출될 경우, 지문 이미지는 제2 광이 방출된 위치로부터 멀어질수록 감소하는 단계적인 배경(gradated background)를 가질 수 있다. 지문 이미지는 배경을 제거하여 획득할 수 있다. 물성 정보는 배경의 위치에 따른 변화 정도로부터 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 1540에서, 제2 광원으로부터의 거리에 따른 광량 정보에 기반하여 객체(440)의 물성 정보인 제1 물성 정보를 획득하여 등록할 수 있다. 프로세서(410)는 제2 광원으로부터의 거리에 따라 객체(440) 내부에서 산란되는 광의 패턴의 변화에 기반하여 객체(440)의 물성 정보를 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 1550에서, 사용자의 손가락이 제1 영역에 접촉하는 경우 적어도 하나의 광원에서 제1 광을 방출하여 손가락의 제2 이미지를 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 1560에서, 손가락의 제2 이미지가 제1 이미지와 지정된 정도 이상 대응하는 경우 제2 광원에서 제3 광을 방출하여 제2 광원으로부터의 거리에 따른 광량 정보에 기반하여 손가락의 물성 정보인 제2 물성 정보를 획득할 수 있다. 프로세서(410)는 손가락의 표면 이미지가 객체(440)의 표면 이미지와 동일하거나 지정된 유사도 이상으로 유사한 경우 제2 이미지가 제1 이미지와 대응하는 것으로 판단할 수 있다. 프로세서(410)는 손가락과 객체(440)의 물성 정보를 비교하기 위해 제3 광을 방출하여 손가락의 물성 정보를 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)의 프로세서(410)는 동작 1570에서, 제2 이미지가 제1 이미지와 대응하고, 제2 물성 정보가 제1 물성 정보와 대응하는 경우 인증되도록 설정될 수 있다. 예를 들어, 제2 이미지(1302)가 제1 이미지(602)와 대응하는지 여부를 판단하는 특징점(710, 1320)이 적어도 하나 이상 대응하고, 제2 물성 정보가 제1 물성 정보와 대응하는 경우 인증되도록 설정될 수 있다.
도 16은 다른 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))가 제1 물성 정보를 획득하는 동작을 나타낸 도면(1600)이다.
일 실시 예에서, 프로세서(예: 도 4의 프로세서(410))는 객체(440)가 디스플레이(420)의 제1 영역에 접촉하는 경우, 제1 영역의 주변 영역인 제2 영역(1610)에 배치된 제2 광원에서 제2 광을 방출할 수 있다. 제2 영역(1610)은 센서(430)와 중첩되지 않은 영역일 수 있다. 프로세서(410)는 제2 영역(1610)으로부터 방출된 제2 광이 제2 영역(1610)으로부터 멀어지고, 객체(440)를 통과하면서 감소하는 정도를 측정할 수 있다. 프로세서(410)는 제2 영역(1610)으로부터 거리에 따른 광량 정보에 기반하여 객체(440)의 물정 정보인 제1 물성 정보를 획득할 수 있다.
일 실시 예에서, 객체(440)의 물성 정보를 획득하기 위해 방출되는 제2 광의 광량이 지정된 양 이하일 경우 객체(440)의 물성 정보를 전체적(global)으로 측정할 수 있다. 프로세서(410)는 객체(440)의 물성 정보를 전체적(global)으로 측정하기 위해 렌즈(621, 622) 및 센서(430)가 배치된 영역 이외의 영역에 배치된 광원들을 턴-온 시킬 수 있다. 프로세서(410)는 센서(430)가 측정하는 영역 내에서 광원으로부터 멀어지는 방향으로 광의 세기가 감소하는 경향을 측정할 수 있다. 프로세서(410)는 광원의 세기가 지정된 세기 이하인 경우에도 객체(440)의 물성 정보를 측정할 수 있다. 또한, 객체(440)의 물성 정보를 측정하기 위해 광원을 전체적으로 구동하는 경우 프로세서(410)가 측정하는 물성 정보의 데이터 양을 감소시켜 처리 시간(processing time)을 감소시킬 수 있다.
도 17은 또 다른 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))가 제1 물성 정보를 획득하는 동작을 나타낸 도면(1700)이다.
일 실시 예에서, 프로세서(예: 도 4의 프로세서(410))는 제2 광을 방출하는 영역을 지정된 주기마다 변화시킬 수 있다. 프로세서(410)는 제2 광을 방출하는 영역을 동심 형태로 퍼지도록 변화시킬 수 있다. 도 17에서는 제2 광을 방출하는 영역이 도넛 형태인 경우를 도시하였다. 그러나 이에 한정되지 않으며, 제2 광을 방출하는 영역은 동심 형태와 유사한 타원 형태, 다각형 형태, 자유 곡선 형태 등 다양한 형태로 퍼지면서 변화할 수 있다. 프로세서(410)는 제2 광을 방출하는 영역을 변화에 따른 제2 광의 광량의 변화 패턴에 기반하여 객체(440)의 물성을 획득할 수 있다.
일 실시 예에서, 광학식 지문 센싱을 위한 센서(430)가 2차원 어레이 형태가 아닌 점 감지 센서(point detect) 또는 단일한 포토 다이오트(photo diode)일 수 있다. 또는, 디스플레이(420)의 투과율이 낮아서 센서(430)에 도달하는 광량이 지정된 양 이하일 수 있다. 이 경우 객체(440)의 물성을 추출하기 위해 순차적 이미징(sequential imaging) 방식을 적용할 수 있다. 프로세서(410)는 렌즈(621, 622) 및 센서(430)의 중심 지점에서 거리가 멀어지는 동심원 형태로 디스플레이(420)에 배치된 광원(1711, 1721, 1731, 1741)을 동작시켜 순차적으로 광량을 측정할 수 있다. 예를 들어, 제1 주기에는 제1 패턴(1710), 제2 주기에는 제2 패턴(1720), 제3 주기에는 제3 패턴(1730), 제4 주기에는 제4 패턴(1740)으로 광원을 순차적으로 동작시킬 수 있다. 프로세서(410)는 제1 패턴(1710), 제2 패턴(1720), 제3 패턴(1730), 및 제4 패턴(1740)에 따른 광량 정보를 획득할 수 있다.
일 실시 예에서, 센서(430)가 CIS 타입 또는 TFT 타입의 2차원 이미지 센서인 경우 제1 패턴(1710), 제2 패턴(1720), 제3 패턴(1730), 및 제4 패턴(1740) 각각에서 총 방출된 광량을 이용하여 신호 대비 잡음비(signal to noise ratio, SNR)를 감소시킬 수 있다. 측정되는 객체(440) 기준으로 센서(430)의 위치가 동일한 상태에서 광원으로부터 거리가 변화할 수 있다. 프로세서(410)는 각각의 측정 결과를 조합하여 광원의 패턴(1710, 1720, 1730, 1740)이 변화함에 따라 변화하는 광량 정보를 획득할 수 있다. 프로세서(410)는 광량 정보에 기반하여 객체(440)의 물성 정보를 획득할 수 있다.
도 18은 또 다른 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(100))가 제1 물성 정보를 획득하는 동작을 나타낸 도면(1800)이다.
일 실시 예에서, 프로세서(예: 도 4의 프로세서(410))는 제2 광을 방출하는 영역을 지정된 주기마다 변화시킬 수 있다. 예를 들어, 프로세서(410)는 제2 광을 방출하는 영역의 넓이를 지정된 주기마다 변화시킬 수 있다. 다른 예로, 프로세서(410)는 제2 광을 방출하는 영역의 넓이를 동일하게 유지하면서 지정된 주기마다 영역의 위치를 변화시킬 수 있다. 프로세서(410)는 제2 광을 방출하는 영역을 변화에 따른 제2 광의 광량의 변화 패턴에 기반하여 객체(440)의 물성을 획득할 수 있다.
일 실시 예에서, 프로세서(410)는 차동 발광(differential illumination) 방식으로 광원을 동작시킬 수 있다. 프로세서(410)는 제5 주기(1810)에는 제5 패턴(1811), 제6 주기(1820)에는 제6 패턴(1821), 제7 주기(1830)에는 제7 패턴(1831), 제8 주기(1840)에는 제8 패턴(1741)으로 광원을 순차적으로 동작시킬 수 있다. 프로세서(410)는 서로 다른 패턴으로 인하여 제2 광이 객체(440)로부터 반사된 정도를 측정하여 객체(440)의 물성 정보를 획득할 수 있다. 프로세서(410)는 광원의 휘도가 지정된 휘도에 기반하여 턴-온 된 광원이 배치된 면적을 조정하여 객체(440)의 물성 정보를 획득할 수 있다.
도 19는, 다양한 실시예들에 따른, 네트워크 환경(1900) 내의 전자 장치(1901)의 블럭도이다. 도 19를 참조하면, 네트워크 환경(1900)에서 전자 장치(1901)는 제 1 네트워크(1998)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1902)와 통신하거나, 또는 제 2 네트워크(1999)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1904) 또는 서버(1908)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1901)는 서버(1908)를 통하여 전자 장치(1904)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1901)는 프로세서(1920), 메모리(1930), 입력 장치(1950), 음향 출력 장치(1955), 표시 장치(1960), 오디오 모듈(1970), 센서 모듈(1976), 인터페이스(1977), 햅틱 모듈(1979), 카메라 모듈(1980), 전력 관리 모듈(1988), 배터리(1989), 통신 모듈(1990), 가입자 식별 모듈(1996), 또는 안테나 모듈(1997)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1901)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1960) 또는 카메라 모듈(1980))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1976)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1960)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1920)는, 예를 들면, 소프트웨어(예: 프로그램(1940))를 실행하여 프로세서(1920)에 연결된 전자 장치(1901)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1920)는 다른 구성요소(예: 센서 모듈(1976) 또는 통신 모듈(1990))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1932)에 로드하고, 휘발성 메모리(1932)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1934)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1920)는 메인 프로세서(1921)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1923)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1923)는 메인 프로세서(1921)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1923)는 메인 프로세서(1921)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1923)는, 예를 들면, 메인 프로세서(1921)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1921)를 대신하여, 또는 메인 프로세서(1921)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1921)와 함께, 전자 장치(1901)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1960), 센서 모듈(1976), 또는 통신 모듈(1990))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1923)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1980) 또는 통신 모듈(1990))의 일부로서 구현될 수 있다.
메모리(1930)는, 전자 장치(1901)의 적어도 하나의 구성요소(예: 프로세서(1920) 또는 센서모듈(1976))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1940)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1930)는, 휘발성 메모리(1932) 또는 비휘발성 메모리(1934)를 포함할 수 있다.
프로그램(1940)은 메모리(1930)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1942), 미들 웨어(1944) 또는 어플리케이션(1946)을 포함할 수 있다.
입력 장치(1950)는, 전자 장치(1901)의 구성요소(예: 프로세서(1920))에 사용될 명령 또는 데이터를 전자 장치(1901)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1950)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1955)는 음향 신호를 전자 장치(1901)의 외부로 출력할 수 있다. 음향 출력 장치(1955)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1960)는 전자 장치(1901)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1960)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(1960)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1970)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1970)은, 입력 장치(1950)를 통해 소리를 획득하거나, 음향 출력 장치(1955), 또는 전자 장치(1901)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1902))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1976)은 전자 장치(1901)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1976)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1977)는 전자 장치(1901)가 외부 전자 장치(예: 전자 장치(1902))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1977)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1978)는, 그를 통해서 전자 장치(1901)가 외부 전자 장치(예: 전자 장치(1902))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1978)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1979)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1979)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1980)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1980)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1988)은 전자 장치(1901)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(1988)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1989)는 전자 장치(1901)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1989)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1990)은 전자 장치(1901)와 외부 전자 장치(예: 전자 장치(1902), 전자 장치(1904), 또는 서버(1908))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1990)은 프로세서(1920)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1990)은 무선 통신 모듈(1992)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1994)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1998)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1999)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치(1904)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1992)은 가입자 식별 모듈(1996)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1998) 또는 제 2 네트워크(1999)와 같은 통신 네트워크 내에서 전자 장치(1901)를 확인 및 인증할 수 있다.
안테나 모듈(1997)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(1997)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1997)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1998) 또는 제 2 네트워크(1999)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1990)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1990)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1997)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1999)에 연결된 서버(1908)를 통해서 전자 장치(1901)와 외부의 전자 장치(1904)간에 송신 또는 수신될 수 있다. 외부 전자 장치(1902, 1904) 각각은 전자 장치(1901)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1901)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1902, 1904, 또는 1908) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1901)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1901)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1901)로 전달할 수 있다. 전자 장치(1901)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나” 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1901)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1936) 또는 외장 메모리(1938))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1940))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1901))의 프로세서(예: 프로세서(1920))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체’는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, ‘비일시적 저장매체’는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 광원을 포함하는 디스플레이;
    상기 디스플레이의 일 면 또는 상기 디스플레이의 내부에 배치된 센서; 및
    상기 디스플레이 및 상기 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 디스플레이의 제1 영역에 배치된 적어도 하나의 광원에서 상기 디스플레이 외부의 객체에 대응하여 제1 광을 방출하고,
    상기 제1 광에 기반하여 상기 객체의 제1 이미지를 획득하고,
    상기 제1 이미지에서 적어도 하나의 제1 특징 점(feature point)을 추출하고,
    상기 적어도 하나의 광원 중 상기 적어도 하나의 제1 특징 점과 제1 방향으로 대응하는 위치에 배치된 제1 광원에서 제2 광을 방출하고,
    상기 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 객체의 물성 정보인 제1 물성 정보를 획득하여 등록하고,
    사용자의 손가락이 상기 제1 영역에 접촉하는 경우 상기 적어도 하나의 광원에서 상기 제1 광을 방출하여 상기 손가락의 제2 이미지를 획득하고,
    상기 손가락의 상기 제2 이미지에서 상기 적어도 하나의 제1 특징 점과 대응하는 제2 특징점을 감지한 경우 상기 제1 광원에서 제3 광을 방출하여 상기 제1 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 손가락의 물성 정보인 제2 물성 정보를 획득하고, 및
    상기 제2 이미지가 상기 제1 이미지와 대응하고, 상기 제2 물성 정보가 상기 제1 물성 정보와 대응하는 경우 인증되도록 설정된 전자 장치.
  2. 청구항 1에 있어서,
    상기 제1 영역은 상기 사용자의 상기 손가락의 지문의 표면 형태를 감지하는 지문 센싱 영역인 전자 장치.
  3. 청구항 1에 있어서,
    상기 제1 물성 정보를 등록하는 메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지 및 상기 제1 특징 점을 상기 메모리에 등록하도록 설정된 전자 장치.
  4. 청구항 1에 있어서, 상기 적어도 하나의 프로세서는,
    실행 중인 어플리케이션이 지정된 인증 레벨 이상인 경우 상기 제2 물성 정보를 상기 제1 물성 정보와 비교하도록 설정된 전자 장치.
  5. 청구항 1에 있어서,
    상기 광량 정보는 상기 제1 광원으로부터의 상기 거리가 증가함에 따라 로그 스케일로 감소하는 광자 밀도 정보를 포함하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 제2 광은 상기 제1 광과 동시에 방출되도록 설정된 전자 장치.
  7. 청구항 6에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제2 광으로부터 멀어지는 단계적 배경(gradient background)의 광량 정보로부터 상기 물성 정보를 획득하고,
    상기 단계적 배경을 제거한 부분에서 상기 제1 이미지를 획득하도록 설정된 전자 장치.
  8. 청구항 6에 있어서,
    상기 제2 광의 세기는 상기 제1 광의 세기보다 큰 전자 장치
  9. 전자 장치에 있어서,
    적어도 하나의 광원을 포함하는 디스플레이;
    상기 디스플레이의 일 면 또는 상기 디스플레이의 내부에 배치된 센서; 및
    상기 디스플레이 및 상기 센서와 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 디스플레이의 제1 영역에 배치된 적어도 하나의 광원에서 상기 디스플레이 외부의 객체에 대응하여 제1 광을 방출하고,
    상기 제1 광에 기반하여 상기 객체의 제1 이미지를 획득하고,
    상기 제1 영역의 주변 영역인 제2 영역에 배치된 제2 광원에서 제2 광을 방출하고,
    상기 제2 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 객체의 물성 정보인 제1 물성 정보를 획득하여 등록하고,
    사용자의 손가락이 상기 제1 영역에 접촉하는 경우 상기 적어도 하나의 광원에서 상기 제1 광을 방출하여 상기 손가락의 제2 이미지를 획득하고,
    상기 손가락의 상기 제2 이미지가 상기 제1 이미지와 지정된 정도 이상 대응하는 경우 상기 제2 광원에서 제3 광을 방출하여 상기 제2 광원으로부터의 거리에 따른 광량 정보에 기반하여 상기 손가락의 물성 정보인 제2 물성 정보를 획득하고, 및
    상기 제2 이미지가 상기 제1 이미지와 대응하고, 상기 제2 물성 정보가 상기 제1 물성 정보와 대응하는 경우 인증되도록 설정된 전자 장치.
  10. 청구항 9에 있어서,
    상기 제2 영역은 상기 센서와 제1 방향으로 중첩된 영역 이외의 영역인 전자 장치.
  11. 청구항 9에 있어서,
    상기 센서는 점 감지 센서(point detector)이고,
    상기 제2 영역은 지정된 주기마다 순차적으로 변화하도록 설정된 전자 장치.
  12. 청구항 11에 있어서,
    상기 광량 정보는 상기 지정된 주기마다 변화하는 상기 제2 영역으로부터의 거리에 따른 광량을 누적한 누적 정보를 포함하는 전자 장치.
  13. 청구항 9에 있어서,
    상기 제1 물성 정보를 등록하는 메모리를 더 포함하는 전자 장치.
  14. 청구항 13에 있어서, 상기 적어도 하나의 프로세서는,
    상기 제1 이미지를 상기 메모리에 등록하도록 설정된 전자 장치.
  15. 청구항 9에 있어서,
    실행 중인 어플리케이션이 지정된 인증 레벨 이상인 경우 상기 제2 물성 정보를 상기 제1 물성 정보와 비교하도록 설정된 전자 장치.
PCT/KR2021/002230 2020-03-25 2021-02-23 센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법 WO2021194103A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0035994 2020-03-25
KR1020200035994A KR20210119647A (ko) 2020-03-25 2020-03-25 센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법

Publications (1)

Publication Number Publication Date
WO2021194103A1 true WO2021194103A1 (ko) 2021-09-30

Family

ID=77892376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/002230 WO2021194103A1 (ko) 2020-03-25 2021-02-23 센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법

Country Status (2)

Country Link
KR (1) KR20210119647A (ko)
WO (1) WO2021194103A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058889A (ja) * 2001-08-10 2003-02-28 S Stuff:Kk 個人識別方法及び個人識別装置
KR20040042958A (ko) * 2002-11-14 2004-05-22 주식회사 씨크롭 계층적 지문인식 방법 및 시스템
KR20160017941A (ko) * 2014-08-07 2016-02-17 삼성전자주식회사 지문 및 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR20170003274A (ko) * 2015-06-30 2017-01-09 크루셜텍 (주) 센서 패키지, 이를 가지는 전자기기 및 이를 이용한 위조 지문 검출 방법
KR20170134356A (ko) * 2015-02-06 2017-12-06 베리디움 아이피 리미티드 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058889A (ja) * 2001-08-10 2003-02-28 S Stuff:Kk 個人識別方法及び個人識別装置
KR20040042958A (ko) * 2002-11-14 2004-05-22 주식회사 씨크롭 계층적 지문인식 방법 및 시스템
KR20160017941A (ko) * 2014-08-07 2016-02-17 삼성전자주식회사 지문 및 심전도 신호를 이용한 사용자 인증 방법 및 장치
KR20170134356A (ko) * 2015-02-06 2017-12-06 베리디움 아이피 리미티드 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
KR20170003274A (ko) * 2015-06-30 2017-01-09 크루셜텍 (주) 센서 패키지, 이를 가지는 전자기기 및 이를 이용한 위조 지문 검출 방법

Also Published As

Publication number Publication date
KR20210119647A (ko) 2021-10-06

Similar Documents

Publication Publication Date Title
WO2019143034A1 (en) Sensor and electronic apparatus for fingerprint recognition
WO2021025421A1 (en) Method for obtaining calibration data and electronic device therefor
WO2019168318A1 (en) Electronic device and fingerprint authentication interface method thereof
WO2020246727A1 (en) Foldable electronic device and method for displaying information in foldable electronic device
WO2019066414A1 (ko) 광학 지문 센서를 구비한 전자 장치
WO2020101344A1 (en) Electronic device and illuminance sensing method based on display information on electronic device
WO2019039714A1 (en) CAMERA ASSEMBLY AND ELECTRONIC DEVICE COMPRISING THE SAME
WO2020050530A1 (en) Electronic device including ultrasonic in-display fingerprint sensor and operating method thereof
WO2019107910A1 (en) Wearable electronic device including fingerprint sensor
WO2020256463A1 (en) Electronic device including sub display and method of operating same
WO2019124811A1 (en) Fingerprint verification method and electronic device performing same
WO2018216868A1 (ko) 전자 장치 및 입력 장치의 입력 처리 방법
WO2017204498A1 (ko) 이동 단말기
KR20200101158A (ko) 지문 센서를 포함하는 전자 장치
WO2020231156A1 (en) Electronic device and method for acquiring biometric information using light of display
WO2020080857A1 (en) Electronic device including antenna apparatus using photo-conductive material and antenna control method
WO2021167342A2 (en) Electronic device including camera module shooting through at least one portion of display device
WO2021194103A1 (ko) 센서를 포함하는 전자 장치 및 이를 이용한 생체 정보 획득 방법
WO2022203330A1 (ko) 전자 장치 및 그것의 지문 인식 방법
WO2022240258A1 (ko) 디스플레이 내장형 지문 센서를 포함하는 전자 장치 및 방법
WO2021071111A1 (en) Electronic device including point detector and biometric information obtaining method using the same
WO2023003157A1 (ko) 전자 장치 및 전자 장치의 지문 정보 획득 방법
WO2021177637A1 (ko) 전자 장치 및 전자 장치의 지문 인식 방법
WO2021101316A1 (en) Electronic device and method for recognizing fingerprint by the same
WO2020213926A1 (en) Electronic device for improving performance of sensor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21776261

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21776261

Country of ref document: EP

Kind code of ref document: A1