WO2016117755A1 - 디스플레이 정보를 이용한 홍채 인증 방법 및 장치 - Google Patents

디스플레이 정보를 이용한 홍채 인증 방법 및 장치 Download PDF

Info

Publication number
WO2016117755A1
WO2016117755A1 PCT/KR2015/002203 KR2015002203W WO2016117755A1 WO 2016117755 A1 WO2016117755 A1 WO 2016117755A1 KR 2015002203 W KR2015002203 W KR 2015002203W WO 2016117755 A1 WO2016117755 A1 WO 2016117755A1
Authority
WO
WIPO (PCT)
Prior art keywords
iris
display
image
electronic device
size
Prior art date
Application number
PCT/KR2015/002203
Other languages
English (en)
French (fr)
Inventor
김문수
손광섭
이기혁
전보슬
한영은
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201580078187.XA priority Critical patent/CN107408168B/zh
Priority to EP15879010.5A priority patent/EP3249567B1/en
Priority to US15/545,066 priority patent/US10372894B2/en
Publication of WO2016117755A1 publication Critical patent/WO2016117755A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2117—User registration

Definitions

  • the present invention relates to a method and apparatus for performing iris authentication using a display of an electronic device.
  • Biometric features can be used for user identification for such security, and research on security technology using various biometric information such as fingerprints, voices, retinas, faces, and irises is being conducted.
  • biometric information such as fingerprints, voices, retinas, faces, and irises
  • the iris of a person is different from person to person.
  • security technology using iris is attracting attention.
  • a technique for rapidly detecting a pupil and an iris is essential for iris recognition in real time from an image of a human eye.
  • a technique for rapidly detecting a pupil and an iris is essential for iris recognition in real time from an image of a human eye.
  • it is essential to rapidly detect a pupil from an image of an eye part captured in real time.
  • the iris recognition rate may decrease due to the change in the iris image caused by the change in the size of the pupil in response to the change in the ambient brightness.
  • various embodiments of the present disclosure provide a method and apparatus for improving the accuracy of iris recognition in consideration of a pupil reacting according to the brightness of light and an iris region that changes accordingly.
  • an electronic device for performing iris authentication includes an image sensor for outputting an image of an eye portion, a display for displaying an iris authentication screen, and the photographed eye. And a control unit configured to detect at least a portion of the area from the area image, and to adjust the output characteristic of the display based on a result of comparing the size of the detected area with the size of the area required for the iris authentication. can do.
  • a method of performing iris authentication in an electronic device may include displaying an iris authentication screen, photographing an eye region of a user, and at least a portion of the photographed eye region image. And detecting an area of the screen and adjusting the output characteristic of the display based on a result of comparing the size of the detected area with the size of the area required for iris authentication. .
  • iris recognition since authentication is performed using an iris image having a predetermined size for authentication, accuracy of iris recognition may be improved.
  • a recognition speed may be reduced by reducing a comparison target during authentication.
  • FIG. 1 illustrates a network environment including an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of a program module according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram illustrating an internal block of an electronic device that receives iris information and performs authentication according to various embodiments of the present disclosure.
  • FIGS. 4A to 4D are front perspective views of an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 is a perspective view illustrating a watch type body mounted electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is an exemplary view illustrating an iris authentication method using a body-mounted electronic device according to various embodiments of the present disclosure.
  • FIG. 7 illustrates a guide screen for adjusting an iris image capturing position according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating an iris authentication mode according to various embodiments of the present disclosure.
  • 9A and 9B are diagrams for describing an operation relationship between an infrared light emitting pulse and an image sensor according to various embodiments of the present disclosure.
  • FIG. 10 is an exemplary diagram illustrating a change in size of a pupil according to display brightness according to various embodiments of the present disclosure.
  • FIG. 11 is a view illustrating a display brightness adjusting process according to peripheral illumination according to various embodiments of the present disclosure.
  • FIG. 12 is a view illustrating a display brightness adjusting process for adjusting the pupil size according to various embodiments of the present disclosure.
  • FIG. 13 is a view illustrating a display brightness adjusting process for a liveness check according to various embodiments of the present disclosure.
  • FIG. 14 is a diagram illustrating an authentication method using an object on a display screen according to various embodiments of the present disclosure.
  • 15A to 15C are diagrams for describing a change in an iris image according to a display screen including an object according to various embodiments of the present disclosure.
  • 16 is a diagram illustrating an iris registration mode according to various embodiments of the present disclosure.
  • FIG. 17 is a diagram illustrating an iris authentication mode according to various embodiments of the present disclosure.
  • FIG. 18 is a diagram illustrating an object execution process after performing iris authentication according to various embodiments of the present disclosure.
  • FIG. 19 illustrates an object execution screen after performing authentication on a display screen on which an object is displayed according to various embodiments of the present disclosure.
  • 20 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • expressions such as “A or B”, “at least one of A or / and B” or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B”, “at least one of A and B” or “at least one of A or B” includes (1) at least one A, (2) at least one B, or ( 3) may refer to both cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” as used in various embodiments may modify various components in any order and / or importance, and define the components. I never do that.
  • the above expressions may be used to distinguish one component from another.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be referred to as the second component, and similarly, the second component may be referred to as the first component.
  • a component eg first component is “operatively or communicatively coupled with / to” another component (eg second component) or “accessed” It is to be understood that, when referred to as “connected to,” any component may be directly connected to the other component or through another component (eg, a third component). On the other hand, when a component (e.g., a first component) is referred to as being “directly connected” or “directly connected” to another component (e.g., a second component), the component and the It may be understood that no other component (eg, a third component) exists between the other components.
  • the expression “configured to” used in this document is, for example, “suitable for” or “having the capacity to” depending on the circumstances. It can be used interchangeably with “designed to”, “adapted to”, “made to” or “capable of”.
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or set up) to perform A, B, and C” may be executed by executing one or more software programs stored in a dedicated processor (eg, an embedded processor) or a memory device to perform the operation. It may mean a general-purpose processor (for example, a CPU or an application processor) capable of performing corresponding operations.
  • An electronic device may be a device including an iris detection function.
  • a smart phone a tablet personal computer, a mobile phone, a video phone, an e-book reader, a desktop personal computer, a laptop PC ( laptop personal computer, netbook computer, workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MP3 player, mobile medical device, camera, or wearable device ( wearable devices (e.g. smart glasses, head-mounted-device (HMD)), electronic clothing, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos, smart mirrors or smart watches watch)).
  • PDA personal digital assistant
  • PMP portable multimedia player
  • MP3 player portable medical device
  • wearable devices e.g. smart glasses, head-mounted-device (HMD)
  • electronic clothing electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos, smart mirrors or smart watches watch
  • the electronic device may be a smart home appliance with an iris detection function.
  • Smart home appliances include, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwaves, washing machines, air purifiers, set-top boxes, home automation Home automation control panel, security control panel, TV box (e.g. Samsung HomeSync TM, Apple TV TM or Google TV TM), game console (e.g. Xbox TM, PlayStation TM), electronic dictionary It may include at least one of an electronic key, a camcorder or an electronic picture frame.
  • DVD digital video disk
  • audio e.g. Samsung HomeSync TM, Apple TV TM or Google TV TM
  • game console e.g. Xbox TM, PlayStation TM
  • electronic dictionary It may include at least one of an electronic key, a camcorder or an electronic picture frame.
  • the electronic device may include various medical devices including an iris detection function, such as various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, body temperature meters, etc.), magnetic resonance angiography (MRA), and magnetic magnetic resonance (MRI). resonance imaging, computed tomography, imaging or ultrasound, etc., navigation devices, global positioning system receivers, event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment ) Devices, ship's electronic equipment (e.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, body temperature meters, etc.
  • MRA magnetic resonance angiography
  • MRI magnetic magnetic resonance
  • resonance imaging computed tomography, imaging or ultrasound, etc.
  • navigation devices global positioning system receivers
  • EDRs event data recorders
  • FDRs flight data recorders
  • automotive infotainment automotive infotainment
  • an electronic device may be a piece of furniture or a building / structure including an iris detection function, an electronic board, an electronic signature receiving device, a projector, or various measurements. And at least one of a device (eg, water, electricity, gas, or a radio wave measuring device).
  • the electronic device may be a combination of one or more of the aforementioned various devices.
  • the electronic device may be a flexible electronic device.
  • the electronic device according to the embodiment of the present disclosure is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • a device eg, an artificial intelligence electronic device
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, and a communication interface 170.
  • the electronic device 101 may omit at least one of the above components or additionally include other components.
  • the bus 110 may, for example, circuitry to connect the components 120-170 to each other and to communicate communications (eg, control messages and / or data) between the components 120-170. It may include.
  • the processor 120 may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • the processor 120 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 101.
  • the processor 120 may be referred to as a controller or may include the controller as a part thereof.
  • the processor 120 may perform authentication using an iris image provided from a biometric information detection module.
  • the electronic device 101 may further include an iris information detection module for providing the iris image, and the camera module may replace the iris information detection module.
  • the processor 120 compares the iris image with a pre-registered iris feature pattern, and if it is an iris image equal to or more than a predetermined ratio with the pre-registered iris feature pattern, considers that the authentication is successful and performs a function according to authentication success. can do.
  • the iris image is generated based on the pupil area in the user's face image. Since the pupil size changes according to the change in the peripheral brightness, the size of the iris area for authentication may also vary. For example, an iris image may be obtained that is not sufficient to compare with the stored iris feature pattern due to a dark room or the like at the time of obtaining an iris image for the user despite being a registered user. However, in order to perform operations such as recognition, detection and determination of counterfeit iris, it is necessary to obtain an iris region having a certain size.
  • the processor 120 may adjust the brightness of the display 160 to obtain the iris region having a predetermined size in consideration of a pupil reacting according to the brightness of the light and an iris region that changes accordingly. have.
  • the processor 120 may perform recognition using an image of an iris region having a size adjusted to correspond to the brightness by adjusting the brightness of the display 160. Accordingly, the FRR may be lowered by performing recognition using an image of an iris region having a predetermined size.
  • the memory 130 may include a volatile and / or nonvolatile memory.
  • the memory 130 may store, for example, commands or data related to at least one other component of the electronic device 101.
  • the memory 130 may store software and / or a program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, and / or an application program (or “application”) 147. It may include. At least a part of the kernel 141, the middleware 143, or the API 145 may be referred to as an operating system (OS).
  • OS operating system
  • the memory 130 may store iris information of at least one registered user.
  • the iris information may be stored in the form of a feature pattern of an iris image acquired for each user, and the feature pattern may be at least part or all of all feature patterns of the iris image.
  • the memory 130 may store an iris information conversion algorithm for converting the iris image for each user into a feature pattern such as an iris code or a template.
  • the memory 130 may provide data that is a comparison reference during authentication, and may store algorithms for such comparison.
  • the biometric information may include iris information.
  • the kernel 141 may be, for example, system resources used to execute an operation or function implemented in other programs (eg, middleware 143, API 145, or application program 147) (eg, Bus 110, processor 120, memory 130, etc.) may be controlled or managed.
  • the kernel 141 may control or manage system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147. It can provide an interface.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may, for example, be connected to at least one application of the application program 147 in relation to the work requests received from the application program 147. Controlling work requests (eg, scheduling or load balancing) using methods such as assigning priorities to use the bus 110, processor 120, or memory 130, and the like. have.
  • the API 145 is, for example, an interface for the application 147 to control functions provided by the kernel 141 or the middleware 143. For example, file control, window control, and image. It may include at least one interface or function (eg, a command) for processing or character control.
  • the input / output interface 150 may transmit, for example, a command or data input from a user or another external device to other component (s) 120-140 and 160-170 of the electronic device 101. Can act as an interface. In addition, the input / output interface 150 may output a command or data received from other component (s) 120-140 and 160-170 of the electronic device 101 to a user or another external device.
  • the display 160 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display or a micro-electromechanical systems (MEMS) display or electronic paper. paper) display.
  • the display 160 may display, for example, various contents (for example, text, an image, a video, an icon, a symbol, etc.) to the user.
  • the display 160 may include a touch screen.
  • the display 160 may receive a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 170 communicates with the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106). Can be set.
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with the external device (eg, the second external electronic device 104 or the server 106).
  • the communication interface 170 may establish communication with the external device (eg, the first external electronic device 102) through the short range wireless communication 164, and the external device (eg, the second external device).
  • the electronic device 104 may also be connected through the short range wireless communication 164 instead of the network 162.
  • the short range wireless communication may use, for example, at least one of Beacon, Wi-Fi Direct, Bluetooth, Baseband, or audible / inaudible frequencies.
  • the wireless communication may use, for example, at least one of LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro, or GSM as a cellular communication protocol.
  • the wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a reduced standard 232 (RS-232), a plain old telephone service (POTS), and the like.
  • the network 162 may include a telecommunications network, for example, at least one of a computer network (for example, a LAN or a WAN), the Internet, and a telephone network.
  • Each of the first and second external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • the server 106 may include a group of one or more servers.
  • all or some of the operations performed by the electronic device 101 may be executed by another or a plurality of electronic devices (for example, the external electronic devices 102 and 104 or the server 106).
  • the electronic device 101 when the electronic device 101 needs to perform a function or service automatically or by request, the electronic device 101 instead of executing the function or the service by itself or Additionally, at least some functions associated with the request may be requested to another device (eg, the external electronic device 102 or 104 or the server 106).
  • the other electronic device (for example, the external electronic devices 102 and 104 or the server 106) may execute the requested function or the additional function and transmit the result to the electronic device 101.
  • the electronic device 101 may process the received result as it is or additionally to provide the requested function or service.
  • cloud computing, distributed computing or client-server computing technology may be used.
  • the program module 210 is an operating system (OS) for controlling resources related to the electronic device (eg, the electronic device 101) and / or It may include various applications (eg, an application program 147) running on an operating system.
  • OS operating system
  • the operating system may be, for example, android, ios, windows, symbian, tizen, or bada.
  • the program module 210 may include a kernel 220, middleware 230, an application programming interface (API) 260, and / or an application 270. At least a part of the program module 210 may be preloaded on the electronic device or may be downloaded from a server (for example, the server 106).
  • a server for example, the server 106
  • the kernel 220 may include, for example, a system resource manager 221 or a device driver 223.
  • the system resource manager 221 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 221 may include a process manager, a memory manager, or a file system manager.
  • the device driver 223 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WIFI driver, an audio driver, or an inter-process communication (IPC) driver. have.
  • IPC inter-process communication
  • the middleware 230 may provide, for example, a function commonly required by the application 270, or may allow the application 270 to efficiently use limited system resources inside the electronic device. Various functions may be provided to the application 270 through.
  • the middleware 230 eg, the middleware 143 may include a runtime library 235, an application manager 241, a window manager 242, and a multimedia manager. manager 243, resource manager 244, power manager 245, database manager 246, package manager 247, connectivity manager at least one of a manager 248, a notification manager 249, a location manager 250, a graphic manager 251, or a security manager 252. It may include.
  • the runtime library 235 may include, for example, a library module used by a compiler to add a new function through a programming language while the application 270 is running.
  • the runtime library 235 may perform input / output management, memory management, or a function for an arithmetic function.
  • the application manager 241 may manage a life cycle of at least one of the applications 270, for example.
  • the window manager 242 may manage GUI resources used on the screen.
  • the multimedia manager 243 may identify a format necessary for playing various media files and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 244 may manage resources such as source code, memory, or storage space of at least one of the applications 270.
  • the power manager 245 may operate together with, for example, a basic input / output system (BIOS) to manage a battery or power and provide power information necessary for the operation of the electronic device. .
  • the database manager 246 may generate, search for, or change a database to be used by at least one of the applications 270.
  • the package manager 247 may manage installation or update of an application distributed in the form of a package file.
  • the connection manager 248 may manage, for example, a wireless connection such as WIFI or Bluetooth.
  • the notification manager 249 may display or notify an event such as an arrival message, an appointment, a proximity notification, or the like in a manner that does not disturb the user.
  • the location manager 250 may manage location information of the electronic device.
  • the graphic manager 251 may manage graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 252 may provide various security functions required for system security or user authentication. According to an embodiment of the present disclosure, when the electronic device (for example, the electronic device 101) includes a telephone function, the middleware 230 may provide a telephone manager for managing a voice or video call function of the electronic device. It may further include.
  • the middleware 230 may include a middleware module forming a combination of various functions of the above-described components.
  • the middleware 230 may provide a module specialized for each type of OS in order to provide a differentiated function.
  • the middleware 230 may dynamically delete some of the existing components or add new components.
  • the API 260 (eg, the API 145) is, for example, a set of API programming functions, and may be provided in different configurations according to an operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 270 may be, for example, a home 271, a dialer 272, an SMS / MMS 373, an instant message (274), a browser 275, a camera, and the like. (276), alarm (277), contact (278), voice dial (279), email (280), calendar (281), media player (282), album (283), or clock (284), health care ( one or more applications that can provide functions such as health care (eg, to measure exercise or blood sugar), or provide environmental information (eg, to provide barometric pressure, humidity, or temperature information).
  • health care one or more applications that can provide functions such as health care (eg, to measure exercise or blood sugar), or provide environmental information (eg, to provide barometric pressure, humidity, or temperature information).
  • the application 270 may be an application that supports information exchange between the electronic device (eg, the electronic device 101) and an external electronic device (eg, the external electronic devices 102 and 104).
  • the "information exchange application" may be included.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device. .
  • the notification delivery application may be configured to receive notification information generated by another application of the electronic device (eg, an SMS / MMS application, an email application, a health care application, or an environment information application). And the ability to communicate to device 102, 104.
  • the notification transmission application may receive notification information from an external electronic device and provide the notification information to a user.
  • the device management application may include, for example, at least one function of an external electronic device (for example, the external electronic devices 102 and 104) communicating with the electronic device (for example, the external electronic device itself (or some component part). Turn-on / turn-off or adjust the brightness (or resolution) of the display, manage an application running on the external electronic device or a service provided by the external electronic device (e.g., call service or message service) : Install, uninstall, or update).
  • the application 270 is designated according to an attribute of the external electronic device (eg, the electronic devices 102 and 104) (eg, an attribute of the electronic device, and the type of the electronic device is a mobile medical device).
  • Application eg, a health care application
  • the application 270 may include an application received from an external electronic device (for example, the server 106 or the electronic devices 102 and 104).
  • the application 270 may include a preloaded application or a third party application downloadable from a server.
  • the names of the components of the program module 210 according to the illustrated embodiment may vary depending on the type of operating system.
  • At least part of the program module 210 may be implemented in software, firmware, hardware, or a combination of two or more thereof. At least a part of the program module 210 may be implemented (for example, executed) by, for example, a processor (for example, the AP 210). At least some of the program module 210 may include, for example, a module, a program, a routine, sets of instructions, or a process for performing one or more functions.
  • FIG. 3 is a block diagram illustrating an internal block of an electronic device that receives iris information and performs authentication according to various embodiments of the present disclosure.
  • FIG. 3 illustrates a configuration of an electronic device (eg, the electronic device 101) including components for receiving an iris image for explaining the case in which the biometric information is iris information, but includes fingerprint information including iris information.
  • the configuration of the electronic device may be implemented to include components for receiving complex biometric information that can also receive information.
  • the electronic device 101 includes a control unit 310, a lens unit 320, an infrared filter 330, an image sensor 340, an infrared light emitting unit 350, a driving unit 360, and a display ( 370 and memory 380.
  • the camera module may include a lens unit 320, an infrared filter 330, an image sensor 340, an infrared light emitting unit 350, and a driving unit 360.
  • the electronic device 101 may further include a module for detecting other biometric information other than an iris or a module for detecting other biometric information by replacing the camera module.
  • the camera module may process an iris image obtained for iris recognition under or under the control of the controller 310 to display an iris image on the display 370.
  • the camera module sets the iris recognition mode, controls the image sensor 340 to generate an image of a subject, that is, a user's face, and an image area including at least a portion of the iris in the generated image.
  • the iris area can be detected.
  • the camera module may determine guide information corresponding to the iris area detected under the control of the controller 310 and provide the determined guide information to the user.
  • the guide information may be information for guiding a user to an appropriate position of the iris in the image used for iris recognition.
  • the camera module may apply a predetermined image effect to the iris area detected under the control of the controller 310 to generate an image to which the image effect is applied and display the image on the display 370.
  • the image effect may be image processing such that only the shape of the detected iris area can be identified.
  • the lens unit 320 of the camera module adjusts the focus of the lens to a predetermined setting value in response to the shooting control signal by the controller 310 and transmits the optical signal reflected from the subject (not shown). Can be.
  • the lens unit 320 may receive light for the user's iris input, and the light incident to the lens unit 320 may reach a band pass filter.
  • the infrared filter 330 may correspond to an example of the band pass filter.
  • the infrared filter 330 may pass an optical signal of an infrared region among optical signals reflected from a subject (not shown) incident through the lens unit 320.
  • the infrared filter 330 may be disposed at the rear of the lens to pass a wavelength of a specific band in the incident light.
  • the infrared filter 330 may correspond to a wavelength band including at least a portion of the wavelength band emitted through the infrared light emitter 350.
  • an optical signal having a wavelength of the specific band, which has passed through the infrared filter 330 may reach the image sensor 340.
  • the camera module may not include the infrared filter 330.
  • the light emitted from the infrared light emitting unit 350 may be reflected by the iris and incident directly to the image sensor 340 through the lens unit 320 of the camera module.
  • An infrared light emitting diode (IRED) 350 may be turned on or off by the driver 360 in response to an infrared photographing control signal by the controller 310.
  • the infrared photographing control signal may be a signal for infrared photographing of the iris.
  • the image sensor 340 converts and outputs an optical signal transmitted through the lens unit 320 to image signals during normal shooting, and transmits the received optical signal through the lens unit 320 during infrared shooting.
  • the optical signal in the infrared region passing through the infrared filter 330 among the optical signals may be converted into infrared image signals and output. Accordingly, the optical image formed by the infrared light reflected from the subject may be converted into a digital image and output.
  • the camera module may be disposed in the electronic device 101 or may be disposed in an independent position other than the electronic device 101.
  • the display 370 may include a touch screen and may provide a user interface corresponding to iris photographing.
  • a fingerprint sensor may be additionally disposed to receive a user's body, for example, a fingerprint.
  • the display 370 may display a preview screen for iris photographing under the control of the controller 310 according to various embodiments of the present disclosure, and display a screen for performing recognition using an iris authentication result. For example, if iris authentication is successful, functions such as unlocking, application execution, and data transmission are performed, and the display 370 may display a screen according to the function execution.
  • the display 370 may output a brightness corresponding to a control signal for adjusting the brightness in response to the size of the iris detected under the control of the controller 310.
  • the display 370 may display the changed image.
  • the memory 380 may store iris information of at least one registered user.
  • the iris information may be stored in the form of a feature pattern of an iris image acquired for each user, and the feature pattern may be at least part or all of all feature patterns of the iris image.
  • the memory 380 may store an iris information conversion algorithm for converting the iris image for each user into a feature pattern such as an iris code or a template.
  • the memory 380 may provide data that is a comparison reference during authentication, and may store algorithms for such comparison.
  • the memory 380 may map and store object information displayed on a screen when the user's iris is registered under the control of the controller 310. In addition, the memory 380 may map and store an instruction for executing an application on the object under the control of the controller 310.
  • the controller 310 may detect at least a portion of the area from the photographed eye part image.
  • the at least part of the area may include a pupil and an iris area of the eye region image.
  • the controller 310 may perform iris authentication by adjusting an output characteristic of the display based on a result of comparing the size of the detected area with the size of the area required for iris authentication.
  • the output characteristic of the display includes the brightness of the display 310, and the output characteristic of the display may be adjusted by changing at least one of brightness, saturation, and contrast of an image displayed on the display.
  • the controller 310 may increase the brightness of the display 370.
  • the size ratio between the pupil area and the iris area may be increased.
  • the brightness of the display can be increased.
  • the controller 310 detects a pupil area from an eye image obtained through the image sensor 340, and displays the iris information having iris information having an iris area having a size necessary for iris authentication in the pupil area.
  • the output characteristics of can be adjusted.
  • the controller 310 may control to increase the output characteristic of the display 370, for example, the brightness, when the pupil becomes larger than a predetermined size in response to the adjustment of the output characteristic of the display 370.
  • the iris area having the desired size can be obtained by adjusting the output characteristics of the display 370, the user's iris information (iris template, iris code, etc.) stored in the memory 380 for authentication of the image for the iris and By comparing the iris images, the iris of the user can be recognized.
  • iris information iris template, iris code, etc.
  • the controller 310 may perform an operation of comparing the iris information and the object information with previously stored information when an image including object information registered together with user iris information is obtained. . As a result of this comparison, if authentication of the iris information and object information is successful, user authentication may be completed. In addition, if an application execution command is mapped to the object information, if the authentication is successful, the application may be executed corresponding to the object information.
  • FIGS. 4A to 4D are front perspective views of an electronic device according to various embodiments of the present disclosure.
  • an infrared light emitting unit (IRED) 410 At least one of an infrared light emitting unit (IRED) 410, an infrared camera 420, and a front camera 430 are located at a bezel position surrounding the display 450 of the electronic device 101.
  • the camera module 400 may be disposed.
  • the infrared light emitter 410 may radiate infrared rays to the eyes 460 of the user's face, and the infrared camera 420 may photograph the eyes 460 to output an image of the iris 470. have.
  • the infrared light emitting unit 410, the infrared camera 420, and the front camera 430 are disposed at positions adjacent to each other at the upper end of the front surface.
  • the front camera 430 may be disposed side by side on one side.
  • the infrared camera 420 may include an infrared light emitting unit.
  • the camera module 400 may not include the infrared light emitter 410. When the infrared light is not used, the infrared light emitting part 410 may not be included.
  • the infrared camera 420 and the front camera 430 may be spaced apart from each other with a receiver therebetween, for example, due to a space limitation of the electronic device 101. have.
  • an infrared light emitter 410 may be disposed between the infrared camera 420 and the front camera 430.
  • the at least one of the infrared light emitting unit 410 and the infrared camera 420 can be coupled to the main body of the electronic device 101 so as to receive a biological image of the subject, the arrangement position and the like may be used. Modifications or changes may be possible.
  • 4A to 4D illustrate an arrangement position of the camera module in the smartphone type electronic device 101, the arrangement position of the camera module in the wearable device type external electronic device 102 is a subject, If the image of the eye can be taken, the placement position and the like can be changed or changed as much as possible.
  • FIG. 5 is a perspective view illustrating a watch type body mounted electronic device according to various embodiments of the present disclosure.
  • FIG. 5 illustrates a wearable electronic device 500 (eg, the first external electronic device 102 of FIG. 1) that may be worn on a wrist, such as a watch or a bracelet.
  • the wearable electronic device 500 may include a main body 510 and a strap 520.
  • the electronic device according to various embodiments of the present disclosure may be implemented as various communication devices or auxiliary medical devices.
  • the electronic device according to various embodiments of the present disclosure may be variously applied to a portion where curvature exists in the user's body.
  • An example of a body part in which a curvature exists in a user's body is a wrist, an arm, an ankle, or the like.
  • the electronic device according to various embodiments of the present disclosure may be conveniently worn on various parts of the user's body according to the configuration of the wearing unit.
  • the wearable electronic device 500 collectively refers to a wearable electronic device, such as a smart watch or a biometric information measurement device, from a general analog or digital watch worn on a user's wrist. can do.
  • the body 510 of the wearable electronic device 500 may be a clock module of an analog clock or a digital clock, a module having a display and various multi-functions, or may include a module for sensing a biosignal.
  • the main body 510 may include a display 515, and the display 515 may be utilized as an input device by integrating a touch panel.
  • an infrared light emitting unit (IRED) 410 may be disposed at a bezel position surrounding the display 515.
  • an infrared light emitting unit (IRED) 410, an infrared camera 420, and a front camera 430 are disposed on the front lower portion 530 of the main body 510, but the arrangement position is It is not limited.
  • FIG. 6 is an exemplary view illustrating an iris authentication method using a body-mounted electronic device according to various embodiments of the present disclosure.
  • FIG. 6 an example of an operation in which a user photographs eyes in a state where a user does not touch after lifting a hand near a face while wearing the body-mounted electronic device 500 on his wrist is shown.
  • the user may easily view the eye while looking at the display 515 of the body-mounted electronic device 500, for example, a notification sound to guide the iris photographing position, distance adjustment between the body-mounted electronic device 500, and the user's eyes. It can output guide voice, haptic effect, etc.
  • the body-mounted electronic device 500 may output the guide while adjusting the brightness of the display 370 to acquire an image having a pupil size required for iris authentication.
  • FIG. 7 illustrates a guide screen for adjusting an iris image capturing position according to various embodiments of the present disclosure.
  • the electronic device 101 may acquire an image including at least a part of an iris of a user whose infrared light emitted from the electronic device 101 is reflected by using a camera for iris recognition. Can be. According to another exemplary embodiment, the electronic device 101 may acquire an image including at least a part of an iris of a user whose visible light is reflected by using a camera provided on the front surface. In addition, the electronic device 101 may include a display 370 capable of displaying the acquired image, and the display 370 may display the acquired images in real time.
  • the user may guide the user's iris to be positioned at a shooting reference position using the preview image displayed in real time.
  • the electronic device 101 may display, on the display 370, guide content for inducing the user's iris to be positioned at the photographing reference position.
  • FIG. 7 illustrates a case where the information for inducing the adjustment of the photographing position is displayed in the form of the directional indicator 700 or the guideline 710, a guide message or a cross-shaped icon is used to guide the position where the eye should be located. Induction information may be displayed in various forms.
  • FIG. 8 is a diagram illustrating an iris authentication mode according to various embodiments of the present disclosure.
  • the user's eye 800 has a pupil 810, an iris 820, and a sclera 830, and the infrared light emitter 410 irradiates infrared rays to the user's eye 800, and the infrared rays.
  • the camera 420 may photograph the user's eye 800 and output an iris image.
  • the iris recognition technology for outputting an iris image as described above is a technology for authenticating a user by using a donut-shaped iris pattern pattern existing between a central black pupil and a sclera in a human eye.
  • An iris has 266 measurable features, and the probability that irises are equal to each other is about 1/10 78 , which is the most discriminating biometric technology known to date. It is also more consistent than other biometric features, such as fingerprints, voices, facials, and signatures, in that shape is created over 18 months after birth and protected by eyebrows, eyelids, and retinas, so that the shape does not change easily throughout life. It can be evaluated to have.
  • 9A and 9B are diagrams for describing an operation relationship between an infrared light emitting pulse and an image sensor according to various embodiments of the present disclosure.
  • the infrared light emitting unit (IRED) 350 included in the electronic device 101 emits infrared rays of a specific wavelength band and the light reflected thereto can be received by the image sensor 340.
  • a band pass filter having a wavelength band including at least a portion of a specific wavelength band emitted through the infrared light emitting unit 350 may be included in the camera.
  • An example of the band pass filter may include an infrared filter 330. ).
  • an optical signal in a specific wavelength band may pass through the infrared filter 330, and the optical signal may be converted into a digital signal by the image sensor 340.
  • the infrared filter 330 may receive and pass only light having a specific frequency as shown in FIG. 9B.
  • the infrared filter 330 may pass a wavelength band of 850 nm ⁇ 50 nm including the central wavelength band of the infrared light emitter 350.
  • a filter may be used to selectively receive the light of the wavelength band emitted by the infrared light emitting unit 350. By applying this, it is possible to prevent malfunction due to light of other infrared wavelength bands around.
  • FIG. 10 is an exemplary diagram illustrating a change in size of a pupil according to display brightness according to various embodiments of the present disclosure.
  • FIG. 10A illustrates that a pupil of a user becomes relatively large when the brightness of the display 1020 of the electronic device 101 is dark and the surrounding environment is dark.
  • the pupil 1010 of the user may have a size larger than the size of the pupil at normal brightness because the iris 1000 is contracted to receive a lot of light.
  • the iris 1000 is further contracted and the pupil 1010 is larger, and the iris recognition may not be properly performed due to the excessively contracted iris 1000.
  • the iris information is initially registered, a large amount of iris information is required, so when the surroundings are dark, sufficient iris information may not be obtained because the iris area is relatively small.
  • FIG. 10 (b) illustrates the changed pupil size when the brightness of the display 1030 is brighter than that of FIG. 10 (a).
  • the size of the iris area 1000 may be adjusted by adjusting the brightness of the display 1030. That is, when the brightness of the display 1030 becomes brighter, the size of the pupil 1010 becomes relatively smaller as the iris 1000 is expanded.
  • FIG. 10 (c) illustrates the changed pupil size when the brightness of the display 1040 is brighter than that of FIG. 10 (b). As shown in FIG. 10C, as the brightness of the display 1040 increases, the size of the pupil 1010 decreases as the iris region 1000 increases.
  • the size of the pupil changes as the brightness of the displays 1020, 1030, and 1040 of the electronic device 101 changes, so that the size of the iris region is also different. You lose.
  • the iris area may be adjusted by adjusting the brightness of the display in order to obtain an iris area having a size required for iris authentication. Accordingly, since the electronic device 101 performs authentication using an iris image having an iris area adjusted to a predetermined size for authentication, the accuracy of iris recognition can be improved.
  • FIG. 11 is a view illustrating a display brightness adjusting process according to peripheral illumination according to various embodiments of the present disclosure.
  • the electronic device 101 may check the peripheral illuminance in operation 1100 and then compare the peripheral illuminance with the reference illuminance in operation 1105.
  • the electronic device 101 may include a sensor unit that can receive ambient light to measure ambient illuminance.
  • the sensor unit may include at least one of an illumination sensor and an image sensor. Accordingly, the electronic device 101 can measure the peripheral illuminance using the sensor unit.
  • the illuminance sensor may receive ambient light to calculate an illuminance index
  • the image sensor may acquire an image and detect a peripheral illuminance value from the obtained image.
  • the electronic device 101 may determine whether the peripheral illuminance is lower than the reference illuminance. That is, by comparing the ambient illuminance measured using the sensor unit with the reference illuminance, it may be determined whether the currently measured peripheral illuminance corresponds to the illuminance in the dark state.
  • the reference illuminance may be determined according to the ambient average brightness, illuminance values of previously taken surrounding images, illuminance values proportional to changes in the size of the pupil, or the default illuminance specified by the manufacturer or may be determined by an authorized user. .
  • the electronic device 101 may increase the display brightness to correspond to the reference illuminance in operation 1115. That is, in a dark environment, the brightness of the display may be adjusted brightly. In this case, the brightness of the display may be adjusted to correspond to the reference illuminance, and in particular, the amount of brightness change may be determined based on a pre-stored brightness adjustment algorithm. For example, the brightness of the display may be adjusted according to the relative size ratio between the pupil and the iris area. For this purpose, the previously stored data may be referred to the average pupil size ratio and the brightness value of the display corresponding to the average pupil size ratio. Can be. Accordingly, the electronic device 101 may determine the display brightness adjustment amount by comparing the pupil size ratio calculated by analyzing the acquired image and the stored average pupil size ratio.
  • the electronic device 101 may adjust the brightness by adjusting the current itself to enter the display 370 such as LCD, LED, etc. to adjust the brightness of the display, but in addition to the brightness, saturation of the image displayed on the screen
  • the brightness may be adjusted using at least one parameter of chroma and contrast.
  • the image displayed on the display screen may be changed and displayed.
  • the image displayed on the display screen is a color image
  • the image may be displayed by changing to a monochrome image having a relatively bright brightness.
  • an image displayed on a display screen is an image having a low saturation
  • the image may be changed to an image having a relatively high saturation and displayed.
  • the peripheral illuminance is not lower than the standard illuminance, that is, since the ambient brightness is brighter than the average brightness, the pupil size is relatively small, so that an image including an iris region having a size necessary for iris recognition can be obtained.
  • the size of the pupil is relatively smaller according to the display brightness after the brightness of the display is lower than the standard illumination, the image including the iris region having the size required for iris recognition can be obtained. Therefore, after the peripheral illuminance is not lower than the reference illuminance in operation 1110 or the display brightness is adjusted in operation 1115, the electronic device 101 may perform iris recognition in operation 1120.
  • the iris recognition may refer to a series of processes such as matching and comparing the registered iris pattern by generating feature pattern data after detecting the iris region in the image of the user's eye. By performing such iris recognition, it is possible to determine whether the user is authenticated.
  • an image including an iris region having a size required for iris recognition may be obtained by adjusting the size of a user's pupil using display brightness in an environment having a low illuminance value, and performing iris recognition using such image.
  • the recognition rate can be improved.
  • FIG. 12 is a view illustrating a display brightness adjusting process for adjusting the pupil size according to various embodiments of the present disclosure.
  • the electronic device 101 when the user looks toward the screen of the electronic device 101, when the electronic device 101 acquires an image of photographing the eye of the user in units of frames in operation 1200, the acquired image is analyzed. In operation 1205, it may be determined whether the pupil size is larger than the reference size. In this case, the size of the pupil is larger than the reference size because the surrounding is darker than the average brightness, so that the iris is contracted and the pupil is enlarged, so that the pupil is relaxed by releasing the iris to obtain the iris data necessary for iris authentication. You need to make it smaller.
  • the electronic device 101 may increase the display brightness in operation 1210. After the display brightness is increased in this manner, the electronic device 101 may return to operation 1200 to acquire the next image again. That is, after increasing display brightness, the electronic device 101 may acquire an image in which the iris of the user looking at the electronic device 101 is relaxed and the pupil is reduced.
  • the iris recognition may be performed by analyzing the acquired image. That is, recognition may be performed by extracting pupil and iris regions from an eye image and extracting feature data to be used for iris recognition based on pupil and iris region extraction information.
  • recognition may be performed by extracting pupil and iris regions from an eye image and extracting feature data to be used for iris recognition based on pupil and iris region extraction information.
  • FIG. 13 is a view illustrating a display brightness adjusting process for a liveness check according to various embodiments of the present disclosure.
  • FIG. 13 illustrates an operation of performing a liveness check to determine whether a photographed face image is an artificially manipulated image.
  • livelenss may be used to represent the distinction between a lifeless object (eg, an image used for forgery or the like) and a living person.
  • the electronic device 101 changes the display brightness and outputs the image in unit 1305 while acquiring an image in units of frames. Subsequently, it may be determined whether the pupil size is changed based on the image acquired in operation 1310. In the case of a living person, the size of the pupil changes as the iris relaxes or contracts in response to the change in display brightness, but in the case of a lifeless object, there will be no change in the size of the pupil. Therefore, when the pupil size is changed in response to the display brightness change in operation 1310, the electronic device 101 according to various embodiments of the present disclosure may determine that it is an image of a real living person, and perform iris recognition in operation 1315. Can be.
  • the electronic device 101 may fail to recognize the iris in operation 1320, and may notify the user of the failure result through the screen or the speaker. Accordingly, when the user is not a registered user, for example, when the iris authentication fails, the use of the electronic device 101 may be restricted.
  • FIG. 14 is a diagram illustrating an authentication method using an object on a display screen according to various embodiments of the present disclosure.
  • an infrared light emitting unit (IRED) 410 and an infrared ray are positioned at a bezel position surrounding the display 370 of the electronic device 101.
  • a camera module including at least one of an iris camera 420 and a front camera 430 may be disposed.
  • the infrared light emitting unit 410 provided in the electronic device 101 irradiates infrared rays to the eyes of the user's face, and the infrared camera 420 may photograph the eyes to output an image of the iris.
  • the electronic device 101 may authenticate whether the user is registered with the electronic device 101 in the image input from the infrared camera 420. To this end, the electronic device 101 may perform iris recognition based on the input image. In this case, according to various embodiments of the present disclosure, iris authentication may be performed using at least one color displayed on the screen of the display 370 or an image in which at least one item 1400 is disposed. The electronic device 101 may store the item or color information and the iris information of the user together and use the same when iris authentication.
  • 15A to 15C are diagrams for describing a change in an iris image according to a display screen including an object according to various embodiments of the present disclosure.
  • the electronic device 101 may register the iris information together with the image 150 having the specific color.
  • the user may start photographing after displaying the image having the specific color on the screen during iris authentication. Therefore, when the user attempts iris authentication without displaying the image having the specific color on the screen, the user may regard the iris authentication as unintended attempt and fail to process the iris authentication.
  • an image including the object 1540 may be reflected in the pupil of the user.
  • the object or item
  • the object may be displayed on the display 370, or may be displayed in the form of a figure, a shape, and the like, and shortcut icons, widgets, and documents of a specific file type for executing an application. It may include at least one of the icons representing the.
  • the image having the specific color is reflected and displayed on the glasses 1560 instead of the pupil 1570.
  • the image having the specific color may be registered together with the iris information from the acquired eye image, and since the image may be reflected on the glasses, the position where the image is detected may be different. It can be used for recognition.
  • 16 is a diagram illustrating an iris registration mode according to various embodiments of the present disclosure.
  • the electronic device 101 may output a display screen as shown in FIGS. 15A to 15C.
  • the electronic device 101 may obtain an eye image reflecting a color or an object reflected on the display screen and extract iris information and object information from the image acquired in operation 1615.
  • the electronic device 101 may store the extracted iris information and the object information in the memory 380. In this case, the user may map and store an arbitrary application with respect to the object information.
  • FIG. 17 is a diagram illustrating an iris authentication mode according to various embodiments of the present disclosure.
  • the electronic device 101 may output a screen for iris authentication when entering the iris authentication mode.
  • the electronic device 101 may acquire an image of photographing an eye part of a user while outputting an iris authentication screen.
  • the electronic device 101 may analyze the acquired image and extract iris information and object information in operation 1710.
  • it may be determined whether the information matches the registered iris information and object information. If the registered iris information and object information match, the authentication success process may be performed in operation 1720.
  • the electronic device 101 performs a function such as unlocking, executing an application, and transmitting data, and the display 370 may display a screen according to the function execution.
  • the authentication failure may be processed in operation 1725. Accordingly, the use of the electronic device 101 may be restricted.
  • FIG. 18 is a diagram illustrating an object execution process after performing iris authentication according to various embodiments of the present disclosure.
  • the electronic device 101 may output a screen for iris authentication when entering the iris authentication mode.
  • the electronic device 101 may display objects corresponding to a plurality of applications on a screen for iris authentication.
  • the object may have a form associated with the application so that the user can identify the application associated with the object.
  • the object displayed on the iris authentication screen may represent any executable application.
  • SNS application telephone application, message application, schedule management application, document creation application, music application, Internet application, map application, camera application, email application, photo application, image editing application, search application, file search application, Video applications, game applications, and the like.
  • the type of the object disposed on the iris authentication screen may be changed according to the user's setting.
  • operation 1810 it may be determined which object is selected. If any one object is selected, in operation 1820, an image of the user's eye part may be acquired in a state in which a display screen on which the selected object is displayed is displayed in operation 1815. Subsequently, the iris information and the object information may be extracted from the image acquired in operation 1825, and it may be determined whether the iris information and the object information match the registered iris information and the object information in operation 1830. That is, it may be determined whether it matches with registered iris information and object information.
  • the application associated with the object may be executed after the authentication is successful.
  • the authentication failure may be processed in operation 1840, and thus the use of the electronic device 101 may be restricted.
  • FIG. 19 illustrates an object execution screen after performing authentication on a display screen on which an object is displayed according to various embodiments of the present disclosure.
  • an object having the same shape may be reflected in the pupil 1910 of the user.
  • an application associated with the object for example, a screen of executing a camera ( 1920).
  • the first function corresponding to the first shape when the user performs iris registration while displaying the first shape on the display 370 to perform the first function, when the iris authentication is successful, the first function corresponding to the first shape This can be done.
  • the second function corresponding to the second shape when the iris authentication is successful, the second function corresponding to the second shape is performed. Can be.
  • the user may map and store an application to be executed for each of the plurality of objects, and may store the object and the iris information of the user at the time of iris registration.
  • FIG. 19 illustrates a case in which the user directly selects an object displayed on the iris authentication screen
  • the object displayed on the iris authentication screen may be changed by a manufacturer or an authorized user.
  • a user interface that is convenient for a user to use can be directly entered into a function desired by the user while maintaining security by preventing the third party from stealing the electronic device 101. Has the effect of providing.
  • 20 is a block diagram 2000 of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 2001 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 2001 may include at least one application processor (AP) 2010, a communication module 2020, a subscriber identification module (SIM) card 2024, a memory 2030, a sensor module 2040, and an input.
  • AP application processor
  • SIM subscriber identification module
  • Device 2050, display 2060, interface 2070, audio module 2080, camera module 2091, power management module 2095, battery 2096, indicator 2097 and motor 2098 can do.
  • the AP 2010 may control a plurality of hardware or software components connected to the AP 2010 by operating an operating system or an application program, and may perform various data processing and operations.
  • the AP 2010 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the AP 2010 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the AP 2010 may include at least some of the components shown in FIG. 20 (eg, the cellular module 2021).
  • the AP 2010 may load and process a command or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store various data in the nonvolatile memory. Can be.
  • the communication module 2020 may have a configuration that is the same as or similar to that of the communication interface 170 of FIG. 1.
  • the communication module 2020 may be, for example, a cellular module 2021, a WIFI module 2023, a BT module 2025, a GPS module 2027, an NFC module 2028, and an RF (radio frequency) module 2029. ) May be included.
  • the cellular module 2021 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network. According to an embodiment of the present disclosure, the cellular module 2021 may perform identification and authentication of the electronic device 2001 in a communication network by using a subscriber identification module (for example, the SIM card 2024). According to an embodiment, the cellular module 2021 may perform at least some of the functions that the AP 2010 may provide. According to an embodiment, the cellular module 2021 may include a communication processor (CP).
  • CP communication processor
  • Each of the WIFI module 2023, the BT module 2025, the GPS module 2027, or the NFC module 2028 may include, for example, a processor for processing data transmitted and received through a corresponding module. Can be. According to some embodiments, at least some (eg, two or more) of the cellular module 2021, the WIFI module 2023, the BT module 2025, the GPS module 2027, or the NFC module 2028 may be one integrated chip. (IC) or in an IC package.
  • IC integrated chip.
  • the RF module 2029 may transmit / receive, for example, a communication signal (for example, an RF signal).
  • the RF module 2029 may include, for example, a transceiver, a power amplifier module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amplifier module
  • LNA low noise amplifier
  • at least one of the cellular module 2021, the WIFI module 2023, the BT module 2025, the GPS module 2027, or the NFC module 2028 is an RF signal via a separate RF module 2029. Can transmit and receive.
  • the SIM card 2024 may include, for example, a card including a subscriber identification module and / or an embedded SIM, and may include unique identification information (eg, an integrated circuit card identifier (ICCID)) or It may include subscriber information (eg, international mobile subscriber identity (IMSI)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 2030 may include, for example, an internal memory 2032 or an external memory 2034.
  • the internal memory 2032 may be, for example, volatile memory (for example, dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM), etc.) or non-volatile memory (for example, nonvolatile memory).
  • DRAM dynamic RAM
  • SRAM static RAM
  • SDRAM synchronous dynamic RAM
  • OTPROM One time programmable ROM
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically erasable and programmable ROM
  • mask ROM mask ROM
  • flash ROM flash memory
  • flash memory e.g., NAND flash or NOR flash, etc.
  • SSD solid state drive
  • the external memory 2034 may be a flash drive, for example, compact flash (CF), secure digital (SD), micro secure digital (Micro-SD), mini secure digital (Mini-SD), extreme digital (XD), or the like. It may further include a memory stick.
  • the external memory 2034 may be functionally and / or physically connected to the electronic device 2001 through various interfaces.
  • the sensor module 2040 may, for example, measure a physical quantity or detect an operating state of the electronic device 2001 and convert the measured or detected information into an electrical signal.
  • the sensor module 2040 includes, for example, a gesture sensor 2040A, a gyro sensor 2040B, a barometric pressure sensor 2040C, a magnetic sensor 2040D, an acceleration sensor 2040E, a grip sensor 2040F, and a proximity sensor. (2040G), color sensor 2040H (e.g. RGB (red, green, blue) sensor), biometric sensor 2040I, temperature / humidity sensor 2040J, illuminance sensor 2040K, or UV (ultra violet) sensor ( 2040M).
  • the sensor module 2040 may include, for example, an olfactory sensor, an electromyography sensor, an electroencephalogram sensor, an electrocardiogram sensor, and an infrared (IR) sensor. ) Sensors, iris sensors and / or fingerprint sensors.
  • the sensor module 2040 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 2001 further includes a processor configured to control the sensor module 2040, as part of or separately from the AP 2010, while the AP 2010 is in a sleep state. The sensor module 2040 may be controlled.
  • the input device 2050 may be, for example, a touch panel 2052, a (digital) pen sensor 2054, a key 2056, or an ultrasonic input device ( 2058).
  • the touch panel 2052 may use, for example, at least one of capacitive, resistive, infrared, or ultrasonic methods.
  • the touch panel 2052 may further include a control circuit.
  • the touch panel 2052 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 2054 may be, for example, part of the touch panel 2052 or may include a separate sheet for recognition.
  • the key 2056 may include, for example, a physical button, an optical key or a keypad.
  • the ultrasonic input device 2058 may check data by detecting sound waves with a microphone (for example, the microphone 2088) in the electronic device 2001 through an input tool for generating an ultrasonic signal.
  • the display 2060 may include a panel 2062, a hologram device 2064, or a projector 2066.
  • the panel 2062 may include a configuration that is the same as or similar to that of the display 2060 of FIG. 1.
  • the panel 2062 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 2062 may be configured as one module with the touch panel 2052.
  • the hologram device 2064 may show a stereoscopic image in the air by using interference of light.
  • the projector 2066 may display an image by projecting light onto a screen.
  • the screen may be located, for example, inside or outside the electronic device 2001.
  • the display 2060 may further include a control circuit for controlling the panel 2062, the hologram device 2064, or the projector 2066.
  • the interface 2070 may be, for example, a high-definition multimedia interface (HDMI) 2072, a universal serial bus (USB) 2074, an optical interface 2076, or a D-subminiature (D-subminiature). 2078 may be included.
  • the interface 2070 may be included in, for example, the communication interface 160 illustrated in FIG. 1. Additionally or alternatively, the interface 2070 may be, for example, a mobile high-definition link (MHL) interface, a secure digital (SD) card / multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. It may include.
  • MHL mobile high-definition link
  • SD secure digital
  • MMC multi-media card
  • IrDA infrared data association
  • the audio module 2080 may bilaterally convert a sound and an electrical signal, for example. At least some components of the audio module 2080 may be included in, for example, the input / output interface 150 illustrated in FIG. 1.
  • the audio module 2080 may process sound information input or output through, for example, a speaker 2082, a receiver 2084, an earphone 2086, a microphone 2088, or the like.
  • the camera module 2091 is, for example, a device capable of capturing still images and moving images.
  • the camera module 2091 may include one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). ) Or flash (eg, LED or xenon lamp).
  • image sensors eg, a front sensor or a rear sensor
  • ISP image signal processor
  • flash eg, LED or xenon lamp
  • the power management module 2095 may manage power of the electronic device 2001, for example.
  • the power management module 2095 may include a power management integrated circuit (PMIC), a charger integrated circuit (ICC), or a battery or fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging scheme may include, for example, a magnetic resonance scheme, a magnetic induction scheme, or an electromagnetic wave scheme, and may further include additional circuits for wireless charging, such as a coil loop, a resonant circuit, a rectifier, and the like.
  • the battery gauge may measure, for example, the remaining amount of the battery 2096, a voltage, a current, or a temperature during charging.
  • the battery 2096 may include, for example, a rechargeable battery and / or a solar battery.
  • the indicator 2097 may display a specific state of the electronic device 2001 or a part thereof (for example, the AP 2010), for example, a booting state, a message state, or a charging state.
  • the motor 2098 may convert an electrical signal into mechanical vibration, and may generate a vibration or haptic effect.
  • the electronic device 2001 may include a processing device (eg, a GPU) for supporting mobile TV.
  • the processing apparatus for supporting the mobile TV may process media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or media flow.
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • Each of the above-described elements of the electronic device 2001 may be composed of one or more components, and the name of the corresponding element may vary according to the type of the electronic device 2001.
  • the electronic device 2001 may be configured to include at least one of the above-described components, and some components may be omitted or further include other additional components.
  • some of the components of the electronic device 2001 according to various embodiments of the present disclosure may be combined to form a single entity, and thus may perform the same functions of the corresponding components before being combined.
  • the term “module” may mean, for example, a unit including one, or a combination of two or more of hardware, software, or firmware.
  • the term “module” may be interchangeably used with terms such as, for example, unit, logic, logical block, component, or circuit.
  • the module may be a minimum unit or part of an integrally constructed part.
  • the module may be a minimum unit or part of performing one or more functions.
  • the module may be implemented mechanically or electronically.
  • a “module” in accordance with the present disclosure may be an application-specific integrated circuit (ASIC) chip, field-programmable gate arrays (FPGAs), or programmable logic devices that perform certain operations, known or developed in the future. logic device).
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • any such software may be, for example, volatile or nonvolatile storage, such as a storage device such as a ROM, whether or not removable or rewritable, or a memory such as, for example, a RAM, a memory chip, a device or an integrated circuit. Or, for example, CD or DVD, magnetic disk or magnetic tape and the like can be stored in a storage medium that is optically or magnetically recordable and simultaneously readable by a machine (eg computer).
  • a machine eg computer
  • the storage unit that can be included in the electronic device is an example of a machine-readable storage medium suitable for storing a program or programs including instructions for implementing embodiments of the present disclosure.
  • the present invention includes a program comprising code for implementing the apparatus or method described in any claim herein and a machine-readable storage medium storing such a program.
  • such a program may be transferred electronically through any medium, such as a communication signal transmitted via a wired or wireless connection, and the present invention includes equivalents thereof as appropriate.
  • the electronic device may receive and store the program from a program providing device connected by wire or wirelessly.
  • the program providing device includes a program including instructions for performing a method of performing iris authentication using a display of an electronic device, a memory for storing information necessary for a method of performing iris authentication using a display of an electronic device, and the like.
  • a communication unit for performing wired or wireless communication with the electronic device, and a controller for automatically requesting or automatically transmitting a corresponding program to the electronic device.

Abstract

본 발명의 다양한 실시예에 따른, 홍채 인증을 수행하는 전자 장치는, 눈 부위를 촬영한 이미지를 출력하는 이미지 센서와, 홍채 인증 화면을 표시하는 디스플레이와, 상기 촬영된 눈 부위 이미지로부터 적어도 일부분의 영역을 검출하여, 상기 검출된 영역의 크기를 상기 홍채 인증을 위해 필요한 영역의 크기와 비교한 결과를 기반으로 상기 디스플레이의 출력 특성을 조절하여 홍채 인증을 수행하는 제어부를 포함할 수 있으며, 다양한 실시예가 가능하다.

Description

디스플레이 정보를 이용한 홍채 인증 방법 및 장치
본 발명은 전자 장치의 디스플레이를 이용하여 홍채 인증을 수행하는 방법 및 장치에 관한 것이다.
최근, 단순한 통화 기능 외에, 예를 들어, 사진 또는 동영상 촬영, 인터넷 통신 등과 같이 보다 다양한 기능들을 더 포함하는 전자 장치들이 개발되고 있다. 이렇게 전자 장치들이 다양한 기능들을 포함하게 됨에 따라 개인 정보 보안에 대한 중요성이 더욱 대두되고 있다. 특히, 인터넷을 이용한 금융 결재와 같이, 타인에 의해 도용될 경우 매우 심각한 피해를 초래할 수 있는 기능들을 포함하는 전자 장치에서의 개인 정보 보안은 매우 중요하다. 이와 같이 전자 장치에 대한 보안의 중요성이 증가함에 따라 다른 사용자에 의한 사용을 제한하기 위해 여러 가지 방법의 보안 기능을 구비하고 있다.
이러한 보안을 위해 사용자 식별에 생물학적 특징이 이용될 수 있으며, 지문, 목소리, 망막, 얼굴, 홍채(iris) 등 다양한 생체 정보를 이용한 보안 기술에 대한 연구가 진행되고 있다. 이러한 다양한 생체 정보들 중에서도 사람의 홍채는 사람마다 모양이 모두 다르며 특히 모조의 위험성이 적고 일생동안 잘 변하지 않으므로 홍채를 이용한 보안 기술이 주목을 받고 있다.
홍채를 이용하여 특정 개인을 인식하는 방법에 있어서, 사람의 눈 부분을 촬영한 영상에서 실시간으로 홍채 인식을 위해서는 동공과 홍채를 빠르게 검출하는 기술은 필수적이다. 게다가 이러한 홍채 인식 기술을 모바일 폰 등과 같은 휴대형 전자 장치에서 사용하기 위해서는 실시간으로 눈 부분을 촬영한 영상으로부터 동공을 빠르게 검출하는 것이 필수적이다. 하지만 주변 밝기 변화에 대응하여 동공의 크기 변화에 의해 발생하는 홍채 이미지의 변화 때문에 홍채 인식률이 떨어질 수 있다.
따라서 본 발명의 다양한 실시예들에서는 빛의 밝기에 따라 반응하는 동공과 그에 따라 변하는 홍채 영역을 고려하여 홍채 인식의 정확도를 향상시키기 위한 방법 및 장치를 제공한다.
상기한 바를 달성하기 위한 본 발명의 다양한 실시예에 따른, 홍채 인증을 수행하는 전자 장치는, 눈 부위를 촬영한 이미지를 출력하는 이미지 센서와, 홍채 인증 화면을 표시하는 디스플레이와, 상기 촬영된 눈 부위 이미지로부터 적어도 일부분의 영역을 검출하여, 상기 검출된 영역의 크기를 상기 홍채 인증을 위해 필요한 영역의 크기와 비교한 결과를 기반으로 상기 디스플레이의 출력 특성을 조절하여 홍채 인증을 수행하는 제어부를 포함할 수 있다.
또한, 본 발명의 다양한 실시예에 따른, 전자 장치에서 홍채 인증을 수행하는 방법은, 홍채 인증 화면을 표시하는 동작과, 사용자의 눈 부위를 촬영하는 동작과, 상기 촬영된 눈 부위 이미지로부터 적어도 일부분의 영역을 검출하는 동작과, 상기 검출된 영역의 크기를 상기 홍채 인증을 위해 필요한 영역의 크기와 비교한 결과를 기반으로 상기 디스플레이의 출력 특성을 조절하여 홍채 인증을 수행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 인증을 위한 일정 크기를 가지는 홍채 이미지를 사용하여 인증을 수행하므로, 홍채 인식의 정확도를 향상시킬 수 있다.
또한, 본 발명의 다양한 실시예들에 따르면, 등록된 홍채 이미지와 유사한 크기를 가지는 홍채 이미지를 인증 시 선택하여 이용함으로써, 인증 시 비교 대상을 줄여 인식 속도를 높일 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 2는 본 발명의 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 홍채 정보를 입력받아 인증을 수행하는 전자 장치의 내부블록 구성도이다.
도 4a 내지 도 4d는 본 발명의 다양한 실시예에 따른 전자 장치의 정면 사시도를 나타낸 도면이다.
도 5는 본 발명의 다양한 실시예에 따른 시계 타입의 신체 장착형 전자 장치를 나타내는 사시도이다.
도 6은 본 발명의 다양한 실시예에 따른 신체 장착형 전자 장치를 이용한 홍채 인증 방법을 보여주는 예시도이다.
도 7은 본 발명의 다양한 실시예에 따른 홍채 이미지 촬영 위치의 조절을 위한 안내 화면을 예시하고 있다.
도 8은 본 발명의 다양한 실시예에 따른 홍채 인증 모드를 설명하기 위한 도면이다.
도 9a 및 도 9b는 본 발명의 다양한 실시예에 따라 적외선 발광 펄스와 이미지 센서 간의 동작 관계를 설명하기 위한 도면이다.
도 10은 본 발명의 다양한 실시예에 따라 디스플레이 밝기에 따른 동공의 크기 변화를 나타내는 예시도이다.
도 11은 본 발명의 다양한 실시예에 따른 주변 조도에 따른 디스플레이 밝기 조절 과정을 설명하기 위한 도면이다.
도 12는 본 발명의 다양한 실시예에 따른 동공 크기 조절을 위한 디스플레이 밝기 조절 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 다양한 실시예에 따른 라이브니스 체크를 위한 디스플레이 밝기 조절 과정을 설명하기 위한 도면이다.
도 14는 본 발명의 다양한 실시예에 따른 디스플레이 화면 상의 객체를 이용한 인증 방법을 설명하기 위한 도면이다.
도 15a 내지 도 15c는 본 발명의 다양한 실시예에 따른 객체를 포함하는 디스플레이 화면에 따른 홍채 이미지 변화를 설명하기 위한 도면이다.
도 16은 본 발명의 다양한 실시예에 따른 홍채 등록 모드를 설명하기 위한 도면이다.
도 17은 본 발명의 다양한 실시예에 따른 홍채 인증 모드를 설명하기 위한 도면이다.
도 18은 본 발명의 다양한 실시예에 따른 홍채 인증 수행 후 객체 실행 과정을 설명하기 위한 도면이다.
도 19는 본 발명의 다양한 실시예에 따른 객체가 표시되는 디스플레이 화면에서의 인증 수행 후 객체 실행 화면 예시도이다.
도 20은 본 발명의 다양한 실시 예에 따른 전자 장치의 블록도이다.
이하, 본 개시의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다” 등의 표현은 해당 특징(예: 수치, 기능, 동작 또는 부품 등의 구성 요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, “A 또는 B”, “A 또는/및 B 중 적어도 하나” 또는 “A 또는/및 B 중 하나 또는 그 이상” 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “A 또는 B”, “A 및 B 중 적어도 하나” 또는 “A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
다양한 실시예에서 사용된 “제1”, “제2”, “첫째” 또는 “둘째” 등의 표현들은 다양한 구성 요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성 요소들을 한정하지 않는다. 상기 표현들은 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 바꾸어 명명될 수 있다.
어떤 구성 요소(예: 제1 구성 요소)가 다른 구성 요소(예: 제2 구성 요소)에 “(기능적으로 또는 통신적으로) 연결되어(operatively or communicatively) coupled with/to)” 있다거나 “접속되어(connected to)” 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제3 구성 요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소(예: 제1 구성 요소)가 다른 구성 요소(예: 제2 구성 요소)에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 상기 어떤 구성 요소와 상기 다른 구성 요소 사이에 다른 구성 요소(예: 제3 구성 요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for)”, “~하는 능력을 가지는(having the capacity to)”, “~하도록 설계된(designed to)”, “~하도록 변경된(adapted to)”, “~하도록 만들어진(made to)”또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성(또는 설정)된”은 하드웨어적으로 “특별히 설계된(specifically designed to)”것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 장치”라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께“~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B 및 C를 수행하도록 구성(또는 설정)된 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서) 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
본 개시의 다양한 실시예들에 따른 전자 장치는, 홍채 검출 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smart phone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera),또는 웨어러블 장치(wearable device)(예: 스마트안경, 머리 착용형 장치(head-mounted-device(HMD)), 전자 의복,전자 팔찌,전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트 미러 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 홍채 검출 기능을 갖춘 스마트 가전제품(smart home appliance)일 수 있다. 스마트 가전제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성HomeSync™, 애플TV™ 또는 구글 TV™), 게임콘솔(예: Xbox™, PlayStation™), 전자사전, 전자키, 캠코더(camcorder) 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 홍채 검출 기능을 포함한 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기,또는 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자장비(예: 선박용 항법장치, 자이로 콤파스 등), 항공전자기기(avionics), 보안기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융기관의 ATM(automatic teller's machine), 상점의 POS(point of sales) 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링쿨러 장치, 화재 경보기, 온도 조절기(thermostat), 가로등, 토스터(toaster), 운동 기구, 온수 탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 홍채 검출 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector) 또는 각종 계측기기(예: 수도, 전기, 가스 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블(flexible) 전자 장치일 수 있다. 또한, 본 개시의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 상기 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160) 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 상기 구성 요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 구비할 수 있다.
상기 버스(110)는, 예를 들면, 상기 구성 요소들(120-170)을 서로 연결하고, 상기 구성 요소들(120-170) 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
상기 프로세서(120)는, 중앙처리장치(CPU: central processing unit), 어플리케이션 프로세서(AP: application processor) 또는 커뮤니케이션 프로세서(CP: communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 상기 프로세서(120)는, 예를 들면, 상기 전자 장치(101)의 적어도 하나의 다른 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
상기 프로세서(120)는 제어부(controller)라고 칭하거나, 상기 제어부를 그 일부로서 포함할 수도 있다.
본 발명의 다양한 실시예에 따른 상기 프로세서(120)는 생체 정보 검출 모듈로부터 제공되는 홍채 이미지를 이용하여 인증을 수행할 수 있다. 이를 위해 전자 장치(101)는 상기 홍채 이미지를 제공하기 위한 홍채 정보 검출 모듈을 더 포함할 수 있으며, 카메라 모듈이 상기 홍채 정보 검출 모듈을 대체할 수 있다.
상기 프로세서(120)는 상기 홍채 이미지를 미리 등록된 홍채 특징 패턴과 비교하여 상기 미리 등록된 홍채 특징 패턴과 일정 비율 이상 같은 홍채 이미지일 경우에는, 인증이 성공했다고 간주하여 인증 성공에 따른 기능을 수행할 수 있다. 상기 홍채 이미지는 사용자 얼굴 이미지에서 눈동자 영역을 기반으로 생성된 것으로, 주변 밝기 변화에 따라 동공 크기가 변화하게 되므로 인증에 필요한 홍채 영역의 크기도 달라질 수 있다. 예를 들어, 등록된 사용자임에도 불구하고 상기 사용자에 대한 홍채 이미지를 얻는 시점에 어두운 실내 등으로 인해 저장된 홍채 특징 패턴과 비교하기에 충분하지 않은 홍채 이미지가 얻어질 수 있다. 하지만 인식, 위조 홍채의 검출과 판정 등의 동작을 수행하기 위해서는 일정 크기의 홍채 영역을 얻을 필요가 있다.
이를 위해 본 발명의 다양한 실시예에 따른 프로세서(120)는 빛의 밝기에 따라 반응하는 동공과 그에 따라 변하는 홍채 영역을 고려하여 상기 일정 크기의 홍채 영역을 얻기 위해 디스플레이(160)의 밝기를 조절할 수 있다. 이와 같이 상기 프로세서(120)는 상기 디스플레이(160)의 밝기를 조절함으로써 상기 밝기에 대응하여 조절된 크기의 홍채 영역의 이미지를 이용하여 인식을 수행할 수 있다. 이에 따라 일정 크기의 홍채 영역의 이미지를 이용하여 인식을 수행함으로써 FRR(false reject rate)을 낮출 수 있다.
상기 메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 상기 메모리(130)는, 예를 들면, 상기 전자 장치(101)의 적어도 하나의 다른 구성 요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 상기 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 상기 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API: application programming interface)(145) 및/또는 어플리케이션 프로그램(또는 “어플리케이션”)(147) 등을 포함할 수 있다. 상기 커널(141), 미들웨어(143) 또는 API(145)의 적어도 일부는, 운영 시스템 (OS: operating system)라 불릴 수 있다.
한 실시 예에 따르면, 상기 메모리(130)는 등록된 적어도 하나의 사용자의 홍채 정보를 저장할 수 있다. 여기서, 홍채 정보는 각 사용자별로 획득된 홍채 이미지의 특징 패턴 형태로 저장될 수 있으며, 상기 특징 패턴은 상기 홍채 이미지에 대한 전체 특징 패턴 중 적어도 일부 또는 전체일 수 있다. 또한 상기 메모리(130)는 상기 사용자별 홍채 이미지를 아이리스 코드, 템플릿 등의 특징 패턴으로 변환하기 위한 홍채 정보 변환 알고리즘을 저장할 수 있다. 또한 상기 메모리(130)는 인증 시 비교 기준이 되는 데이터를 제공할 수 있으며, 이러한 비교를 위한 알고리즘 등을 저장할 수 있다. 본 발명의 실시예에 따르면, 상기 생체 정보는 홍채 정보를 포함할 수 있다.
상기 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145) 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(141)은 상기 미들웨어(143), 상기 API(145) 또는 상기 어플리케이션 프로그램(147)에서 상기 전자 장치(101)의 개별 구성 요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(143)는, 예를 들면, 상기 API(145) 또는 상기 어플리케이션 프로그램(147)이 상기 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(143)는 상기 어플리케이션 프로그램(147)로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 프로그램(147) 중 적어도 하나의 어플리케이션에 상기 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케줄링 또는 로드 밸런싱)을 수행할 수 있다.
상기 API(145)는, 예를 들면, 상기 어플리케이션(147)이 상기 커널(141) 또는 상기 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
상기 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 상기 전자 장치(101)의 다른 구성 요소(들)(120-140, 160-170)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한 상기 입출력 인터페이스(150)는 상기 전자 장치(101)의 다른 구성 요소(들)(120-140, 160-170)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
상기 디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이 또는 마이크로 전자기계 시스템(MEMS: micro-electromechanical systems) 디스플레이 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 상기 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘 또는 심볼 등)을 표시할 수 있다. 상기 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접 또는 호버링(hovering) 입력을 수신할 수 있다.
상기 통신 인터페이스(170)는, 예를 들면, 상기 전자 장치(101)와 외부 장치(예: 제1 외부 전자 장치(102), 제2 외부 전자 장치(104) 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 상기 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 상기 외부 장치(예: 제2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다. 또한, 상기 통신 인터페이스(170)는 근거리 무선 통신(164)을 통해 상기 외부 장치(예: 상기 제1 외부 전자 장치(102))와 통신을 설정할 수 있으며, 상기 외부 장치(예: 상기 제2 외부 전자 장치(104))와도 네트워크(162) 대신 상기 근거리 무선 통신(164)을 통해 연결될 수 있다. 여기서, 근거리 무선 통신은, 예를 들면, 비콘(Beacon), 와이파이 다이렉트(WiFi Direct), 블루투스(Bluetooth), 베이스밴드(Baseband) 또는 가청/비가청 주파수 중 적어도 하나를 사용할 수 있다.
상기 무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등 중 적어도 하나를 사용할 수 있다. 상기 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 상기 네트워크(162)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다.
상기 제1 및 제2 외부 전자 장치(102, 104) 각각은 상기 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시예에 따르면, 상기 서버(106)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다.
다양한 실시예에 따르면, 상기 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 외부 전자 장치(102, 104) 또는 서버(106))에서 실행될 수 있다. 한 실시예에 따르면, 상기 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 상기 전자 장치(101)는 상기 기능 또는 상기 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 외부 전자 장치(102, 104) 또는 서버(106))에게 요청할 수 있다. 상기 다른 전자 장치(예: 외부 전자 장치(102, 104) 또는 서버(106))는 상기 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 상기 전자 장치(101)로 전달할 수 있다. 상기 전자 장치(101)는 상기 수신된 결과를 그대로 또는 추가적으로 처리하여 상기 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 프로그램 모듈(210)의 블록도(200)이다. 한 실시예에 따르면, 상기 프로그램 모듈(210)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제(operation system(OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 상기 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen), 또는 바다(bada) 등이 될 수 있다.
프로그램 모듈(210)은 커널(220), 미들웨어(230), API(application programming interface)(260), 및/또는 어플리케이션(270)을 포함할 수 있다. 상기 프로그램 모듈(210)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 서버(예: 서버 106)로부터 다운로드(download) 가능하다.
상기 커널(220)(예: 도 1의 커널(141))은, 예를 들면, 시스템 리소스 매니저(221) 또는 디바이스 드라이버(223)를 포함할 수 있다. 상기 시스템 리소스 매니저(221)는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시예에 따르면, 상기 시스템 리소스 매니저(221)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 상기 디바이스 드라이버(223)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WIFI 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
상기 미들웨어(230)는, 예를 들면, 상기 어플리케이션(270)이 공통적으로 필요로 하는 기능을 제공하거나, 상기 어플리케이션(270)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 상기 API(260)를 통해 다양한 기능들을 상기 어플리케이션(270)으로 제공할 수 있다. 한 실시예에 따르면, 상기 미들웨어(230)(예: 미들웨어(143))는 런타임 라이브러리(235), 어플리케이션 매니저(application manager)(241), 윈도우 매니저(window manager)(242), 멀티미디어 매니저(multimedia manager)(243), 리소스 매니저(resource manager)(244), 파워 매니저(power manager)(245), 데이터베이스 매니저(database manager)(246), 패키지 매니저(package manager)(247), 연결 매니저(connectivity manager)(248), 통지 매니저(notification manager)(249), 위치 매니저(location manager)(250), 그래픽 매니저(graphic manager)(251), 또는 보안 매니저(security manager)(252) 중 적어도 하나를 포함할 수 있다.
상기 런타임 라이브러리(235)는, 예를 들면, 상기 어플리케이션(270)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 상기 런타임 라이브러리(235)는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
상기 어플리케이션 매니저(241)는, 예를 들면, 상기 어플리케이션(270) 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 상기 윈도우 매니저(242)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 상기 멀티미디어 매니저(243)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 상기 리소스 매니저(244)는 상기 어플리케이션(270) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
상기 파워 매니저(245)는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저(246)는 상기 어플리케이션(270) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 상기 패키지 매니저(247)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
상기 연결 매니저(248)는, 예를 들면, WIFI 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저(249)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저(250)는 전자 장치의 위치 정보를 관리할 수 있다. 상기 그래픽 매니저(251)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저(252)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(예: 전자 장치(101))가 전화 기능을 포함한 경우, 상기 미들웨어(230)는 상기 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
상기 미들웨어(230)는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 상기 미들웨어(230)는 차별화된 기능을 제공하기 위해 운영 체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 상기 미들웨어(230)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
상기 API(260)(예: API(145))는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
상기 어플리케이션(270)(예: 어플리케이션 프로그램(147))은, 예를 들면, 홈(271), 다이얼러(272), SMS/MMS 373, IM(instant message)(274), 브라우저(275), 카메라(276), 알람(277), 컨택트(278), 음성 다이얼(279), 이메일(280), 달력(281), 미디어 플레이어(282), 앨범(283), 또는 시계(284), 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 제공할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
한 실시예에 따르면, 상기 어플리케이션(270)은 상기 전자 장치(예: 전자 장치(101))와 외부 전자 장치(예: 외부 전자 장치(102, 104)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의 상,“정보 교환 어플리케이션”)을 포함할 수 있다. 상기 정보 교환 어플리케이션은, 예를 들면, 상기 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 상기 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 상기 알림 전달 어플리케이션은 상기 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치(예: 외부 전자 장치(102, 104))로 전달하는 기능을 포함할 수 있다. 또한, 상기 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 상기 장치 관리 어플리케이션은, 예를 들면, 상기 전자 장치와 통신하는 외부 전자 장치(예: 외부 전자 장치(102, 104))의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 상기 외부 전자 장치에서 동작하는 어플리케이션 또는 상기 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시예에 따르면, 상기 어플리케이션(270)은 상기 외부 전자 장치(예: 전자 장치(102, 104))의 속성(예: 전자 장치의 속성으로서, 전자 장치의 종류가 모바일 의료 기기)에 따라 지정된 어플리케이션(예: 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션(270)은 외부 전자 장치(예: 서버 106 또는 전자 장치(102, 104))로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 상기 어플리케이션(270)은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시예에 따른 프로그램 모듈(210)의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시예에 따르면, 상기 프로그램 모듈(210)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 상기 프로그램 모듈(210)의 적어도 일부는, 예를 들면, 프로세서(예: AP 210)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그램 모듈(210)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 홍채 정보를 입력받아 인증을 수행하는 전자 장치의 내부블록 구성도이다.
도 3에서는 상기 생체 정보가 홍채 정보인 경우를 예로 들어 설명하기 위해 홍채 이미지를 입력받기 위한 구성부들을 포함하는 전자 장치(예: 전자 장치(101))의 구성을 예시하나, 홍채 정보를 비롯하여 지문 정보도 함께 입력받을 수 있는 복합 생체 정보를 입력받기 위한 구성부들을 포함하도록 전자 장치(예: 전자 장치(101))의 구성이 구현될 수도 있다.
도 3을 참조하면, 상기 전자 장치(101)는 제어부(310), 렌즈부(320), 적외선 필터(330), 이미지 센서(340), 적외선 발광부(350), 구동부(360), 디스플레이(370) 및 메모리(380)를 포함할 수 있다. 카메라 모듈은 렌즈부(320), 적외선 필터(330), 이미지 센서(340), 적외선 발광부(350) 및 구동부(360)를 포함할 수 있다. 한 실시예에 따르면, 상기 전자 장치(101)는 추가적으로 홍채 이외의 다른 생체 정보를 검출하기 위한 모듈을 더 포함하거나 상기 카메라 모듈을 대체하여 다른 생체 정보를 검출하기 위한 모듈을 포함할 수 있다.
먼저, 상기 카메라 모듈은 상기 제어부(310)의 제어 하에 또는 이와는 독립적으로, 홍채 인식을 위해 획득한 홍채 이미지를 처리하여, 상기 디스플레이(370)에 홍채 이미지가 표시되게 할 수 있다. 다시 말하면, 상기 카메라 모듈은 홍채 인식 모드를 설정하고, 이미지 센서(340)를 제어하여 피사체, 즉, 사용자의 얼굴을 촬영한 이미지를 생성하고, 생성된 이미지에서 홍채의 적어도 일부분이 포함된 이미지 영역 예컨대, 홍채 영역을 검출할 수 있다.
또한 상기 카메라 모듈은 제어부(310)의 제어 하에 검출된 홍채 영역에 대응하는 가이드 정보를 결정하고, 결정된 가이드 정보를 사용자에게 제공할 수 있다. 가이드 정보는 홍채 인식에 이용되는 이미지에서 홍채의 적정한 위치를 사용자에게 안내하는 정보일 수 있다. 또한 상기 카메라 모듈은 제어부(310)의 제어 하에 검출된 홍채 영역에 미리 정해진 이미지 효과를 적용하여, 이미지 효과가 적용된 이미지를 생성하여 상기 디스플레이(370)에 표시할 수 있다. 이미지 효과는 검출된 홍채 영역의 형태만 식별 가능하도록 하는 이미지 처리일 수도 있다.
구체적으로, 상기 카메라 모듈의 렌즈부(320)는 제어부(310)에 의한 촬영 제어 신호에 응답하여 렌즈의 초점을 미리 정해진 설정 값으로 조절하고, 피사체(미도시)로부터 반사되는 광신호를 투과시킬 수 있다. 상기 렌즈부(320)는 사용자의 홍채 입력을 위한 빛을 받아들이고, 렌즈부(320)로 입사된 빛은 밴드 패스 필터에 도달할 수 있다. 본 발명의 다양한 실시예에 따르면, 상기 밴드 패스 필터의 예로 적외선 필터(330)가 해당할 수 있다.
적외선 필터(330)는 상기 렌즈부(320)를 통해 입사되는 피사체(미도시)로부터 반사된 광신호 중 적외선 영역의 광신호를 통과시킬 수 있다. 상기 적외선 필터(330)는 렌즈 후단에 배치되어, 상기 입사된 빛에서 특정 대역의 파장을 통과시킬 수 있다. 적외선 필터(330)는 적외선 발광부(350)를 통해 발광되는 파장 대역의 적어도 일부를 포함하는 파장 대역에 대응할 수 있다. 예를 들면, 적외선 필터(330)를 통과한, 상기 특정 대역의 파장을 가지는 광 신호는 이미지 센서(340)로 도달할 수 있다. 또 다른 실시예에 따르면 상기 카메라 모듈은 적외선 필터(330)를 포함하지 않을 수도 있다. 적외선 발광부(350)에서 발광된 빛이 홍채에 반사되어 카메라 모듈의 렌즈부(320)를 통해 바로 이미지 센서(340)에 입사될 수도 있다.
적외선 발광부(IRED : InfraRed Emitting Diode)(350)는 상기 제어부(310)에 의한 적외선 촬영 제어 신호에 응답하여 구동부(360)에 의해 온 또는 오프될 수 있다. 상기 적외선 발광부(350)는 온 될 때, 피사체에 특정 파장대의 빛 즉, 적외선 대역의 빛을 조사할 수 있다. 적외선 촬영 제어 신호란 홍채에 대한 적외선 사진 촬영을 위한 신호일 수 있다.
이미지 센서(340)는 일반 촬영 시에는 상기 렌즈부(320)를 투과하여 수신되는 광신호를 영상 신호들로 변환하여 출력할 수 있고, 적외선 촬영 시에는 상기 렌즈부(320)를 투과하여 수신된 광신호 중 적외선 필터(330)를 통과한 적외선 영역의 광신호를 적외선 영상 신호들로 변환하여 출력할 수 있다. 이에 따라 피사체로부터 반사된 적외선에 의해 형성된 광학 이미지를 디지털 이미지로 변환하여 출력할 수 있다. 여기서, 상기 카메라 모듈은 상기 전자 장치(101)에 배치될 수 있으며, 상기 전자 장치(101)가 아닌 독립적인 위치에 배치될 수도 있다.
디스플레이(370)는 터치 스크린 등을 포함할 수 있으며, 홍채 촬영에 대응하는 사용자 인터페이스를 제공할 수 있다. 또한, 디스플레이(370)가 터치 스크린인 경우 지문 센서를 추가로 배치하여 사용자의 신체 예컨대, 지문 등을 입력받을 수 있다. 또한 디스플레이(370)는 본 발명의 다양한 실시예에 따라 제어부(310)의 제어 하에 홍채 촬영을 위한 프리뷰 화면을 표시할 수 있고, 홍채 인증 결과를 이용하여 인식 수행 화면을 표시할 수 있다. 예를 들어, 홍채 인증이 성공적이면 잠금 해제, 어플리케이션 실행, 데이터 전송 등의 기능이 수행되며, 상기 디스플레이(370)는 상기 기능 수행에 따른 화면을 표시할 수 있다.
한 실시예에 따르면, 디스플레이(370)는 제어부(310)의 제어 하에 검출된 홍채 크기에 대응하여 밝기를 조절하는 제어 신호에 대응하는 밝기를 출력할 수 있다. 또한 제어부(310)의 제어 하에 이미지의 밝기, 채도, 컨트라스트 중 적어도 하나의 파라미터가 조절됨에 따라, 디스플레이(370)는 변화되는 이미지를 표시할 수 있다.
메모리(380)는 등록된 적어도 하나의 사용자의 홍채 정보를 저장할 수 있다. 여기서, 홍채 정보는 각 사용자별로 획득된 홍채 이미지의 특징 패턴 형태로 저장될 수 있으며, 상기 특징 패턴은 상기 홍채 이미지에 대한 전체 특징 패턴 중 적어도 일부 또는 전체일 수 있다. 또한 상기 메모리(380)는 상기 사용자별 홍채 이미지를 아이리스 코드, 템플릿 등의 특징 패턴으로 변환하기 위한 홍채 정보 변환 알고리즘을 저장할 수 있다. 또한 상기 메모리(380)는 인증 시 비교 기준이 되는 데이터를 제공할 수 있으며, 이러한 비교를 위한 알고리즘 등을 저장할 수 있다.
또한 상기 메모리(380)는 제어부(310)의 제어하에 상기 사용자의 홍채 등록 시에 화면에 표시되는 객체 정보를 함께 맵핑하여 저장할 수 있다. 또한 상기 메모리(380)는 제어부(310)의 제어하에 상기 객체에 대해 어플리케이션을 실행하기 위한 명령어를 맵핑하여 저장해놓을 수 있다.
제어부(310)는 촬영된 눈 부위 이미지로부터 적어도 일부분의 영역을 검출할 수 있다. 여기서, 상기 적어도 일부분의 영역은, 상기 눈 부위 이미지의 동공 및 홍채 영역을 포함할 수 있다. 제어부(310)는 상기 검출된 영역의 크기를 상기 홍채 인증을 위해 필요한 영역의 크기와 비교한 결과를 기반으로 상기 디스플레이의 출력 특성을 조절하여 홍채 인증을 수행할 수 있다. 이때, 상기 디스플레이의 출력 특성은, 상기 디스플레이(310)의 밝기를 포함하며, 상기 디스플레이에 표시되는 이미지의 밝기, 채도, 컨트라스트 중 적어도 하나를 변경함으로써 상기 디스플레이의 출력 특성을 조절할 수 있다.
만일 상기 동공 영역의 크기가 상기 홍채 인증을 위해 필요한 영역의 크기보다 클 경우 제어부(310)는 상기 디스플레이(370)의 밝기를 증대시킬 수 있으며, 이때, 상기 동공 영역과 상기 홍채 영역 간의 크기비에 대응하여 상기 디스플레이의 밝기를 증대시킬 수 있다.
구체적으로, 제어부(310)는 이미지 센서(340)를 통해 획득한 눈 이미지에서 눈동자 영역을 검출하고, 상기 눈동자 영역에서 홍채 인증에 필요한 크기를 가지는 홍채 영역을 가지는 홍채 정보를 얻기 위해 디스플레이(370)의 출력 특성을 조절할 수 있다. 이어, 제어부(310)는 상기 디스플레이(370)의 출력 특성의 조절에 대응하여 일정 크기 이상으로 동공이 커지면 상기 디스플레이(370)의 출력 특성 예컨대, 밝기를 증대시키도록 제어할 수 있다. 이러한 상기 디스플레이(370)의 출력 특성을 조절함으로써 원하는 크기의 홍채 영역을 얻을 수 있게 되면, 홍채에 대한 이미지를 인증을 위해 메모리(380)에 저장된 사용자의 홍채 정보(아이리스 템플릿, 아이리스 코드 등)와 상기 홍채 이미지를 비교함으로써, 사용자의 홍채를 인식할 수 있다.
본 발명의 다양한 실시예에 따른 제어부(310)는 사용자 홍채 정보와 함께 등록된 객체 정보가 포함된 이미지 획득 시에는 상기 홍채 정보 및 객체 정보에 대해 기 저장된 정보들과 비교하는 동작을 수행할 수 있다. 이러한 비교 결과 상기 홍채 정보 및 객체 정보에 대한 인증이 성공적이면 사용자 인증을 완료할 수 있다. 또한 상기 객체 정보에 대해 어플리케이션 실행 명령이 맵핑되어 있다면 상기 인증이 성공적일 경우 상기 객체 정보에 대응하여 어플리케이션을 실행할 수 있다.
도 4a 내지 도 4d는 본 발명의 다양한 실시예에 따른 전자 장치의 정면 사시도를 나타낸 도면이다.
도 4a를 참조하면, 전자 장치(101)의 디스플레이(450)를 둘러싸는 베젤 위치에 적외선 발광부(IRED)(410), 적외선 카메라(iris camera)(420) 및 전면 카메라(430) 중 적어도 하나를 포함하는 카메라 모듈(400)이 배치될 수 있다. 도 4a를 참조하면, 적외선 발광부(410)는 사용자 얼굴의 눈(460)에 적외선을 조사하고, 적외선 카메라(420)는 눈(460)을 촬영하여 홍채(470)에 대한 이미지를 출력할 수 있다.
도 4a에서는 적외선 발광부(410), 적외선 카메라(420) 및 전면 카메라(430)가 전면 상단부의 서로 인접한 위치에 배치되는 경우를 예시하고 있으나, 도 4b에 도시된 바와 같이 적외선 카메라(420)와 전면 카메라(430)가 나란히 한쪽에 배치될 수 있다. 이때, 적외선 카메라(420)는 적외선 발광부를 포함하여 구성될 수도 있다. 한 실시예에 따르면, 카메라 모듈(400)은 적외선 발광부(410)를 포함하지 않을 수도 있다. 적외선을 이용하지 않는 경우 적외선 발광부(410)를 포함하지 않을 수도 있다.
또한 한 실시예에 따르면, 전자 장치(101)에 공간적인 제약 등의 이유로 도 4c에서와 같이 적외선 카메라(420)와 전면 카메라(430)는 리시버(receiver)를 사이에 두고 일정 거리 떨어져서 배치될 수 있다. 또한 한 실시예에 따르면, 도 4d에 도시된 바와 같이 적외선 카메라(420)와 전면 카메라(430) 사이에 적외선 발광부(410)가 배치될 수도 있다.
이와 같이 피사체에 대한 생체 이미지를 수신할 수 있도록 적외선 발광부(410) 및 적외선 카메라(420) 중 적어도 하나를 전자 장치(101)의 본체부에 결합시킬 수 있는 구성이라면 그 배치 위치 등은 얼마든지 변형이나 변경이 가능할 것이다.
한편, 도 4a 내지 도 4d에서는 스마트폰 타입의 전자 장치(101)에서의 카메라 모듈의 배치 위치를 예시하고 있으나, 웨어러블 장치 타입의 외부 전자 장치(102)에서의 카메라 모듈의 배치 위치는 피사체 즉, 눈에 대한 이미지를 촬영할 수 있다면, 그 배치 위치 등은 얼마든지 변형이나 변경이 가능할 것이다.
도 5는 본 발명의 다양한 실시예에 따른 시계 타입의 신체 장착형 전자 장치를 나타내는 사시도이다.
도 5는 예컨대, 시계나 팔찌처럼 손목에 착용할 수 있는 신체 착용형 전자 장치(500)(예: 도 1의 제1 외부 전자 장치(102))를 예시하고 있다. 신체 착용형 전자 장치(500)는 본체부(510)와 스트랩부(520)를 포함할 수 있다.
본 발명의 다양한 실시예들은 이에 한정되지 않으며, 본 발명의 다양한 실시예들에 따른 전자 장치는 각종 통신 장치나 보조 의료 기기로 구현될 수 있다. 또한, 본 발명의 다양한 실시예들에 따른 전자 장치는 사용자의 신체에서 곡률이 존재하는 부위에 다양하게 적용 가능하다. 사용자의 신체에서 곡률이 존재하는 신체 부위의 일 예로, 손목, 팔목, 또는 발목 등이 있다. 또한, 본 발명의 다양한 실시예들에 따른 전자 장치는 착용부의 구성에 따라, 사용자 신체의 다양한 부위에 편리하게 착용가능하다.
이와 같이 본 발명의 다양한 실시예에 따른 신체 착용형 전자 장치(500)는 사용자의 손목에 착용되는 일반적인 아날로그 시계나 디지털 시계에서부터, 스마트 와치, 생체 정보 측정 장치 등과 같은 웨어러블(wearable) 전자 장치를 통칭할 수 있다. 신체 착용형 전자 장치(500)의 본체부(510)는 아날로그 시계나 디지털 시계의 시계 모듈이거나, 디스플레이 및 다양한 멀티 기능을 구비한 모듈일 수도 있으며, 생체 신호 감지를 위한 모듈을 포함할 수도 있다. 또한, 신체 착용형 전자 장치(500)에서 본체부(510)는 디스플레이(515)를 포함하며, 그 디스플레이(515)는 터치 패널이 통합되어 입력 장치로도 활용될 수 있다.
이러한 신체 착용형 전자 장치(500)에서 디스플레이(515)를 둘러싸는 베젤 위치에 적외선 발광부(IRED)(410), 적외선 카메라(420) 및 전면 카메라(430) 중 적어도 하나가 배치될 수 있다. 도 5에서는 본체부(510)의 전면 하단부(530)에 적외선 발광부(IRED)(410), 적외선 카메라(420) 및 전면 카메라(430)가 배치되는 경우를 예시하고 있으나, 상기 배치 위치는 이에 한정되지 않는다.
도 6은 본 발명의 다양한 실시예에 따른 신체 장착형 전자 장치를 이용한 홍채 인증 방법을 보여주는 예시도이다.
도 6을 참조하면, 사용자가 자신의 손목에 신체 장착형 전자 장치(500)를 착용한 상태에서 손을 들어 얼굴 가까이로 가져간 후 접촉하지 않은 상태에서 눈을 촬영하는 동작을 예시하고 있다. 또한, 신체 장착형 전자 장치(500)의 디스플레이(515)를 보면서 사용자가 손쉽게 눈을 촬영할 수 있도록 예컨대, 홍채 촬영 위치, 신체 장착형 전자 장치(500)와 사용자 눈 간의 거리 조절 등을 안내하기 위해 알림음, 안내 음성, 햅틱 효과 등을 출력할 수 있다. 또한, 본 발명의 다양한 실시예에 따라 신체 장착형 전자 장치(500)는 홍채 인증에 필요한 동공 크기를 가지는 이미지를 획득할 수 있도록 디스플레이(370)의 밝기를 조절하면서 상기 안내를 출력할 수 있다.
도 7은 본 발명의 다양한 실시예에 따른 홍채 이미지 촬영 위치의 조절을 위한 안내 화면을 예시하고 있다.
도 7을 참조하면, 한 실시예에 따르면, 전자 장치(101)는 홍채 인식을 위한 카메라를 이용하여 전자 장치(101)에서 발광된 적외선이 반사된 사용자의 홍채를 적어도 일부 포함하는 이미지를 획득할 수 있다. 또 다른 실시예에 따른 전자 장치(101)는 전면에 구비된 카메라를 이용하여 주변의 가시광선이 반사된 사용자의 홍채를 적어도 일부 포함하는 이미지를 획득할 수 있다. 또한, 전자 장치(101)는 상기 획득된 이미지를 표시할 수 있는 디스플레이(370)를 구비할 수 있으며, 상기 디스플레이(370)는 획득된 이미지들을 실시간으로 표시할 수 있다.
사용자는 상기 실시간으로 표시되는 프리뷰 영상을 이용하여 촬영 기준 위치에 사용자의 홍채가 위치할 수 있도록 가이드할 수 있다. 또한, 전자 장치(101)는 사용자의 홍채가 상기 촬영 기준 위치에 위치할 수 있도록 유도하는 가이드 내용을 디스플레이(370)에 표시할 수도 있다.
도 7에 도시된 바와 같이 촬영 부위가 기준 위치에 위치하지 않은 경우 초점이 흐린 홍채를 포함하는 얼굴 이미지가 표시될 수 있다. 또한 눈에 대한 촬영이 이루어져야 하므로, 촬영 위치의 조절을 위한 인디케이터(700) 또는 촬영 영역을 나타내는 가이드라인(710) 등의 형태로 가이드 내용이 디스플레이(370)에 표시될 수 있다. 도 7에서는 촬영 위치를 조절하도록 유도하는 정보가 방향성 인디케이터(700) 형태 또는 가이드라인(710) 형태로 표시된 경우를 예시하고 있으나, 눈이 위치해야 하는 위치를 안내하기 위해 안내 메시지, 십자 형태의 아이콘 등 다양한 형태로 유도 정보가 표시될 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 홍채 인증 모드를 설명하기 위한 도면이다.
도 8을 참조하면, 사용자의 눈(800)은 동공(810), 홍채(820) 및 공막(830)을 가지며, 적외선 발광부(410)는 사용자의 눈(800)에 적외선을 조사하고, 적외선 카메라(420)는 사용자의 눈(800)을 촬영하여 홍채 이미지를 출력할 수 있다.
상기와 같이 홍채 이미지를 출력하기 위한 홍채 인식 기술은 사람의 눈에서 중앙의 검은 동공과 공막(흰자위) 사이에 존재하는 도넛모양의 홍채 무늬 패턴을 이용하여 사용자를 인증하는 기술이다. 한 사람의 홍채는 266개의 측정 가능한 특징을 가지게 되고, 홍채가 서로 같을 확률은 약 1/1078로 현재까지 알려진 생체인증 기술 중에 가장 변별력 높다고 볼 수 있다. 또한 사람이 태어난 후 약 18개월에 걸쳐 모양이 생성되고, 눈썹과 눈꺼풀, 망막에 의해 보호되기 때문에 일생동안 그 모양이 쉽게 변하지 않는다는 면에서 지문이나 목소리, 안면, 서명 등의 다른 생체 특성보다 높은 일관성을 가지는 것으로 평가될 수 있다.
도 9a 및 도 9b는 본 발명의 다양한 실시예에 따라 적외선 발광 펄스와 이미지 센서 간의 동작 관계를 설명하기 위한 도면이다.
도 9a 및 도 9b에서는 본 발명의 다양한 실시예에 따라 적외선 발광 펄스의 타이밍에 대응하여 실제 적외선이 가장 밝게 터치는 위치는 나타내고 있다. 도 9a 및 도 9b를 참조하면, 전자 장치(101)에 포함된 적외선 발광부(IRED)(350)를 통해 특정 파장대의 적외선을 발광하고 이에 반사된 빛을 이미지 센서(340)에서 받아들일 수 있다. 이때, 적외선 발광부(350)를 통해 발광되는 특정 파장대의 적어도 일부를 포함하는 파장대를 가진 밴드패스 필터(Band Pass Filter)가 카메라에 포함될 수 있으며, 상기 밴드패스 필터의 일 예로는 적외선 필터(330)를 들 수 있다.
따라서 적외선 필터(330)를 통해 특정 파장대 즉, 적외선 영역의 광신호가 통과될 수 있으며, 이러한 광신호는 이미지 센서(340)에서 디지털 신호로 변환될 수 있다. 적외선 필터(330)는 상기 도 9b에 도시된 바와 같은 특정 주파수를 가지는 빛만 받아 통과시킬 수 있다. 예를 들면 적외선 발광부(350)가 850nm ± 50nm의 파장대를 가지고 발광을 하는 경우, 적외선 필터(330)는 적외선 발광부(350)의 중심 파장대를 포함하는 850nm ± 50nm의 파장대를 통과시킬 수 있는 필터를 사용하여 상기 적외선 발광부(350)가 발광한 파장대의 빛을 선택적으로 받아들일 수 있다. 이를 적용함으로써 주변의 다른 적외선 파장대의 빛으로 인한 오작동을 방지할 수도 있다.
도 10은 본 발명의 다양한 실시예에 따라 디스플레이 밝기에 따른 동공의 크기 변화를 나타내는 예시도이다.
도 10(a)는 전자 장치(101)의 디스플레이(1020)의 밝기가 어두우면서 주위 환경도 어두운 경우 사용자의 동공이 상대적으로 커지는 것을 예시하고 있다. 이와 같이 디스플레이(1020)의 밝기 및 주위 환경이 어두울 때 사용자의 동공(1010)은 빛을 많이 받아들이기 위하여 홍채(1000)가 수축되어 보통 밝기에서의 동공의 크기보다 상대적으로 큰 크기를 가질 수 있다. 이때, 디스플레이(1020)의 밝기가 어두울수록 홍채(1000)는 더 수축되고 동공(1010)은 커지게 되며, 과도하게 수축된 홍채(1000)로 인해 홍채 인식이 제대로 되지 않을 수 있다. 또한, 홍채 정보를 처음 등록시에는 많은 홍채 정보를 필요하게 되므로 주위가 어두운 경우 홍채 영역이 상대적으로 적기 때문에 충분한 홍채 정보를 얻지 못할 수 있다.
도 10(b)는 도 10(a)에 비해 디스플레이(1030)의 밝기를 밝게 조절했을 경우의 변화된 동공 크기를 예시하고 있다. 도 10(b)에 도시된 바와 같이 디스플레이(1030)의 밝기를 조절함으로써 홍채 영역(1000)의 크기를 조절할 수 있다. 즉, 디스플레이(1030)의 밝기가 밝아지면 동공(1010)의 크기는 홍채(1000)가 확장됨에 따라 상대적으로 작아지게 된다.
도 10(c)는 디스플레이(1040)의 밝기를 도 10(b)에 비해 밝게 조절하였을 경우의 변화된 동공 크기를 예시하고 있다. 도 10(c)에 도시된 바와 같이 디스플레이(1040)의 밝기가 밝아짐에 따라 홍채 영역(1000)이 커지면서 동공(1010)의 크기는 작아지게 된다.
상기 도 10(a) 내지 도 10(c)에 도시된 바와 같이, 전자 장치(101)의 디스플레이(1020, 1030, 1040)의 밝기 변화에 따라 동공의 크기가 변화하게 되어 홍채 영역의 크기도 달라지게 된다. 본 발명의 다양한 실시예에 따르면, 홍채 인증에 필요한 크기의 홍채 영역을 획득하기 위해 디스플레이의 밝기를 조절함으로써 홍채 영역을 크기를 조절할 수 있다. 이에 따라 전자 장치(101)는 인증을 위한 일정 크기로 조절된 홍채 영역을 가지는 홍채 이미지를 사용하여 인증을 수행하므로, 홍채 인식의 정확도를 향상시킬 수 있다.
도 11은 본 발명의 다양한 실시예에 따른 주변 조도에 따른 디스플레이 밝기 조절 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 전자 장치(101)는 1100동작에서 주변 조도를 확인 후 1105동작에서 상기 주변 조도를 기준 조도와 비교할 수 있다. 전자 장치(101)는 주변 조도를 측정하기 위해 주위의 빛을 받아들일 수 있는 센서부를 구비할 수 있다. 상기 센서부는 조도 센서, 이미지 센서 중 적어도 하나를 포함할 수 있다. 이에 따라 전자 장치(101)는 상기 센서부를 이용하여 주변 조도를 주변 조도를 측정할 수 있다. 예를 들어, 조도 센서는 주변의 빛을 받아들여 조도 지수를 산출할 수 있으며, 이미지 센서는 이미지를 획득하여 획득된 이미지로부터 주변 조도 값을 검출할 수 있다.
이어, 전자 장치(101)는 1110동작에서 상기 주변 조도가 기준 조도보다 낮은지를 판단할 수 있다. 즉, 상기 센서부를 이용하여 측정된 주변 조도를 기준 조도와 비교함으로써 현재 측정된 주변 조도가 어두운 상태의 조도에 해당하는지를 판단할 수 있다. 상기 기준 조도는 주변 평균 밝기, 미리 촬영한 주변 이미지들의 조도값, 동공의 크기 변화에 비례하는 조도값 등에 따라 정해질 수 있으며, 또는 제조사에 의해 지정된 디폴트 조도이거나 허가된 사용자에 의해 정해질 수 있다.
만일 상기 주변 조도가 기준 조도보다 낮을 경우 전자 장치(101)는 1115동작에서 기준 조도에 대응하도록 디스플레이 밝기를 증대시킬 수 있다. 즉, 주위가 어두운 환경일 경우 디스플레이의 밝기를 밝게 조절할 수 있다. 이때, 디스플레이의 밝기는 기준 조도에 대응하도록 조절될 수 있는데, 특히 미리 저장된 밝기 조절 알고리즘을 기반으로 밝기 변화량이 정해질 수 있다. 예를 들어, 동공과 홍채 영역의 상대적인 크기 비율에 대응하여 디스플레이의 밝기를 조절할 수 있는데, 이를 위해 평균 동공 크기비 및 상기 평균 동공 크기비에 대응하는 디스플레이의 밝기값에 대해 미리 저장된 데이터를 참조할 수 있다. 이에 따라 전자 장치(101)는 획득된 이미지를 분석함으로써 산출된 동공 크기비와 상기 저장된 평균 동공 크기비를 비교함으로써 디스플레이 밝기 조절량을 정할 수 있다.
한편, 전자 장치(101)는 상기 디스플레이의 밝기를 조절하기 위해 예컨대, LCD, LED 등의 디스플레이(370)에 들어가는 전류 자체를 조절해서 밝기를 조절할 수 있으나, 이외에도 화면에 표시되는 이미지의 밝기, 채도(chroma), 컨트라스트(contrast) 중 적어도 하나의 파라미터를 이용하여 밝기를 조절할 수도 있다. 한 실시예에 따르면, 주변 조도가 기준 조도보다 낮을 경우 즉, 주위가 어두울 경우 디스플레이 화면에 표시되는 이미지를 변경하여 표시할 수 있다. 한 실시예에 따르면, 디스플레이 화면에 표시되는 이미지가 컬러 이미지일 경우 밝기가 상대적으로 밝은 흑백 이미지로 변경하여 표시할 수 있다. 한 실시예에 따르면, 디스플레이 화면에 표시되는 이미지가 낮은 채도를 가지는 이미지일 경우 상대적으로 높은 채도를 가지는 이미지로 변경하여 표시할 수 있다.
한편, 주변 조도가 기준 조도보다 낮지 않은 경우에는 즉, 주위의 밝기가 평균 밝기보다 밝은 것이므로 동공의 크기가 상대적으로 작아 홍채 인식에 필요한 크기의 홍채 영역을 포함하는 이미지를 얻을 수 있다. 또한, 주변 조도가 기준 조도보다 낮아 디스플레이 밝기를 밝게 조절한 이후에는 상기 디스플레이 밝기에 따라 동공의 크기가 상대적으로 작아지기 때문에 홍채 인식에 필요한 크기의 홍채 영역을 포함하는 이미지를 얻을 수 있다. 따라서 1110동작에서 주변 조도가 기준 조도보다 낮지 않거나 1115동작에서 디스플레이 밝기를 조절한 이후에는 전자 장치(101)는 1120동작에서 홍채 인식을 수행할 수 있다. 여기서, 홍채 인식은 사용자 눈을 촬영한 이미지에서 홍채 영역을 검출 후 특징 패턴 데이터를 생성하여, 등록된 홍채 패턴과 비교하는 매칭 등의 일련의 과정을 의미할 수 있다. 이러한 홍채 인식을 수행함으로써 사용자의 인증 여부를 결정할 수 있다.
상기한 바와 같이 조도값이 낮은 환경에서 디스플레이 밝기를 이용하여 사용자의 동공 크기를 조절함으로써 홍채 인식에 필요한 크기의 홍채 영역을 포함하는 이미지를 얻을 수 있으며, 이러한 이미지를 이용하여 홍채 인식을 수행함으로써 홍채 인식율을 향상시킬 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 동공 크기 조절을 위한 디스플레이 밝기 조절 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 사용자가 전자 장치(101)의 화면을 향해 바라보는 상태에서 전자 장치(101)는 1200동작에서 프레임 단위로 상기 사용자의 눈을 촬영한 이미지를 획득하면 상기 획득한 이미지를 분석할 수 있으며, 1205동작에서 동공의 크기가 기준 크기보다 큰 지를 판단할 수 있다. 이때, 동공의 크기가 기준 크기보다 크다는 것은 주변이 평상 시 평균 밝기보다 어두운 상태여서 홍채가 수축되어 동공이 커지게 된 것이므로, 홍채 인증에 필요한 량의 홍채 데이터를 획득하기 위해서는 홍채를 이완시켜 동공이 작아지게 할 필요가 있다.
따라서 1205동작에서 만일 동공의 크기가 기준 크기보다 큰 경우, 전자 장치(101)는 1210동작에서 디스플레이 밝기를 증대시킬 수 있다. 이와 같이 디스플레이 밝기를 증대시킨 후 전자 장치(101)는 1200동작으로 되돌아가 다시 다음 이미지를 획득할 수 있다. 즉, 디스플레이 밝기를 증대시킨 후에는 전자 장치(101)는 그 전자 장치(101)를 바라보는 사용자의 홍채는 이완되고 동공이 작아진 이미지를 획득할 수 있다.
반면, 동공의 크기가 기준 크기보다 크지 않으면 1215동작에서 홍채 인식에 필요한 크기의 홍채 영역을 포함하는 이미지에 해당하므로, 획득된 이미지에 대한 분석을 수행하여 홍채 인식을 수행할 수 있다. 즉, 눈 이미지로부터 동공 및 홍채 영역을 추출하고 동공 및 홍채 영역 추출 정보를 근거로 해서 홍채 인식에 사용될 특징 데이터를 추출하여 인식을 수행할 수 있다. 이와 같이 디스플레이 밝기를 증대시킴으로써 사용자의 동공 크기를 축소시킬 수 있어, 홍채 인식률을 향상시킬 수 있다.
도 13은 본 발명의 다양한 실시예에 따른 라이브니스 체크를 위한 디스플레이 밝기 조절 과정을 설명하기 위한 도면이다. 도 13에서는 촬영된 얼굴 이미지가 인위적으로 조작된 이미지인지 여부를 결정하기 위해 라이브니스 체크를 수행하는 동작을 예시하고 있다. 여기서, 라이브니스(livelenss)는 생명이 없는 객체(예컨대, 위조에 사용된 이미지 또는 이와 유사한 것)와 살아있는 사람 사이의 구별을 나타내기 위해 사용될 수 있다.
도 13을 참조하면, 전자 장치(101)는 1300동작에서 프레임 단위로 이미지를 획득하면서 1305동작에서 디스플레이 밝기를 변경하여 출력할 수 있다. 이어, 1310동작에서 획득된 이미지를 기반으로 동공의 크기가 변경되는지를 판단할 수 있다. 살아있는 사람의 경우 디스플레이 밝기 변화에 대응하여 홍채가 이완되거나 수축되므로 동공의 크기가 변하게 되지만, 생명이 없는 객체의 경우에는 동공 크기 변화가 없을 것이다. 따라서 본 발명의 다양한 실시예에 따른 전자 장치(101)는 1310동작에서 디스플레이 밝기 변화에 대응하여 동공의 크기가 변경되는 경우 실제 살아있는 사람의 이미지라고 판단할 수 있어, 1315동작에서 홍채 인식을 수행할 수 있다. 반면, 디스플레이 밝기 변화에 대응하여 동공의 크기가 변경되지 않는 경우 전자 장치(101)는 1320동작에서 홍채 인식을 실패 처리할 수 있으며, 이러한 실패 결과를 화면 또는 스피커를 통해 사용자에게 알려줄 수 있다. 이에 따라 등록된 사용자가 아닌 경우에는 예컨대, 홍채 인증이 실패한 사용자의 경우에는 전자 장치(101)에 대한 사용이 제한될 수 있다.
도 14는 본 발명의 다양한 실시예에 따른 디스플레이 화면 상의 객체를 이용한 인증 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 사용자가 디스플레이(370) 화면의 아이템(1400)을 응시하는 경우에 전자 장치(101)의 디스플레이(370)를 둘러싸는 베젤 위치에 적외선 발광부(IRED)(410), 적외선 카메라(iris camera)(420) 및 전면 카메라(430) 중 적어도 하나를 포함하는 카메라 모듈이 배치될 수 있다. 전자 장치(101)에 구비된 적외선 발광부(410)는 사용자 얼굴의 눈에 적외선을 조사하고, 적외선 카메라(420)는 눈을 촬영하여 홍채에 대한 이미지를 출력할 수 있다.
전자 장치(101)는 적외선 카메라(420)로부터 입력된 이미지에서 전자 장치(101)에 등록된 사용자인지 여부를 인증할 수 있다. 이를 위해 전자 장치(101)는 입력된 이미지를 기반으로 홍채 인식을 수행할 수 있다. 이때, 본 발명의 다양한 실시예에 따르면 디스플레이(370) 화면에 표시되는 적어도 하나의 색상 또는 적어도 하나의 아이템(1400)이 배치되는 이미지를 이용하여 홍채 인증을 수행할 수 있다. 전자 장치(101)는 아이템 또는 색상 정보와 사용자의 홍채 정보를 함께 저장한 후 홍채 인증 시 활용할 수 있다.
도 15a 내지 도 15c는 본 발명의 다양한 실시예에 따른 객체를 포함하는 디스플레이 화면에 따른 홍채 이미지 변화를 설명하기 위한 도면이다.
도 15a를 참조하면, 사용자가 특정 색상을 가지는 이미지가 표시되는 화면(1500)을 바라보는 상태에서는 사용자의 동공에는 상기 특정 색상을 가지는 이미지(1510)가 반사될 수 있다. 따라서 본 발명의 다양한 실시예에 따르면, 전자 장치(101)는 획득된 눈 이미지로부터 홍채 정보를 등록하는 경우에 상기 특정 색상을 가지는 이미지(150)와 함께 홍채 정보를 등록할 수 있다. 이러한 경우 사용자는 홍채 인증 시에 상기 특정 색상을 가지는 이미지가 화면에 표시되도록 한 후에 촬영을 시작할 수 있다. 따라서 사용자가 상기 특정 색상을 가지는 이미지가 화면에 표시되도록 하지 않은 채 홍채 인증을 시도하는 경우에는 의도되지 않은 홍채 인증 시도라고 간주하여 홍채 인증을 실패 처리할 수 있다.
도 15b에서는 객체(1530)가 포함된 이미지가 표시되는 화면(1520)의 경우에는 사용자의 동공에는 객체(1540)가 포함된 이미지가 반사될 수 있다. 여기서, 객체(또는 아이템)는 디스플레이(370)에 표시되거나, 표시될 수 있는 것으로서 도형, 모양 등의 형태로 표시될 수 있으며, 어플리케이션을 실행하기 위한 단축 아이콘들, 위젯들, 특정 파일 형식의 문서들을 나타내는 아이콘들 중 적어도 하나를 포함할 수 있다.
도 15c에서는 특정 색상을 가지는 이미지가 표시되는 화면(1500)을 바라보는 사용자가 안경(1560)을 착용한 상태라면 동공(1570)이 아닌 안경(1560)에 상기 특정 색상을 가지는 이미지가 반사되어 표시될 수 있다. 이러한 경우 획득한 눈 이미지로부터 홍채 정보와 함께 상기 특정 색상을 가지는 이미지를 함께 등록해 놓을 수 있으며, 안경에 상기 이미지가 반사되어 상기 이미지가 검출되는 위치 차이가 나는 부분이 있을 수 있으므로 보정 처리 후에 홍채 인식 등에 사용할 수 있다.
도 16은 본 발명의 다양한 실시예에 따른 홍채 등록 모드를 설명하기 위한 도면이다.
도 16을 참조하면, 전자 장치(101)는 1600동작에서 홍채 등록 모드로 진입하면 1605동작에서 예컨대, 도 15a 내지 도 15c에서와 같은 디스플레이 화면을 출력할 수 있다. 이어, 전자 장치(101)는 1610동작에서 상기 디스플레이 화면에 표시되는 색상 또는 객체가 반사된 눈 이미지를 획득하여 1615동작에서 획득된 이미지로부터 홍채 정보 및 객체 정보를 추출할 수 있다. 1620동작에서 전자 장치(101)는 추출된 홍채 정보 및 객체 정보를 메모리(380)에 저장할 수 있다. 이때, 사용자는 상기 객체 정보에 대해 임의의 어플리케이션을 맵핑시켜 저장할 수 있다.
도 17은 본 발명의 다양한 실시예에 따른 홍채 인증 모드를 설명하기 위한 도면이다.
도 17을 참조하면, 전자 장치(101)는 1700동작에서 홍채 인증 모드로 진입 시 홍채 인증을 위한 화면을 출력할 수 있다. 예를 들어, 도 15a 내지 도 15c에 도시된 바와 같이 홍채 인증 화면을 출력하는 상태에서 전자 장치(101)는 1705동작에서 사용자의 눈 부위를 촬영한 이미지를 획득할 수 있다. 전자 장치(101)는 상기 획득한 이미지를 분석하여 1710동작에서 홍채 정보 및 객체 정보를 추출할 수 있다. 이어, 1715동작에서 등록된 홍채 정보 및 객체 정보와 일치하는지를 판단할 수 있다. 만일 등록된 홍채 정보 및 객체 정보와 일치할 경우 1720동작에서 인증 성공 처리할 수 있다. 이에 따라 전자 장치(101)는 홍채 인증이 성공적이면 잠금 해제, 어플리케이션 실행, 데이터 전송 등의 기능이 수행되며, 상기 디스플레이(370)는 상기 기능 수행에 따른 화면을 표시할 수 있다. 하지만, 등록된 홍채 정보 및 객체 정보와 일치하지 않는 경우 1725동작에서 인증 실패 처리할 수 있으며, 이에 따라 전자 장치(101)에 대한 사용을 제한할 수 있다.
도 18은 본 발명의 다양한 실시예에 따른 홍채 인증 수행 후 객체 실행 과정을 설명하기 위한 도면이다.
도 18을 참조하면, 전자 장치(101)는 1800동작에서 홍채 인증 모드로 진입 시 홍채 인증을 위한 화면을 출력할 수 있다. 1805동작에서 전자 장치(101)는 홍채 인증을 위한 화면 상에 복수의 어플리케이션에 대응하는 객체들을 표시할 수 있다. 이때, 사용자가 객체에 연계된 어플리케이션을 식별할 수 있도록 상기 객체는 그 어플리케이션과 관련된 형태를 가질 수 있다.
예를 들어, 홍채 인증 화면에 나타내는 객체는 임의의 실행 가능한 어플리케이션을 나타낼 수 있다. 예를 들어, SNS 어플리케이션, 전화 어플리케이션, 메시지 어플리케이션, 스케줄 관리 어플리케이션, 문서 작성 어플리케이션, 뮤직 어플리케이션, 인터넷 어플리케이션, 지도 어플리케이션, 카메라 어플리케이션, 이메일 어플리케이션, 사진 어플리케이션, 이미지 편집 어플리케이션, 검색 어플리케이션, 파일 탐색 어플리케이션, 비디오 어플리케이션, 게임 어플리케이션 등일 수 있다. 이러한 홍채 인증 화면 상에 배치되는 객체의 종류는 사용자의 설정에 따라 변경될 수 있다.
이어, 1810동작에서 어느 하나의 객체가 선택되는지를 판단할 수 있다. 만일 어느 하나의 객체가 선택되면, 1815동작에서 선택된 객체가 표시되는 디스플레이 화면을 출력하는 상태에서 1820동작에서 사용자 눈 부위를 촬영한 이미지를 획득할 수 있다. 이어, 1825동작에서 획득된 이미지로부터 홍채 정보 및 객체 정보를 추출할 수 있으며, 1830동작에서 등록된 홍채 정보 및 객체 정보와 일치하는지를 판단할 수 있다. 즉, 등록된 홍채 정보 및 객체 정보와 매칭되는지를 판단할 수 있다.
만일 등록된 홍채 정보 및 객체 정보와 일치할 경우 1835동작에서 인증 성공 후 상기 객체에 연계된 어플리케이션을 실행할 수 있다. 반면, 등록된 홍채 정보 및 객체 정보와 일치하지 않는 경우 1840동작에서 인증 실패 처리할 수 있으며, 이에 따라 전자 장치(101)에 대한 사용을 제한할 수 있다.
도 19에서는 본 발명의 다양한 실시예에 따른 객체가 표시되는 디스플레이 화면에서의 인증 수행 후 객체 실행 화면을 예시하고 있다.
도 19에 도시된 바와 같은 모양의 객체가 표시되는 홍채 인증을 위한 화면(1900)이 표시되는 상태에서는 사용자의 동공(1910)에는 동일한 모양의 객체가 반사될 수 있다. 이에 대응하여 전자 장치(101)에서 상기 동일한 모양의 객체가 포함된 홍채 이미지를 획득하게 되면, 상기 홍채 이미지를 기반으로 한 인증이 성공적일 경우 상기 객체에 연계된 어플리케이션 예컨대, 카메라를 실행한 화면(1920)을 예시하고 있다.
구체적으로, 사용자가 디스플레이(370)에 제1기능을 수행할 수 있도록 제1모양이 표시되도록 한 상태에서 홍채 등록을 수행한 경우, 홍채 인증이 성공적일 경우 상기 제1모양에 대응하는 제1기능이 수행될 수 있다. 또한 사용자가 디스플레이(370)에 제2기능을 수행할 수 있도록 제2모양이 표시되도록 한 상태에서 홍채 등록을 수행한 경우, 홍채 인증이 성공적일 경우 상기 제2모양에 대응하는 제2기능이 수행될 수 있다.
상기한 바와 같이 사용자는 복수의 객체 각각에 대해 실행하고자 하는 어플리케이션을 맵핑시켜 저장해놓을 수 있으며, 홍채 등록 시 상기 객체와 사용자의 홍채 정보를 함께 저장해놓을 수 있다. 또한 도 19에서는 홍채 인증 화면 상에 표시되는 객체를 사용자가 직접 선택하는 경우를 예로 들어 설명하였으나, 홍채 인증 화면 상에 표시되는 객체의 변경은 제조사 또는 허가된 사용자에 의해 이루어질 수 있다. 이와 같이 본 발명의 다양한 실시예에 따르면, 전자 장치(101)에 대한 제3자에 의한 도용을 방지하여 보안을 유지할 수 있으면서도 사용자가 원하는 기능으로 바로 진입할 수 있어 사용자가 사용하기에 편리한 사용자 인터페이스를 제공하는 효과를 가진다.
도 20은 본 발명의 다양한 실시 예에 따른 전자 장치의 블록도(2000)이다.
상기 전자 장치(2001)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 상기 전자 장치(2001)는 하나 이상의 어플리케이션 프로세서(AP: application processor)(2010), 통신 모듈(2020), SIM(subscriber identification module) 카드(2024), 메모리(2030), 센서 모듈(2040), 입력 장치(2050), 디스플레이(2060), 인터페이스(2070), 오디오 모듈(2080), 카메라 모듈(2091), 전력관리 모듈(2095), 배터리(2096), 인디케이터(2097) 및 모터(2098)를 포함할 수 있다.
상기 AP(2010)는, 예를 들면, 운영체제 또는 응용 프로그램을 구동하여 상기 AP(2010)에 연결된 다수의 하드웨어 또는 소프트웨어 구성 요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(2010)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 상기 AP(2010)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 상기 AP(2010)는 도 20에 도시된 구성 요소들 중 적어도 일부(예: 셀룰러 모듈(2021))를 포함할 수도 있다. 상기 AP(2010)는 다른 구성 요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
상기 통신 모듈(2020)은, 도 1의 상기 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 상기 통신 모듈(2020)은, 예를 들면, 셀룰러 모듈(2021), WIFI 모듈(2023), BT 모듈(2025), GPS 모듈(2027), NFC 모듈(2028) 및 RF(radio frequency) 모듈(2029)을 포함할 수 있다.
상기 셀룰러 모듈(2021)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(2021)은 가입자 식별 모듈(예: SIM 카드(2024))을 이용하여 통신 네트워크 내에서 전자 장치(2001)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(2021)은 상기 AP(2010)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 상기 셀룰러 모듈(2021)은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
상기 WIFI 모듈(2023), 상기 BT 모듈(2025), 상기 GPS 모듈(2027) 또는 상기 NFC 모듈(2028) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(2021), WIFI 모듈(2023), BT 모듈(2025), GPS 모듈(2027) 또는 NFC 모듈(2028) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
상기 RF 모듈(2029)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. 상기 RF 모듈(2029)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier) 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(2021), WIFI 모듈(2023), BT 모듈(2025), GPS 모듈(2027) 또는 NFC 모듈(2028) 중 적어도 하나는 별개의 RF 모듈(2029)을 통하여 RF 신호를 송수신할 수 있다.
상기 SIM 카드(2024)는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(2030)(예: 메모리(2030))는, 예를 들면, 내장 메모리(2032) 또는 외장 메모리(2034)를 포함할 수 있다. 상기 내장 메모리(2032)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM) 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브 또는 솔리드 스테이트 드라이브(solid state drive (SSD)) 중 적어도 하나를 포함할 수 있다.
상기 외장 메모리(2034)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 메모리 스틱 (memory stick) 등을 더 포함할 수 있다. 상기 외장 메모리(2034)는 다양한 인터페이스를 통하여 상기 전자 장치(2001)과 기능적으로 및/또는 물리적으로 연결될 수 있다.
상기 센서 모듈(2040)은, 예를 들면, 물리량을 계측하거나 전자 장치(2001)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈(2040)은, 예를 들면, 제스처 센서(2040A), 자이로 센서(2040B), 기압 센서(2040C), 마그네틱 센서(2040D), 가속도 센서(2040E), 그립 센서(2040F), 근접 센서(2040G), color 센서(2040H)(예: RGB(red, green, blue) 센서), 생체 센서(2040I), 온/습도 센서(2040J), 조도 센서(2040K) 또는 UV(ultra violet) 센서(2040M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(2040)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 상기 센서 모듈(2040)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(2001)는 AP(2010)의 일부로서 또는 별도로, 센서 모듈(2040)을 제어하도록 구성된 프로세서를 더 포함하여, 상기 AP(2010)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(2040)을 제어할 수 있다.
상기 입력 장치(2050)는, 예를 들면, 터치 패널(touch panel)(2052), (디지털) 펜 센서(pen sensor)(2054), 키(key)(2056) 또는 초음파(ultrasonic) 입력 장치(2058)를 포함할 수 있다. 상기 터치 패널(2052)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한 상기 터치 패널(2052)은 제어 회로를 더 포함할 수도 있다. 상기 터치 패널(2052)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(2054)는, 예를 들면, 터치 패널(2052)의 일부이거나, 별도의 인식용 시트(sheet)를 포함할 수 있다. 상기 키(2056)는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파 입력 장치(2058)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(2001)에서 마이크(예: 마이크(2088))로 음파를 감지하여 데이터를 확인할 수 있다.
상기 디스플레이(2060)(예: 디스플레이(2060))는 패널(2062), 홀로그램 장치(2064) 또는 프로젝터(2066)를 포함할 수 있다. 상기 패널(2062)은, 도 1의 디스플레이(2060)과 동일 또는 유사한 구성을 포함할 수 있다. 상기 패널(2062)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널(2062)은 상기 터치 패널(2052)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치(2064)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(2066)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치(2001)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 상기 디스플레이(2060)는 상기 패널(2062), 상기 홀로그램 장치(2064) 또는 프로젝터(2066)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스(2070)는, 예를 들면, HDMI(high-definition multimedia interface)(2072), USB(universal serial bus)(2074), 광 인터페이스(optical interface)(2076) 또는 D-sub(D-subminiature)(2078)를 포함할 수 있다. 상기 인터페이스(2070)는, 예를 들면, 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(2070)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈(2080)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(2080)의 적어도 일부 구성 요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(150)에 포함될 수 있다. 상기 오디오 모듈(2080)은, 예를 들면, 스피커(2082), 리시버(2084), 이어폰(2086) 또는 마이크(2088) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈(2091)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor) 또는 플래시(flash)(예: LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈(2095)은, 예를 들면, 상기 전자 장치(2001)의 전력을 관리할 수 있다. 한 실시예에 따르면, 상기 전력 관리 모듈(2095)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. 상기 PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등을 더 포함할 수 있다. 상기 배터리 게이지는, 예를 들면, 상기 배터리(2096)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(2096)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터(2097)는 상기 전자 장치(2001) 혹은 그 일부(예: AP(2010))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(2098)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동 (vibration) 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 상기 전자 장치(2001)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어 플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
상기 전자 장치(2001)의 전술한 구성 요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치(2001)의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(2001)는 전술한 구성 요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성 요소가 생략되거나 또는 추가적인 다른 구성 요소를 더 포함할 수 있다. 또한 다양한 실시예에 따른 전자 장치(2001)의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명의 다양한 실시예에서 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 전자 장치 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 전자 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 전자 장치의 디스플레이를 이용하여 홍채 인증을 수행하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 전자 장치의 디스플레이를 이용하여 홍채 인증을 수행하는 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 전자 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 전자 장치의 요청 또는 자동으로 해당 프로그램을 상기 전자 장치로 전송하는 제어부를 포함할 수 있다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

Claims (18)

  1. 홍채 인증을 수행하는 전자 장치에 있어서,
    눈 부위를 촬영한 이미지를 출력하는 이미지 센서와,
    홍채 인증 화면을 표시하는 디스플레이와,
    상기 촬영된 눈 부위 이미지로부터 적어도 일부분의 영역을 검출하여, 상기 검출된 영역의 크기를 상기 홍채 인증을 위해 필요한 영역의 크기와 비교한 결과를 기반으로 상기 디스플레이의 출력 특성을 조절하여 홍채 인증을 수행하는 제어부를 포함하는 전자 장치.
  2. 제1항에 있어서, 상기 디스플레이의 출력 특성은,
    상기 디스플레이의 밝기를 포함하는, 전자 장치.
  3. 제1항에 있어서, 상기 제어부는,
    상기 디스플레이에 표시되는 이미지의 밝기, 채도, 컨트라스트 중 적어도 하나를 변경함으로써 상기 디스플레이의 출력 특성을 조절하는, 전자 장치.
  4. 제1항에 있어서, 상기 적어도 일부분의 영역은,
    상기 눈 부위 이미지의 동공 및 홍채 영역을 포함하는, 전자 장치.
  5. 제4항에 있어서, 상기 제어부는,
    상기 동공 영역의 크기가 상기 홍채 인증을 위해 필요한 영역의 크기보다 클 경우 상기 디스플레이의 밝기를 증대시키는, 전자 장치.
  6. 제5항에 있어서, 상기 제어부는,
    상기 동공 영역의 크기가 상기 홍채 인증을 위해 필요한 영역의 크기보다 클 경우 상기 동공 영역과 상기 홍채 영역 간의 크기비에 대응하여 상기 디스플레이의 밝기를 증대시키는, 전자 장치.
  7. 제1항에 있어서, 상기 제어부는,
    상기 디스플레이의 출력 특성을 조절하여 상기 촬영된 눈 부위 이미지의 동공 크기 변화가 있는지를 판단하여, 상기 동공 크기 변화가 없는 경우 인증 실패 처리하는, 전자 장치.
  8. 제1항에 있어서,
    사용자의 홍채 등록 시에 화면에 표시되는 객체 정보를 상기 사용자의 홍채 정보와 함께 저장하며, 상기 객체에 대해 실행하고자 하는 어플리케이션을 맵핑시켜 저장하는 메모리를 더 포함하는, 전자 장치.
  9. 제8항에 있어서, 상기 제어부는,
    상기 촬영된 눈 부위 이미지로부터 홍채 정보 및 객체 정보를 추출한 후, 상기 홍채 정보 및 객체 정보가 등록된 홍채 정보 및 객체 정보에 매칭되면, 상기 객체 정보에 대응하는 어플리케이션을 실행하는, 전자 장치.
  10. 제1항에 있어서, 상기 제어부는,
    주변 조도를 측정하는 센서부를 이용하여 상기 주변 조도가 임계 조도보다 낮은지를 판단하여, 상기 임계 조도보다 낮은 경우 상기 디스플레이의 출력 특성을 조절하는, 전자 장치.
  11. 전자 장치에서 홍채 인증을 수행하는 방법에 있어서,
    홍채 인증 화면을 표시하는 동작과,
    사용자의 눈 부위를 촬영하는 동작과,
    상기 촬영된 눈 부위 이미지로부터 적어도 일부분의 영역을 검출하는 동작과,
    상기 검출된 영역의 크기를 상기 홍채 인증을 위해 필요한 영역의 크기와 비교한 결과를 기반으로 상기 디스플레이의 출력 특성을 조절하여 홍채 인증을 수행하는 동작을 포함하는, 전자 장치에서 홍채 인증을 수행하는 방법.
  12. 제11항에 있어서, 상기 디스플레이의 출력 특성은,
    상기 디스플레이의 밝기를 포함하는, 전자 장치에서 홍채 인증을 수행하는 방법.
  13. 제11항에 있어서, 상기 디스플레이의 출력 특성은,
    상기 디스플레이에 표시되는 이미지의 밝기, 채도, 컨트라스트 중 적어도 하나를 변경함으로써 조절되는, 전자 장치에서 홍채 인증을 수행하는 방법.
  14. 제11항에 있어서, 상기 적어도 일부분의 영역은,
    상기 눈 부위 이미지의 동공 및 홍채 영역을 포함하는, 전자 장치에서 홍채 인증을 수행하는 방법.
  15. 제11항에 있어서, 상기 디스플레이의 출력 특성을 조절하여 홍채 인증을 수행하는 동작은,
    상기 동공 영역의 크기가 상기 홍채 인증을 위해 필요한 영역의 크기보다 클 경우 상기 디스플레이의 밝기를 증대시키는 동작을 포함하는, 전자 장치에서 홍채 인증을 수행하는 방법.
  16. 제11항에 있어서, 상기 디스플레이의 출력 특성을 조절하여 상기 촬영된 눈 부위 이미지의 동공 크기 변화가 있는지를 판단하는 동작과,
    상기 동공 크기 변화가 없는 경우 인증 실패 처리하는 동작을 더 포함하는, 전자 장치에서 홍채 인증을 수행하는 방법.
  17. 제11항에 있어서,
    상기 촬영된 눈 부위 이미지로부터 홍채 정보 및 객체 정보를 추출하는 동작과,
    상기 홍채 정보 및 객체 정보가 등록된 홍채 정보 및 객체 정보에 매칭되는지를 판단하는 동작과,
    상기 홍채 정보 및 객체 정보가 등록된 홍채 정보 및 객체 정보에 매칭되면, 상기 객체 정보에 대응하는 어플리케이션을 실행하는 동작을 더 포함하는, 전자 장치에서 홍채 인증을 수행하는 방법.
  18. 제11항에 있어서,
    주변 조도가 임계 조도보다 낮은지를 판단하는 동작과,
    상기 주변 조도가 상기 임계 조도보다 낮은 경우 상기 디스플레이의 출력 특성을 조절하는 동작을 더 포함하는 전자 장치에서 홍채 인증을 수행하는 방법.
PCT/KR2015/002203 2015-01-23 2015-03-06 디스플레이 정보를 이용한 홍채 인증 방법 및 장치 WO2016117755A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580078187.XA CN107408168B (zh) 2015-01-23 2015-03-06 使用显示信息的虹膜认证方法和装置
EP15879010.5A EP3249567B1 (en) 2015-01-23 2015-03-06 Iris authentication method and device using display information
US15/545,066 US10372894B2 (en) 2015-01-23 2015-03-06 Iris authentication method and device using display information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150011373A KR102277212B1 (ko) 2015-01-23 2015-01-23 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
KR10-2015-0011373 2015-01-23

Publications (1)

Publication Number Publication Date
WO2016117755A1 true WO2016117755A1 (ko) 2016-07-28

Family

ID=56417273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002203 WO2016117755A1 (ko) 2015-01-23 2015-03-06 디스플레이 정보를 이용한 홍채 인증 방법 및 장치

Country Status (5)

Country Link
US (1) US10372894B2 (ko)
EP (1) EP3249567B1 (ko)
KR (1) KR102277212B1 (ko)
CN (1) CN107408168B (ko)
WO (1) WO2016117755A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384456A (zh) * 2016-08-25 2017-02-08 广州御银自动柜员机科技有限公司 一种基于虹膜识别的vtm机
CN106445124A (zh) * 2016-09-09 2017-02-22 京东方科技集团股份有限公司 显示设备、显示设备的画面参数调节方法及其装置
CN107451542A (zh) * 2017-07-14 2017-12-08 广东欧珀移动通信有限公司 虹膜识别模组排列结构及移动终端
CN107483811A (zh) * 2017-07-28 2017-12-15 广东欧珀移动通信有限公司 成像方法和电子装置
CN107566746A (zh) * 2017-09-12 2018-01-09 广东小天才科技有限公司 一种拍照方法及用户终端
US20180165437A1 (en) * 2016-12-13 2018-06-14 Lg Electronics Inc. Mobile terminal and method for controlling the same
EP3428781A1 (en) * 2017-07-14 2019-01-16 Guangdong OPPO Mobile Telecommunications Corp., Ltd. Iris-based living-body detection method, mobile terminal and storage medium
EP3584740A4 (en) * 2017-04-21 2020-03-18 Shenzhen Goodix Technology Co., Ltd. BIOLOGICAL CHARACTERISTIC DATA DETECTION METHOD, BIOLOGICAL CHARACTERISTIC RECOGNITION APPARATUS AND ELECTRONIC TERMINAL
CN111344703A (zh) * 2017-11-24 2020-06-26 三星电子株式会社 基于虹膜识别的用户认证设备和方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483450B1 (en) * 2012-08-10 2013-07-09 EyeVerify LLC Quality metrics for biometric authentication
US20170132466A1 (en) 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US10515284B2 (en) 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
WO2018000184A1 (en) * 2016-06-28 2018-01-04 Intel Corporation Iris or other body part identification on a computing device
KR102483642B1 (ko) * 2016-08-23 2023-01-02 삼성전자주식회사 라이브니스 검사 방법 및 장치
US10984235B2 (en) 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US10614332B2 (en) * 2016-12-16 2020-04-07 Qualcomm Incorportaed Light source modulation for iris size adjustment
KR101880418B1 (ko) * 2017-04-04 2018-07-23 천홍구 홍채 인증 방법 및 장치
CN108734063A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种虹膜识别的方法和装置
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
KR102118190B1 (ko) * 2017-06-25 2020-06-02 이상훈 홍채의 입체 동적특성을 이용한 홍채 인식 처리 방법
CN107480589B (zh) * 2017-07-07 2020-08-04 Oppo广东移动通信有限公司 红外光源组件及电子装置
CN107330415A (zh) * 2017-07-10 2017-11-07 广东欧珀移动通信有限公司 电子装置
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN108491768A (zh) * 2018-03-06 2018-09-04 西安电子科技大学 角膜反射人脸认证抗欺诈攻击方法、人脸特征认证系统
US11281754B2 (en) 2018-12-21 2022-03-22 Verizon Patent And Licensing Inc. Biometric based self-sovereign information management
US11196740B2 (en) 2018-12-21 2021-12-07 Verizon Patent And Licensing Inc. Method and system for secure information validation
US11514177B2 (en) 2018-12-21 2022-11-29 Verizon Patent And Licensing Inc. Method and system for self-sovereign information management
US11062006B2 (en) 2018-12-21 2021-07-13 Verizon Media Inc. Biometric based self-sovereign information management
US11288386B2 (en) 2018-12-21 2022-03-29 Verizon Patent And Licensing Inc. Method and system for self-sovereign information management
US11182608B2 (en) 2018-12-21 2021-11-23 Verizon Patent And Licensing Inc. Biometric based self-sovereign information management
US11288387B2 (en) 2018-12-21 2022-03-29 Verizon Patent And Licensing Inc. Method and system for self-sovereign information management
US10860874B2 (en) * 2018-12-21 2020-12-08 Oath Inc. Biometric based self-sovereign information management
KR102647637B1 (ko) * 2019-01-08 2024-03-15 삼성전자주식회사 사용자 인증을 위한 방법 및 그 전자 장치
EP3930301A4 (en) 2019-02-18 2022-04-20 NEC Corporation IMAGE PROCESSING APPARATUS, METHOD, SYSTEM AND COMPUTER READABLE MEDIA
JP2021175149A (ja) * 2020-04-30 2021-11-01 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム
CN112765618B (zh) * 2020-12-23 2023-04-07 金卡智能集团股份有限公司 一种电子燃气表的控制方法
US20220345604A1 (en) * 2021-04-27 2022-10-27 Apple Inc. Camera integration for portable electronic devices
US11791049B2 (en) * 2021-11-03 2023-10-17 A Little Cold Gel, Llc Methods and systems for detecting intravascular device failure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924886A (zh) * 2005-08-31 2007-03-07 上海乐金广电电子有限公司 利用可见光的虹膜识别系统及识别方法
US7744216B1 (en) * 2006-01-06 2010-06-29 Lockheed Martin Corporation Display system intensity adjustment based on pupil dilation
WO2011090225A1 (ko) * 2010-01-22 2011-07-28 아이리텍 잉크 홍채크기가 다른 다수의 홍채이미지를 이용한 홍채인식장치 및 방법
WO2012177542A1 (en) * 2011-06-18 2012-12-27 Identix Incorporated Systems and methods for detecting a specular reflection pattern for biometric analysis
KR20140133762A (ko) * 2013-05-24 2014-11-20 박대진 스마트폰의 근거리 홍채 촬영용 카메라를 이용한 홍채 인식 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155035B2 (en) * 2002-02-05 2006-12-26 Matsushita Electric Industrial Co., Ltd. Personal authentication method, personal authentication apparatus and image capturing device
KR100590659B1 (ko) 2004-11-23 2006-06-19 주식회사 팬택 동공 크기를 감지하여 밝기 조절이 가능한 디스플레이장치 및 이를 구비한 이동통신 단말기
US20130212655A1 (en) * 2006-10-02 2013-08-15 Hector T. Hoyos Efficient prevention fraud
US8439265B2 (en) * 2009-06-16 2013-05-14 Intel Corporation Camera applications in a handheld device
US10706132B2 (en) * 2013-03-22 2020-07-07 Nok Nok Labs, Inc. System and method for adaptive user authentication
JP6417676B2 (ja) * 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
CN104182275A (zh) * 2014-08-26 2014-12-03 上海斐讯数据通信技术有限公司 快速启动应用的移动设备及其应用启动方法
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
KR102471916B1 (ko) * 2016-06-03 2022-11-29 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
KR102525126B1 (ko) * 2016-07-29 2023-04-25 삼성전자주식회사 홍채 카메라를 포함하는 전자 장치
CN107886032B (zh) * 2016-09-30 2021-12-14 阿里巴巴集团控股有限公司 终端设备、智能手机、基于脸部识别的认证方法和系统
US10380418B2 (en) * 2017-06-19 2019-08-13 Microsoft Technology Licensing, Llc Iris recognition based on three-dimensional signatures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1924886A (zh) * 2005-08-31 2007-03-07 上海乐金广电电子有限公司 利用可见光的虹膜识别系统及识别方法
US7744216B1 (en) * 2006-01-06 2010-06-29 Lockheed Martin Corporation Display system intensity adjustment based on pupil dilation
WO2011090225A1 (ko) * 2010-01-22 2011-07-28 아이리텍 잉크 홍채크기가 다른 다수의 홍채이미지를 이용한 홍채인식장치 및 방법
WO2012177542A1 (en) * 2011-06-18 2012-12-27 Identix Incorporated Systems and methods for detecting a specular reflection pattern for biometric analysis
KR20140133762A (ko) * 2013-05-24 2014-11-20 박대진 스마트폰의 근거리 홍채 촬영용 카메라를 이용한 홍채 인식 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3249567A4 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384456A (zh) * 2016-08-25 2017-02-08 广州御银自动柜员机科技有限公司 一种基于虹膜识别的vtm机
CN106445124A (zh) * 2016-09-09 2017-02-22 京东方科技集团股份有限公司 显示设备、显示设备的画面参数调节方法及其装置
US10120992B2 (en) 2016-12-13 2018-11-06 Lg Electronics Inc. Mobile terminal and method for controlling the same
US20180165437A1 (en) * 2016-12-13 2018-06-14 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2018110891A1 (en) * 2016-12-13 2018-06-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10726114B2 (en) 2017-04-21 2020-07-28 Shenzhen GOODIX Technology Co., Ltd. Biological feature data detection method, biological feature identification apparatus and electronic terminal
EP3584740A4 (en) * 2017-04-21 2020-03-18 Shenzhen Goodix Technology Co., Ltd. BIOLOGICAL CHARACTERISTIC DATA DETECTION METHOD, BIOLOGICAL CHARACTERISTIC RECOGNITION APPARATUS AND ELECTRONIC TERMINAL
EP3428781A1 (en) * 2017-07-14 2019-01-16 Guangdong OPPO Mobile Telecommunications Corp., Ltd. Iris-based living-body detection method, mobile terminal and storage medium
US10354158B2 (en) 2017-07-14 2019-07-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Iris-based living-body detection method, mobile terminal and storage medium
CN107451542A (zh) * 2017-07-14 2017-12-08 广东欧珀移动通信有限公司 虹膜识别模组排列结构及移动终端
CN107451542B (zh) * 2017-07-14 2020-09-01 Oppo广东移动通信有限公司 虹膜识别模组排列结构及移动终端
AU2018299524B2 (en) * 2017-07-14 2020-11-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Iris-based living-body detection method, mobile terminal and storage medium
CN107483811A (zh) * 2017-07-28 2017-12-15 广东欧珀移动通信有限公司 成像方法和电子装置
CN107566746A (zh) * 2017-09-12 2018-01-09 广东小天才科技有限公司 一种拍照方法及用户终端
CN107566746B (zh) * 2017-09-12 2020-09-04 广东小天才科技有限公司 一种拍照方法及用户终端
CN111344703A (zh) * 2017-11-24 2020-06-26 三星电子株式会社 基于虹膜识别的用户认证设备和方法
CN111344703B (zh) * 2017-11-24 2023-10-13 三星电子株式会社 基于虹膜识别的用户认证设备和方法

Also Published As

Publication number Publication date
EP3249567B1 (en) 2019-02-06
US20180012007A1 (en) 2018-01-11
CN107408168A (zh) 2017-11-28
US10372894B2 (en) 2019-08-06
KR20160091114A (ko) 2016-08-02
CN107408168B (zh) 2020-08-25
EP3249567A1 (en) 2017-11-29
EP3249567A4 (en) 2018-01-17
KR102277212B1 (ko) 2021-07-15

Similar Documents

Publication Publication Date Title
WO2016117755A1 (ko) 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
WO2016098950A1 (ko) 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치
WO2018101774A1 (en) Electronic device and method for displaying image for iris recognition in electronic device
WO2017209528A1 (en) Electronic apparatus and operating method thereof
WO2016175452A1 (en) Fingerprint information processing method and electronic device supporting the same
WO2018043908A1 (en) Method for estimating illuminance and an electronic device thereof
WO2018021843A1 (en) Electronic device including iris camera
WO2018155928A1 (ko) 복수의 생체 센서를 이용하여 인증을 수행하기 위한 전자 장치 및 그의 동작 방법
US11256941B2 (en) Method for controlling operation of iris sensor and electronic device therefor
WO2016093419A1 (ko) 시선 캘리브레이션 방법 및 그 전자 장치
WO2018117560A1 (ko) 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
WO2018117409A1 (en) Operating method for function of iris recognition and electronic device supporting the same
WO2018106019A1 (ko) 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
WO2018097561A1 (en) Electronic device for controlling microphone parameter
WO2018143643A1 (ko) 전자장치 및 이를 사용하여 디스플레이에 연동된 생체 센서의 제어 방법
WO2018174674A1 (en) Electronic device and method for authenticating biometric data thorough plural cameras
WO2018048212A1 (en) Method for protecting personal information and electronic device thereof
WO2018021726A1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
WO2018038526A1 (en) Electronic device and method for measuring heart rate based on infrared rays sensor using the same
WO2018066840A1 (ko) 케이스 장치를 구비한 전자 장치
WO2018131841A1 (ko) 전자장치 및 이를 활용한 액츄에이터 제어 방법
WO2017078283A1 (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
WO2017034225A1 (en) Electronic apparatus and method of transforming content thereof
WO2018155905A1 (ko) 식별 정보 관리 방법 및 이를 지원하는 전자 장치
AU2017306243B2 (en) Electronic device and method for outputting thumbnail corresponding to user input

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15879010

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15545066

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015879010

Country of ref document: EP