WO2015137645A1 - 이동 단말기 및 그 제어 방법 - Google Patents

이동 단말기 및 그 제어 방법 Download PDF

Info

Publication number
WO2015137645A1
WO2015137645A1 PCT/KR2015/001816 KR2015001816W WO2015137645A1 WO 2015137645 A1 WO2015137645 A1 WO 2015137645A1 KR 2015001816 W KR2015001816 W KR 2015001816W WO 2015137645 A1 WO2015137645 A1 WO 2015137645A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
mobile terminal
user
controller
camera
Prior art date
Application number
PCT/KR2015/001816
Other languages
English (en)
French (fr)
Inventor
이원희
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140029485A external-priority patent/KR102131830B1/ko
Priority claimed from KR1020140138151A external-priority patent/KR20160043690A/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/121,356 priority Critical patent/US10162955B2/en
Priority to EP15761314.2A priority patent/EP3118761B1/en
Publication of WO2015137645A1 publication Critical patent/WO2015137645A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a mobile terminal capable of performing user authentication through a camera and a control method thereof.
  • Terminals may be divided into mobile / portable terminals and stationary terminals according to their mobility.
  • the mobile terminal may be further classified into a handheld terminal and a vehicle mount terminal according to whether a user can directly carry it.
  • such a terminal is a multimedia player having a complex function such as taking a picture or a video, playing a music or video file, playing a game, or receiving a broadcast. Is being implemented.
  • a recognition module for a user's body element is added in hardware to a mobile terminal, and an improvement of software for operating the same has been attempted.
  • iris recognition when the iris is photographed using the camera of the mobile terminal for iris recognition, the user focuses by guessing while looking at the camera preview screen of the mobile terminal in order to acquire an iris image having a suitable size and focus. There is an uncomfortable problem of adjusting the proper distance between the person and the camera.
  • An object of the present invention is to provide a mobile terminal and a control method thereof capable of performing different authentication schemes according to the distance between a user attempting user authentication and the mobile terminal.
  • Another object of the present invention is to provide a mobile terminal and a control method for guiding an appropriate distance between a user who is in focus when iris recognition and a camera of the mobile terminal.
  • a mobile terminal the camera;
  • a display unit which displays an image input through the camera;
  • user authentication is performed based on the received first face image, and a second face image lacking some of the face elements is generated.
  • a controller configured to perform user authentication using at least one facial element included in the received second facial image.
  • the second face image includes a first face element
  • the mobile terminal according to an embodiment of the present invention further includes a memory in which focal length information of the second face element required for user authentication is stored. If a difference between the focal length of the first facial element and the stored focal length of the second facial element in the second face image occurs, the operation of guiding the focal length between the first and second facial elements to coincide It is done.
  • a control method of a mobile terminal includes: receiving a first face image including face elements required for user authentication through a camera; Displaying the received first facial image; Performing user authentication based on the received first face image; Receiving a second facial image missing some of the facial elements via the camera; Displaying the received second face image; And performing user authentication using at least one face element included in the received second face image.
  • the mobile terminal of the present invention since the mobile terminal of the present invention does not need to use the user's password for user authentication, there is no risk of leakage of personal information, and the user has to save and enter a password. Can be less.
  • different authentication schemes are performed according to the distance at which the user authenticates the user through the mobile terminal, thereby maximizing convenience in use.
  • the user body element recognized according to the distance between the mobile terminal and the user may be different.
  • the user authentication method may be performed according to an authentication method corresponding to the user body element recognized by the mobile terminal. . Therefore, the user does not have to approach the mobile terminal or set a user authentication method in advance in order to increase the recognition rate of the user's body elements.
  • the mobile terminal of the present invention further comprises an infrared light emitting unit, through which it is possible to recognize the user's iris with the existing camera, thereby additionally providing a camera for iris recognition It can save the cost incurred when equipped.
  • the mobile terminal of the present invention informs the user in real time of the difference between the focal length of the optimal iris image and the focal length of the current iris image when the iris is recognized, and the current iris Providing an effect of guiding the focal length of the image to match the focal length of the optimal iris image.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
  • 1B and 1C are conceptual views of one example of a mobile terminal, viewed from different directions.
  • FIG. 2 is an operation flowchart of a mobile terminal according to an embodiment of the present invention.
  • FIG. 3 is an explanatory diagram illustrating a user authentication method using a user face applied to a mobile terminal according to an embodiment of the present invention.
  • FIG. 4 is an explanatory diagram for explaining a user authentication method using a part of a user face applied to a mobile terminal according to an embodiment of the present invention.
  • FIG. 5 is an explanatory diagram illustrating an infrared light emitting unit of a mobile terminal according to an exemplary embodiment of the present invention.
  • FIG. 6 is an explanatory diagram for describing a wavelength of light recognized by a camera of a mobile terminal according to an exemplary embodiment of the present invention.
  • FIG. 7 is a graph illustrating an infrared pass filter provided in a camera of a mobile terminal according to an embodiment of the present invention.
  • FIG. 8 is an explanatory diagram for explaining a user authentication method using a part selected from a user applied to a mobile terminal according to an embodiment of the present invention.
  • FIG. 9 is an explanatory diagram for explaining a case in which a part of a user's face selected by a user according to an embodiment of the present invention is used for user authentication.
  • FIG. 10 is an explanatory diagram illustrating a case of releasing a locked state of a touch screen of a mobile terminal using a user authentication method according to an embodiment of the present invention.
  • FIG. 11 is an explanatory diagram for explaining camera activation and performing user authentication when user authentication of a mobile terminal is required according to an embodiment of the present invention.
  • 12 and 13 are explanatory diagrams for describing first and second information displayed on an authentication result display unit according to a user authentication method according to an exemplary embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating a process of guiding a proper distance between a user who is in focus and a camera when recognizing irises of a mobile terminal according to an embodiment of the present invention.
  • 15 to 22 are explanatory diagrams for explaining a process of guiding a proper distance between a user who is in focus and a camera when recognizing a iris of a mobile terminal according to an embodiment of the present invention.
  • the mobile terminal described herein includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant, a portable multimedia player, a navigation, a slate PC , Tablet PCs, ultrabooks, wearable devices, such as smartwatches, glass glasses, head mounted displays, and the like. have.
  • FIGS. 1B and 1C are conceptual views of one example of the mobile terminal, viewed from different directions.
  • the mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a controller 180, and a power supply unit 190. ) May be included.
  • the components shown in FIG. 1A are not essential to implementing a mobile terminal, so that the mobile terminal described herein may have more or fewer components than those listed above.
  • the wireless communication unit 110 of the components may include one or more modules that enable wireless communication between the network in which the terminal 100 or an external server is located.
  • the wireless communication unit 110 may include at least one of the broadcast receiving module 111, the mobile communication module 112, the wireless internet module 113, the short range communication module 114, and the location information module 115. .
  • the input unit 120 may include a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, an audio input unit, or a user input unit 123 for receiving information from a user. , Touch keys, mechanical keys, and the like.
  • the voice data or the image data collected by the input unit 120 may be analyzed and processed as a control command of the user.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information.
  • the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • Optical sensors e.g. cameras 121), microphones (see 122), battery gages, environmental sensors (e.g.
  • the mobile terminal disclosed herein may include such sensors.
  • Information sensed by at least two sensors Combined can be used.
  • the output unit 150 is used to generate an output related to sight, hearing, or tactile sense, and includes at least one of a display unit 151, an audio output unit 152, a hap tip module 153, and an optical output unit 154. can do.
  • the display unit 151 forms a layer structure with or is integrally formed with the touch sensor, thereby implementing a touch screen.
  • the touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and the user, and may also provide an output interface between the mobile terminal 100 and the user.
  • the interface unit 160 serves as a path to various types of external devices connected to the mobile terminal 100.
  • the interface unit 160 connects a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port.
  • I / O audio input / output
  • I / O video input / output
  • earphone port an earphone port
  • the memory 170 may store a plurality of application programs or applications driven in the mobile terminal 100, data for operating the mobile terminal 100, and instructions. At least some of these applications may be downloaded from an external server via wireless communication. In addition, at least some of the other applications may exist on the mobile terminal 100 from the time of shipment for basic functions of the mobile terminal 100 (for example, a call forwarding, a calling function, a message receiving, and a calling function). .
  • the application program may be stored in the memory 170 and installed on the mobile terminal 100 to be driven by the controller 180 to perform an operation (or function) of the mobile terminal.
  • the controller 180 In addition to the operation related to the application program, the controller 180 typically controls the overall operation of the mobile terminal 100.
  • the controller 180 may provide or process information or a function appropriate to a user by processing signals, data, information, and the like, which are input or output through the above-described components, or by driving an application program stored in the memory 170.
  • controller 180 may control at least some of the components described with reference to FIG. 1A in order to drive an application program stored in the memory 170. Furthermore, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 to drive the application program.
  • the power supply unit 190 receives power from an external power source and an internal power source under the control of the controller 180 to supply power to each component included in the mobile terminal 100.
  • the power supply unit 190 includes a battery, which may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of the mobile terminal according to various embodiments described below.
  • the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 170.
  • the broadcast receiving module 111 of the wireless communication unit 110 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • Two or more broadcast receiving modules may be provided to the mobile terminal 100 for simultaneous broadcast reception or switching of broadcast channels for at least two broadcast channels.
  • the mobile communication module 112 may include technical standards or communication schemes (eg, Global System for Mobile communication (GSM), Code Division Multi Access (CDMA), Wideband CDMA (WCDMA), and High Speed (HSDPA)). Downlink Packet Access (LTE), Long Term Evolution (LTE), etc.) transmits and receives wireless signals with at least one of a base station, an external terminal, and a server.
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • WCDMA Wideband CDMA
  • HSDPA High Speed
  • LTE Downlink Packet Access
  • LTE Long Term Evolution
  • LTE Long Term Evolution
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module 113 refers to a module for wireless internet access and may be embedded or external to the mobile terminal 100.
  • the wireless internet module 113 is configured to transmit and receive wireless signals in a communication network according to wireless internet technologies.
  • wireless Internet technologies include Wireless LAN (WLAN), Wireless Fidelity (WiFi) Direct, Digital Living Network Alliance (DLNA), Wireless broadband (Wibro), World Interoperability for Microwave Access (Wimax), and High Speed Downlink (HSDPA).
  • WLAN Wireless LAN
  • WiFi Wireless Fidelity
  • DLNA Digital Living Network Alliance
  • Wibro Wireless broadband
  • Wimax World Interoperability for Microwave Access
  • HSDPA High Speed Downlink
  • Packet Access LTE
  • LTE Long Term Evolution
  • LTE Long Term Evolution
  • the wireless Internet module 113 transmits and receives data according to at least one wireless Internet technology in a range including Internet technologies not listed above.
  • the wireless Internet module 113 for performing a wireless Internet access through the mobile communication network is the mobile communication module. It can be understood as a kind of (112).
  • the short range communication module 114 is for short range communication, and includes Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, NFC ( Near field communication may be supported using at least one of Near Field Communication, Wi-Fi, and Wi-Fi Direct technologies.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near field communication may be supported using at least one of Near Field Communication, Wi-Fi, and Wi-Fi Direct technologies.
  • the short-range communication module 114 may be configured between a mobile terminal 100 and a wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or through a wireless personal area network. Wireless communication between the network 100 and another mobile terminal 100 (or an external server) is located.
  • the other mobile terminal 100 is a wearable device capable of exchanging (or interworking) data with the mobile terminal 100 according to the present invention (for example, smartwatch, smart glasses). (smart glass), head mounted display (HMD).
  • smartwatch smart glasses
  • HMD head mounted display
  • the short range communication module 114 may sense (or recognize) a wearable device that can communicate with the mobile terminal 100, around the mobile terminal 100. Further, when the detected wearable device is a device that is authenticated to communicate with the mobile terminal 100 according to the present invention, the controller 180 may include at least a portion of data processed by the mobile terminal 100 in the short range communication module ( The transmission may be transmitted to the wearable device through 114.
  • the user of the wearable device may use data processed by the mobile terminal 100 through the wearable device. For example, according to this, when a call is received by the mobile terminal 100, the user performs a phone call through the wearable device or when a message is received by the mobile terminal 100, the received through the wearable device. It is possible to check the message.
  • the location information module 115 is a module for obtaining a location (or current location) of a mobile terminal, and a representative example thereof is a Global Positioning System (GPS) module or a Wireless Fidelity (WiFi) module.
  • GPS Global Positioning System
  • Wi-Fi Wireless Fidelity
  • the mobile terminal may acquire the location of the mobile terminal using a signal transmitted from a GPS satellite.
  • the mobile terminal may acquire the location of the mobile terminal based on information of the wireless access point (AP) transmitting or receiving the Wi-Fi module and the wireless signal.
  • AP wireless access point
  • the input unit 120 is for inputting image information (or signal), audio information (or signal), or information input from a user.
  • the mobile terminal 100 may include one or a plurality of cameras 121.
  • the camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode.
  • the processed image frame may be displayed on the display unit 151.
  • the plurality of cameras 121 provided in the mobile terminal 100 may be arranged to form a matrix structure, and through the camera 121 forming a matrix structure in this way, the mobile terminal 100 may have various angles or focuses.
  • the plurality of pieces of image information may be input.
  • the plurality of cameras 121 may be arranged in a stereo structure to acquire a left image and a right image for implementing a stereoscopic image.
  • the microphone 122 processes external sound signals into electrical voice data.
  • the processed voice data may be variously used according to a function (or an application program being executed) performed by the mobile terminal 100. Meanwhile, various microphones for removing noise may be implemented in the microphone 122 to remove noise generated in the process of receiving an external sound signal.
  • the user input unit 123 is for receiving information from a user. When information is input through the user input unit 123, the controller 180 may control an operation of the mobile terminal 100 to correspond to the input information. .
  • the user input unit 123 may be a mechanical input unit (or a mechanical key, for example, a button, a dome switch, a jog wheel, or the like located on the front, rear, or side surfaces of the mobile terminal 100). Jog switch, etc.) and touch input means.
  • the touch input means may include a virtual key, a soft key, or a visual key displayed on the touch screen through a software process, or a portion other than the touch screen. It may be made of a touch key disposed in the.
  • the virtual key or the visual key may be displayed on the touch screen while having various forms, for example, graphic, text, icon, video, or the like. It can be made of a combination of.
  • the sensing unit 140 senses at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information, and generates a sensing signal corresponding thereto.
  • the controller 180 may control driving or operation of the mobile terminal 100 or perform data processing, function or operation related to an application program installed in the mobile terminal 100 based on the sensing signal. Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using mechanical force by using electromagnetic force or infrared rays.
  • the proximity sensor 141 may be disposed in an inner region of the mobile terminal covered by the touch screen described above or near the touch screen.
  • the proximity sensor 141 has a longer life and higher utilization than a contact sensor.
  • the proximity sensor 141 examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the proximity sensor 141 may be configured to detect the proximity of the object by the change of the electric field according to the proximity of the conductive object.
  • the touch screen (or touch sensor) itself may be classified as a proximity sensor.
  • the proximity sensor 141 may detect a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). have.
  • the controller 180 processes data (or information) corresponding to the proximity touch operation and the proximity touch pattern detected through the proximity sensor 141 as described above, and further, provides visual information corresponding to the processed data. It can be output on the touch screen. Further, the controller 180 may control the mobile terminal 100 to process different operations or data (or information) according to whether the touch on the same point on the touch screen is a proximity touch or a touch touch. .
  • the touch sensor senses a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. do.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the touch screen or capacitance generated at the specific portion into an electrical input signal.
  • the touch sensor may be configured to detect a position, an area, a pressure at the touch, and the like, when the touch object applying a touch on the touch screen is touched on the touch sensor.
  • the touch object is an object applying a touch to the touch sensor and may be, for example, a finger, a touch pen or a stylus pen, a pointer, or the like.
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 180.
  • the controller 180 can know which area of the display unit 151 is touched.
  • the touch controller may be a separate component from the controller 180 or may be the controller 180 itself.
  • the controller 180 may perform different control or perform the same control according to the type of the touch object, which touches the touch screen (or a touch key provided in addition to the touch screen). Whether to perform different control or the same control according to the type of touch object may be determined according to the operation state of the mobile terminal 100 or an application program being executed.
  • the touch sensor and the proximity sensor described above may be independently or combined, and may be a short (or tap) touch, a long touch, a multi touch, a drag touch on a touch screen. ), Flick touch, pinch-in touch, pinch-out touch, swipe touch, hovering touch, etc. A touch can be sensed.
  • the ultrasonic sensor may recognize location information of a sensing object using ultrasonic waves.
  • the controller 180 can calculate the position of the wave generation source through the information detected from the optical sensor and the plurality of ultrasonic sensors.
  • the position of the wave source can be calculated using the property that the light is much faster than the ultrasonic wave, that is, the time that the light reaches the optical sensor is much faster than the time when the ultrasonic wave reaches the ultrasonic sensor. More specifically, the position of the wave generation source may be calculated using a time difference from the time when the ultrasonic wave reaches the light as the reference signal.
  • the camera 121 as seen in the configuration of the input unit 120 is a kind of camera sensor, the camera sensor, at least one of the camera 121, a photo sensor and a laser sensor.
  • the camera 121 and the laser sensor may be combined with each other to detect a touch of a sensing object with respect to a 3D stereoscopic image.
  • the photo sensor may be stacked on the display element, which is configured to scan the movement of the sensing object in proximity to the touch screen. More specifically, the photo sensor mounts a photo diode and a transistor (TR) in a row / column and scans contents mounted on the photo sensor by using an electrical signal that varies according to the amount of light applied to the photo diode. That is, the photo sensor calculates coordinates of the sensing object according to the amount of light change, and thus, the position information of the sensing object can be obtained.
  • TR transistor
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100.
  • the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100 or user interface (UI) and graphical user interface (GUI) information according to the execution screen information. .
  • UI user interface
  • GUI graphical user interface
  • the display unit 151 may be configured as a stereoscopic display unit for displaying a stereoscopic image.
  • the stereoscopic display unit may be a three-dimensional display method such as a stereoscopic method (glasses method), an auto stereoscopic method (glasses-free method), a projection method (holographic method).
  • the sound output unit 152 may output audio data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may also output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed by the mobile terminal 100.
  • the sound output unit 152 may include a receiver, a speaker, a buzzer, and the like.
  • the haptic module 153 generates various haptic effects that a user can feel.
  • a representative example of the tactile effect generated by the haptic module 153 may be vibration.
  • the intensity and pattern of vibration generated in the haptic module 153 may be controlled by the user's selection or the setting of the controller. For example, the haptic module 153 may synthesize different vibrations and output or sequentially output them.
  • the haptic module 153 may be used to stimulate pins that vertically move with respect to the contact skin surface, jetting force or suction force of air through the jetting or suction port, grazing to the skin surface, contact of the electrode, electrostatic force, and the like.
  • Various tactile effects can be generated, such as effects by the endothermic and the reproduction of a sense of cold using the elements capable of endotherm or heat generation.
  • the haptic module 153 may not only deliver a tactile effect through direct contact, but also may allow a user to feel the tactile effect through a muscle sense such as a finger or an arm. Two or more haptic modules 153 may be provided according to a configuration aspect of the mobile terminal 100.
  • the light output unit 154 outputs a signal for notifying occurrence of an event by using light of a light source of the mobile terminal 100.
  • Examples of events generated in the mobile terminal 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the signal output from the light output unit 154 is implemented as the mobile terminal 100 emits light of a single color or a plurality of colors to the front or the rear.
  • the signal output may be terminated by the mobile terminal 100 detecting the user's event confirmation.
  • the interface unit 160 serves as a path to all external devices connected to the mobile terminal 100.
  • the interface unit 160 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits data inside the mobile terminal 100 to an external device.
  • the port, audio input / output (I / O) port, video input / output (I / O) port, earphone port, etc. may be included in the interface unit 160.
  • the identification module is a chip that stores a variety of information for authenticating the usage rights of the mobile terminal 100, a user identification module (UIM), subscriber identity module (SIM), universal user authentication And a universal subscriber identity module (USIM).
  • a device equipped with an identification module (hereinafter referred to as an 'identification device') may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through the interface unit 160.
  • the interface unit 160 may be a passage for supplying power from the cradle to the mobile terminal 100 or may be input from the cradle by a user.
  • Various command signals may be a passage through which the mobile terminal 100 is transmitted.
  • Various command signals or power input from the cradle may operate as signals for recognizing that the mobile terminal 100 is correctly mounted on the cradle.
  • the memory 170 may store a program for the operation of the controller 180 and may temporarily store input / output data (for example, a phone book, a message, a still image, a video, etc.).
  • the memory 170 may store data regarding vibration and sound of various patterns output when a touch input on the touch screen is performed.
  • the memory 170 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, magnetic It may include a storage medium of at least one type of a disk and an optical disk.
  • the mobile terminal 100 may be operated in connection with a web storage that performs a storage function of the memory 170 on the Internet.
  • the controller 180 controls the operation related to the application program, and generally the overall operation of the mobile terminal 100. For example, if the state of the mobile terminal satisfies a set condition, the controller 180 may execute or release a lock state that restricts input of a user's control command to applications.
  • controller 180 may perform control and processing related to voice call, data communication, video call, or the like, or may perform pattern recognition processing for recognizing handwriting input or drawing input performed on a touch screen as text and images, respectively. Can be. Furthermore, the controller 180 may control any one or a plurality of components described above in order to implement various embodiments described below on the mobile terminal 100 according to the present invention.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery configured to be rechargeable, and may be detachably coupled to the terminal body for charging.
  • the power supply unit 190 may be provided with a connection port, the connection port may be configured as an example of the interface 160 is electrically connected to the external charger for supplying power for charging the battery.
  • the power supply unit 190 may be configured to charge the battery in a wireless manner without using the connection port.
  • the power supply unit 190 uses one or more of an inductive coupling based on a magnetic induction phenomenon or a magnetic resonance coupling based on an electromagnetic resonance phenomenon from an external wireless power transmitter. Power can be delivered.
  • various embodiments of the present disclosure may be implemented in a recording medium readable by a computer or a similar device using, for example, software, hardware, or a combination thereof.
  • the disclosed mobile terminal 100 includes a terminal body in the form of a bar.
  • the present invention is not limited thereto, and the present invention can be applied to various structures such as a watch type, a clip type, a glass type, or a folder type, a flip type, a slide type, a swing type, a swivel type, and two or more bodies which are coupled to be movable relative to each other. .
  • the terminal body may be understood as a concept of referring to the mobile terminal 100 as at least one aggregate.
  • the mobile terminal 100 includes a case (frame, housing, cover, etc.) forming an appearance. As shown, the mobile terminal 100 may include a front case 101 and a rear case 102. Various electronic components are disposed in the internal space formed by the combination of the front case 101 and the rear case 102. At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • the display unit 151 may be disposed in front of the terminal body to output information. As shown, the window 151a of the display unit 151 may be mounted to the front case 101 to form a front surface of the terminal body together with the front case 101.
  • an electronic component may be mounted on the rear case 102.
  • Electronic components attachable to the rear case 102 include a removable battery, an identification module, a memory card, and the like.
  • the rear cover 102 may be detachably coupled to the rear case 102 to cover the mounted electronic component. Therefore, when the rear cover 103 is separated from the rear case 102, the electronic components mounted on the rear case 102 are exposed to the outside.
  • the rear cover 103 when the rear cover 103 is coupled to the rear case 102, a portion of the side surface of the rear case 102 may be exposed. In some cases, the rear case 102 may be completely covered by the rear cover 103 during the coupling. On the other hand, the rear cover 103 may be provided with an opening for exposing the camera 121b or the sound output unit 152b to the outside.
  • the cases 101, 102, and 103 may be formed by injecting a synthetic resin, or may be formed of a metal, for example, stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
  • STS stainless steel
  • Al aluminum
  • Ti titanium
  • the mobile terminal 100 may be configured such that one case may provide the internal space, unlike the above example in which a plurality of cases provide an internal space for accommodating various electronic components.
  • the mobile terminal 100 of the unibody that the synthetic resin or metal from the side to the rear may be implemented.
  • the mobile terminal 100 may be provided with a waterproof portion (not shown) to prevent water from seeping into the terminal body.
  • the waterproof portion is provided between the window 151a and the front case 101, between the front case 101 and the rear case 102 or between the rear case 102 and the rear cover 103, and a combination thereof. It may include a waterproof member for sealing the inner space.
  • the mobile terminal 100 includes a display unit 151, first and second sound output units 152a and 152b, a proximity sensor 141, an illuminance sensor 142, an optical output unit 154, and first and second units.
  • the cameras 121a and 121b, the first and second manipulation units 123a and 123b, the microphone 122, the interface unit 160, and the like may be provided.
  • the display unit 151, the first sound output unit 152a, the proximity sensor 141, the illuminance sensor 142, and the light output unit may be disposed on the front surface of the terminal body.
  • the first camera 121a and the first operation unit 123a are disposed, and the second operation unit 123b, the microphone 122, and the interface unit 160 are disposed on the side of the terminal body.
  • the mobile terminal 100 in which the second sound output unit 152b and the second camera 121b are disposed on the rear surface of the mobile terminal 100 will be described as an example.
  • first manipulation unit 123a may not be provided on the front surface of the terminal body, and the second sound output unit 152b may be provided on the side of the terminal body instead of the rear surface of the terminal body.
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100.
  • the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100 or user interface (UI) and graphical user interface (GUI) information according to the execution screen information. .
  • UI user interface
  • GUI graphical user interface
  • the display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible). display, a 3D display, or an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • display a 3D display, or an e-ink display.
  • two or more display units 151 may exist according to an implementation form of the mobile terminal 100.
  • the plurality of display units may be spaced apart or integrally disposed on one surface of the mobile terminal 100, or may be disposed on different surfaces.
  • the display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method.
  • the touch sensor may sense the touch, and the controller 180 may generate a control command corresponding to the touch based on the touch sensor.
  • the content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes.
  • the touch sensor is formed of a film having a touch pattern and disposed between the window 151a and the display (not shown) on the rear surface of the window 151a or directly patterned on the rear surface of the window 151a. May be Alternatively, the touch sensor may be integrally formed with the display. For example, the touch sensor may be disposed on a substrate of the display or provided in the display.
  • the display unit 151 may form a touch screen together with the touch sensor.
  • the touch screen may function as the user input unit 123 (see FIG. 1A).
  • the touch screen may replace at least some functions of the first manipulation unit 123a.
  • the first sound output unit 152a may be implemented as a receiver for transmitting a call sound to the user's ear, and the second sound output unit 152b may be a loud speaker for outputting various alarm sounds or multimedia reproduction sounds. It can be implemented in the form of).
  • a sound hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display unit 151.
  • the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between the structures (for example, a gap between the window 151a and the front case 101).
  • an externally formed hole may be invisible or hidden for sound output, thereby simplifying the appearance of the mobile terminal 100.
  • the light output unit 154 is configured to output light for notifying when an event occurs. Examples of the event may include message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the controller 180 may control the light output unit 154 to end the light output.
  • the first camera 121a processes an image frame of a still image or a moving image obtained by the image sensor in a shooting mode or a video call mode.
  • the processed image frame may be displayed on the display unit 151 and stored in the memory 170.
  • the first and second manipulation units 123a and 123b may be collectively referred to as a manipulating portion as an example of the user input unit 123 operated to receive a command for controlling the operation of the mobile terminal 100. have.
  • the first and second manipulation units 123a and 123b may be adopted in any manner as long as the user is tactile manner such as touch, push, scroll, and the like while the user is tactile.
  • the first operation unit 123a is illustrated as being a touch key, but the present invention is not limited thereto.
  • the first manipulation unit 123a may be a mechanical key or a combination of a touch key and a push key.
  • the contents input by the first and second manipulation units 123a and 123b may be variously set.
  • the first operation unit 123a receives a command such as a menu, a home key, a cancellation, a search, etc.
  • the second operation unit 123b is output from the first or second sound output units 152a and 152b.
  • the user may receive a command such as adjusting the volume of the sound and switching to the touch recognition mode of the display unit 151.
  • a rear input unit (not shown) may be provided on the rear surface of the terminal body.
  • the rear input unit is manipulated to receive a command for controlling the operation of the mobile terminal 100, and the input contents may be variously set. For example, commands such as power on / off, start, end, scroll, etc., control of the volume of sound output from the first and second sound output units 152a and 152b, and the touch recognition mode of the display unit 151. Commands such as switching can be received.
  • the rear input unit may be implemented in a form capable of input by touch input, push input, or a combination thereof.
  • the rear input unit may be disposed to overlap the front display unit 151 in the thickness direction of the terminal body.
  • the rear input unit may be disposed at the rear upper end of the terminal body so that the user can easily manipulate the index body when the user grips the terminal body with one hand.
  • the present invention is not necessarily limited thereto, and the position of the rear input unit may be changed.
  • the rear input unit when the rear input unit is provided at the rear of the terminal body, a new type user interface using the same may be implemented.
  • the touch screen or the rear input unit described above replaces at least some functions of the first operation unit 123a provided in the front of the terminal body, the first operation unit 123a is not disposed on the front of the terminal body.
  • the display unit 151 may be configured with a larger screen.
  • the mobile terminal 100 may be provided with a fingerprint recognition sensor for recognizing a user's fingerprint, and the controller 180 may use fingerprint information detected through the fingerprint recognition sensor as an authentication means.
  • the fingerprint recognition sensor may be embedded in the display unit 151 or the user input unit 123.
  • the microphone 122 is configured to receive a user's voice, other sounds, and the like.
  • the microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
  • the interface unit 160 serves as a path for connecting the mobile terminal 100 to an external device.
  • the interface unit 160 may be connected to another device (eg, an earphone or an external speaker), a port for short-range communication (for example, an infrared port (IrDA Port), or a Bluetooth port (Bluetooth). Port), a wireless LAN port, or the like, or a power supply terminal for supplying power to the mobile terminal 100.
  • the interface unit 160 may be implemented in the form of a socket for receiving an external card such as a subscriber identification module (SIM) or a user identity module (UIM), a memory card for storing information.
  • SIM subscriber identification module
  • UIM user identity module
  • the second camera 121b may be disposed on the rear surface of the terminal body. In this case, the second camera 121b has a photographing direction substantially opposite to that of the first camera 121a.
  • the second camera 121b may include a plurality of lenses arranged along at least one line.
  • the plurality of lenses may be arranged in a matrix format.
  • Such a camera may be referred to as an "array camera.”
  • the second camera 121b is configured as an array camera, images may be photographed in various ways using a plurality of lenses, and images of better quality may be obtained.
  • the flash 124 may be disposed adjacent to the second camera 121b.
  • the flash 124 shines light toward the subject when the subject is photographed by the second camera 121b.
  • the second sound output unit 152b may be additionally disposed on the terminal body.
  • the second sound output unit 152b may implement a stereo function together with the first sound output unit 152a and may be used to implement a speakerphone mode during a call.
  • the terminal body may be provided with at least one antenna for wireless communication.
  • the antenna may be built in the terminal body or formed in the case.
  • an antenna that forms part of the broadcast receiving module 111 (refer to FIG. 1A) may be configured to be pulled out from the terminal body.
  • the antenna may be formed in a film type and attached to the inner side of the rear cover 103, or may be configured such that a case including a conductive material functions as an antenna.
  • the terminal body is provided with a power supply unit 190 (see FIG. 1A) for supplying power to the mobile terminal 100.
  • the power supply unit 190 may include a battery 191 embedded in the terminal body or detachably configured from the outside of the terminal body.
  • the battery 191 may be configured to receive power through a power cable connected to the interface unit 160.
  • the battery 191 may be configured to enable wireless charging through a wireless charger.
  • the wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
  • the rear cover 103 is coupled to the rear case 102 to cover the battery 191 to limit the detachment of the battery 191 and to protect the battery 191 from external shock and foreign matter.
  • the rear cover 103 may be detachably coupled to the rear case 102.
  • An accessory may be added to the mobile terminal 100 to protect the appearance or to assist or expand the function of the mobile terminal 100.
  • An example of such an accessory may be a cover or pouch that covers or accommodates at least one surface of the mobile terminal 100.
  • the cover or pouch may be configured to be linked with the display unit 151 to expand the function of the mobile terminal 100.
  • Another example of the accessory may be a touch pen for assisting or extending a touch input to a touch screen.
  • the first face image refers to a face image of a person input to the camera 121a of the mobile terminal 100.
  • the first face image is a face for face recognition compared to a second face image to be described later.
  • the first facial image may include facial elements such as facial contours of the person, eyebrows, both eyes or one eye, nose and mouth.
  • the first face image may be an image that additionally includes other elements such as a person's ear and a chin as a face element.
  • the controller 180 may perform user authentication of the mobile terminal 100 based on the first face image recognized by the camera 121a, and the user authentication performed based on the first face image will be described below. This is called first user authentication.
  • the controller 180 distinguishes the face of the person from the background and recognizes the person's face, and the person corresponding to the face image through the face element on the first face image is recognized. It can be determined whether the user. In this case, the controller 180 may perform first user authentication based on a face element set in advance according to a user or manufacturer's setting.
  • the controller 180 may perform the first user authentication based on a preset face element instead of using all of the above-described face elements as a factor for user authentication. For example, when the user sets both eyes and noses among the face elements on the first face image as a factor for performing the first user authentication, the controller 180 may determine the shape and angle of both eyes on the first face image.
  • the first user may be authenticated by recognizing the distance between the eyes, the shape of the nose, and the distance between the nose and both eyes. However, since the first user authentication is performed through face recognition, it is assumed that there are a plurality of face elements preset for the first user authentication.
  • the user may set all of the face elements on the first face image as a factor for first user authentication.
  • the second face image refers to an image lacking some of face elements required for first user authentication.
  • the second face image may be a partial image of a face input through the camera 121a and may include some of face elements on the first face image.
  • the second face image may be an image lacking some of the face elements preset for the first user authentication.
  • a plurality of preset face elements among the face elements included in the first face image are used for the first user authentication. If the input image lacks some of the plurality of face elements, the controller 180 inputs the input.
  • the image may be recognized as the second face image.
  • both eyes, nose, and mouth of a person are included as face elements on a first face image, and that face elements preset as factors for first user authentication are both eyes and nose.
  • face elements preset as factors for first user authentication are both eyes and nose.
  • the input partial image may be an image in which the mouth and one eye are excluded from the face elements on the first face image. That is, the face elements for the first user authentication are both eyes and nose, and the face image including one eye and the nose lacking some of the face elements of both eyes may be the second face image of the present invention.
  • the face image including only one eye or one eye except the nose may be the second face image of the present invention.
  • both eyes are excluded and the nose-only image may be the second image of the present invention.
  • the controller 180 may perform second user authentication using at least one of face elements that can be derived from the second face image. That is, in the above example, when one eye and nose of the face element are included in the second face image, the controller 180 may perform user authentication using at least one of the one eye and the nose.
  • the controller 180 may recognize the iris of one or both eyes and perform user authentication. That is, the controller 180 may perform user authentication by recognizing the iris with the face element on the input image and comparing the iris with the stored iris pattern. As described above, a user authentication performed by the controller 180 using the second face image is referred to as a second user authentication in the following description.
  • the user authentication when the user authentication is performed using only a specific face element, which face element among the recognized face elements is specified or whether the user authentication is performed by using the priority face element may also be determined according to a user's or manufacturer's setting.
  • the second face image is an image lacking some of the face elements for the first user authentication.
  • the second face image also includes an image that lacks all of the face elements for the first user authentication. Can be.
  • the second face image is an image including the mouth among the face elements, and the controller 180 uses the face element mouth.
  • Second user authentication may also be performed.
  • FIG. 2 is an operation flowchart of a mobile terminal according to an embodiment of the present invention.
  • 3 is an exemplary view for explaining a user authentication method using a user face applied to a mobile terminal according to an embodiment of the present invention
  • Figure 4 is a user face of the mobile terminal according to an embodiment of the present invention An example diagram for explaining a user authentication method using a part.
  • the controller 180 may control the camera 121a to be activated for user authentication [S201].
  • S201 An example of a case in which the controller 180 activates the camera 121a for user authentication will be described later with reference to FIGS. 10 and 11.
  • FIG. 3A a case in which the user 300 grips the mobile terminal 100 at a predetermined distance is illustrated.
  • the controller 180 distinguishes the input face image from the background image, and determines whether the input face image corresponds to the first face image. It can be done [S203].
  • the controller 180 may recognize a face element on the face image input through the camera 121a and determine whether the input face image includes a face element for first user authentication. In this case, the controller 180 may control the input first face image 305 to be displayed on the display unit 151.
  • the controller 180 may perform first user authentication based on the first face image 305 [S205].
  • the controller 180 extracts a preset face element from among face elements on the first face image 305 as a factor for first user authentication, and whether the extracted factor corresponds to a face element of a pre-registered user. You can judge.
  • the controller 180 may determine an area 315 of the first face image 305 including a face element for first user authentication, and the focus of the camera 121a is focused on the area 315. It can also be controlled to be adjusted. The recognition rate may be increased when the controller 180 performs face recognition by adjusting the focus.
  • the controller 180 determines an area 315 including both eyes, nose, and mouth, and the area 315.
  • the shape, position, distance between the face elements, and the like of each of the face elements may be recognized.
  • the controller 180 may determine whether the input first face image corresponds to a pre-registered user face element.
  • the controller 180 may control the first user authentication to be performed.
  • the possible execution of the mobile terminal 100 of the controller 180 and the execution of various applications performed through the mobile terminal 100 will be described later with reference to FIGS. 12 and 13.
  • step S203 the case where the input face image is not the first face image will be described.
  • FIG. 4A a case in which the user 300 grips the mobile terminal 100 at a predetermined distance is illustrated.
  • the distance between the mobile terminal 100 and the user 300 is shown to be closer than the distance in FIG. 3A.
  • a second face image not a first face image as shown in FIG. 3B, may be input through the activated camera 121a. That is, when the distance between the mobile terminal 100 and the user 300 is close, a second face image lacking some of the face elements required for the first user authentication may be input through the camera 121a.
  • the controller 180 may determine whether the input face image corresponds to the second face image (407). That is, the controller 180 may recognize a face element on the face image input through the camera 121a and recognize that a part of the face element for first user authentication is missing from the input face image.
  • a preset face element for first user authentication is both eyes, nose, and mouth among the face elements on the first face image 305.
  • the controller 180 may recognize that the second face image 405 that does not include one of the eyes, which is a face element, is input.
  • the controller 180 may control the input second face image 405 to be displayed on the display unit 151.
  • the controller 180 may perform second user authentication based on the second face image 405 [S209].
  • the controller 180 may recognize that first user authentication is impossible. Accordingly, the controller 180 can perform a second user authentication using at least one of the face elements that can be derived from the input second face image 405.
  • the controller 180 may determine an area 410 including a face element for second preset user authentication, and control the focus of the camera 121a to be adjusted around the area 410.
  • the controller 180 may recognize the user's iris by using the camera 121a and determine whether the recognized iris corresponds to an iris pattern of a pre-registered user.
  • the controller 180 may control the second user authentication to be performed.
  • possible execution of the mobile terminal 100 of the controller 180 and execution of various applications performed through the mobile terminal 100 will be described later with reference to FIGS. 12 and 13.
  • the controller 180 may detect the user input or control the camera 121a to be activated when a request for user authentication is detected.
  • FIG. 5 is an exemplary view for explaining an infrared light emitting unit of a mobile terminal according to an embodiment of the present invention.
  • 6 is an exemplary view for explaining the wavelength of light recognized by the camera of the mobile terminal according to an embodiment of the present invention
  • Figure 7 is an infrared pass filter provided in the camera of the mobile terminal according to an embodiment of the present invention This is a graph to explain.
  • FIG. 5A is an exemplary diagram for describing a configuration of equipment for recognizing the iris 310 of the user 300.
  • a camera 520, an infrared pass filter 525, and an infrared light source 530 are illustrated as equipment for recognizing the iris 310.
  • the iris 310 is recognized when the iris 310 is exposed to the infrared light source and the visible light is removed. Accordingly, when the iris 310 is exposed to the infrared light source 530, the camera 520 recognizes the pattern of the iris 310 in a state where visible light is removed through the infrared pass filter 525. In particular, since the infrared pass filter 525 is physically coupled to the camera 520, a separate camera 520 may be provided in addition to the camera 121a provided at the front of the mobile terminal 100 to pass visible light for iris recognition. It may be necessary.
  • a mobile terminal 100 that enables iris recognition using a camera 121a through which visible light passes is proposed.
  • the mobile terminal 100 of the present invention may include an infrared light emitting unit 535 adjacent to the camera 121a.
  • the controller 180 may control to emit infrared light through the infrared light emitter 535.
  • the controller 180 may control the iris of the user to be recognized through the camera 121a when the infrared light is emitted through the infrared light emitter 535.
  • the camera 121a may be provided with a filter passing through the visible light region 600 of FIG. 6 and blocking the infrared region 610.
  • the infrared region 610 of FIG. 6 passes and blocks the visible light region 600.
  • a general filter of the camera 121a is shown as an example.
  • the region 700 corresponds to a region for receiving light in the visible ray region 600 of FIG. 6.
  • the camera 121a of the present invention may have an improved filter to pass the infrared region 610 of FIG. 6 through the region 710 as shown by way of example in FIG.
  • the camera 121a may additionally detect infrared rays in addition to visible light by using an improved filter.
  • the controller 180 may recognize the iris of the user.
  • the controller 180 controls infrared rays to be emitted adjacent to the iris of the user through the infrared light emitter 535 to minimize the influence of visible light in iris recognition. Can be.
  • the camera 121a since the camera 121a passes the visible light, it is still possible to photograph the subject exposed to the visible light.
  • Figure 8 is an exemplary view for explaining a user authentication method using a portion selected from a user applied to a mobile terminal according to an embodiment of the present invention
  • Figure 9 is a portion of the user face selected from the user according to an embodiment of the present invention It is an example figure for demonstrating the case used for user authentication.
  • the controller 180 displays the first face image 305 through the display unit 151. Can be controlled.
  • the controller 180 has described a case where the first user authentication is performed. However, even when the first face image is input, in some cases, the controller 180 may not perform the first user authentication.
  • the controller 180 may control to display a notification window for notifying the user of the user authentication procedure according to the input of the first face image.
  • the controller 180 may control to provide a user interface for allowing a user to determine whether to proceed with the first user authentication procedure in the notification window. Through the user interface, the user may not perform the first user authentication through the mobile terminal 100 even if the first face image is input.
  • the controller 180 may control to display a selection window for allowing the user to select at least one of the first user authentication and the second user authentication in a user authentication method.
  • the selection window may include a first menu for allowing the controller 180 to perform a first user authentication, a second menu for allowing the controller 180 to perform a second user authentication, and a first menu for the controller 180 to perform a first user authentication. It may include a third menu to perform all the second user authentication. In this case, when the third menu is selected from the user, the controller 180 may perform the second user authentication after the first user authentication is completed.
  • the controller 180 may not perform the first user authentication even if the first face image is input.
  • the controller 180 may perform a second user authentication based only on the selected face element.
  • 8A illustrates an example in which an iris is selected among face elements on the first face image 305 by the user's touch gesture 800.
  • the controller 180 may treat the selected iris as a face element on the second face image for the second user authentication which is preset when the second face image is input as described with reference to FIG. 4. That is, when a first face image is input to the camera 121a and both eyes, nose, and mouth on the first face image are preset as face elements for first user authentication, a specific face element is selected from the user. In operation 180, an image lacking a face element other than the selected face element (iris) may be treated as input. Accordingly, the controller 180 can perform the second user authentication described with reference to FIG. 4.
  • the touch gesture 800 of the user who selects the face element may be various types such as a touch input, a tap input, and a pinch-out input.
  • a drag input for setting an area including a specific face element may also be included in the touch gesture 800.
  • the region 900 including the eyebrows and the eyes among the face elements on the first face image 305 is set by the drag input 800 is illustrated as an example in FIG. 9A.
  • the case where the region 910 including the mouth of the face elements on the first face image 305 is set by the drag input 900 is illustrated as an example in FIG. 9B.
  • the controller 180 may perform second user authentication based on face elements included in the areas 900 and 910 set as the drag input 800 of the user in FIG. 9A or 9B. have.
  • the controller 180 may control the selected face element 810 to be enlarged and displayed for user confirmation of the selected face element.
  • the controller 180 may control the camera 121a to focus on the selected face element 810.
  • the controller 180 may control the focus of the camera 121a to be adjusted.
  • the controller 180 drags in the vertical direction as an example of the touch gesture 800. Input 820 is shown.
  • the embodiment described with reference to FIG. 8 may be applied when the first face image 305 is input and the controller 180 attempts to authenticate a user, but fails to authenticate the first user.
  • the present invention may be applied when the first face image 305 is input but the first menu of the example is not selected by the user. That is, although the first face image is input, it may be applied when the controller 180 performs the second user authentication according to the user input.
  • the method may be applied when the user authentication method set in the mobile terminal 100 or selected by the user requires both the first user authentication and the second user authentication.
  • FIG. 10 is an exemplary diagram for describing a case of releasing a lock state of a touch screen of a mobile terminal using a user authentication method according to an embodiment of the present invention.
  • the locked state of the display unit 151 means a state in which a touch gesture is not input or only some preset touch gestures are limitedly input in order to prevent a wrong operation or a wrong touch on the display unit 151. .
  • the controller 180 may control the lock state to be released through the above-described first user authentication or second user authentication.
  • the controller 180 may control the first face.
  • the camera 121a may be activated to receive an image or a second face image. The activation of the camera 121a may be performed by receiving a specific key input from the user or receiving a touch gesture on the display unit 151.
  • the controller 180 may control the camera 121a to be activated as the movement of the mobile terminal 100 is detected through the sensing unit 140.
  • the controller 180 detects the movement through the sensing unit 140, The camera 121 may be controlled to be activated. In this case, the controller 180 may control the graphic interface for user authentication to be displayed through the display unit 151.
  • the unlocking of the display unit 151 means that the controller 180 can execute a command corresponding to the input touch gesture.
  • the controller 180 may have a home screen screen having one or more pages displayed on the touch screen 151.
  • the controller may control at least one of a menu screen on which various app icons are displayed and an execution screen of a specific application to be displayed as the unlock screen.
  • the controller 180 may control to display the information that is being displayed before the display unit 151 is locked after the lock is released.
  • the controller 180 may control to display a graphic indicating this.
  • the controller 180 may control the camera 121a to be activated when the user input for activating the camera 121a or the movement of the mobile terminal 100 is detected. In addition, when it is determined that the user is a legitimate user through the first or second user authentication in the state in which the display unit 151 is locked, the controller 180 may control the display unit to be unlocked.
  • the second face image 405 is input through the activated camera 121 and a second user authentication is performed based on the iris among the face elements.
  • the controller 180 may control the lock state of the display unit 151 to be released through the second user authentication.
  • the home screen screen 1010 is illustrated as an example of the unlock screen.
  • the controller 180 may receive a touch gesture for operating the mobile terminal 100 from the user in the unlocked state of the display unit 151.
  • the input face image, the face element used for user authentication, and the authentication method are merely examples, and the controller 180 may perform first user authentication using face recognition according to the input face image.
  • FIG. 11 is an exemplary diagram for explaining camera activation and performing user authentication when user authentication of a mobile terminal is required according to an embodiment of the present invention. In this case, it is assumed that the user is executing the specific application 1100 through the mobile terminal 100.
  • the controller 180 may activate the camera 121a to perform first or second user authentication. Can be controlled.
  • FIG. 11B illustrates a case in which the second face image 405 is input through the activated camera 121 and the second user authentication is performed based on the iris among the face elements.
  • the controller 180 may control to display a screen 1110 on which user authentication of a specific application 1100 is completed through second user authentication.
  • the present embodiment can be widely applied to login of a specific website, payment of Internet shopping, and an Internet banking service.
  • FIG. 12 is an exemplary diagram for describing first information displayed on an authentication result display unit according to a first user authentication method according to an embodiment of the present invention
  • FIG. 13 is a second user authentication method according to an embodiment of the present invention
  • FIG. 4 is an exemplary diagram for describing second information displayed on an authentication result display unit.
  • the first information means all objects that can be displayed through the mobile terminal 100.
  • the first information may include a picture, a video, a specific web page, a home screen screen, an application list, and an execution screen of the specific application.
  • the first information may be stored in the mobile terminal 100 or received from the outside.
  • the controller 180 may control the first information to be displayed through the display unit 151.
  • the controller 180 may display the first face image 305 and control the first user authentication to be performed.
  • the controller 180 may control the first information to be displayed according to the first user authentication, in which the execution screen 1200 of the music playing application is used as an example of the first information. This was shown.
  • the controller 180 performs the first user authentication to play music.
  • the execution screen of the application may be controlled to be displayed.
  • the second information refers to information different from the first information as a concept for distinguishing it from the first information.
  • the controller 180 may control the second information to be displayed through the display unit 151.
  • the controller 180 may display the second face image 405 and control the second user authentication to be performed.
  • the controller 180 may control to display the second information according to the second user authentication.
  • the execution screen 1300 of the map application may be displayed as an example of the second information. Has been shown.
  • the controller 180 performs the second user authentication to The execution screen can be controlled to be displayed.
  • the type of the first information or the second information displayed by the controller 180 Can be determined.
  • the specific application that is allowed to be executed by the first user authentication or the second user authentication may be determined according to the settings of the user or manufacturer, respectively.
  • a user may determine, in real time, a difference between a focal length of an optimally focused iris image registered at the time of iris recognition according to the present invention and a focal length of an iris image received from a current camera And a process of guiding the current focal length of the current iris image to match the focal length of the optimal iris image will be described in detail.
  • FIG. 14 is a flowchart illustrating a control process of a mobile terminal according to the present invention.
  • 15 to 22 are exemplary diagrams illustrating a control process of a mobile terminal according to the present invention.
  • the controller 180 drives the camera 121a provided on the same surface as the touch screen 151 in the user authentication (second user authentication) mode, and the driven camera 121a. If a face image including the first face element required for user authentication is received from the user, a preview screen including the face image is displayed on the screen of the touch screen 151 [S301].
  • the controller 180 periodically checks a focal length of the first facial element received through the camera 121a, and is registered in the memory 170 and the focal length of the periodically detected first face element.
  • the focal lengths of the second facial elements are periodically compared [S303].
  • the first and second facial elements are the same area in the face, and include the iris of both eyes of the user according to the present invention.
  • the focal length of the second facial element includes the number of effective pixels between the iris of the two eyes in the face image previously captured while in focus.
  • FIG. 15A illustrates that the face image 305 of the user 300 is received and displayed through the camera 121a so that the user 300 may authenticate the user to the mobile terminal 100.
  • the iris 330 is out of focus in the face image 305, and as a result, iris recognition is not performed.
  • FIG. 15B illustrates a state in which the iris 330 is optimally focused in the face image 300, and as a result, iris recognition is successful.
  • the mobile terminal 100 when the user grips the mobile terminal 100 provided with the camera 121a and moves the face from a long distance to a close distance, the mobile terminal 100 continuously of the iris 330 through the camera 121a. Take an image, determine an optimally focused iris image among the photographed iris images, identify an effective number of pixels between irises (or between two eyes) within the determined iris image, and determine the identified validity The information on the number of pixels is registered as information on a focal length of the second face element.
  • step S303 the controller 180 recognizes and tracks the two eyes periodically in the face image received through the current camera 121a, grasps the effective pixel number between the irises in the tracked two eyes, and The difference between the identified number of effective pixels and the number of valid pixels previously registered in the memory 170 is periodically compared.
  • the controller 180 guides the focal lengths between the first and second face elements to match. [S307].
  • the controller 180 may determine the first validity between the irises in the face image.
  • the movement of the focal length between the user and the camera 121a is guided so that the number of pixels coincides with the registered number of effective pixels.
  • the camera 121a is provided with an automatic focus adjustment function, and when the difference in the focal length between the first and second face elements occurs, the controller 180 determines that the focal length of the first face element is the second face element.
  • the auto focus operation of the camera 121a may be controlled to automatically match the focal length of the camera 121a.
  • the controller 180 determines a difference in focal length between the first and second face elements on the preview screen 350 on which the face image currently received through the camera 121a is displayed.
  • the information 451, 452, and 453 indicating the information may be displayed and provided to the user.
  • the controller 180 determines that the number of effective pixels of the first face element is an effective pixel of the second face element.
  • the difference between the focal lengths in the state matching the number may be calculated, and information 511, 512, and 513 representing the calculated difference in the focal lengths may be displayed at a preset position in the preview screen 400.
  • FIG. 16 illustrates a state in which the focus is the least focused than FIGS. 16 (b) and (c), and the focal length of the first facial element coincides with the focal length of the second facial element.
  • the camera 121a needs to approach “30 cm” toward the user's face.
  • FIG. 16B shows a better focus than FIG. 16A, but it is not fully focused as shown in FIG. 16C, and the focal length of the first facial element is the second.
  • the camera 121a needs to approach “15 cm” toward the user's face.
  • FIG. 16C illustrates a state in which the first facial element is completely in focus because the focal length of the first facial element coincides with the focal length of the second facial element.
  • the controller 180 may display the first item 461 displayed on the preview screen 350 as the difference in focal length between the first and second face elements gradually decreases. ) Is gradually changed from the second item 462 to the shape of the third item 463, and as the difference in the focal length between the first and second face elements increases, the third item 463 becomes the second item. In operation 462, the display may be gradually changed into a shape of the first item 461.
  • the controller 180 recognizes two eyes of the user in the face image displayed on the preview screen 350, displays a box 460 indicating a boundary of the region including the recognized eyes, and The first to third items 461, 462, and 463 may be displayed on two eyes in the box 460.
  • FIG. 17A illustrates an unfocused state of FIGS. 17B and 17C, and an ellipse as a first item 461 on two eyes in the box 460. The shape is shown.
  • FIG. 17B shows a better focus than FIG. 17A, but is out of focus than FIG. 17C, and a second item is shown on both eyes in the box 460.
  • a triangular shape is shown.
  • FIG. 17 illustrates a state in which the first facial element is completely in focus because the focal length of the first facial element coincides with the focal length of the second facial element.
  • a circle shape is indicated.
  • the user may know that the iris in the face image currently received and displayed through the camera 121a is gradually focused, and the circular shape is formed in the triangular shape. As the shape changes to an ellipse, it can be seen that the focus on the iris gradually becomes out of focus.
  • the controller 180 controls the preview screen 350 as the difference in focal length between the first and second face elements gradually decreases.
  • the face image displayed on the display may be gradually and clearly displayed, and the face image displayed on the preview screen 400 may be gradually blurred as the difference in the focal length between the first and second face elements increases. .
  • the user may know that the focus of the iris in the face image is gradually focused as the face image received and displayed from the current camera 121a becomes sharper, and as the face image is blurred, the focus on the iris is decreased. Gradually it does not fit.
  • the controller 180 determines the focal length between the first and second face elements on the preview screen 350 on which the face image currently received through the camera 121a is displayed.
  • a voice guiding actual movement between the user face and the camera 121a may be output so that the difference and the focal distance between the first and second face elements match.
  • the controller 180 determines that the number of effective pixels of the first face element is an effective pixel of the second face element. Calculate a difference in focal length in a state matching the number, and the user face and the camera 121a such that the calculated difference in focal length and the focal length of the first facial element coincide with the focal length of the second facial element.
  • the voice guiding actual movement of the liver is output through the sound output unit 152.
  • FIG. 19 illustrates a state in which the focus is the least focused than FIGS. 19 (b) and (c), and the focal length of the first facial element coincides with the focal length of the second facial element.
  • the voice 471 guiding that the camera 121a should approach the user's face “30 cm” is output.
  • FIG. 19B shows a better focus than FIG. 19A, but is out of focus than FIG. 19C, and the focal length of the first facial element is the second face. It shows that a voice 472 is output that guides the camera 121a to be "15 cm" toward the user's face to match the focal length of the element.
  • FIG. 19C illustrates a voice 473 indicating a state in which the first facial element is completely in focus because the focal length of the first facial element coincides with the focal length of the second facial element. It shows what is being output.
  • the controller 180 determines the focal length between the first and second face elements on the preview screen 350 on which the face image currently received through the camera 121a is displayed.
  • a vibration effect may be output to guide actual movement between the user face and the camera 121a so that the difference and the focal distance between the first and second face elements match.
  • the controller 180 determines that the number of effective pixels of the first face element is an effective pixel of the second face element. Calculate a difference in focal length in a state matching the number, and the user face and the camera 121a such that the calculated difference in focal length and the focal length of the first facial element coincide with the focal length of the second facial element.
  • the vibration effect for guiding actual movement of the liver is output through the haptic unit 153.
  • FIG. 20 illustrates a state in which the focus is the least focused than FIGS. 20 (b) and (c), and the focal length of the first facial element coincides with the focal length of the second facial element.
  • the vibration effect 481 which guides that the camera 121a should approach "30 cm" toward the user's face is shown.
  • FIG. 20B shows a better focus than FIG. 20A, but is out of focus than FIG. 20C, and the focal length of the first facial element is the second face. It is shown that a vibration effect 482 is output that guides the camera 121a to be approached "15 cm" toward the user's face to match the focal length of the element.
  • FIG. 20C illustrates that the focal length of the first facial element coincides with the focal length of the second facial element, such that the first facial element is completely in focus and thus does not generate a vibration effect. It shows the state. Of course, other vibration effects may also occur that indicate that the first facial element is in full focus.
  • FIG. 21A illustrates that when the user recognizes the iris, the user's gaze is directed toward the screen of the mobile terminal 100 where the user's appearance is displayed instead of the camera 121a.
  • the eye gaze in the image of the user's face photographed through) may be turned downward so that the iris recognition may sometimes fail.
  • FIG. 21B illustrates that when the user recognizes the iris, the eye gaze in the user's face image photographed through the camera 121a faces the front when the user's gaze faces the camera 121a instead of the screen. This indicates a successful state.
  • the controller 180 recognizes the positions of the two eyes, which are the first face elements, from the face image received from the camera 121a, and extracts an area including the recognized eyes. Or copy, or crop, and display the extracted area near a portion where the camera 121a is installed in the preview screen on which the face image is displayed.
  • the controller 180 divides the preview screen into first and second regions 350 and 350A, displays the entire face image received from the camera 121a in the first region 350, and displays the second region.
  • An area including two eyes may be displayed in the face image at 350A.
  • FIG. 22A illustrates a difference in a focal length between two eyes of a face image received from the camera 121a and a previously registered face image, and is displayed in the second area 350A.
  • the circular item is displayed on both eyes
  • FIG. 22B illustrates a difference in a focal length between two eyes of a face image received from the camera 121a and a previously registered face image.
  • the elliptical item is shown on both eyes indicated in 350A).
  • FIG. 22C illustrates that there is no difference in focal length between two eyes of the face image received from the camera 121a and the pre-registered face image, so that the second area 350A is clear.
  • FIG. 22D illustrates that a difference in the focal length between two eyes of a face image received from the camera 121a and a previously registered face image indicates that the second area 350A is blurred. have.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (eg, transmission over the Internet). It also includes.
  • the computer may include the controller 180 of the terminal.

Abstract

본 발명은 카메라와; 상기 카메라를 통해 입력되는 이미지를 디스플레이하는 디스플레이부와; 상기 카메라를 통해 사용자 인증에 필요한 얼굴 요소들을 포함한 제 1 얼굴 이미지가 수신되면, 상기 수신된 제 1 얼굴 이미지를 기초로 사용자 인증을 수행하고, 상기 얼굴 요소들 중 일부가 결여된 제 2 얼굴 이미지가 수신되면, 상기 수신된 제 2 얼굴 이미지 내에 포함된 적어도 하나의 얼굴 요소를 이용하여 사용자 인증을 수행하는 제어부;를 포함하는 이동 단말기 및 그 제어 방법에 관한 것이다.

Description

이동 단말기 및 그 제어 방법
본 발명은 카메라를 통해 사용자 인증을 행할 수 있는 이동 단말기 및 그 제어 방법에 관한 것이다.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
특히, 이동 단말기의 기능이 다양화됨에 따라, 상품의 구매, 각종 신용 결제 및 보안이 요구되는 사이트 접속 등 사용자의 개인 정보를 이용한 인증 기능 역시 이동 단말기를 통해 수행되고 있다. 그러나, 이와 같이 개인 정보를 입력하여 사용자 인증을 행하는 경우, 사용자 개인 정보가 유출되는 등 보안상의 문제가 발생할 수 있으며, 각종 인증서에 패스워드를 일일이 입력해야 하는 불편이 발생할 수 있다.
상술한 이동 단말기의 기능 지지 및 증대를 위해, 이동 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
사용상의 편의와 보안상의 안전성을 위하여, 이동 단말기에 대하여 사용자의 지문, 홍채, 얼굴 등 고유의 신체 요소를 이용한 사용자 인증 방식의 적용이 시도되고 있다. 이를 위해 이동 단말기에 사용자 신체 요소에 대한 인식 모듈이 하드웨어 적으로 부가되고, 이를 운용하기 위한 소프트웨어의 개량이 시도되고 있다.
그러나, 이와 같은 사용자 인증 방식이 적용되더라도, 사용 환경에 따라 인식률이 일정치 않은 문제점이 있다. 또한, 인식률을 높이기 위하여 사용자 신체를 이동 단말기에 소정 범위 내로 근접해야 하는 경우, 사용자는 개인 성향에 따라 거부감을 느낄 수도 있다.
또한, 홍채 인식의 경우, 홍채 인식을 위해 이동 단말기의 카메라를 이용해 홍채를 촬영 시에, 적정 크기이면서 초첨이 맞는 홍채 이미지를 획득하기 위해 사용자가 이동 단말기의 카메라 프리뷰 화면을 보면서 짐작으로 초점이 맞는 본인 및 상기 카메라 간의 적정 거리를 맞춰야 하는 불편한 문제점이 있다.
본 발명의 일 목적은, 사용자 인증을 시도하는 사용자와 이동 단말기 사이의 거리에 따라 서로 다른 인증 방식을 수행할 수 있는 이동 단말기 및 그 제어 방법을 제공하기 위한 것이다.
본 발명의 다른 일 목적은, 홍체 인식 시 초점이 맞는 사용자 및 이동 단말기의 카메라 간의 적정 거리를 가이드하는 이동 단말기 및 그 제어 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 예에 따른 이동 단말기는, 카메라와; 상기 카메라를 통해 입력되는 이미지를 디스플레이하는 디스플레이부와; 상기 카메라를 통해 사용자 인증에 필요한 얼굴 요소들을 포함한 제 1 얼굴 이미지가 수신되면, 상기 수신된 제 1 얼굴 이미지를 기초로 사용자 인증을 수행하고, 상기 얼굴 요소들 중 일부가 결여된 제 2 얼굴 이미지가 수신되면, 상기 수신된 제 2 얼굴 이미지 내에 포함된 적어도 하나의 얼굴 요소를 이용하여 사용자 인증을 수행하는 제어부;를 포함한다.
여기서, 제 2 얼굴 이미지는, 제1 얼굴 요소를 포함하고, 본 발명의 일 예에 따른 이동 단말기는 사용자 인증에 필요한 제2 얼굴 요소의 초점 거리 정보가 저장된 메모리를 더 포함하며, 이 경우 상기 제어부는 제 2 얼굴 이미지 내의 제 1 얼굴 요소의 초점 거리 및 상기 저장된 제 2 얼굴 요소의 초점 거리 간의 차이가 발생되면, 제 1 및 제 2 얼굴 요소 간의 초점 거리가 일치하도록 가이드하는 동작을 수행하는 것을 특징으로 한다.
본 발명의 일 예에 따른 이동 단말기의 제어 방법은, 카메라를 통해 사용자 인증에 필요한 얼굴 요소들을 포함하는 제 1 얼굴 이미지를 수신하는 단계와; 상기 수신된 제 1 얼굴 이미지를 표시하는 단계와; 상기 수신된 제 1 얼굴 이미지를 기초로 사용자 인증을 수행하는 단계와; 상기 카메라를 통해 상기 얼굴 요소들 중 일부가 결여된 제 2 얼굴 이미지를 수신하는 단계와; 상기 수신된 제 2 얼굴 이미지를 표시하는 단계와; 상기 수신된 제 2 얼굴 이미지 내에 포함된 적어도 하나의 얼굴 요소를 이용하여 사용자 인증을 수행하는 단계;를 포함하여 이루어진다.
본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시예들 중 적어도 하나에 의하면, 본 발명의 이동 단말기는 사용자 인증을 위하여 사용자의 패스워드를 이용할 필요가 없으므로 개인 정보의 유출 위험이 없으며, 사용자가 일일이 패스워드를 기억하고 입력해야 하는 수고를 덜 수 있다.
또한, 본 발명의 실시예 중 적어도 하나에 따르면, 사용자가 이동 단말기를 통하여 사용자 인증을 행하는 거리에 따라, 서로 다른 인증 방식이 수행되므로 사용상의 편의성이 극대화된다. 구체적으로, 이동 단말기와 사용자의 거리에 따라 인식되는 사용자 신체 요소가 상이할 수 있는데, 본 발명에 따르면, 이동 단말기가 인식하는 사용자 신체 요소에 상응하는 인증 방식에 따라 사용자 인증 방식이 수행될 수 있다. 따라서, 사용자로서는 사용자 신체 요소에 대한 인식률을 높이기 위하여 이동 단말기를 근접시키거나, 미리 사용자 인증 방식을 따로 설정해야 하지 않아도 된다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 본 발명의 이동 단말기는 적외선 발광부를 더 구비하여, 이를 통해 기존의 카메라로 사용자의 홍채를 인식할 수 있도록 함으로써, 추가적으로 홍채 인식을 위한 카메라를 구비하는 경우 발생하는 비용을 절약할 수 있다.
또한, 본 발명의 실시예들 중 적어도 하나에 의하면, 본 발명의 이동 단말기는 홍체 인식 시, 최적의 홍체 이미지의 초점 거리 및 현재 홍체 이미지의 초점 거리 간의 차이를 실시간으로 사용자에게 알리고, 상기 현재 홍체 이미지의 초점 거리가 상기 최적의 홍체 이미지의 초점 거리와 일치하도록 가이드하는 효과를 제공한다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2는 본 발명의 실시예에 따른 이동 단말기의 동작 흐름도이다.
도 3은 본 발명의 실시예에 따른 이동 단말기에 적용되는 사용자 얼굴을 이용한 사용자 인증 방식을 설명하기 위한 설명도이다.
도 4는 본 발명의 실시예에 따른 이동 단말기에 적용되는 사용자 얼굴 중 일부를 이용한 사용자 인증 방식을 설명하기 위한 설명도이다.
도 5는 본 발명의 실시예에 따른 이동 단말기의 적외선 발광부를 설명하기 위한 설명도이다.
도 6은 본 발명의 실시예에 따른 이동 단말기의 카메라가 인식하는 빛의 파장을 설명하기 위한 설명도이다.
도 7은 본 발명의 실시예에 따른 이동 단말기의 카메라에 구비되는 적외선 패스 필터를 설명하기 위한 그래프이다.
도 8은 본 발명의 실시예에 따른 이동 단말기에 적용되는 사용자로부터 선택된 일부를 이용한 사용자 인증 방식을 설명하기 위한 설명도이다.
도 9는 본 발명의 실시예에 따른 사용자로부터 선택된 사용자 얼굴의 일부를 사용자 인증에 이용하는 경우를 설명하기 위한 설명도이다.
도 10은 본 발명의 실시예에 따른 사용자 인증 방식을 이용하여, 이동 단말기의 터치스크린 잠금 상태를 해제시키는 경우를 설명하기 위한 설명도이다.
도 11은 본 발명의 실시예에 따른 이동 단말기의 사용자 인증이 요구되는 경우, 카메라 활성화 및 사용자 인증 수행을 설명하기 위한 설명도이다.
도 12 및 도 13은 본 발명의 실시예에 따른 사용자 인증 방식에 따른 인증 결과 디스플레이부에 디스플레이되는 제 1 및 제 2 정보를 설명하기 위한 설명도이다.
도 14는 본 발명에 실시예에 따른 이동 단말기의 홍체 인식 시 초점이 맞는 사용자 및 카메라 간의 적정 거리를 가이드하는 과정을 나타낸 동작 흐름도이다.
도 15 내지 도 22는 본 발명에 실시예에 따른 이동 단말기의 홍체 인식 시 초점이 맞는 사용자 및 카메라 간의 적정 거리를 가이드하는 과정을 설명하기 위한 설명도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 다른 이동 단말기(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gage), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 다른 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
이하에서는, 위에서 살펴본 이동 단말기(100)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들에 대하여, 도 1a를 참조하여 보다 구체적으로 살펴본다.
먼저, 무선 통신부(110)에 대하여 살펴보면, 무선 통신부(110)의 방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈이 상기 이동단말기(100)에 제공될 수 있다.
이동통신 모듈(112)은, 이동통신을 위한 기술 표준들 또는 통신 방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.
상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(113)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.
무선 인터넷 기술로는, 예를 들어 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution) 등이 있으며, 상기 무선 인터넷 모듈(113)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다.
Wibro, HSDPA, GSM, CDMA, WCDMA, LTE 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로 이해될 수도 있다.
근거리 통신 모듈(114)은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 근거리 통신 모듈(114)은, 근거리 무선 개인 통신망(Wireless Personal Area Networks)을 통해 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 다른 이동 단말기(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다.
여기에서, 다른 이동 단말기(100)는 본 발명에 따른 이동 단말기(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display))가 될 수 있다.
근거리 통신 모듈(114)은, 이동 단말기(100) 주변에, 상기 이동 단말기(100)와 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(180)는 상기 감지된 웨어러블 디바이스가 본 발명에 따른 이동 단말기(100)와 통신하도록 인증된 디바이스인 경우, 이동 단말기(100)에서 처리되는 데이터의 적어도 일부를, 상기 근거리 통신 모듈(114)을 통해 웨어러블 디바이스로 전송할 수 있다.
따라서, 웨어러블 디바이스의 사용자는, 이동 단말기(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다. 예를 들어, 이에 따르면 사용자는, 이동 단말기(100)에 전화가 수신된 경우, 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 이동 단말기(100)에 메시지가 수신된 경우, 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.
위치정보 모듈(115)은 이동 단말기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 이동 단말기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 이동 단말기의 위치를 획득할 수 있다. 다른 예로서, 이동 단말기는 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 이동 단말기의 위치를 획득할 수 있다.
다음으로, 입력부(120)에 대하여 보다 구체적으로 살펴보면, 입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 이동 단말기(100)는 하나 또는 복수의 카메라(121)를 구비할 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다. 한편, 이동 단말기(100)에 구비되는 복수의 카메라(121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(121)를 통하여, 이동 단말기(100)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(121)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다.
마이크로폰(122)은 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동 단말기(100)에서 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. 한편, 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 이동 단말기(100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(123)는 기계식 (mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 이동 단말기(100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치(dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
한편, 센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(180)는 이러한 센싱 신호에 기초하여, 이동 단말기(100)의 구동 또는 동작을 제어하거나, 이동 단말기(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.
먼저, 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(141)는 위에서 살펴본 터치 스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다.
한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(180)는 위와 같이, 근접 센서(141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 이동 단말기(100)를 제어할 수 있다.
터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.
일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다.
한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수 행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 이동 단말기(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.
한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.
초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편, 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.
한편, 입력부(120)의 구성으로 살펴본, 카메라(121)는 카메라 센서의 일종으로, 이러한 카메라 센서는, 카메라(121), 포토 센서 및 레이저 센서 중 적어도 하나를 포함한다.
카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부로서 구성될 수 있다.
상기 입체 디스플레이부에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.
음향 출력부(152)는 호신호수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력부(152)는 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅택 모듈(153)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(153)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(153)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(153)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(153)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
광출력부(154)는 이동 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(100)에서 발생 되는 이벤트의 예로는 메세지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 어플리케이션을 통한 정보 수신 등이 될 수 있다.
광출력부(154)가 출력하는 신호는 이동 단말기(100)가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 이동 단말기(100)가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(160)에 포함될 수 있다.
한편, 식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 단말기(100)와 연결될 수 있다.
또한, 상기 인터페이스부(160)는 이동 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.
메모리(170)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(170)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.
한편, 앞서 살펴본 것과 같이, 제어부(180)는 응용 프로그램과 관련된 동작과, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(180)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
또한, 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행하거나, 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 나아가 제어부(180)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 이동 단말기(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 전원공급부(190)는 배터리를 포함하며, 배터리는 충전 가능하도록 이루어지는 내장형 배터리가 될 수 있으며, 충전 등을 위하여 단말기 바디에 착탈 가능하게 결합될 수 있다.
또한, 전원공급부(190)는 연결포트를 구비할 수 있으며, 연결포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결되는 인터페이스(160)의 일 예로서 구성될 수 있다.
다른 예로서, 전원공급부(190)는 상기 연결포트를 이용하지 않고 무선방식으로 배터리를 충전하도록 이루어질 수 있다. 이 경우에, 전원공급부(190)는 외부의 무선 전력 전송장치로부터 자기 유도 현상에 기초한 유도 결합(Inductive Coupling) 방식이나 전자기적 공진 현상에 기초한 공진 결합(Magnetic Resonance Coupling) 방식 중 하나 이상을 이용하여 전력을 전달받을 수 있다.
한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
도 1 b 및 1c를 참조하면, 개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고 와치 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다.
여기에서, 단말기 바디는 이동 단말기(100)를 적어도 하나의 집합체로 보아 지칭하는 개념으로 이해될 수 있다.
이동 단말기(100)는 외관을 이루는 케이스(프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 이동 단말기(100)는 프론트 케이스(101)와 리어 케이스(102)를 포함할 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.
단말기 바디의 전면에는 디스플레이부(151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(151)의 윈도우(151a)는 프론트 케이스(101)에 장착되어 프론트 케이스(101)와 함께 단말기 바디의 전면을 형성할 수 있다.
경우에 따라서, 리어 케이스(102)에도 전자부품이 장착될 수 있다. 리어 케이스(102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(102)에는 장착된 전자부품을 덮기 위한 후면커버(103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(103)가 리어 케이스(102)로부터 분리되면, 리어 케이스(102)에 장착된 전자부품은 외부로 노출된다.
도시된 바와 같이, 후면커버(103)가 리어 케이스(102)에 결합되면, 리어 케이스(102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(102)는 후면커버(103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(103)에는 카메라(121b)나 음향 출력부(152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.
이러한 케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.
이동 단말기(100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 이동 단말기(100)가 구현될 수 있다.
한편, 이동 단말기(100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다. 예를 들어, 방수부는 윈도우(151a)와 프론트 케이스(101) 사이, 프론트 케이스(101)와 리어 케이스(102) 사이 또는 리어 케이스(102)와 후면 커버(103) 사이에 구비되어, 이들의 결합시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.
이동 단말기(100)에는 디스플레이부(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 제2 조작유닛(123a, 123b), 마이크(122), 인터페이스부(160) 등이 구비될 수 있다.
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 카메라(121a) 및 제1 조작유닛(123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(123b), 마이크(122) 및 인터페이스부(160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 이동 단말기(100)를 일 예로 들어 설명한다.
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)은 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이부(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(151a)와 윈도우(151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.
이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.
디스플레이부(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈[예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈]을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 이동 단말기(100)의 외관이 보다 심플해질 수 있다.
광 출력부(154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 어플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(154)를 제어할 수 있다.
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.
제1 및 제2 조작유닛(123a, 123b)은 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.
본 도면에서는 제1 조작유닛(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.
제1 및 제2 조작유닛(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(123a)이 미배치되는 경우, 디스플레이부(151)가 보다 대화면으로 구성될 수 있다.
한편, 이동 단말기(100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(180)는 지문인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(151) 또는 사용자 입력부(123)에 내장될 수 있다.
마이크(122)는 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크(122)는 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.
인터페이스부(160)는 이동 단말기(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 이동 단말기(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, ‘어레이(array) 카메라’로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.
이동 단말기(100)에는 외관을 보호하거나, 이동 단말기(100)의 기능을 보조 또는 확장시키는 액세서리가 추가될 수 있다. 이러한 액세서리의 일 예로, 이동 단말기(100)의 적어도 일면을 덮거나 수용하는 커버 또는 파우치를 들 수 있다. 커버 또는 파우치는 디스플레이부(151)와 연동되어 이동 단말기(100)의 기능을 확장시키도록 구성될 수 있다. 액세서리의 다른 일 예로, 터치 스크린에 대한 터치입력을 보조 또는 확장하기 위한 터치펜을 들 수 있다.
이하에서는, 도 2 내지 도 22를 참조하여, 본 발명에 따른 이동 단말기에서 구현될 수 있는 제어 방법과 관련된 실시예들에 대해 첨부된 도면을 참조하여 살펴보겠다.
본 명세서에서, 제 1 얼굴 이미지란, 이동 단말기(100)의 카메라(121a)에 입력되는 인물의 얼굴 이미지를 의미하며, 특히, 제 1 얼굴 이미지는 후술할 제 2 얼굴 이미지 대비 얼굴 인식을 위한 얼굴 요소 전반이 포함된 이미지를 의미한다. 제 1 얼굴 이미지는 인물의 얼굴 윤곽, 눈썹, 양 눈 또는 한쪽 눈, 코 및 입 등의 얼굴 요소를 포함할 수 있다. 또한, 제 1 얼굴 이미지는 얼굴 요소로 인물의 귀, 턱 등 다른 요소를 추가적으로 포함하는 이미지 일 수도 있다.
제어부(180)는 상기 카메라(121a)를 통해 인식되는 제 1 얼굴 이미지를 기초로 이동 단말기(100)의 사용자 인증을 행할 수 있으며, 제 1 얼굴 이미지를 기초로 수행되는 사용자 인증을 이하의 설명에서는 제 1 사용자 인증이라고 한다.
즉, 제어부(180)는 인물의 제 1 얼굴 이미지가 카메라(121a)를 통해 입력되면, 인물의 얼굴을 배경과 구별하여 인식하고, 제 1 얼굴 이미지 상의 얼굴 요소를 통해 얼굴 이미지에 해당하는 인물이 사용자인지 판단할 수 있다. 이때, 제어부(180)는 사용자 또는 제조자의 설정에 따라 미리 설정된 얼굴 요소를 기초로 제 1 사용자 인증을 수행할 수 있다.
즉, 제어부(180)는 상술한 얼굴 요소 전부를 사용자 인증을 위한 인자로 이용하는 것이 아니라, 미리 설정된 얼굴 요소를 기초로 제 1 사용자 인증을 수행할 수 있다. 예를 들어, 사용자가 제 1 사용자 인증을 수행하기 위한 인자로 제 1 얼굴 이미지 상의 얼굴 요소 중 양 눈, 코 등을 설정한 경우, 제어부(180)는 제 1 얼굴 이미지 상의 양 눈의 모양, 각 눈 사이의 거리, 코의 모양 및 코와 양 눈 사이의 거리 등을 인식하여 제 1 사용자 인증을 수행할 수 있다. 다만, 제 1 사용자 인증은 얼굴 인식을 통해 이뤄지므로, 제 1 사용자 인증을 위하여 미리 설정된 얼굴 요소는 복수개인 것으로 가정하도록 한다.
특히, 사용자 인증에 있어 인식률 및 정확도를 향상시키기 위하여, 경우에 따라 사용자는 제 1 얼굴 이미지 상의 얼굴 요소 전부를 제 1 사용자 인증을 위한 인자로 설정할 수도 있다.
본 명세서에서, 제 2 얼굴 이미지란, 제 1 사용자 인증에 필요한 얼굴 요소들 중 일부가 결여된 이미지를 의미한다. 특히, 제 2 얼굴 이미지는 카메라(121a)를 통해 입력되는 얼굴의 일부 이미지일 수 있으며, 제 1 얼굴 이미지 상의 얼굴 요소 중 일부를 포함할 수도 있다. 또한, 제 2 얼굴 이미지는 제 1 사용자 인증을 위하여 미리 설정된 얼굴 요소들 중 일부가 결여된 이미지일 수도 있다.
즉, 제 1 얼굴 이미지에 포함된 얼굴 요소 중 미리 설정된 복수개의 얼굴 요소는 제 1 사용자 인증에 이용되는데, 만약, 입력되는 이미지가 복수개의 얼굴 요소 중 일부가 결여된 경우, 제어부(180)는 입력되는 이미지를 제 2 얼굴 이미지로 인식할 수 있다.
예를 들어, 제 1 얼굴 이미지 상에 얼굴 요소로 인물의 양 눈, 코 및 입이 포함되어 있고, 제 1 사용자 인증을 위한 인자로 미리 설정된 얼굴 요소가 양 눈과 코인 경우를 가정하도록 한다. 이때, 사용자의 얼굴과 이동 단말기(100)의 카메라(121a) 사이의 거리가 가까우면, 제 1 얼굴 이미지 중 일부가 카메라(121a)를 통해 입력될 수 있다.
특히, 이때, 입력되는 일부 이미지는 제 1 얼굴 이미지 상의 얼굴 요소 중, 입과 한쪽 눈이 제외된 이미지일 수 있다. 즉, 제 1 사용자 인증을 위한 얼굴 요소는 양 눈과 코인데, 양 눈의 얼굴 요소 중 일부가 결여된 한쪽 눈과 코가 포함된 얼굴 이미지가 본 발명의 제 2 얼굴 이미지일 수 있다. 또는, 상기 예에서 코를 제외하고 양 눈 또는 한쪽 눈만 포함된 얼굴 이미지가 본 발명의 제 2 얼굴 이미지일 수도 있다. 또는, 상기 예에서 양 눈이 제외되고, 코만 포함된 이미지가 본 발명의 제 2 이미지일수도 있다.
이와 같은 제 2 얼굴 이미지가 입력되면, 제어부(180)는 제 2 얼굴 이미지로부터 도출해 낼 수 있는 얼굴 요소들 중 적어도 하나를 이용하여 제 2 사용자 인증을 행할 수 있다. 즉, 상기 예에서, 제 2 얼굴 이미지에 얼굴 요소 한쪽 눈과 코가 포함된 경우, 제어부(180)는 이 중에서 한쪽 눈 및 코 중 적어도 하나를 이용하여 사용자 인증을 수행할 수 있다.
만약, 제어부(180)가 한쪽 눈만을 이용하여 사용자 인증을 행하는 경우, 제어부(180)는 한쪽 또는 양쪽 눈의 홍채를 인식하여 사용자 인증을 행할 수도 있다. 즉, 제어부(180)는 입력된 이미지 상의 얼굴 요소로 홍채를 인식하여, 저장된 홍채의 패턴과 비교함으로써 사용자 인증을 수행할 수 있다. 이와 같이 제 2 얼굴 이미지를 이용하여 제어부(180)가 수행하는 사용자 인증을 이하의 설명에서는 제 2 사용자 인증이라고 명칭한다.
상기와 같이, 카메라(121a)를 통해 입력된 제 2 얼굴 이미지 상에 제 1 사용자 인증을 위한 얼굴 요소 중 일부가 결여된 경우에, 제 1 사용자 인증을 위한 얼굴 요소 중 결여된 일부 요소를 제외한 나머지 제 2 얼굴 이미지 상의 얼굴 요소 전부를 이용하여 사용자 인증을 수행할 것인지, 특정 얼굴 요소만을 이용하여 사용자 인증을 수행할 것인지는 사용자 또는 제조자의 설정에 따라 결정될 수 있다.
또한, 특정 얼굴 요소만을 이용하여 사용자 인증을 수행하는 경우, 인식된 얼굴 요소 중 어떤 얼굴 요소를 특정하거나, 우선적으로 이용하여 사용자 인증을 수행할 것인지 여부 역시 사용자 또는 제조자의 설정에 따라 결정될 수 있다.
한편, 제 2 얼굴 이미지가 제 1 사용자 인증을 위한 얼굴 요소 중 일부가 결여된 이미지인 경우를 설명하였으나, 경우에 따라 제 1 사용자 인증을 위한 얼굴 요소 중 전부가 결여된 이미지도 제 2 얼굴 이미지가 될 수 있다.
상기 예에서 카메라(121a)를 통해 입력되는 얼굴 이미지가 사용자의 입만을 얼굴 요소로 포함하는 경우에, 제 2 얼굴 이미지는 얼굴 요소 중 입을 포함하는 이미지이며, 제어부(180)는 얼굴 요소 입을 이용하여 제 2 사용자 인증을 수행할 수도 있다.
이하, 도 2 내지 도 22를 참조하여, 본 발명에 대하여 구체적으로 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 이동 단말기의 동작 흐름도이다. 또한, 도 3은 본 발명의 실시예에 따른 이동 단말기에 적용되는 사용자 얼굴을 이용한 사용자 인증 방식을 설명하기 위한 예시도이고, 도 4는 본 발명의 실시예에 따른 이동 단말기에 적용되는 사용자 얼굴 중 일부를 이용한 사용자 인증 방식을 설명하기 위한 예시도이다.
도 2를 참조하면, 제어부(180)는 사용자 인증을 위하여 카메라(121a)가 활성화 되도록 제어할 수 있다[S201]. 사용자 인증을 위하여, 제어부(180)가 카메라(121a)를 활성화시키는 경우의 예시는 도 10 및 도 11에 대한 설명에서 후술하도록 한다.
도 3의 (a)에서, 사용자(300)가 이동 단말기(100)를 소정의 거리에서 파지하고 있는 경우가 도시되었다. 상기 소정의 거리에서 활성화된 카메라(121a)를 통해 사용자의 얼굴 이미지가 입력되면, 제어부(180)는 입력된 얼굴 이미지를 배경 이미지와 구분하여, 입력된 얼굴 이미지가 제 1 얼굴 이미지에 해당하는지 판단할 수 있다[S203].
즉, 제어부(180)는 카메라(121a)를 통해 입력된 얼굴 이미지 상의 얼굴 요소를 인식할 수 있으며, 입력된 얼굴 이미지가 제 1 사용자 인증을 위한 얼굴 요소를 포함하고 있는지 판단할 수 있다. 이때, 제어부(180)는 입력되는 제 1 얼굴 이미지(305)가 디스플레이부(151)를 통해 디스플레이되도록 제어할 수 있다.
도 3의 (b)를 참조하면, 제어부(180)는 제 1 얼굴 이미지(305)를 기초로 제 1 사용자 인증을 수행할 수 있다[S205].
구체적으로, 제어부(180)는 제 1 얼굴 이미지(305) 상의 얼굴 요소 중, 미리 설정된 얼굴 요소를 제 1 사용자 인증을 위한 인자로서 추출하고, 추출된 인자가 미리 등록된 사용자의 얼굴 요소에 대응되는지 판단할 수 있다. 제어부(180)는 제 1 얼굴 이미지(305) 중, 미리 설정된 제 1 사용자 인증을 위한 얼굴 요소가 포함된 영역(315)을 결정할 수 있으며, 영역(315)을 중심으로 카메라(121a)의 초점이 조절되도록 제어할 수도 있다. 상기 초점 조절에 의해 사용자 인증을 위한 제어부(180)의 얼굴 인식 수행에 있어서 인식률을 높일 수 있다.
예를 들어, 양 눈, 코 및 입이 제1 사용자 인증을 위한 얼굴 요소로 미리 설정된 경우, 제어부(180)는 양 눈, 코 및 입이 모두 포함된 영역(315)을 확정하고, 영역(315) 상의 얼굴 요소 각각의 모양, 위치 및 얼굴 요소 사이의 거리 등을 인식할 수 있다. 상기 인식 결과를 바탕으로, 제어부(180)는 입력된 제 1 얼굴 이미지가 미리 등록된 사용자 얼굴 요소에 대응하는지 판단할 수 있다.
상기 판단 결과, 추출된 인자가 미리 등록된 사용자의 얼굴 요소에 대응되는 경우, 제어부(180)는 제 1 사용자 인증이 수행되도록 제어할 수 있다. 제 1 사용자 인증이 완료된 경우, 제어부(180)의 이동 단말기(100)의 가능 실행 및 이동 단말기(100)를 통해 수행되는 각종 어플리케이션의 실행에 대하여 도 12 및 도 13에 대한 설명에서 후술하도록 한다.
한편, 상기 단계(S203)에서, 입력된 얼굴 이미지가 제 1 얼굴 이미지가 아닌 경우에 대하여 설명하도록 한다.
도 4의 (a)에서, 사용자(300)가 이동 단말기(100)를 소정의 거리에서 파지하고 있는 경우가 도시되었다. 특히, 도 4의 (a)에서 이동 단말기(100)와 사용자(300)의 거리는 도 3의 (a)에서의 거리보다 가까운 경우가 도시되었다.
이와 같은 경우, 활성화된 카메라(121a)를 통해 도 3의 (b)와 같은 제 1 얼굴 이미지가 아닌 제 2 얼굴 이미지가 입력될 수 있다. 즉, 이동 단말기(100)와 사용자(300)의 거리가 가까운 경우, 카메라(121a)를 통해 제 1 사용자 인증에 필요한 얼굴 요소들 중 일부가 결여된 제 2 얼굴 이미지가 입력될 수 있다.
제어부(180)는 입력된 얼굴 이미지가 제 2 얼굴 이미지에 해당하는지 판단할 수 있다(407). 즉, 제어부(180)는 카메라(121a)를 통해 입력된 얼굴 이미지 상의 얼굴 요소를 인식할 수 있으며, 입력된 얼굴 이미지에 제 1 사용자 인증을 위한 얼굴 요소 중 일부가 결여된 것을 인식할 수 있다.
예를 들어, 도 3의 예시와 같이 제 1 얼굴 이미지(305) 상의 얼굴 요소 중, 제 1 사용자 인증을 위한 미리 설정된 얼굴 요소가 양 눈, 코 및 입인 경우를 가정하도록 한다. 제어부(180)는 사용자(300)의 얼굴 이미지(405)가 입력되면, 얼굴 요소인 양 눈 중에 한쪽 눈이 포함되지 않은 제 2 얼굴 이미지(405)가 입력되었음을 인식할 수 있다.
이때, 제어부(180)는 입력되는 제 2 얼굴 이미지(405)가 디스플레이부(151)를 통해 디스플레이되도록 제어할 수도 있다.
도 4의 (b)를 참조하면, 제어부(180)는 제 2 얼굴 이미지(405)를 기초로 제 2 사용자 인증을 수행할 수 있다[S209]. 특히, 상기 예에서, 양 눈 중 한쪽 눈이 제외된 제 2 얼굴 이미지(405)가 입력됨에 따라, 제어부(180)는 제 1 사용자 인증이 불가함을 인식할 수 있다. 이에 따라 입력된 제 2 얼굴 이미지(405)로부터 도출해 낼 수 있는 얼굴 요소 중 적어도 하나를 이용하여 제어부(180)는 제 2 사용자 인증을 수행할 수 있다.
제 2 얼굴 이미지(405)로부터 도출해낼 얼굴 요소 중 사용자의 홍채가 제2 사용자 인증을 위한 얼굴 요소로 미리 설정된 경우를 예를 들어 설명하도록 한다. 제어부(180)는 미리 설정된 제 2 사용자 인증을 위한 얼굴 요소가 포함된 영역(410)을 결정할 수 있으며, 영역(410)을 중심으로 카메라(121a)의 초점이 조절되도록 제어할 수 있다. 제어부(180)는 카메라(121a)를 이용하여, 사용자 홍채를 인식하고 인식된 홍채가 미리 등록된 사용자의 홍채 패턴에 대응되는지 여부를 판단할 수 있다.
상기 판단 결과, 인식된 홍채가 미리 등록된 사용자의 홍채 패턴에 대응되는 경우, 제어부(180)는 제 2 사용자 인증이 수행되도록 제어할 수 있다. 제 2 사용자 인증이 완료된 경우, 제어부(180)의 이동 단말기(100)의 가능 실행 및 이동 단말기(100)를 통해 수행되는 각종 어플리케이션의 실행에 대하여 도 12 및 도 13에 대한 설명에서 후술하도록 한다.
한편, 제 2 얼굴 이미지(405)가 입력되지 않은 경우, 제어부(180)는 사용자 입력을 감지하거나, 사용자 인증에 대한 요청이 감지되면, 카메라(121a)가 활성화되도록 제어할 수 있다.
이하, 도 5 내지 도 7을 참조하여, 홍채 인식을 위한 카메라 동작에 대하여 구체적으로 설명하도록 한다.
도 5는 본 발명의 실시예에 따른 이동 단말기의 적외선 발광부를 설명하기 위한 예시도이다. 또한, 도 6은 본 발명의 실시예에 따른 이동 단말기의 카메라가 인식하는 빛의 파장을 설명하기 위한 예시도이고, 도 7은 본 발명의 실시예에 따른 이동 단말기의 카메라에 구비되는 적외선 패스 필터를 설명하기 위한 그래프이다.
도 5의 (a)는 사용자(300)의 홍채(310)를 인식하기 위한, 장비의 구성을 설명하기 위한 예시도이다. 도 5의 (a)에서, 홍채(310) 인식을 위한 장비로, 카메라(520)와, 적외선 패스 필터(525) 및 적외선 광원(530)이 도시되었다.
홍채(310) 인식은 적외선 광원에 홍채(310)가 노출되고, 가시광선이 제거되는 경우 인식률이 높아진다. 따라서, 적외선 광원(530)에 홍채(310)가 노출되었을 때, 카메라(520)는 적외선 패스 필터(525)를 통해 가시광선이 제거된 상태에서 홍채(310)의 패턴을 인식하는 것이 일반적이다. 특히, 카메라(520)는 적외선 패스 필터(525)가 물리적으로 결합되므로, 홍채 인식을 위해서는 가시광선을 통과시키는 이동 단말기(100)의 전면에 구비된 카메라(121a) 외에 별도의 카메라(520)가 필요할 수 있다.
그러나, 도 5의 (b)를 참조하여, 가시광선을 통과시키는 카메라(121a)를 이용하여 홍채 인식을 가능하게 하는 이동 단말기(100)를 제안하도록 한다.
도 5의 (b)를 참조하면, 본 발명의 이동 단말기(100)는 카메라(121a)와 인접하여 적외선 발광부(535)를 구비할 수 있다. 제어부(180)는 사용자 인증 방식으로 홍채 인식 방식이 이용되는 경우, 적외선 발광부(535)을 통해 적외선이 방출되도록 제어할 수 있다. 제어부(180)는 적외선 발광부(535)를 통해 적외선이 방출되면, 카메라(121a)를 통해 상기 사용자의 홍채가 인식되도록 제어할 수 있다.
한편, 일반적으로, 카메라(121a)는 도 6의 가시광선 영역(600)을 통과시키며, 적외선 영역(610)은 차단하는 필터를 구비할 수 있다. 또한, 도 5의 (a)에 도시된 홍채 인식용 카메라(520) 및 적외선 패스 필터(525)의 경우, 도 6의 적외선 영역(610)은 통과 시키고, 가시광선 영역(600)은 차단한다.
도 7의 (a)에 상기 카메라(121a)의 일반적인 필터가 예로써 도시되었다.
영역(700)은 도 6의 가시광선 영역(600)의 빛을 수용하는 영역에 해당한다. 그러나, 본 발명의 카메라(121a)는 도 7의 (b)에 예로써 도시된 바와 같이 영역(710)을 통해 도 6의 적외선 영역(610)을 통과시키도록 개량된 필터를 구비할 수 있다. 카메라(121a)는 개량된 필터를 이용하여 가시광선 외에 적외선을 추가적으로 감지할 수 있다.
이와 같은 개량된 필터를 구비하는 경우, 적외선 발광부(535)를 통해 적외선이 방출되면, 방출된 적외선이 홍채에 반사되고, 반사된 적외선이 카메라(121a) 필터의 영역(710)을 통해 통과함에 따라 제어부(180)는 사용자의 홍채를 인식할 수 있다.
도 8에서 설명된 바와 같이 사용자가 홍채 인식을 통한 사용자 인증 과정을 수행하는 경우, 사용자와 이동 단말기(100)의 카메라(121a)는 가까운 거리에 있게 된다. 따라서, 카메라(121a)에 상기 개량된 필터가 적용된 이동 단말기(100)를 이용하면, 영역(700)을 통해 카메라(121a)가 가시광선을 통과시키더라도 홍채 인식의 정밀도를 높일 수 있다. 즉, 사용자와 카메라(121a)가 가깝게 위치한 상태에서, 제어부(180)가 적외선 발광부(535)를 통해 사용자의 홍채에 인접하여 적외선이 방출되도록 제어함에 따라 홍채 인식에 있어 가시광선의 영향을 최소화할 수 있다.
한편, 카메라(121a)는 가시광선을 통과시키므로 여전히 가시광선에 노출된 피사체에 대한 촬영이 가능하다.
도 8은 본 발명의 실시예에 따른 이동 단말기에 적용되는 사용자로부터 선택된 일부를 이용한 사용자 인증 방식을 설명하기 위한 예시도이고, 도 9는 본 발명의 실시예에 따른 사용자로부터 선택된 사용자 얼굴의 일부를 사용자 인증에 이용하는 경우를 설명하기 위한 예시도이다.
도 3에 대한 설명에서 상술한 바와 같이 카메라(121a)를 통해 제 1 얼굴 이미지(305)가 입력된 경우, 제어부(180)는 디스플레이부(151)를 통해, 제 1 얼굴 이미지(305)가 디스플레이되도록 제어할 수 있다. 도 5에서 제 1 얼굴 이미지가 입력되면, 제어부(180)가 제 1 사용자 인증이 수행되는 경우를 설명하였다. 그러나, 제 1 얼굴 이미지가 입력된 경우에도, 경우에 따라 제어부(180)는 제 1 사용자 인증을 수행하지 않을 수도 있다.
사용자 또는 제조자의 설정에 따라 제어부(180)는 사용자에게 제 1 얼굴 이미지 입력에 따른 사용자 인증 절차 진행을 알리는 알림 창이 디스플레이되도록 제어할 수도 있다. 또한, 제어부(180)는 상기 알림 창에서 제 1 사용자 인증 절차 진행 여부를 사용자가 결정하도록 하는 사용자 인터페이스가 제공되도록 제어할 수도 있다. 상기 사용자 인터페이스를 통해, 사용자는 제 1 얼굴 이미지가 입력되었더라도, 이동 단말기(100)를 통해 제 1 사용자 인증을 수행하지 않을 수 있다.
또는, 제 1 얼굴 이미지가 입력된 이후, 제어부(180)는 사용자가 사용자 인증 방식으로 제 1 사용자 인증 및 제 2 사용자 인증 중 적어도 하나를 선택하도록 하는 선택 창이 디스플레이되도록 제어할 수도 있다.
예를 들어, 상기 선택 창은 제어부(180)가 제 1 사용자 인증을 수행하도록 하는 제 1 메뉴, 제어부(180)가 제 2 사용자 인증을 수행하도록 하는 제 2 메뉴, 제어부(180)가 제 1 및 제 2 사용자 인증을 모두 수행하도록 하는 제 3 메뉴를 포함할 수 있다. 이때, 사용자로부터 제 3 메뉴가 선택된 경우, 제어부(180)는 제 1 사용자 인증이 완료된 후, 제 2 사용자 인증을 수행할 수 있다.
이때, 사용자로부터 제 2 또는 제 3 메뉴가 선택된 경우, 제어부(180)는 제 1 얼굴 이미지가 입력되었더라도, 제 1 사용자 인증을 수행하지 않을 수 있다.
이와 같이 제 1 사용자 인증을 수행하지 않는 경우, 제 1 얼굴 이미지(505)로부터 도출되는 얼굴 요소들 중 적어도 하나를 선택할 수 있다. 이 경우, 제어부(180)는 상기 선택된 얼굴 요소만을 기초로 제 2 사용자 인증을 수행할 수 있다. 도 8의 (a)에서 사용자의 터치제스처(800)에 의해 제 1 얼굴 이미지(305) 상의 얼굴 요소 중 홍채가 선택되는 경우가 예로써 도시되었다.
이 경우, 제어부(180)는 선택된 홍채를 도 4에서 설명된 바와 같이 제 2 얼굴 이미지가 입력된 경우에 미리 설정된 제 2 사용자 인증을 위한 제 2 얼굴 이미지 상의 얼굴 요소로 취급할 수 있다. 즉, 카메라(121a)에 제 1 얼굴 이미지가 입력되었고, 제 1 얼굴 이미지 상의 양 눈, 코, 입이 제 1 사용자 인증을 위한 얼굴 요소로 미리 설정된 경우에 사용자로부터 특정 얼굴 요소가 선택되면, 제어부(180)는 선택된 얼굴 요소(홍채) 외의 얼굴 요소는 결여된 이미지가 입력된 것으로 취급할 수 있다. 이에 따라, 제어부(180)는 도 4에서 설명된 제 2 사용자 인증을 수행할 수 있다.
상기 얼굴 요소를 선택하는 사용자의 터치제스처(800)는 터치 입력, 탭 입력, 핀치 아웃 입력 등 다양한 종류일 수 있다. 또한, 특정 얼굴 요소가 포함된 영역을 설정하는 드래그 입력 역시 터치제스처(800)에 포함될 수 있다.
특히, 상기 드래그 입력(800)에 의해 제 1 얼굴 이미지(305) 상의 얼굴 요소 중 눈썹 및 눈이 포함된 영역(900)이 설정된 경우가 도 9의 (a)에 예로써 도시되었다. 또한, 드래그 입력(900)에 의해 제 1 얼굴 이미지(305) 상의 얼굴 요소 중 입이 포함된 영역(910)이 설정된 경우가 도 9의 (b)에 예로써 도시되었다. 제어부(180)는 도 9의 (a) 또는 도 9의 (b)에서 사용자의 드래그 입력(800)으로 설정된 영역(900, 910)에 포함된 얼굴 요소를 기초로 제 2 사용자 인증을 수행할 수 있다.
도 8의 (b)를 참조하면, 제어부(180)는 선택된 얼굴 요소에 대한 사용자 확인을 위하여, 선택된 얼굴 요소(810)가 확대되어 디스플레이되도록 제어할 수도 있다. 또한, 제어부(180)는 카메라(121a)가 선택된 얼굴 요소(810)에 초점이 맞춰지도록 제어할 수도 있다. 또한, 제어부(180)는 사용자 터치제스처(800)가 입력되면, 카메라(121a)의 초점이 조절되도록 제어할 수 있으며, 도 8의 (b)에서 터치제스처(800)의 예시로 상하 방향의 드래그 입력(820)이 도시되었다.
상기 도 8에서 설명된 실시예는 제 1 얼굴 이미지(305)가 입력되고 제어부(180)가 사용자 인증을 시도하였으나, 제 1 사용자 인증에 실패한 경우에 적용될 수 있다.
또는 제 1 얼굴 이미지(305)가 입력되었으나, 사용자로부터 상기 예의 제 1 메뉴가 선택되지 않은 경우에도 적용될 수 있다. 즉, 제 1 얼굴 이미지가 입력되었으나, 사용자 입력에 따라 제어부(180)가 제 2 사용자 인증을 수행하는 경우에 적용될 수도 있다. 또는, 이동 단말기(100)에 설정되거나, 사용자에 의해 선택된 사용자 인증 방식이 제 1 사용자 인증 및 제 2 사용자 인증을 모두 요구하는 경우에도 적용될 수 있다.
도 10는 본 발명의 실시예에 따른 사용자 인증 방식을 이용하여, 이동 단말기의 터치스크린 잠금 상태를 해제시키는 경우를 설명하기 위한 예시도이다,
여기에서 디스플레이부(151)의 잠금 상태란 디스플레이부(151)에 대한 오 조작 또는 오 터치를 방지하기 위해 터치제스처가 입력이 되지 않거나, 일부 사전 설정된 터치제스처만이 제한적으로 입력되는 상태를 의미한다.
제어부(180)는 디스플레이부(151)가 잠금 상태일 때, 상술한 제 1 사용자 인증 또는 제 2 사용자 인증을 통해 잠금 상태가 해제되도록 제어할 수 있다, 이를 위해, 제어부(180)는 제 1 얼굴 이미지 또는 제 2 얼굴 이미지를 입력 받기 위하여 카메라(121a)가 활성화 되도록 제어할 수 있다. 상기 카메라(121a)의 활성화는 사용자로부터 특정 키 입력을 수신하거나, 디스플레이부(151)에 터치제스처를 수신함에 따라 이뤄질 수 있다. 또한, 제어부(180)는 센싱부(140)를 통해 이동 단말기(100)의 움직임이 감지됨에 따라 카메라(121a)가 활성화 되도록 제어할 수 있다. 예를 들어, 사용자가 제 1 얼굴 이미지 또는 제 2 얼굴 이미지 입력을 위해 이동 단말기(100)를 사용자의 얼굴로 이동시키는 경우, 제어부(180)는 센싱부(140)를 통해 상기 이동을 감지하고, 카메라(121)가 활성화 되도록 제어할 수 있다. 이때, 제어부(180)는 상기 사용자 인증을 위한 그래픽 인터페이스가 디스플레이부(151)를 통해 디스플레이되도록 제어할 수도 있다.
또한, 디스플레이부(151)의 잠금 해제란, 상기 터치스크린(151) 상에 터치제스처가 입력 되면, 제어부(180)가 상기 입력된 터치제스처에 대응하는 명령을 실행할 수 있는 상태를 의미한다. 상기 제 1 사용자 인증 또는 제 2 사용자 인증을 통해 디스플레이부(151)의 잠금 상태가 해제되면, 제어부(180)는 터치스크린(151) 상에 표시되는 하나 이상의 페이지를 가지는 홈 스크린(Home Screen)화면, 다양한 앱 아이콘들이 디스플레이된 메뉴 화면 및 특정 어플리케이션의 실행 화면 중 적어도 하나가 잠금 해제 화면으로서 디스플레이되도록 제어할 수 있다. 또한, 제어부(180)는 디스플레이부(151)가 잠기기 전에 디스플레이 중이던 정보가 존재하는 경우, 잠금 해제 후 디스플레이부(151)가 잠기기 전에 디스플레이 중이던 정보가 디스플레이되도록 제어할 수도 있다.
도 10의 (a)를 참조하면, 제어부(180)는 디스플레이부(151)가 잠금 상태(1000)인 경우, 이를 알리는 그래픽이 디스플레이되도록 제어할 수 있다.
제어부(180)는 상술한 카메라(121a) 활성화를 위한 사용자 입력 또는 이동 단말기(100)의 움직임을 감지함에 따라, 카메라(121a)가 활성화되도록 제어할 수 있다. 또한, 제어부(180)는, 디스플레이부(151)가 잠긴 상태에서, 제 1 또는 제 2 사용자 인증을 통해 정당한 사용자인 것이 확인되면, 상기 디스플레이부의 잠금이 해제되도록 제어할 수 있다.
도 10의 (b)에서 활성화된 카메라(121)를 통해 제 2 얼굴 이미지(405)가 입력되고, 얼굴 요소 중 홍채를 기초로 제2 사용자 인증을 수행하는 경우가 예로써 도시되었다.
도 10의 (c)를 참조하면, 제어부(180)는 제 2 사용자 인증을 통하여, 디스플레이부(151)의 잠금 상태가 해제되도록 제어할 수 있다. 도 10의 (c)에서 잠금 해제 화면의 예로써 홈 스크린 화면(1010)이 도시되었다. 제어부(180)는 디스플레이부(151)의 잠금 해제 상태에서 사용자로부터 이동 단말기(100)를 조작하기 위한 터치제스처를 수신할 수 있다.
상기, 입력되는 얼굴 이미지, 사용자 인증에 이용되는 얼굴 요소 및 인증 방식은 예시에 불과하며, 제어부(180)는 입력되는 얼굴 이미지에 따라 얼굴 인식을 이용하는 제 1 사용자 인증을 수행할 수도 있다.
도 11은 본 발명의 실시예에 따른 이동 단말기의 사용자 인증이 요구되는 경우, 카메라 활성화 및 사용자 인증 수행을 설명하기 위한 예시도이다. 이때, 사용자가 이동 단말기(100)를 통해 특정 어플리케이션(1100)을 실행시키고 있는 경우를 가정하도록 한다.
도 11의 (a)를 참조하면, 특정 어플리케이션(1100)을 실행하는데 있어서 사용자 인증이 요구되는 경우, 제어부(180)는 제 1 또는 제 2 사용자 인증을 수행할 수 있도록 카메라(121a)가 활성화되도록 제어할 수 있다.
도 11의 (b)에서 활성화된 카메라(121)를 통해 제 2 얼굴 이미지(405)가 입력되고, 얼굴 요소 중 홍채를 기초로 제2 사용자 인증을 수행하는 경우가 예로써 도시되었다.
도 11의 (c)를 참조하면, 제어부(180)는 제 2 사용자 인증을 통하여, 특정 어플리케이션(1100)의 사용자 인증이 완료된 화면(1110)이 디스플레이되도록 제어할 수 있다. 본 실시예는 특정 웹사이트의 로그인, 인터넷 쇼핑의 결제, 인터넷 뱅킹 서비스 등에 광범위하게 적용될 수 있다.
도 12는 본 발명의 실시예에 따른 제 1 사용자 인증 방식에 따른 인증 결과 디스플레이부에 디스플레이되는 제 1 정보를 설명하기 위한 예시도이고, 도 13은 본 발명의 실시예에 따른 제 2 사용자 인증 방식에 따른 인증 결과 디스플레이부에 디스플레이되는 제 2 정보를 설명하기 위한 예시도이다.
여기에서 제 1 정보란 이동 단말기(100)를 통해 디스플레이될 수 있는 모든 대상을 의미한다. 사진, 동영상, 특정 웹 페이지, 홈 스크린 화면, 어플리케이션 리스트 및 특정 어플리케이션의 실행 화면 등이 제 1 정보에 포함될 수 있다. 제 1 정보는 이동 단말기(100)에 저장되어 있거나, 외부로부터 수신될 수도 있다.
제어부(180)는 제 1 사용자 인증이 행해진 경우, 디스플레이부(151)를 통해 제 1 정보가 디스플레이되도록 제어할 수 있다.
도 12의 (a)를 참조하면, 카메라(121a)를 통해 제 1 얼굴 이미지(305)가 입력된 경우, 제어부(180)는 이를 디스플레이하고, 제 1 사용자 인증이 수행되도록 제어할 수 있다. 도 12의 (b)를 참조하면, 제어부(180)는 상기 제 1 사용자 인증에 따라 제 1 정보가 디스플레이되도록 제어할 수 있으며, 여기에서 제 1 정보의 예시로 음악 재생 어플리케이션의 실행 화면(1200)이 도시되었다.
즉, 이동 단말기(100)의 디스플레이부(151)가 잠금 상태인 경우, 또는 음악 재생 어플리케이션의 실행에 제 1 사용자 인증이 요구되는 경우, 제어부(180)는 제 1 사용자 인증을 수행하여, 음악 재생 어플리케이션의 실행 화면이 디스플레이되도록 제어할 수 있다.
한편, 제 2 정보란, 제 1 정보와 구별하기 위한 개념으로 제 1 정보와 다른 정보를 의미한다. 제어부(180)는 제 2 사용자 인증이 행해진 경우, 디스플레이부(151)를 통해 제 2 정보가 디스플레이되도록 제어할 수 있다.
도 13의 (a)를 참조하면, 카메라(121a)를 통해 제 2 얼굴 이미지(405)가 입력된 경우, 제어부(180)는 이를 디스플레이하고, 제 2 사용자 인증이 수행되도록 제어할 수 있다. 도 13의 (b)를 참조하면, 제어부(180)는 상기 제 2 사용자 인증에 따라 제 2 정보가 디스플레이되도록 제어할 수 있으며, 여기에서 제 2 정보의 예시로 지도 어플리케이션의 실행 화면(1300)이 도시되었다.
즉, 이동 단말기(100)의 디스플레이부(151)가 잠금 상태인 경우, 또는 지도 어플리케이션의 실행에 제 2 사용자 인증이 요구되는 경우, 제어부(180)는 제 2 사용자 인증을 수행하여, 지도 어플리케이션의 실행 화면이 디스플레이되도록 제어할 수 있다.
사용자 또는 제조자의 설정에 따라 디스플레이부(151)의 잠금 해제가 제 1 사용자 인증으로 행해지는 경우, 또는 제 2 사용자 인증으로 행해지는 경우 제어부(180)가 디스플레이하는 제 1 정보 또는 제 2 정보의 종류가 결정될 수 있다. 마찬가지로, 제 1 사용자 인증 또는 제 2 사용자 인증에 의해 실행이 허용되도록 하는 특정 어플리케이션이 각각 사용자 또는 제조자의 설정에 따라 결정될 수 있다.
이하에서는 도 14 내지 도 22를 참조하여, 홍체 인식을 이용하여 사용자 인증을 수행할 때, 홍체 인식 시 사용자 및 카메라(121a) 간의 초점이 맞는 적정 거리를 가이드하는 과정에 대해 상세히 설명한다.
즉, 도 14 내지 도 22를 참조하여, 본 발명에 따라 홍체 인식 시에 기 등록된 최적의 초점이 맞는 홍체 이미지의 초점 거리 및 현재의 카메라로부터 수신된 홍체 이미지의 초점 거리 간의 차이를 실시간으로 사용자에게 알리고, 상기 현재의 홍체 이미지의 초점 거리가 상기 최적의 홍체 이미지의 초점 거리와 일치하도록 가이드하는 과정에 대해 상세히 설명한다.
도 14는 본 발명에 따른 이동 단말기의 제어 과정을 나타낸 일 실시예 흐름도이다.
도 15 내지 도 22는 본 발명에 따른 이동 단말기의 제어 과정을 나타낸 일 실시예 설명도이다.
도 14 내지 도 22를 참조하면, 제어부(180)는 사용자 인증(제 2 사용자 인증) 모드 시, 터치스크린(151)과 같은 면에 구비된 카메라(121a)를 구동시키고, 구동된 카메라(121a)로부터 사용자 인증에 필요한 제1 얼굴 요소가 포함된 얼굴 이미지가 수신되면, 상기 얼굴 이미지를 포함한 프리뷰 화면을 터치스크린(151)의 화면 상에 표시한다[S301].
그리고, 제어부(180)는 카메라(121a)를 통해 수신되는 상기 제1 얼굴 요소의 초점 거리를 주기적으로 파악하고, 상기 주기적으로 파악되는 제1 얼굴 요소의 초점 거리와 메모리(170)에 기 등록된 제2 얼굴 요소의 초점 거리를 주기적으로 비교한다[S303].
이때, 제1 및 제2 얼굴 요소는, 얼굴 내의 동일한 부위로써, 본 발명에 따라 사용자 두 눈의 홍채를 포함한다.
그리고, 제2 얼굴 요소의 초점 거리는, 초점이 맞은 상태에서 미리 캡처된 얼굴 이미지 내에서 두 눈의 홍채 사이의 유효 화소 수를 포함한다.
일 예로, 도 15의 (a)는 사용자(300)가 이동 단말기(100)에 본인을 인증하기 위해, 카메라(121a)를 통해 사용자(300)의 얼굴 이미지(305)가 수신되어 표시된 것을 나타내고 있고, 얼굴 이미지(305) 내에서 홍채(330)에 초점이 맞지 않아서, 결과적으로 홍채 인식이 되지 않는 상태를 나타내고 있다.
반면에, 도 15의 (b)는 상기 얼굴 이미지(300) 내에서 홍채(330)에 초점이 최적으로 맞아서, 결과적으로 홍채 인식이 성공된 상태를 나타내고 있다.
즉, 사용자가 카메라(121a)가 구비된 이동 단말기(100)를 파지하여, 먼 거리부터 가까운 거리까지 얼굴로 이동시키면, 이동 단말기(100)는 카메라(121a)를 통해 연속적으로 홍채(330)의 이미지를 촬영하고, 상기 촬영된 홍채 이미지들 중에서 최적으로 초점이 맞은 홍채 이미지를 판별하고, 상기 판별된 홍채 이미지 내에서 홍체 사이[또는 두 눈 사이]의 유효 화소 수를 파악하고, 상기 파악된 유효 화소 수에 대한 정보를 상기 제2 얼굴 요소의 초점 거리에 대한 정보로 등록하는 것이다.
더욱 상세히 S303 과정에서, 제어부(180)는 현재 카메라(121a)를 통해 수신되는 얼굴 이미지 내에서 주기적으로 두 눈을 인식하여 추적하고, 상기 추적된 두 눈 내의 홍채 간의 유효 화소 수를 파악하고, 상기 파악된 유효 화소수 및 메모리(170)에 기 등록된 유효 화소 수의 차이를 주기적으로 비교하는 것이다.
상기와 같이, 제어부(180)는 S303 과정의 비교 결과, 제1 및 제2 얼굴 요소 간의 초점 거리 간의 차이가 발생되면[S305], 제1 및 제2 얼굴 요소 간의 초점 거리가 일치하도록 가이드하는 동작을 수행한다[S307].
더욱 상세히, 제어부(180)는 현재 카메라(121a)를 통해 수신되는 얼굴 이미지 내의 홍채 간의 유효 화소 수가 메모리(170)에 기 등록된 유효 화소 수와 일치하지 않으면, 상기 얼굴 이미지 내의 홍채 간의 제1 유효 화소 수가 상기 기 등록된 유효 화소 수와 일치하도록, 사용자 및 카메라(121a) 간의 초점 거리 이동을 가이드하는 것이다.
한편, 카메라(121a)는 자동 포커스 조정 기능이 구비되고, 제어부(180)는 제1 및 제2 얼굴 요소 간의 초점 거리의 차이가 발생되면, 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 자동 일치되도록 카메라(121a)의 자동 포커스 동작을 제어할 수 있다.
이하, 도 16 내지 도 22를 참조하여, 도 14의 과정을 더욱 상세히 설명한다.
먼저, 도 16에 도시된 바와 같이, 제어부(180)는 현재 카메라(121a)를 통해 수신되는 얼굴 이미지가 표시되는 프리뷰 화면(350) 상에 상기 제1 및 제2 얼굴 요소 간의 초점 거리의 차이를 나타내는 정보(451, 452, 453)를 표시하여 사용자에게 제공할 수 있다.
즉, 제어부(180)는 상기 제1 얼굴 요소의 유효 화소 수가 상기 기 등록된 제2 얼굴 요소의 유효 화소 수와 일치하지 않으면, 상기 제1 얼굴 요소의 유효 화소 수가 상기 제2 얼굴 요소의 유효 화소 수와 일치하는 상태에서의 초점 거리의 차이를 계산하고, 상기 계산된 초점 거리의 차이를 나타내는 정보(511, 512, 513)를 상기 프리뷰 화면(400) 내의 기 설정된 위치에 표시할 수 있다.
일 예로, 도 16의 (a)는 도 16의 (b) 및 (c)보다 가장 초점이 맞지 않은 상태를 나타내고 있고, 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하기 위해서는 카메라(121a)가 사용자의 얼굴 쪽으로 "30cm" 접근해야되는 것을 나타내고 있다.
다른 예로, 도 16의 (b)는 도 16의 (a) 보다는 초점이 좋으나, 도 16의 (c)처럼 완전히 초점이 맞지 않은 상태를 나타내고 있고, 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하기 위해서는 카메라(121a)가 사용자의 얼굴 쪽으로 "15cm" 접근해야되는 것을 나타내고 있다.
또 다른 예로, 도 16의 (c)는 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하여, 상기 제1 얼굴 요소의 초점이 완전히 맞은 상태를 나타내고 있다.
그 다음으로, 도 17에 도시된 바와 같이, 제어부(180)는 상기 제1 및 제2 얼굴 요소 간의 초점 거리의 차이가 점차적으로 작아질수록 상기 프리뷰 화면(350) 위에 표시되는 제1 아이템(461)이 제2 아이템(462)에서 제3 아이템(463)의 형상으로 점차적으로 변화되도록 표시하고, 제1 및 제2 얼굴 요소 간의 초점 거리의 차이가 커질수록 제3 아이템(463)이 제2 아이템(462)에서 제1 아이템(461)의 형상으로 점차적 변화되도록 표시할 수 있다.
또한, 제어부(180)는 프리뷰 화면(350)에 표시된 얼굴 이미지 내에서 사용자의 두 눈을 인식하고, 상기 인식된 두 눈을 포함한 영역의 경계를 나타내는 박스(box)(460)를 표시하고, 상기 박스(460) 내의 두 눈 상에 상기 제1 내지 제3 아이템(461, 462, 463)을 표시할 수 있다.
일 예로, 도 17의 (a)는 도 17의 (b) 및 (c)보다 가장 초점이 맞지 않은 상태를 나타내고 있고, 상기 박스(460) 내의 두 눈 상에 제1 아이템(461)으로써, 타원 형상이 표시된 것을 나타내고 있다.
다른 예로, 도 17의 (b)는 도 17의 (a) 보다는 초점이 좋으나, 도 17의 (c)보다는 초점이 맞지 않은 상태를 나타내고 있고, 상기 박스(460) 내의 두 눈 상에 제2 아이템(462)으로써, 세모 형상이 표시된 것을 나타내고 있다.
또 다른 예로, 도 17의 (c)는 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하여, 상기 제1 얼굴 요소의 초점이 완전히 맞은 상태를 나타내고 있고, 상기 박스(460) 내의 두 눈 상에 제3 아이템(463)으로써, 원 형상이 표시된 것을 나타내고 있다.
즉, 사용자는 타원 형상이 세모 형상에서 원 형상으로 변화될수록, 현재 카메라(121a)를 통해 수신되어 표시되는 얼굴 이미지 내의 홍채에 대한 초점이 점차적으로 맞아가는 것을 알 수 있고, 원 형상이 세모 형상에서 타원 형상으로 변화될수록, 상기 홍채에 대한 초점이 점차적으로 맞지 않는 것을 알 수 있다.
그 다음으로, 도 18의 (a) 내지 (c)에 도시된 바와 같이, 제어부(180)는 상기 제1 및 제2 얼굴 요소 간의 초점 거리의 차이가 점차적으로 작아질수록 상기 프리뷰 화면(350) 위에 표시되는 얼굴 이미지를 점차적으로 선명하게 표시하고, 상기 제1 및 제2 얼굴 요소 간의 초점 거리의 차이가 점차적으로 커질수록 상기 프리뷰 화면(400) 위에 표시되는 얼굴 이미지를 점차적으로 흐리게 표시할 수 있다.
즉, 사용자는 현재 카메라(121a)로부터 수신되어 표시되는 얼굴 이미지가 선명해질수록 상기 얼굴 이미지 내의 홍채에 대한 초점이 점차적으로 맞아가는 것을 알 수 있고, 상기 얼굴 이미지가 흐려질수록 상기 홍채에 대한 초점이 점차적으로 맞지 않는 것을 알 수 있다.
그 다음으로, 도 19에 도시된 바와 같이, 제어부(180)는 현재 카메라(121a)를 통해 수신되는 얼굴 이미지가 표시되는 프리뷰 화면(350) 상에 상기 제1 및 제2 얼굴 요소 간의 초점 거리의 차이 및 상기 제1 및 제2 얼굴 요소 간의 초점 거리가 일치하도록 사용자 얼굴 및 카메라(121a) 간의 실제 이동을 가이드하는 음성을 출력할 수 있다.
즉, 제어부(180)는 상기 제1 얼굴 요소의 유효 화소 수가 상기 기 등록된 제2 얼굴 요소의 유효 화소 수와 일치하지 않으면, 상기 제1 얼굴 요소의 유효 화소 수가 상기 제2 얼굴 요소의 유효 화소 수와 일치하는 상태에서의 초점 거리의 차이를 계산하고, 상기 계산된 초점 거리의 차이 및 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하도록 사용자 얼굴 및 카메라(121a) 간의 실제 이동을 가이드하는 음성을 음향 출력부(152)를 통해 출력한다.
일 예로, 도 19의 (a)는 도 19의 (b) 및 (c)보다 가장 초점이 맞지 않은 상태를 나타내고 있고, 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하기 위해서 카메라(121a)가 사용자의 얼굴 쪽으로 "30cm" 접근해야됨을 가이드 하는 음성(471)이 출력되고 있는 것을 나타내고 있다.
다른 예로, 도 19의 (b)는 도 19의 (a) 보다는 초점이 좋으나, 도 19의 (c)보다는 초점이 맞지 않은 상태를 나타내고 있고, 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하기 위해서 카메라(121a)가 사용자의 얼굴 쪽으로 "15cm" 접근해야됨을 가이드 하는 음성(472)이 출력되고 있는 것을 나타내고 있다.
또 다른 예로, 도 19의 (c)는 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하여, 상기 제1 얼굴 요소의 초점이 완전히 맞은 상태를 알리는 음성(473)이 출력되고 있는 것을 나타내고 있다.
그 다음으로, 도 20에 도시된 바와 같이, 제어부(180)는 현재 카메라(121a)를 통해 수신되는 얼굴 이미지가 표시되는 프리뷰 화면(350) 상에 상기 제1 및 제2 얼굴 요소 간의 초점 거리의 차이 및 상기 제1 및 제2 얼굴 요소 간의 초점 거리가 일치하도록 사용자 얼굴 및 카메라(121a) 간의 실제 이동을 가이드 하는 진동 효과를 출력할 수 있다.
즉, 제어부(180)는 상기 제1 얼굴 요소의 유효 화소 수가 상기 기 등록된 제2 얼굴 요소의 유효 화소 수와 일치하지 않으면, 상기 제1 얼굴 요소의 유효 화소 수가 상기 제2 얼굴 요소의 유효 화소 수와 일치하는 상태에서의 초점 거리의 차이를 계산하고, 상기 계산된 초점 거리의 차이 및 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하도록 사용자 얼굴 및 카메라(121a) 간의 실제 이동을 가이드하는 진동 효과를 햅틱부(153)를 통해 출력한다.
일 예로, 도 20의 (a)는 도 20의 (b) 및 (c)보다 가장 초점이 맞지 않은 상태를 나타내고 있고, 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하기 위해서 카메라(121a)가 사용자의 얼굴 쪽으로 "30cm" 접근해야됨을 가이드 하는 진동 효과(481)이 발생되고 있는 것을 나타내고 있다.
다른 예로, 도 20의 (b)는 도 20의 (a) 보다는 초점이 좋으나, 도 20의 (c)보다는 초점이 맞지 않은 상태를 나타내고 있고, 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하기 위해서 카메라(121a)가 사용자의 얼굴 쪽으로 "15cm" 접근해야됨을 가이드 하는 진동 효과(482)이 출력되고 있는 것을 나타내고 있다.
또 다른 예로, 도 20의 (c)는 상기 제1 얼굴 요소의 초점 거리가 상기 제2 얼굴 요소의 초점 거리와 일치하여, 상기 제1 얼굴 요소의 초점이 완전히 맞은 상태여서 진동 효과가 발생되지 않은 상태를 나타내고 있다. 물론, 상기 제1 얼굴 요소의 초점이 완전히 맞은 상태를 나타내는 다른 진동 효과가 발생될 수도 있다.
그 다음으로, 도 21의 (a)는 사용자가 홍채 인식 시에, 사용자의 시선이 카메라(121a)가 아닌 본인의 모습이 표시되는 이동 단말기(100)의 화면을 향하기에, 결과적으로 카메라(121a)를 통해 촬영되는 사용자 얼굴 이미지 내의 안구 시선이 아래로 향하게 되어 홍채 인식이 실패되는 상황이 종종 발생될 수 있다.
도 21의 (b)는 사용자가 홍채 인식 시에, 사용자의 시선이 상기 화면이 아닌 카메라(121a)를 향할 때 카메라(121a)를 통해 촬영되는 사용자 얼굴 이미지 내의 안구 시선이 정면을 향하게 되어 홍채 인식이 성공되는 상태를 나타내고 있다.
따라서, 도 22에 도시된 바와 같이, 제어부(180)는 카메라(121a)로부터 수신된 얼굴 이미지로부터 제1 얼굴 요소인 두 눈의 위치를 인식하고, 상기 인식된 두 눈이 포함된 영역을 추출(또는 복사, 또는 크롭)하고, 상기 추출된 영역을 상기 얼굴 이미지가 표시되는 프리뷰 화면 내에서 카메라(121a)가 설치된 부분과 인접한 곳에 표시한다.
즉, 제어부(180)는 프리뷰 화면을 제1 및 제2 영역(350, 350A)으로 분할하고, 제1 영역(350)에 카메라(121a)로부터 수신되는 얼굴 이미지의 전체를 표시하고, 제2 영역(350A)에 상기 얼굴 이미지 내에서 두 눈이 포함된 영역을 표시할 수 있다.
이때, 도 22의 (a)는 앞서 설명한 도 17과 같이, 카메라(121a)로부터 수신되는 얼굴 이미지 및 기 등록된 얼굴 이미지의 두 눈 간의 초점 거리의 차이가 없어서, 제2 영역(350A) 내에 표시된 두 눈 상에 원형의 아이템이 표시된 것을 나타내고 있고, 도 22의 (b)는 카메라(121a)로부터 수신되는 얼굴 이미지 및 기 등록된 얼굴 이미지의 두 눈 간의 초점 거리의 차이가 있어서, 제2 영역(350A) 내에 표시된 두 눈 상에 타원형의 아이템이 표시된 것을 나타내고 있다.
또한, 도 22의 (c)는 앞서 설명한 도 18과 같이, 카메라(121a)로부터 수신되는 얼굴 이미지 및 기 등록된 얼굴 이미지의 두 눈 간의 초점 거리의 차이가 없어서, 제2 영역(350A)이 선명하게 표시된 것을 나타내고 있고, 도 22의 (d)는 카메라(121a)로부터 수신되는 얼굴 이미지 및 기 등록된 얼굴 이미지의 두 눈 간의 초점 거리의 차이가 있어서, 제2 영역(350A)이 흐리게 표시된 것을 나타내고 있다.
이상, 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 카메라;
    상기 카메라를 통해 입력되는 이미지를 디스플레이하는 디스플레이부; 및
    상기 카메라를 통해 사용자 인증에 필요한 얼굴 요소들을 포함한 제 1 얼굴 이미지가 수신되면, 상기 수신된 제 1 얼굴 이미지를 기초로 사용자 인증을 수행하고, 상기 얼굴 요소들 중 일부가 결여된 제 2 얼굴 이미지가 수신되면, 상기 수신된 제 2 얼굴 이미지 내에 포함된 적어도 하나의 얼굴 요소를 이용하여 사용자 인증을 수행하는 제어부;를 포함하여 이루어지는 이동 단말기.
  2. 제 1 항에 있어서,
    상기 제어부는, 제 1 얼굴 이미지 내에 포함된 얼굴 요소들 중 적어도 하나가 선택되면, 상기 선택된 얼굴 요소만을 기초로 사용자 인증을 수행하는 것을 특징으로 하는 이동 단말기.
  3. 제 2 항에 있어서,
    상기 제어부는, 상기 제 1 얼굴 이미지 중 상기 선택된 얼굴 요소가 확대 표시되도록 제어하는 것을 특징으로 하는 이동 단말기.
  4. 제 2 항에 있어서,
    상기 제어부는, 상기 선택된 얼굴 요소에 상기 카메라의 초점이 맞춰지도록 제어하는 것을 특징으로 하는 이동 단말기.
  5. 제 1 항에 있어서,
    상기 제어부는, 상기 디스플레이부의 화면이 잠긴 상태에서, 사용자 인증을 통해 정당한 사용자인 것이 확인되면, 상기 디스플레이부의 화면 잠금이 해제되도록 제어하는 것을 특징으로 하는 이동 단말기.
  6. 제 1 항에 있어서,
    상기 제어부는, 특정 어플리케이션을 실행하는데 사용자 인증이 요구되는 경우, 상기 카메라를 활성화시키는 것을 특징으로 하는 이동 단말기.
  7. 제 1 항에 있어서,
    제 1 얼굴 이미지는, 적어도 두개의 얼굴 요소를 포함하고,
    상기 사용자 인증은, 제 1 얼굴 이미지 내의 적어도 두개의 얼굴 요소들에 대한 인식을 통해 수행되거나 또는 제2 얼굴 이미지 내에 포함된 홍채의 인식을 통해 수행되는 것을 특징으로 하는 이동 단말기.
  8. 제 1 항에 있어서,
    제 2 얼굴 이미지는, 제1 얼굴 요소를 포함하고,
    사용자 인증에 필요한 제2 얼굴 요소의 초점 거리 정보가 저장된 메모리;를 더 포함하며,
    상기 제어부는, 제 2 얼굴 이미지 내의 제 1 얼굴 요소의 초점 거리 및 상기 저장된 제 2 얼굴 요소의 초점 거리 간의 차이가 발생되면, 제 1 및 제 2 얼굴 요소 간의 초점 거리가 일치하도록 가이드하는 동작을 수행하는 것을 특징으로 하는 이동 단말기.
  9. 제 8 항에 있어서,
    제 1 및 제 2 얼굴 요소는, 사용자의 두 눈의 홍채를 포함하는 것을 특징으로 하는 이동 단말기.
  10. 제 8 항에 있어서,
    상기 초점 거리 정보는, 초점이 맞은 상태에서 미리 캡처(Capture)된 얼굴 이미지 내에서 두 눈의 홍채 사이의 유효 화소 수를 포함하고,
    상기 제어부는, 제 2 얼굴 이미지 내의 홍채 사이의 유효 화소 수 및 상기 미리 캡처된 얼굴 이미지 내에서 홍채 사이의 유효 화소 수 간의 차이를 실시간으로 비교하는 것을 특징으로 하는 이동 단말기.
  11. 제 8 항에 있어서,
    상기 제어부는, 제 1 얼굴 요소의 초점 거리가 상기 저장된 제 2 얼굴 요소의 초점 거리와 자동 일치되도록 상기 카메라의 포커스 동작을 제어하는 것을 특징으로 하는 이동 단말기.
  12. 제 8 항에 있어서,
    음향 출력부;를 더 포함하고,
    상기 제어부는, 제 1 및 제 2 얼굴 요소의 초점 거리의 차이를 나타내는 음성을 상기 음향 출력부가 출력하도록 제어하는 것을 특징으로 하는 이동 단말기.
  13. 제 12 항에 있어서,
    상기 제어부는, 제 1 및 제 2 얼굴 요소 간의 초점 거리가 일치하도록 사용자 얼굴 및 상기 카메라 간의 실제 이동을 가이드하는 음성을 상기 음향 출력부가 출력하도록 제어하는 것을 특징으로 하는 이동 단말기.
  14. 제 8 항에 있어서,
    햅틱부;를 더 포함하고,
    상기 제어부는, 제 1 및 제 2 얼굴 요소의 초점 거리의 차이를 나타내는 진동 효과를 상기 햅틱부가 발생하도록 제어하는 것을 특징으로 하는 이동 단말기.
  15. 제 14 항에 있어서,
    상기 제어부는, 제 1 및 제 2 얼굴 요소 간의 초점 거리가 일치하도록 사용자 얼굴 및 상기 카메라 간의 실제 이동을 가이드하는 진동 효과를 상기 햅틱부가 발생하도록 제어하는 것을 특징으로 하는 이동 단말기.
  16. 제 8 항에 있어서,
    상기 제어부는, 제 2 얼굴 이미지 위에 제 1 및 제 2 얼굴 요소 간의 초점 거리의 차이를 나타내는 정보를 표시하는 것을 특징으로 하는 이동 단말기.
  17. 제 8 항에 있어서,
    상기 제어부는, 제 1 및 제 2 얼굴 요소 간의 초점 거리의 차이가 커질수록 제2 얼굴 이미지를 흐리게 표시하고, 제 1 및 제 2 얼굴 요소 간의 초점 거리의 차이가 작아질수록 제 2 얼굴 이미지를 선명하게 표시하는 것을 특징으로 하는 이동 단말기.
  18. 제 8 항에 있어서,
    상기 제어부는, 제 1 및 제 2 얼굴 요소 간의 초점 거리의 차이가 커질수록 제 2 얼굴 이미지 상에 표시되는 제 1 아이템이 제 2 아이템으로 점차적 변화되도록 표시하고, 제 1 및 제 2 얼굴 요소 간의 초점 거리의 차이가 작아질수록 제 2 아이템이 제1 아이템으로 점차적 변화되도록 표시하는 것을 특징으로 하는 이동 단말기.
  19. 제 8 항에 있어서,
    상기 제어부는, 제2 얼굴 이미지 내에서 제1 얼굴 요소가 포함된 영역을 추출하고, 상기 추출된 영역의 이미지를 제2 얼굴 이미지 내에서 상기 카메라가 설치된 부분과 인접한 영역 상에 표시하는 것을 특징으로 하는 이동 단말기.
  20. 카메라를 통해 사용자 인증에 필요한 얼굴 요소들을 포함하는 제 1 얼굴 이미지를 수신하는 단계;
    상기 수신된 제 1 얼굴 이미지를 표시하는 단계;
    상기 수신된 제 1 얼굴 이미지를 기초로 사용자 인증을 수행하는 단계;
    상기 카메라를 통해 상기 얼굴 요소들 중 일부가 결여된 제 2 얼굴 이미지를 수신하는 단계;
    상기 수신된 제 2 얼굴 이미지를 표시하는 단계; 및
    상기 수신된 제 2 얼굴 이미지 내에 포함된 적어도 하나의 얼굴 요소를 이용하여 사용자 인증을 수행하는 단계;를 포함하여 이루어지는 이동 단말기의 제어 방법.
PCT/KR2015/001816 2014-03-13 2015-02-25 이동 단말기 및 그 제어 방법 WO2015137645A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/121,356 US10162955B2 (en) 2014-03-13 2015-02-25 Mobile terminal and method for controlling same
EP15761314.2A EP3118761B1 (en) 2014-03-13 2015-02-25 Mobile terminal and method for controlling same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020140029485A KR102131830B1 (ko) 2014-03-13 2014-03-13 이동 단말기 및 이의 제어 방법
KR10-2014-0029485 2014-03-13
KR10-2014-0138151 2014-10-14
KR1020140138151A KR20160043690A (ko) 2014-10-14 2014-10-14 이동 단말기 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2015137645A1 true WO2015137645A1 (ko) 2015-09-17

Family

ID=54072035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/001816 WO2015137645A1 (ko) 2014-03-13 2015-02-25 이동 단말기 및 그 제어 방법

Country Status (3)

Country Link
US (1) US10162955B2 (ko)
EP (1) EP3118761B1 (ko)
WO (1) WO2015137645A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040045A1 (zh) * 2016-08-31 2018-03-08 深圳前海达闼云端智能科技有限公司 监控方法、装置及电子设备
WO2020062848A1 (zh) * 2018-09-30 2020-04-02 华为技术有限公司 一种人脸识别方法、光心标定方法和终端
US11074444B2 (en) 2017-04-21 2021-07-27 Advanced New Technologies Co., Ltd. Method and apparatus for use in previewing during iris recognition process

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809581B (zh) 2007-09-24 2014-12-10 苹果公司 电子设备中的嵌入式验证系统
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US8769624B2 (en) 2011-09-29 2014-07-01 Apple Inc. Access control utilizing indirect authentication
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
WO2016039155A1 (ja) * 2014-09-11 2016-03-17 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、画像処理方法、プログラム及び情報記憶媒体
KR102255351B1 (ko) * 2014-09-11 2021-05-24 삼성전자주식회사 홍채 인식 방법 및 장치
JP6476468B2 (ja) * 2015-02-27 2019-03-06 富士通コネクテッドテクノロジーズ株式会社 虹彩認証装置及び電子機器
CN104834852B (zh) * 2015-05-04 2018-07-13 惠州Tcl移动通信有限公司 一种移动终端基于高质量眼纹图像进行解锁的方法及系统
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US20170046507A1 (en) * 2015-08-10 2017-02-16 International Business Machines Corporation Continuous facial recognition for adaptive data restriction
WO2017043314A1 (ja) 2015-09-09 2017-03-16 日本電気株式会社 ガイダンス取得装置、ガイダンス取得方法及びプログラム
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10579879B2 (en) 2016-08-10 2020-03-03 Vivint, Inc. Sonic sensing
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
KR102329765B1 (ko) * 2017-03-27 2021-11-23 삼성전자주식회사 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
KR20230117638A (ko) * 2017-05-16 2023-08-08 애플 인크. 향상된 사용자 상호작용들을 위한 이미지 데이터
DK180007B1 (en) 2017-05-16 2020-01-16 Apple Inc. RECORDING AND SENDING EMOJI
CN107330415A (zh) * 2017-07-10 2017-11-07 广东欧珀移动通信有限公司 电子装置
US10740446B2 (en) * 2017-08-24 2020-08-11 International Business Machines Corporation Methods and systems for remote sensing device control based on facial information
EP3598341B1 (en) * 2017-09-09 2022-11-23 Apple Inc. Implementation of biometric authentication using a viewfinder
KR102301599B1 (ko) 2017-09-09 2021-09-10 애플 인크. 생체측정 인증의 구현
AU2019200360B2 (en) * 2017-09-09 2019-03-28 Apple Inc. Implementation of biometric authentication
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
CN107656727A (zh) * 2017-10-20 2018-02-02 维沃移动通信有限公司 一种字体库生成方法及移动终端
KR102495796B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치
DK201870374A1 (en) 2018-05-07 2019-12-04 Apple Inc. AVATAR CREATION USER INTERFACE
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
US11907346B1 (en) * 2021-01-15 2024-02-20 Wells Fargo Bank, N.A. Facial feature analysis for authentication
CN115086478A (zh) * 2022-05-10 2022-09-20 广东以诺通讯有限公司 一种终端信息保密方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050933A1 (en) * 2004-06-21 2006-03-09 Hartwig Adam Single image based multi-biometric system and method
US20100194571A1 (en) * 2001-01-10 2010-08-05 Ortiz Luis M Point of entry authorization utilizing rfid enabled profile and biometric data
KR20130054767A (ko) * 2011-11-17 2013-05-27 주식회사 에스원 다중 생체 인식 장치 및 방법
US20130243264A1 (en) * 2010-07-29 2013-09-19 Fujitsu Limited Biometric authentication device and computer readable medium
US20130254862A1 (en) * 2011-09-27 2013-09-26 George P. Sampas Mobile device-based authentication

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500096B2 (ja) * 2004-04-27 2010-07-14 オリンパス株式会社 内視鏡及び内視鏡システム
WO2008131201A1 (en) 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
JP4604073B2 (ja) * 2007-10-03 2010-12-22 本田技研工業株式会社 車両用飲酒運転防止装置
JP5831193B2 (ja) 2011-12-13 2015-12-09 富士通株式会社 利用者検知装置、方法及びプログラム
KR101443960B1 (ko) * 2012-02-22 2014-11-03 주식회사 팬택 사용자 인증 전자 장치 및 방법
US8542879B1 (en) * 2012-06-26 2013-09-24 Google Inc. Facial recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194571A1 (en) * 2001-01-10 2010-08-05 Ortiz Luis M Point of entry authorization utilizing rfid enabled profile and biometric data
US20060050933A1 (en) * 2004-06-21 2006-03-09 Hartwig Adam Single image based multi-biometric system and method
US20130243264A1 (en) * 2010-07-29 2013-09-19 Fujitsu Limited Biometric authentication device and computer readable medium
US20130254862A1 (en) * 2011-09-27 2013-09-26 George P. Sampas Mobile device-based authentication
KR20130054767A (ko) * 2011-11-17 2013-05-27 주식회사 에스원 다중 생체 인식 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3118761A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040045A1 (zh) * 2016-08-31 2018-03-08 深圳前海达闼云端智能科技有限公司 监控方法、装置及电子设备
US11074444B2 (en) 2017-04-21 2021-07-27 Advanced New Technologies Co., Ltd. Method and apparatus for use in previewing during iris recognition process
WO2020062848A1 (zh) * 2018-09-30 2020-04-02 华为技术有限公司 一种人脸识别方法、光心标定方法和终端

Also Published As

Publication number Publication date
EP3118761A1 (en) 2017-01-18
EP3118761B1 (en) 2021-05-12
US10162955B2 (en) 2018-12-25
EP3118761A4 (en) 2018-11-07
US20160364561A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
WO2015137645A1 (ko) 이동 단말기 및 그 제어 방법
WO2016035921A1 (ko) 이동 단말기 및 그것의 제어방법
WO2017003018A1 (ko) 이동 단말기 및 그 제어 방법
WO2017051975A1 (ko) 이동 단말기 및 그 제어방법
WO2015190666A1 (en) Mobile terminal and method for controlling the same
WO2015190662A1 (en) Mobile terminal and control system
WO2018021633A1 (ko) 이동 단말기
WO2018124334A1 (ko) 전자장치
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2015194723A1 (ko) 이동단말기 및 그 제어방법
WO2017010595A1 (ko) 키보드 및 이를 구비하는 단말 시스템
WO2015126012A1 (ko) 이동단말기 및 그 제어방법
WO2022045408A1 (ko) 알림 ui(user interface)를 표시하는 이동 단말기 및 그 제어 방법
WO2016195146A1 (ko) 헤드 마운티드 디스플레이
WO2017052004A1 (ko) 이동 단말기 및 그 제어방법
WO2017026554A1 (ko) 이동 단말기
WO2015174611A1 (ko) 이동 단말기 및 그것의 제어 방법
WO2018030619A1 (ko) 이동 단말기
WO2016013768A1 (ko) 이동단말기 및 그 제어방법
WO2016003066A1 (en) Mobile terminal and method for controlling the same
WO2018052159A1 (ko) 이동 단말기 및 그 제어방법
WO2016111406A1 (ko) 이동단말기 및 그 제어방법
WO2016035920A1 (ko) 이동 단말기 및 이의 제어 방법
WO2017051961A1 (ko) 단말 장치 및 제어 방법
WO2017018680A1 (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15761314

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15121356

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015761314

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015761314

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE