WO2014021602A2 - 착용형 전자 장치 및 그의 제어 방법 - Google Patents

착용형 전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
WO2014021602A2
WO2014021602A2 PCT/KR2013/006821 KR2013006821W WO2014021602A2 WO 2014021602 A2 WO2014021602 A2 WO 2014021602A2 KR 2013006821 W KR2013006821 W KR 2013006821W WO 2014021602 A2 WO2014021602 A2 WO 2014021602A2
Authority
WO
WIPO (PCT)
Prior art keywords
user
electronic device
wearable electronic
information
image
Prior art date
Application number
PCT/KR2013/006821
Other languages
English (en)
French (fr)
Other versions
WO2014021602A3 (ko
Inventor
김준식
정승모
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120083810A external-priority patent/KR20140017735A/ko
Priority claimed from KR1020120083809A external-priority patent/KR20140017734A/ko
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to US14/413,802 priority Critical patent/US20150156196A1/en
Publication of WO2014021602A2 publication Critical patent/WO2014021602A2/ko
Publication of WO2014021602A3 publication Critical patent/WO2014021602A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/37—Managing security policies for mobile devices or for controlling mobile applications
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • the present invention relates to a method of controlling a wearable electronic device in the form of glasses or the like.
  • Augmented reality differs from virtual reality technology in that it supplements the real world to the user by superimposing virtual objects on the real world, and has a merit of providing a better reality to the user than the virtual reality.
  • augmented reality uses a display device such as a head mounted display (HMD), a head up display (HUD), or the like to display various information in front of a user's eyes.
  • HMD head mounted display
  • HUD head up display
  • researches are being actively conducted to manipulate augmented objects in augmented reality using gesture recognition.
  • the HMD is mounted on the user's head or other part and presents a projected image independent of the left and right eyes, so that when the user observes the object of view, the convergence differs between the two eyes. An image is generated, and this binocular disparity enables the perception of depth.
  • the HUD projects an image onto a transparent glass such as glass, so that the user can visually recognize the external background and the information projected from the HUD through the transparent glass.
  • An object of the present invention is to provide a wearable electronic device capable of function limitation according to user information.
  • Another object of the present invention is to provide a wearable electronic device capable of easily recording and managing a user's life log.
  • a wearable electronic device includes: a sensing unit including at least one lens and display means for displaying information on the lens, wherein the sensing unit obtains user biometric information of the wearable electronic device; And a controller configured to perform user authentication using the obtained user biometric information and to control a function of the wearable electronic device according to the user authentication result.
  • the wearable electronic device comprises a camera having at least one lens and a display means for displaying information on the lens, and photographing at regular intervals to acquire an image;
  • a sensing unit configured to detect user biometric information and motion information of the wearable electronic device;
  • a controller which controls to store or transmit the acquired image in synchronization with the information detected by the sensing unit.
  • the function of the wearable electronic device is controlled according to the result of the user authentication, thereby limiting viewing or personalization according to the user. It may be possible to provide a customized service.
  • the wearable electronic device may store or manage an image photographed at a predetermined period in synchronization with the user's biometric information and motion information, and may record and manage a lifelog without the user's awareness. It may be easy to cope with a dangerous situation.
  • FIG. 1 and 2 are perspective views illustrating a configuration of a wearable electronic device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a view viewed by a user through a wearable electronic device.
  • FIGS. 4 and 5 are perspective views illustrating still other embodiments of the wearable electronic device.
  • FIG. 6 is a block diagram illustrating an embodiment of a configuration of a wearable electronic device according to the present invention.
  • FIG. 7 is a flowchart illustrating an embodiment of a control method according to the present invention.
  • FIG. 8 and 9 illustrate embodiments of a side configuration of a wearable electronic device.
  • FIGS. 10 and 11 are diagrams illustrating embodiments of a front configuration of a wearable electronic device.
  • FIG. 12 is a diagram illustrating an embodiment of a screen displayed on a display device.
  • 13 to 17 are diagrams for describing a first embodiment of a method of controlling a function of a wearable electronic device according to a user authentication result.
  • 18 to 21 are diagrams for describing a second embodiment of a method of controlling a function of a wearable electronic device according to a user authentication result.
  • 22 to 24 are diagrams for describing an embodiment of a method of controlling a function of a wearable electronic device according to an adult authentication result.
  • 25 is a diagram illustrating an example of a method of controlling a function of a wearable electronic device according to a viewing time.
  • 26 and 27 are diagrams for describing an exemplary embodiment of a method of restricting use of a portable terminal according to user information.
  • 26 and 27 are diagrams for describing an exemplary embodiment of a method of restricting use of a portable terminal according to user information.
  • FIGS. 28 to 30 are diagrams for describing an embodiment of a method of limiting the use of a personal computer (PC) according to user information.
  • PC personal computer
  • 31 to 33 are diagrams for describing embodiments of a user interface implemented in a wearable electronic device.
  • 34 is a diagram illustrating still another example of the field of view seen by the user through the wearable electronic device.
  • 35 is a block diagram illustrating still another embodiment of the configuration of the wearable electronic device according to the present invention.
  • 36 is a flowchart illustrating an embodiment of a control method according to the present invention.
  • 37 and 38 are diagrams illustrating embodiments of a side configuration of a wearable electronic device.
  • 39 is a block diagram illustrating a configuration of a user risk detection system according to an embodiment of the present invention.
  • 40 and 41 are diagrams illustrating an embodiment of a user interface for notifying wearing of a wearable electronic device.
  • 42 to 46 illustrate embodiments of a user interface for notifying a user's state according to a user's risk level.
  • 47 is a diagram illustrating an embodiment of a method for setting a weight for determining a risk level.
  • FIG. 48 is a diagram illustrating an embodiment of a method of providing a user's lifelog together with map information.
  • 49 is a diagram illustrating an embodiment of a method of expressing a life log of a user.
  • FIG. 1 is a perspective view illustrating a configuration of a wearable electronic device according to an embodiment of the present invention, and the illustrated wearable electronic device 1 may be manufactured in the form of glasses so as to be located close to the eyes of a user.
  • the wearable electronic device 1 may include left and right lens frames 10 and 11 and a frame connecting portion ( 20), the left and right hook parts 30 and 31 and the left and right lenses 50 and 51 may be configured.
  • an image capturing apparatus capable of capturing a picture or a video may be mounted on the front of the wearable electronic device 1.
  • the camera 110 may be disposed on the front of the frame connecting portion 20. Can be arranged.
  • the user may wear and wear the glasses-type wearable electronic device 1 while photographing and storing or sharing a photo or video using the camera 110 while moving.
  • the viewpoint of the image captured by the camera 110 may be very similar to the viewpoint of the scene perceived by the user's perspective.
  • a gesture such as a user's hand gesture may be recognized using the camera 110 to control the operation or function of the wearable electronic device 1 according to the recognized gesture.
  • the position or number of the camera 110 is mounted can be changed as needed, and a special purpose camera such as an infrared camera may be used.
  • units for performing a specific function may be disposed in each of the left and right hook parts 30 and 31.
  • the right side-arm 31 may be equipped with user interface devices that receive a user input for controlling a function of the wearable electronic device 1.
  • a track ball 100 or a touch pad 101 for selecting or moving an object such as a cursor, a menu item, or the like on the screen may be disposed on the right hook 31.
  • the user interface device provided in the wearable electronic device 1 is not limited to the track ball 100 and the touch pad 101, and includes various types of key pad dome switches, jog wheels, jog switches, and the like. Input devices may be provided.
  • the left side-arm (30) may be equipped with a microphone 120, the operation or function of the wearable electronic device 1 by using the user's voice recognized through the microphone 120 Can be controlled.
  • the sensing unit 130 is disposed on the left hook portion 30 to detect the current state or information related to the user, such as the position of the wearable electronic device 1, presence or absence of user contact, azimuth, acceleration / deceleration, and the like. As a result, a sensing signal for controlling the operation of the wearable electronic device 1 may be generated.
  • the sensing unit 130 may include a motion detector such as a gyroscope or an accelerometer, a position sensor such as a GPS device, a magnetometer, and a theodolite. Although it may include a direction sensor, the present invention is not limited thereto, and may further include sensors capable of detecting various types of information in addition to the above sensors.
  • the sensing unit 130 may further include an infrared sensor, and the infrared sensor may include a light emitting unit emitting infrared rays and a light receiving unit receiving infrared rays, and may be used for infrared communication or proximity measurement. Can be.
  • the infrared sensor may include a light emitting unit emitting infrared rays and a light receiving unit receiving infrared rays, and may be used for infrared communication or proximity measurement. Can be.
  • the wearable electronic device 1 may include a communication unit 140 for communication with an external device.
  • the communication unit 140 may include a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and the like.
  • the broadcast reception module receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a pre-generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may also be provided through a mobile communication network, and in this case, may be received by the mobile communication module.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), Digital Video Broadcast-Handheld (DVB-H), Digital broadcast signals may be received using a digital broadcasting system such as ISDB-T (Integrated Services Digital Broadcast-Terrestrial).
  • DMB-T Digital Multimedia Broadcasting-Terrestrial
  • DMB-S Digital Multimedia Broadcasting-Satellite
  • MediaFLO Media Forward Link Only
  • DVD-H Digital Video Broadcast-Handheld
  • Digital broadcast signals may be received using a digital broadcasting system such as ISDB-T (Integrated Services Digital Broadcast-Terrestrial).
  • the broadcast reception module may be configured to be suitable for all broadcast systems providing broadcast signals as well as the above-described digital broadcast system.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module may be stored in a memory.
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module refers to a module for wireless internet access, and the wireless internet module may be internal or external.
  • Wireless Internet technologies may include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), and the like.
  • the short range communication module refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the wearable electronic device 1 may include a display device for displaying an image and delivering visual information to a user.
  • the display device may comprise a transparent or light transmissive unit.
  • At least one of the left and right lenses 50 and 51 shown in FIG. 1 functions as a transparent display as described above, so that the user visually recognizes text or an image formed on the lens and simultaneously views the foreground. Can be seen.
  • the wearable electronic device 1 may display various information in front of the user's eyes by using a display device such as a head mounted display (HMD) or a head up display (HUD).
  • a display device such as a head mounted display (HMD) or a head up display (HUD).
  • HMD head mounted display
  • HUD head up display
  • the HMD includes a lens for enlarging an image to form a virtual image and a display panel disposed at a position closer to the focal length of the lens.
  • the user can visually recognize the virtual image by viewing the image displayed on the display panel through the lens.
  • the image displayed on the display panel is enlarged through the lens, the enlarged image is reflected by the half mirror, and the reflected light is shown to the user so that the virtual image is formed.
  • the half mirror is configured to transmit external light, the user can also view the foreground together with the virtual image formed by the HUD by the light from the outside passing through the half mirror.
  • the display apparatus may be implemented using various transparent display schemes such as TOLED (Transparant OLED).
  • TOLED Transparant OLED
  • the wearable electronic device 1 includes a HUD, but the present invention is not limited thereto.
  • the HUDs 150 and 151 having a function similar to the projector on the rear surface of at least one of the left hook portion 30 and the right hook portion 31 are provided. Can be mounted.
  • the object 200 formed by the HUDs 150 and 151 is left and right lenses 50,. 51) may be recognized by the user as displayed on the screen.
  • the object 200 and the foreground 250 displayed on the left and right lenses 50 and 51 by the HUDs 150 and 151 may be observed together in the user's field of view.
  • the object 200 displayed on the left and right lenses 50 and 51 by the HUDs 150 and 151 is not limited to a menu icon as shown in FIG. 3, but may be an image such as text, a photo, or a video.
  • the wearable electronic device 1 may photograph, call, message, social network service, and navigation. You can perform functions such as search and search.
  • a function that combines two or more functions may be implemented, such as sharing a video captured by the camera 110 with an SNS server through the communication unit 140 and sharing it with other users.
  • a 3D glasses function for allowing a user to watch a stereoscopic image may be implemented in the wearable electronic device 1.
  • the wearable electronic device 1 may selectively open or block both eyes of the user to make the user feel a 3D effect. have.
  • the wearable electronic device 1 opens the user's left eye shutter when the display device displays a left eye image, and opens the user's right eye shutter when the display device displays a right eye image. To recognize the three-dimensional image of the three-dimensional image.
  • FIGS. 4 and 5 are perspective views illustrating still other embodiments of the wearable electronic device.
  • the wearable electronic device 1 includes only one of the left and right lenses (eg, the right lens 51) so that only one eye displays an internal display of the wearable electronic device 1 such as a HUD.
  • the image displayed on the device can be displayed.
  • the wearable electronic device 1 may be embodied in a structure that is covered by).
  • the shape and configuration of the wearable electronic device 1 as described above may be selected or changed according to various needs, such as an application field, a main function, and an injection layer.
  • FIG. 6 is a block diagram illustrating an example of a configuration of a wearable electronic device according to an embodiment of the present invention.
  • the wearable electronic device 300 illustrated in FIG. 6 includes a controller 310, a camera 320, and a sensing unit 330.
  • the display unit 340 may include a communication unit 350 and a storage unit 360.
  • the controller 310 typically controls the overall operation of the wearable electronic device 300.
  • the control unit 310 may control related operations such as photographing, calling, message, SNS, navigation, search, and the like. And perform processing.
  • the controller 310 may include a multimedia module (not shown) for multimedia playback, and the multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 310. have.
  • the controller 310 includes one or more processors and a memory for performing the above functions, and includes a camera 320, a sensing unit 330, a display unit 340, a communication unit 350, and a storage unit.
  • a signal input from 360 may be processed and analyzed.
  • the camera 320 processes an image frame such as a still image or a video obtained by the image sensor in a video call mode or a photographing mode, and the processed image frame may be displayed through the display unit 340.
  • the image frame processed by the camera 320 may be stored in the storage 360 or transmitted to the outside through the communication unit 350. Two or more cameras 320 may be provided at different positions depending on the use environment.
  • the sensing unit 330 may acquire biometric information of the user such as blood pressure, blood sugar, pulse, electrocardiogram, body temperature, exercise amount, face, iris, fingerprint, etc. together with the information related to the wearable electronic device 300. It may include one or more sensors for obtaining information.
  • control unit 310 confirms the user by using the biometric information of the user obtained by the sensing unit 330 to perform a user authentication operation, and wearable electronic device according to the confirmation result
  • the function of 300 can be controlled.
  • the storage unit 360 may store a program for the operation of the controller 310, and may temporarily store input / output data (eg, a message, a still image, a video, etc.).
  • input / output data eg, a message, a still image, a video, etc.
  • the storage unit 360 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include a storage medium of at least one type of magnetic disk, optical disk.
  • a flash memory type eg, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, It may include a storage medium of at least one type of magnetic disk, optical disk.
  • the wearable electronic device 300 may operate in association with a web storage that performs a storage function of the storage 360 on the Internet.
  • the display unit 340 displays (outputs) information processed by the wearable electronic device 300. For example, when the wearable electronic device 300 is in a call mode, the wearable electronic device 300 displays a user interface (UI) or a graphic user interface (GUI) related to a call. Image, UI, GUI can be displayed.
  • UI user interface
  • GUI graphic user interface
  • the display unit 340 may allow the user to visually recognize the object displayed through the display unit 340 with the foreground unfolded in front, HMD, HUD. Or it may be implemented using a transparent display method such as TOLED.
  • the communicator 350 may include one or more communication modules for allowing the wearable electronic device 300 to perform data communication with the external device 400.
  • the broadcast receiving module, the mobile communication module, and the wireless device may be used. It may include an internet module, a short-range communication module and a location information module.
  • the wearable electronic device 300 may further include an interface unit (not shown) that serves as a path to all external devices connected to the wearable electronic device 300.
  • the interface unit receives data from an external device, receives power, transfers the power to each component inside the wearable electronic device 300, or transmits data inside the wearable electronic device 300 to an external device.
  • wired / wireless headset ports For example, wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports, Video I / O ports, earphone ports, and the like may be included in the interface unit.
  • I / O audio input / output
  • Video I / O ports Video I / O ports, earphone ports, and the like
  • the identification module is a chip that stores various information for authenticating a use right of the wearable electronic device 300, and includes a user identification module (UIM), a subscriber identify module (SIM), and a general user. It may include an authentication module (Universal Subscriber Identity Module, USIM).
  • a device equipped with an identification module hereinafter referred to as an 'identification device' may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the wearable electronic device 300 through a port.
  • the interface unit may be a passage for supplying power from the cradle to the wearable electronic device 300, or may be input from the cradle by a user.
  • Various command signals may be a passage for transmitting to the mobile terminal.
  • Various command signals or power input from the cradle may be operated as signals for recognizing that the mobile terminal is correctly mounted on the cradle.
  • the wearable electronic device 300 may further include a power supply unit (not shown) for supplying power required for operation of each component by receiving external power and internal power under the control of the controller 310.
  • the power supply unit may be configured to include a system that can be charged using solar energy.
  • Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing the functions. It may be implemented by the controller 180.
  • embodiments such as procedures or functions may be implemented with separate software modules that allow at least one function or operation to be performed.
  • the software code may be implemented by a software application written in a suitable programming language.
  • the software code may be stored in the memory unit 360 and executed by the controller 310.
  • FIG. 7 is a flowchart illustrating an embodiment of a control method according to the present invention, and shows the configuration of the wearable electronic device 300 according to an embodiment of the present invention shown in FIG. It will be described in conjunction with the block diagram.
  • the sensing unit 330 of the wearable electronic device 300 obtains biometric information of a user (S500).
  • the biometric information of the user is information for identifying a user who wears the wearable electronic device 300.
  • the biometric information of the user may be information that can accurately identify the user or outline the user such as the gender, age or current state of the user. Information may be classified as
  • the sensing unit 330 may include a blood pressure measuring sensor, a blood sugar measuring sensor, a pulse measuring sensor, an electrocardiogram measuring sensor, a body temperature measuring sensor, an exercise amount measuring sensor, a face recognition module, an iris recognition module, a fingerprint recognition module, and the like.
  • the biometric information measurement / recognition module as described above may be mounted at a position where the biometric information may be most easily measured or recognized.
  • the sensing unit 130 for detecting movement, location, and surrounding information eg, temperature, humidity, noise, wind direction, air volume, etc.
  • the sensing unit 130 for detecting movement, location, and surrounding information eg, temperature, humidity, noise, wind direction, air volume, etc.
  • the side may be mounted on the outer surface of the hook portion (30a).
  • the fingerprint recognition module 131 is mounted on the outer surface of the hook portion 30a as shown in FIG. 8, and when the user touches any one finger to the corresponding position, the fingerprint recognition unit 330 controls the fingerprint information. ) Can be delivered.
  • the pulse measuring sensor 132 is mounted at a position adjacent to the user's ear when the wearable electronic device 300 is worn on the side hook portion 30b of the side, more specifically, as shown in FIG. 9.
  • the user's pulse may be measured automatically and the information may be transmitted to the controller 310.
  • the iris recognition modules 133 and 134 are mounted on the inner surfaces 10b and 11b of the lens frame as shown in FIG. 11, and automatically mount the iris of the user when the user wears the wearable electronic device 300. Recognize and transmit the corresponding information to the controller 310.
  • the camera 320 may perform the function of the sensing unit 330 as described above, so that the user's biometric information may be obtained by photographing a user's eyes, a part of a face, an iris or a fingerprint.
  • the microphone (not shown) performs the function of the sensing unit 330 as described above, the user's voice is recognized through the microphone and transmitted to the control unit 310, the user's voice may be used for user confirmation. have.
  • the controller 310 identifies a user by using the user biometric information acquired by the sensing unit 330 (step S510), and controls a function of the wearable electronic device 300 according to the user verification result (S520). step).
  • the user identification result may be displayed by using an indicator provided in the wearable electronic device 300.
  • the wearable electronic device 300 may include one or more indicators 160, 161, and 162 that may indicate a current state, and the indicators 160, 161, and 162 may be used. It may be located on the front surface (10a, 10b) of the lens frame so that it can be seen from the outside.
  • the indicators 160, 161, and 162 may be configured as light emitting devices such as LEDs that display light of a specific color, and may be flickered or displayed in different colors according to information to be displayed.
  • the first indicator 160 may blink to indicate that the wearable electronic device 300 is currently taking a picture or a video. More specifically, the first indicator 160 may be turned on only during shooting or displayed in red during shooting. Can be.
  • the second indicator 161 may indicate whether the user who is currently wearing the wearable electronic device 300 is an authenticated user, and by the controller 310 according to the user confirmation result performed in step S510. Its flashing or color can be controlled.
  • the second indicator 161 may be turned on or displayed in red.
  • the third indicator 162 may indicate that content currently being viewed is inappropriate for a user wearing the wearable electronic device 300.
  • the third indicator 162 may be turned on or displayed in red. Can be.
  • the user authentication result according to the user confirmation performed by the controller 310 may be transmitted to the designated external device through the communication unit 350.
  • the corresponding information may be transmitted to a portable terminal having a designated number to inform the authenticated user that the unauthenticated user wears.
  • the wearable electronic device 300 may include a proximity sensor (not shown) to recognize whether the user wears the wearable electronic device 300, and the control unit 310 may be worn by the user. Before wearing the electronic device 300, the wearable electronic device 300 may be controlled to operate in a standby mode in which most functions are in an inactive state.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Proximity sensors have a longer life and higher utilization than touch sensors.
  • the proximity sensor examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.
  • the touch screen may be classified as a proximity sensor.
  • the wearable electronic device 300 may further include a haptic module (not shown) capable of generating various tactile effects that a user can feel.
  • a haptic module (not shown) capable of generating various tactile effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module is vibration, and the intensity and pattern of vibration generated by the haptic module can be controlled.
  • different vibrations may be synthesized and output or may be sequentially output.
  • the haptic module can be operated by a pin array that vertically moves with respect to the contact skin surface, the effect of stimulation such as the blowing force or suction force of air through the injection or inlet, grazing to the skin surface, contact of the electrode, and electrostatic force.
  • various tactile effects can be generated, such as an effect of reproducing a feeling of cold and heat using an endothermic or heat generating element.
  • the haptic module can not only deliver the haptic effect through direct contact, but also can be implemented so that the user can feel the haptic effect through the muscle sense of the finger or arm.
  • Two or more haptic modules may be provided according to a configuration aspect of the wearable electronic device 300.
  • the haptic module may be controlled by the controller 310 to inform a user of information related to a function performed by the wearable electronic device 300.
  • the user may be notified of the start or end of a specific function or a specific state, or different tactile effects may be transmitted to the user according to the user authentication result, authentication success, or authentication failure as described above.
  • a display device 410 such as a TV or a monitor plays an image received from the outside or stored therein, but the reproduced image is not closed to the naked eye so as to display the screen 411. May be displayed.
  • the image which is processed privately and displayed on the screen 411 of the display device 410 may be a user having a specific authority, for example, the wearable electronic device 300 in the form of glasses according to an embodiment of the present invention. Only the worn user may be able to watch.
  • a user authentication operation as described above with reference to FIGS. 6 to 11 may be performed.
  • the object 342 for notifying that the user information is being checked by using the display unit 340 provided in the wearable electronic device 300 may be displayed.
  • the object 342 is displayed using the HMD, the HUD or the TOLED to be recognized by the user's vision together with the foreground including the screen of the display device 410, but preferably a position not covering the screen of the display device 410 Is displayed.
  • the controller 310 compares the user information obtained through the sensing unit 330, for example, the biometric information of the user such as a part of a face, an iris, a fingerprint, and a voice with the user information stored in the storage 360. If it is determined that the two pieces of information match, the authenticated user may determine that the wearable electronic device 300 is worn.
  • the biometric information of the user such as a part of a face, an iris, a fingerprint, and a voice
  • the authenticated user may determine that the wearable electronic device 300 is worn.
  • an object 342 indicating that user authentication is successfully completed is displayed using the display unit 340 provided in the wearable electronic device 300, and the user wears the wearable electronic device. Through 300, the content played on the screen 411 of the display device 410 may be viewed.
  • the payment for the paid channel may be restricted, and the payment information may be used to store information previously stored in the storage unit 360 for the authenticated user. Can be.
  • the surroundings may easily recognize that the second indicator 161, which is a blue LED, is turned on, and the authenticated user is wearing the wearable electronic device 300. .
  • a user wearing the wearable electronic device 300 is not an authenticated user because the user biometric information acquired through the sensing unit 330 does not match the user information stored in the storage unit 360.
  • the object 343 indicating that the user authentication has failed is displayed using the display unit 340 provided in the wearable electronic device 300, and the user is reproduced on the screen 411 of the display device 410. Content may not be viewed through the wearable electronic device 300.
  • the neighbors may easily recognize that the third indicator 162, which is a red LED, is turned on, and an unauthorized user is wearing the wearable electronic device 300.
  • viewing may be limited to some areas of the screen 411 of the display device 410 or some components of the content according to the user authentication result.
  • the user wears the menu items 412 corresponding to all functions that may be executed in the display device 410. After checking through 300, a specific function can be selected.
  • menu items corresponding to some of all functions that may be executed in the display device 410 are illustrated. For example, only the 'TV Watch', 'Internet' and 'App Store' icons are recognized by the user, and thus the functions that can be executed may be limited.
  • the limitation of the function of the display apparatus 410 as described above may be due to some of the menu items displayed on the display apparatus 410 not being shown to the user, and with the display apparatus 410 wearable.
  • Information on the user authentication result may be received from the electronic device 300, and accordingly, execution of some functions may be limited.
  • menu items that are restricted to unauthenticated users may be displayed to be identified with the remaining menu items and may be deactivated.
  • functions to be restricted for unauthenticated users may be directly set by an authenticated user through a 'user lock setting' menu.
  • an object 344 for notifying that adult content is being broadcast is displayed by the display unit 340 of the wearable electronic device 300.
  • the image reproduced on the screen 411 of the display device 410 may not be viewed by the user even when the naked eye or the wearable electronic device 300 is worn.
  • an adult authentication operation may be performed to determine whether the worn user has a right to watch adult content.
  • the user wearing the wearable electronic device 300 when a user wearing the wearable electronic device 300 is an authenticated user as a result of performing the user authentication operation as described above, the user may use the age information of the authentication user previously stored in the storage unit 360. Adult authentication of the user can be performed.
  • control unit 310 may store the biometric information of the user, such as blood pressure, blood sugar, pulse, electrocardiogram, body temperature, exercise amount, face, pupil, iris, fingerprint, etc. obtained using the sensing unit 330.
  • the age of the user who wears the wearable electronic device 300 may be predicted.
  • an object 345 indicating that the adult authentication is successfully completed is displayed using the display unit 340 provided in the wearable electronic device 300.
  • the user may view adult content reproduced on the screen 411 of the display device 410 through the wearable electronic device 300.
  • whether the content currently played on the display device 410 is adult content may be determined using the age restriction image 415 displayed on a specific area of the screen 411.
  • an object 346 indicating that adult authentication has failed is displayed using the display unit 340 provided in the wearable electronic device 300, and the user displays the display device 410. Content that is played on the screen 411 of the user cannot be viewed through the wearable electronic device 300 as well as the naked eye.
  • the viewing restriction as described above may be set for each time zone.
  • the image reproduced on the screen 411 of the display device 410 may not be visually viewed.
  • the user authentication operation as described above may be performed, so that the image played by the display device 410 can be viewed only when the user authenticated user wears the wearable electronic device 300.
  • the method of restricting viewing through user authentication of the wearable electronic device 300 as described with reference to FIGS. 12 to 25 may be applied to a portable terminal such as a desktop PC, a notebook, a PDA, a mobile phone, or the like, in addition to a display device such as a TV or a monitor.
  • a portable terminal such as a desktop PC, a notebook, a PDA, a mobile phone, or the like
  • a display device such as a TV or a monitor.
  • portable terminal devices such as mobile phones, personal digital assistants (PDAs), notebook computers, and desktop personal computers (PCs) are frequently used in public places. At this time, the contents of the display monitor can be seen by everyone within the viewing distance of the display.
  • PDAs personal digital assistants
  • PCs desktop personal computers
  • ATM automatic teller machine
  • a privacy viewing function is applied that provides private information to authorized users on a publicly viewable monitor, while preventing unauthorized persons from viewing private information on the same monitor.
  • the viewing restriction when the viewing restriction is set such that the portable terminal 420 is accessible only to an authorized user, the image displayed on the screen 421 of the portable terminal 420 may not be visually seen. .
  • the user authentication operation as described above is performed, and the image displayed on the screen 421 of the portable terminal 420 is visual only when the user authenticated user wears the wearable electronic device 300. It can be recognized as.
  • the menu items 422 displayed on the screen 421 of the portable terminal 420 are wearable. It may be visually recognized by the user through the electronic device 300.
  • an unauthenticated user cannot visually recognize the image displayed on the portable terminal 420 even with the naked eye, even when the wearable electronic device 300 is worn. You cannot execute the functions of.
  • FIGS. 28 to 30 are diagrams for describing an embodiment of a method of limiting the use of a personal computer (PC) according to user information.
  • PC personal computer
  • the screen 431 of the PC 430 displays a phrase indicating that the PC is secured, and the PC 430 is displayed. Other images displayed at) may not be visible to the naked eye.
  • the user authentication operation as described above is performed, and the image displayed on the screen 431 of the PC 430 is visually displayed only when the user authenticated user wears the wearable electronic device 300. Can be perceived.
  • folders displayed on the screen 431 of the PC 430 may be visually displayed to the user through the wearable electronic device 300. It can be recognized as.
  • Unauthenticated users may not visually recognize the image displayed on the PC 430 even if the wearable electronic device 300 is worn by the naked eye, and the functions of the PC 430 may not be executed. Can not.
  • the wearable electronic device 1 and a specific portable terminal according to an embodiment of the present invention may be connected in pairs to share information about each other.
  • the wearable electronic device 1 when the wearable electronic device 1 is far away from the predetermined portable terminal by more than a predetermined distance, the wearable electronic device 1 may notify a risk of mutual loss.
  • the user's portable terminal information for example, a mobile phone number stored in the wearable electronic device 1 in advance. Through the communication with the corresponding terminal can measure the distance between each other.
  • the distance between the wearable electronic device 1 and the portable terminal may be estimated by measuring communication strength while periodically performing short-range communication with each other, and may notify of a risk of loss when signals between each other are not transmitted or received.
  • the user may provide a personalized UI or service to the user by using the user biometric information acquired by the wearable electronic device 1.
  • a navigation service tailored to a user may be provided through a display unit provided in the wearable electronic device 1.
  • a navigation service such as a road guide may be provided.
  • a notification to go straight may be provided, but in the case of the female user shown in FIG. 33, a road guide may be provided to bypass the dangerous area.
  • FIG 32 and 33 illustrate an example in which user information personalization service is provided through the wearable electronic device 1 according to an embodiment of the present invention. It can be applied to various services such as message, SNS, etc.
  • FIG. 34 illustrates another example of a field of view shown to the user through the wearable electronic device.
  • the display unit of the wearable electronic device 1 is illustrated.
  • the user may be displayed as an unidentified user, and functions of the wearable electronic device 1 may be limited.
  • the viewing of the limited image through the user wearable electronic device 300 is indicated by an indicator disposed in front of the wearable electronic device 300. Can be.
  • the wearable electronic device 1 may have a 3D viewing function, and the 3D viewing function may be implemented by a shutter glass method of opening and closing the left and right glasses alternately.
  • the wearable electronic device 1 may perform the parental control function as described above by using the shutter glass method.
  • the wearable electronic device 606 includes a transceiver 610, a decoder / authentication means 630, and a shutter controller. 632 and shutter 624.
  • a parental control system may include an image processing device 602, a display device 604, and a wearable electronic device 606.
  • the image processing device 602 may store and store private display software in a computer readable memory.
  • the image processing apparatus 602 displays a private image and a masking image for masking the private image on the display device 604 by a user's request or by itself, and sends a corresponding shutter opening / closing signal to the wearable electronic device 606. By transmitting and operating the shutter opening and closing means, only an authenticated user can view the private image.
  • the shutter opening and closing means provided in the wearable electronic device 606 may be mechanical or photoelectric such as a liquid crystal shutter, and may be manufactured in various forms having one or several shutter lenses.
  • functions except for the shutter opening / closing means and the transmission / reception interface unit 608 included in the wearable electronic device 606 may be implemented in software.
  • the dedicated driver 610 may refer to a driver that accesses the video controller 612 such as a graphics card to implement a private display in real time separately from the graphic driver 614 in the image processing apparatus 602.
  • the private display control block 618 is composed of a security performance control unit, an encryption unit, a user authentication unit, and a management unit, and authenticates a user from the user interface 620, and displays a display security level in accordance with an authorized user's authentication level and a user's input. Can be configured and managed.
  • the user authentication method may receive an authentication number (hereinafter referred to as "ID”) and a password input of the user from the user interface 620 to authenticate.
  • ID an authentication number
  • password a password input of the user from the user interface 620 to authenticate.
  • user authentication may be performed by connecting the wearable electronic device 606 worn by an authenticated user without inputting an ID and password. Also connect the authorized shutter opening and closing means 606,
  • User authentication can be done by inputting a user ID and password.
  • Authorization and activation of the shutter opening and closing means can be performed using a serial number of a product embedded in a read only memory (not shown) of the wearable electronic device 606.
  • the private display control block 618 receives the display device information from the display device information obtaining means 628, and based on the authentication level and the display security level of the user, the image data frame sequence generating means 622, the shutter voltage sequence generating means ( 624, the masking image generating means 626 is controlled.
  • the display device information obtaining means 628 reads information such as resolution, refresh cycle time, vertical sync, horizontal sync, and the like of the display device 604.
  • the image data frame sequence generating means 622, the shutter voltage sequence generating means 624, and the masking image generating means 626 correspond to the corresponding image data frame sequence and shutter according to the user's authentication level and display security level and the user's further selection. A voltage sequence and a masking image are generated respectively.
  • the shutter voltage sequence generating means 624 generates a shutter opening and closing sequence in synchronization with the image data frame sequence, and generates a voltage sequence corresponding to the shutter opening and closing sequence.
  • the dedicated driver 610 provides the masking image generated by the masking image generating means 626 to the video memory 628 according to the generated image data frame sequence, or the masking image by itself according to the instruction of the masking image generating means 626. Can be generated and provided to the video memory 628, or the color table can be controlled in real time.
  • the dedicated driver 610 also controls the image transmission to the display device 604 by causing the video controller 612 to switch the private image memory block and the masked image memory block according to the generated image sequence.
  • the transceiver 608 transmits a shutter opening / closing sequence or a shutter voltage sequence to the shutter opening / closing means 606.
  • the transceiver 608 may also transmit an encrypted shutter voltage sequence to an authorized user using encryption means (not shown).
  • the transceivers 608 and 310 may be implemented as a wired link such as USB or a serial link or a wireless link such as IR or RF (FM, AM, Bluetooth).
  • the video controller 612 such as a graphics card, includes a video memory 628, and displays the original private image received from the graphics driver 614 and the masked image received from the dedicated driver 610 according to the image data frame sequence. Display at 604.
  • the shutter opening and closing means of the wearable electronic device 606 may include a transceiver 610, a decoder / authentication means 630, a shutter controller 632, and a shutter 634.
  • the transceiver 610 receives the encrypted shutter open / close signal transmitted from the transceiver 608 and transmits it to the decoder / authentication means 630.
  • the decoder / authentication means 630 decodes the shutter open / close signal to generate a shutter voltage sequence, and the shutter controller 632 opens or closes the shutter 624 completely or in an intermediate state according to the shutter voltage sequence.
  • the display security level is set to a performance level according to 'eye security' for unlicensed people who do not have shutters, and 'spy security performance' for non-licensed users who have different shutters.
  • the higher the level of display security the lower the user's visual perception performance, such as user's visual comfort and image clarity.
  • the first level is that an unauthorized person may not even perceive the approximate type of user private image even after viewing the display device for a long time over a certain time.
  • the second level may be to perceive the approximate type of user image if the unauthorized user views the display device for more than a certain time.
  • some of the contents of the user image information cannot be grasped. For example, even if a user knows whether to watch a video, it does not know whether it is a movie or chat.
  • the third level may roughly grasp a part of the content of the user image information if the unauthorized person sees the display device for a specific time or more. However, most of the contents of the user image information cannot be grasped. For example, you cannot know the content of the word you type. You can tell if the user is watching a movie movie, but not the content.
  • the fourth level can accurately grasp a part of the user image information content if the unauthorized person sees the display device for a specific time or more. However, the user cannot grasp most of the video information contents. For example, you might know a bit of the word you type. You can see a little bit of the content of the movie that the user perceives.
  • the fifth level allows the unauthorized person to grasp a substantial part of the content of the user image information. However, I feel uncomfortable with my visual perception.
  • an additional figure of merit may be added to this performance level to the extent that user private images and intentionally disturbing masking images can be recognized by an unauthorized person.
  • various display security levels may be set as the performance level.
  • FIG. 36 is a flowchart illustrating an embodiment of a control method according to the present invention, and illustrates the configuration of the wearable electronic device 300 according to an embodiment of the present invention shown in FIG. It will be described in conjunction with the block diagram.
  • step S500 whenever a predetermined time t elapses (step S500), the camera 320 of the wearable electronic device 300 captures an image (step S510) and simultaneously senses the image.
  • the unit 330 detects user biometric information and motion information of the wearable electronic device 300 (operation S520).
  • the biometric information of the user is information for confirming the current state of the user wearing the wearable electronic device 300.
  • the sensing unit 330 may include a blood pressure measuring sensor, a blood sugar measuring sensor, a pulse measuring sensor, an electrocardiogram measuring sensor, a body temperature measuring sensor, an exercise amount measuring sensor, a face recognition module or an iris recognition module, and the like.
  • the biometric information measurement / recognition module may be mounted at a position where the biometric information may be most easily measured or recognized.
  • the sensing unit 130 for detecting the movement, location, and surrounding situation information eg, temperature, humidity, noise, wind direction, air volume, etc.
  • the sensing unit 130 for detecting the movement, location, and surrounding situation information eg, temperature, humidity, noise, wind direction, air volume, etc.
  • 37 may be mounted to the outer side of the hook portion (30a).
  • the fingerprint recognition module 131 is mounted on the outer surface of the hook portion 30a as shown in FIG. 8, and when the user touches any one finger to the corresponding position, the fingerprint recognition unit 330 controls the fingerprint information. ) Can be delivered.
  • the pulse measuring sensor 132 is mounted in a position adjacent to the user's ear when the wearable electronic device 300 is worn on the side hook inner surface 30b of the side, more specifically, as shown in FIG.
  • the user's pulse may be measured automatically and the information may be transmitted to the controller 310.
  • the camera 320 performs the function of the sensing unit 330 as described above, the user's eyes, a part of the face, the iris and the like to capture the user's biometric information, or the surrounding dangerous situation It can also be recognized from the image.
  • the microphone (not shown) may perform the function of the sensing unit 330 as described above, so that a situation such as ambient noise may be obtained.
  • the controller 310 stores or transmits the image photographed by the camera 320 in synchronization with the information detected by the sensing unit 330 (step S530).
  • the controller 310 may manage and synchronize each other based on the time at which the image is photographed through the camera 320 and the time at which information is detected through the sensing unit 330.
  • the controller 310 causes the work from step S510 to step S530 to be periodically performed until the end of the lifelog function (step S540).
  • the controller 310 processes the detected information to predetermined such as "emergency! Pulse stop", "emergency! Forced release” Information can also be judged by risk category or risk level.
  • the controller 310 uses an image recognition search for the user during the past month.
  • the actions performed can be classified and managed according to user biometric information and surrounding information.
  • information about what foods the user has eaten over the past month may be provided with relevant photos, so that the user can refer to the past month's memories as well as diet plans or current meal menu selections. Can be.
  • the controller 310 determines whether the abnormally captured image is an unusual situation based on the risk level, user interest, recording and transmission value index, or recording and transmission cost as described above.
  • the information measured through the sensing unit 330 may be transmitted to the storage unit 360 or the external device 400 through the communication unit 350.
  • the wearable electronic device 300 may include a proximity sensor (not shown) to recognize whether the user wears the wearable electronic device 300, and the control unit 310 may be worn by the user. Before wearing the electronic device 300, the wearable electronic device 300 may be controlled to operate in a standby mode in which most functions are in an inactive state.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Proximity sensors have a longer life and higher utilization than touch sensors.
  • the proximity sensor examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.
  • the touch screen may be classified as a proximity sensor.
  • the wearable electronic device 300 may further include a haptic module (not shown) capable of generating various tactile effects that a user can feel.
  • a haptic module (not shown) capable of generating various tactile effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module is vibration, and the intensity and pattern of vibration generated by the haptic module can be controlled.
  • different vibrations may be synthesized and output or may be sequentially output.
  • the haptic module can be operated by a pin array that vertically moves with respect to the contact skin surface, the effect of stimulation such as the blowing force or suction force of air through the injection or inlet, grazing to the skin surface, contact of the electrode, and electrostatic force.
  • various tactile effects can be generated, such as an effect of reproducing a feeling of cold and heat using an endothermic or heat generating element.
  • the haptic module can not only deliver the haptic effect through direct contact, but also can be implemented so that the user can feel the haptic effect through the muscle sense of the finger or arm.
  • Two or more haptic modules may be provided according to a configuration aspect of the wearable electronic device 300.
  • the haptic module may be controlled by the controller 310 to inform a user of information related to a function performed by the wearable electronic device 300.
  • the user may be notified of the start or end of a specific function or a specific state, or may be delivered to the user using a tactile effect such as whether or not an unusual situation occurs as described above.
  • the illustrated risk detection system includes a wearable electronic device 300, a server 410, a guardian terminal 420, and a public. It may be configured to include an institution server 430.
  • the wearable electronic device 300 may periodically take an image and store the image in synchronization with user biometric information, motion information, and surrounding situation information at a corresponding time point.
  • the wearable electronic device 300 may determine the synchronized image and the related information. May transmit to the server 410.
  • the server 410 may store and manage the image and the related information received from the wearable electronic device 300, and transmit and transmit at least one of the received image and the related information to the guardian terminal 420. .
  • the server 410 may transmit at least one of the image and the related information received from the wearable electronic device 300 to a public institution server 430 such as a police station or a hospital to provide information about a dangerous situation. have.
  • a public institution server 430 such as a police station or a hospital to provide information about a dangerous situation. have.
  • a user interface for notifying the wearing release situation may be provided.
  • the wearable electronic device 300 when a preset allowable time elapses after the user takes off the wearable electronic device 300 in the form of glasses (for example, 10 minutes after release of the wear), the wearable electronic device may be used using vibration or voice. The user may be informed that the device 300 should be quickly worn.
  • the server 410 may be transmitted to the parental terminal 420 through the server 410.
  • the corresponding information is transmitted to the guardian terminal 420 through the server 410 and displayed on the screen 420. Can be.
  • menu items 422 to 425 for confirming detailed information on the situation at the time of release of wear may be provided.
  • the guardian selects the 'watch video' item 422 to attach to the point of un-wearing.
  • the guardian selects the 'location / movement' item 424 to check the user's movement or location information until the time of wearing, or the 'ambient situation' item 425 to select the temperature, humidity, air volume, noise, etc. You can check the surroundings.
  • the guardian may allow the wearable electronic device 300 to perform the wearing notification function as shown in FIG. 40 by using the guardian terminal 420. 410 may be operated.
  • control operation of the wearable electronic device 300 as described above may be performed for each risk level, for each user's interest, or differently depending on an index calculated in terms of transmission value and cost.
  • the wearable electronic device 300 may be unnecessarily consumed, and it may be difficult to cope with an emergency or dangerous situation, and the user's pulse Sensing values that have high importance, such as location and location, but have a small amount of information, have a high overall value for money, while video and audio may have a lower overall value than battery consumption and data volume.
  • control unit 310 of the wearable electronic device 300 utilizes past experience values recorded in the wearable electronic device 300, the server 410, and the terminal 420 to compensate for the transmission value and cost. It may be determined whether to store the image and the related information or transmit the image.
  • an upper limit and a lower limit may be preset for information detected through the sensing unit 330 of the wearable electronic device 300, for example, an acceleration, a speed, a pulse rate, a heart rate, a blood pressure, a body temperature, and the like of a user.
  • the user or the guardian of the user may directly set the upper / lower limit, the user may set a safe location.
  • the risk level of the user may be determined by comparing the information detected through the sensing unit 330 with the set risk upper / lower limit value and the safety position.
  • the risk level 'grade 4' may be when the user's pulse rate and instantaneous acceleration exceed the upper limit.
  • the wearable electronic device 300 may preferentially send information to the server 410 that is important or have a small amount of data, and increase the amount of data transmitted to the server 410 as the risk level increases.
  • the wearable electronic device 300 may notify a user of a dangerous situation using vibration or voice.
  • the controller 310 stores information stored in the storage unit 360 for a predetermined time until a dangerous situation occurs, for example, user biometric information, location / motion information, and surrounding situation information through the communication unit 350. 410 may be transmitted.
  • the guardian terminal 420 may receive user biometric information, location / motion information, and surrounding situation information from the server 410 and display it on the screen 420.
  • the risk level 'Class 3' may be a case where the user's position is outside the preset safety position for a predetermined time and the pulse rate exceeds the upper limit.
  • the wearable electronic device 300 may notify the user of the occurrence of the risk level 'three levels' using vibration or voice.
  • the wearable electronic device 300 transmits the user biometric information, location / movement information, and surrounding situation information stored in the storage 360 to the server 410 together with the synchronized image for a predetermined time until a dangerous situation occurs.
  • the guardian terminal 420 may receive user biometric information, location / movement information, and surrounding situation information and images from the server 410 and display them on the screen 420. have.
  • the guardian recognizes the situation and takes a specific action, the fact that the risk level 'grade 3' can be continuously notified through the vibration or voice of the guardian terminal 420.
  • the risk level 'grade 2' may be a case where the user's position is outside the preset safety position for a predetermined time, the pulse rate exceeds the upper limit and the instantaneous acceleration, or the user's surrounding sound is determined to be a dangerous level.
  • the wearable electronic device 300 may notify the user of the occurrence of the dangerous level '2nd grade' using vibration or voice.
  • the wearable electronic device 300 transmits the user biometric information, location / movement information, and surrounding situation information stored in the storage 360 to the server 410 together with the synchronized image for a predetermined time until a dangerous situation occurs.
  • the camera may transmit the real-time image to the server 410 by photographing the surrounding situation in real time.
  • the guardian terminal 420 displays user biometric information, location / motion information, and surrounding situation information on the screen 420 from the server 410, more importantly.
  • the real-time image around the wearable electronic device 300 received from the server 410 may be displayed on the screen 420.
  • the guardian recognizes the situation and takes a specific action, the fact that the risk level 'grade 2' can be continuously notified through the vibration or voice of the guardian terminal 420.
  • Risk Level 1 is a very small or absent pulse rate below the lower limit, possibly causing a heart attack or excessive bleeding. There may be a possibility of forcibly releasing the wearable electronic device 300 by a criminal.
  • the guardian terminal 420 displays a real-time image on the screen 420 together with user biometric information, location / motion information, and surrounding situation information from the server 410. It can be displayed to check the emergency report to the guardian's police or hospital.
  • the wearable electronic device 300 operates all sensors capable of recognizing a user's current state and surrounding conditions, and continuously transmits images and related information to the public institution server 430 in real time.
  • the operation according to the risk level as described above may be adjusted to suit the battery situation of the wearable electronic device 300 which is checked periodically, and the shooting and sensing cycles may be reduced as the risk level increases.
  • the guardian checks the user's state through the terminal 420, and if it is determined that the user is in a safe state, the current state of the wearable electronic device 300 may be set to the normal state by remote operation.
  • the user log recording and transmitting operation as described above may be performed according to the interest set by the user in advance.
  • a user may set to automatically record video and audio when a user visits a specific place at a specific time, and to record pulses or movements of the corresponding time in synchronization with the user.
  • the weight for determining the risk level as described above may be changed by the user or the guardian of the user.
  • a user may set weights for pulses, positions, body temperature, images, and sounds through the terminal 500, and, for example, increase weights for specific information to be important in determining a risk level. It can be set as an item, or it can be set as an item that is relatively insignificant in determining the risk level by lowering the weight for specific information.
  • the image and user-related information managed as described above may be expressed according to the movement of the user.
  • FIG. 48 illustrates an embodiment of a method of providing a user's lifelog together with map information.
  • a map 510 may be displayed on the screen of the terminal 500, and a movement route 511 of the user may be displayed on the map 510. Meanwhile, the movement route 511 displayed on the map 510 may be obtained through a GPS device provided in the wearable electronic device 300.
  • points 512, 514, and 515 where images and user-related information are synchronized may be displayed on the movement path 511 of the map 510, and correspond to each of the points 512, 513, and 515.
  • the time information 513 may be displayed adjacent to each other.
  • the user may select one of the points 512, 513, and 515 to check the image, the biometric information, the motion / location information, and the surrounding situation information acquired at the corresponding point in time.
  • a starred point 514 may be used to display an image and related information corresponding to the point to the SNS. It may have been uploaded.
  • a specific point among the points 512, 513, and 515 displayed on the movement path 511 of the map 510 indicates a point where the image and related information were most recently acquired. Can be represented.
  • the method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 착용형 전자 장치 및 그를 제어하는 방법에 관한 것으로, 그 장치는 적어도 하나의 렌즈 및 렌즈에 정보가 표시되도록 하는 디스플레이 수단을 구비하고, 사용자 생체 정보를 획득하는 센싱부; 및 획득된 사용자 생체 정보를 이용하여 사용자 인증을 수행하여 그 결과에 따라 착용형 전자 장치의 기능을 제어하는 제어부를 포함한다.

Description

착용형 전자 장치 및 그의 제어 방법
본 발명은 안경 등과 같은 형태의 착용가능한 전자 장치를 제어하는 방법에 관한 것이다.
증강 현실은 현실 세계에 가상의 물체를 중첩함으로써 현실 세계를 보충하여 사용자에게 보여준다는 점에서 가상 현실 기술과 차이가 있으며, 가상 현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 장점이 있다.
일반적으로, 증강 현실은, HMD(Head Mounted Display) 또는 HUD(Head Up Display) 등과 같은 디스플레이 장치를 사용하여, 사용자의 눈 앞에 각종 정보가 표시되도록 하고 있다. 이와 더불어 제스처 인식을 이용하여 증강현실에서 증강된 물체를 조작하려는 연구도 활발히 진행되고 있다.
HMD는 사용자의 머리 또는 기타 부분에 장착되어 좌우의 눈에 독립적인 투영 영상(projected image)을 제시함으로써, 사용자가 관찰 대상(object of view)을 주시할 때 수렴(convergence)에 의해 양안 간에 서로 다른 영상이 생성되고 이 양안 시차에 의해 깊이감의 지각이 가능하게 한다.
또한, HUD는 유리 등과 같은 투명 글라스에 영상을 투영하여, 사용자가 투명 글라스를 통해 HUD에서 투영되는 정보와 외부 배경을 동시에 시각적으로 인식할 수 있게 해준다.
본 발명은 사용자 정보에 따라 기능 제한이 가능한 착용형 전자 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 사용자의 라이프 로그(life log)를 용이하게 기록 및 관리할 수 있는 착용형 전자 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 착용형 전자 장치는 적어도 하나의 렌즈 및 상기 렌즈에 정보가 표시되도록 하는 디스플레이 수단을 구비하고, 착용형 전자 장치의 사용자 생체 정보를 획득하는 센싱부; 및 상기 획득된 사용자 생체 정보를 이용하여 사용자 인증을 수행하고, 상기 사용자 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 제어부를 포함한다.
또한, 본 발명의 실시예에 따른 착용형 전자 장치는 적어도 하나의 렌즈 및 상기 렌즈에 정보가 표시되도록 하는 디스플레이 수단을 구비하고, 일정 주기로 촬영하여 영상을 획득하는 카메라; 사용자 생체 정보와 착용형 전자 장치의 움직임 정보를 검출하는 센싱부; 및 상기 획득된 영상을 상기 센싱부를 통해 검출된 정보와 동기화시켜 저장 또는 전송하도록 제어하는 제어부를 포함한다.
본 발명의 실시예에 따르면, 착용형 전자 장치의 사용자에 대한 생체 정보를 이용하여 사용자 인증을 수행함으로써, 사용자 인증 결과에 따라 착용형 전자 장치의 기능을 제어하여, 사용자에 따른 시청 제한이나 개인화된 맞춤형 서비스의 제공 등이 가능해질 수 있다.
본 발명의 실시예에 따르면, 착용형 전자 장치에서 일정 주기로 촬영된 영상을 사용자의 생체 정보와 움직임 정보 등과 동기화시켜 저장 또는 관리함으로써,사용자의 자각 없이 라이프 로그를 기록 및 관리할 수 있으며, 사용자의 위험 상황 등에 용이하게 대처 가능할 수 있다.
도 1 및 도 2는 본 발명의 일실시예에 따른 착용형 전자 장치의 구성을 나타내는 사시도들이다.
도 3은 착용형 전자 장치를 통해 사용자에게 보여지는 시야(view)에 대한 일예를 나타내는 도면이다.
도 4 및 도 5는 착용형 전자 장치의 구성에 대한 또 다른 실시예들을 나타내는 사시도들이다.
도 6은 본 발명에 따른 착용형 전자 장치의 구성에 대한 일실시예를 나타내는 블록도이다.
도 7은 본 발명에 따른 제어 방법에 대한 일실시예를 나타내는 흐름도이다.
도 8 및 도 9는 착용형 전자 장치의 측면 구성에 대한 실시예들을 나타내는 도면들이다.
도 10 및 도 11은 착용형 전자 장치의 전면 구성에 대한 실시예들을 나타내는 도면들이다.
도 12는 디스플레이 장치에서 표시되는 화면에 대한 일실시예를 나타내는 도면이다.
도 13 내지 도 17은 사용자 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 방법에 대한 제1 실시예를 설명하기 위한 도면들이다.
도 18 내지 도 21은 사용자 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 방법에 대한 제2 실시예를 설명하기 위한 도면들이다.
도 22 내지 도 24는 성인 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 방법에 대한 일실시예를 설명하기 위한 도면들이다.
도 25는 시청 시간에 따라 착용형 전자 장치의 기능을 제어하는 방법에 대한 일실시예를 설명하기 위한 도면이다.
도 26 및 도 27은 사용자 정보에 따라 휴대용 단말기의 사용을 제한하는 방법에 대한 일실시예를 설명하기 위한 도면들이다.
도 26 및 도 27은 사용자 정보에 따라 휴대용 단말기의 사용을 제한하는 방법에 대한 일실시예를 설명하기 위한 도면들이다.
도 28 내지 도 30은 사용자 정보에 따라 PC(Personal Computer)의 사용을 제한하는 방법에 대한 일실시예를 설명하기 위한 도면들이다.
도 31 내지 도 33은 착용형 전자 장치에 구현되는 사용자 인터페이스에 대한 실시예들을 설명하기 위한 도면들이다.
도 34는 착용형 전자 장치를 통해 사용자에게 보여지는 시야에 대한 또 다른 예를 나타내는 도면이다.
도 35는 본 발명에 따른 착용형 전자 장치의 구성에 대한 또 다른 실시예를 나타내는 블록도이다.
도 36은 본 발명에 따른 제어 방법에 대한 일실시예를 나타내는 흐름도이다.
도 37 및 도 38은 착용형 전자 장치의 측면 구성에 대한 실시예들을 나타내는 도면들이다.
도 39은 본 발명의 일실시예에 따른 사용자 위험 감지 시스템의 구성을 나타내는 블록도이다.
도 40 및 도 41는 착용형 전자 장치의 착용 해제를 알리는 사용자 인터페이스에 대한 일실시예를 나타내는 도면들이다.
도 42 내지 도 46은 사용자 위험 수준에 따라 사용자의 상태를 알리는 사용자 인터페이스에 대한 실시예들을 나타내는 도면들이다.
도 47은 위험 수준의 판단을 위한 가중치를 설정하는 방법에 대한 일실시예를 나타내는 도면이다.
도 48은 사용자의 라이프 로그를 지도 정보와 함께 제공하는 방법에 대한 일실시예를 나타내는 도면이다.
도 49는 사용자의 라이프 로그를 표현하는 방법에 대한 일실시예를 나타내는 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 착용형 전자 장치 및 그의 제어 방법에 관하여 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 착용형 전자 장치의 구성을 사시도로 도시한 것으로, 도시된 착용형 전자 장치(1)는 사용자의 눈에 근접하게 위치되도록 안경 형태로 제작될 수 있다.
착용형 전자 장치(1)를 전면에서 바라본 형상을 도시한 도 1을 참조하면, 본 발명의 일실시예에 따른 착용형 전자 장치(1)는 좌우 렌즈 프레임들(10, 11), 프레임 연결부(20), 좌우 걸이부들(30, 31) 및 좌우 렌즈들(50, 51)을 포함하여 구성될 수 있다.
한편, 사진 또는 동영상의 촬영이 가능한 영상 획득 장치가 착용형 전자 장치(1)의 전면에 장착될 수 있으며, 예를 들어 도 1에 도시된 바와 같이 프레임 연결부(20)의 전면에 카메라(110)가 배치될 수 있다.
그에 따라, 사용자는, 안경 형태의 착용형 전자 장치(1)를 착용하고 이동 중에, 카메라(110)를 이용해 사진 또는 동영상을 촬영하여 저장하거나 공유할 수 있다.
이 경우, 카메라(110)에 의해 촬영되는 영상의 시점이 사용자의 시각에 의해 인지되는 장면의 시점과 매우 유사할 수 있다는 장점이 있다.
또한, 카메라(110)를 이용하여 사용자의 손동작 등과 같은 제스쳐(gesture)가 인식되어, 상기 인식된 제스쳐에 따라 착용형 전자 장치(1)의 동작 또는 기능이 제어되도록 할 수 있다.
카메라(110)가 장착되는 위치 또는 개수는 필요에 따라 변경 가능하며, 적외선 카메라 등과 같은 특수 목적의 카메라가 이용될 수도 있다.
또한, 좌우 걸이부들(30, 31) 각각에도 특정 기능을 수행하기 위한 유닛들이 배치될 수 있다.
우측 걸이부(right side-arm, 31)에는 착용형 전자 장치(1)의 기능을 제어하기 위한 사용자 입력을 수신하는 사용자 인터페이스 장치들이 장착될 수 있다.
예를 들어, 화면상의 커서, 메뉴 항목 등과 같은 오브젝트를 선택하거나 이동시키기 위한 트랙 볼(track ball, 100) 또는 터치 패드(touch pad, 101)가 우측 걸이부(31)에 배치될 수 있다.
착용형 전자 장치(1)에 구비되는 사용자 인터페이스 장치는 트랙 볼(100)과 터치 패드(101)에 한정되지 아니하며, 키 패드(key pad) 돔 스위치 (dome switch), 조그 휠, 조그 스위치 등 다양한 입력 장치들이 구비될 수 있다.
한편, 좌측 걸이부(left side-arm, 30)에는 마이크(120)가 장착될 수 있으며, 마이크(120)를 통해 인식된 사용자의 음성을 이용하여 착용형 전자 장치(1)의 동작 또는 기능이 제어될 수 있다.
또한, 좌측 걸이부(30)에는 센싱부(130)가 배치되어, 착용형 전자 장치(1)의 위치, 사용자 접촉 유무, 방위, 가속/감속 등과 같이 현 상태나, 사용자와 관련된 정보 등을 감지하여 착용형 전자 장치(1)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
예를 들어, 센싱부(130)는 자이로 센서(gyroscope)나 가속도 센서(accelerometer) 등과 같은 동작 센서(motion detector), GPS 장치와 같은 위치 센서, 자력 센서(magnetometer), 경위 측정기(theodolite)와 같은 방향 센서 등을 포함할 수 있으나, 본 발명은 이에 한정되지 아니하며, 상기한 센서들 이외에 다양한 정보들을 검출할 수 있는 센서들을 추가로 포함할 수 있다.
예를 들어, 센싱부(130)는 적외선 센서를 더 구비할 수 있으며, 상기 적외선 센서는 적외선을 방출하는 발광부와 적외선을 수신하는 수광부를 포함하여 구성되어, 적외선 통신이나 근접도 측정 등에 이용될 수 있다.
본 발명의 일실시예에 따른 착용형 전자 장치(1)는 외부 장치와의 통신을 위한 통신부(140)를 포함할 수 있다.
예를 들어, 통신부(140)는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈 및 근거리 통신 모듈 등을 포함할 수 있다.
방송 수신 모듈은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
한편, 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이러한 경우에는 이동통신 모듈에 의해 수신될 수 있다.
방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
방송 수신 모듈은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 방송 수신 모듈은, 상술한 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리에 저장될 수 있다.
한편, 이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
또한, 본 발명의 일실시예에 따른 착용형 전자 장치(1)는 영상을 디스플레이하여 사용자에게 시각적인 정보를 전달하기 위한 디스플레이 장치를 포함할 수 있다.
사용자가 상기 디스플레이 장치에 의해 표시되는 정보와 함께 앞에 펼쳐진 전경(front view)를 볼 수 있도록 하기 위하여, 상기 디스플레이 장치는 투명형 또는 광투과형의 유닛을 포함하여 구성될 수 있다.
예를 들어, 도 1에 도시된 좌우 렌즈들(50, 51) 중 적어도 하나가 상기한 바와 같은 투명 디스플레이의 기능을 하도록 하여, 사용자는 렌즈에 형성된 텍스트 또는 이미지 등을 시각적으로 인지함과 동시에 전경을 볼 수 있다.
그를 위해, 착용형 전자 장치(1)는 HMD(Head Mounted Display) 또는 HUD(Head Up Display) 등과 같은 디스플레이 장치를 이용하여, 사용자의 눈 앞에 각종 정보가 표시되도록 할 수 있다.
상기 HMD는 영상을 확대하여 허상을 형성하는 렌즈와, 그 렌즈의 초점거리보다 가까운 위치에 배치된 디스플레이 패널을 포함하여 구성된다. HMD가 사용자의 머리 근처에 장착되면, 사용자가 디스플레이 패널에 표시된 영상을 렌즈를 통하여 봄으로써 그 허상을 시각적으로 인지할 수 있게 된다.
한편, 상기 HUD에서는, 디스플레이 패널에 표시된 영상이 렌즈를 통하여 확대되고, 상기 확대 화상이 하프 미러에서 반사되고, 상기 반사광이 사용자에게 보여짐으로써 허상이 형성되도록 구성되어 있다. 또한, 상기 하프 미러는 외부의 광을 투과시키도록 이루어져 있으므로, 사용자는 하프미러를 투과하는 외부로부터의 광에 의해 상기 HUD에 의해 형성된 허상과 함께 전경도 볼 수 있다.
그리고, 상기 디스플레이 장치는 TOLED(Transparant OLED) 등과 같은 다양한 투명 디스플레이 방식들을 이용하여 구현될 수 있다.
이하에서는, 착용형 전자 장치(1)가 HUD를 구비하는 것을 예로 들어 본 발명의 일실시예를 설명하나, 본 발명은 이에 한정되지 아니한다.
도 2에 도시된 착용형 전자 장치(1)의 후면 구성을 참조하면, 좌측 걸이부(30) 및 우측 걸이부(31) 중 적어도 하나의 후면에 프로젝터와 유사한 기능을 하는 HUD(150, 151)가 장착될 수 있다.
HUD(150, 151)로부터 방출되는 광에 의한 화상이 좌우 렌즈(50, 51)에서 반사되어 사용자에게 보여짐에 따라, HUD(150, 151)에 의해 형성되는 오브젝트(200)이 좌우 렌즈(50, 51) 상에 표시되는 것으로 사용자에게 인지될 수 있다.
이 경우, 도 3에 도시된 바와 같이, HUD(150, 151)에 의해 좌우 렌즈(50, 51) 상에 표시되는 오브젝트(200)와 전경(250)이 사용자의 시야에 함께 관찰될 수 있다.
HUD(150, 151)에 의해 좌우 렌즈(50, 51) 상에 표시되는 오브젝트(200)는 도 3에 도시된 바와 같은 메뉴 아이콘에 한정되지 아니하고, 텍스트나 사진 또는 동영상 등과 같은 이미지일 수 있다.
한편, 도 1 및 도 2를 참조하여 설명한 바와 같은 착용형 전자 장치(1)의 구성에 의해, 착용형 전자 장치(1)는 촬영, 전화, 메시지, SNS(Social Network Service), 네비게이션(navigation), 검색 등의 기능을 수행할 수 있다.
착용형 전자 장치(1)의 기능은 구비되는 모듈들에 따라 상기한 바와 같은 기능들 이외에 다양한 기능들이 추가될 수 있다.
예를 들어, 카메라(110)를 통해 촬영한 동영상을 통신부(140)를 통해 SNS 서버에 전송하여 다른 사용자들과 공유하는 등, 2 이상의 기능들을 융합한 기능들이 구현될 수 있다.
그리고, 사용자가 입체 영상을 시청할 수 있도록 하는 3D 안경 기능이 착용형 전자 장치(1)에 구현될 수도 있다.
예를 들어, 외부의 디스플레이 장치가 좌안 영상 또는 우안 영상을 프레임 단위로 교대로 표시함에 따라, 착용형 전자 장치(1)는 사용자의 양안을 선택적으로 개방 또는 차단시켜 사용자가 입체감을 느끼도록 할 수 있다.
즉, 착용형 전자 장치(1)는 상기 디스플레이 장치가 좌안 영상을 표시할 때 사용자의 좌안 측 셔터를 개방시키고, 상기 디스플레이장치가 우안 영상을 표시할 때는 사용자의 우안 측 셔터를 개방시켜, 사용자가 3차원 영상의 입체감을 인지할 수 있도록 한다.
도 4 및 도 5는 착용형 전자 장치의 구성에 대한 또 다른 실시예들을 사시도로 도시한 것이다.
도 4를 참조하면, 착용형 전자 장치(1)가 좌우 렌즈들 중 어느 하나(예를 들어, 우측 렌즈(51))만을 구비하여, 한쪽 눈에만 HUD 등과 같은 착용형 전자 장치(1) 내부 디스플레이 장치에서 표시되는 영상이 보여지도록 할 수 있다.
도 5를 참조하면, 사용자의 한쪽 눈(예를 들어, 좌측 눈) 부분은 렌즈에 가려지지 않은 채로 완전 개방되고, 또 다른 눈(예를 들어, 우측 눈) 부분 중 상측 일부분만이 렌즈(11)에 의해 가려지는 구조로 착용형 전자 장치(1)가 구현될 수도 있다.
위와 같은 착용형 전자 장치(1)의 형상 및 구성 등은 이용 분야, 주기능, 주사용계층 등 다양한 필요에 따라 선택되거나 변경될 수 있다.
이하, 도 6 내지 도 35를 참조하여 본 발명의 일실시예에 따른 착용형 전자 장치를 제어하는 방법에 대해 상세히 설명하기로 한다.
도 6은 본 발명에 따른 착용형 전자 장치의 구성에 대한 일실시예를 블록도로 도시한 것으로, 도시된 착용형 전자 장치(300)는 제어부(310), 카메라(320), 센싱부(330), 디스플레이부(340), 통신부(350) 및 저장부(360)를 포함하여 구성될 수 있다.
도 6을 참조하면, 제어부(310)는 통상적으로 착용형 전자 장치(300)의 전반적인 동작을 제어하며, 예를 들어 상기한 바와 같은 촬영, 전화, 메시지, SNS, 네비게이션, 검색 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(310)는 멀티 미디어 재생을 위한 멀티미디어 모듈(미도시)을 구비할 수도 있으며, 상기 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(310)와 별도로 구현될 수도 있다.
제어부(310)는 상기한 바와 같은 기능을 수행하기 위한 하나 또는 그 이상의 프로세서들과 메모리를 포함하여, 카메라(320), 센싱부(330), 디스플레이부(340), 통신부(350) 및 저장부(360)로부터 입력되는 신호를 처리하여 분석하는 역할을 할 수 있다.
한편, 카메라(320)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리하며, 상기 처리된 화상 프레임은 디스플레이부(340)를 통해 표시될 수 있다.
카메라(320)에서 처리된 화상 프레임은 저장부(360)에 저장되거나, 통신부(350)를 통하여 외부로 전송될 수 있다. 카메라(320)는 사용 환경에 따라 2개 이상이 서로 다른 위치에 구비될 수도 있다.
센싱부(330)는 착용형 전자 장치(300)와 관련된 정보와 함께, 혈압, 혈당, 맥박, 심전도, 체온, 운동량, 얼굴, 홍채, 지문 등과 같은 사용자의 생체 정보를 획득할 수 있으며, 상기 생체 정보의 획득을 위해 하나 또는 그 이상의 센서들을 포함할 수 있다.
본 발명의 일실시예에 따르면, 제어부(310)는 상기 센싱부(330)에서 획득된 사용자의 생체 정보를 이용하여 사용자를 확인하여 사용자 인증 작업을 수행하고, 상기 확인 결과에 따라 착용형 전자 장치(300)의 기능을 제어할 수 있다.
한편, 저장부(360)는 제어부(310)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다.
저장부(360)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
또한, 착용형 전자 장치(300)는 인터넷상에서 저장부(360)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
디스플레이부(340)는 착용형 전자 장치(300)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 착용형 전자 장치(300)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시하며, 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시할 수 있다.
한편, 디스플레이부(340)는 도 1 내지 도 3을 참조하여 설명한 바와 같이, 사용자가 디스플레이부(340)를 통해 표시되는 오브젝트를 앞에 펼쳐진 전경과 함께 시각적으로 인지할 수 있도록 하기 위해, HMD, HUD 또는 TOLED 등과 같은 투명 디스플레이 방식을 이용하여 구현될 수 있다.
통신부(350)는 착용형 전자 장치(300)가 외부 장치(400)와 데이터 통신이 가능하도록 하기 위한 하나 또는 그 이상의 통신 모듈들을 포함할 수 있으며, 예를 들어 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치정보 모듈 등을 포함할 수 있다.
착용형 전자 장치(300)는 착용형 전자 장치(300)에 연결되는 모든 외부기기와의 통로 역할을하는 인터페이스부(미도시)를 더 구비할 수 있다.
상기 인터페이스부는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 착용형 전자 장치(300) 내부의 각 구성 요소에 전달하거나, 착용형 전자 장치(300) 내부의 데이터가 외부 기기로 전송되도록 한다.
예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 상기 인터페이스부에 포함될 수 있다.
상기 식별 모듈은 착용형 전자 장치(300)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 착용형 전자 장치(300)와 연결될 수 있다.
또한, 상기 인터페이스부는 착용형 전자 장치(300)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 착용형 전자 장치(300)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
한편, 착용형 전자 장치(300)는 제어부(310)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급하는 전원 공급부(미도시)를 더 포함할 수 있다. 상기 전원 공급부는 태양열 에너지를 이용하여 충전이 가능한 시스템을 포함하여 구성될 수 있다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리부(360)에 저장되고, 제어부(310)에 의해 실행될 수 있다.
도 7은 본 발명에 따른 제어 방법에 대한 일실시예를 흐름도로 도시한 것으로, 도시된 제어 방법을 도 6에 도시된 본 발명의 일실시예에 따른 착용형 전자 장치(300)의 구성을 나타내는 블록도와 결부시켜 설명하기로 한다.
도 7을 참조하면, 착용형 전자 장치(300)의 센싱부(330)는 사용자의 생체 정보를 획득한다(S500 단계).
상기 사용자의 생체 정보는 착용형 전자 장치(300)를 착용한 사용자를 확인하기 위한 정보로서, 예를 들어 사용자를 정확하게 식별할 수 있는 정보이거나 또는 사용자의 성별, 나이 또는 현재 상태 등과 같이 사용자를 개략적으로 분류할 수 있도록 하는 정보일 수 있다.
그를 위해, 센싱부(330)는 혈압 측정 센성, 혈당 측정 센서, 맥박 측정 센서, 심전도 측정 센서, 체온 측정 센서, 운동량 측정 센서, 얼굴 인식 모듈, 홍채 인식 모듈 또는 지문 인식 모듈 등을 포함할 수 있으며, 상기한 바와 같은 생체 정보 측정/인식 모듈은 해당 생체 정보를 가장 용이하게 측정 또는 인식할 수 있는 위치에 장착될 수 있다.
예를 들어, 상기한 바와 같이 착용형 전자 장치(300)의 움직임, 위치 및 주변 정보(예를 들어, 온도, 습도, 소음, 풍향, 풍량 등)를 검출하기 위한 센싱부(130)가 도 8에 도시된 바와 같이 측면의 걸이부 외면(30a)에 장착될 수 있다.
또한, 지문 인식 모듈(131)이 도 8에 도시된 바와 같이 측면의 걸이부 외면(30a)에 장착되어, 사용자가 어느 한 손가락을 해당 위치에 접촉시키는 경우 지문을 인식하여 지문 정보를 제어부(310)로 전달할 수 있다.
맥박 측정 센서(132)는 도 9에 도시된 바와 같이 측면의 걸이부 내면(30b), 보다 상세하게는 착용형 전자 장치(300)의 착용 시 사용자의 귀에 인접한 위치에 장착되어, 사용자가 안경 형태의 착용형 전자 장치(300)를 착용하는 경우 자동으로 사용자의 맥박을 측정하여 해당 정보를 제어부(310)로 전달할 수 있다.
또한, 홍채 인식 모듈(133, 134)은 도 11에 도시된 바와 같이 렌즈 프레임의 내면(10b, 11b)에 장착되어, 사용자가 착용형 전자 장치(300)를 착용하는 경우 자동으로 사용자의 홍채를 인식하여 해당 정보를 제어부(310)로 전달할 수 있다.
한편, 카메라(320)가 상기한 바와 같은 센싱부(330)의 기능을 수행하여, 사용자의 눈동자, 얼굴의 일부, 홍채 또는 지문 등을 촬영하여 사용자 생체 정보가 획득되도록 할 수도 있다.
그리고, 마이크(미도시)가 상기한 바와 같은 센싱부(330)의 기능을 수행하여, 사용자의 음성이 마이크를 통해 인식되어 제어부(310)로 전달됨으로써, 사용자 음성이 사용자 확인을 위해 이용될 수도 있다.
제어부(310)는 상기 센싱부(330)에 의해 획득된 사용자 생체 정보를 이용하여 사용자를 확인하고(S510 단계), 상기 사용자 확인 결과에 따라 착용형 전자 장치(300)의 기능을 제어한다(S520 단계).
본 발명의 일실시예에 따르면, 상기 사용자 확인 결과는 착용형 전자 장치(300)에 구비된 인디케이터(indicator)를 이용하여 나타내어 질 수 있다.
도 10을 참조하면, 착용형 전자 장치(300)는 현재 상태를 나타낼 수 있는 하나 또는 그 이상의 인디케이터들(160, 161, 162)를 구비할 수 있으며, 상기 인디케이터들(160, 161, 162)은 외부에 잘 보여질 수 있도록 렌즈 프레임의 전면(10a, 10b)에 위치될 수 있다.
한편, 인디케이터들(160, 161, 162)은 특정 색상의 광을 표시하는 LED 등의 발광 소자로 구성될 수 있으며, 표시하고자 하는 정보에 따라 점멸되거나 또는 서로 다른 색상으로 표시될 수 있다.
예를 들어, 제1 인디케이터(160)는 착용형 전자 장치(300)가 현재 사진 또는 동영상을 촬영 중임을 나타내기 위해 점멸될 수 있으며, 좀 더 구체적으로 촬영 중에만 켜지거나 또는 촬영 중에 적색으로 표시될 수 있다.
또한, 제2 인디케이터(161)는 착용형 전자 장치(300)를 현재 착용하고 있는 사용자가 인증된 사용자인지 여부를 나타낼 수 있으며, 상기 S510 단계에서 수행된 사용자 확인 결과에 따라 제어부(310)에 의해 그의 점멸 또는 색상이 제어될 수 있다.
예를 들어, 착용형 전자 장치(300)를 인증되지 않은 사용자가 착용하고 있는 경우, 제2 인디케이터(161)가 켜지거나 또는 적색으로 표시될 수 있다.
제3 인디케이터(162)는 현재 시청하고 있는 컨텐츠(contents)가 착용형 전자 장치(300)를 착용하고 있는 사용자에게 부적합함을 나타낼 수 있다.
예를 들어, 현재 시청하는 컨텐츠가 어린이 또는 청소년에게 부적합한 컨텐츠이고, 착용형 전자 장치(300)를 착용하고 있는 사용자가 성인 인증되지 않은 경우, 제3 인디케이터(162)가 켜지거나 또는 적색으로 표시될 수 있다.
한편, 상기한 바와 같이 제어부(310)가 수행한 사용자 확인에 따른 사용자 인증 결과는 통신부(350)를 통해 지정된 외부 장치로 전달될 수도 있다.
예를 들어, 인증되지 않은 사용자가 착용형 전자 장치(300)를 착용하는 경우, 해당 정보를 지정된 번호를 가지는 휴대용 단말기로 전달하여, 인증되지 않은 사용자가 착용하였음을 인증된 사용자에게 알릴 수 있다.
이상에서는, 도 6 내지 도 11을 참조하여 본 발명의 일실시예에 따른 착용형 전자 장치(300)의 제어 방법에 대해 설명하였으나, 본 발명은 이에 한정되지 아니한다.
예를 들어, 착용형 전자 장치(300)는 근접 센서(미도시)를 구비하여, 사용자가 착용형 전자 장치(300)를 착용하였는지 여부를 인지할 수 있으며, 제어부(310)는 사용자가 착용형 전자 장치(300)를 착용하기 이전에는 대부분의 기능들이 비활성화 상태에 있는 대기 모드로 착용형 전자 장치(300)가 동작하도록 제어할 수 있다.
상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치스크린이 정전식인 경우에는 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
또한, 착용형 전자 장치(300)는 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있는 햅틱 모듈(haptic module)(미도시)를 더 구비할 수 있다.
상기 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있으며, 햅택 모듈이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
한편, 상기 햅틱 모듈은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 상기 햅틱 모듈은 착용형 전자 장치(300)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
본 발명의 일실시예에 따르면, 상기 햅틱 모듈은 제어부(310)의 제어들 받아, 착용형 전자 장치(300)에서 수행되는 기능과 관련한 정보를 사용자에게 알리는 역할을 수행할 수 있으며, 예를 들어 특정 기능의 시작이나 종료 또는 특정 상태를 사용자에게 알리거나, 상기한 바와 같은 사용자 인증 결과, 인증 성공 또는 인증 실패에 따라 서로 다른 촉각 효과를 사용자에게 전달할 수 있다.
이하, 도 12 내지 도 17을 참조하여 사용자 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 방법에 대한 제1 실시예를 상세히 설명하기로 한다.
도 12를 참조하면, TV 또는 모니터 등과 같은 디스플레이 장치(410)는 외부로부터 수신되거나 또는 내부에 저장된 영상을 재생하나, 상기 재생되는 영상은 육안으로는 볼 수 없도록 비공개 처리된 상태로 화면(411)에 표시될 수 있다.
이 경우, 상기 비공개 처리되어 디스플레이 장치(410)의 화면(411)에 표시되는 영상은 특정 권한이 있는 사용자, 예를 들어 본 발명의 일실시예에 따른 안경 형태의 착용형 전자 장치(300)를 착용한 사용자만이 시청 가능할 수 있다.
이는 디스플레이 장치(410)에서 재생되는 영상이 보안을 요하는 것이거나, 또는 성인용 또는 유료 채널이거나, 특정 시간대 이후의 방송 등, 사용자 인증 결과에 따라 제한적으로 시청되어야 하는 컨텐츠이기 때문에, 사용자 또는 컨텐츠 제공자 측에서 의도적으로 시청 권한을 제한함에 따른 것일 수 있다.
도 13을 참조하면, 사용자가 착용형 전자 장치(300)를 착용하는 경우, 먼저 도 6 내지 도 11을 참조하여 설명한 바와 같은 사용자 인증 작업이 수행될 수 있다.
한편, 상기 사용자 인증 작업이 수행되는 중에는, 착용형 전자 장치(300)에 구비된 디스플레이부(340)를 이용해 사용자 정보를 확인 중이라는 정보를 알리기 위한 오브젝트(342)가 표시될 수 있다.
상기 오브젝트(342)는 디스플레이 장치(410)의 화면을 포함하는 전경과 함께 사용자의 시각에 의해 인지되도록 HMD, HUD 또는 TOLED를 이용해 표시되나, 바람직하게는 디스플레이 장치(410)의 화면을 가리지 않는 위치에 표시된다.
구체적으로, 제어부(310)가 센싱부(330)를 통해 획득된 사용자 정보, 예를 들어 얼굴 일부, 홍채, 지문, 음성 등과 같은 사용자의 생체 정보를 저장부(360)에 저장된 사용자 정보와 비교하고, 상기 비교 결과 두 정보가 일치한다고 판단되는 경우 인증된 사용자가 착용형 전자 장치(300)를 착용한 것으로 결정할 수 있다.
이 경우, 도 14에 도시된 바와 같이, 사용자 인증이 성공적으로 완료되었음을 나타내는 오브젝트(342)가 착용형 전자 장치(300)에 구비된 디스플레이부(340)를 이용해 표시되고, 사용자는 착용형 전자 장치(300)를 통해 디스플레이 장치(410)의 화면(411)에서 재생되는 컨텐츠를 시청할 수 있다.
또한, 상기와 같이 사용자 인증이 성공된 경우에 한하여, 유료 채널에 대한 결제가 수행되도록 제한될 수 있으며, 상기 결제 정보는 인증된 사용자에 대해 저장부(360)에 미리 저장되어 있는 정보가 이용될 수 있다.
도 15를 참조하면, 사용자 인증이 성공적으로 완료되면, 청색 LED인 제2 인디케이터(161)가 켜져, 착용형 전자 장치(300)를 인증된 사용자가 착용하고 있음을 주변인들이 용이하게 인지할 수 있다.
도 16을 참조하면, 센싱부(330)를 통해 획득된 사용자 생체 정보와 저장부(360)에 저장된 사용자 정보가 일치하지 않아 착용형 전자 장치(300)를 착용한 사용자가 인증된 사용자가 아니라고 판단된 경우, 사용자 인증이 실패하였음을 나타내는 오브젝트(343)가 착용형 전자 장치(300)에 구비된 디스플레이부(340)를 이용해 표시되고, 사용자는 디스플레이 장치(410)의 화면(411)에서 재생되는 컨텐츠를 착용형 전자 장치(300)를 통해서도 시청할 수 없다.
도 17을 참조하면, 사용자 인증이 실패하면, 적색 LED인 제3 인디케이터(162)가 켜져, 착용형 전자 장치(300)를 인증되지 않은 사용자가 착용하고 있음을 주변인들이 용이하게 인지할 수 있다.
한편, 상기한 바와 같이 착용형 전자 장치(300)를 착용한 사용자에 대한 인증 결과에 따라, 디스플레이 장치(410)에서 표시되는 컨텐츠가 공개 또는 비공개되는 구체적인 방법에 대해서는 도 35를 참조하여 이후 상세히 설명하나, 본 발명은 이에 한정되지 아니하며 공지된 다양한 프라이버시(privacy) 시청 방법이 적용될 수 있다.
본 발명의 또 다른 실시예에 따르면, 사용자 인증 결과에 따라 디스플레이 장치(410)의 화면(411) 중 일부 영역 또는 컨텐츠 중 일부 구성에 대해 시청을 제한할 수도 있다.
이하, 도 18 내지 도 21을 참조하여 사용자 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 방법에 대한 제2 실시예를 설명하기로 한다.
도 18을 참조하면, 인증된 사용자가 착용형 전자 장치(300)를 착용한 경우, 해당 사용자는 디스플레이 장치(410)에서 실행 가능한 전체 기능들에 대응되는 메뉴 항목들(412)을 착용형 전자 장치(300)를 통해 확인한 후 특정 기능을 선택할 수 있다.
한편, 인증되지 않은 사용자가 착용형 전자 장치(300)를 착용한 경우에는, 도 19에 도시된 바와 같이, 디스플레이 장치(410)에서 실행 가능한 전체 기능들 중 일부에 대응되는 메뉴 항목들, 예를 들어 'TV 시청', '인터넷' 및 '앱스토어' 아이콘들 만이 사용자에게 인지되어 실행 가능한 기능이 제한될 수 있다.
위와 같이 디스플레이 장치(410)의 기능이 제한되는 것은, 디스플레이 장치(410)에서 표시되는 메뉴 항목들 중 일부가 사용자에게 보여지지 않음에 따른 것일 수 있으며, 그와 함께 디스플레이 장치(410)가 착용형 전자 장치(300)로부터 사용자 인증 결과에 대한 정보를 수신하여 그에 따라 일부 기능들의 실행 자체를 제한한 것일 수도 있다.
도 20을 참조하면, 착용형 전자 장치(300)를 통한 사용자 인증에 실패한 경우, 인증되지 않은 사용자에게 제한되는 메뉴 항목들은 나머지 메뉴 항목들과 식별되도록 표시되어 비활성화될 수 있다.
한편, 도 21에 도시된 바와 같이, 디스플레이 장치(410)의 기능들 중 인증되지 않은 사용자에 대해 제한하고자 하는 기능들은 '사용자 잠금 설정' 메뉴를 통해 인증된 사용자가 직접 설정할 수도 있다.
이하, 도 22 내지 도 24를 참조하여 성인 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 방법에 대한 일실시예를 상세히 설명하로 한다.
도 22를 참조하면, 디스플레이 장치(410)에서 성인 컨텐츠가 재생되고 있는 경우, 착용형 전자 장치(300)의 디스플레이부(340)에 의해 성인 컨텐츠가 방송 중임을 알리기 위한 오브젝트(344)가 표시되고, 디스플레이 장치(410)의 화면(411)에 재생되고 있는 영상은 육안이나 착용형 전자 장치(300)를 착용한 상태에서도 사용자에게 시청되지 않을 수 있다.
사용자가 착용형 전자 장치(300)를 착용하면, 성인 인증 작업이 수행되어, 착용한 사용자가 성인 컨텐츠를 시청할 수 있는 권한이 있는지 여부가 판단될 수 있다.
예를 들어, 상기한 바와 같은 사용자 인증 작업이 수행된 결과 착용형 전자 장치(300)를 착용한 사용자가 인증된 사용자인 경우, 저장부(360)에 미리 저장된 인증 사용자의 나이 정보를 이용하여 해당 사용자에 대한 성인 인증을 수행할 수 있다.
본 발명의 또 다른 실시예에 따르면, 제어부(310)는 센싱부(330)를 이용해 획득된 혈압, 혈당, 맥박, 심전도, 체온, 운동량, 얼굴, 눈동자, 홍채, 지문 등과 같은 사용자의 생체 정보를 이용하여 착용형 전자 장치(300)를 착용한 사용자의 나이를 예측할 수도 있다.
사용자에 대한 성인 인증이 성공적으로 완료된 경우, 도 23에 도시된 바와 같이, 성인 인증이 성공적으로 완료되었음을 나타내는 오브젝트(345)가 착용형 전자 장치(300)에 구비된 디스플레이부(340)를 이용해 표시되고, 사용자는 착용형 전자 장치(300)를 통해 디스플레이 장치(410)의 화면(411)에서 재생되는 성인 컨텐츠를 시청할 수 있다.
한편, 현재 디스플레이 장치(410)에서 재생되는 컨텐츠가 성인 컨텐츠인지 여부는 화면(411)의 특정 영역에 표시되는 나이 제한 이미지(415)를 이용하여 판단될 수도 있다.
도 24를 참조하면, 성인 인증이 실패한 경우, 성인 인증이 실패하였음을 나타내는 오브젝트(346)가 착용형 전자 장치(300)에 구비된 디스플레이부(340)를 이용해 표시되고, 사용자는 디스플레이 장치(410)의 화면(411)에서 재생되는 컨텐츠를 육안은 물론 착용형 전자 장치(300)를 통해서도 시청할 수 없다.
본 발명의 또 다른 실시예에 따르면, 상기한 바와 같은 시청 제한은 시간대 별로 설정가능할 수 있다.
도 25를 참조하면, 현재 시간이 시청 제한 시간대로 미리 설정되어 있는 시간인 경우, 디스플레이 장치(410)의 화면(411)에서 재생되는 영상은 육안으로 시청될 수 없다.
이 경우, 상기한 바와 같은 사용자 인증 작업이 수행되어, 사용자 인증된 사용자가 착용형 전자 장치(300)를 착용한 경우에 한하여 디스플레이 장치(410)에서 재생되는 영상이 시청 가능하도록 할 수 있다.
도 12 내지 도 25를 참조하여 설명한 바와 같은 착용형 전자 장치(300)의 사용자 인증을 통한 시청 제한 방법은 TV 또는 모니터 등과 같은 디스플레이 장치 이외에, 데스크탑 PC, 노트북, PDA 또는 휴대 전화 등과 같은 휴대용 단말기에도 적용 가능하다.
예를 들어, 휴대폰, 개인 휴대 단말기(Personal Digital Assistant : PDA), 노트북 등의 휴대용 단말장치와 데스크탑 개인용 컴퓨터(Personal Computer : PC)는 공공장소에서 자주 사용된다. 이때, 디스플레이 모니터의 내용은 그 디스플레이의 가시거리 내에 있는 모든 사람이 볼 수 있다.
이와 같은 보안성 문제로 인해 텍스트 작성, 메일, 채팅, 동영상 감상등을 위해 컴퓨터를 사용할 때 다른 사람이 보기를 원하지 않는 내용의 경우 컴퓨터 사용에 제한이 많다. 프라이버시 문제는 개인적인 컴퓨터 사용 외에도 기업, 정부 등에서 기밀문서를 컴퓨터로 작업할 때도 야기될 수 있다.
그 외에도 디스플레이의 보안성 문제는 다양한 분야에 존재한다. 예를 들어, 자동 예금 지급기(automatic teller machine : 이하, "ATM"이라고 함)는 공공장소에 배치되므로 ATM 사용자의 비밀번호 키입력과 화면상의 거래내역과 같은 비밀정 보가 쉽게 노출될 수 있다.
그러므로, 공개적으로 볼 수 있는 모니터 상에서 허가된 사용자에게 비공개 정보를 제공하고, 반면에 권한이 부여되지 않은 사람은 동일한 모니터상의 비공개 정보를 볼 수 없도록 하는 프라이버시 시청 기능이 적용되면 유용할 수 있다.
이하, 도 26 및 도 27을 참조하여 사용자 정보에 따라 휴대용 단말기의 사용을 제한하는 방법에 대한 일실시예를 설명하도록 한다.
도 26을 참조하면, 휴대용 단말기(420)가 권한 있는 사용자에 대해서만 접근 가능하도록 시청 제한이 설정되어 있는 경우, 휴대용 단말기(420)의 화면(421)에서 표시되는 영상은 육안으로 보여지지 않을 수 있다.
이 경우, 상기한 바와 같은 사용자 인증 작업이 수행되어, 사용자 인증된 사용자가 착용형 전자 장치(300)를 착용한 경우에 한하여 휴대용 단말기(420)의 화면(421) 상에 표시되고 있는 영상이 시각적으로 인지되도록 할 수 있다.
예를 들어, 도 27에 도시된 바와 같이, 인증된 사용자가 착용형 전자 장치(300)를 착용한 경우, 휴대용 단말기(420)의 화면(421)에 표시되는 메뉴 항목들(422)이 착용형 전자 장치(300)를 통해 사용자에게 시각적으로 인지될 수 있다.
그에 따라, 인증되지 않은 사용자는 육안으로는 물론, 착용형 전자 장치(300)를 착용한 경우에도 휴대용 단말기(420)에서 표시되는 영상을 시각적으로 인지할 수 없으며, 그와 함께 휴대용 단말기(420)의 기능들을 실행시킬 수 없다.
도 28 내지 도 30은 사용자 정보에 따라 PC(Personal Computer)의 사용을 제한하는 방법에 대한 일실시예를 설명하기 위한 도면들이다.
도 28을 참조하면, PC(430)가 권한 있는 사용자에 대해서만 접근 가능하도록 보안 설정이 되어있는 경우, PC(430)의 화면(431)에는 PC가 보안 중임을 나타내는 문구가 표시되고, PC(430)에서 표시되는 그 밖의 영상은 육안으로 보여지지 않을 수 있다.
이 경우, 상기한 바와 같은 사용자 인증 작업이 수행되어, 사용자 인증된 사용자가 착용형 전자 장치(300)를 착용한 경우에 한하여 PC(430)의 화면(431) 상에 표시되고 있는 영상이 시각적으로 인지되도록 할 수 있다.
도 29에 도시된 바와 같이, 인증된 사용자가 착용형 전자 장치(300)를 착용한 경우, PC(430)의 화면(431)에 표시되는 폴더들이 착용형 전자 장치(300)를 통해 사용자에게 시각적으로 인지될 수 있다.
인증되지 않은 사용자는 육안으로는 물론, 착용형 전자 장치(300)를 착용한 경우에도 PC(430)에서 표시되는 영상을 시각적으로 인지할 수 없으며, 그와 함께 PC(430)의 기능들을 실행시킬 수 없다.
본 발명의 다른 실시예에 따르면, PC(430)의 폴더들 중 일부만이 인증되지 않은 사용자에게 보여질 수도 있다.
도 30을 참조하면, 인증되지 않은 사용자가 착용형 전자 장치(300)를 착용한 경우, PC(430)의 폴더들 중 보안 설정되지 않은 일부의 폴더들만이 착용형 전자 장치(300)를 통해 사용자에게 시각적으로 인지되어 접근 가능할 수 있으며, 나머지 폴더들에 대한 접근은 제한될 수 있다.
이하, 도 31 내지 도 33을 참조하여 착용형 전자 장치에 구현되는 다양한 사용자 인터페이스에 대한 실시예들을 설명하기로 한다.
본 발명의 일실시예에 따른 착용형 전자 장치(1)와 특정 휴대용 단말기가 쌍으로 연결되어 서로에 대한 정보를 공유할 수 있다.
도 31을 참조하면, 착용형 전자 장치(1)가 미리 지정된 휴대용 단말기로부터 일정 거리 이상 멀리 떨어지는 경우, 상호 분실 위험을 알릴 수 있다.
예를 들어, 사용자가 착용형 전자 장치(1)를 착용하여 사용자 인증이 성공적으로 이루어지면, 착용형 전자 장치(1)에 미리 저장되어 있는 사용자의 휴대용 단말기 정보(예를 들어, 휴대전화 번호)를 통해 해당 단말기와 통신하여 서로 간의 거리를 측정할 수 있다.
그 결과, 착용형 전자 장치(1)와 휴대용 단말기 사이의 거리가 미리 설정된 거리, 예를 들어 10m 이상 떨어지는 경우, 착용형 전자 장치(1)에 구비된 디스플레이부를 이용해 거리 정보 및 단말기 분실 위험이 있음을 알릴 수 있다.
상기 착용형 전자 장치(1)와 휴대용 단말기 사이의 거리는 서로 간에 주기적으로 근거리 통신을 하면서 통신 강도를 측정함으로써 예측될 수 있으며, 서로 간의 신호가 송수신되지 않는 경우 분실 위험을 알릴 수도 있다.
본 발명의 또 다른 실시예에 따르면, 상기한 바와 같이 착용형 전자 장치(1)에서 획득된 사용자 생체 정보를 이용하여, 사용자에 개인화된 UI 또는 서비스를 제공할 수 있다.
도 32를 참조하면, 사용자 생체 정보를 통한 사용자 인증이 완료되면, 사용자에 맞추어진 네비게이션 서비스가 착용형 전자 장치(1)에 구비된 디스플레이부를 통해 제공될 수 있다.
한편, 상기 사용자 인증 결과에 따라 착용형 전자 장치(1)를 착용한 사용자가 여성이거나 아동인 경우, 도 33에 도시된 바와 같이, 그에 맞춘 길안내 등의 네비게이션 서비스를 제공할 수 있다.
즉, 도 32에 도시된 남성 사용자의 경우 직진하라는 알림이 제공되나, 도 33에 도시된 여성 사용자의 경우 위험지역이나 우회하라는 길안내가 제공될 수 있다.
도 32 및 도 33은 본 발명의 일실시예에 따라 착용형 전자 장치(1)를 통해 사용자 정보 맞춤 서비스가 제공되는 일예를 설명하는 것으로, 상기 사용자 정보 맞춤 서비스는 상기한 네비게이션 서비스 이외에 촬영, 전화, 메시지, SNS 등 다양한 서비스에 적용될 수 있다.
도 34는 착용형 전자 장치를 통해 사용자에게 보여지는 시야에 대한 또 다른 예를 나타낸 것으로, 인증되지 않은 사용자가 착용형 전자 장치(1)를 착용한 경우, 착용형 전자 장치(1)의 디스플레이부를 통해 미확인 사용자임이 표시되고, 착용형 전자 장치(1)의 기능들이 제한될 수 있다.
즉, 도 3와 도 34를 비교할 때, 인증되지 않은 미확인 사용자에 대해서는 긴급통화 기능(201), 네비게이션 기능(202) 및 검색 기능(203) 만이 제공될 수 있다.
한편, 도 12 내지 도 34에 도시된 바와 같은 실시예들에 있어서, 사용자 착용형 전자 장치(300)를 통해 제한된 영상을 보고 있음이 착용형 전자 장치(300)의 전면에 배치된 인디케이터를 통해 표시될 수 있다.
본 발명의 일실시예에 따른 착용형 전자 장치(1)는 3D 시청 기능을 가질 수 있으며, 상기 3D 시청 기능은 좌우 글래스를 교대로 개폐시키는 셔터 글래스 방식으로 구현될 수 있다.
이 경우, 착용형 전자 장치(1)는 상기 셔터 글래스 방식을 이용하여 상기한 바와 같은 시청 제한 기능을 수행할 수 있다.
도 35는 본 발명에 따른 착용형 전자 장치의 구성에 대한 또 다른 실시예를 블록도로 도시한 것으로, 착용형 전자 장치(606)는 송수신부(610), 디코더/인증수단(630), 셔터 제어기(632) 및 셔터(624)를 포함할 수 있다.
도 35를 참조하면, 본 발명의 일실시예에 따른 시청 제한 시스템은 영상 처리 장치(602), 디스플레이 장치(604) 및 착용형 전자 장치(606)를 포함하여 구성될 수 있다.
영상 처리 장치(602)는 비공개 디스플레이 소프트웨어를 컴퓨터 판독가능 메모리에 저장하여 포함할 수 있다. 영상 처리 장치(602)는 사용자의 요구에 의하거나 자체적으로 비공개 영상과, 비공개 영상을 마스킹하는 마스킹 영상을 디스플레이 장치(604)에 디스플레이하고, 상응하는 셔터 개폐 신호를 착용형 전자 장치(606)에 전송하여 셔터 개폐 수단을 동작시킴으로써 인증된 사용자만이 비공개 영상을 볼 수 있도록 한다.
상기 착용형 전자 장치(606)에 구비되는 셔터 개폐 수단은 기계식, 또는 액정 셔터와 같은 광전식일 수 있으며, 셔터 렌즈를 한 개 또는 여러 개를 가진 다양한 형태로 제작될 수 있다.
한편, 착용형 전자 장치(606)에 구비되는 셔터 개폐 수단과 송수신 인터페이스부(608)를 제외한 기능은 소프트웨어로 구현될 수 있다.
여기서, 전용 드라이버(610)는 영상 처리 장치(602) 내의 그래픽 드라이버(614)와 별개로 그래픽 카드와 같은 비디오 제어기(612)에 접근하여 비공개 디스플레이를 실시간으로 구현하는 드라이버를 의미할 수 있다.
비공개 디스플레이 제어 블록(618)은 보안 성능 제어부, 암호화부, 사용자 인증부, 관리부로 이루어지며, 사용자 인터페이스(620)로부터 사용자를 인증하고, 허가된 사용자의 인증 수준 및 사용자의 입력에 맞추어 디스플레이 보안 수준을 설정하고 관리할 수 있다.
사용자 인증 방법은 사용자 인터페이스(620)로부터 사용자의 식별부호(identification number : 이하, "ID"라고 함)와 비밀번호 입력을 받아 인증할 수 있다.
또한 ID와 비밀번호의 입력 없이 인증된 사용자가 착용한 착용형 전자 장치(606)를 연결함으로써 사용자 인증을 할 수 있다. 또한 허가된 셔터 개폐 수단(606)을 연결하고, 허가된
사용자 ID와 비밀번호의 입력을 받음으로써 사용자 인증을 할 수 있다. 허가된 셔터 개폐 수단 여부 인증 및 정품 인증은 착용형 전자 장치(606)의 판독 전용 메모리(read only memory : ROM)(도시되지 않음)에 내장된 제품의 일련번호 등으로 수행할 수 있다.
비공개 디스플레이 제어 블록(618)은 디스플레이 장치 정보 획득 수단(628)으로부터 디스플레이 장치 정보를 입력 받고 사용자의 인증 수준 및 디스플레이 보안 수준을 기준으로 영상 데이터 프레임 시퀀스 생성수단(622), 셔터 전압 시퀀스 생성 수단(624), 마스킹 영상 생성 수단(626)을 제어한다.
디스플레이 장치 정보 획득 수단(628)은 디스플레이 장치(604)의 해상도, 리프레쉬 사이클 시간(refresh cycle time), 수직 동기(vertical sync), 수평 동기(horizontal sync) 등의 정보를 읽어 들인다.
영상 데이터 프레임 시퀀스 생성 수단(622), 셔터 전압 시퀀스 생성 수단(624), 마스킹 영상 생성 수단(626)은 사용자의 인증 수준 및 디스플레이 보안 레벨과 사용자의 추가적인 선택에 따라 상응하는 영상 데이터 프레임 시퀀스, 셔터 전압 시퀀스, 마스킹 영상을 각각 생성한다.
셔터 전압 시퀀스 생성 수단(624)은 영상 데이터 프레임 시퀀스에 동기되어 셔터 개폐 시퀀스를 생성하고, 셔터 개폐 시퀀스에 상응하는 전압 시퀀스를 생성한다.
전용 드라이버(610)는 생성된 영상 데이터 프레임 시퀀스에 따라 마스킹 영상 생성 수단(626)에서 생성된 마스킹 영상을 비디오 메모리(628)에 제공하거나, 마스킹 영상 생성 수단(626)의 지시에 따라 스스로 마스킹 영상을 생성시켜 비디오 메모리(628)에 제공하거나, 컬러 테이블(color table)을 실시간 변경 제어한다.
또한 전용 드라이버(610)는 생성된 영상 시퀀스에 따라 비디오 제어기(612)가 비공개 영상 메모리 블록과 마스킹 영상 메모리 블록을 스위칭하도록 함으로써 디스플레이 장치(604)로의 영상 전송을 제어한다.
송수신부(608)는 셔터 개폐 수단(606)에게 셔터 개폐 시퀀스 또는 셔터 전압 시퀀스를 전송한다. 또한 송수신부(608)는 암호화 수단(도시되지 않음)을 사용하여 허가된 사용자에게 암호화된 셔터 전압 시퀀스를 전송할 수 있다.
송수신부(608, 310)는 USB, 직렬 링크(serial link)와 같은 유선링크나 IR, RF(FM, AM, Bluetooth)와 같은 무선링크로 구현될 수 있다. 그래픽카드와 같은 비디오 제어기(612)는 비디오 메모리(628)를 구비하고 있으며, 그래픽 드라이버(614)로부터 받은 원래의 비공개 영상과 전용 드라이버(610)로부터 받은 마스킹 영상을 영상 데이터 프레임 시퀀스에 따라 디스플레이 장치(604)에 디스플레이한다.
도 35에 도시된 바와 같이, 착용형 전자 장치(606)의 셔터 개폐 수단은 송수신부(610)와 디코더/ 인증수단(630)과 셔터 제어기(632)와 셔터부(634)로 이루어질 수 있다. 송수신부(610)는 송수신부(608)로부터 전송된 암호화된 셔터 개폐 신호를 수신하여 디코더/인증수단(630)에 전송한다.
디코더/인증수단(630)은 셔터 개폐 신호를 해독하여 셔터 전압 시퀀스를 생성하고, 셔터 제어기(632)는 셔터 전압 시퀀스에 따라 셔터부(624)를 완전히 개폐하거나 중간 상태로 개폐한다.
디스플레이 보안 수준은 셔터를 갖지 않은 비허가자에 대한 '맨눈 보안 성능'과 다른 셔터를 가진 비허가자에 대한 '염탐자 대항 보안 성능'에 따른 성능 수준으로 설정한다. 일반적으로 디스플레이 보안 수준이 높아질수록 사용자의 시지각 편안함, 영상의 선명도와 같은 '사용자 시지각 성능'이 낮아진다.
이러한 디스플레이 보안 수준은 다양하게 정의할 수 있다. 일 예로서, 제1 수준은 비허가자는 디스플레이 장치를 특정 시간 이상 장시간 보아도 사용자 비공개 영상의 대략적인 종류조차도 지각할 수 없다.
가장 엄격한 사적 정보 보호로서, 예를 들어 사용자가 워드를 하는지 동영상을 보는지 여부도 알 수 없다. 제2 수준은 비허가자가 디스플레이 장치를 특정 시간 이상 본다면 사용자 영상의 대략적인 종류를 지각할 수 있다. 그러나 사용자 영상정보 내용의 일부도 파악할 수 없다. 예를 들어, 사용자가 동영상을 보는지 알 수 있어도 영화인지 채팅인지 알 수 없다.
제3 수준은 비허가자가 디스플레이 장치를 특정 시간 이상 본다면 사용자 영상 정보 내용의 일부를 대략적으로 파악할 수 있다. 그러나 사용자 영상정보 내용의 대부분을 파악할 수 없다. 예를 들어, 사용자가 치는 워드의 내용을 알 수 없다. 사용자가 영화 동영상을 보는 지 알 수 있어도 내용을 알 수 없다.
제4 수준은 비허가자가 디스플레이 장치를 특정 시간 이상 본다면 사용자 영상 정보 내용의 일부를 정확히 파악할 수 있다. 그러나 사용자가 영상 정보 내용의 대부분을 파악할 수 없다. 예를 들어, 사용자가 치는 워드의 내용을 약간 알 수 있다. 사용자가 시지각하는 영화 동영상의 내용을 약간 알 수 있다. 제 5 수준은 비허가자가 사용자 영상정보 내용의 상당 부분을 파악할 수 있다. 그러나 시지각에 불편함을 느낀다.
다른 실시예로서 이러한 성능 수준에 사용자 비공개 영상과 의도적인 교란 마스킹 영상이 비허가자에게 인식될 수 있는 정도를 부가적인 성능지수로 추가할 수 있다. 이 경우, 상기 성능 수준과 같이 다양한 디스플레이 보안 수준을 설정할 수 있다.
도 36은 본 발명에 따른 제어 방법에 대한 일실시예를 흐름도로 도시한 것으로, 도시된 제어 방법을 도 6에 도시된 본 발명의 일실시예에 따른 착용형 전자 장치(300)의 구성을 나타내는 블록도와 결부시켜 설명하기로 한다.
도 36을 참조하면, 미리 설정된 시간(t)이 경과할 때 마다 주기적으로(S500 단계), 착용형 전자 장치(300)의 카메라(320)는 영상을 촬영하고(S510 단계), 그와 동시에 센싱부(330)는 사용자 생체 정보와 착용형 전자 장치(300)의 움직임 정보를 검출한다(S520 단계).
상기 사용자의 생체 정보는 착용형 전자 장치(300)를 착용한 사용자의 현재 상태를 확인하기 위한 정보이다.
그를 위해 센싱부(330)는 혈압 측정 센성, 혈당 측정 센서, 맥박 측정 센서, 심전도 측정 센서, 체온 측정 센서, 운동량 측정 센서, 얼굴 인식 모듈 또는 홍채 인식 모듈 등을 포함할 수 있으며, 상기한 바와 같은 생체 정보 측정/인식 모듈은 해당 생체 정보를 가장 용이하게 측정 또는 인식할 수 있는 위치에 장착될 수 있다.
예를 들어, 상기한 바와 같이 착용형 전자 장치(300)의 움직임, 위치 및 주변 상황 정보(예를 들어, 온도, 습도, 소음, 풍향, 풍량 등)를 검출하기 위한 센싱부(130)가 도 37에 도시된 바와 같이 측면의 걸이부 외면(30a)에 장착될 수 있다.
또한, 지문 인식 모듈(131)이 도 8에 도시된 바와 같이 측면의 걸이부 외면(30a)에 장착되어, 사용자가 어느 한 손가락을 해당 위치에 접촉시키는 경우 지문을 인식하여 지문 정보를 제어부(310)로 전달할 수 있다.
맥박 측정 센서(132)는 도 38에 도시된 바와 같이 측면의 걸이부 내면(30b), 보다 상세하게는 착용형 전자 장치(300)의 착용 시 사용자의 귀에 인접한 위치에 장착되어, 사용자가 안경 형태의 착용형 전자 장치(300)를 착용하는 경우 자동으로 사용자의 맥박을 측정하여 해당 정보를 제어부(310)로 전달할 수 있다.
한편, 카메라(320)가 상기한 바와 같은 센싱부(330)의 기능을 수행하여, 사용자의 눈동자, 얼굴의 일부, 홍채 등을 촬영하여 사용자 생체 정보가 획득되도록하거나, 또는 주변 위험 상황을 촬영된 영상으로부터 인지하도록 할 수도 있다.
그리고, 마이크(미도시)가 상기한 바와 같은 센싱부(330)의 기능을 수행하여, 주변의 소음 등과 같은 상황이 획득될 수도 있다.
제어부(310)는 상기 카메라(320)를 통해 촬영된 영상을 상기 센싱부(330)를 통해 검출된 정보와 동기화하여 저장 또는 전송한다(S530 단계).
예를 들어, 제어부(310)는 상기 카메라(320)를 통해 영상이 촬영된 시간과 상기 센싱부(330)를 통해 정보가 검출된 시간을 기준으로 하여 서로 동기화시켜 관리할 수 있다.
제어부(310)는 상기 S510 단계부터 S530 단계까지의 작업이 라이프 로그 기능이 종료되는 시점까지 주기적으로 수행되도록 한다(S540 단계).
한편, 상기 센싱부(330)를 통해 검출된 정보의 양이 매우 많을 수 있으므로, 제어부(310)는 상기 검출된 정보를 가공하여 "응급! 맥박정지”, “응급! 강제해제”와 같이 미리 정해진 위험 항목이나 위험 수준으로 정보를 판단할 수도 있다.
구체적으로, 5분마다 5초씩 동영상이 촬영하여 관련 정보와 함께 주기적으로 동기화되도록 착용형 전자 장치(300)가 설정되어 있는 경우, 제어부(310)는 영상 인식 검색을 이용하여 사용자가 지난 한 달 동안 행한 행동들을 사용자 생체 정보 및 주변 정보에 따라 분류하여 관리할 수 있다.
예를 들어, 사용자가 지난 한 달 동안 어떤 음식을 먹었는지에 대한 정보가 관련 사진과 함께 제공될 수 있으며, 그에 따라 사용자는 지난 한달의 추억과 더불어 다이어트 계획 또는 현재의 식사 메뉴 선택 등을 할 때 참고할 수 있다.
그리고, 제어부(310)는 상기와 같이 주기적으로 촬영된 영상을 위험 단계별, 사용자 관심별, 기록 및 전송 가치 지수 또는 기록 및 전송 비용에 기초하여 특이 상황인지 여부를 판단하고, 특이 상황인 경우 상기 영상과 센싱부(330)를 통해 측정된 정보를 저장부(360)에 전송하거나 통신부(350)를 통해 외부 장치(400)로 전송할 수 있다.
이상에서는, 도면을 참조하여 본 발명의 일실시예에 따른 착용형 전자 장치(300)의 제어 방법에 대해 설명하였으나, 본 발명은 이에 한정되지 아니한다.
예를 들어, 착용형 전자 장치(300)는 근접 센서(미도시)를 구비하여, 사용자가 착용형 전자 장치(300)를 착용하였는지 여부를 인지할 수 있으며, 제어부(310)는 사용자가 착용형 전자 장치(300)를 착용하기 이전에는 대부분의 기능들이 비활성화 상태에 있는 대기 모드로 착용형 전자 장치(300)가 동작하도록 제어할 수 있다.
상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치스크린이 정전식인 경우에는 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
또한, 착용형 전자 장치(300)는 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있는 햅틱 모듈(haptic module)(미도시)를 더 구비할 수 있다.
상기 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있으며, 햅택 모듈이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
한편, 상기 햅틱 모듈은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 상기 햅틱 모듈은 착용형 전자 장치(300)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
본 발명의 일실시예에 따르면, 상기 햅틱 모듈은 제어부(310)의 제어들 받아, 착용형 전자 장치(300)에서 수행되는 기능과 관련한 정보를 사용자에게 알리는 역할을 수행할 수 있으며, 예를 들어 특정 기능의 시작이나 종료 또는 특정 상태를 사용자에게 알리거나, 상기한 바와 같은 특이 상황 발생 여부 등을 촉각 효과를 이용하여 사용자에게 전달할 수 있다.
도 39은 본 발명의 일실시예에 따른 사용자 위험 감지 시스템의 구성을 블록도로 도시한 것으로, 도시된 위험 감지 시스템은 착용형 전자 장치(300), 서버(410), 보호자 단말기(420) 및 공공 기관 서버(430)를 포함하여 구성될 수 있다.
도 39를 참조하면, 착용형 전자 장치(300)는, 설명한 바와 같이, 주기적으로 영상을 촬영하여 해당 시점에서의 사용자 생체 정보, 움직임 정보 및 주변 상황 정보와 동기화해 저장할 수 있다.
또한, 상기 동기화된 정보가 미리 설정된 일정 조건을 만족하는 경우, 예를 들어 상기 검출된 정보에 따라 위험 상황 또는 특이 상황으로 판단되는 경우, 착용형 전자 장치(300)는 상기 동기화된 영상과 관련 정보는 서버(410)로 전송할 수 있다.
한편, 서버(410)는 상기 착용형 전자 장치(300)로부터 수신된 영상과 관련 정보를 저장하여 관리하며, 상기 수신된 영상과 관련 정보 중 적어도 하나를 보호자 단말기(420)로 전송하여 전달할 수 있다.
또한, 서버(410)는 상기 착용형 전자 장치(300)로부터 수신된 영상과 관련 정보 중 적어도 하나를 경찰서, 병원 등의 공공 기관 서버(430)로 전송하여 위험 상황 등에 대한 정보가 제공되도록 할 수 있다.
이하, 도 40 내지 도 46를 참조하여 착용형 전자 장치(300)에 의해 획득된 영상 및 정보를 처리하는 방법에 대한 실시예들에 대해 상세히 설명하기로 한다.
본 발명의 일실시예에 따르면, 사용자가 착용형 전자 장치(300)의 착용을 해제하는 경우, 착용 해제 상황을 알리기 위한 사용자 인터페이스가 제공될 수 있다.
도 40를 참조하면, 사용자가 안경 형태의 착용형 전자 장치(300)를 벗은 후 미리 설정된 허용 시간이 경과하는 경우(예를 들어, 착용 해제 후 10분), 진동 또는 음성을 이용하여 착용형 전자 장치(300)를 신속히 착용해야 함을 사용자에게 알릴 수 있다.
그와 동시에, 또는 그 이후 미리 설정된 일정 시간이 경과하는 경우(예를 들어, 착용 해제 후 15분), 제어부(310)에 의해 동기화되어 저장부(360)에 저장되어 있던 영상들 및 관련 정보들이 서버(410)로 전송되고, 상기 서버(410)를 통해 보호자 단말기(420)로 전달될 수 있다.
도 41을 참조하면, 사용자가 착용형 전자 장치(300)의 착용을 해제한 후 15분이 경과하는 경우, 해당 정보가 서버(410)를 통해 보호자 단말기(420)로 전달되어 화면(420)에 표시될 수 있다.
또한, 보호자 단말기(420)의 화면(420) 상에는 착용 해제 시점의 상황에 대한 상세한 정보를 확인하기 위한 메뉴 항목들(422 내지 425)이 제공될 수 있다.
예를 들어, 보호자는 '영상 보기' 항목(422)을 선택하여 착용 해제 시점까지 착
용형 전자 장치(300)에서 주기적으로 촬영된 영상들을 확인하거나, '생체 정보' 항목(423)을 선택하여 영상과 시간적으로 동기화된 사용자의 혈압, 혈당, 맥박, 심전도, 체온, 운동량, 얼굴, 홍채 상태 등을 확인할 수 있다.
또한, 보호자는 '위치/움직임' 항목(424)을 선택하여 착용 해제 시점까지 사용자의 움직임 또는 위치 정보를 확인하거나, '주변 상황' 항목(425)을 선택하여 온도, 습도, 풍량, 소음 등과 같은 주변 상황을 확인할 수 있다.
본 발명의 또 다른 실시예에 따르면, 보호자는 보호자 단말기(420)를 이용해 착용형 전자 장치(300)에서 도 40에 도시된 바와 같은 착용 알림 기능이 수행되도록 할 수 있으며, 이와 같은 기능은 서버(410)를 통해 운영될 수 있다.
한편, 상기한 바와 같은 착용형 전자 장치(300)의 제어 동작은 위험 단계별,사용자 관심별로 수행되거나, 또는 전송 가치 및 비용 측면에서 산출된 지수에 따라 서로 상이하게 수행될 수 있다.
예를 들어, 일반 상황에서 상기 동기화된 영상과 관련 정보가 과도하게 전송되는 경우, 착용형 전자 장치(300)의 전력이 불필요하게 소모되어 응급 또는 위험 상황에 대한 대처가 어려울 수 있으며, 사용자의 맥박이나 위치와 같은 중요성이 높으나 정보 양이 적은 센싱 값은 비용대비 종합적인 가치가 높고, 그에 반해 영상이나 음성은 배터리 소모 및 데이터 량에 비하여 종합적인 가치는 좀더 낮을 수 있다.
따라서, 착용형 전자 장치(300)의 제어부(310)는 착용형 전자 장치(300), 서버(410) 및 단말기(420)에 기록된 과거의 경험치를 활용하여 상기 전송 가치 및 비용 측면에서 보정하면서 해당 영상 및 관련 정보를 저장하거나 또는 외부로 전송할 것인지 여부를 결정할 수 있다.
이하에서는, 도 42 내지 도 46을 참조하여 사용자 위험 수준에 따라 사용자의 상태를 알리는 사용자 인터페이스에 대한 실시예들을 설명하기로 한다.
먼저, 착용형 전자 장치(300)의 센싱부(330)를 통해 검출되는 정보, 예를 들어 사용자의 가속도, 속도, 맥박수, 심박수, 혈압, 체온 등에 대하여 상한치 및 하한치가 미리 설정되어 있을 수 있다.
한편, 사용자 또는 사용자의 보호자는 상기 상/하한치를 직접 설정할 수도 있으며, 사용자가 안전한 위치를 설정할 수도 있다.
이 경우, 상기 센싱부(330)를 통해 검출되는 정보와 상기 설정된 위험 상/하한치 및 안전 위치를 비교함에 의해, 사용자의 위험 수준이 판단될 수 있다.
예를 들어, 위험 수준 '4등급'은 사용자의 맥박수 및 순간 가속도가 상한치를 초과한 경우일 수 있다.
한편, 위험 상황 발생시 착용형 전자 장치(300)는 중요하거나 데이터 량이 적은 정보를 서버(410)로 우선적으로 보내고, 위험 수준이 높아질수록 서버(410)로 전송하는 데이터의 량을 증가시킬 수 있다.
도 42를 참조하면, 위험 수준 '4등급'에 해당하는 상황이 발생하는 경우, 착용형 전자 장치(300) 자체에서 진동이나 음성을 이용해 위험 상황 발생을 사용자에게 알릴 수 있다.
그와 함께, 제어부(310)는 위험 상황 발생 시점까지 일정 시간 동안 저장부(360)에 저장된 정보, 예를 들어 사용자 생체 정보, 위치/움직임 정보 및 주변 상황 정보를 통신부(350)를 통해 서버(410)로 전송할 수 있다.
도 43을 참조하면, 위험 수준 '4등급' 발생시, 보호자 단말기(420)는 서버(410)로부터 사용자 생체 정보, 위치/움직임 정보 및 주변 상황 정보를 수신하여 화면(420)에 표시할 수 있다.
위험 수준 '3등급'은 일정 시간 동안 사용자 위치가 미리 설정된 안전 위치를 벗어나고, 맥박수가 상한치를 초과한 경우일 수 있다.
위험 수준 '3등급'에 해당하는 상황이 발생하는 경우, 착용형 전자 장치(300) 자체에서 진동이나 음성을 이용해 위험 수준 '3등급' 발생을 사용자에게 알릴 수 있다.
그와 함께, 착용형 전자 장치(300)는 위험 상황 발생 시점까지 일정 시간 동안 저장부(360)에 저장된 사용자 생체 정보, 위치/움직임 정보 및 주변 상황 정보를 동기화된 영상과 함께 서버(410)로 전송할 수 있다.
도 44를 참조하면, 위험 수준 '3등급' 발생시, 보호자 단말기(420)는 서버(410)로부터 사용자 생체 정보, 위치/움직임 정보 및 주변 상황 정보와 영상을 수신하여 화면(420)에 표시할 수 있다.
한편, 보호자가 해당 상황을 인지하여 특정 조치를 취할 때 때까지, 보호자 단말기(420)의 진동이나 음성 등을 통해 위험 수준 '3등급' 발생 사실이 계속적으로 알림될 수 있다.
위험 수준 '2등급'은 일정 시간 동안 사용자 위치가 미리 설정된 안전 위치를 벗어나고, 맥박수가 상한치 및 순간 가속도가 상한치를 초과한 경우이거나, 사용자 주위 음향이 위험 수준으로 판단할 만큼 경우일 수 있다.
위험 수준 '2등급'에 해당하는 상황이 발생하는 경우, 착용형 전자 장치(300) 자체에서 진동이나 음성을 이용해 위험 수준 '2등급' 발생을 사용자에게 알릴 수 있다.
그와 함께, 착용형 전자 장치(300)는 위험 상황 발생 시점까지 일정 시간 동안 저장부(360)에 저장된 사용자 생체 정보, 위치/움직임 정보 및 주변 상황 정보를 동기화된 영상과 함께 서버(410)로 전송하고, 실시간으로 주변 상황을 촬영하여 실시간 영상을 서버(410)로 전송할 수 있다.
도 45를 참조하면, 위험 수준 '2등급' 발생시, 보호자 단말기(420)는 서버(410)로부터 사용자 생체 정보, 위치/움직임 정보 및 주변 상황 정보를 화면(420)에 표시하며, 더욱 중요하게는 서버(410)로부터 수신되는 착용형 전자 장치(300) 주변의 실시간 영상을 화면(420)에 표시할 수 있다.
한편, 보호자가 해당 상황을 인지하여 특정 조치를 취할 때 때까지, 보호자 단말기(420)의 진동이나 음성 등을 통해 위험 수준 '2등급' 발생 사실이 계속적으로 알림될 수 있다.
위험 수준 '1등급'은 맥박수가 하한치 미만으로 매우 적거나 없는 경우로서, 심장 마비, 과다출혈 가능성. 범죄자에 의한 착용형 전자 장치(300)의 강제 해제 가능성이 있을 수 있다.
도 46을 참조하면, 위험 수준 '1등급' 발생시, 보호자 단말기(420)는 서버(410)로부터 사용자 생체 정보, 위치/움직임 정보 및 주변 상황 정보와 함께 실시간 영상을 화면(420)에 표시하며, 보호자의 경찰이나 병원 등으로의 응급 신고 상황을 확인할 수 있도록 표시할 수 있다.
한편, 착용형 전자 장치(300)는 사용자의 현재 상태와 주변 상황을 인지할 수 있는 모든 센서들을 동작시키며, 공공 기관 서버(430)로 영상 및 관련 정보를 실시간으로 지속적으로 전송할 수 있다.
다만, 상기한 바와 같은 위험 수준에 따른 동작은 주기적으로 체크되는 착용형 전자 장치(300)의 배터리 상황에 맞추어 적합하도록 조정될 수 있으며, 위험 수준이 높아질수록 촬영 및 센싱 주기가 감소될 수 있다.
한편, 보호자가 단말기(420)를 통해 사용자의 상태를 확인한 결과, 사용자가 안전한 상황이라고 판단되는 경우 원격 조작에 의해 착용형 전자 장치(300)의 현재 상태를 평시 상태로 설정할 수도 있다.
상기한 바와 같은 위험 수준 등급들 이외에, 사용자가 움직이지 않고 있지만 체온이 높은 경우, 사용자 몸이 아플 가능성 높다고 판단하여, 체온 정보만이 보호자 단말기(420)로 전송될 수도 있다.
본 발명의 또 다른 실시예에 따르면, 사용자가 미리 설정한 관심 사항에 따라 상기한 바와 같은 사용자 로그 기록 및 전송 작업이 수행될 수도 있다.
예를 들어, 사용자는가 특정 시간대에 특정 장소에 가면 자동으로 영상과 음성을 녹화하기로, 그와 동기화하여 해당 시점의 맥박이나 움직임 등도 기록하기로 설정할 수도 있다.
상기한 바와 같은 위험 수준의 판단을 위한 가중치는 사용자 또는 사용자의 보호자에 의해 변경될 수 있다.
도 47을 참조하면, 사용자는 단말기(500)를 통해 맥박, 위치, 체온, 영상 및 음향 등 각각에 대해 가중치를 설정할 수 있으며, 예를 들어, 특정 정보에 대해 가중치를 높여 위험 수준 판단에 있어 중요한 항목으로 설정하거나, 특정 정보에 대해 가중치를 낮추어 위험 수준 판단에 있어 비교적 중요하지 않은 항목으로 설정할 수 있다.
본 발명의 일실시예에 따르면, 상기한 바와 같이 관리되는 영상 및 사용자 관련 정보는 사용자의 움직임에 따라 표현될 수 있다.
도 48을 사용자의 라이프 로그를 지도 정보와 함께 제공하는 방법에 대한 일실시예를 도시한 것이다.
도 48을 참조하면, 단말기(500)의 화면에 지도(510)가 표시되고, 지도(510) 상에 사용자의 이동 경로(511)가 표시될 수 있다. 한편, 상기 지도(510) 상에 표시되는 이동 경로(511)는 착용형 전자 장치(300)에 구비된 GPS 장치를 통해 획득될 수 있다.
한편, 지도(510)의 이동 경로(511) 상에 영상 및 사용자 관련 정보가 동기화되어 있는 지점들(512, 514, 515)이 표시될 수 있으며, 지점들(512, 513, 515) 각각에 대응되는 시간 정보(513)가 인접하여 표시될 수 있다.
사용자는 상기 지점들(512, 513, 515) 중 어느 하나를 선택하여 해당 시점에서 획득된 영상, 생체 정보, 움직임/위치 정보, 주변 상황 정보들을 확인할 수 있다.
지도(510)의 이동 경로(511) 상에 표시된 지점들(512, 513, 515) 중 특정 지점, 예를 들어 별표 표시된 지점(514)은 사용자가 해당 지점에 대응되는 영상 및 관련 정보를 SNS에 업로드한 것일 수 있다.
한편, 지도(510)의 이동 경로(511) 상에 표시된 지점들(512, 513, 515) 중 특정 지점, 예를 들어 얼굴 표시된 지점(515)은 가장 최근에 영상 및 관련 정보가 획득된 지점을 나타낼 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (2)

  1. 적어도 하나의 렌즈 및 상기 렌즈에 정보가 표시되도록 하는 디스플레이 수단을 구비하는 착용형 전자 장치에 있어서,
    착용형 전자 장치의 사용자 생체 정보를 획득하는 센싱부; 및
    상기 획득된 사용자 생체 정보를 이용하여 사용자 인증을 수행하고, 상기 사용자 인증 결과에 따라 착용형 전자 장치의 기능을 제어하는 제어부를 포함하는 작용형 전자 장치.
  2. 적어도 하나의 렌즈 및 상기 렌즈에 정보가 표시되도록 하는 디스플레이 수단을 구비하는 착용형 전자 장치에 있어서,
    일정 주기로 촬영하여 영상을 획득하는 카메라;
    사용자 생체 정보와 착용형 전자 장치의 움직임 정보를 검출하는 센싱부; 및
    상기 획득된 영상을 상기 센싱부를 통해 검출된 정보와 동기화시켜 저장 또는 전송하도록 제어하는 제어부를 포함하는 작용형 전자 장치.
PCT/KR2013/006821 2012-07-31 2013-07-30 착용형 전자 장치 및 그의 제어 방법 WO2014021602A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/413,802 US20150156196A1 (en) 2012-07-31 2013-07-30 Wearable electronic device and method for controlling same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020120083810A KR20140017735A (ko) 2012-07-31 2012-07-31 착용형 전자 장치 및 그의 제어 방법
KR10-2012-0083810 2012-07-31
KR10-2012-0083809 2012-07-31
KR1020120083809A KR20140017734A (ko) 2012-07-31 2012-07-31 착용형 전자 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
WO2014021602A2 true WO2014021602A2 (ko) 2014-02-06
WO2014021602A3 WO2014021602A3 (ko) 2014-03-27

Family

ID=50028607

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/006821 WO2014021602A2 (ko) 2012-07-31 2013-07-30 착용형 전자 장치 및 그의 제어 방법

Country Status (2)

Country Link
US (1) US20150156196A1 (ko)
WO (1) WO2014021602A2 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150118967A1 (en) * 2011-06-10 2015-04-30 Aliphcom Data-capable band management in an integrated application and network communication data environment
WO2015170894A1 (en) * 2014-05-07 2015-11-12 Samsung Electronics Co., Ltd. Wearable device and controlling method thereof
EP2993577A1 (en) * 2014-09-02 2016-03-09 Samsung Electronics Co., Ltd. Method for providing virtual reality service and apparatus for the same
WO2016162823A1 (en) * 2015-04-08 2016-10-13 Visa International Service Association Method and system for associating a user with a wearable device
WO2017099318A1 (ko) * 2015-12-10 2017-06-15 삼성전자 주식회사 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치
US9760790B2 (en) 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
EP3117265A4 (en) * 2014-03-11 2017-11-22 Verily Life Sciences LLC Contact lenses
US9836663B2 (en) 2015-03-05 2017-12-05 Samsung Electronics Co., Ltd. User authenticating method and head mounted device supporting the same
EP3189367A4 (en) * 2014-09-05 2018-05-30 Vision Service Plan Systems, apparatus, and methods for using eyewear, or other wearable item, to confirm the identity of an individual
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
US20200201053A1 (en) * 2014-04-25 2020-06-25 Mentor Acquisition One, Llc Ear horn assembly for headworn computer
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US20150304851A1 (en) * 2014-04-22 2015-10-22 Broadcom Corporation Portable authorization device
TW201543252A (zh) * 2014-05-06 2015-11-16 和碩聯合科技股份有限公司 具有身分驗證機制之遠端控制方法及執行該方法之穿戴式裝置
US20170186236A1 (en) * 2014-07-22 2017-06-29 Sony Corporation Image display device, image display method, and computer program
WO2016017945A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
KR102437104B1 (ko) 2014-07-29 2022-08-29 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US20160155412A1 (en) * 2014-11-28 2016-06-02 Seiko Epson Corporation Electronic apparatus and method of controlling electronic apparatus
EP3279780A4 (en) * 2015-03-30 2018-11-07 Sony Corporation Information processing device, information processing method, and information processing system
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US11119315B2 (en) * 2015-10-15 2021-09-14 Maxell, Ltd. Information display apparatus
KR20170069125A (ko) * 2015-12-10 2017-06-20 삼성전자주식회사 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치
DE102016106390A1 (de) * 2016-04-07 2017-10-12 Bundesdruckerei Gmbh Brillen-authentifikationsvorrichtung zum authentifizieren einer person
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US10762708B2 (en) * 2016-06-23 2020-09-01 Intel Corporation Presentation of scenes for binocular rivalry perception
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
WO2018051948A1 (ja) * 2016-09-16 2018-03-22 日本電気株式会社 個人認証装置、個人認証方法および記録媒体
US10969583B2 (en) * 2017-02-24 2021-04-06 Zoll Medical Corporation Augmented reality information system for use with a medical device
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10623725B2 (en) * 2018-01-03 2020-04-14 Votanic Ltd. 3D glasses incorporating real-time tracking
US10770036B2 (en) * 2018-08-27 2020-09-08 Lenovo (Singapore) Pte. Ltd. Presentation of content on left and right eye portions of headset
IT202100021212A1 (it) * 2021-08-05 2023-02-05 Luxottica Srl Occhiale elettronico.

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980084419A (ko) * 1997-05-23 1998-12-05 배순훈 홍채패턴 식별에 의한 가상현실 서비스 제공장치 및 방법
JP2003157136A (ja) * 2001-11-20 2003-05-30 Canon Inc 生体反応を記録可能な高臨場感映像表示装置
US20050036109A1 (en) * 2003-08-15 2005-02-17 Blum Ronald D. Enhanced electro-active lens system
US20080062297A1 (en) * 2006-09-08 2008-03-13 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
US20120154557A1 (en) * 2010-12-16 2012-06-21 Katie Stone Perez Comprehension and intent-based content for augmented reality displays

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7038398B1 (en) * 1997-08-26 2006-05-02 Color Kinetics, Incorporated Kinetic illumination system and methods
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980084419A (ko) * 1997-05-23 1998-12-05 배순훈 홍채패턴 식별에 의한 가상현실 서비스 제공장치 및 방법
JP2003157136A (ja) * 2001-11-20 2003-05-30 Canon Inc 生体反応を記録可能な高臨場感映像表示装置
US20050036109A1 (en) * 2003-08-15 2005-02-17 Blum Ronald D. Enhanced electro-active lens system
US20080062297A1 (en) * 2006-09-08 2008-03-13 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
US20120154557A1 (en) * 2010-12-16 2012-06-21 Katie Stone Perez Comprehension and intent-based content for augmented reality displays

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150118967A1 (en) * 2011-06-10 2015-04-30 Aliphcom Data-capable band management in an integrated application and network communication data environment
EP3117265A4 (en) * 2014-03-11 2017-11-22 Verily Life Sciences LLC Contact lenses
US20200201053A1 (en) * 2014-04-25 2020-06-25 Mentor Acquisition One, Llc Ear horn assembly for headworn computer
US10101884B2 (en) 2014-05-07 2018-10-16 Samsung Electronics Co., Ltd. Wearable device and controlling method thereof
WO2015170894A1 (en) * 2014-05-07 2015-11-12 Samsung Electronics Co., Ltd. Wearable device and controlling method thereof
EP2993577A1 (en) * 2014-09-02 2016-03-09 Samsung Electronics Co., Ltd. Method for providing virtual reality service and apparatus for the same
US10694981B2 (en) 2014-09-05 2020-06-30 Vision Service Plan Wearable physiology monitor computer apparatus, systems, and related methods
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
EP3189367A4 (en) * 2014-09-05 2018-05-30 Vision Service Plan Systems, apparatus, and methods for using eyewear, or other wearable item, to confirm the identity of an individual
US10188323B2 (en) 2014-09-05 2019-01-29 Vision Service Plan Systems, apparatus, and methods for using eyewear, or other wearable item, to confirm the identity of an individual
US10542915B2 (en) 2014-09-05 2020-01-28 Vision Service Plan Systems, apparatus, and methods for using a wearable device to confirm the identity of an individual
US10307085B2 (en) 2014-09-05 2019-06-04 Vision Service Plan Wearable physiology monitor computer apparatus, systems, and related methods
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
US10533855B2 (en) 2015-01-30 2020-01-14 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
US9836663B2 (en) 2015-03-05 2017-12-05 Samsung Electronics Co., Ltd. User authenticating method and head mounted device supporting the same
US10621316B2 (en) 2015-04-08 2020-04-14 Visa International Service Association Method and system for associating a user with a wearable device
WO2016162823A1 (en) * 2015-04-08 2016-10-13 Visa International Service Association Method and system for associating a user with a wearable device
US10503996B2 (en) 2015-05-12 2019-12-10 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
US9760790B2 (en) 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
WO2017099318A1 (ko) * 2015-12-10 2017-06-15 삼성전자 주식회사 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method

Also Published As

Publication number Publication date
US20150156196A1 (en) 2015-06-04
WO2014021602A3 (ko) 2014-03-27

Similar Documents

Publication Publication Date Title
WO2014021602A2 (ko) 착용형 전자 장치 및 그의 제어 방법
WO2014081076A1 (en) Head mount display and method for controlling the same
WO2016186286A1 (en) Mobile terminal and method of controlling therefor
WO2018110891A1 (en) Mobile terminal and method for controlling the same
WO2015137645A1 (ko) 이동 단말기 및 그 제어 방법
WO2020032311A1 (ko) 이동 단말기
WO2018030649A1 (en) Mobile terminal and method of controlling the same
WO2016089029A1 (en) Mobile terminal and controlling method thereof
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2018105806A1 (ko) 이동 단말기 및 그 제어 방법
WO2015072677A1 (en) Mobile terminal and method of controlling the same
WO2016047863A1 (ko) 모바일 디바이스, hmd 및 시스템
WO2015053470A1 (en) Mobile terminal and control method thereof
WO2015108234A1 (en) Detachable head mount display device and method for controlling the same
WO2015190796A1 (ko) 실외 및 실내에서 홍채인식이 가능한 손 부착형 웨어러블 장치
WO2016195146A1 (ko) 헤드 마운티드 디스플레이
WO2018048092A1 (en) Head mounted display and method for controlling the same
WO2017026554A1 (ko) 이동 단말기
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2018030619A1 (ko) 이동 단말기
WO2013100323A1 (ko) 이동 단말기 및 이를 구비하는 홀로그래피 제어 시스템
WO2015108241A1 (ko) 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
WO2018151377A1 (en) Mobile terminal and controlling method thereof
EP2982042A1 (en) Terminal and control method thereof
WO2018038545A1 (en) Method, system, and mobile communication terminal to run a predetermined operation for performing a specific function in response to an activation user input

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13826466

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 14413802

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13826466

Country of ref document: EP

Kind code of ref document: A2