WO2016013858A2 - 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 - Google Patents

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 Download PDF

Info

Publication number
WO2016013858A2
WO2016013858A2 PCT/KR2015/007581 KR2015007581W WO2016013858A2 WO 2016013858 A2 WO2016013858 A2 WO 2016013858A2 KR 2015007581 W KR2015007581 W KR 2015007581W WO 2016013858 A2 WO2016013858 A2 WO 2016013858A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
wearable device
user
face
information
Prior art date
Application number
PCT/KR2015/007581
Other languages
English (en)
French (fr)
Other versions
WO2016013858A3 (ko
Inventor
한성철
엄정한
김진영
이경현
김대중
김석기
유철현
김주천
김주원
Original Assignee
넥시스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140092034A external-priority patent/KR20160011302A/ko
Priority claimed from KR1020140098307A external-priority patent/KR102224985B1/ko
Priority claimed from KR1020140111752A external-priority patent/KR20160025150A/ko
Application filed by 넥시스 주식회사 filed Critical 넥시스 주식회사
Publication of WO2016013858A2 publication Critical patent/WO2016013858A2/ko
Publication of WO2016013858A3 publication Critical patent/WO2016013858A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an information processing system and method using a wearable device, and more particularly, to a system and method for information processing data acquired during an activity of a user having a wearable device.
  • the head mounted display device is mainly made of a safety glasses or a helmet type device to see the screen in front of the eyes, and was developed to realize virtual reality.
  • Glass-type wearable devices generally have a small display such as a liquid crystal installed at a position close to both eyes (both eyes) to project an image.
  • the wearable device is for use in space development, nuclear reactors, military institutions, and medical institutions.
  • Various developments for games and the like are in progress.
  • a glass type wearable device according to the prior art is also disclosed in US Pat. No. US8,427,396.
  • glass wearable devices Although various types of glass wearable devices have been researched and emerged, methods or services that wearers can conveniently utilize in daily life are very limited, and UI (User Interface) or UX (User Experience) suitable for glass wearable devices is very limited. Neither is it being developed. In addition, recently, glass-type wearable devices that can perform most functions by themselves, as well as glass-type wearable devices used in conjunction with mobile terminals such as smartphones, have been developed. Different from the mobile terminal of the need for a service suitable for the characteristics of the glass-type wearable device.
  • UI User Interface
  • UX User Experience
  • one object of the present invention is to provide a service suitable for a glass-type wearable device that can be utilized by the user or wearer of the glass-type wearable device.
  • an object of the present invention is to provide a system and method for providing a service for recognizing a counterpart through information processing a face image in an image acquired by a glass type wearable device or an image received through a glass type wearable device or a wireless communication signal. To provide.
  • An information processing method using a wearable device may include: receiving, by the glass type wearable device, the image or the image; Extracting a face region in the image or the image; Designating a face region to be blurred; And blurring the face area in the image or image.
  • the image or image receiving step may be characterized by manipulating the first camera by at least one of a user's voice input, a touch command, a blinking eye, and a gesture.
  • the method may further include displaying the blurred image or the image on a display.
  • the face region designating step may include: displaying a number on the extracted face region and displaying the number on the screen; And receiving a face area to be blurred by a voice command or a touch command from a user.
  • the face region designation step may include displaying the extracted face region on the image or image and providing the same to the user; And selecting a region to be blurred from the extracted face regions through eye tracking of a user.
  • the face region designation step may include: recognizing the same face by comparing the extracted face region with a face image of an acquaintance stored in the glass wearable device; And if the extracted face region matches at least one of face images of acquaintances stored in the glass wearable device, excluding the extracted face region from the face region to be blurred. .
  • the face region designation step may include: identifying an area in which one or more extracted face regions are concentrated in the image or image; Calculating a minimum size of the extracted face area in the dense area; And designating the extracted face area below the minimum size as a face area to be blurred.
  • the method may further include: recognizing the same face by comparing the extracted face area with a face image of an acquaintance stored in the glass wearable device; And transmitting the image or the image to an acquaintance recognized as the same face using wireless communication.
  • blurring of the face region in the image or the image may be performed using a Gaussian filter or an average filter.
  • the method may further include setting a blur effect degree or a blur effect application range of the face area in the image or the image.
  • an information processing method using a wearable device includes: obtaining an image or an image including a face of a counterpart; Extracting a face region from the image or image; Extracting feature information from the extracted face region; Comparing and comparing the extracted feature information with feature information of a stored acquaintance face to recognize an acquaintance corresponding to the counterpart; And providing acquaintance information corresponding to the counterpart to the user.
  • the acknowledgment step may be performed by a control unit or an external server of the glass type wearable device.
  • the acquaintance information providing step a method of displaying a photo or name of the acquaintance corresponding to the counterpart on the screen, a method of notifying the name of the acquaintance corresponding to the counterpart by sound output, an external device linked to the glass-type wearable device
  • the display may be performed by at least one or more of a method of displaying a photo or name of an acquaintance corresponding to a counterpart.
  • the feature information of the stored acquaintance's face is characterized in that the feature is extracted from the acquaintance's picture stored in the storage unit of the external server or the glass type wearable device, and stored.
  • the acknowledgment corresponding to the counterpart is the external server.
  • the glass-type wearable device may search for an acquaintance including the same feature information as the feature information of the extracted face image of the other party.
  • An information processing method using a wearable device may include: receiving, by the glass type wearable device, a wireless communication signal transmitted by an external device of a counterpart; Recognizing a location of the counterpart; Recognizing user information and status information included in the wireless communication signal; Displaying the counterpart on the screen of the glass type wearable device based on the recognized counterpart location and providing status information of the counterpart; And guiding the other party's profile information to the user.
  • the other party's location recognition step the method of recognizing the direction and strength of the wireless communication signal to recognize the location of the signal transmission, receiving the wireless communication signal including the location information of the other party, the glass-type wearable device It may be characterized in that performed by at least one or more of the way to recognize.
  • the method may further include: when the user information includes only user ID information, the glass type wearable device making a request for searching for profile information based on the user information to an external server; And receiving profile information of the counterpart from the external server.
  • the method may further include transmitting a message by selecting a specific counterpart from the user.
  • the method may further include selecting and providing a counterpart of the profile information corresponding to a condition set by the user.
  • the providing of the other party's status information may include: recognizing a direction that the user watches; And generating and providing a screen including the state information of the counterpart in the form of augmented reality when the gaze direction of the user coincides with the direction in which the counterpart recognized through the wireless communication signal is located. have.
  • the face of the other person is blurred in the image or image received by the glass type wearable device or stored in the glass type wearable device to protect the privacy of others included in the background while the image or image is taken. Can be. Through this, it is also possible to solve the privacy infringement problem of others, which is presented as a problem in implementing lifelogging which stores everything of a user's daily life and surroundings.
  • the person photographed in the image or image is an acquaintance that includes a face image in the storage unit of the user's glass wearable device, it can be automatically excluded from the blur processing of the face area, and is convenient to the person. It is convenient because it can be transmitted automatically using communication.
  • the present invention tells the user who the other person can not remember the acquaintances can avoid the situation of being embarrassed or embarrassed.
  • the other party's name information can be quickly provided, thereby preventing problems caused by not remembering the name.
  • the user can find and meet a person in a condition of his / her desired condition. Since the other party may be a person who wants instant meeting because the user information and status information are transmitted by wireless communication, the instant meeting with the user desired is also highly likely.
  • FIG. 1 is a block diagram of a glass type wearable device system according to an exemplary embodiment of the present invention.
  • FIG 2 is an exemplary view of a glass type wearable device related to one embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a connection relationship between a glass type wearable device, an external server, and an external device according to an exemplary embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an image or image processing method of a glass type wearable device according to an embodiment of the present invention.
  • 5 is an exemplary diagram in which a number is displayed on a face area in order to blur the face area in an image or an image.
  • FIG. 6 is an exemplary view of blurring a face area in an image or an image according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an acknowledgment method using a glass type wearable device according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram for notifying an acquaintance corresponding to a counterpart through a display unit according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of an acquaintance recognition system using a glass type wearable device and an external server according to an exemplary embodiment of the present invention.
  • FIG. 10 is a block diagram of an acquaintance recognition system using a glass type wearable device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a social dating service method using a glass type wearable device according to an embodiment of the present invention.
  • FIG. 12 illustrates an example of displaying a counterpart and state information on a display unit of a glass type wearable device according to an exemplary embodiment of the present invention.
  • FIG. 13 is an internal configuration diagram of a social dating service system using a glass type wearable device according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a glass type wearable device system 10 according to an embodiment of the present invention.
  • the glass type wearable device system 10 may include an input unit 100, a user input unit 110, a keyboard 111, a touch pad 112, and a camera unit 120. ), The first camera 121, the second camera 122, the third camera 123, the sensing unit 130, the gyro sensor 131, the acceleration sensor 132, the pressure sensor 133, iris recognition sensor 134, heart rate detection sensor 135, EMG sensor 136, voice input unit 140, information processing unit 210, voice recognition unit 220, situation evaluation module 230, voice-to-text conversion module 240 ), A wireless communication unit 250, a memory 260, an interface unit 230, an output unit 300, a display unit 310, an audio output unit 320, an alarm unit 330, and a haptic module 340. It includes all or part of.
  • the components shown in FIG. 1 are not essential, so a glassy wearable device with more or less components may be implemented.
  • FIG 2 is an exemplary view of a glass type wearable device related to one embodiment of the present invention.
  • the components may be provided inside or on one side of the glass type wearable device as shown in FIG. 2.
  • the input unit 100 is for inputting an audio signal, a video signal, a user's manipulation signal, a biosignal, and the like.
  • the input unit 100 includes a user input unit 110, a camera unit 120, a sensing unit 130, and a voice input unit 140.
  • the user input unit 110 generates key input data input by the user for controlling the operation of the device.
  • the user input unit 110 may include a keypad, a keyboard 111, a dome switch, a touch pad (static pressure / capacitance) 112, a jog wheel, a jog switch, a finger mouse, and the like.
  • a touch pad static pressure / capacitance
  • the touch pad forms a mutual layer structure with the display unit 310 to be described later, this may be referred to as a touch screen.
  • the camera 120 is for inputting a video signal or an image signal, and two or more cameras 120 may be provided according to a configuration aspect of the device.
  • the camera 120 processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display 310.
  • the image frame processed by the camera 120 may be stored in the memory 260 or transmitted to the outside through the wireless communication unit 250.
  • the control unit 210 transmits the image signal and the video signal.
  • the camera unit 120 may include one or more cameras according to the direction or purpose of the captured image.
  • the first camera 121 may be provided at one side of the glass type wearable device to capture an image of the front side.
  • the second camera 122 may be provided at one side of the glass type wearable device to acquire an image or an image in an eyeball direction.
  • the third camera 123 may be provided at the rear or side of the glass type wearable device 10 to acquire an image or an image of the rear or side.
  • the sensing unit 130 generates a sensing signal for controlling the operation of the device by detecting the current state of the device, such as whether the user wears the glass-shaped wearable device 10 or the position of the device.
  • the sensing unit 130 may perform a function of an input unit receiving an input signal for information processing of the device, and may perform various sensing functions such as whether an external device is connected or not.
  • the sensing unit 130 includes a proximity sensor, a pressure sensor 133, a motion sensor, a fingerprint recognition sensor, an iris recognition sensor 134, a heart rate detection sensor 135, a skin temperature sensor, a skin resistance sensor and an electrocardiogram sensor. And various sensors.
  • the proximity sensor can detect the presence or absence of an approaching object or an object present in the vicinity without mechanical contact.
  • the proximity sensor can detect a proximity object by using a change in an alternating magnetic field or a change in a static magnetic field, or by using a change rate of capacitance.
  • Two or more proximity sensors may be provided according to the configuration aspect.
  • the pressure sensor 133 may detect whether pressure is applied to the device, the magnitude of the pressure, and the like.
  • the pressure sensor 133 may be installed at a portion of the device requiring detection of pressure according to the use environment. If the pressure sensor 133 is installed in the display 310, a touch input through the display 310 and a greater pressure than the touch input are applied according to the signal output from the pressure sensor 133. The pressure touch input can be identified. In addition, according to the signal output from the pressure sensor 133, it is also possible to know the magnitude of the pressure applied to the display 310 when the pressure touch input.
  • the motion sensor includes one or more of sensors such as a gyro sensor 131, an acceleration sensor 132, and a geomagnetic sensor, and detects the position or movement of the device using the same.
  • the acceleration sensor 132 that can be used for a motion sensor is a device that converts an acceleration signal in one direction into an electrical signal, and is widely used with the development of micro-electromechanical systems (MEMS) technology.
  • MEMS micro-electromechanical systems
  • the gyro sensor 131 is a sensor for measuring the angular velocity, and may sense a direction returned to the reference direction.
  • the heart rate detection sensor 135 measures the change in the light blood flow rate according to the change in blood vessel thickness due to the heartbeat.
  • the skin temperature sensor measures the skin temperature as the resistance value changes in response to the temperature change.
  • Skin resistance sensors measure the electrical resistance of the skin.
  • the iris recognition sensor 134 performs a function of recognizing a person using iris information of an eye having unique characteristics for each person.
  • the human iris is completed after 18 months of age, and then the circular iris pattern, which is raised near the inner edge of the iris, is almost unchanged once determined. Therefore, iris recognition is the application of security authentication technology by informatizing the characteristics of different iris for each person. In other words, it is an authentication method developed as a means of identifying people by analyzing the shape and color of the iris and the morphology of the retinal capillaries.
  • the iris recognition sensor 134 codes and compares the iris pattern with an image signal, and determines the comparison.
  • the general operation principle is as follows. First, when the user's eyes are focused on the mirror in the center of the iris recognizer at a certain distance, the infrared camera adjusts the focus through the zoom lens. Then, the iris camera images the user's iris into a photograph, and the iris recognition algorithm analyzes the iris contrast patterns by area to generate a unique iris code. Finally, a comparison search is performed as soon as the iris code is registered in the database.
  • the iris recognition sensor 134 may be provided inside the second camera 122 disposed in the eye direction, and in this case, the second camera 122 may perform a function of the iris recognition sensor.
  • the voice input unit 140 is for inputting a voice signal and may include a microphone.
  • the microphone receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes it into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the wireless communication unit 250 and output in the call mode.
  • various noise canceling algorithms may be used to remove noise generated while receiving an external sound signal.
  • the output unit 300 is for outputting an audio signal, an image signal, a video signal or an alarm signal.
  • the output unit 300 may include a display unit 310, a sound output unit 320, an alarm unit 330, and a haptic module 340.
  • the display 310 displays and outputs information processed by the device. For example, when the device is in a call mode, the device displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the device is in a video call mode or a photographing mode, the captured or received images may be displayed at the same time or simultaneously, and the UI and the GUI may be displayed.
  • UI user interface
  • GUI graphic user interface
  • the display unit 310 may be used as an input device in addition to the output device. If the display unit 310 is configured as a touch screen, the display unit 310 may include a touch screen panel and a touch screen panel controller.
  • the display unit 310 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. It may include at least one of (3D display).
  • two or more display units 310 may exist according to the implementation form of the device. For example, the external display unit 310 and the internal display unit 310 may be simultaneously provided in the device.
  • the display unit 310 may be implemented as a head up display (HUD), a head mounted display (HMD), or the like.
  • HMD Head mounted Display
  • a head up display (HUD) is an image display device for projecting a virtual image onto glass in a user's visible area.
  • the sound output unit 320 outputs audio data received from the wireless communication unit or stored in the memory 260 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output module 320 outputs a sound signal related to a function performed in the device, for example, a call signal reception sound and a message reception sound.
  • the sound output module 320 may include a speaker, a buzzer, and the like.
  • the alarm unit 330 outputs a signal for notifying occurrence of an event of the device. Examples of events occurring in the device include call signal reception, message reception, and key signal input.
  • the alarm unit 330 outputs a signal for notifying occurrence of an event in a form other than an audio signal or a video signal. For example, the signal may be output in the form of vibration.
  • the alarm unit 330 may output a signal to notify the call signal when the call signal is received or a message is received. Also.
  • the key signal is input, the alarm unit 330 may output the signal as a feedback to the key signal input. The user may recognize the occurrence of an event through the signal output from the alarm unit 330.
  • the signal for notifying the event occurrence in the device may also be output through the display 310 or the sound output unit 320.
  • the haptic module 340 generates various haptic effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module 340 is a vibration effect.
  • the haptic module 340 When the haptic module 340 generates vibration by the tactile effect, the intensity and pattern of the vibration generated by the haptic module 340 may be converted, and may be output by combining different vibrations or sequentially.
  • the wireless communication unit 250 may include a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and a location information module.
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to voice call signal, video call signal, or text / multimedia message transmission and reception.
  • the wireless internet module refers to a module for wireless internet access, and the wireless internet module may be embedded or external to the device.
  • Wireless Internet technologies include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), long term evolution (LTE), LTE-A Long Term Evolution-Advanced and the like can be used.
  • the short range communication module refers to a module for short range communication.
  • Beacon, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, etc. may be used as a short range communication technology.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module refers to a module that receives the positioning signal and measures the position of the glass type wearable device.
  • the position information module may correspond to a Global Position System (GPS) module, and the positioning signal may correspond to a GPS signal.
  • GPS Global Position System
  • the Global Position System (GPS) module receives position information from a plurality of GPS satellites.
  • the memory 260 may store a program for processing and controlling the controller 210, and may perform a function for temporarily storing input or output data (eg, a message, a still image, a video, etc.). It may be.
  • input or output data eg, a message, a still image, a video, etc.
  • the memory 260 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM
  • the storage medium may include at least one type of storage medium.
  • the device may operate a web storage that performs a storage function of a memory on the Internet.
  • the memory 260 may be referred to as a storage 260 hereinafter.
  • the interface unit 230 serves as an interface with all external devices connected to the device. Examples of external devices that connect to the device include wired / wireless headsets, external chargers, wired / wireless data ports, memory cards, card sockets such as Subscriber Identification Module (SIM) or User Identity Module (UIM) cards, Audio I / O (Input / Output) terminals, video I / O (Input / Output) terminals, earphones, and the like.
  • SIM Subscriber Identification Module
  • UIM User Identity Module
  • the interface unit 230 may receive data from such an external device or receive power and transfer the power to each component inside the device, and allow the data inside the device to be transmitted to the external device.
  • the controller 210 typically controls the operation of each unit to perform a function of controlling the overall operation of the device. For example, perform related control and processing for voice calls, data communications, and the like. In addition, the controller 210 performs a function of processing data for multimedia reproduction. In addition, it performs a function of processing the data received from the input unit or the sensing unit 130.
  • the controller 210 performs face detection and face recognition for face recognition. That is, the controller 210 may include a face detection module and a face recognition module for face recognition.
  • the face detection module may extract only the face area from the camera image acquired by the camera unit 120. For example, the face detection module extracts a face region by recognizing feature elements in the face such as eyes, nose, and mouth.
  • the face recognition module may generate a template by extracting feature information from the extracted face region, and recognize a face by comparing a template with face information data in a face database.
  • the controller 210 may perform a function of extracting and recognizing a character from an image or an image acquired by the camera unit 120. That is, the controller 210 may include a character recognition module for character recognition.
  • Optical character recognition may be applied as a character recognition method of the character recognition module.
  • OCR Optical character recognition
  • the OCR method converts a typeface image of a document written by a person who can be obtained by an image scan or printed by a machine into a format such as a computer code that can be edited by a computer, and can be implemented by software.
  • the OCR method may compare several standard pattern letters and input characters prepared in advance and select the most similar to the standard pattern letters as the corresponding letters.
  • the character recognition module includes standard pattern letters of various languages, it is possible to read printed characters of various languages. Such a method is called a pattern matching method among the OCR methods, and the OCR method is not limited thereto, and various methods may be applied. In addition, the character recognition method of the character recognition module is not limited to the OCR method, various methods for recognizing the character on the offline already printed may be applied.
  • the controller 210 may perform a function of recognizing a gaze direction based on an eyeball image or an image acquired by the second camera 122. That is, the controller 210 may include a gaze analysis module that performs gaze direction recognition. After measuring the gaze direction and the gaze direction of the user, it is possible to determine the direction that the user looks by calculating by synthesis.
  • the gaze direction refers to a direction of the face of the user and may be measured by the gyro sensor 131 or the acceleration sensor 132 of the sensing unit 130.
  • the gaze direction may be grasped by the gaze analysis module in a direction viewed by the user's pupil.
  • the gaze analysis module may detect a movement of a pupil through analysis of a real-time camera image, and apply a method of calculating a direction of a gaze based on a fixed position reflected by the cornea. For example, through the image processing method, the position of the corneal reflected light by the center of the pupil and the illumination may be extracted and the gaze position may be calculated through the positional relationship thereof.
  • the power supply unit receives an external power source and an internal power source under the control of the controller 210 to supply power for operation of each component.
  • the speech recognition unit 220 performs a function of identifying linguistic meaning content from the speech by automatic means. Specifically, the process of identifying a word or word sequence and extracting meaning by inputting a speech waveform is classified into five categories: speech analysis, phoneme recognition, word recognition, sentence interpretation, and meaning extraction.
  • the voice recognition unit 220 may further include a voice evaluation module for comparing whether the stored voice and the input voice are the same.
  • the voice recognition unit 220 may further include a voice-to-text conversion module 240 for converting an input voice into text or converting a text into voice.
  • FIG 3 is a diagram illustrating a connection relationship between the glass type wearable device 10, the external server 20, and the external device 30 according to an embodiment of the present invention.
  • the glass type wearable device 10 may perform all the processing for information processing therein, but the external server 20 may perform some of the information processing. Accordingly, the glass type wearable device 10 may transmit the data acquired through the input unit 100 or data on which some information processing is performed to the external server 20 as information processing request data. The glass type wearable device 10 may receive information processing result data performed by the external server 20 through wireless communication. The glass type wearable device 10 may provide the received information processing result data to the user through the output unit 300 in various ways. The external server 20 may be different according to a service performed by the glass type wearable device 10.
  • the glass type wearable device 10 may provide the information processing result data to the user through its output unit 300, or may provide the information processing result data using the external device 30. That is, when the glass type wearable device 10 performs the entire information processing process, the external device 30 may output information processing result data received from the glass type wearable device 10. In addition, when the external server 20 receives the information processing request data from the glass type wearable device 10 to perform some information processing, the external device 30 receives the information processing result data received from the external server 20. You can output
  • the external device 30 may include various devices such as a smartphone, a tablet PC, a smart TV, and an output unit (for example, a display unit provided in the vehicle glass or an internal vehicle sound output unit) provided in the vehicle. .
  • the glass type wearable device 10 may receive a wireless communication signal (for example, a beacon tag that is a wireless communication tag 30 or a beacon signal transmitted from a mobile terminal of the other party) transmitted from the external device 30. have.
  • the glass type wearable device 10 may perform information processing using the received wireless communication signal.
  • FIG. 4 is a flowchart illustrating an image or an image processing method of a glass type wearable device according to an exemplary embodiment of the present invention.
  • an image or image processing method of a glass type wearable device may include extracting a face region (S100); Designating a face area to be blurred (S110); And performing a blurring of the face area in the image or the image (S120).
  • S100 face region
  • S110 face area to be blurred
  • S120 image or an image processing method of a glass type wearable device according to an embodiment of the present invention will be described in order.
  • the glass type wearable device 10 extracts a face region from the received image or image (S100).
  • the glass type wearable device 10 may receive an image of the front through the first camera, and may receive an image or an image stored in the storage.
  • the controller 210 of the glass type wearable device 10 may extract a face region from the received image or image.
  • the glass type wearable device 10 designates a face area to be blurred (S110).
  • the method of designating a face region to be blurred may be implemented in various ways by manual or automatic.
  • specifying a face area to be blurred may include: displaying the extracted face area on the image or image and displaying the extracted face area to the user; And selecting a region to be blurred from the extracted face regions by using eye tracking. That is, the glass type wearable device 10 may display the extracted face area on a display in a circle or a square so as to be recognized by the user. Thereafter, the glass type wearable device 10 recognizes the gaze direction of the user by the second camera 122 disposed in the direction of the user's pupil, and blinks after staring at a predetermined time or the corresponding position of the user. The extracted face region in the gaze direction may be selected.
  • the method of selecting a region to be blurred from the extracted face regions by using eye tracking by the second camera is not limited thereto, and may be implemented by various methods.
  • the step of designating a face area to be blurred may include: recognizing the same face by comparing the extracted face area with a face image of an acquaintance stored in the glass type wearable device 10; And if the extracted face region matches one or more of the face images of an acquaintance stored in the glass type wearable device 10, excluding the extracted face region from the face region to be blurred. can do. That is, the controller 210 of the glass type wearable device 10 may extract feature information from the extracted face region. Thereafter, the glass type wearable device 10 may recognize the face included in the input image or the image by comparing the extracted feature information with the face image of an acquaintance stored in the glass type wearable device 10.
  • the glass type wearable device 10 When the error between the extracted feature information and the feature information of the stored acquaintance's face image is within a threshold value, the glass type wearable device 10 recognizes the extracted face region and the acquaintance's face stored in the device as the face of the same person. can do. Thereafter, the glass type wearable device 10 may exclude a face region recognized as the same face as a stored acquaintance from the face region to be blurred. By doing so, it is possible to solve the inconvenience that an acquaintance who is an object of photography may be recognized as a blurring object.
  • the step of designating a face region to be blurred may include: identifying an area in which one or more extracted face regions are concentrated in the image or image; Calculating a minimum size of the extracted face area in the dense area; And designating the extracted face area below the minimum size as a face area to be blurred.
  • the glass type wearable device 10 is blurred based on whether the face area is included in a dense area (hereinafter, referred to as a "dense area") and whether the size of the extracted face area is smaller than the minimum face area size in the dense area.
  • the face region to be performed may be extracted.
  • the glass type wearable device 10 may extract a dense area of the face area from the acquired image or image. Thereafter, the glass type wearable device 10 determines a minimum size among the face areas in the dense area, and displays a face area smaller than the minimum size in the dense area in an area outside the dense area (that is, the peripheral area of the image or the image). Can be extracted. Thereafter, the glass type wearable device 10 may blur the face area smaller than the minimum size in the peripheral area.
  • the method of designating a face region to perform the blur is not limited to the presented method, and the glass-type wearable device such as designating all the extracted face regions included in the image or the image as the face region to perform blurring Various methods that can be implemented by the configuration of can be applied.
  • the face area in the image or the image is blurred (S120).
  • the blur of the face region of the image or the image may be performed on pixels of the face region using a Gaussian filter or an average filter.
  • the blurring is not limited thereto, and may be implemented by various filter types and filter application methods.
  • an embodiment of the present invention may further include receiving the image or image through the first camera 121. Through this, the image or image in a direction that the user gazes through the first camera 121 may be input, and a partial face area included in the image or image may be immediately blurred.
  • the first camera 121 may be operated by at least one of a user's voice input, a touch command, a blinking eye, and a gesture.
  • the voice input of the user the voice of the user is input by the voice input unit 140, and the voice recognition unit 220 recognizes the meaning of the input user voice and commands the first camera 121. That's the way.
  • the operation by the user's blinking is a method in which the second camera 122 recognizes the blinking of the user and transmits a command corresponding to the blinking to the first camera 121 for driving.
  • the gesture by the user's gesture may be recognized by the motion sensor provided in the glass type wearable device, or the first camera 121 may recognize the user's specific hand gesture to recognize the gesture. In this manner, the image or image is received by transmitting a command corresponding to the first camera 121.
  • an embodiment of the present invention may further include displaying the blurred image or the image on a display.
  • the user may check an image or an image in which a part of the extracted face region is blurred through the display 310.
  • the method may further include: recognizing the same face by comparing the extracted face area with a face image of an acquaintance stored in the glass wearable device; And transmitting the image or the image to an acquaintance recognized as the same face using wireless communication. Recognizing the same face by comparing the extracted face region with a face image of an acquaintance stored in the wearable device is performed in the same manner as the aforementioned face recognition method. Thereafter, the image or image may be automatically transmitted to an acquaintance recognized as the same person as the extracted face region using various wireless communication methods.
  • the method may further include setting a blur effect degree or a blur effect application range of the face area in the image or the image.
  • the blur effect degree indicates how much to blur the image or part of the image.
  • the device may provide an interface for setting the degree of blur effect to the user to determine the degree of blur effect to be applied to the extracted face region.
  • the blur effect application range indicates to which part of the extracted face region the blur is to be processed. For example, the user may select whether to blur the entire area corresponding to the face or blur the minimum range including eyes, nose, and mouth.
  • I can protect it.
  • it is also possible to solve the privacy infringement problem of others, which is presented as a problem in implementing lifelogging which stores everything of a user's daily life and surroundings.
  • the person photographed in the image or image is an acquaintance including a face image in the device storage unit 260 of the user, it can be automatically excluded from the blur processing of the face area, it is convenient to wireless It is convenient because it can be transmitted automatically using communication.
  • FIG. 7 is a flowchart illustrating a recognition method using a glass type wearable device according to an exemplary embodiment of the present invention.
  • an acquaintance recognition method using a glass type wearable device may include obtaining an image or an image including a face of the other party (S200); Extracting a face region from the image or the image (S210); Extracting feature information from the extracted face region (S220); Comparing and comparing the extracted feature information with feature information of a stored acquaintance face and recognizing an acquaintance corresponding to the counterpart (S230); And informing a user of an acquaintance corresponding to the counterpart (S240).
  • An acquaintance recognition method using a glass type wearable device will be described in order.
  • the glass type wearable device 10 obtains an image or an image including a face of the counterpart (S200).
  • the first camera 121 provided at one side of the front portion of the glass type wearable device to acquire an image or image of the front of the user acquires an image or image including a face of the other party located in the direction of the user's gaze.
  • the first camera 121 may be operated by at least one of a user's voice input, a touch command, a blinking eye, and a gesture.
  • the voice input of the user the voice of the user is input by the voice input unit 140, and the voice recognition unit 220 recognizes the meaning of the input user voice and commands the first camera 121. That's the way.
  • the operation by the user's touch command the user touches the touch unit 112 provided on one side of the glass type wearable device 10, and transmits a command corresponding to the touch operation to the first camera 121. To drive.
  • the operation by the user's blinking is provided on one side of the glass type wearable device, and the second camera 122 which acquires an image or an image of the pupil pupil direction recognizes that the user's blinking and corresponds to the blinking. It is a method to transmit the command to the first camera 121 to drive.
  • the gesture by the user's gesture may be recognized by the motion sensor provided in the glass type wearable device, or the first camera 121 may recognize the user's specific hand gesture to recognize the gesture. In this manner, the image or image is received by transmitting a command corresponding to the first camera 121.
  • the glass type wearable device 10 extracts a face region from the image or the image (S110).
  • the glass type wearable device 10 extracts feature information for face recognition in the extracted face region (S120).
  • the glass type wearable device 10 compares the extracted feature information with feature information of a stored acquaintance's face and recognizes an acquaintance corresponding to the counterpart (S130).
  • the glass wearable device 10 compares feature information extracted to recognize an acquaintance with feature information of an acquaintance's face image stored in the glass wearable device 10 or the external server 20, and compares the feature information with the input image or image. Recognize who the face is. For example, when the distance difference between the extracted feature information and the stored information of the acquaintance's face image is within a threshold, the glass type wearable device 10 uses the extracted face region and the acquaintance's face stored in the device as the same. Can be recognized as a face.
  • the acknowledgment step S130 may be performed by the controller 210 or the external server 20 of the glass type wearable device. That is, when the external server 20 determines the acquaintance corresponding to the counterpart, the glass type wearable device 10 transmits the extracted feature information to the external server 20 through wireless communication, and the external server 20. ) May search for a face image corresponding to the other of the face images of acquaintances stored in the external server 20 based on the extracted feature information.
  • the feature information of the stored acquaintances face is extracted from the acquaintance's photo stored in the storage unit 260 of the external server 20 or the glass-type wearable device 20, and stored therein, the acquaintance corresponding to the counterpart
  • the recognition may search for an acquaintance including the same characteristic information as the feature information of the extracted face image of the other party in the external server 20 or the glass type wearable device 10.
  • the glass type wearable device 10 informs the user of an acquaintance corresponding to the counterpart (S240).
  • the acquaintance notification step (S40) a method of displaying a photo or name of the acquaintance corresponding to the counterpart on the display, a method of notifying the acquaintance name of the acquaintance corresponding to the counterpart by sound output, an external device linked with the glass-type wearable device
  • the display may be performed by at least one or more of a method of displaying a photo or name of an acquaintance corresponding to the counterpart.
  • an embodiment of the present invention may include providing information about an acquaintance corresponding to the counterpart to a user.
  • the information on acquaintances may include a job, a school, an age, a background of acquaintances, interests, and common acquaintances.
  • the glass type wearable device may display acquaintance information on the display 310.
  • FIG. 9 is a block diagram of an acknowledgment recognition system using a glass type wearable device and an external server 20 according to an embodiment of the present invention. However, in FIG. 9, detailed description of the previously described configuration will be omitted.
  • an acquaintance recognition system using a glass type wearable device may include a glass type wearable device 10; And an external server 20.
  • the glass type wearable device 10 obtains an image or an image including the other party's face, extracts feature information from the other party's face in the image or image, and transmits the feature information to the external server 20, and the other party from the external server 20.
  • Receive acquaintance data corresponding to can inform the user.
  • the external server 20 stores the acquaintance's face photo of the user, grasps an acquaintance corresponding to the counterpart based on the extracted feature information, and provides the acquaintance with the glass type wearable device 10 through wireless communication. Can be.
  • the glass type wearable device 10 includes a first camera 121; A wireless communication unit 250; Control unit 210; And an output unit 300.
  • the first camera 121 is a camera provided at one side of the front portion of the glass type wearable device to acquire an image or an image of the front of the user.
  • the first camera 121 performs an operation of acquiring an image or an image including the other's face.
  • the wireless communication unit 250 performs a function of exchanging information with the external server 20. That is, the wireless communication unit 250 may perform a function of transmitting the feature information of the other party's face extracted from the image or the image to the external server 20. In addition, a function of receiving information from the external server 20 such as a photo or a name of an acquaintance corresponding to the counterpart to be output to the user may be performed.
  • the controller 210 may include a face region extractor 211; And a feature extractor 212.
  • the face region extractor 211 may perform a function of extracting a counterpart face region in an image or an image.
  • the feature extractor 212 may perform a function of extracting feature information from the extracted face area of the counterpart.
  • the output unit 300 may perform a function of notifying an acquaintance corresponding to the user.
  • the output unit 300 may include a display unit 310 or a sound output unit 320.
  • the display 310 may perform a function of displaying a photo or name of an acquaintance corresponding to the counterpart.
  • the sound output unit 320 may perform a function of notifying a name of an acquaintance corresponding to the other party.
  • the glass type wearable device includes a voice input unit 140; And a voice recognition unit 220.
  • the voice input unit 140 performs a function of receiving a voice command for the operation of the first camera 121.
  • the voice recognition unit 220 may perform a function of determining the meaning of the user voice command input by the voice input unit 140. For example, the user may make a general comment pretending to know the other party, and the comment may be a voice command for the first camera 121 to acquire an image or an image. Accordingly, the voice input unit 140 receives the comment, and the voice recognition unit 220 recognizes the meaning of the comment and recognizes that the voice command commands the operation of the first camera 121.
  • the glass type wearable device 10 may include a touch unit 112 for manipulation of the first camera 121; Or a second camera 122.
  • the touch unit 112 may perform a function of providing an operation interface for receiving a user's touch command.
  • the second camera 122 is a camera that is provided at one side of the glass type wearable device and acquires an image or an image of the pupil direction.
  • the second camera 122 may perform a function of receiving an operation command by blinking the user's eyes. For example, when the user touches the touch unit 112 provided on one side of the glass type wearable device 10 three times, the user acquires an image or an image including the other's face through the first camera 121, You can search for acquaintances. In addition, when the user blinks the eyes five times in succession, the second camera 122 may recognize the second camera 122 so that the first camera 121 may acquire an image or an image including the other's face.
  • the storage unit 410 may include a face recognition unit 430.
  • the storage unit 410 stores a face photo of an acquaintance of the user.
  • the storage unit 410 may store information on acquaintances of the user.
  • Information about acquaintances may include occupation, school, age, background of acquaintances, interests, acquaintances in common. That is, the user may input a face photograph, a name, and other personal information of an acquaintance in advance in the storage unit 410 of the external server 20. The user is provided with this effect and can hide what he did not remember the acquaintance.
  • the wireless communication unit 420 performs a function of exchanging information with the glass type wearable device 10. That is, the wireless communication unit 420 may receive the feature information of the face from the glass type wearable device 10 and transmit a name or a picture of an acquaintance, which is determined based on the received information, to the glass type wearable device 10.
  • the face recognition unit 430 may perform a function of identifying an acquaintance corresponding to the counterpart based on the received facial feature information of the counterpart. That is, by comparing and determining the feature information received from the glass-type wearable device through wireless communication with the feature information extracted from the face photograph of an acquaintance stored in the storage unit 410, an acquaintance corresponding to the counterpart may be searched. have.
  • FIG. 10 is a block diagram of an acquaintance recognition system using a glass type wearable device according to an embodiment of the present invention. However, in FIG. 10, detailed description of the previously described configuration will be omitted.
  • an acquaintance recognition system using a glass type wearable device may include a first camera 121; Control unit 210; Storage unit 260; And an output unit 300.
  • the first camera 121 may perform a function of acquiring an image or an image including a face of the other party.
  • the controller 210 may include a face region extractor 211; Feature extractor 212; It may include a face recognition unit 213.
  • the face region extractor 211 may perform a function of extracting a counterpart face region in the image or image.
  • the face region extractor 211 may extract an approximate face from each input image or image, extract eye, nose, mouth, etc., which are certain components in the face, and extract a predetermined face region based on this. . For example, if the position of both eyes is detected, the distance of both eyes can be obtained.
  • the face region extractor 211 may extract a face region from the input image or the image as the face image based on the distance between the two eyes, thereby affecting the background of the input image or the image or the change of the human hair style. Can be reduced.
  • the method of extracting the face region of the face region extractor 211 is not limited thereto, and various methods such as a template matching method, a knowledge-based method, and an appearance-based face recognition method may be applied.
  • the feature extractor 212 may perform a function of extracting feature information from the extracted face region.
  • the face recognition unit 213 may determine an acquaintance corresponding to the counterpart based on the feature information.
  • the storage 260 may perform a function of storing a face photograph of an acquaintance of the user.
  • the output unit 300 performs a function of notifying an acquaintance corresponding to the user.
  • the output unit 300 includes a display unit 310; Or it may include a sound output unit 320.
  • the storage unit 260 may store information on acquaintances of the user, and the output unit 300 may provide information on acquaintances corresponding to the counterpart to the user.
  • the information on the acquaintance may include a job, school, age, background of acquaintances, interests, acquaintances in common.
  • the present invention tells the user who the other party can avoid the situation of being embarrassed or embarrassed not to remember the acquaintance.
  • the other party's name information can be quickly provided, thereby preventing problems caused by not being able to remember the name.
  • FIG. 11 is a flowchart illustrating a social dating service method using the glass type wearable device 10 according to an exemplary embodiment of the present invention.
  • the glassy wearable device 10 receives a wireless communication signal transmitted from the other party ( S300); Recognizing a location of the counterpart (S310); Recognizing user information and status information included in the wireless communication signal (S320); Displaying the counterpart on the display unit 310 of the glass type wearable device 10 and providing status information of the counterpart based on the recognized counterpart location (S330); And guiding the user's profile information to the user (S340).
  • S300 the other party
  • Recognizing a location of the counterpart S310
  • Recognizing user information and status information included in the wireless communication signal S320
  • a social dating service method using the glass type wearable device 10 according to an exemplary embodiment of the present invention will be described in order.
  • the glass type wearable device 10 receives a wireless communication signal transmitted from the other party (S300). As shown in FIG. 12, the glass type wearable device 10 of the user receives a wireless communication signal transmitted by the other party's glass type wearable device 10 or a communication device.
  • the wireless communication signal contains the status information of the other party, so that the location of the other party can be measured.
  • the wireless communication signal may be applied to various wireless communication methods such as a beacon signal using Bluetooth.
  • the glass type wearable device 10 recognizes the location of the counterpart (S310).
  • the method of recognizing the location of the other party, the method of recognizing the direction and strength of the wireless communication signal and the location of the signal transmission, receiving the wireless communication signal including the location information of the other party and the glass-like wearable may be applied.
  • the method of recognizing the location of the counterpart is not limited thereto, and various methods may be applied.
  • the glass type wearable device 10 recognizes user information and state information included in the wireless communication signal (S320).
  • User information refers to information about a user who has transmitted the wireless communication signal, and is information that can distinguish a user such as user ID information and user name.
  • the wireless communication signal may include a lot of data
  • the user information may also include profile information of the user.
  • the status information is information on whether the current social dating input by the user is desired. For example, when the user wants social dating, the other party may select 'active' and send the message through wireless communication. When the user does not want social dating, the user may select 'limit' and send it. .
  • the glass type wearable device 10 provides the counterpart location information and the counterpart status information through the display unit 310 based on the recognized counterpart location (S330). As shown in FIG. 13, the glass type wearable device 10 notifies the location information such as the direction in which the user is located and informs the other party's status information.
  • the status information may be displayed in text on the display 310 or may be displayed in different colors according to the status of the counterpart. In addition, only the user whose status is 'active' may be notified through the display unit 310 according to the user's setting.
  • the glass type wearable device guides the user's profile information to the user (S340). That is, the user may select a counterpart to perform social dating through the glass type wearable device 10, and the glass type wearable device 10 may provide profile information of the counterpart to the user.
  • the profile information may be included in the user information in the wireless communication signal, and if the wireless communication signal does not include the profile information of the other party and includes only ID information for distinguishing a user, request the external server based on the ID information. It may be received via wireless communication.
  • the counterpart location information and state information providing step (S330) the step of recognizing the direction the user observes; And generating a screen in the form of augmented reality when the gaze direction of the user coincides with the direction in which the counterpart recognized by the wireless communication signal is located.
  • the user In order for the user to accurately recognize the counterpart corresponding to the counterpart user information and status information, the user needs to display the counterpart in the form of augmented reality. To this end, it is necessary to determine whether the direction in which the user watches corresponds to the direction in which the counterpart is located. Therefore, the azimuth and / or the high and low angles may be recognized through the motion sensor (for example, the geomagnetic sensor, the gyro sensor 131, and the acceleration sensor 132) to recognize the direction in which the user looks.
  • the motion sensor for example, the geomagnetic sensor, the gyro sensor 131, and the acceleration sensor 132
  • the glass type wearable device 10 compares and matches the direction in which the user looks and the location of the user recognized by the wireless communication signal, the glass type wearable device 10 generates the screen of the counterpart user information and the state information in augmented reality form. Can be displayed.
  • the method may further include selecting and providing a counterpart of profile information corresponding to a condition set by the user. That is, the glass type wearable device 10 may filter a counterpart that does not meet a desired condition by the user to select a counterpart having profile information corresponding to a condition set by the user, and the user information and status information of the selected counterpart. Only the user can be provided.
  • the glass type wearable device 10 may receive a wireless communication signal and sequentially compare conditions set by a user based on user information of the counterpart. For example, if a user corresponds to the age range of 20 to 23 years old and is set as a condition of a long haired woman, whether the user information satisfies the above two conditions by receiving wireless communication signals from the other party. It can be determined.
  • the glass type wearable device 10 may search based on the condition, and may notify the user if there is a counterpart that satisfies the condition.
  • the glass-type wearable device 10 for requesting the search for the profile information based on the user information to the external server; And receiving profile information of the counterpart from an external server. Since the other party's profile information may be limited in the wireless communication signal due to a problem such as the amount of data, the user information includes only user ID information, and the glass type wearable device 10 uses the user ID information as the profile of the customer.
  • the external server 20 storing the information may request to provide the other party's profile information corresponding to the ID information. Thereafter, the external server 20 may search for the other party's profile information and transmit it to the glass type wearable device 10 through wireless communication.
  • the method may further include selecting a desired counterpart and transmitting a message. That is, the user information (or profile information) includes the contact information of the counterpart that the user wants to social date or includes a message transmission function through an external server, the user can select the desired counterpart through the glass-type wearable device 10 You can send a message.
  • a user can find and meet a person in a desired condition on the street. Since the other party may be a person who wants instant meeting because the user information and status information are transmitted by wireless communication, the instant meeting with the user desired is also highly likely.
  • the information processing method using the glass type wearable device according to the embodiments of the present invention described above is implemented as a program (or an application) to be executed in combination with the glass type wearable device 10 which is hardware, and stored in a medium. Can be.
  • the processor CPU of the glassy wearable device 10 may execute the glassy wearable device ( 10) may include code coded in a computer language such as C, C ++, JAVA, or machine language that can be read through the device interface.
  • code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, the execution of which is required for the processor of the glassy wearable device 10 to execute according to a predetermined procedure. Procedure-related control codes.
  • such code requires that additional information or media required to execute the functions by the processor of the glassy wearable device 10 is referred to at any position (address address) of the internal or external memory of the glassy wearable device 10. It may further include a memory reference code for whether or not.
  • the code may be configured to communicate with the communication module of the glass type wearable device 10. It may further include communication-related code, such as how to communicate with any other computer or server in the remote, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like.
  • the program may be stored in various recording media on various servers accessible by the glass type wearable device 10 or various recording media on the glass type wearable device 10 of the user.
  • the media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 처리방법에 관한 것이다. 본 발명의 일 실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 얼굴영역을 추출하는 단계(S100); 블러화를 수행할 얼굴영역을 지정하는 단계(S110); 및 상기 영상 또는 이미지 내 얼굴영역의 블러화를 수행하는 단계(S120);를 포함한다. 본 발명에 따르면, 글라스형 웨어러블 디바이스가 카메라를 통해 입력받거나 글라스형 웨어러블 디바이스 내부에 저장한 영상 또는 이미지에서 상기 다른 사람의 얼굴을 흐리게 처리하여 영상 또는 이미지의 촬영 중에 배경으로 포함된 다른 사람들의 프라이버시 보호를 할 수 있다. 이를 통해 사용자의 일상 및 주변의 모든 것을 저장하는 라이프로깅을 구현함에 있어서 문제점으로 제시되는 타인의 사생활 침해 문제 또한 해결할 수 있다.

Description

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법에 관한 것으로, 보다 자세하게는 웨어러블 디바이스를 보유한 사용자의 활동 중에 획득된 데이터를 정보 처리하는 시스템 및 방법에 관한 것이다.
정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 두부 장착형 디스플레이 장치(head mounted display, HMD)가 있다. 두부 장착형 디스플레이 장치는 주로 보안경이나 헬멧형 기기로 눈앞에 있는 스크린을 보도록 이루어지며, 가상 현실감을 실현하기 위해 개발되었다.
글라스형 웨어러블 디바이스는 양안(양쪽 눈)에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식이 일반적이며, 현재는 우주 개발, 원자로, 군사 기관 및 의료 기관에서 사용하기 위한 것과 업무용이나 게임용 등에 대한 각종 개발이 진행되고 있다. 종래 기술에 따른 글라스형 웨어러블 디바이스는 미국 특허 등록 번호 US8,427,396에도 개시되어 있다.
다양한 형태의 글라스형 웨어러블 디바이스가 연구되고 등장하고 있으나, 착용자들이 일상생활에서 편리하게 활용할 수 있는 방법 또는 서비스는 매우 한정되어 있으며, 글라스형 웨어러블 디바이스에 적합한 UI(User Interface) 또는 UX(User Experience)도 개발되고 있지 않은 실정이다. 또한, 최근에는 스마트폰과 같은 이동단말기와 연동하여 사용하는 글라스형 웨어러블 디바이스뿐만 아니라 단독으로 대부분의 기능을 수행할 수 있는 글라스형 웨어러블 디바이스도 개발되고 있으므로, 글라스형 웨어러블 디바이스 시장의 활성화를 위해 기존의 이동단말기와 차이나는 글라스형 웨어러블 디바이스의 특성에 적합한 서비스가 필요하다.
이러한 문제점을 해결하기 위하여, 본 발명의 일목적은 글라스형 웨어러블 디바이스의 사용자 또는 착용자가 활용할 수 있는 글라스형 웨어러블 디바이스에 적합한 서비스를 제공하고자 한다.
특히, 본 발명의 일목적은 글라스형 웨어러블 디바이스가 획득한 이미지 내 얼굴이미지를 정보처리하거나 글라스형 웨어러블 디바이스를 통해 수신한 이미지 또는 무선통신신호를 통해 상대방을 인식하는 서비스를 제공하는 시스템 및 방법을 제공하고자 한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리 방법은, 상기 글라스형 웨어러블 디바이스가 상기 영상 또는 상기 이미지를 수신하는 단계; 상기 영상 또는 상기 이미지 내에서 얼굴영역을 추출하는 단계; 블러화를 수행할 얼굴영역을 지정하는 단계; 및 상기 영상 또는 이미지 내 얼굴영역의 블러화를 수행하는 단계;를 포함한다.
또한, 상기 영상 또는 이미지 수신단계는, 사용자의 음성입력, 터치명령, 눈깜박임, 제스처 중 적어도 하나 이상에 의해 제1카메라를 조작하는 것을 특징으로 할 수 있다.
또한, 블러화된 영상 또는 이미지를 디스플레이로 표시하는 단계;를 더 포함할 수 있다.
또한, 상기 얼굴영역 지정단계는, 상기 추출된 얼굴영역에 번호를 부여하여 화면 상에 표시하는 단계; 및 사용자로부터 음성명령 또는 터치명령으로 블러화를 수행할 얼굴영역을 선택받는 단계;를 포함할 수 있다.
또한, 상기 얼굴영역 지정단계는, 추출된 얼굴영역을 상기 영상 또는 이미지 상에 표시하여 사용자에게 제공하는 단계; 및 사용자의 아이트래킹을 통해 상기 추출된 얼굴영역 중에서 블러화를 수행할 영역을 선택받는 단계;를 포함할 수 있다.
또한, 상기 얼굴영역 지정단계는, 상기 추출된 얼굴영역을 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지와 비교하여 동일한 얼굴을 인식하는 단계; 및 상기 추출된 얼굴영역이 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지 중 하나 이상과 일치하는 경우, 상기 추출된 얼굴영역은 상기 블러화를 수행할 얼굴영역에서 제외하는 단계;를 포함할 수 있다.
또한, 상기 얼굴영역 지정단계는, 상기 영상 또는 이미지 내에 하나 이상의 추출된 얼굴영역이 밀집된 영역을 파악하는 단계; 상기 밀집된 영역 내의 상기 추출된 얼굴영역의 최소크기를 계산하는 단계; 및 상기 최소크기 이하의 상기 추출된 얼굴영역을 블러화를 수행할 얼굴영역으로 지정하는 단계;를 포함할 수 있다.
또한, 상기 추출된 얼굴영역을 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지와 비교하여 동일한 얼굴을 인식하는 단계; 및 무선통신을 이용하여 상기 동일한 얼굴로 인식된 지인에게 상기 영상 또는 이미지를 전송하는 단계;를 더 포함할 수 있다.
또한, 상기 영상 또는 이미지 내 얼굴영역의 블러화는, 가우시안 필터 또는 평균 필터를 이용하여 수행하는 것을 특징으로 할 수 있다.
또한, 상기 영상 또는 이미지 내 얼굴영역의 블러효과정도 또는 블러효과적용범위를 설정하는 단계;를 더 포함할 수 있다.
본 발명의 다른 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리 방법은, 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하는 단계; 상기 영상 또는 이미지에서 얼굴영역을 추출하는 단계; 상기 추출된 얼굴영역에서 특징정보를 추출하는 단계; 상기 추출된 특징정보와 저장된 지인 얼굴의 특징정보를 비교 판단하여, 상기 상대방에 해당하는 지인을 인식하는 단계; 및 사용자에게 상기 상대방에 해당하는 지인정보를 제공하는 단계;를 포함한다.
또한, 상기 지인 인식 단계는, 상기 글라스형 웨어러블 디바이스의 제어부 또는 외부서버에서 수행되는 것을 특징으로 할 수 있다.
또한, 상기 지인정보 제공단계는, 상대방에 해당하는 지인의 사진 또는 이름을 화면 상에 표시하는 방식, 음향출력으로 상대방에 해당하는 지인의 이름을 알리는 방식, 상기 글라스형 웨어러블 디바이스와 연동된 외부 디바이스의 화면 상에 상대방에 해당하는 지인의 사진 또는 이름을 표시하는 방식 중 적어도 하나 이상에 의해 수행될 수 있다.
또한, 상기 저장된 지인 얼굴의 특징정보는, 외부서버 또는 상기 글라스형 웨어러블 디바이스의 저장부에 저장된 지인의 사진에서 특징을 추출하여 저장해두는 것을 특징으로 하고, 상기 상대방에 해당하는 지인 인식은 상기 외부서버 또는 상기 글라스형 웨어러블 디바이스에서 상기 추출된 상대방 얼굴사진의 특징정보와 동일한 특징정보를 포함하는 지인을 탐색하는 것을 특징으로 할 수 있다.
본 발명의 또 다른 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리 방법은, 상기 글라스형 웨어러블 디바이스가 상대방의 외부디바이스에 의해 발신된 무선통신신호를 수신하는 단계; 상기 상대방의 위치를 인식하는 단계; 상기 무선통신신호에 포함된 사용자정보 및 상태정보를 인식하는 단계; 상기 인식된 상대방 위치를 바탕으로, 상기 상대방을 상기 글라스형 웨어러블 디바이스의 화면 상에 표시하고, 상기 상대방의 상태정보를 제공하는 단계; 및 상기 상대방의 프로필정보를 사용자에게 안내하는 단계;를 포함한다.
또한, 상기 상대방 위치 인식단계는, 상기 무선통신신호의 방향과 세기를 파악하여 상기 신호를 송신한 위치를 인식하는 방식, 상기 상대방의 위치정보를 포함한 상기 무선통신신호를 수신하여 상기 글라스형 웨어러블 디바이스가 인식하는 방식 중 적어도 하나 이상에 의해 수행되는 것을 특징으로 할 수 있다.
또한, 상기 사용자정보가 사용자 ID정보만 포함하는 경우, 상기 글라스형 웨어러블 디바이스가 외부서버로 상기 사용자정보를 바탕으로 프로필정보의 탐색요청을 하는 단계; 및 상기 외부서버로부터 상기 상대방의 프로필 정보를 수신하는 단계;를 더 포함할 수 있다.
또한, 사용자로부터 특정한 상대방을 선택받아 메시지 전송하는 단계;를 더 포함할 수 있다.
또한, 사용자가 설정한 조건에 상응하는 상기 프로필정보의 상대방을 선별하여 제공하는 단계;를 더 포함할 수 있다.
또한, 상기 상대방의 상태정보 제공단계는, 사용자가 주시하는 방향을 인식하는 단계; 및 사용자의 상기 주시방향이 상기 무선통신신호를 통해 인식된 상기 상대방이 위치하는 방향과 일치하면, 증강현실의 형태로 상기 상대방의 상태정보를 포함하는 화면을 생성하여 제공하는 단계;를 포함할 수 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 글라스형 웨어러블 디바이스가 카메라를 통해 입력받거나 글라스형 웨어러블 디바이스 내부에 저장한 영상 또는 이미지에서 상기 다른 사람의 얼굴을 흐리게 처리하여 영상 또는 이미지의 촬영 중에 배경으로 포함된 다른 사람들의 프라이버시 보호를 할 수 있다. 이를 통해 사용자의 일상 및 주변의 모든 것을 저장하는 라이프로깅을 구현함에 있어서 문제점으로 제시되는 타인의 사생활 침해 문제 또한 해결할 수 있다.
둘째, 영상 또는 이미지에 촬영된 인원이 사용자의 글라스형 웨어러블 디바이스의 저장부 내에 얼굴이미지를 포함하고 있는 지인인 경우, 자동적으로 얼굴영역의 블러처리에서 제외될 수 있어 편리하며, 해당 인원들에게 무선통신을 이용하여 자동으로 전송할 수 있어 편리하다.
셋째, 갑자기 사용자를 아는 척하는 사람이 누구인지 기억나지 않는 경우, 본 발명이 사용자에게 상대방이 누구인지 알려주므로 지인을 기억하지 못해서 미안해지거나 난처해지는 상황을 없앨 수 있다.
넷째, 상대방의 얼굴은 기억나지만 이름이 기억나지 않는 경우에도 상대방의 이름 정보를 빠르게 제공받을 수 있어서, 이름을 기억하지 못해서 발생할 수 있는 문제를 예방할 수 있다.
다섯째, 길거리에서 자신이 아는 사람인지 불명확하여 아는 척을 하지 못하는 경우가 종종 있다. 이 경우에도 상대방의 근거리에서 상기 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하기만 하면 사용자가 아는 지인인지 판단할 수 있다. 즉, 글라스형 웨어러블 디바이스의 저장부 또는 외부서버의 저장부에 지인의 얼굴사진과 신상정보를 미리 저장해두기만 하면, 본 발명에 의해서 실시간으로 상대방이 누구인지 인식할 수 있다.
여섯째, 사용자는 자신이 원하는 조건의 사람을 거리에서 찾아서 만날 수 있다. 상대방도 자신의 사용자정보 및 상태정보를 무선통신으로 발신하기 때문에 즉석만남을 원하는 사람일 것이므로, 사용자가 원하는 사람과 즉석만남이 성사될 가능성도 높다.
일곱째, 사용자가 소셜데이팅을 하고 싶은 상대방에게 무선통신을 이용하여 메시지를 보낼 수 있으므로, 직접 접근하여 대화를 시도하지 않아도 되는 장점이 있다.
여덟째, 사용자가 입력한 조건에 부합하는 상대방만을 선별하여 알려줄 수 있어, 사용자가 원하는 소셜데이팅 상대방만을 제공받을 수 있는 장점이 있다.
아홉째, 실제 주변의 상대방의 실물을 확인하면서 상대방의 프로필정보를 제공받을 수 있어, 사용자가 원하는 조건에 실제로 부합하는 지 확인할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
도 3은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스, 외부서버 및 외부디바이스의 연결관계도이다.
도 4는 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리방법에 대한 순서도이다.
도 5는 영상 또는 이미지 내 얼굴영역의 블러화를 수행하기 위해 얼굴영역에 번호를 표시한 예시도면이다.
도 6은 본 발명의 일실시예에 따라 영상 또는 이미지 내 얼굴영역의 블러화를 수행한 예시도면이다.
도 7은 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식방법에 대한 순서도이다.
도 8은 본 발명의 일실시예에 따라 디스플레이부를 통해 상대방에 해당하는 지인을 알려주는 예시도면이다.
도 9는 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스 및 외부서버를 이용한 지인 인식시스템의 구성도이다.
도 10는 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템의 구성도이다.
도 11은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 소셜데이팅 서비스 방법에 대한 순서도이다.
도 12는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 디스플레이부에 상대방과 상태정보를 표시한 예시도면이다.
도 13은 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 소셜데이팅 서비스 시스템의 내부구성도
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템(10)의 블록 구성도(block diagram)이다.
도 1을 참조하면, 본 발명의 일실시예들과 관련된 글라스형 웨어러블 디바이스 시스템(10)은 입력부(100), 사용자입력부(110), 키보드(111), 터치패드(112), 카메라부(120), 제1카메라(121), 제2카메라(122), 제3카메라(123), 센싱부(130), 자이로센서(131), 가속도센서(132), 압력센서(133), 홍채인식센서(134), 심박검출센서(135), 근전도센서(136), 음성입력부(140), 정보처리부(210), 음성인식부(220), 상황평가모듈(230), 음성-텍스트변환모듈(240), 무선통신부(250), 메모리(260), 인터페이스부(230), 출력부(300), 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱모듈(340)의 전부 또는 일부를 포함한다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 글라스형 웨어러블 디바이스가 구현될 수도 있다.
도 2는 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
상기 구성요소들은 도 2에서와 같은 글라스형 웨어러블 디바이스의 내부 또는 일측에 구비될 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
입력부(100)는 오디오 신호, 비디오 신호, 사용자의 조작신호, 생체신호 등의 입력을 위한 것이다. 입력부(100)는 사용자입력부(110), 카메라부(120), 센싱부(130), 음성입력부(140)를 포함한다.
사용자입력부(110)는 사용자가 디바이스의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자입력부(110)는 키패드(key pad), 키보드(111), 돔 스위치(dome switch), 터치패드(정압/정전)(112), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(310)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
카메라(120)는 비디오 신호 또는 이미지 신호 입력을 위한 것으로, 디바이스의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 카메라(120)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 디스플레이부(310)에 표시될 수 있다. 또한, 카메라(120)에서 처리된 화상 프레임은 메모리(260)에 저장되거나 무선통신부(250)를 통하여 외부로 전송될 수 있다. 또한, 이미지 신호 또는 비디오 신호가 정보처리를 위한 입력으로 쓰이는 경우, 제어부(210)로 이미지 신호 및 비디오 신호를 전달한다.
카메라부(120)는 촬영하는 영상의 방향 또는 목적에 따라 하나 이상의 카메라를 포함할 수 있다. 제1카메라(121)는 글라스형 웨어러블 디바이스의 일측에 구비되어 전방의 영상을 촬영할 수 있다. 제2카메라(122)는 글라스형 웨어러블 디바이스의 일측에 구비되어 안구 방향의 영상 또는 이미지를 획득할 수 있다. 제3카메라(123)는 상기 글라스형 웨어러블 디바이스(10)의 후방 또는 측방에 구비되어, 후방 또는 측방의 영상 또는 이미지를 획득할 수 있다.
센싱부(130)는 사용자의 글라스형 웨어러블 디바이스(10)의 착용여부, 디바이스의 위치 등과 같이 디바이스의 현 상태를 감지하여 디바이스의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 센싱부(130)는 디바이스의 정보처리를 위한 입력신호를 받는 입력부의 기능을 담당할 수 있으며, 외부 기기 연결 여부 인식 등의 다양한 센싱 기능을 담당할 수 있다.
센싱부(130)는 근접센서(Proximity Sensor), 압력센서(133), 모션 센서, 지문인식센서, 홍채인식센서(134), 심박검출센서(135), 피부온도센서, 피부저항센서 및 심전도센서 등의 다양한 센서를 포함할 수 있다.
근접센서는 접근하는 물체나, 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서는 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서는 구성 태양에 따라 2개 이상이 구비될 수 있다.
압력센서(133)는 디바이스에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(133)는 사용환경에 따라 디바이스에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(133)가 디스플레이부(310)에 설치되는 경우, 압력센서(133)에서 출력되는 신호에 따라, 디스플레이부(310)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(133)에서 출력되는 신호에 따라, 압력터치 입력 시에 디스플레이부(310)에 가해지는 압력의 크기도 알 수 있다.
모션 센서는 자이로센서(131), 가속도센서(132), 지자기센서 등의 센서 중에서 하나 이상을 포함하며, 이를 이용하여 디바이스의 위치나 움직임 등을 감지한다. 모션 센서에 사용될 수 있는 가속도센서(132)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 또한, 자이로센서(131)는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
심박검출센서(135)는 심장 박동에 의한 혈관 굵기의 변화에 따른 광혈류량의 변화를 측정한다. 피부 온도 센서는 온도 변화에 반응하여 저항값이 변화하는 것에 따라 피부 온도를 측정한다. 피부 저항 센서는 피부의 전기 저항을 측정한다.
홍채인식센서(134)는 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인식하는 기능을 수행한다. 사람의 홍채는 생후 18개월 이후 완성된 뒤, 홍채의 내측연 가까이에 융기되어 있는 원형의 홍채 패턴은 한번 정해지면 거의 변하지 않고, 또 사람마다 모양이 모두 다르다. 따라서 홍채인식은 사람마다 각기 다른 홍채의 특성을 정보화해 이를 보안용 인증기술로 응용한 것이다. 즉, 홍채의 모양과 색깔, 망막 모세혈관의 형태소 등을 분석해 사람을 식별하기 위한 수단으로 개발한 인증방식이다.
홍채인식센서(134)는 홍채의 패턴을 코드화해 이를 영상신호로 바꾸어 비교판단하는데, 일반적인 작동 원리는 다음과 같다. 먼저 일정한 거리에서 홍채인식기 중앙에 있는 거울에 사용자의 눈이 맞춰지면, 적외선을 이용한 카메라가 줌렌즈를 통해 초점을 조절한다. 이어 홍채 카메라가 사용자의 홍채를 사진으로 이미지화한 뒤, 홍채 인식 알고리즘이 홍채의 명암 패턴을 영역별로 분석해 개인 고유의 홍채 코드를 생성한다. 마지막으로 홍채 코드가 데이터베이스에 등록되는 것과 동시에 비교 검색이 이루어진다. 상기 홍채인식센서(134)는 안구방향으로 배치된 제2카메라(122)에 내부에 구비될 수 있으며, 이러한 경우 홍채인식센서의 기능을 상기 제2카메라(122)가 수행할 수 있다.
음성입력부(140)는 음성신호의 입력을 위한 것으로 마이크 등이 포함될 수 있다. 마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고 처리된 음성 데이터는 통화 모드인 경우 무선통신부(250)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
출력부(300)는 오디오 신호, 이미지신호, 비디오 신호 또는 알람(alarm) 신호 등의 출력을 위한 것이다. 출력부(300)에는 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱 모듈(340) 등이 포함될 수 있다.
디스플레이부(310)는 디바이스에서 처리되는 정보를 표시 출력한다. 예를 들어 디바이스가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 디바이스가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(310)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(310)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(310)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다.
이외에도 디스플레이부(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 디바이스의 구현 형태에 따라 디스플레이부(310)가 2개 이상 존재할 수도 있다. 예를 들어, 디바이스에 외부 디스플레이부(310)와 내부 디스플레이부(310)가 동시에 구비될 수 있다.
디스플레이부(310)는 HUD(Head up Display), HMD(Head mounted Display) 등으로 구현될 수 있다. HMD(Head mounted Display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치다. HUD(Head up Display)는 사용자의 가시영역 내의 유리에 가상 화상(virtual image)을 투영시키는 영상표시장치이다.
음향출력부(320)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(320)은 디바이스에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(320)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(330)는 디바이스의 이벤트 발생을 알리기 위한 신호를 출력한다. 디바이스에서 발생하는 이벤트의 예로는 호신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(330)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 알람부(330)는 호신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(330)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(330)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 디바이스에서 이벤트 발생 알림을 위한 신호는 디스플레이부(310)나 음향출력부(320)를 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(340)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(340)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(340)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(340)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
무선통신부(250)는 방송수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 및 위치정보모듈 등을 포함할 수 있다.
이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 비콘(Beacon), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
위치정보모듈은 측위신호를 수신하여 글라스형 웨어러블 디바이스의 위치를 측정하는 모듈을 말한다. 예를 들어, 상기 위치정보모듈은 GPS(Global Position System) 모듈이 해당될 수 있으며, 측위신호는 GPS 신호가 해당될 수 있다. GPS(Global Position System) 모듈은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
메모리(260)는 제어부(210)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스는 인터넷(internet) 상에서 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다. 메모리(260)는 이하 저장부(260)로 표현될 수 있다.
인터페이스부(230)는 디바이스에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 디바이스에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(230)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디바이스 내부의 각 구성 요소에 전달할 수 있고, 디바이스 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(210)는 통상적으로 상기 각부의 동작을 제어하여 디바이스의 전반적인 동작을 제어하는 기능을 수행한다. 예를 들어 음성 통화, 데이터 통신 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(210)는 멀티미디어 재생을 위해 데이터를 처리하는 기능을 수행한다. 또한, 입력부 또는 센싱부(130)로부터 입력받은 데이터를 처리하는 기능을 수행한다.
또한, 제어부(210)는 얼굴인식을 위한 얼굴 검출 및 얼굴 인식을 수행한다. 즉, 제어부(210)는 얼굴인식을 위한 얼굴검출모듈 및 얼굴인식모듈을 포함할 수 있다. 얼굴검출모듈은 카메라부(120)에 의해 획득된 카메라 영상에서 얼굴영역만을 추출할 수 있다. 예를 들어, 얼굴검출모듈은 눈, 코, 입 등의 얼굴 내 특징요소를 인식하여 얼굴영역을 추출할 수 있다. 얼굴인식모듈은 추출된 얼굴영역에서 특징정보를 추출하여 템플릿을 생성하고, 얼굴데이터베이스 내의 얼굴정보 데이터와 탬플릿 비교를 수행하여 얼굴을 인식할 수 있다.
또한, 제어부(210)는 카메라부(120)에 의해 획득된 영상 또는 이미지 내에서 문자를 추출하여 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 문자인식을 위한 문자인식모듈을 포함할 수 있다. 상기 문자인식모듈의 문자 인식 방법으로 광학문자인식(Optical Character Recognition; OCR)방식을 적용할 수 있다. 상기 OCR방식은 이미지 스캔으로 얻을 수 있는 사람이 쓰거나 기계로 인쇄한 문서의 활자 영상을 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환하는 것으로, 소프트웨어로 구현이 가능한 방식이다. 예를 들어, 상기 OCR방식은 미리 준비된 몇 개의 표준 패턴문자와 입력문자를 비교하여 표준 패턴문자와 가장 유사한 것을 해당 문자로 선정할 수 있다. 상기 문자인식모듈이 다양한 언어의 표준 패턴문자를 구비하면, 다양한 언어의 인쇄된 활자를 판독할 수 있다. 이러한 방식을 OCR방식 중 Pattern matching기법이라고 하며, 상기 OCR방식은 이에 한정되지 아니하고 다양한 방법이 적용될 수 있다. 또한, 문자인식모듈의 문자인식 방식은 OCR방식에 한정되지 아니하고, 이미 인쇄되어 있는 오프라인상의 문자를 인식할 수 있는 다양한 방식이 적용될 수 있다.
또한, 제어부(210)는 제2카메라(122)가 획득한 안구방향 영상 또는 이미지를 바탕으로 시선방향을 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 시선방향 인식을 수행하는 시선분석모듈을 포함할 수 있다. 사용자의 주시방향과 시선방향을 측정한 후 합성에 의해 계산하여 사용자가 바라보는 방향을 파악할 수 있다. 상기 주시방향은, 사용자의 얼굴 방향을 의미하여, 센싱부(130)의 자이로센서(131) 또는 가속도센서(132)에 의해 측정될 수 있다. 상기 시선방향은, 사용자의 동공이 바라보는 방향으로, 시선분석모듈에 의해 파악될 수 있다. 시선분석모듈은, 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산하는 방식 등을 적용할 수 있다. 예를 들어, 영상처리 방법을 통해 동공의 중심 및 조명에 의한 각막 반사광의 위치를 추출하여 이들의 위치 관계를 통해 시선 위치를 계산할 수 있다.
전원 공급부는 제어부(210)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
음성인식부(220)는 자동적 수단에 의하여 음성으로부터 언어적 의미 내용을 식별하는 기능을 수행한다. 구체적으로 음성파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정이며, 크게 음성 분석, 음소 인식, 단어 인식, 문장 해석, 의미 추출의 5가지로 분류된다. 음성인식부(220)는 저장된 음성과 입력된 음성이 동일한지 비교하는 음성평가모듈을 더 포함할 수 있다. 또한, 음성인식부(220)는 입력된 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 음성-텍스트변환모듈(240)도 더 포함할 수 있다.
도 3은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스(10), 외부서버(20) 및 외부디바이스(30)의 연결관계도이다.
글라스형 웨어러블 디바이스(10)는 정보처리를 위한 수행 과정을 내부에서 모두 수행할 수도 있으나, 외부서버(20)가 정보처리의 일부를 수행할 수 있다. 따라서, 글라스형 웨어러블 디바이스(10)는 입력부(100)를 통해 획득된 데이터 또는 일부 정보처리가 수행된 데이터를 정보처리요청데이터로 외부서버(20)에 전송할 수 있다. 글라스형 웨어러블 디바이스(10)는 외부서버(20)에서 정보처리 수행된 정보처리결과데이터를 무선통신을 통해 수신할 수 있다. 글라스형 웨어러블 디바이스(10)는 수신된 정보처리결과데이터를 출력부(300)를 통해 다양한 방식으로 사용자에게 제공할 수 있다. 상기 외부서버(20)는 글라스형 웨어러블 디바이스(10)에서 수행되는 서비스에 따라 상이할 수 있다.
글라스형 웨어러블 디바이스(10)는 자체의 출력부(300)를 통해 사용자에게 정보처리결과데이터를 제공할 수 있고, 외부디바이스(30)를 이용하여 정보처리결과데이터를 제공할 수도 있다. 즉, 글라스형 웨어러블 디바이스(10)가 정보처리 과정 전체를 수행하는 경우, 외부디바이스(30)는 글라스형 웨어러블 디바이스(10)로부터 수신된 정보처리결과데이터를 출력할 수 있다. 또한, 외부서버(20)가 글라스형 웨어러블 디바이스(10)로부터 정보처리요청데이터를 수신하여 일부 정보처리 과정을 수행하는 경우, 외부디바이스(30)는 외부서버(20)로부터 수신된 정보처리결과데이터를 출력할 수 있다. 외부디바이스(30)은, 스마트폰, 태블릿PC, 스마트 TV, 자동차 내부에 구비된 출력부(예를 들어, 차량 유리에 구비된 디스플레이부 또는 차량 내부 음향출력부) 등의 다양한 디바이스가 포함될 수 있다.
또한, 글라스형 웨어러블 디바이스(10)는 외부디바이스(30)로부터 송신되는 무선통신신호(예를 들어, 무선통신태그(30)인 비콘태그 또는 상대방의 이동단말기로부터 송신되는 비콘신호)를 수신할 수 있다. 글라스형 웨어러블 디바이스(10)는 수신한 무선통신신호를 이용하여 정보처리를 수행할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법에 대해 설명하기로 한다.
도 4는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리방법에 대한 순서도이다.
도 4를 참조하면, 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리방법은, 얼굴영역을 추출하는 단계(S100); 블러화를 수행할 얼굴영역을 지정하는 단계(S110); 및 상기 영상 또는 이미지 내 얼굴영역의 블러화를 수행하는 단계(S120);를 포함한다. 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)는 수신한 영상 또는 이미지에서 얼굴영역을 추출한다(S100). 글라스형 웨어러블 디바이스(10)는 제1카메라를 통해 전방의 이미지를 수신할 수 있고, 저장부 내에 저장된 영상 또는 이미지를 수신할 수 있다. 글라스형 웨어러블 디바이스(10)의 제어부(210)는 수신한 영상 또는 이미지에서 얼굴영역을 추출할 수 있다.
글라스형 웨어러블 디바이스(10)는 블러화를 수행할 얼굴영역을 지정한다(S110). 블러화를 수행할 얼굴영역을 지정하는 방법은 수동 또는 자동에 의한 다양한 방법으로 구현될 수 있다.
상기 블러화를 수행할 얼굴영역을 지정하는 단계(S110)는, 상기 추출된 얼굴영역에 번호를 부여하여 디스플레이로 표시하는 단계; 및 사용자가 음성명령 또는 터치명령으로 블러화를 수행할 얼굴영역을 선택하는 단계;를 포함할 수 있다. 즉, 도 5에서와 같이, 상기 영상 또는 이미지에 추출된 얼굴영역에 번호를 차례대로 부여하고, 상기 디스플레이부(310)에 표시된 상기 추출된 얼굴영역 주변에 부여된 번호를 나타내어 사용자가 상기 추출된 얼굴영역별 번호를 인식하도록 할 수 있다. 그 후, 사용자는 터치부(112)에 터치조작 명령을 입력하거나, 음성입력부(140)에 음성명령을 입력하여 상기 영상 또는 이미지 상의 상기 부여된 번호를 선택할 수 있다.
또한, 상기 블러화를 수행할 얼굴영역을 지정하는 단계(S110)는, 추출된 얼굴영역을 상기 영상 또는 이미지 상에 표시하여 사용자에게 디스플레이하는 단계; 및 아이트래킹을 이용하여 상기 추출된 얼굴영역 중에서 블러화를 수행할 영역을 선택하는 단계;를 포함할 수 있다. 즉, 글라스형 웨어러블 디바이스(10)는 상기 추출된 얼굴영역을 원형 또는 사각형 등으로 디스플레이상에 표시하여 사용자가 인식하도록 할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는 사용자의 동공 방향으로 배치된 상기 제2카메라(122)에 의해 사용자의 응시방향을 인식하고, 사용자의 일정시간 이상의 응시 또는 해당 위치 응시 후 눈깜박임을 통해 상기 응시방향의 상기 추출된 얼굴영역을 선택받을 수 있다. 상기 제2카메라에 의한 아이트래킹을 이용하여 상기 추출된 얼굴영역 중에서 블러화를 수행할 영역을 선택하는 방법은 이에 한정되지 않고, 다양한 방법에 의해서 구현될 수 있다.
또한, 상기 블러화를 수행할 얼굴영역을 지정하는 단계(S110)는, 상기 추출된 얼굴영역을 상기 글라스형 웨어러블 디바이스(10) 내에 저장된 지인의 얼굴이미지와 비교하여 동일한 얼굴을 인식하는 단계; 및 상기 추출된 얼굴영역이 상기 글라스형 웨어러블 디바이스(10) 내에 저장된 지인의 얼굴이미지 중 하나 이상과 일치하는 경우, 상기 추출된 얼굴영역을 상기 블러화를 수행할 얼굴영역에서 제외하는 단계;를 포함할 수 있다. 즉, 글라스형 웨어러블 디바이스(10)의 제어부(210)는 추출된 얼굴영역에서 특징정보를 추출할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는 추출된 특징정보와 글라스형 웨어러블 디바이스(10) 내에 저장된 지인의 얼굴이미지를 비교하여 입력 영상 또는 이미지에 포함된 얼굴이 누구인지 인식할 수 있다. 글라스형 웨어러블 디바이스(10)는, 추출된 특징정보와 저장된 지인의 얼굴이미지의 특징정보 사이의 오차가 임계치 내인 경우, 상기 추출된 얼굴영역과 상기 상기 디바이스에 저장된 지인의 얼굴을 동일인의 얼굴로 인식할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는 저장된 지인의 얼굴과 동일한 얼굴로 인식된 얼굴영역은 블러화를 수행할 얼굴영역에서 제외할 수 있다. 이를 통해, 사진촬영의 객체인 지인도 블러화 대상으로 인식될 수 있는 불편함을 해소할 수 있다.
또한, 상기 블러화를 수행할 얼굴영역을 지정하는 단계(S110)는, 상기 영상 또는 이미지 내에 하나 이상의 추출된 얼굴영역이 밀집된 영역을 파악하는 단계; 상기 밀집된 영역 내의 상기 추출된 얼굴영역의 최소크기를 계산하는 단계; 및 상기 최소크기 이하의 상기 추출된 얼굴영역을 블러화를 수행할 얼굴영역으로 지정하는 단계;를 포함할 수 있다. 여러 명이 단체사진을 촬영하는 경우, 촬영되는 이미지의 특정영역에 사진촬영의 객체가 되는 사람들이 모여 있게 된다. 또한, 촬영의 객체가 되는 사람들 외의 주변에 포함된 사람들은 글라스형 웨어러블 디바이스로부터 더 멀리 위치하여 원근법에 의해 더 작은 크기로 보이게 된다. 따라서, 글라스형 웨어러블 디바이스(10)는 밀집된 영역(이하, 밀집영역) 내에 얼굴영역이 포함되어 있는지 여부 및 추출된 얼굴영역의 크기가 밀집영역 내 최소 얼굴영역 크기보다 작은 지 여부를 바탕으로 블러화를 수행할 얼굴영역을 추출할 수 있다.
따라서, 글라스형 웨어러블 디바이스(10)는 획득된 영상 또는 이미지에서 얼굴영역의 밀집영역을 추출할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는 밀집영역 내의 얼굴영역 중에서 최소크기를 파악하고, 밀집영역 외부의 영역(즉, 영상 또는 이미지의 주변영역)에서 상기 밀집영역 내의 최소 크기보다 작은 얼굴영역을 추출할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는 상기 주변영역 내의 최소크기보다 작은 얼굴영역을 블러화 수행할 수 있다.
상기 블러화를 수행할 얼굴영역을 지정하는 방법은 제시된 방법에 한정되지 않고, 상기 영상 또는 이미지에 포함된 추출된 얼굴영역 모두를 블러화를 수행할 얼굴영역으로 지정하는 등의 상기 글라스형 웨어러블 디바이스의 구성에 의해 구현될 수 있는 다양한 방법이 적용될 수 있다.
상기 영상 또는 이미지 내 얼굴영역의 블러화를 수행한다(S120). 도 6에서와 같이, 상기 영상 또는 이미지의 얼굴영역의 블러화는, 가우시안 필터 또는 평균 필터를 이용하여 해당 얼굴 영역의 픽셀에 행할 수 있다. 블러화 수행은 이에 한정되지 아니하고, 다양한 필터 종류와 필터 적용 방식에 의해 구현될 수 있다.
또한, 본 발명의 일실시예는, 제1카메라(121)를 통해 상기 영상 또는 이미지를 입력받는 단계;를 더 포함할 수 있다. 이를 통해 상기 제1카메라(121)를 통해 사용자가 주시하는 방향의 영상 또는 이미지를 입력받아서, 상기 영상 또는 이미지에 포함된 일부 얼굴영역을 바로 블러화 처리할 수 있다.
또한, 상기 제1카메라(121)는, 사용자의 음성입력, 터치명령, 눈깜박임, 제스처 중 적어도 하나 이상에 의해 조작할 수 있다. 상기 사용자의 음성입력에 의한 조작은, 음성입력부(140)에 의해 사용자의 음성이 입력되고, 음성인식부(220)가 입력된 사용자 음성의 의미를 인식하여 상기 제1카메라(121)에게 명령하는 방식이다. 상기 사용자의 터치명령에 의한 조작은, 사용자가 상기 글라스형 웨어러블 디바이스의 일측에 구비된 상기 터치부(112)를 터치조작하여, 상기 터치조작에 해당하는 명령을 상기 제1카메라(121)에 전달하여 구동하도록 하는 방식이다. 상기 사용자의 눈깜박임에 의한 조작은, 상기 제2카메라(122)가 사용자의 눈깜박임을 인식하고, 상기 눈깜박임에 해당하는 명령을 상기 제1카메라(121)에 전달하여 구동하도록 하는 방식이다. 상기 사용자의 제스처에 의한 조작은, 상기 글라스형 웨어러블 디바이스에 구비된 상기 모션센서에 의한 사용자의 고개움직임을 인식하거나, 상기 제1카메라(121)가 사용자의 특정 손 제스처를 인식하여, 인식한 제스처에 해당하는 명령을 상기 제1카메라(121)에 전달하여 상기 영상 또는 이미지를 입력받도록 하는 방식이다.
또한, 본 발명의 일실시예는, 블러화된 영상 또는 이미지를 디스플레이로 표시하는 단계;를 더 포함할 수 있다. 이를 통해, 사용자는 상기 추출된 얼굴영역의 일부가 블러화 처리된 영상 또는 이미지를 상기 디스플레이부(310)를 통해 확인할 수 있다.
또한, 상기 추출된 얼굴영역을 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지와 비교하여 동일한 얼굴을 인식하는 단계; 및 무선통신을 이용하여 상기 동일한 얼굴로 인식된 지인에게 상기 영상 또는 이미지를 전송하는 단계;를 더 포함할 수 있다. 상기 추출된 얼굴영역을 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지와 비교하여 동일한 얼굴을 인식하는 단계는, 기 언급된 얼굴인식 방식과 동일하게 수행된다. 그 후, 상기 추출된 얼굴영역과 동일인으로 인식된 지인에게 다양한 무선통신 방식을 이용하여 상기 영상 또는 이미지를 자동으로 전송할 수 있다.
또한, 상기 영상 또는 이미지 내 얼굴영역의 블러효과정도 또는 블러효과적용범위를 설정하는 단계;를 더 포함할 수 있다. 상기 블러효과정도는 어느 정도로 상기 영상 또는 이미지의 부분을 흐리게 처리할 것인지를 나타낸다. 즉, 상기 디바이스는 사용자에게 블러효과정도를 설정할 수 있는 인터페이스를 제공하여 상기 추출된 얼굴영역에 부여할 블러효과정도를 정할 수 있다.
상기 블러효과적용범위는 상기 추출된 얼굴영역의 어느 부분까지 블러처리를 할 것 인지를 의미한다. 예를 들어, 얼굴에 해당하는 부분 전체에 대해 블러화를 수행할 것인지, 눈, 코, 입을 포함하는 최소범위에 대해 블러화를 수행할 지 사용자가 선택할 수 있다.
본 발명에 따르면, 글라스형 웨어러블 디바이스가 카메라를 통해 입력받거나 글라스형 웨어러블 디바이스 내부에 저장한 영상 또는 이미지에서 상기 다른 사람의 얼굴을 흐리게 처리하여 영상 또는 이미지의 촬영 중에 배경으로 포함된 다른 사람들의 프라이버시 보호를 할 수 있다. 이를 통해 사용자의 일상 및 주변의 모든 것을 저장하는 라이프로깅을 구현함에 있어서 문제점으로 제시되는 타인의 사생활 침해 문제 또한 해결할 수 있다.
또한, 영상 또는 이미지에 촬영된 인원이 사용자의 상기 디바이스 저장부(260) 내에 얼굴이미지를 포함하고 있는 지인인 경우, 자동적으로 얼굴영역의 블러처리에서 제외될 수 있어 편리하며, 해당 인원들에게 무선통신을 이용하여 자동으로 전송할 수 있어 편리하다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법에 대해 설명하기로 한다.
도 7은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인인식방법에 대한 순서도이다.
도 7을 참조하면, 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식방법은, 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하는 단계(S200); 상기 영상 또는 이미지에서 얼굴영역을 추출하는 단계(S210); 상기 추출된 얼굴영역에서 특징정보를 추출하는 단계(S220); 상기 추출된 특징정보와 저장된 지인 얼굴의 특징정보를 비교 판단하여, 상기 상대방에 해당하는 지인을 인식하는 단계(S230); 및 사용자에게 상기 상대방에 해당하는 지인을 알리는 단계(S240);를 포함한다. 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)는 상대방의 얼굴이 포함된 영상 또는 이미지를 획득한다(S200). 글라스형 웨어러블 디바이스의 전면부 일측에 구비되어 사용자의 정면의 영상 또는 이미지를 획득하는 제1카메라(121)가 사용자의 주시 방향에 위치한 상대방의 얼굴을 포함한 영상 또는 이미지를 획득한다.
상기 제1카메라(121)는, 사용자의 음성입력, 터치명령, 눈깜박임, 제스처 중 적어도 하나 이상에 의해 조작할 수 있다. 상기 사용자의 음성입력에 의한 조작은, 음성입력부(140)에 의해 사용자의 음성이 입력되고, 음성인식부(220)가 입력된 사용자 음성의 의미를 인식하여 상기 제1카메라(121)에게 명령하는 방식이다. 상기 사용자의 터치명령에 의한 조작은, 사용자가 글라스형 웨어러블 디바이스(10)의 일측에 구비된 터치부(112)를 터치조작하여, 터치조작에 해당하는 명령을 상기 제1카메라(121)에 전달하여 구동하도록 하는 방식이다. 상기 사용자의 눈깜박임에 의한 조작은, 상기 글라스형 웨어러블 디바이스의 일측에 구비되어 사용자 동공방향의 영상 또는 이미지를 획득하는 제2카메라(122)가 사용자의 눈깜박임을 인식하고, 상기 눈깜박임에 해당하는 명령을 상기 제1카메라(121)에 전달하여 구동하도록 하는 방식이다. 상기 사용자의 제스처에 의한 조작은, 상기 글라스형 웨어러블 디바이스에 구비된 상기 모션센서에 의한 사용자의 고개움직임을 인식하거나, 상기 제1카메라(121)가 사용자의 특정 손 제스처를 인식하여, 인식한 제스처에 해당하는 명령을 상기 제1카메라(121)에 전달하여 상기 영상 또는 이미지를 입력받도록 하는 방식이다.
글라스형 웨어러블 디바이스(10)는 상기 영상 또는 이미지에서 얼굴영역을 추출한다(S110). 글라스형 웨어러블 디바이스(10)는 상기 추출된 얼굴영역에서 얼굴인식을 위해 특징정보를 추출한다(S120). 글라스형 웨어러블 디바이스(10)는 상기 추출된 특징정보와 저장된 지인 얼굴의 특징정보를 비교 판단하여, 상기 상대방에 해당하는 지인을 인식한다(S130). 글라스형 웨어러블 디바이스(10)는 지인을 인식하기 위해 추출된 특징정보와 상기 글라스형 웨어러블 디바이스(10) 또는 외부서버(20) 내에 저장된 지인의 얼굴 이미지의 특징정보를 비교하여 상기 입력 영상 또는 이미지에 포함된 얼굴이 누구인지 인식할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)는 추출된 특징정보와 저장된 지인의 얼굴이미지의 특징정보 사이에서의 거리차가 임계치 내인 경우에 상기 추출된 얼굴영역과 상기 상기 디바이스에 저장된 지인의 얼굴을 동일인의 얼굴로 인식할 수 있다.
상기 지인 인식 단계(S130)는, 글라스형 웨어러블 디바이스의 제어부(210) 또는 외부서버(20)에서 수행될 수 있다. 즉, 외부서버(20)에서 상기 상대방에 해당하는 지인을 파악하는 경우, 글라스형 웨어러블 디바이스(10)는 상기 추출된 특징정보를 무선통신을 통해 외부서버(20)에 전송하고, 외부서버(20)는 상기 추출된 특징정보를 바탕으로 외부서버(20) 내에 저장된 지인의 얼굴 이미지 중 상대방에 해당하는 얼굴 이미지를 탐색할 수 있다.
또한, 상기 저장된 지인 얼굴의 특징정보는, 외부서버(20) 또는 상기 글라스형 웨어러블 디바이스(20)의 저장부(260)에 저장된 지인의 사진에서 특징을 추출하여 저장해두고, 상기 상대방에 해당하는 지인 인식은, 상기 외부서버(20) 또는 상기 글라스형 웨어러블 디바이스(10)에서 상기 추출된 상대방 얼굴사진의 특징정보와 동일한 특징정보를 포함하는 지인을 탐색할 수 있다.
글라스형 웨어러블 디바이스(10)는 사용자에게 상기 상대방에 해당하는 지인을 알려준다(S240). 상기 지인 알림 단계(S40)는, 상대방에 해당하는 지인의 사진 또는 이름을 디스플레이 상에 표시하는 방식, 음향출력으로 상대방에 해당하는 지인의 이름을 알리는 방식, 상기 글라스형 웨어러블 디바이스와 연동된 외부 디바이스의 디스플레이 상에 상대방에 해당하는 지인의 사진 또는 이름을 표시하는 방식 중 적어도 하나 이상에 의해 수행될 수 있다.
또한, 본 발명의 일실시예는, 상기 상대방에 해당하는 지인에 대한 정보를 사용자에게 제공하는 단계;를 포함할 수 있다. 상기 지인에 대한 정보는, 직업, 학교, 나이, 지인을 알게 된 배경, 관심사, 공통으로 아는 지인 등을 포함할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스는, 도 8에서와 같이, 지인의 정보를 디스플레이부(310) 상에 표시할 수 있다.
도 9는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스 및 외부서버(20)를 이용한 지인 인식시스템의 구성도이다. 다만, 도 9에 있어서, 기 설명한 구성에 대한 구체적인 설명은 생략하기로 한다.
도 9를 참조하면, 본 발명의 다른 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템은, 글라스형 웨어러블 디바이스(10); 및 외부서버(20);를 포함한다. 글라스형 웨어러블 디바이스(10)는 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하고, 상기 영상 또는 이미지 내의 상대방 얼굴에서 특징정보를 추출하여 외부서버(20)로 전송하며, 외부서버(20)로부터 상대방에 해당하는 지인 데이터를 수신하여 사용자에게 알려줄 수 있다. 외부서버(20)는 상기 사용자의 지인 얼굴 사진을 저장하고, 수신된 상기 추출된 특징정보를 바탕으로 상기 상대방에 해당하는 지인을 파악하여 무선통신을 통해 상기 글라스형 웨어러블 디바이스(10)로 제공할 수 있다.
상기 글라스형 웨어러블 디바이스(10)는, 제1카메라(121); 무선통신부(250); 제어부(210); 및 출력부(300);를 포함할 수 있다.
상기 제1카메라(121)는 상기 글라스형 웨어러블 디바이스의 전면부 일측에 구비되어 사용자의 정면의 영상 또는 이미지를 획득하는 카메라로, 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하는 기능을 수행한다.
무선통신부(250)는 외부서버(20)와 정보교환을 행하는 기능을 수행한다. 즉, 무선통신부(250)는 영상 또는 이미지 내에서 추출된 상대방 얼굴의 특징정보를 외부서버(20)로 전송하는 기능을 수행할 수 있다. 또한, 사용자에게 출력할 상대방에 해당하는 지인의 사진 또는 성명 등의 정보를 상기 외부서버(20)로부터 수신하는 기능을 수행할 수 있다.
제어부(210)는 얼굴영역추출부(211); 및 특징추출부(212);를 포함할 수 있다. 얼굴영역추출부(211)는 영상 또는 이미지 내의 상대방 얼굴영역을 추출하는 기능을 수행할 수 있다. 특징추출부(212)는 추출된 상대방의 얼굴영역에서 특징정보를 추출하는 기능을 수행할 수 있다.
출력부(300)는 상기 사용자에게 상기 상대방에 해당하는 지인을 알려주는 기능을 수행할 수 있다. 출력부(300)는 디스플레이부(310) 또는 음향출력부(320)를 포함할 수 있다. 디스플레이부(310)는 상기 상대방에 해당하는 지인의 사진 또는 이름을 표시하는 기능을 수행할 수 있다. 음향출력부(320)는 상대방에 해당하는 지인의 이름을 알리는 기능을 수행할 수 있다.
또한, 글라스형 웨어러블 디바이스는 음성입력부(140); 및 음성인식부(220);를 더 포함할 수 있다. 음성입력부(140)는 상기 제1카메라(121)의 조작을 위해 음성명령을 입력받는 기능을 수행한다. 음성인식부(220)는 음성입력부(140)에 의해 입력된 사용자 음성명령의 의미를 파악하는 기능을 수행할 수 있다. 예를 들어, 사용자는 상대방을 아는 척하는 일반적인 멘트를 하고, 멘트가 제1카메라(121)가 영상 또는 이미지를 획득하도록 하는 음성명령이 되도록 할 수 있다. 이에 따라 멘트를 음성입력부(140)가 입력받고, 상기 멘트의 의미를 음성인식부(220)가 파악하여 제1카메라(121) 작동을 명령하는 음성명령임을 인식할 수 있다.
또한, 글라스형 웨어러블 디바이스(10)는, 상기 제1카메라(121)의 조작을 위해, 터치부(112); 또는 제2카메라(122);를 더 포함할 수 있다. 터치부(112)는 사용자의 터치명령을 입력받기 위한 조작 인터페이스를 제공하는 기능을 수행할 수 있다. 제2카메라(122)는 글라스형 웨어러블 디바이스의 일측에 구비되어 사용자의 동공방향의 영상 또는 이미지를 획득하는 카메라로, 사용자의 눈깜박임에 의한 조작명령을 입력받는 기능을 수행할 수 있다. 예를 들어, 사용자는 글라스형 웨어러블 디바이스(10)의 일측에 구비된 터치부(112)를 세 번 터치하면, 제1카메라(121)를 통해 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하여, 지인을 탐색하도록 할 수 있다. 또한, 사용자가 눈을 다섯 번 연속으로 깜박이면, 이를 제2카메라(122)가 인식하여 제1카메라(121)가 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하도록 할 수 있다.
또한, 본 발명의 일실시예에 따른 외부서버(20)는, 저장부(410); 무선통신부(420); 얼굴인식부(430);를 포함할 수 있다.
저장부(410)는 사용자의 지인 얼굴 사진을 저장하는 기능을 수행한다. 또한, 저장부(410)는 사용자의 지인에 대한 정보를 저장할 수 있다. 지인에 대한 정보는, 직업, 학교, 나이, 지인을 알게 된 배경, 관심사, 공통으로 아는 지인 등을 포함할 수 있다. 즉, 사용자가 외부서버(20)의 저장부(410)에 미리 지인의 얼굴사진, 이름 및 그 외의 신상정보를 입력해둘 수 있다. 사용자는 이를 제공받아서 상기 지인을 기억하지 못했던 것을 숨길 수 있는 효과가 있다.
무선통신부(420)는 글라스형 웨어러블 디바이스(10)와 정보교환을 행하는 기능을 수행한다. 즉, 무선통신부(420)은 글라스형 웨어러블 디바이스(10)로부터 상기 얼굴의 특징정보를 수신하고, 수신정보를 바탕으로 파악한 지인의 성명 또는 사진을 글라스형 웨어러블 디바이스(10)로 전송할 수 있다.
얼굴인식부(430)는 수신된 상기 상대방 얼굴 특징정보를 바탕으로 상기 상대방에 해당하는 지인을 파악하는 기능을 수행할 수 있다. 즉, 상기 글라스형 웨어러블 디바이스로부터 무선통신을 통해 수신한 상기 특징정보와 상기 저장부(410)에 저장된 지인의 얼굴사진에서 추출된 특징정보를 비교 판단하여, 상기 상대방에 해당하는 지인을 탐색할 수 있다.
도 10은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템의 구성도이다. 다만, 도 10에 있어서, 기 설명한 구성에 대한 구체적인 설명은 생략하기로 한다.
도 10을 참조하면, 본 발명의 또 다른 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템은, 제1카메라(121); 제어부(210); 저장부(260); 및 출력부(300);를 포함한다.
상기 제1카메라(121)는 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하는 기능을 수행할 수 있다. 상기 제어부(210)는 얼굴영역추출부(211); 특징추출부(212); 얼굴인식부(213);를 포함할 수 있다.
얼굴영역추출부(211)는 상기 영상 또는 이미지 내의 상대방 얼굴영역을 추출하는 기능을 수행할 수 있다. 얼굴영역추출부(211)는 각각의 입력 영상 또는 이미지로부터 대략적인 얼굴을 검출한 후에 얼굴 내의 특정 구성요소인 눈, 코, 입 등을 추출하고, 이를 바탕으로 소정의 얼굴 영역을 추출할 수 있다. 예를 들어, 두 눈의 위치가 검출되었다면, 두 눈의 거리를 구할 수 있다. 상기 얼굴영역추출부(211)는 두 눈 사이의 거리에 기초하여 입력 영상 또는 이미지에서 얼굴 영역을 얼굴영상으로 추출할 수도 있으며, 이로써 입력 영상 또는 이미지의 배경 혹은 사람의 머리 스타일의 변화 등에 대한 영향을 줄일 수 있다. 다만, 상기 얼굴영역추출부(211)의 얼굴영역을 추출하는 방법은 이에 한정되지 않고, 기 제시된 템플레이트 매칭기법, 지식기반 방법, 외형기반 얼굴인식방법 등 다양한 방법이 적용될 수 있다.
특징추출부(212)는 추출된 얼굴영역에서 특징정보를 추출하는 기능을 수행할 수 있다. 얼굴인식부(213)는 상기 특징정보를 바탕으로 상기 상대방에 해당하는 지인을 파악할 수 있다.
저장부(260)는 사용자의 지인 얼굴 사진을 저장하는 기능을 수행할 수 있다. 출력부(300)는 사용자에게 상기 상대방에 해당하는 지인을 알려주는 기능을 수행한다. 출력부(300)는, 디스플레이부(310); 또는 음향출력부(320);를 포함할 수 있다.
또한, 저장부(260)는, 사용자의 지인에 대한 정보를 저장하고, 출력부(300)는 상대방에 해당하는 지인에 대한 정보를 사용자에게 제공할 수 있다. 또한, 상기 지인에 대한 정보는, 직업, 학교, 나이, 지인을 알게 된 배경, 관심사, 공통으로 아는 지인 등을 포함할 수 있다.
본 발명에 따르면, 갑자기 사용자를 아는 척하는 사람이 누구인지 기억나지 않는 경우, 본 발명이 사용자에게 상대방이 누구인지 알려주므로 지인을 기억하지 못해서 미안해지거나 난처해지는 상황을 없앨 수 있다.
또한, 상대방의 얼굴은 기억나지만 이름이 기억나지 않는 경우에도 상대방의 이름 정보를 빠르게 제공받을 수 있어서, 이름을 기억하지 못해서 발생할 수 있는 문제를 예방할 수 있다.
또한, 길거리에서 자신이 아는 사람인지 불명확하여 아는 척을 하지 못하는 경우가 종종 있다. 이 경우에도 상대방의 근거리에서 상기 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하기만 하면 사용자가 아는 지인인지 판단할 수 있다. 즉, 상기 글라스형 웨어러블 디바이스의 저장부 또는 상기 외부서버의 저장부에 지인의 얼굴사진과 신상정보를 미리 저장해두기만 하면, 본 발명에 의해서 실시간으로 상대방이 누구인지 인식할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 소셜데이팅 서비스 시스템 및 방법에 대해 설명하기로 한다.
도 11는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 소셜데이팅 서비스 방법에 대한 순서도이다.
도 11을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 소셜데이팅 서비스 방법은, 상기 글라스형 웨어러블 디바이스(10)가 상대방이 발신한 무선통신신호를 수신하는 단계(S300); 상기 상대방의 위치를 인식하는 단계(S310); 상기 무선통신신호에 포함된 사용자정보 및 상태정보를 인식하는 단계(S320); 상기 인식된 상대방 위치를 바탕으로, 상기 상대방을 상기 글라스형 웨어러블 디바이스(10)의 디스플레이부(310)에 표시하고, 상기 상대방의 상태정보를 제공하는 단계(S330); 및 상기 상대방의 프로필정보를 사용자에게 안내하는 단계(S340);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 소셜데이팅 서비스 방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)는 상대방이 발신한 무선통신신호를 수신한다(S300). 도 12에서와 같이, 상대방의 글라스형 웨어러블 디바이스(10) 또는 통신디바이스 등에서 송신한 무선통신신호를 사용자의 상기 글라스형 웨어러블 디바이스(10)가 수신한다. 상기 무선통신신호는 상기 상대방의 상태정보를 담고 있으며, 상기 상대방의 위치를 측정할 수 있도록 한다. 상기 무선통신신호는 블루투스를 이용한 비콘신호 등 다양한 무선통신방식을 적용할 수 있다.
글라스형 웨어러블 디바이스(10)는 상대방의 위치를 인식한다(S310). 상대방의 위치를 인식하는 방식은, 상기 무선통신신호의 방향과 세기 등을 파악하여 상기 신호를 송신한 위치를 인식하는 방식, 상기 상대방의 위치정보를 포함한 상기 무선통신신호를 수신하여 상기 글라스형 웨어러블 디바이스(10)가 인식하는 방식 등을 적용할 수 있다. 다만, 상대방의 위치를 인식하는 방식은 이에 한정되지 않고, 다양한 방식을 적용할 수 있다.
글라스형 웨어러블 디바이스(10)는 무선통신신호에 포함된 사용자정보 및 상태정보를 인식한다(S320). 사용자정보는 상기 무선통신신호를 발신한 사용자에 대한 정보를 의미하여, 사용자의 ID정보, 사용자의 성명 등 사용자를 구별할 수 있는 정보이다. 무선통신신호가 많은 데이터를 포함할 수 있는 경우, 사용자정보는 사용자의 프로필정보도 포함할 수 있다. 또한, 상태정보는 사용자에 의해 입력된 현재 소셜데이팅을 원하는 지에 대한 정보이다. 예를 들어, 상기 사용자가 소셜데이팅을 원하는 경우에는 상기 상대방이 ‘활성’으로 선택하여 무선통신으로 발신할 수 있고, 상기 사용자가 소셜데이팅을 원하지 않는 경우에는 ‘제한’을 선택하여 발신할 수 있다.
글라스형 웨어러블 디바이스(10)는 인식된 상대방 위치를 바탕으로, 상기 상대방 위치정보 및 상대방의 상태정보를 디스플레이부(310)를 통해 제공한다(S330). 도 13에서와 같이, 글라스형 웨어러블 디바이스(10)는 상기 사용자가 위치하는 방향 등의 상기 위치정보를 알려주고, 상대방의 상태정보를 알려준다. 상기 상태정보는 디스플레이부(310) 상에 문자로 표시할 수도 있고, 상대방의 상태에 따라 색상을 달리하여 표시할 수도 있다. 또한, 사용자의 설정에 따라 상태가 ‘활성’인 사용자만 상기 디스플레이부(310)를 통해 알림을 수행하도록 할 수 있다.
글라스형 웨어러블 디바이스는 상대방의 프로필정보를 사용자에게 안내한다(S340). 즉, 사용자가 글라스형 웨어러블 디바이스(10)를 통해 소셜데이팅을 하고 싶은 상대방을 선택하고, 글라스형 웨어러블 디바이스(10)는 상기 상대방의 프로필정보를 사용자에게 제공할 수 있다. 상기 프로필정보는 무선통신신호 내 사용자정보에 포함될 수 있고, 무선통신신호 내에 상대방의 프로필정보는 포함하지 않고 사용자를 구별할 수 있는 ID정보만 포함하는 경우, ID정보를 바탕으로 외부서버에 요청하여 무선통신을 통해 수신될 수 있다.
또한, 상기 상대방 위치정보 및 상태정보 제공단계(S330)는, 사용자가 주시하는 방향을 인식하는 단계; 및 사용자의 상기 주시방향이 상기 무선통신신호를 통해 인식된 상기 상대방이 위치하는 방향과 일치하면 증강현실의 형태로 화면을 생성하여 제공하는 단계;를 더 포함할 수 있다. 사용자가 상대방의 사용자정보 및 상태정보에 해당하는 상대방을 정확하게 인식하기 위해서는 증강현실의 형태로 디스플레이부(310)상에 표시해줄 필요가 있다. 이를 위해서는, 사용자가 주시하는 방향이 상기 상대방이 위치하는 방향과 일치하는지 파악하여야 한다. 따라서 상기 모션센서(예를 들어, 지자기센서, 자이로센서(131), 가속도센서(132))를 통해 방위각 및/또는 고저각을 인식하여 사용자가 주시하는 방향을 인식할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는, 사용자가 주시하는 방향과 무선통신신호에 의해 인식된 사용자의 위치를 비교하여 일치하면, 상대방의 사용자정보 및 상기 상태정보를 증강현실 형태로 화면을 생성하여 표시할 수 있다.
또한, 사용자가 설정한 조건에 상응하는 프로필정보의 상대방을 선별하여 제공하는 단계;를 더 포함할 수 있다. 즉, 글라스형 웨어러블 디바이스(10)는 사용자가 원하는 조건에 부합하지 않는 상대방을 필터링하여 사용자가 설정한 조건에 상응하는 프로필정보를 가진 상대방을 선별할 수 있고, 선별된 상대방의 사용자정보 및 상태정보만을 사용자에게 제공할 수 있다. 글라스형 웨어러블 디바이스(10)는 무선통신신호를 수신하여 상대방의 사용자정보를 바탕으로 사용자가 설정한 조건을 차례대로 비교할 수 있다. 예를 들어, 사용자가 20세에서 23세 사이의 연령대에 해당하고 긴 생머리의 여성을 조건으로 설정한 경우, 주변의 상대방이 발신하는 무선통신신호들을 수신하여 사용자정보가 상기 2가지 조건을 만족하는지 여부를 판단할 수 있다. 글라스형 웨어러블 디바이스(10)는 상기 조건을 바탕으로 탐색한 결, 조건을 만족하는 상대방이 있으면 사용자에게 알림을 수행할 수 있다.
또한, 사용자정보가 사용자 ID정보만 포함하는 경우, 글라스형 웨어러블 디바이스(10)가 외부서버로 사용자정보를 바탕으로 프로필정보의 탐색요청을 하는 단계; 및 외부서버로부터 상기 상대방의 프로필정보를 수신하는 단계;를 더 포함할 수 있다. 데이터 양 등의 문제에 의해 무선통신신호에 상대방 프로필정보를 모두 포함하는 것은 제한될 수 있으므로, 사용자정보에는 사용자 ID정보만 포함하고, 글라스형 웨어러블 디바이스(10)가 상기 사용자 ID정보를 고객의 프로필정보를 저장한 외부서버(20)로 ID정보에 해당하는 상대방의 프로필정보의 제공을 요청할 수 있다. 그 후, 외부서버(20)가 상대방의 프로필정보를 탐색하여 상기 글라스형 웨어러블 디바이스(10)로 무선통신을 통해 전송할 수 있다.
또한, 원하는 상대방을 선택받아 메시지 전송하는 단계;를 더 포함할 수 있다. 즉, 사용자정보(또는 프로필정보)에 사용자가 소셜데이팅을 원하는 상대방의 연락처를 포함하거나 외부서버를 통한 메시지 전송 기능이 포함되어 있어, 사용자는 글라스형 웨어러블 디바이스(10)를 통해 원하는 상대방을 선택하여 메시지 전송을 할 수 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 본 발명을 통해 사용자는 자신이 원하는 조건의 사람을 거리에서 찾아서 만날 수 있다. 상대방도 자신의 사용자정보 및 상태정보를 무선통신으로 발신하기 때문에 즉석만남을 원하는 사람일 것이므로, 사용자가 원하는 사람과 즉석만남이 성사될 가능성도 높다.
둘째, 사용자가 소셜데이팅을 하고 싶은 상대방에게 무선통신을 이용하여 메시지를 보낼 수 있으므로, 직접 접근하여 대화를 시도하지 않아도 되는 장점이 있다.
셋째, 사용자가 입력한 조건에 부합하는 상대방만을 선별하여 알려줄 수 있어, 사용자가 원하는 소셜데이팅 상대방만을 제공받을 수 있는 장점이 있다.
넷째, 실제 주변의 상대방의 실물을 확인하면서 상대방의 프로필정보를 제공받을 수 있어, 사용자가 원하는 조건에 실제로 부합하는 지 확인할 수 있는 장점이 있다.
이상에서 전술한 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 하드웨어인 글라스형 웨어러블 디바이스(10)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 글라스형 웨어러블 디바이스(10)가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 글라스형 웨어러블 디바이스(10)의 프로세서(CPU)가 상기 글라스형 웨어러블 디바이스(10)의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 글라스형 웨어러블 디바이스(10)의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 글라스형 웨어러블 디바이스(10)의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 글라스형 웨어러블 디바이스(10)가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 글라스형 웨어러블 디바이스(10)상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (20)

  1. 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리방법에 있어서,
    상기 글라스형 웨어러블 디바이스가 상기 영상 또는 상기 이미지를 수신하는 단계;
    상기 영상 또는 상기 이미지 내에서 얼굴영역을 추출하는 단계;
    블러화를 수행할 얼굴영역을 지정하는 단계; 및
    상기 영상 또는 이미지 내 얼굴영역의 블러화를 수행하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  2. 제1항에 있어서,
    상기 영상 또는 이미지 수신단계는,
    사용자의 음성입력, 터치명령, 눈깜박임, 제스처 중 적어도 하나 이상에 의해 제1카메라를 조작하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  3. 제1항에 있어서,
    블러화된 영상 또는 이미지를 디스플레이로 표시하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  4. 제1항에 있어서,
    상기 얼굴영역 지정단계는,
    상기 추출된 얼굴영역에 번호를 부여하여 화면 상에 표시하는 단계; 및
    사용자로부터 음성명령 또는 터치명령으로 블러화를 수행할 얼굴영역을 선택받는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  5. 제1항에 있어서,
    상기 얼굴영역 지정단계는,
    추출된 얼굴영역을 상기 영상 또는 이미지 상에 표시하여 사용자에게 제공하는 단계; 및
    사용자의 아이트래킹을 통해 상기 추출된 얼굴영역 중에서 블러화를 수행할 영역을 선택받는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  6. 제1항에 있어서,
    상기 얼굴영역 지정단계는,
    상기 추출된 얼굴영역을 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지와 비교하여 동일한 얼굴을 인식하는 단계; 및
    상기 추출된 얼굴영역이 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지 중 하나 이상과 일치하는 경우, 상기 추출된 얼굴영역은 상기 블러화를 수행할 얼굴영역에서 제외하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  7. 제1항에 있어서,
    상기 얼굴영역 지정단계는,
    상기 영상 또는 이미지 내에 하나 이상의 추출된 얼굴영역이 밀집된 영역을 파악하는 단계;
    상기 밀집된 영역 내의 상기 추출된 얼굴영역의 최소크기를 계산하는 단계; 및
    상기 최소크기 이하의 상기 추출된 얼굴영역을 블러화를 수행할 얼굴영역으로 지정하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  8. 제1항에 있어서,
    상기 추출된 얼굴영역을 상기 글라스형 웨어러블 디바이스 내에 저장된 지인의 얼굴이미지와 비교하여 동일한 얼굴을 인식하는 단계; 및
    무선통신을 이용하여 상기 동일한 얼굴로 인식된 지인에게 상기 영상 또는 이미지를 전송하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  9. 제1항에 있어서,
    상기 영상 또는 이미지 내 얼굴영역의 블러화는,
    가우시안 필터 또는 평균 필터를 이용하여 수행하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  10. 제1항에 있어서,
    상기 영상 또는 이미지 내 얼굴영역의 블러효과정도 또는 블러효과적용범위를 설정하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  11. 상대방의 얼굴이 포함된 영상 또는 이미지를 획득하는 단계;
    상기 영상 또는 이미지에서 얼굴영역을 추출하는 단계;
    상기 추출된 얼굴영역에서 특징정보를 추출하는 단계;
    상기 추출된 특징정보와 저장된 지인 얼굴의 특징정보를 비교 판단하여, 상기 상대방에 해당하는 지인을 인식하는 단계; 및
    사용자에게 상기 상대방에 해당하는 지인정보를 제공하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  12. 제11항에 있어서,
    상기 지인 인식 단계는,
    상기 글라스형 웨어러블 디바이스의 제어부 또는 외부서버에서 수행되는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  13. 제11항에 있어서,
    상기 지인정보 제공단계는,
    상대방에 해당하는 지인의 사진 또는 이름을 화면 상에 표시하는 방식, 음향출력으로 상대방에 해당하는 지인의 이름을 알리는 방식, 상기 글라스형 웨어러블 디바이스와 연동된 외부 디바이스의 화면 상에 상대방에 해당하는 지인의 사진 또는 이름을 표시하는 방식 중 적어도 하나 이상에 의해 수행되는, 웨어러블 디바이스를 이용한 정보처리 방법.
  14. 제11항에 있어서,
    상기 저장된 지인 얼굴의 특징정보는,
    외부서버 또는 상기 글라스형 웨어러블 디바이스의 저장부에 저장된 지인의 사진에서 특징을 추출하여 저장해두는 것을 특징으로 하고,
    상기 상대방에 해당하는 지인 인식은,
    상기 외부서버 또는 상기 글라스형 웨어러블 디바이스에서 상기 추출된 상대방 얼굴사진의 특징정보와 동일한 특징정보를 포함하는 지인을 탐색하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  15. 글라스형 웨어러블 디바이스를 이용하여 소셜데이팅이 가능한 상대방을 파악하는 방법에 있어서,
    상기 글라스형 웨어러블 디바이스가 상대방의 외부디바이스에 의해 발신된 무선통신신호를 수신하는 단계;
    상기 상대방의 위치를 인식하는 단계;
    상기 무선통신신호에 포함된 사용자정보 및 상태정보를 인식하는 단계;
    상기 인식된 상대방 위치를 바탕으로, 상기 상대방을 상기 글라스형 웨어러블 디바이스의 화면 상에 표시하고, 상기 상대방의 상태정보를 제공하는 단계; 및
    상기 상대방의 프로필정보를 사용자에게 안내하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  16. 제15항에 있어서,
    상기 상대방 위치 인식단계는,
    상기 무선통신신호의 방향과 세기를 파악하여 상기 신호를 송신한 위치를 인식하는 방식, 상기 상대방의 위치정보를 포함한 상기 무선통신신호를 수신하여 상기 글라스형 웨어러블 디바이스가 인식하는 방식 중 적어도 하나 이상에 의해 수행되는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  17. 제15항에 있어서,
    상기 사용자정보가 사용자 ID정보만 포함하는 경우,
    상기 글라스형 웨어러블 디바이스가 외부서버로 상기 사용자정보를 바탕으로 프로필정보의 탐색요청을 하는 단계; 및
    상기 외부서버로부터 상기 상대방의 프로필 정보를 수신하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  18. 제15항에 있어서,
    사용자로부터 특정한 상대방을 선택받아 메시지 전송하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  19. 제15항에 있어서,
    사용자가 설정한 조건에 상응하는 상기 프로필정보의 상대방을 선별하여 제공하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  20. 제15항에 있어서,
    상기 상대방의 상태정보 제공단계는,
    사용자가 주시하는 방향을 인식하는 단계; 및
    사용자의 상기 주시방향이 상기 무선통신신호를 통해 인식된 상기 상대방이 위치하는 방향과 일치하면, 증강현실의 형태로 상기 상대방의 상태정보를 포함하는 화면을 생성하여 제공하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
PCT/KR2015/007581 2014-07-21 2015-07-21 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 WO2016013858A2 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020140092034A KR20160011302A (ko) 2014-07-21 2014-07-21 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법
KR10-2014-0092034 2014-07-21
KR1020140098307A KR102224985B1 (ko) 2014-07-31 2014-07-31 글라스형 웨어러블 디바이스를 이용한 지인 인식시스템 및 인식방법
KR10-2014-0098307 2014-07-31
KR1020140111752A KR20160025150A (ko) 2014-08-26 2014-08-26 글라스형 웨어러블 디바이스를 이용한 소셜데이팅 서비스 시스템 및 방법
KR10-2014-0111752 2014-08-26

Publications (2)

Publication Number Publication Date
WO2016013858A2 true WO2016013858A2 (ko) 2016-01-28
WO2016013858A3 WO2016013858A3 (ko) 2016-04-07

Family

ID=55163922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007581 WO2016013858A2 (ko) 2014-07-21 2015-07-21 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2016013858A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177089A1 (ko) * 2022-03-16 2023-09-21 삼성전자 주식회사 증강 현실 디바이스 및 그 동작 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8688143B2 (en) * 2004-08-24 2014-04-01 Qualcomm Incorporated Location based service (LBS) system and method for creating a social network
JP4424364B2 (ja) * 2007-03-19 2010-03-03 ソニー株式会社 画像処理装置、画像処理方法
KR100840021B1 (ko) * 2007-11-05 2008-06-20 (주)올라웍스 특성 데이터를 이용하여 디지털 데이터에 포함된 인물의얼굴에 대해 인식하는 방법 및 시스템
KR101591529B1 (ko) * 2009-11-23 2016-02-03 엘지전자 주식회사 이동 통신 단말기에서의 데이터 처리 방법 및 이를 적용한 이동 통신 단말기
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177089A1 (ko) * 2022-03-16 2023-09-21 삼성전자 주식회사 증강 현실 디바이스 및 그 동작 방법

Also Published As

Publication number Publication date
WO2016013858A3 (ko) 2016-04-07

Similar Documents

Publication Publication Date Title
WO2019013517A1 (en) APPARATUS AND METHOD FOR VOICE CONTROL CONTEXT
WO2016098950A1 (ko) 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치
WO2020017706A1 (en) Electronic device and method for controlling the same
WO2016117755A1 (ko) 디스플레이 정보를 이용한 홍채 인증 방법 및 장치
WO2016129917A1 (ko) 사용자 단말 및 이의 제공 방법
WO2016204466A1 (en) User authentication method and electronic device supporting the same
WO2018009029A1 (en) Electronic device and operating method thereof
WO2018124633A1 (ko) 전자 장치 및 그의 메시지 전달 방법
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2016039582A1 (en) Method and apparatus for recognizing iris
CN108206892B (zh) 联系人隐私的保护方法、装置、移动终端及存储介质
WO2018174493A1 (ko) 피부에 해당하는 이미지 처리 영역을 보정하는 방법 및 전자 장치
WO2016006920A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2018143509A1 (ko) 이동 로봇 및 그 제어방법
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2018021726A1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
WO2014088125A1 (ko) 영상 촬영 장치 및 그 방법
WO2017034225A1 (en) Electronic apparatus and method of transforming content thereof
KR20160007341A (ko) 글라스형 웨어러블 디바이스의 버스도착 알림방법 및 이를 이용한 글라스형 웨어러블 디바이스용 프로그램
WO2016010328A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
KR20160015142A (ko) 글라스형 웨어러블 디바이스를 이용한 긴급시 비상연락방법 및 프로그램
WO2019088338A1 (ko) 전자 장치 및 그 제어 방법
KR20160011302A (ko) 글라스형 웨어러블 디바이스의 영상 또는 이미지 처리시스템 및 처리방법
WO2018097483A1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15824540

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15824540

Country of ref document: EP

Kind code of ref document: A2