WO2016006920A1 - 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 - Google Patents

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 Download PDF

Info

Publication number
WO2016006920A1
WO2016006920A1 PCT/KR2015/007029 KR2015007029W WO2016006920A1 WO 2016006920 A1 WO2016006920 A1 WO 2016006920A1 KR 2015007029 W KR2015007029 W KR 2015007029W WO 2016006920 A1 WO2016006920 A1 WO 2016006920A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
information
user
image
type wearable
Prior art date
Application number
PCT/KR2015/007029
Other languages
English (en)
French (fr)
Inventor
한성철
엄정한
김진영
이경현
김대중
김석기
유철현
김주천
김주원
Original Assignee
넥시스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넥시스 주식회사 filed Critical 넥시스 주식회사
Priority to KR1020177003455A priority Critical patent/KR20170031722A/ko
Publication of WO2016006920A1 publication Critical patent/WO2016006920A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus

Definitions

  • the present invention relates to an information processing system and method using a wearable device, and more particularly, to a system and method for information processing data acquired during the activity of a user having a wearable device.
  • the head mounted display device is mainly made of a safety glasses or a helmet type device to see the screen in front of the eyes, and was developed to realize virtual reality.
  • Glass-type wearable devices generally have a small display such as a liquid crystal installed at a position close to both eyes (both eyes) to project an image.
  • the wearable device is for use in space development, nuclear reactors, military institutions, and medical institutions.
  • Various developments for games and the like are in progress.
  • a glass type wearable device according to the prior art is also disclosed in US Pat. No. US8,427,396.
  • glass wearable devices Although various types of glass wearable devices have been researched and emerged, methods or services that wearers can conveniently utilize in daily life are very limited, and UI (User Interface) or UX (User Experience) suitable for glass wearable devices is very limited. Neither is it being developed. In addition, recently, glass-type wearable devices that can perform most functions by themselves, as well as glass-type wearable devices used in conjunction with mobile terminals such as smartphones, have been developed. Different from the mobile terminal of the need for a service suitable for the characteristics of the glass-type wearable device.
  • UI User Interface
  • UX User Experience
  • one object of the present invention is to provide a service suitable for a glass-type wearable device that can be utilized by the user or wearer of the glass-type wearable device.
  • an object of the present invention is a system for providing a specific service to a user by processing information (for example, payment information, web address text, product image, etc.) acquired in the direction of the wearer of the glass type wearable device. And to provide a method.
  • information for example, payment information, web address text, product image, etc.
  • An information processing method using a glass type wearable device includes: obtaining an image including a web address through a first camera; Extracting a web address from the obtained image; And calling the web address extracted by the wireless communication, and displaying the web page on the screen of the glass type wearable device or the external device.
  • an information processing method using a glass type wearable device includes: receiving payment information through a first camera; Extracting payment details and payment amount from the recognized payment information; Receiving a payment approval command of a user; And providing a settlement approval result.
  • an information processing method using a glass type wearable device includes: obtaining an image of a pill by using a first camera of the glass type wearable device; Extracting feature information from the obtained pill image; Searching for the pill based on the extracted feature information; And informing a user of receiving pill information of the found pill.
  • an information processing method using a glass type wearable device includes: obtaining an image or an image including a product image; Extracting the product image; Extracting feature information from the product image; Finding goods information by searching for goods corresponding to the goods image; And informing the user of the product information.
  • An information processing method using a glass type wearable device may include: obtaining, by a first camera, an image including a signboard or a leaflet having a telephone number; Extracting a business name or the telephone number by recognizing letters or numbers in the signboard or leaflet in the image; And calling the glass type wearable device to the recognized telephone number.
  • An information processing method using a glass type wearable device includes the steps of: obtaining, by the first camera, an image including a signboard with a telephone number; Recognizing letters or numbers in the signboard image in the image to extract the business name or the telephone number described in the signboard; And storing the recognized telephone number by inputting the recognized business name into the glass type wearable device as a name.
  • an information processing method using a glass type wearable device includes: inputting an account number into the glass type wearable device; Accessing an external server of a user using wireless communication; Inputting a transaction amount into the glass type wearable device; And performing identity verification by transmitting identity authentication information to the external server, and requesting a transaction by transmitting the transaction amount and the account number to the external server.
  • an information processing method using a glass type wearable device includes: obtaining, by a first camera, an image including the trade article; Extracting an image of the article to identify a category of the article; And uploading the transaction article information by designating the identified category.
  • the user can directly check the web address stared by the user with the glass type wearable device.
  • the smartphone user can run the Internet application for the call of the web address to enter the web address directly or run the application such as QR code reader to read the QR code, etc. You can easily call.
  • web address input can be made easily without a keyboard.
  • the user can easily make a payment even if the user does not have a payment method such as a credit card by using the glass type wearable device.
  • the payment is made only through a personal identification procedure unique to the wearable, thereby providing high security such as preventing payment by another person in case of loss.
  • the user can easily grasp the name, efficacy, etc. of the pill even if there is no description of the pill, even if the pill is stored for the symptoms that are currently suffering without knowing the pill information can solve the problem of repurchasing a similar pill.
  • the user may take a pill that the user does not want to take from the prescribed pill.
  • a medicine except for a drug that causes drowsiness due to driving or attending a meeting
  • the user can immediately obtain product information of clothes worn by other people on the street, and the store can grasp the product information of clothes worn on the mannequin from a distance.
  • the presence or absence of the stock of the corresponding product, the color type of the corresponding product, etc. may be confirmed in real time.
  • the glass-type wearable device directly acquires the phone number written on the signboard or leaflet to perform callout or storage, the user directly enters the phone number memorized or directly inputs the phone number to store the phone number on the signboard or leaflet. Discomfort can be eliminated.
  • the glass-type wearable device acquires and stores a phone number
  • additional information such as location information of obtaining the signboard image may be stored together, so that a user may easily store a later stored contact.
  • by providing the store name of the business name at the time of call it is possible to easily obtain the necessary dictionary information before the call.
  • the user when the user wants to perform the account transfer through online banking, the user does not need to directly enter the transaction amount and account number, so that the user can proceed with the account transfer faster than the existing online banking. It is possible to input the account number and the transaction amount that the user gazes, and the account number and the transaction amount can be input through the voice recognition of the user, which is very simple compared to the method of transferring the account using a smartphone. .
  • the user can easily upload the second-hand goods that are not used to the second-hand trade external server, thereby making it easier to trade the second-hand goods.
  • FIG. 1 is a block diagram of a glass type wearable device system according to an exemplary embodiment of the present invention.
  • FIG 2 is an exemplary view of a glass type wearable device related to one embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a web address calling method of a glass type wearable device according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process of extracting and calling a web address according to an embodiment of the present invention.
  • FIG. 5 is an exemplary screen of a glass type wearable device for obtaining a web address according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a payment method using a glass type wearable device according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view of recognizing a barcode corresponding to payment information and displaying the barcode on the screen of the wearable device in accordance with one embodiment of the present invention.
  • FIG. 8 is an exemplary diagram of obtaining a barcode image through a first camera of a glass type wearable device according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a method of identifying a pill by extracting feature information of the pill using the glass type wearable device according to an exemplary embodiment of the present invention.
  • FIG. 10 is an exemplary diagram of obtaining an image or an image including a pill image through a first camera of a glass type wearable device according to an embodiment of the present invention.
  • 11 is an exemplary view of displaying pill information on a screen of a glass type wearable device according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of confirming tablet information by recognizing a barcode in a dotprint form through a glass type wearable device according to an embodiment of the present invention.
  • FIG. 13 is a flowchart of a method for acquiring commodity information using a glass type wearable device according to an embodiment of the present invention.
  • FIG. 14 is an exemplary diagram of obtaining an image or image including a specific product image through a first camera of a glass type wearable device according to an embodiment of the present invention.
  • 15 is an exemplary view of displaying product information on a screen of a glass type wearable device according to an embodiment of the present invention.
  • 16 is a diagram illustrating a connection relationship between a glass type wearable device, an external server, and an external device, according to an exemplary embodiment.
  • 17 is a connection relationship diagram of an internal configuration of a glass type wearable device according to an embodiment of the present invention.
  • FIG. 18 is a flowchart illustrating a method for automatically transmitting or storing a phone number in a signboard or a leaflet of a glass type wearable device according to an embodiment of the present invention.
  • 19 is an exemplary diagram of obtaining an image or an image including a specific signage through a first camera of a glass type wearable device according to an embodiment of the present invention.
  • 20 is an exemplary view showing a phone number extracted on a screen of a glass type wearable device according to an embodiment of the present invention.
  • 21 is a flowchart illustrating a bank transfer service method using a glass type wearable device.
  • 22 is an exemplary diagram of obtaining an image or image including specific account information through the first camera of the glass type wearable device according to an embodiment of the present invention.
  • FIG. 23 is an exemplary diagram showing account information extracted on a screen of a glass type wearable device according to an embodiment of the present invention.
  • 24 is a diagram illustrating a connection relationship between a glass type wearable device and an external server according to an exemplary embodiment of the present invention.
  • 25 is a flowchart illustrating a method of uploading transaction article information using the glass type wearable device 10.
  • FIG. 26 is an exemplary diagram of obtaining an image or image including a specific product image through a first camera of a glass type wearable device according to an embodiment of the present invention.
  • FIG. 27 is an exemplary diagram of displaying counterpart information on a screen of a glass type wearable device according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of a glass type wearable device system 10 according to an embodiment of the present invention.
  • the glass type wearable device system 10 may include an input unit 100, a user input unit 110, a keyboard 111, a touch pad 112, and a camera unit 120.
  • the components shown in FIG. 1 are not essential, so a glassy wearable device with more or less components may be implemented.
  • FIG 2 is an exemplary view of a glass type wearable device related to one embodiment of the present invention.
  • the components may be provided inside or on one side of the glass type wearable device as shown in FIG. 2.
  • the input unit 100 is for inputting an audio signal, a video signal, a user's manipulation signal, a biosignal, and the like.
  • the input unit 100 includes a user input unit 110, a camera unit 120, a sensing unit 130, and a voice input unit 140.
  • the user input unit 110 generates key input data input by the user for controlling the operation of the device.
  • the user input unit 110 may include a keypad, a keyboard 111, a dome switch, a touch pad (static pressure / capacitance) 112, a jog wheel, a jog switch, a finger mouse, and the like.
  • a touch pad static pressure / capacitance
  • the touch pad forms a mutual layer structure with the display unit 310 to be described later, this may be referred to as a touch screen.
  • the camera 120 is for inputting a video signal or an image signal, and two or more cameras 120 may be provided according to a configuration aspect of the device.
  • the camera 120 processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display 310.
  • the image frame processed by the camera 120 may be stored in the memory 260 or transmitted to the outside through the wireless communication unit 250.
  • the control unit 210 transmits the image signal and the video signal.
  • the camera unit 120 may include one or more cameras according to the direction or purpose of the captured image.
  • the first camera 121 may be provided at one side of the glass type wearable device to capture an image of the front side.
  • the second camera 122 may be provided at one side of the glass type wearable device to acquire an image or an image in an eyeball direction.
  • the third camera 123 may be provided at the rear or side of the glass type wearable device 10 to acquire an image or an image of the rear or side.
  • the sensing unit 130 generates a sensing signal for controlling the operation of the device by detecting the current state of the device, such as whether the user wears the glass-shaped wearable device 10 or the position of the device.
  • the sensing unit 130 may perform a function of an input unit receiving an input signal for information processing of the device, and may perform various sensing functions such as whether an external device is connected or not.
  • the sensing unit 130 includes a proximity sensor, a pressure sensor 133, a motion sensor, a fingerprint recognition sensor, an iris recognition sensor 134, a heart rate detection sensor 135, a skin temperature sensor, a skin resistance sensor and an electrocardiogram sensor. And various sensors.
  • the proximity sensor can detect the presence or absence of an approaching object or an object present in the vicinity without mechanical contact.
  • the proximity sensor can detect a proximity object by using a change in an alternating magnetic field or a change in a static magnetic field, or by using a change rate of capacitance.
  • Two or more proximity sensors may be provided according to the configuration aspect.
  • the pressure sensor 133 may detect whether pressure is applied to the device, the magnitude of the pressure, and the like.
  • the pressure sensor 133 may be installed at a portion of the device requiring detection of pressure according to the use environment. If the pressure sensor 133 is installed in the display 310, a touch input through the display 310 and a greater pressure than the touch input are applied according to the signal output from the pressure sensor 133. The pressure touch input can be identified. In addition, according to the signal output from the pressure sensor 133, it is also possible to know the magnitude of the pressure applied to the display 310 when the pressure touch input.
  • the motion sensor includes one or more of sensors such as a gyro sensor 131, an acceleration sensor 132, and a geomagnetic sensor, and detects the position or movement of the device using the same.
  • the acceleration sensor 132 that can be used for a motion sensor is a device that converts an acceleration signal in one direction into an electrical signal, and is widely used with the development of micro-electromechanical systems (MEMS) technology.
  • MEMS micro-electromechanical systems
  • the gyro sensor 131 is a sensor for measuring the angular velocity, and may sense a direction returned to the reference direction.
  • the heart rate detection sensor 135 measures the change in the light blood flow rate according to the change in blood vessel thickness due to the heartbeat.
  • the skin temperature sensor measures the skin temperature as the resistance value changes in response to the temperature change.
  • Skin resistance sensors measure the electrical resistance of the skin.
  • the iris recognition sensor 134 performs a function of recognizing a person using iris information of an eye having unique characteristics for each person.
  • the human iris is completed after 18 months of age, and then the circular iris pattern, which is raised near the inner edge of the iris, is almost unchanged once determined. Therefore, iris recognition is the application of security authentication technology by informatizing the characteristics of different iris for each person. In other words, it is an authentication method developed as a means of identifying people by analyzing the shape and color of the iris and the morphology of the retinal capillaries.
  • the iris recognition sensor 134 codes and compares the iris pattern with an image signal, and determines the comparison.
  • the general operation principle is as follows. First, when the user's eyes are focused on the mirror in the center of the iris recognizer at a certain distance, the infrared camera adjusts the focus through the zoom lens. Then, the iris camera images the user's iris into a photograph, and the iris recognition algorithm analyzes the iris contrast patterns by area to generate a unique iris code. Finally, a comparison search is performed as soon as the iris code is registered in the database.
  • the iris recognition sensor 134 may be provided inside the second camera 122 disposed in the eye direction, and in this case, the second camera 122 may perform a function of the iris recognition sensor.
  • the distance sensor includes a distance measurement method between two points, a triangulation method (infrared ray type, natural light type), and ultrasonic type.
  • a triangulation method infrared ray type, natural light type
  • ultrasonic type As in the conventional triangulation principle, the distance between two points is displayed when the measured objects from the two paths are reflected by a right-angle prism and incident on the two image sensors so that the relative positions match.
  • the ultrasonic method is a method in which the distance is measured by transmitting an ultrasonic wave having a sharp directivity to the object to be measured and receiving a reflected wave from the object to be measured.
  • the receiving sensor uses a piezoelectric element.
  • the Doppler radar is a radar that utilizes a phase change of the reflected wave, that is, a Doppler effect of the wave.
  • the doppler radar includes a continuous wave radar that transmits and receives a sine wave which is not pulse modulated, and a pulse radar that uses pulse modulated radio waves as an electromagnetic wave signal waveform.
  • Continuous wave radar is unsuitable for long range radar because modulating frequency is relatively high in order to obtain the performance of Doppler frequency filter. There are features that can be.
  • the pulse radar measures the distance to the target by the time from pulse transmission to reflection echo reception.
  • the voice input unit 140 is for inputting a voice signal and may include a microphone.
  • the microphone receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes it into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the wireless communication unit 250 and output in the call mode.
  • various noise canceling algorithms may be used to remove noise generated while receiving an external sound signal.
  • the output unit 300 is for outputting an audio signal, an image signal, a video signal or an alarm signal.
  • the output unit 300 may include a display unit 310, a sound output unit 320, an alarm unit 330, and a haptic module 340.
  • the display 310 displays and outputs information processed by the device. For example, when the device is in a call mode, the device displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the device is in a video call mode or a photographing mode, the captured or received images may be displayed at the same time or simultaneously, and the UI and the GUI may be displayed.
  • UI user interface
  • GUI graphic user interface
  • the display unit 310 may be used as an input device in addition to the output device. If the display unit 310 is configured as a touch screen, the display unit 310 may include a touch screen panel and a touch screen panel controller.
  • the display unit 310 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, and a three-dimensional display. It may include at least one of (3D display).
  • two or more display units 310 may exist according to the implementation form of the device. For example, the external display unit 310 and the internal display unit 310 may be simultaneously provided in the device.
  • the display unit 310 may be implemented as a head up display (HUD), a head mounted display (HMD), or the like.
  • HMD Head mounted Display
  • a head up display (HUD) is an image display device for projecting a virtual image onto glass in a user's visible area.
  • the sound output unit 320 outputs audio data received from the wireless communication unit or stored in the memory 260 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output module 320 outputs a sound signal related to a function performed in the device, for example, a call signal reception sound and a message reception sound.
  • the sound output module 320 may include a speaker, a buzzer, and the like.
  • the alarm unit 330 outputs a signal for notifying occurrence of an event of the device. Examples of events occurring in the device include call signal reception, message reception, and key signal input.
  • the alarm unit 330 outputs a signal for notifying occurrence of an event in a form other than an audio signal or a video signal. For example, the signal may be output in the form of vibration.
  • the alarm unit 330 may output a signal to notify the call signal when the call signal is received or a message is received. Also.
  • the key signal is input, the alarm unit 330 may output the signal as a feedback to the key signal input. The user may recognize the occurrence of an event through the signal output from the alarm unit 330.
  • the signal for notifying the event occurrence in the device may also be output through the display 310 or the sound output unit.
  • the haptic module 340 generates various haptic effects that a user can feel.
  • a representative example of the haptic effect generated by the haptic module 340 is a vibration effect.
  • the haptic module 340 When the haptic module 340 generates vibration by the tactile effect, the intensity and pattern of the vibration generated by the haptic module 340 may be converted, and may be output by combining different vibrations or sequentially.
  • the wireless communication unit 250 may include a broadcast receiving module, a mobile communication module, a wireless internet module, a short range communication module, and a location information module.
  • the broadcast receiving module receives at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel, a terrestrial channel, and the like.
  • the broadcast management server may mean a server that generates and transmits at least one of a broadcast signal and broadcast related information, or a server that receives at least one of the pre-generated broadcast signal and broadcast related information and transmits the same to a terminal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network, and in this case, may be received by the mobile communication module.
  • Broadcast related information may exist in various forms.
  • the broadcast receiving module may receive a broadcast signal using various broadcast systems, and receive a digital broadcast signal using a digital broadcast system.
  • the broadcast receiving module may be configured to be suitable for all broadcast systems providing broadcast signals as well as such digital broadcast systems.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module may be stored in the memory 260.
  • the mobile communication module transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to voice call signal, video call signal, or text / multimedia message transmission and reception.
  • the wireless internet module refers to a module for wireless internet access, and the wireless internet module may be embedded or external to the device.
  • Wireless Internet technologies include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), long term evolution (LTE), LTE-A Long Term Evolution-Advanced and the like can be used.
  • the short range communication module refers to a module for short range communication.
  • Beacon, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, etc. may be used as a short range communication technology.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module refers to a module that receives the positioning signal and measures the position of the glass type wearable device.
  • the position information module may correspond to a Global Position System (GPS) module, and the positioning signal may correspond to a GPS signal.
  • GPS Global Position System
  • the Global Position System (GPS) module receives position information from a plurality of GPS satellites.
  • the memory 260 may store a program for processing and controlling the controller 210, and may perform a function for temporarily storing input or output data (eg, a message, a still image, a video, etc.). It may be.
  • input or output data eg, a message, a still image, a video, etc.
  • the memory 260 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM
  • the storage medium may include at least one type of storage medium.
  • the device may operate a web storage that performs a storage function of a memory on the Internet.
  • the memory 260 may be referred to as a storage 260 hereinafter.
  • the interface unit 270 serves as an interface with all external devices connected to the device. Examples of external devices that connect to the device include wired / wireless headsets, external chargers, wired / wireless data ports, memory cards, card sockets such as Subscriber Identification Module (SIM) or User Identity Module (UIM) cards, Audio I / O (Input / Output) terminals, video I / O (Input / Output) terminals, earphones, and the like.
  • SIM Subscriber Identification Module
  • UIM User Identity Module
  • the interface unit 270 may receive data from such an external device or receive power and transfer the data to each component within the device, and may transmit data within the device to the external device.
  • the controller 210 typically controls the operation of each unit to perform a function of controlling the overall operation of the device. For example, perform related control and processing for voice calls, data communications, and the like. In addition, the controller 210 performs a function of processing data for multimedia reproduction. In addition, it performs a function of processing the data received from the input unit or the sensing unit 130.
  • the controller 210 performs face detection and face recognition for face recognition. That is, the controller 210 may include a face detection module and a face recognition module for face recognition.
  • the face detection module may extract only the face area from the camera image acquired by the camera unit 120. For example, the face detection module extracts a face region by recognizing feature elements in the face such as eyes, nose, and mouth.
  • the face recognition module may generate a template by extracting feature information from the extracted face region, and recognize a face by comparing a template with face information data in a face database.
  • the controller 210 may perform a function of extracting and recognizing a character from an image or an image acquired by the camera unit 120. That is, the controller 210 may include a character recognition module for character recognition.
  • Optical character recognition may be applied as a character recognition method of the character recognition module.
  • OCR Optical character recognition
  • the OCR method converts a typeface image of a document written by a person who can be obtained by an image scan or printed by a machine into a format such as a computer code that can be edited by a computer, and can be implemented by software.
  • the OCR method may compare several standard pattern letters and input characters prepared in advance and select the most similar to the standard pattern letters as the corresponding letters.
  • the character recognition module includes standard pattern letters of various languages, it is possible to read printed characters of various languages. Such a method is called a pattern matching method among the OCR methods, and the OCR method is not limited thereto, and various methods may be applied. In addition, the character recognition method of the character recognition module is not limited to the OCR method, various methods for recognizing the character on the offline already printed may be applied.
  • the controller 210 may perform a function of recognizing a gaze direction based on an eyeball image or an image acquired by the second camera 122. That is, the controller 210 may include a gaze analysis module that performs gaze direction recognition. After measuring the gaze direction and the gaze direction of the user, it is possible to determine the direction that the user looks by calculating by synthesis.
  • the gaze direction refers to a direction of the face of the user and may be measured by the gyro sensor 131 or the acceleration sensor 132 of the sensing unit 130.
  • the gaze direction may be grasped by the gaze analysis module in a direction viewed by the user's pupil.
  • the gaze analysis module may detect a movement of a pupil through analysis of a real-time camera image, and apply a method of calculating a direction of a gaze based on a fixed position reflected by the cornea. For example, through the image processing method, the position of the corneal reflected light by the center of the pupil and the illumination may be extracted and the gaze position may be calculated through the positional relationship thereof.
  • the controller 210 may be represented by the information processor 210.
  • the power supply unit receives an external power source and an internal power source under the control of the controller 210 to supply power for operation of each component.
  • the speech recognition unit 220 performs a function of identifying linguistic meaning content from the speech by automatic means. Specifically, the process of identifying a word or word sequence and extracting meaning by inputting a speech waveform is classified into five categories: speech analysis, phoneme recognition, word recognition, sentence interpretation, and meaning extraction.
  • the voice recognition unit 220 may further include a voice evaluation module for comparing whether the stored voice and the input voice are the same.
  • the voice recognition unit 220 may further include a voice-to-text conversion module 240 for converting an input voice into text or converting a text into voice.
  • the EEG signal generation unit generates an EEG signal having a frequency and a waveform for tuning human EEG. That is, the EEG signal generator transmits the vibration of the EEG frequency to the skull to perform the function of tuning the EEG.
  • EEG is the flow of electricity that occurs when a cranial nerve signal is transmitted. These brain waves are delta waves, which are very slow when you sleep, beta waves, which are fast when you are active, and alpha waves, which are medium speeds when you meditate. Therefore, the EEG signal generator may induce alpha waves and theta waves to exert the effects of learning assistance and mental concentration.
  • FIG. 3 is a flowchart illustrating a method of calling a web address of a glass type wearable device according to an embodiment of the present invention.
  • the method for calling a web address of a glass type wearable device includes: obtaining an image including a web address through a first camera (S100); Extracting a web address from the obtained image (S110); And calling the web address extracted by the wireless communication and displaying the web page on the screen of the glass type wearable device or the external device (S120).
  • S100 a first camera
  • S110 Extracting a web address from the obtained image
  • S120 And calling the web address extracted by the wireless communication and displaying the web page on the screen of the glass type wearable device or the external device
  • a method of recognizing a surrounding web address and calling a web address and displaying the same to a user will be described step by step.
  • the glass type wearable device 10 obtains an image including a web address through the first camera (S100). As shown in FIG. 4, the first camera acquires an image including a web address in a gaze direction stared by a user wearing the glass type wearable device 10.
  • the glass type wearable device 10 extracts a web address from the acquired image (S110).
  • the controller of the glass type wearable device 10 may recognize a string through a process of comparing with the stored characters, and may detect and extract a part corresponding to a web address from the string.
  • the controller may recognize the web address if 'www' or 'http' is included in the character string recognized by the first camera.
  • the control unit may recognize that 'www' or 'http' of a specific character string first appears as a start of a web address.
  • the controller may search for and extract a web address from a string adjacent to the string.
  • the method of extracting a web address from a recognized string is not limited to the above method, and may be implemented in various ways such as extracting a string containing '.com', '.net', etc. as a web address. .
  • the control unit is a character recognition module; And a web address extraction module.
  • the character recognition module performs a function of recognizing a character string from an image or an image input from the first camera. That is, it includes all forms of alphabets and Korean characters, and compares them to find elements corresponding to the alphabets or Korean characters from the elements in the image or video and make them into strings.
  • Character recognition is not limited to the Hangul and English alphabets, including other languages, it is possible to recognize the characters of various languages.
  • the present invention is not limited to a method of comparing a character with a stored character in a manner of recognizing a character from an image or an image, and various methods of identifying a character in an image may be applied and implemented.
  • the web address extraction module receives a string recognized from the character recognition module and extracts a character corresponding to a web address from the strings. If the web address extraction module contains 'www', it can be recognized as a web address. In addition, the web address extracting module may search for and extract a web address from a string adjacent to the word when the word 'homepage', 'Homepage' or 'website' is included in the string.
  • the glass type wearable device 10 calls a web address extracted by wireless communication, and displays a web page on the display unit 310 or the external device 30 of the glass type wearable device 10. It is displayed on (S120).
  • the controller 210 may request a call of the web address extracted by the wireless communication unit, and the wireless communication unit 250 may receive a web page or content corresponding to the web address from the outside through wireless communication.
  • the controller 210 may process the received web page or content to generate a form that can be displayed on the display 310.
  • the display 310 may receive a web page or content generated by being called by the controller 210 and visually display the content so that the user can view it. That is, as shown in FIG. 4, the first camera recognizes an image that the user wearing the glass type wearable device gazes on, and extracts a web address from the image and displays the image on the display unit so that the user can see it.
  • the glass type wearable device 10 may recognize a web address that the user wants to call by recognizing the user's gaze direction through the second camera 122.
  • a user may select a web address to be called by manipulating the user input unit 110 provided at one side of the glass type wearable device. Steps may further include.
  • the user input unit 110 may be implemented in the form of a touch screen in combination with the display 110, the user selects a web address to be called from a plurality of web addresses displayed on the display 110 Can be called.
  • the user input unit 110 is provided on one side of the glass type wearable device 10, so that the number of times of operating the user input unit 110, the slide method, or the time of operating the user input unit 110 may be adjusted. You can choose the web address according to the difference.
  • the user input unit 110 is not limited to being provided at the side portion and may be provided at various positions of the glass type wearable device.
  • the method of selecting one of the one or more web addresses is not limited to the previously presented method, and various methods that may be implemented by the user input unit 110 may be applied and implemented.
  • the glass type wearable device 10 receives the web address selection information from the user input unit 110 to determine a web address to call and According to the user's call approval command, the web page or content can be called.
  • the glass type wearable device 10 may select the web addresses in various ways to display the one or more web addresses on the display unit 110. You can list them according to specific rules. For example, the controller 210 may filter so that only accessible web addresses are listed, and may list them in descending order from the web addresses with high traffic count.
  • the method of filtering or listing one or more web addresses is not limited to the above-described method, and may include various methods such as a method of filtering and listing only domestic websites.
  • the glass type wearable device may store a web address that the user previously extracted and called in the memory 260. This allows the user to check whether they have previously visited a particular site, and when recalling the same web address, information such as the date the user visited a particular web address or the place searched for a specific web address. have.
  • the first camera 121 instead of a method of receiving a voice command for web address call approval by the voice input unit 140, the first camera 121 recognizes a user's gesture and the web address. You can order the call to be granted. That is, the first camera 121 acquires an image including the user's gesture, the controller 210 recognizes the gesture included in the obtained image, and if the recognized gesture and the set gesture match, call the web address It can be determined that the approval order has been made.
  • the user can call the web address stared by the user directly to the glass-type wearable device to confirm.
  • the smartphone user can run the Internet application for the call of the web address to enter the web address directly or run the application such as QR code reader to read the QR code, etc. You can easily call.
  • web address input can be made easily without a keyboard.
  • FIG. 6 is a flowchart illustrating a payment method using the glass type wearable device 10 according to an embodiment of the present invention.
  • a payment method using the glass-type wearable device 10 includes: receiving payment information through a first camera (S200); Extracting payment details or a payment amount from the recognized payment information (S220); Receiving a payment approval command of the user (S240); And providing a payment approval result (S260).
  • the payment method according to an embodiment of the present invention will be described in order.
  • the glass type wearable device 10 receives payment information through the first camera 120 (S200).
  • the payment information may be any one or more of a barcode, a QR code, a two-dimensional bar code, an image, a video, or text.
  • FIG. 7 when the user wearing the glass type wearable device 10 watches the payment screen, the payment information displayed on the payment screen of the first camera 120 of the glass type wearable device 10 is shown. An image or an image may be obtained.
  • the glass type wearable device 10 recognizes payment details or a payment amount through the first camera 121 (S220).
  • the payment amount corresponds to the amount to be paid by the user.
  • Payment details may be detailed information included in the details to be paid.
  • the payment history may include a product list constituting the user's payment amount and the price of each product, installment information, product information (for example, detailed description information about the product included in the product list, etc.). ), Payment means, sales information, payment methods, and the like.
  • the glass type wearable device 10 may change a method of recognizing a payment amount or payment details according to a type of payment information obtained by the first camera 121.
  • the controller 210 decodes the barcode or the QR code to settle the payment amount or the payment details. Can be identified.
  • the controller 210 may use a text recognition module to settle a payment amount corresponding to the payment information or The payment history can be recognized.
  • the payment information when the payment information is a QR code or a barcode, the payment information may include a webpage address where a payment amount or payment details are uploaded in real time. Therefore, when the glass type wearable device 10 recognizes payment information corresponding to a QR code or a barcode, the glass type wearable device 10 may access an external server 20 to receive a real-time uploaded payment amount or payment details through wireless communication.
  • the glass type wearable device 10 performs self authentication according to the authentication method set by the user (S240).
  • the authentication method may include voice recognition, iris recognition, eye blink recognition, heartbeat pattern recognition, pulse pattern recognition, or head movement pattern recognition.
  • the voice recognition authentication method may determine whether the payment proceeds by determining whether the voice command received from the user matches the pre-registered voice.
  • the glass type wearable device 10 may convert the corresponding payment information into a voice output unit through a sound output unit during a payment process, and then request the user to approve the payment.
  • the control unit 210 of the glass type wearable device 10 matches the voice command input by the user (for example, 'yes' or 'yes') in response to the approval request with the user's voice registered in the glass type wearable device. (Eg, whether the voices of the received voice and the stored voice are the same), and if it is determined to match, payment can be made at the request of the user.
  • the glass type wearable device may previously store a specific voice corresponding to a user's payment approval command. If it does not match the stored user's voice, the glass type wearable device 10 may transmit the notification data to the external device 30 of the registered user through the wireless communication.
  • the glass type wearable device 10 may set a test sentence, and display the test sentence on the display unit 310 to request the user to read the voice message during payment.
  • the glass type wearable device 10 may determine the approval by comparing the voice of the user who read the test sentence with the voice of the registered user.
  • the iris recognition authentication method may be performed through the second camera 122 of the glass type wearable device 10 when glass is used for payment.
  • the second camera 122 may photograph the wearer's iris, and if the photographed pattern of the iris is not the same as the pattern of the previously registered iris within the error range, the payment process may be stopped.
  • the first camera 120 acquires payment information externally based on the spectacle frame and the second camera 122 acquires the iris image of the wearer. Because of this, since the convenience of payment and high security can be provided at the same time, there is a utility that is different from the existing smartphone environment.
  • the eye blink recognition is a security-enhanced self-authentication method for confirming whether the second camera 122 proceeds with the payment by recognizing the eye blink of the wearer.
  • the owner of the glass type wearable device 10 may preset eye blinking and increase security of the payment process by reproducing and matching the eye blinking action set in advance in the payment process. Different eye blink intervals, a certain number of eye blinks within a specified time, alternating blinking between left and right eyes, randomly blinking left eye 3 and right eye 1 The pattern may be set.
  • the heartbeat pattern recognition and the pulse pattern recognition are methods that can be used as personalization data for determining whether the owner of the glass type wearable device 10 learns a signal by personalized pulsation. Since the heartbeat pattern and the pulse pattern of a person are different from each other, a learning model is stored and stored, and when a person other than the person wears a new one, the heartbeat pattern and the pulse pattern of the new wearer are different from those of the glass owner. If there is no match, payment does not proceed.
  • the head movement pattern recognition is similar to eye blink pattern recognition, but the pattern is measured by measuring the rotation or movement of the head wearing the glass using the gyro sensor 142 or the acceleration sensor instead of using the second camera. It is a step of determining whether the payment is in progress by determining whether or not match. You can store your head in a pattern of moving your head from left to right and back again, or you can store your head in a pattern of moving your head from left to right and upward. If the head is moved in the same pattern as the previously saved pattern and it hits, the payment can proceed.
  • the glass type wearable device 10 requests the external server 20 to make a payment based on the identity verification result (S260).
  • the external server 20 may correspond to a financial company server such as a bank company or a card company. That is, when the glass type wearable device 10 determines that the registered user is a registered user as a result of performing a specific identity authentication procedure, the glass type wearable device 10 may request an external server 20 to proceed with payment. For example, the glass type wearable device may request payment approval while transmitting payment amount, payment details, or payment method information to an external server corresponding to the payment method.
  • the determination of whether to approve payment for identity verification may be performed by the external server 20 corresponding to the bank server. That is, the glass type wearable device 10 may obtain authentication information (eg, iris pattern information, blinking pattern information, voice pattern information, etc.) corresponding to a specific identity authentication method and transmit the same to the external server 20. .
  • the external server 20 may store the authentication information of the registered user and determine whether the authentication information provided by the glass type wearable device 10 matches the previously stored authentication information.
  • the glass type wearable device 10 transmits the payment amount to the external server 20 at the time of transmitting the authentication information or after the authentication information is confirmed to match with the external server, and the external server 20 is set with the received authentication information. If the authentication information is matched, payment of the payment amount can proceed.
  • authentication information eg, iris pattern information, blinking pattern information, voice pattern information, etc.
  • the method may further include providing the extracted payment details or payment amount to the user. That is, the controller 210 may process the displayed payment amount or payment history information extracted from the payment information and display the information on the display 310. Through this, the user may check the amount to be paid or the purchased item list through the display unit 310 to proceed with the payment.
  • the method may further include transmitting the payment details and payment amount by SMS or e-mail.
  • the activity of attempting the unauthorized payment must be known as an SMS or an e-mail of the person or a registered person of the glass to prevent fraud afterwards. .
  • the method may further include setting a method of transmitting the payment details and the payment amount. In addition, requesting the payment approval by wireless communication with an external financial company server; And receiving a payment approval result. Since payment must be through an external financial company server, in the case of the glass type wearable device 10, payment approval must be made by wireless communication.
  • the glass type wearable device 10 may generate a product list to be purchased in the process of the user shopping. That is, in the process of shopping while wearing the glass type wearable device 10, the user may generate a list of items to be purchased by recognizing a product to be purchased through acquisition of a product image, a product, or a barcode attached to a display stand. . In this way, the user only needs to recognize the item to be purchased through the glass-type wearable device without having to put the item directly on the card while performing shopping.
  • the user may proceed with the payment step by transmitting a list of goods to be purchased to the payment terminal through wireless communication (for example, Bluetooth communication). That is, the payment terminal may generate the payment information based on a list of items to purchase received from the glass type wearable device.
  • wireless communication for example, Bluetooth communication
  • the glass type wearable device 10 may compare the payment history extracted from the list of items to be purchased with the payment information. That is, the glass type wearable device 10 may compare and determine whether a product to be matched or whether the number of products to be matched is compared by comparing a list of items to be purchased with payment details. Through this, it is possible to solve the inconvenience that the user must compare the receipt and the purchased product directly to check whether the payment was made correctly.
  • FIG. 9 is a flowchart illustrating a method of identifying a pill using a glass type wearable device according to an exemplary embodiment of the present invention.
  • a method of confirming a pill using a glassy wearable device may include obtaining an image of a pill by using a first camera of the glassy wearable device (S300); Extracting feature information from the acquired pill image (S310); Searching for the pill based on the extracted feature information (S320); And receiving the pill information of the searched pill and notifying the user (S330).
  • S300 a first camera of the glassy wearable device
  • S310 Extracting feature information from the acquired pill image
  • S330 receiving the pill information of the searched pill and notifying the user
  • the first camera 121 of the glass type wearable device 10 obtains an image of a pill (S300).
  • the first camera 121 is a camera provided on one side of the glass type wearable device 10 to acquire an image or an image of the front of the user. As shown in FIG. 10, the first camera 121 acquires an image of a pill in a direction in which the user stares. To perform the function.
  • the method of obtaining the pill image by the first camera 121 is not limited thereto and may be implemented in various ways.
  • An image or an image including a pill image obtained by the glass-type wearer first camera 121 may be enlarged or extracted only by the control unit 210.
  • the control unit 210 can easily extract the feature information in the feature information extraction step (S310) to be described later, in the pill information providing step (S330) described later to provide only the pill image to the user, except for the unnecessary image portion. Can be.
  • the device 10 extracts feature information from the obtained pill image (S310).
  • the feature information may include an identification mark, a shape, a color, a size, a formulation, a dividing line arrangement, and the like, of the pill image shown in FIG. 10.
  • the identification mark means a notation indicated on the pill indicating the manufacturer or the pill.
  • the shape of the pill may include a variety of forms, such as circular, oval, polygonal.
  • the tablet formulation may include tablets, hard capsules, soft capsules, and the like.
  • the color of the tablet refers to the color of the tablet itself if the formulation is a tablet or soft capsule, the color of both capsules if the hard capsule.
  • the dividing line means a line or a groove formed in the center of the medicine to be divided into several equal portions, so that the user can easily divide the dividing line. And the like.
  • the feature information of the tablet is not limited thereto, and may include various features that can distinguish the tablet, such as the texture of the surface of the tablet.
  • the control unit 210 of the glass type wearable device 10 may extract the feature information in the image of the pill obtained by the first camera 121.
  • the control unit 210 may include a pill feature extraction module.
  • the pill feature extraction module may be implemented in software in the control unit 210.
  • the tablet feature extraction module may analyze the image acquired by the first camera 121 and extract feature information included in the tablet image.
  • the pill feature extraction module performs a pill image analysis by setting a feature information extraction algorithm that easily identifies a pill with one or more feature information (ie, identification mark, shape, color, size, formulation, and dividing line arrangement). can do. For example, since the identification mark may identify the manufacturer of a particular pill, the pill feature extraction module may first identify the identification mark displayed on the pill.
  • the glass type wearable device 10 searches for the tablet based on the extracted feature information (S320).
  • the glass type wearable device 10 may search for the pill information corresponding to the extracted feature information among the data stored therein.
  • the pill information may include a front or rear image of the pill, efficacy, usage, precautions for use, a storage method, and the like.
  • the glass type wearable device 10 may determine the pills corresponding to the extracted feature information by comparing the extracted feature information with the feature information for each tablet stored therein.
  • the glass type wearable device 10 may request the tablet search corresponding to the extracted barcode to the external server 20 to receive the tablet information.
  • the control unit 210 of the glass type wearable device 10 may perform the conversion of the feature information in the form of data for transmission to the external server 20.
  • the converted feature information may be transmitted to the external server 20 through wireless communication.
  • the external server 20 compares the feature information received from the glass-shaped wearable device 10 with the feature information of the tablet stored on the external server 20 to identify a pill corresponding to the received feature information. .
  • the glass type wearable device 10 provides the searched pill information to the user (S330).
  • the glass type wearable device 10 may provide the user with the retrieved pill information using the output unit 300 provided therein or the external device 30 linked to the glass type wearable device.
  • the glass type wearable device 10 wirelessly communicates the tablet information data directly searched to the external device 30.
  • the external device 30 may provide information to the user by processing the pill information data in a form corresponding to a specific output means provided therein.
  • the glass type wearable device 10 or the linked external device 30 may output the pill information in various ways. That is, the glass type wearable device 10 or the external device 30 interlocked with each other may be used to display the screen including the tablet information on the display unit, the method of reading the information through the sound output unit, etc. in various ways. Information can be provided to the user. For example, as shown in FIG. 11, the display unit 310 of the glass type wearable device may be displayed to check the image of the pill and the pill information.
  • the form displayed on the display unit 310 is not limited thereto, and may be implemented in various forms according to the type of the device receiving the pill information or the structure of the display unit 310 of the device.
  • an interface for selecting the pill information that the user wants to check is displayed on the display unit, and the desired pill information item is selected by various input means. It may further comprise a.
  • the glass type wearable device 10 receives the pill information directly from the external server 20, the user recognizes a high motion by the motion sensor and eyes by the second camera in the pupil direction.
  • the desired pill information item may be selected by blinking recognition, input by a touch manipulation of the touch unit, or input by voice recognition.
  • the method of selecting the pill information item in the interface is not limited thereto, and various input methods that may be implemented according to the type of the external device 30 that receives the pill information may be applied.
  • the method may further include measuring a distance between the glass type wearable device and the tablet when extracting the size of the tablet as feature information; And converting the size of the pills based on the measured distances.
  • the tablet size is used as feature information for extracting the size of the tablet, the size of the tablet varies according to the distance to obtain the image of the tablet, so that the distance from the glass-type wearable device to the tablet to acquire the image is measured and reflected in the size calculation. shall. Therefore, the distance to the pill is measured using a distance sensor or a Doppler radar provided in the glass wearable device, and the controller 210 converts the size of the pill measured in the image by reflecting the measured distance.
  • the size information of the pills stored based on a specific distance from the camera is stored in the external server 20, and the size data measured by the first camera 121 is stored at a specific distance which is a reference of the external server 20. Convert the corresponding length using a proportional formula. By transmitting this to the external server 20 can be utilized as feature information for searching the pill.
  • a method of using size data as feature information of the tablet in consideration of distance is not limited thereto, and various methods may be applied.
  • a method of confirming a pill using a glassy wearable device may include obtaining an image of a pill by using the first camera 121 of the glassy wearable device (S300); Extracting and recognizing a barcode in a dotprint form on the obtained pill image (S311); Based on the extracted feature information, ?? searching for a pill (S320); And receiving the pill information of the searched pill and notifying the user (S330).
  • S300 the first camera 121 of the glassy wearable device
  • S311 Extracting and recognizing a barcode in a dotprint form on the obtained pill image
  • S320 Based on the extracted feature information, ?? searching for a pill
  • S330 receiving the pill information of the searched pill and notifying the user
  • the first camera 121 of the glass wearable device acquires an image of a pill (S300).
  • the glass type wearable device 10 extracts and recognizes a barcode in a dotprint form on the obtained pill image (S311). Recognize the name or unique number information of a pill by displaying the name or unique number of the pill on the surface of the pill as a bar code in the form of a dot print, and extracting the dot print bar code from the image obtained by the first camera 121. do.
  • the glass type wearable device 10 searches for a pill based on the extracted barcode (S320).
  • the glass type wearable device 10 may perform a search among the pills related data stored therein, and may request the tablet search corresponding to the extracted barcode to the external server 20 to receive the tablet information.
  • the glass type wearable device 10 provides the searched pill information to the user (S330).
  • the glass type wearable device 10 may display a screen including the pill information on the display 310, and wirelessly communicate the retrieved pill information to an external device 30 linked to the glass type wearable device 10.
  • an external device 30 for example, a mobile terminal such as a smart phone, tablet PC, or a fixed terminal, such as a TV, including a display unit
  • a mobile terminal such as a smart phone, tablet PC, or a fixed terminal, such as a TV, including a display unit
  • the method may further include measuring a distance between the glass type wearable device and the tablet when extracting the size of the tablet as feature information; And converting the size of the pills based on the measured distances.
  • the user can easily grasp the name, efficacy, etc. of the pill even if there is no description of the pill, even if the pill is stored in accordance with the current symptoms of symptoms can not solve the problem of repurchasing a similar pill without knowing the pill information.
  • the user may take a pill that the user does not want to take from the prescribed pill.
  • the pills that cause drowsiness can be identified among the pills prescribed using the present invention.
  • FIG. 13 is a flowchart of a method for acquiring commodity information using a glass type wearable device according to an embodiment of the present invention.
  • the method for acquiring commodity information using the glass type wearable device 10 may include obtaining an image or an image including a commodity image (S400); Extracting the product image (S410); Extracting feature information from the product image (S420); Finding product information by searching for a product corresponding to the product image (S430); And informing the user of the product information (S440).
  • the product information acquisition method using the glass type wearable device 10 according to an exemplary embodiment of the present invention will be described in order.
  • An image or an image including a product image is obtained (S400).
  • the first camera 121 provided at one side of the glass type wearable device 10 obtains a front image or an image including a product image to be obtained by the user.
  • the glass type wearable device 10 extracts the product image (S410). That is, the controller 210 of the glass type wearable device 10 extracts an image of a product from the image or the image.
  • the method of extracting a product image may extract a product located at the center of the image or the image or having the largest size.
  • the method of extracting the product image from the image or the image is not limited thereto, and various methods of automatically detecting and extracting the product image from the image or image may be applied.
  • the user may select a method such as selecting the image or a product image in the image through the user input unit 110.
  • the control unit 210 may include a product image extraction module that performs a function of extracting a product image in the obtained image or image.
  • the glass type wearable device 10 extracts feature information from the product image (S420).
  • the feature information may include a type, a design, a color, a shape or a location of a sculpture attached to a clothes, a pattern shape or a color, a shape or a attachment location of a button when the product is clothing.
  • the feature information extraction in the product image is performed to search for a product including the same feature as the extracted feature information.
  • the feature information extraction in the product image may be performed by the feature information extraction module of the control unit 210 in the glass type wearable device 10, and the product image is transmitted to the external server 20 so that the external server ( 20 may be performed by the feature information extraction module of FIG.
  • the feature information extraction module may perform a function of extracting feature information of a product from a product image.
  • the extracting of the feature information from the product image (S420) may further include measuring a distance from the user to the product when the size information of the product is required to be extracted.
  • an electronic product such as a television may have a different price depending on the size of the screen, so it is necessary to understand the screen size.
  • the glass type wearable device 10 may include the distance sensor, the doppler, or the like to obtain a distance from the product as the feature information.
  • the extracting of the feature information from the product image (S420) may further include extracting a store name included in the obtained image or image when used in a shopping mall. For example, when the user wants to grasp the product information of the product displayed in the shopping mall, the user can recognize the brand of the product and search only within the product of the brand to quickly and accurately search for the desired product. Therefore, the brand name of the product included in the image or image acquired by the first camera 121 may be extracted and used as the feature information in searching for the product. The brand name may be attached in a store or may be included in the product.
  • the product information of the product corresponding to the product image is grasped (S430).
  • the product information search step S430 may be performed by the glass type wearable device itself (that is, the product information search module of the controller in the glass type wearable device), and may be performed by the product information search module of the external server.
  • the product information search module may perform a function of searching for product information corresponding to characteristic information of a specific product. That is, the product information search module may compare the feature information extracted from the product image and the stored feature information of each product, identify a product corresponding to the product image, and search for product information of the product.
  • the product information may include an image of a product, a price, a sale information, a brand, a release year, and stock availability information.
  • the product information is provided to the user (S440).
  • the method of providing the product information to the user may be displayed on a display unit of the glass type wearable device 10 or the external device 30 which is interlocked, the glass type wearable device 10 or the external device which is interlocked.
  • a method of outputting sound through the sound output unit 20 may be applied.
  • product information may be displayed on the screen of the glass type wearable device 10 or the linked external device 30.
  • the glass type wearable device 10 may display product information such as an image, a brand, a color, and a price of a found product on a screen.
  • the glass type wearable device 10 may extract a product image from an image or image acquired by the first camera 121 and transmit the product image to the external server 20, and the external server. 20 may extract feature information from the received product image and search for product information corresponding thereto. Thereafter, the external server 20 may provide the user with the product information by transmitting the product information to the glass type wearable device 10 or the external device 30 linked with the glass type wearable device.
  • the glass type wearable device 10 may search for product information corresponding to a specific product image. That is, the controller 210 extracts a product image from an image or an image obtained by the first camera 121 of the glass type wearable device 10, extracts feature information from the product image, and matches the extracted feature information. The product information may be searched in the storage 260. Thereafter, the output unit 300 may receive the searched product information from the controller 210 and provide the same to the user.
  • identifying the location information of the user in the store and setting a search range of the product information based on the location information. That is, by grasping the indoor location information of the user, and performing a product search based on the products of the stores around the user's current location can be obtained quickly and accurately search results.
  • a method of determining the location of the glass type wearable device 10 through wireless communication may be applied as a method of determining the location information of the user in the store. For example, the glass type wearable device 10 acquires a Wi-Fi or beacon signal in the store, and the glass type wearable device 10 determines the strength, direction, type, etc. of the Wi-Fi or beacon signal, and the user. You can calculate the current position of.
  • the first camera 121 of the glass-shaped wearable device 10 acquires a front image or an image
  • the control unit 210 of the glass-shaped wearable device 10 is characterized by characteristic features such as features or features in the store. You can determine the current location by extracting. Based on the indoor map of the store, the present location of the user may be determined by identifying where the extracted characteristic elements exist in the store. However, the method of determining the current location of the user is not limited thereto, and various methods of measuring an indoor location may be applied.
  • the glass type wearable device 10 may set a search range of the product information based on the location information. That is, the stores around the measured user's current location are identified and the search is performed within the product range of the store.
  • the range of stores to search for the product can be further reduced.
  • determining the current location information of the user determining the current location information of the user; And providing a location of a store selling the product based on the current location information of the user. If the place where the image or image including the product is acquired through the glass wearable device 10 is not a store, the user may want to search for a location of a store that sells the product included in the image or image.
  • the glass type wearable device 10 may identify the current location of the user through a location information module such as a GPS module, search for a store that sells the product based on the identified current location, and provide the same to the user.
  • the method may further include searching and providing product information of another product of the same brand as the searched product or another brand product of a similar design or performance to the user. That is, the product information search module may search for a product including a part of the searched feature information and provide the same to a user. For example, when the user searches for other brand clothes having a design similar to the clothes from which the image is acquired, the product search may be performed except for additional feature information such as a brand name and a button shape among the feature information. .
  • the additional feature information setting may be automatically performed in the image or image based on the size or position attached to the product, and the feature information to be excluded by the user may be selected and performed.
  • the method may further include setting a category or a brand for searching for a product. That is, the search range may be limited by inputting the category or brand of the product that the user wants to search through the user input unit 110. For example, when a salesperson of a specific brand store uses an embodiment of the present invention, the salesperson needs only product information on the product of the store, and thus, the searcher may quickly search if the search range is limited. In addition, when the user intends to purchase only the top while shopping, the user may extract only the product image corresponding to the top and perform the search only within the product classification corresponding to the top.
  • the user can grasp the information of the desired product in real time.
  • the user can immediately obtain product information of clothes worn by other people on the street, and the store can grasp the product information of clothes worn on the mannequin from a distance.
  • employees can check the presence or absence of the stock of the product, the type of color of the product in real time using the present invention.
  • FIG. 18 is a flowchart illustrating a method for automatically transmitting or storing a phone number in a signboard or a leaflet of a glass type wearable device according to an embodiment of the present invention.
  • the first camera 121 acquires an image including a signboard or a leaflet having a phone number. (S500); Extracting a business name and / or the telephone number by recognizing letters or numbers in the signboard or leaflet in the image (S510); And transmitting, by the glass type wearable device, to the recognized phone number (S520).
  • S500 Extracting a business name and / or the telephone number by recognizing letters or numbers in the signboard or leaflet in the image
  • S520 transmitting, by the glass type wearable device, to the recognized phone number
  • the first camera 121 acquires an image including a signboard or a leaflet with a phone number (S500). As shown in FIG. 19, the first camera 121 provided at one side of the glass type wearable device to acquire an image or image in front of the glassy wearable device acquires an image including a signboard or a leaflet that the user watches.
  • the glass type wearable device transmits the recognized phone number (S520). That is, the phone number is automatically sent to the phone number recognized by the text recognition module.
  • the phone number and the business name are displayed on the display 310 so that the user can check it.
  • One or more of the telephone numbers recognized by the user such as writing a business name and a telephone number in sequence or a telephone number acquired on the image obtained by the first camera 121 together. And it may be implemented in the form of providing a visual name corresponding to the telephone number.
  • the method for selecting a phone number by operating the user input unit 110 includes a method of inputting and selecting a voice corresponding to a desired phone number or a business name, a method of selecting according to a user's touch pad operation method, and Selected by a blinking input obtained by the second camera 122 is provided on one side to obtain an image or image in the pupil direction, the phone number or business name corresponding to the high motion pattern recognized by the motion sensor The method of selection may be applied.
  • the method may further include performing black and white inversion by signal processing the image.
  • the glass type wearable device 10 may perform character recognition by processing the color signboard as a black and white image in order to increase the accuracy of character recognition included in the image acquired by the first camera 121.
  • the method may further include obtaining and providing the store information to a user through the extracted business name search; And instructing a call to the extracted telephone number according to a user's manipulation of the user input unit 110. If the user wants to order food or make a reservation by contacting the recognized telephone number, the user needs to receive and confirm the store name of the business name before calling. To this end, the glass type wearable device 10 may perform store information search using the recognized business name and provide the searched store information to a user.
  • the method of providing the store information to the user may be a method of visually displaying on the display unit 310, a method of reading the store information through the sound output unit 320, and the like.
  • the glass type wearable device may receive a command for requesting a call to the phone number from the user.
  • the command receiving method may include a method of receiving a voice command from a user, a method of receiving a user input unit operation such as a user's touch operation, a second camera provided at one side of the glass type wearable device to acquire an image or an image of a pupil direction ( A method of receiving a blink input obtained by 122), a method of receiving a high motion pattern recognized by the motion sensor, and the like may be applied.
  • the method may further include displaying on the display unit 310 to confirm whether the glass name and / or the telephone number correctly recognized by the glass type wearable device are recognized. That is, as shown in FIG. 20, the display unit 310 displays the characters recognized by the character recognition module, so that the business name and / or telephone number in the image acquired by the first camera 121 are correctly recognized. You can ask the user to confirm that the
  • the method may further include extracting only the signboard image to accurately recognize the text in the signboard.
  • the control unit 210 may further include a signboard image extraction module.
  • the signboard image extracting module performs a function of extracting a signboard image including a business name or the phone number from the image acquired by the first camera 121. Since the signboard image is only a part of the acquired image, it is necessary to extract the signboard portion in order to accurately recognize the telephone number and / or business name in the signboard.
  • the signboard image extraction module can generally be extracted based on the position or signboard to which the signboard is attached.
  • a method for automatically storing a recognized phone number of a glass type wearable device may include: obtaining, by the first camera 121, an image including a signboard including a phone number ( S500); Recognizing letters or numbers in the signage image in the image to extract the business name or the phone number described in the signage (S510); And storing the recognized telephone number by inputting the recognized business name into the glass type wearable device as a name (S550).
  • S500 an image including a signboard including a phone number
  • S510 Recognizing letters or numbers in the signage image in the image to extract the business name or the phone number described in the signage
  • S550 storing the recognized telephone number by inputting the recognized business name into the glass type wearable device as a name
  • the first camera 121 acquires an image including a signboard with a telephone number (S500). Thereafter, a letter or number is recognized from the signboard image in the image to extract the business name and / or the telephone number described in the signboard (S510).
  • the glass type wearable device 10 stores the recognized telephone number by inputting the recognized business name as a name (S550). In addition, the glass type wearable device recognizes whether a local telephone, a mobile telephone, or an Internet telephone according to the format of the front digit of the telephone number, and inputs and stores a telephone number in a corresponding category.
  • the method may further include determining a classification of the store of the signboard by analyzing the mutual name.
  • the control unit 210 of the glass type wearable device may search for a word meaning included in the recognized business name, determine a business type classification of the store, and store it in a contact group corresponding to the business type classification.
  • the method may further include obtaining location information obtained from the signboard image, and storing the recognized phone number by inputting the recognized business name as a name to the glass type wearable device (S550).
  • the store may further include location information of the store. If a user does not remember later where the store corresponding to the business name and phone number is located, the inconvenience of having to search on the Internet may occur. Therefore, the GPS module may recognize and store a location where the first camera 121 acquires an image including the signboard for storing the phone number.
  • a user may input the business name through the voice input unit 113. That is, when only the phone number is obtained from the signboard or leaflet, the user directly inputs the voice reading the business name through the voice input unit 113 and the voice recognition unit 220 reads the input voice to input the business name. can do.
  • the acquired image may be included and stored together. That is, the feature information of the store obtained through various input means or the image of the store may be stored together so that the user may later store the feature of the store. For example, if a user stores a phone number for later visits or phone orders after visiting a restaurant, the user inputs and stores characteristic information such as good points of the restaurant or stores the phone number by the first camera 121.
  • the acquired menu board image or a photo of food eaten by the user may be stored together.
  • the glass-type wearable device directly transmits or stores a phone number described in a signboard or a leaflet
  • the user directly inputs the phone number for calling or storing a phone number directly into a phone number described in the signboard or leaflet. It can eliminate the inconvenience.
  • the glass-type wearable device acquires and stores a phone number
  • additional information such as location information of obtaining the signboard image
  • location information of obtaining the signboard image may be stored together so that the user may easily store a later contact.
  • by providing the store name of the business name at the time of call it is possible to easily obtain the necessary dictionary information before the call.
  • FIG. 21 is a flowchart illustrating a method for transferring money using a glass type wearable device 10.
  • an account transfer service method using a glass type wearable device 10 may include: inputting an account number into the glass type wearable device 10 (S600); Accessing an external server 20 of a user using wireless communication (S610); Inputting a transaction amount into the glass type wearable device (10) (S620); And performing identity verification by transmitting identity authentication information to the external server 20, and requesting a transaction by transmitting the transaction amount and the account number to the external server 20 (S630).
  • the external server 20 may correspond to a bank server.
  • the glass type wearable device 10 receives an account number (S600).
  • an image including the account number is obtained by the first camera 121 and a text is included in the image.
  • Recognition can be applied to recognize banks and numbers.
  • the first camera 121 may acquire an image or an image including the same in order to recognize an account number that the user watches. Thereafter, the glass type wearable device may recognize the account number in the image or image. That is, the character recognition module of the controller 210 may recognize the account number.
  • a user manipulates the user input unit 110 (eg, the touch pad 112), a blinking input, and a voice command.
  • the method may further include selecting a desired account number through input, input of a moving pattern.
  • a method of inputting a bank and an account number by recognizing a voice input of a user may be applied.
  • the voice input unit 140 receives a voice of a user reading the account number, and the voice recognition unit 220 may interpret the voice to recognize the account number.
  • a method of inputting an account number through a user input unit of the external device 30 linked with the glass type wearable device may be applied.
  • a user inputs an account number by operating a user input unit (for example, a touch pad or a touch screen) of an external device such as a smart phone or a smart watch interlocked with the glass type wearable device 10, and external device 30.
  • the account number may be transmitted to the glass type wearable device 10 through wireless communication.
  • the method for receiving the account number by the glass type wearable device 10 is not limited thereto, and various methods using the configuration of the glass type wearable device 10 may be applied.
  • the glass type wearable device 10 connects to the transaction external server 20 of the user using wireless communication (S610).
  • the glass type wearable device 10 receives transaction amount data from a user (S300).
  • the method of receiving the transaction amount is a method of recognizing the amount through text recognition in an image including the transaction amount acquired by the first camera 121, similar to the method of receiving the account number, a voice input of a user And a method of receiving a transaction amount by inputting the transaction amount, a method of receiving an operation of inputting the transaction amount through the external device 30 interoperating with the glass type wearable device 10, or the like.
  • the glass type wearable device 10 performs identification by transmitting identification information to an external server 20, and transmits the transaction amount and the account number to the external server 20 to perform a transaction.
  • Request S630
  • an identity verification process for checking whether the user is a customer of the bank, whether the customer is in the process of transactions, or the account of the user to conduct the transaction is need.
  • the glass type wearable device 10 may obtain user authentication information through the user input unit 110, the sensing unit 130, or the voice input unit 140.
  • the identity authentication information may include user's iris pattern information, user's voice pattern information, user's heartbeat pattern information, and the like.
  • the identity authentication information is not limited thereto, and various user identification information that may be obtained by the configuration of the glass type wearable device may be applied.
  • the second camera 122 is provided on one side of the glass-shaped wearable device 10 to acquire an image or image in the pupil direction, and acquire the iris pattern information of the user.
  • the iris pattern information may be transmitted to the external server 20 to request comparison with the iris pattern information of the user stored in the external server 20.
  • the heartbeat sensor may obtain the heartbeat pattern information of the user and transmit it to the external server 20.
  • the external server 20 may compare the obtained heartbeat pattern information with the heartbeat pattern information of the user stored in the external server 20.
  • the glass type wearable device 10 acquires a voice reading a designated phrase by the user through the voice input unit 140 and transmits the voice to the external server 20.
  • the external server 20 may determine whether the voice pattern stored in the external server 20 matches.
  • the glass type wearable device 10 sends the identity authentication information acquired by the glass type wearable device 10 to the external server 20 to request a transaction proceeding, and if the comparison result of the external server 20 corresponds to a customer of the bank, the customer Proceed with the transaction in the account.
  • the glass type wearable device 10 requests the transfer of the amount to the account number sent to the external server 20, and the external server 20 proceeds with the transaction according to the request.
  • the method may further include displaying the recognized account number and / or the transaction amount on the display unit 310. That is, as shown in FIG. 23, the display 310 may display an account number and / or a transaction amount in order to confirm whether a user desired account number or transaction amount is properly recognized.
  • the user may further select a trading bank or trading account to perform a transaction.
  • the user Before the user connects the at least one bank account to the glass wearable device 10, the user must select one bank account before the glass type wearable device 10 is connected to the external server 20.
  • the external server 20 can be connected through wireless communication.
  • the bank may have several accounts. In this case, it is necessary to select an account to conduct a transaction. According to the request of the external server 20 when the glass type wearable device 10 selects a transaction account before accessing the external server 20 or requests a bank transaction after accessing the external server 20.
  • the trading account can be selected.
  • the selection of the trading bank or the trading account may include selecting a method by operating the user input unit 110, a method of recognizing and selecting a user's movement by the motion sensor, and blinking of the second camera 122.
  • a method of recognizing and selecting and a method of receiving a user's voice and performing voice recognition may be applied.
  • receiving a transaction result from the external server 20 and notifying the user may further include.
  • the external server 20 may proceed with the transaction according to the user's request and transmit the transaction result to the glass type wearable device 10 through wireless communication.
  • the transaction result may include whether the requested transaction is successfully performed, balance information in the account that performed the transaction, and the like.
  • the glass type wearable device 10 receives the transaction result through wireless communication and displays the result on the display 310 to notify a user or read the transaction result by voice by the sound output unit 320. The subject user can be notified.
  • the user when the user wants to perform the account transfer through online banking, the user does not need to directly enter the transaction amount and account number, so that the user can proceed with the account transfer faster than the existing online banking. It is possible to input the account number and the transaction amount that the user gazes, and the account number and the transaction amount can be input through the voice recognition of the user, which is very simple compared to the method of transferring the account using a smartphone. .
  • 25 is a flowchart illustrating a method of uploading transaction article information using the glass type wearable device 10.
  • the first camera 121 acquires an image including the transaction article (S700). ); Extracting an image of the article to identify a category of the article (S710); And uploading the transaction article information by designating the identified category (S720).
  • the transactional article information uploading method using the glass type wearable device 10 according to an exemplary embodiment of the present invention will be described in order.
  • the first camera 121 acquires an image including the transaction article (S700).
  • the first camera 121 is a camera provided at one side of the glass type wearable device 10 to acquire an image or an image of the front side. As shown in FIG. 26, the first camera 121 acquires an image including the transaction product that the user watches.
  • the image of the article is extracted to determine the category of the article (S710).
  • the controller 210 extracts an image of a trade article from the obtained image. Since the transaction item that the user watches is located at the center of the image, it is possible to extract the item located at the center.
  • the method of extracting the trade article is not limited thereto, and various methods such as a method of extracting an article in a specific hand gesture of the user may be applied. Thereafter, the controller 210 extracts an outline or feature information of the extracted transaction product image to grasp the transaction product.
  • the glass type wearable device 10 uploads the transaction article information by designating the identified category (S720). That is, a category of a product is automatically assigned based on the transaction product identified by the controller 210, and the transaction article information is uploaded to the external server within the category.
  • the transaction product information may include a name of the transaction product, the image of the product, a trade condition of the article, a period of use of the article, and the like.
  • an embodiment of the present invention may further include the step of inputting the transaction article information other than the article image to the glass-shaped wearable device (10).
  • the first camera 121 acquires an image including the transaction article information described or printed off-line, and the transaction article information through text recognition on the glass type wearable device 10.
  • the method of inputting can be applied.
  • the first camera 121 acquires an image or image including the same in order to recognize the transaction article information described or printed offline. Thereafter, the transaction article information is recognized in the image or image.
  • the character recognition module of the controller 210 recognizes the transaction product information.
  • a user inputs the voice reading the transactional product information to the voice input unit 140, the voice recognition unit 220 recognizes the input to the glass type wearable device 10 The method of input can be applied.
  • the method of inputting the trade item information can be applied.
  • a letter corresponding to the transaction product information may be written on the touch pad 112 of the glass type wearable device 10 or the touch pad of the external device 30 interoperating with the glass type wearable device 10 or a keyboard may be used.
  • the character corresponding to the transaction product information may be input by operating the 111 or touch screen.
  • the glass type wearable device 10 receives the transaction item information processed by an external device through wireless communication. can do.
  • the method of inputting the transaction article information into the glass type wearable device 10 is not limited thereto, and various methods may be applied.
  • receiving a purchase request signal from an external server to notify the user may further include.
  • the external server may transmit the purchase request to the glass type wearable device 10 through wireless communication.
  • the control unit 210 performs information processing so that the controller 210 can notify the received purchase request information, and the output unit performs the notification.
  • the notification may be performed by, as shown in FIG. 27, a method of notifying and displaying purchase request information on the display 310 and a method of notifying a user by voice using the sound output unit 320. Can be.
  • the purchase request information may be immediately notified to the user, or the user may be notified that there is a purchase request, and the user may access the external server 20 to check the purchase request information when desired.
  • the notification may be performed, the purchase request information may be immediately notified to the user, or the user may be notified that there is a purchase request, and the user may access the external server 20 to check the purchase request information when desired.
  • the glass type wearable device 10 or the external server 20 may search for product information of a new product by recognizing a brand name based on the article image. Thereafter, the searched product information may be stored together with the transaction product information in the external server, so that the counterpart can compare the product information of the new product when checking the transaction product information.
  • the glass type wearable device 10 or the external server extracts a feature from the image of the handbag to determine the name or product number of the product. Based on the product name or product number, the product information such as the price of the new product and the current stock holding information is searched for. The searched product information is stored in the external server together with the transaction product information. When the counterparties access the external server to check the trade article information, the counterpart may provide the product information together.
  • the user can easily upload the second-hand goods that are not used to the second-hand transaction external server, thereby making it easier to trade the second-hand goods.
  • the user since the user automatically sets the category of the used goods to be sold and the product information of the used goods, the user can easily input information for the transaction of the used goods without additional information input process of the user.
  • the notification can be provided immediately through wireless communication, and used goods trading can be made quickly.
  • the information processing method using the glass type wearable device according to the embodiments of the present invention described above is implemented as a program (or an application) to be executed in combination with the glass type wearable device 10 which is hardware, and stored in a medium. Can be.
  • the processor CPU of the glassy wearable device 10 may execute the glassy wearable device ( 10) may include code coded in a computer language such as C, C ++, JAVA, or machine language that can be read through the device interface.
  • code may include functional code associated with a function or the like that defines the necessary functions for executing the methods, the execution of which is required for the processor of the glassy wearable device 10 to execute according to a predetermined procedure. Procedure-related control codes.
  • such code requires that additional information or media required to execute the functions by the processor of the glassy wearable device 10 is referred to at any position (address address) of the internal or external memory of the glassy wearable device 10. It may further include a memory reference code for whether or not.
  • the code may be configured to communicate with the communication module of the glass type wearable device 10. It may further include communication-related code, such as how to communicate with any other computer or server in the remote, what information or media should be transmitted and received during communication.
  • the stored medium is not a medium for storing data for a short time such as a register, a cache, a memory, but semi-permanently, and means a medium that can be read by the device.
  • examples of the storage medium include, but are not limited to, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like.
  • the program may be stored in various recording media on various servers accessible by the glass type wearable device 10 or various recording media on the glass type wearable device 10 of the user.
  • the media may also be distributed over network coupled computer systems so that the computer readable code is stored in a distributed fashion.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법이다. 본 발명의 일 실시예에 따른 웨어러블 디바이스를 이용한 정보처리 방법은, 제1카메라를 통해 결제정보를 수신하는 단계; 상기 인식된 결제정보에서 결제내역 또는 결제금액을 추출하는 단계; 사용자의 결제승인명령을 수신하는 단계; 및 결제승인결과를 제공하는 단계;를 포함한다. 본 발명에 따르면, 사용자는 글라스형 웨어러블 디바이스를 이용하여, 신용카드 등의 결제수단을 지참하지 않은 경우에도 간편하게 결제를 할 수 있다.

Description

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 에 관한 것으로, 보다 자세하게는 웨어러블 디바이스를 보유한 사용자의 활동 중에 획득된 데이터를 정보처리하는 시스템 및 방법에 관한 것이다.
정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 두부 장착형 디스플레이 장치(head mounted display, HMD)가 있다. 두부 장착형 디스플레이 장치는 주로 보안경이나 헬멧형 기기로 눈앞에 있는 스크린을 보도록 이루어지며, 가상 현실감을 실현하기 위해 개발되었다.
글라스형 웨어러블 디바이스는 양안(양쪽 눈)에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식이 일반적이며, 현재는 우주 개발, 원자로, 군사 기관 및 의료 기관에서 사용하기 위한 것과 업무용이나 게임용 등에 대한 각종 개발이 진행되고 있다. 종래 기술에 따른 글라스형 웨어러블 디바이스는 미국 특허 등록 번호 US8,427,396에도 개시되어 있다.
다양한 형태의 글라스형 웨어러블 디바이스가 연구되고 등장하고 있으나, 착용자들이 일상생활에서 편리하게 활용할 수 있는 방법 또는 서비스는 매우 한정되어 있으며, 글라스형 웨어러블 디바이스에 적합한 UI(User Interface) 또는 UX(User Experience)도 개발되고 있지 않은 실정이다. 또한, 최근에는 스마트폰과 같은 이동단말기와 연동하여 사용하는 글라스형 웨어러블 디바이스뿐만 아니라 단독으로 대부분의 기능을 수행할 수 있는 글라스형 웨어러블 디바이스도 개발되고 있으므로, 글라스형 웨어러블 디바이스 시장의 활성화를 위해 기존의 이동단말기와 차이나는 글라스형 웨어러블 디바이스의 특성에 적합한 서비스가 필요하다.
이러한 문제점을 해결하기 위하여, 본 발명의 일목적은 글라스형 웨어러블 디바이스의 사용자 또는 착용자가 활용할 수 있는 글라스형 웨어러블 디바이스에 적합한 서비스를 제공하고자 한다.
특히, 본 발명의 일목적은 글라스형 웨어러블 디바이스의 착용자가 주시하는 방향에서 획득된 정보(예를 들어, 결제정보, 웹주소 텍스트, 상품이미지 등)를 정보처리하여 사용자에게 특정한 서비스를 제공하는 시스템 및 방법을 제공하고자 한다.
본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 제1카메라를 통해 웹주소가 포함된 이미지를 획득하는 단계; 상기 획득된 이미지로부터 웹주소를 추출하는 단계; 및 상기 무선통신으로 추출된 웹주소를 호출하여, 웹페이지를 상기 글라스형 웨어러블 디바이스 또는 외부디바이스의 화면상에 표시하는 단계;를 포함한다.
본 발명의 다른 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 제1카메라를 통해 결제정보를 수신하는 단계; 상기 인식된 결제정보에서 결제내역 및 결제금액을 추출하는 단계; 사용자의 결제승인명령을 수신하는 단계; 및 결제승인결과를 제공하는 단계;를 포함한다.
본 발명의 또 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 글라스형 웨어러블 디바이스의 제1카메라로 알약의 이미지를 획득하는 단계; 상기 획득된 알약 이미지에서 특징정보를 추출하는 단계; 상기 추출한 특징정보를 바탕으로, 상기 알약을 탐색하는 단계; 및 상기 탐색된 알약의 알약정보를 수신하여 사용자에게 알리는 단계;를 포함한다.
본 발명의 또 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 상품 이미지가 포함된 영상 또는 이미지를 획득하는 단계; 상기 상품 이미지를 추출하는 단계; 상기 상품 이미지에서 특징정보을 추출하는 단계; 상기 상품 이미지에 상응하는 상품을 탐색하여 상품정보를 파악하는 단계; 및 상기 상품정보를 사용자에게 알리는 단계;를 포함한다.
본 발명의 또 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 전화번호가 기재된 간판 또는 전단지를 포함하는 이미지를 제1카메라가 획득하는 단계; 상기 이미지 내의 간판 또는 전단지에서 문자 또는 숫자를 인식하여 상호명 또는 상기 전화번호를 추출하는 단계; 및 상기 글라스형 웨어러블 디바이스가 상기 인식된 전화번호로 발신하는 단계;를 포함한다.
본 발명의 또 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 제1카메라가 전화번호가 기재된 간판을 포함하는 이미지를 획득하는 단계; 상기 이미지 내의 간판 이미지에서 문자 또는 숫자를 인식하여 간판에 기재된 상호명 또는 상기 전화번호를 추출하는 단계; 및 상기 글라스형 웨어러블 디바이스에 상기 인식된 상호명을 이름으로 입력하여 상기 인식된 전화번호를 저장하는 단계;를 포함한다.
본 발명의 또 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 상기 글라스형 웨어러블 디바이스에 계좌번호를 입력하는 단계; 무선통신을 이용하여 사용자의 외부서버에 접속하는 단계; 상기 글라스형 웨어러블 디바이스에 거래금액을 입력하는 단계; 및 상기 외부서버로 본인인증정보를 전송하여 본인인증을 수행하고, 상기 거래금액 및 상기 계좌번호를 상기 외부서버로 전송하여 거래를 요청하는 단계;를 포함한다
본 발명의 또 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 제1카메라가 상기 거래물품을 포함하는 이미지를 획득하는 단계; 상기 물품의 이미지를 추출하여 상기 물품의 카테고리를 파악하는 단계; 및 상기 파악된 카테고리를 지정하여 거래물품정보를 업로드하는 단계;를 포함한다.
본 발명의 실시예들에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 사용자는 글라스형 웨어러블 디바이스로 사용자가 응시한 웹주소를 바로 호출하여 확인할 수 있다. 이를 통해, 기존에 스마트폰 사용자가 해당 웹주소의 호출을 위해 인터넷 어플리케이션을 실행하여 웹주소를 직접 입력하거나 QR코드 리더기 등의 어플리케이션을 실행하여 QR코드 등을 읽어내는 과정이 없어져서 사용자가 원하는 웹주소를 간편하게 호출할 수 있게 된다. 또한, 글라스형 웨어러블 디바이스를 이용하므로, 키보드 없이도 웹주소 입력이 간편하게 이루어질 수 있다.
둘째, 사용자는 글라스형 웨어러블 디바이스를 이용하여, 신용카드 등의 결제수단을 지참하지 않은 경우에도 간편하게 결제를 할 수 있다. 뿐만 아니라, 웨어러블 특유의 본인인증 절차를 거쳐야만 결제가 진행되도록 함으로써, 분실 시 타인에 의한 결제가 이루어지는 것을 방지하는 등 높은 보안을 제공한다.
셋째, 사용자는 알약의 설명서가 없더라도 상기 알약의 명칭, 효능 등을 쉽게 파악할 수 있어서, 현재 앓고 있는 증상에 맞는 알약을 보관하고 있음에도 알약정보를 알지 못하여 유사한 알약을 재구입하는 문제를 해결할 수 있다.
넷째, 본 발명의 일실시예에 의해 버려지는 의약품의 양을 줄일 수 있어, 의약품 폐기와 관련된 사회적 문제를 해결할 수 있다. 알약의 효능을 알지 못해 버려지는 의약품의 양이 상당하므로, 본 발명의 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약확인시스템 및 확인방법을 활용하면 효능을 확인할 수 있어, 설명서가 없더라도 버려지지 않고 보관해두었다고 추후 증상발생 시 복용할 수 있다.
다섯째, 처방받은 알약 중에서 복용을 원치 않는 알약을 사용자가 제외하고 복용할 수 있다. 예를 들어, 운전을 해야 하거나 회의를 참석하여야 하여 졸음을 유발하는 약은 제외하고 복용하고 싶을 때, 본 발명을 이용하여 처방된 알약들 중에서 졸음을 유발하는 알약을 파악할 수 있다.
여섯째, 약을 처방하는 경우에도 처방 실수가 발생하는 것을 막을 수 있다. 약국이나 병원에서 약을 처방할 때 실수를 하게 되면 환자에게 치명적인 문제를 유발할 수 있다. 약 처방 시에 본 발명의 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약확인시스템 및 확인방법을 활용하면 상기 알약의 효능 및 주의사항을 처방시에 바로 확인할 수 있어 문제발생을 방지할 수 있다.
일곱째, 사용자가 원하는 상품의 정보를 실시간으로 파악할 수 있다. 사용자가 길거리에서 타인이 입고 있는 옷의 상품정보를 바로 얻을 수 있으며, 매장에서도 멀리서 마네킹에 입혀진 옷의 상품정보를 파악할 수 있다.
여덟째, 매장의 종업원들이 본 발명의 일실시예를 포함한 글라스형 웨어러블 디바이스를 사용하는 경우, 해당 상품의 재고유무, 해당 상품의 색상 종류 등을 실시간으로 확인할 수 있다.
아홉째, 글라스형 웨어러블 디바이스가 바로 간판 또는 전단지에 기재된 전화번호를 획득하여 발신 또는 저장을 수행하므로, 사용자가 직접 간판 또는 전단지에 기재된 전화번호로 발신 또는 전화번호 저장을 위해서 직접 전화번호를 외워서 입력하는 불편함을 해소할 수 있다.
열번째, 글라스형 웨어러블 디바이스가 전화번호를 획득하여 저장하면서 상기 간판 이미지를 획득한 위치정보 등의 추가정보를 함께 저장해두어 추후에 저장된 연락처를 사용자가 용이하게 기억해낼 수 있다. 또한, 전화 발신 시에 상기 상호명의 매장 정보를 제공해주어 통화 전에 필요한 사전정보를 용이하게 획득할 수 있다.
열한번째, 사용자는 온라인 뱅킹을 통해 계좌이체를 수행하고자 하는 경우에 직접 거래금액, 계좌번호를 입력할 필요가 없으므로, 기존의 온라인 뱅킹보다 빠르게 계좌이체를 진행할 수 있다. 사용자가 응시하는 계좌번호와 거래금액을 입력받을 수 있고, 사용자의 음성인식을 통해서 계좌번호와 거래금액을 입력받을 수 있어서, 기존에 스마트폰을 이용하여 계좌이체를 진행하는 방식에 비해서 매우 간편하다.
열두번째, 사용자가 계좌이체를 수행하는 경우에 홍채패턴정보, 심박패턴정보 등의 다양한 사용자정보를 이용하여 은행의 고객인지 여부 및 본인인증을 수행하므로, 공인인증서 등의 별도의 인증수단을 필요로 하지 않는다. 사용자 신체 내 본인인증수단을 이용하므로, 더 간편하며 더 안전하게 계좌이체를 수행할 수 있다.
열세번째, 사용자는 사용하지 않는 중고물품을 간편하게 중고거래 외부서버에 업로드할 수 있어, 중고물품 거래를 편하게 하는 효과가 있다.
열네번째, 사용자가 판매하려는 중고물품의 카테고리 설정 및 상기 중고물품의 상품정보를 자동으로 탐색하므로, 사용자의 추가적인 정보입력 과정이 없이도 중고물품의 거래를 위한 정보를 간편하게 입력할 수 있는 효과가 있다.
열다섯번째, 상기 외부서버로부터 타인의 물품구입요청이 있으면, 무선통신을 통해 바로 알림을 제공받을 수 있으므로, 중고물품 거래가 신속하게 이루어질 수 있다.
도 1은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
도 3은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 웹주소 호출방법의 순서도이다.
도 4는 본 발명의 일실시예에 따라 웹주소를 추출하여 호출하는 과정을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따라 웹주소를 획득하는 글라스형 웨어러블 디바이스의 예시화면이다.
도 6은 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 결제방법의 순서도이다.
도 7은 본 발명의 일실시예에 따라 결제정보에 해당하는 바코드를 인식하여 글라스형 웨어러블 디바이스의 화면 상에 표시하는 예시도면이다.
도 8은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 제1카메라를 통해 바코드 이미지를 획득하는 예시도면이다.
도 9는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용하여 알약의 특징정보를 추출하여 알약을 확인하는 방법에 대한 순서도이다.
도 10은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 제1카메라를 통해 알약이미지를 포함하는 영상 또는 이미지를 획득하는 예시도면이다.
도 11은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 화면 상에 알약정보를 표시하는 예시도면이다.
도 12는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 통해 도트프린트 형태의 바코드를 인식하여 알약정보를 확인하는 방법에 대한 순서도이다.
도 13은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 상품정보획득방법의 순서도이다.
도 14는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 제1카메라를 통해 특정한 상품이미지를 포함하는 영상 또는 이미지를 획득하는 예시도면이다.
도 15는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 화면 상에 상품정보를 표시하는 예시도면이다.
도 16은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스, 외부서버 및 외부디바이스의 연결관계도이다.
도 17은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 내부 구성의 연결관계도이다.
도 18는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 간판 또는 전단지 내 전화번호 자동 발신 또는 저장 방법에 대한 순서도이다.
도 19는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 제1카메라를 통해 특정한 간판을 포함하는 영상 또는 이미지를 획득하는 예시도면이다.
도 20은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 화면 상에 추출된 전화번호를 표시하는 예시도면이다.
도 21은 글라스형 웨어러블 디바이스를 이용한 계좌이체 서비스 방법에 대한 순서도이다.
도 22는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 제1카메라를 통해 특정한 계좌정보를 포함하는 영상 또는 이미지를 획득하는 예시도면이다.
도 23은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 화면 상에 추출된 계좌정보를 표시하는 예시도면이다.
도 24는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스와 외부서버의 연결관계도이다.
도 25는 글라스형 웨어러블 디바이스(10)를 이용한 거래물품정보 업로드 방법에 대한 순서도이다.
도 26은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 제1카메라를 통해 특정한 상품이미지를 포함하는 영상 또는 이미지를 획득하는 예시도면이다.
도 27는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 화면 상에 구매를 원하는 상대방 정보를 표시하는 예시도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템(10)의 블록 구성도(block diagram)이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스 시스템(10)은 입력부(100), 사용자입력부(110), 키보드(111), 터치패드(112), 카메라부(120), 제1카메라(121), 제2카메라(122), 제3카메라(123), 센싱부(130), 자이로센서(131), 가속도센서(132), 압력센서(133), 홍채인식센서(134), 심박검출센서(135), 근전도센서(136), 음성입력부(140), 정보처리부(210), 음성인식부(220), 상황평가모듈(230), 음성-텍스트변환모듈(240), 무선통신부(250), 메모리(260), 인터페이스부(270), 출력부(300), 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱모듈(340)의 전부 또는 일부를 포함한다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 글라스형 웨어러블 디바이스가 구현될 수도 있다.
도 2는 본 발명의 일 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
상기 구성요소들은 도 2에서와 같은 글라스형 웨어러블 디바이스의 내부 또는 일측에 구비될 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
입력부(100)는 오디오 신호, 비디오 신호, 사용자의 조작신호, 생체신호 등의 입력을 위한 것이다. 입력부(100)는 사용자입력부(110), 카메라부(120), 센싱부(130), 음성입력부(140)를 포함한다.
사용자입력부(110)는 사용자가 디바이스의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자입력부(110)는 키패드(key pad), 키보드(111), 돔 스위치(dome switch), 터치패드(정압/정전)(112), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(310)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
카메라(120)는 비디오 신호 또는 이미지 신호 입력을 위한 것으로, 디바이스의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 카메라(120)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 디스플레이부(310)에 표시될 수 있다. 또한, 카메라(120)에서 처리된 화상 프레임은 메모리(260)에 저장되거나 무선통신부(250)를 통하여 외부로 전송될 수 있다. 또한, 이미지 신호 또는 비디오 신호가 정보처리를 위한 입력으로 쓰이는 경우, 제어부(210)로 이미지 신호 및 비디오 신호를 전달한다.
카메라부(120)는 촬영하는 영상의 방향 또는 목적에 따라 하나 이상의 카메라를 포함할 수 있다. 제1카메라(121)는 글라스형 웨어러블 디바이스의 일측에 구비되어 전방의 영상을 촬영할 수 있다. 제2카메라(122)는 글라스형 웨어러블 디바이스의 일측에 구비되어 안구 방향의 영상 또는 이미지를 획득할 수 있다. 제3카메라(123)는 상기 글라스형 웨어러블 디바이스(10)의 후방 또는 측방에 구비되어, 후방 또는 측방의 영상 또는 이미지를 획득할 수 있다.
센싱부(130)는 사용자의 글라스형 웨어러블 디바이스(10)의 착용여부, 디바이스의 위치 등과 같이 디바이스의 현 상태를 감지하여 디바이스의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 센싱부(130)는 디바이스의 정보처리를 위한 입력신호를 받는 입력부의 기능을 담당할 수 있으며, 외부 기기 연결 여부 인식 등의 다양한 센싱 기능을 담당할 수 있다.
센싱부(130)는 근접센서(Proximity Sensor), 압력센서(133), 모션 센서, 지문인식센서, 홍채인식센서(134), 심박검출센서(135), 피부온도센서, 피부저항센서 및 심전도센서 등의 다양한 센서를 포함할 수 있다.
근접센서는 접근하는 물체나, 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서는 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서는 구성 태양에 따라 2개 이상이 구비될 수 있다.
압력센서(133)는 디바이스에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(133)는 사용환경에 따라 디바이스에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(133)가 디스플레이부(310)에 설치되는 경우, 압력센서(133)에서 출력되는 신호에 따라, 디스플레이부(310)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(133)에서 출력되는 신호에 따라, 압력터치 입력 시에 디스플레이부(310)에 가해지는 압력의 크기도 알 수 있다.
모션 센서는 자이로센서(131), 가속도센서(132), 지자기센서 등의 센서 중에서 하나 이상을 포함하며, 이를 이용하여 디바이스의 위치나 움직임 등을 감지한다. 모션 센서에 사용될 수 있는 가속도센서(132)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 또한, 자이로센서(131)는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
심박검출센서(135)는 심장 박동에 의한 혈관 굵기의 변화에 따른 광혈류량의 변화를 측정한다. 피부 온도 센서는 온도 변화에 반응하여 저항값이 변화하는 것에 따라 피부 온도를 측정한다. 피부 저항 센서는 피부의 전기 저항을 측정한다.
홍채인식센서(134)는 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인식하는 기능을 수행한다. 사람의 홍채는 생후 18개월 이후 완성된 뒤, 홍채의 내측연 가까이에 융기되어 있는 원형의 홍채 패턴은 한번 정해지면 거의 변하지 않고, 또 사람마다 모양이 모두 다르다. 따라서 홍채인식은 사람마다 각기 다른 홍채의 특성을 정보화해 이를 보안용 인증기술로 응용한 것이다. 즉, 홍채의 모양과 색깔, 망막 모세혈관의 형태소 등을 분석해 사람을 식별하기 위한 수단으로 개발한 인증방식이다.
홍채인식센서(134)는 홍채의 패턴을 코드화해 이를 영상신호로 바꾸어 비교판단하는데, 일반적인 작동 원리는 다음과 같다. 먼저 일정한 거리에서 홍채인식기 중앙에 있는 거울에 사용자의 눈이 맞춰지면, 적외선을 이용한 카메라가 줌렌즈를 통해 초점을 조절한다. 이어 홍채 카메라가 사용자의 홍채를 사진으로 이미지화한 뒤, 홍채 인식 알고리즘이 홍채의 명암 패턴을 영역별로 분석해 개인 고유의 홍채 코드를 생성한다. 마지막으로 홍채 코드가 데이터베이스에 등록되는 것과 동시에 비교 검색이 이루어진다. 상기 홍채인식센서(134)는 안구방향으로 배치된 제2카메라(122)에 내부에 구비될 수 있으며, 이러한 경우 홍채인식센서의 기능을 상기 제2카메라(122)가 수행할 수 있다.
거리센서는 2점간 거리 측정방식, 3각 측량방식(적외선 이용식, 자연광 이용식), 초음파 방식 등이 있다. 종래의 3각측량의 원리와 같이, 2개의 경로에서 온 피측정물을 직각 프리즘으로 반사시켜 2개의 이미지 센서에 입사시켜 상대적 위치가 합치했을 때, 2점간의 거리가 표시된다. 이 경우, 자연광으로 하는 방법(수동식)과 적외선을 발사하여 행하는 방법이 있다. 초음파방식은 피측정물에 지향성이 날카로운 초음파를 송신하여 피측정물로부터의 반사파를 수신하기까지의 시간을 측정하여 거리를 아는 방식인데, 수신센서는 압전소자가 사용된다.
상기 도플러레이더는 레이더의 한 방식으로, 반사파의 위상변화 즉, 파의 도플러 효과를 이용한 레이더이다. 상기 도플러레이더는 펄스 변조되지 않는 사인파를 송ㆍ수신하는 연속파 레이더와 전자파 신호파형으로서 방형파에 펄스 변조된 전파를 사용하는 펄스 레이더가 있다.
연속파 레이더에서는 도플러 주파수 필터의 성능을 얻기 쉽게 하기 위해서 변조주파수를 비교적 높게 취하기 때문에 원거리를 대상으로 한 레이더에는 부적당하나, 도플러 주파수를 가청주파수대로 택함으로써 인체나 차량 등의 움직임을 안정감 있는 소리로서 재생할 수 있는 특징이 있다. 펄스 레이더는 펄스 송신에서 반사 에코 수신까지의 시간에 의해 목표까지의 거리를 계측한다. 송신 펄스폭 내에서 주파수 변조나 위상 변조를 가하는 펄스 압축 레이더라 일컬어지는 방식이 있다.
음성입력부(140)는 음성신호의 입력을 위한 것으로 마이크 등이 포함될 수 있다. 마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고 처리된 음성 데이터는 통화 모드인 경우 무선통신부(250)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
출력부(300)는 오디오 신호, 이미지신호, 비디오 신호 또는 알람(alarm) 신호 등의 출력을 위한 것이다. 출력부(300)에는 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱 모듈(340) 등이 포함될 수 있다.
디스플레이부(310)는 디바이스에서 처리되는 정보를 표시 출력한다. 예를 들어 디바이스가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 디바이스가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(310)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(310)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(310)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다.
이외에도 디스플레이부(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 디바이스의 구현 형태에 따라 디스플레이부(310)가 2개 이상 존재할 수도 있다. 예를 들어, 디바이스에 외부 디스플레이부(310)와 내부 디스플레이부(310)가 동시에 구비될 수 있다.
디스플레이부(310)는 HUD(Head up Display), HMD(Head mounted Display) 등으로 구현될 수 있다. HMD(Head mounted Display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치다. HUD(Head up Display)는 사용자의 가시영역 내의 유리에 가상 화상(virtual image)을 투영시키는 영상표시장치이다.
음향출력부(320)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(320)은 디바이스에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(320)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(330)는 디바이스의 이벤트 발생을 알리기 위한 신호를 출력한다. 디바이스에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(330)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 알람부(330)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(330)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(330)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 디바이스에서 이벤트 발생 알림을 위한 신호는 디스플레이부(310)나 음향출력부를 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(340)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(340)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(340)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(340)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
무선통신부(250)는 방송수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 및 위치정보모듈 등을 포함할 수 있다.
방송수신 모듈은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.
방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다.
방송수신 모듈은, 각종 방송 시스템을 이용하여 방송 신호를 수신하며, 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈을 통해 수신된 방송신호 및/또는 방송 관련 정보는 메모리(260)에 저장될 수 있다.
이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 비콘(Beacon), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
위치정보모듈은 측위신호를 수신하여 글라스형 웨어러블 디바이스의 위치를 측정하는 모듈을 말한다. 예를 들어, 상기 위치정보모듈은 GPS(Global Position System) 모듈이 해당될 수 있으며, 측위신호는 GPS 신호가 해당될 수 있다. GPS(Global Position System) 모듈은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
메모리(260)는 제어부(210)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스는 인터넷(internet) 상에서 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다. 메모리(260)는 이하 저장부(260)로 표현될 수 있다.
인터페이스부(270)는 디바이스에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 디바이스에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(270)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디바이스 내부의 각 구성 요소에 전달할 수 있고, 디바이스 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(210)는 통상적으로 상기 각부의 동작을 제어하여 디바이스의 전반적인 동작을 제어하는 기능을 수행한다. 예를 들어 음성 통화, 데이터 통신 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(210)는 멀티미디어 재생을 위해 데이터를 처리하는 기능을 수행한다. 또한, 입력부 또는 센싱부(130)로부터 입력받은 데이터를 처리하는 기능을 수행한다.
또한, 제어부(210)는 얼굴인식을 위한 얼굴 검출 및 얼굴 인식을 수행한다. 즉, 제어부(210)는 얼굴인식을 위한 얼굴검출모듈 및 얼굴인식모듈을 포함할 수 있다. 얼굴검출모듈은 카메라부(120)에 의해 획득된 카메라 영상에서 얼굴영역만을 추출할 수 있다. 예를 들어, 얼굴검출모듈은 눈, 코, 입 등의 얼굴 내 특징요소를 인식하여 얼굴영역을 추출할 수 있다. 얼굴인식모듈은 추출된 얼굴영역에서 특징정보를 추출하여 템플릿을 생성하고, 얼굴데이터베이스 내의 얼굴정보 데이터와 탬플릿 비교를 수행하여 얼굴을 인식할 수 있다.
또한, 제어부(210)는 카메라부(120)에 의해 획득된 영상 또는 이미지 내에서 문자를 추출하여 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 문자인식을 위한 문자인식모듈을 포함할 수 있다. 상기 문자인식모듈의 문자 인식 방법으로 광학문자인식(Optical Character Recognition; OCR)방식을 적용할 수 있다. 상기 OCR방식은 이미지 스캔으로 얻을 수 있는 사람이 쓰거나 기계로 인쇄한 문서의 활자 영상을 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환하는 것으로, 소프트웨어로 구현이 가능한 방식이다. 예를 들어, 상기 OCR방식은 미리 준비된 몇 개의 표준 패턴문자와 입력문자를 비교하여 표준 패턴문자와 가장 유사한 것을 해당 문자로 선정할 수 있다. 상기 문자인식모듈이 다양한 언어의 표준 패턴문자를 구비하면, 다양한 언어의 인쇄된 활자를 판독할 수 있다. 이러한 방식을 OCR방식 중 Pattern matching기법이라고 하며, 상기 OCR방식은 이에 한정되지 아니하고 다양한 방법이 적용될 수 있다. 또한, 문자인식모듈의 문자인식 방식은 OCR방식에 한정되지 아니하고, 이미 인쇄되어 있는 오프라인상의 문자를 인식할 수 있는 다양한 방식이 적용될 수 있다.
또한, 제어부(210)는 제2카메라(122)가 획득한 안구방향 영상 또는 이미지를 바탕으로 시선방향을 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 시선방향 인식을 수행하는 시선분석모듈을 포함할 수 있다. 사용자의 주시방향과 시선방향을 측정한 후 합성에 의해 계산하여 사용자가 바라보는 방향을 파악할 수 있다. 상기 주시방향은, 사용자의 얼굴 방향을 의미하여, 센싱부(130)의 자이로센서(131) 또는 가속도센서(132)에 의해 측정될 수 있다. 상기 시선방향은, 사용자의 동공이 바라보는 방향으로, 시선분석모듈에 의해 파악될 수 있다. 시선분석모듈은, 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산하는 방식 등을 적용할 수 있다. 예를 들어, 영상처리 방법을 통해 동공의 중심 및 조명에 의한 각막 반사광의 위치를 추출하여 이들의 위치 관계를 통해 시선 위치를 계산할 수 있다.
제어부(210)는 이하 정보처리부(210)로 표현될 수 있다.
전원 공급부는 제어부(210)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
음성인식부(220)는 자동적 수단에 의하여 음성으로부터 언어적 의미 내용을 식별하는 기능을 수행한다. 구체적으로 음성파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정이며, 크게 음성 분석, 음소 인식, 단어 인식, 문장 해석, 의미 추출의 5가지로 분류된다. 음성인식부(220)는 저장된 음성과 입력된 음성이 동일한지 비교하는 음성평가모듈을 더 포함할 수 있다. 또한, 음성인식부(220)는 입력된 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 음성-텍스트변환모듈(240)도 더 포함할 수 있다.
뇌파동조신호발생부는 인간의 뇌파를 동조시키기 위한 주파수와 파형을 갖는 뇌파동조신호를 발생시킨다. 즉, 뇌파동조신호발생부는 뇌파 주파수의 진동을 두개골에 전달하여 뇌파를 동조하는 기능을 수행한다. 뇌파란 뇌신경 신호가 전달될 때 생기는 전기의 흐름을 말한다. 이러한 뇌파는 잠잘 때 아주 느린 뇌파인 델타파가, 활동할 때는 빠른 뇌파인 베타파가, 명상을 할 때는 중간 정도 속도의 알파파 등이 증가된다. 따라서 뇌파동조신호발생부는 알파파와 세타파를 유도함으로써 학습보조 및 정신집중의 효과를 발휘하도록 할 수 있다.
이하, 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리방법을 살펴본다.
도 3은 본 발명의 일실시예에 따른 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스의 웹주소 호출방법의 순서도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스의 웹주소 호출방법은, 제1카메라를 통해 웹주소가 포함된 이미지를 획득하는 단계(S100); 상기 획득된 이미지로부터 웹주소를 추출하는 단계(S110); 및 상기 무선통신으로 추출된 웹주소를 호출하여, 웹페이지를 상기 글라스형 웨어러블 디바이스 또는 외부디바이스의 화면상에 표시하는 단계(S120);를 포함한다. 본 일실시예에서는 주변의 웹주소를 인식하여 웹주소를 호출하여 사용자에게 표시해주는 방법을 단계별로 설명한다.
글라스형 웨어러블 디바이스(10)는 제1카메라를 통해 웹주소가 포함된 이미지를 획득한다(S100). 도 4에서와 같이, 글라스형 웨어러블 디바이스(10)를 착용한 사용자가 응시하는 시선방향의 웹주소를 포함한 이미지를 제1카메라가 획득한다.
글라스형 웨어러블 디바이스(10)는 획득된 이미지로부터 웹주소를 추출한다(S110). 예를 들어, 글라스형 웨어러블 디바이스(10)의 제어부는 저장된 문자들과 비교하는 과정을 통해 문자열을 인식하고, 문자열 중에서 웹주소에 해당하는 부분이 있는지 파악하여 추출할 수 있다.
일실시예로, 제어부는 제1카메라에 의해 인식된 문자열 속에 'www' 또는 'http'가 포함되어 있으면 웹주소로 인식할 수 있다. 특히, 제어부는, 특정한 문자열의 'www' 또는 'http'가 처음에 등장하면, 웹주소의 시작으로 인식할 수 있다.
또한, 다른 일실시예로, 제어부는 '홈페이지', 'Homepage' 또는 'website'라는 단어가 문자열에 포함되어 있으면 이와 근접한 문자열 중에서 웹주소를 탐색하여 추출해낼 수 있다. 웹주소를 인식된 문자열로부터 추출하는 방법은 위의 방법에 한정되지 아니하고, 이외에 '.com', '.net'등이 들어있는 문자열을 웹주소로 인식하여 추출해내는 등 다양한 방법으로 구현될 수 있다.
이를 위해, 본 발명의 일실시예에서 제어부는 문자인식모듈; 및 웹주소추출모듈;을 포함할 수 있다. 문자인식모듈은 제1카메라로부터 입력된 이미지 또는 영상으로부터 문자열을 인식해내는 기능을 수행한다. 즉, 알파벳 및 한글의 모든 형태를 포함하고 있어서, 이와 비교하는 과정을 통해 이미지 또는 영상 안에 있는 요소 중에서 알파벳 또는 한글에 대응되는 요소들을 찾아내어 문자열로 만들어내는 역할을 수행한다. 문자인식을 할 수 있는 요소에 한글 및 영어 알파벳에 한정되지 아니하고, 다른 언어도 포함함에 따라 다양한 언어의 문자를 인식해낼 수 있다. 뿐만 아니라, 이미지 또는 영상으로부터 문자를 인식해내는 방식으로 저장된 문자와 비교하는 방식에만 한정되지 아니하고, 이미지 속에서 문자를 파악해낼 수 있는 다양한 방식이 적용되어 구현될 수 있다.
웹주소추출모듈은 문자인식모듈로부터 인식된 문자열을 전달받아, 문자열들 중에서 웹주소에 해당하는 문자를 추출하는 기능을 수행한다. 웹주소추출모듈은 'www'가 들어있으면 웹주소로 인식하고, 'http'가 들어가면 웹주소로 인식할 수 있다. 또한, 웹주소추출모듈은 '홈페이지', 'Homepage' 또는 'website'라는 단어가 문자열에 포함되어 있으면, 이와 근접한 문자열 중에서 웹주소를 탐색하여 추출할 수 있다.
글라스형 웨어러블 디바이스(10)는, 도 5에서와 같이, 무선통신으로 추출된 웹주소를 호출하여, 웹페이지를 글라스형 웨어러블 디바이스(10)의 디스플레이부(310) 또는 외부디바이스(30)의 화면 상에 표시한다(S120). 제어부(210)는 무선통신부로 추출된 웹주소의 호출을 요청하고, 무선통신부(250)는 무선통신으로 외부로부터 웹주소에 해당하는 웹페이지 또는 콘텐츠를 수신할 수 있다. 제어부(210)는 수신한 웹페이지 또는 콘텐츠를 정보처리하여 디스플레이부(310)에서 표시할 수 있는 형태로 생성할 수 있다. 그 후, 디스플레이부(310)는 제어부(210)에 의해 호출되어 생성된 웹페이지 또는 콘텐츠를 전달받아 사용자가 볼 수 있도록 시각적으로 표시할 수 있다. 즉, 도 4에서와 같이, 글라스형 웨어러블 디바이스를 착용하고 있는 사용자가 주시하는 이미지를 제1카메라가 인식하고, 상기 이미지에서 웹주소를 추출한 후 호출하여 사용자가 볼 수 있도록 디스플레이부에 표시한다.
또한, 웹주소의 호출을 승인하기 위하여 사용자로부터 음성 명령을 입력받는 단계; 및 상기 음성명령이 입력되면 추출된 웹주소를 호출하는 단계;를 더 포함할 수 있다. 예를 들어, 사용자는 추출된 웹주소가 호출을 원하는 웹주소와 일치하면, 상기 웹주소에 상응하는 웹사이트 호출을 요청하는 음성명령을 글라스형 웨어러블 디바이스(10)에 입력할 수 있다.
또한, 이미지 내에 복수의 웹주소를 포함하는 경우, 글라스형 웨어러블 디바이스(10)는 제2카메라(122)를 통해 사용자의 시선방향을 인식하여 사용자가 호출을 원하는 웹주소를 인식할 수 있다.
또한, 상기 제1카메라(122)가 인식한 이미지에서 하나 이상의 웹주소가 추출되는 경우, 사용자가 상기 글라스형 웨어러블 디바이스의 일측에 마련된 사용자입력부(110)를 조작하여 호출하고자 하는 웹주소를 선택하는 단계;를 더 포함할 수 있다. 일실시예로, 사용자입력부(110)는 디스플레이부(110)와 결합되어 터치스크린의 형태로 구현될 수 있어, 사용자는 디스플레이부(110)에 표시된 복수의 웹주소 중에서 호출하고자 하는 웹주소를 선택하여 호출할 수 있다.
또한, 다른 일실시예로, 글라스형 웨어러블 디바이스(10)의 일측에 사용자입력부(110)를 구비하여, 사용자입력부(110)를 조작하는 횟수, 슬라이드 방식 또는 사용자입력부(110)를 조작하는 시간의 차이에 따라 웹주소를 선택 할 수 있다. 사용자입력부(110)는 측면부에 구비되는 것에 한정되지 아니하고, 글라스형 웨어러블 디바이스의 다양한 위치에 구비될 수 있다. 또한, 하나 이상의 웹주소 중에서 하나를 선택하는 방식도 기 제시된 방식에 한정되지 않고, 사용자입력부(110)에 의해서 구현될 수 있는 다양한 방식이 적용되어 구현될 수 있다.
또한, 하나 이상의 웹주소 중에서 하나를 사용자입력부(110)에 의해서 선택하는 경우, 상기 글라스형 웨어러블 디바이스(10)는 상기 사용자입력부(110)로부터 웹주소 선택정보를 전달받아 호출할 웹주소를 결정하고, 사용자의 호출 승인명령에 따라 웹페이지 또는 콘텐츠의 호출할 수 있다.
또한, 하나 이상의 웹주소 중에서 하나를 사용자입력부(110)에 의해서 선택하는 경우, 글라스형 웨어러블 디바이스(10)는 하나 이상의 웹주소를 디스플레이부(110)에 표시하기 위해 웹주소를 다양한 방식으로 선별하거나 특정한 규칙에 따라 나열할 수 있다. 예를 들어, 제어부(210)는 접속 가능한 웹주소만 나열되도록 필터링할 수 있으며, 트래픽수가 높은 웹주소부터 내림차순으로 나열할 수 있다. 하나 이상의 웹주소를 필터링하거나 나열하는 방식은 위에 제시된 방식에 한정되지 아니하고, 국내 웹사이트만 필터링하여 나열할 수 있게 하는 방식 등 다양한 방식이 포함될 수 있다.
또한, 글라스형 웨어러블 디바이스는, 사용자가 이전에 추출하여 호출하였던 웹주소를 메모리(260) 내에 저장할 수 있다. 이를 통해, 사용자는 이전에 특정한 사이트를 방문한 경험이 있는 지를 확인할 수 있으며, 특정한 웹주소를 방문한 일자 또는 특정한 웹주소를 호출하기 위해 검색하였던 장소 등의 정보를 동일한 웹주소의 재 호출 시에 확인할 수 있다.
또한, 본 발명의 일실시예는 음성입력부(140)에 의해 웹주소 호출승인을 위한 음성명령을 입력받는 방식을 대신하여, 제1카메라(121)가 사용자의 제스처(Gesture)를 인식하여 웹주소 호출 승인을 명령할 수 있다. 즉, 제1카메라(121)가 사용자의 제스처를 포함하는 영상을 획득하고, 제어부(210)는 상기 획득된 영상에 포함된 제스처를 인식하고, 상기 인식된 제스처와 설정된 제스처가 일치하면 웹주소 호출 승인명령이 이루어진 것으로 판단할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 사용자는 글라스형 웨어러블 디바이스로 사용자가 응시한 웹주소를 바로 호출하여 확인할 수 있다. 이를 통해, 기존에 스마트폰 사용자가 해당 웹주소의 호출을 위해 인터넷 어플리케이션을 실행하여 웹주소를 직접 입력하거나 QR코드 리더기 등의 어플리케이션을 실행하여 QR코드 등을 읽어내는 과정이 없어져서 사용자가 원하는 웹주소를 간편하게 호출할 수 있게 된다. 또한, 글라스형 웨어러블 디바이스를 이용하므로, 키보드 없이도 웹주소 입력이 간편하게 이루어질 수 있다.
이하, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 결제시스템 및 방법을 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 결제방법의 순서도이다.
본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 결제방법은, 제1카메라를 통해 결제정보를 수신하는 단계(S200); 상기 인식된 결제정보에서 결제내역 또는 결제금액을 추출하는 단계(S220); 사용자의 결제승인명령을 수신하는 단계(S240); 및 결제승인결과를 제공하는 단계(S260)를 포함한다. 본 발명의 일 실시예에 따른 결제방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)는 제1카메라(120)를 통해 결제정보를 수신한다(S200). 상기 결제정보는, 바코드, QR코드, 2차원바코드, 이미지, 동영상 또는 텍스트 중 어느 하나 이상의 형태일 수 있다. 예를 들어, 도 7에서와 같이, 글라스형 웨어러블 디바이스(10)를 착용하고 있는 사용자가 결제화면을 주시하면, 글라스형 웨어러블 디바이스(10)의 제1카메라(120)가 결제화면에 표시된 결제정보를 포함하는 영상 또는 이미지를 획득할 수 있다.
글라스형 웨어러블 디바이스(10)는 제1카메라(121)를 통해 결제내역 또는 결제금액을 인식한다(S220). 결제금액은 사용자가 지불할 금액에 해당한다. 결제내역은 결제하고자 하는 내역에 포함된 상세정보일 수 있다. 예를 들면, 결제내역은 사용자의 결제금액을 구성하는 상품리스트 및 각 상품의 가격을 포함할 수 있으며, 할부정보, 상품정보(예를 들어, 상기 상품리스트에 포함되는 상품에 대한 구체적인 설명정보 등), 결제수단, 판매정보, 결제방식 등을 포함할 수 있다.
글라스형 웨어러블 디바이스(10)는 제1카메라(121)에 의해 획득되는 결제정보의 유형에 따라 결제금액 또는 결제내역을 인식하는 방식이 달라질 수 있다. 일실시예로, 도 7에서와 같이, 제2카메라(121)에 의해 획득되는 결제정보가 QR코드 또는 바코드에 해당하는 경우, 제어부(210)는 바코드 또는 QR코드를 해독하여 결제금액 또는 결제내역을 파악할 수 있다. 다른 일실시예로, 제2카메라(121)에 의해 획득되는 결제정보가 결제금액 또는 결제내역에 대응하는 텍스트인 경우, 제어부(210)는 문자인식모듈을 통해 상기 결제정보에 대응하는 결제금액 또는 결제내역을 인식할 수 있다.
또 다른 일실시예로, 상기 결제정보가 QR코드 또는 바코드인 경우, 상기 결제정보는 결제금액 또는 결제내역 등이 실시간으로 업로드되는 웹페이지 주소를 포함할 수 있다. 따라서, 글라스형 웨어러블 디바이스(10)는, QR코드 또는 바코드에 해당하는 결제정보를 인식하는 경우, 외부서버(20)에 접속하여 실시간 업로드된 결제금액 또는 결제내역을 무선통신으로 수신할 수 있다.
글라스형 웨어러블 디바이스(10)는 상기 사용자가 설정한 인증방식에 따라 본인인증을 수행한다(S240). 상기 인증방식은, 음성인식, 홍채인식, 눈 깜박임 인식, 심장박동 패턴인식, 맥박 패턴인식 또는 고개 움직임 패턴인식 등을 포함할 수 있다.
상기 음성인식 인증방식은, 사용자로부터 수신한 음성명령을 기등록된 음성과 일치여부를 판단하여 결제 진행여부를 결정할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)는 결제과정에서 해당 결제정보를 음성 변환하여 음향출력부를 통해 제공해준 후, 상기 내역에 대해서 결제 진행할 것인지 사용자에게 승인 요청할 수 있다. 글라스형 웨어러블 디바이스(10)의 제어부(210)는 승인요청에 대응하여 사용자가 입력한 음성명령(예를 들어, '예' 또는 '그렇다')를 글라스형 웨어러블 디바이스 내에 등록된 사용자의 음성과 일치하는 지 여부(예를 들어, 수신된 음성과 저장된 음성의 음색이 동일한 지 여부)를 분석하고, 일치하는 것으로 판단되면 사용자의 요청에 따라 결제를 진행할 수 있다. 글라스형 웨어러블 디바이스는 사용자의 결제승인명령에 상응하는 특정한 음성을 미리 저장할 수 있다. 저장된 사용자의 음성과 일치하지 않는 경우, 글라스형 웨어러블 디바이스(10)는 무선통신을 통해 등록사용자의 연동된 외부디바이스(30)로 알림데이터를 전송할 수 있다.
또한, 글라스형 웨어러블 디바이스(10)는 테스트 문장을 설정할 수 있고, 결제진행 시에 상기 테스트 문장을 디스플레이부(310) 상에 표시하여 사용자에게 음성으로 읽을 것으로 요청할 수 있다. 글라스형 웨어러블 디바이스(10)는 상기 테스트 문장을 읽은 사용자의 음성을 기 저장되어 있는 등록사용자의 음성과 비교하여 승인 여부를 결정할 수 있다.
상기 홍채인식 인증방식은, 결제에 글라스가 사용될 경우, 글라스형 웨어러블 디바이스(10)의 제2카메라(122)를 통해서 이루어질 수 있다. 제2카메라(122)는 착용자의 홍채를 촬영할 수 있으며, 촬영된 상기 홍채의 패턴이 사전에 등록된 홍채의 패턴과 오차범위 내에서 동일하지 않은 경우, 결제 진행을 중지할 수 있다.
특히, 글라스형 웨어러블 디바이스(10)의 경우, 안경테를 기준으로 외부에 존재하는 결제정보를 상기 제1카메라(120)가 획득함과 동시에, 제2카메라(122)가 착용자의 홍채 이미지를 취득할 수 있기 때문에, 결제의 편리함과 고도의 보안을 동시에 제공할 수 있기 때문에, 기존 스마트폰 환경과는 차원이 다른 효용이 존재한다.
상기 눈 깜박임 인식은, 상기 제2카메라(122)가 착용자의 눈 깜박임을 인식하여 결제를 진행시킬지 여부를 확인하는 보안강화 본인인증 방법이다. 글라스형 웨어러블 디바이스(10)의 주인은 눈 깜박임을 미리 설정할 수 있고 결제과정에서 미리 설정한 눈 깜박임 행동을 재현하여 매칭시킴으로써, 결제과정의 보안을 증가시킬 수 있다. 눈을 깜박이는 인터벌을 달리한다던가, 정해진 시간 안에 특정한 횟수 이상의 눈 깜박거림을 한다던가, 왼쪽 눈과 오른쪽 눈을 번갈아가며 깜박거린다던가, 왼쪽 눈 3번, 오른쪽 눈 1번을 무작위로 깜박거린다던가 하는 패턴이 설정될 수 있다.
상기 심장박동 패턴인식과 상기 맥박 패턴인식은, 개인화된 맥동에 의한 시그널을 학습했다가 글라스형 웨어러블 디바이스(10)의 주인여부를 판단하는 개인화 자료로 사용할 수 있는 방법이다. 사람의 심장박동 패턴 및 맥박 패턴은 각각 다르기 때문에, 이를 저장하여 학습모델을 형성하였다가, 해당 사람이 아닌 다른 사람이 신규착용할 경우, 신규착용자의 심장박동 패턴 및 맥박 패턴이 글라스 주인의 패턴과 매칭되지 않는다면, 결제가 진행되지 않는다.
상기 고개 움직임 패턴인식은, 눈 깜박임 패턴인식과 유사하나, 상기 제2카메라를 사용하는 것이 아니라, 자이로센서(142) 또는 가속도센서를 이용하여 글라스를 착용하고 있는 머리의 회전 또는 움직임을 측정하여 패턴과 매칭되는지를 판단하여 결제의 진행여부를 파악하는 단계라고 하겠다. 고개를 좌에서 우로, 그리고 다시 좌로 움직이는 것을 패턴으로 저장해놓을 수도 있고, 고개를 좌에서 우로, 그리고 상향으로 움직이는 것을 패턴으로 저장해놓을 수도 있다. 사전에 저장해놓은 패턴과 같은 패턴으로 고개가 움직였고, 그것이 적중했다면, 결제가 진행될 수 있다.
글라스형 웨어러블 디바이스(10)는 상기 본인인증 결과를 바탕으로 결제를 진행을 외부서버(20)에 요청한다(S260). 외부서버(20)는 은행사 또는 카드사 등의 금융사서버가 해당될 수 있다. 즉, 글라스형 웨어러블 디바이스(10)는, 특정한 본인인증 절차를 수행한 결과 등록사용자로 판단되면, 외부서버(20)에 결제 진행을 요청할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스는 결제금액, 결제내역 또는 결제수단정보를 결제수단에 부합하는 외부서버로 전송하면서 결제 승인을 요청할 수 있다.
다른 일실시예로, 본인인증을 위한 결제 승인 여부 판단을 은행서버에 해당하는 외부서버(20)에서 수행할 수 있다. 즉, 글라스형 웨어러블 디바이스(10)는 특정한 본인인증 방식에 해당하는 인증정보(예를 들어, 홍채패턴정보, 눈깜박임 패턴정보, 음성패턴정보 등)을 획득하여 외부서버(20)로 전송할 수 있다. 외부서버(20)는 등록사용자의 인증정보를 저장하고 있어서 글라스형 웨어러블 디바이스(10)가 제공한 인증정보와 기 저장된 인증정보의 일치여부를 판단할 수 있다. 글라스형 웨어러블 디바이스(10)는 인증정보 전송 시에 또는 외부서버에서 인증정보가 일치하는 것으로 승인된 후에 결제금액을 외부서버(20)로 전송하고, 외부서버(20)는 수신한 인증정보와 설정된 인증정보가 일치하면 결제금액의 지불을 진행할 수 있다.
또한, 추출된 상기 결제내역 또는 결제금액을 사용자에게 제공하는 단계;를 더 포함할 수 있다. 즉, 제어부(210)는 결제정보에서 추출한 결제금액 또는 결제내역정보를 정보처리하여 디스플레이부(310)에 표시할 수 있다. 이를 통해, 사용자는 본인 결제할 금액 또는 구입한 물품리스트를 디스플레이부(310)를 통해 구체적으로 확인한 후에 결제를 진행할 수 있다.
또한, 상기 결제내역 및 결제금액을 SMS 또는 전자우편으로 전송하는 단계를 더 포함할 수 있다. 글라스형 웨어러블 디바이스(10)의 주인이 아닌 사람이 결제를 시도할 경우, 해당 부정 결제시도의 활동이 본인 또는 글라스의 등록된 사람의 SMS 또는 전자우편으로 알려져야 부정사용을 사후에라도 방지할 수 있다. SMS 또는 전자우편 또는 메시지를 통해서 쉽고 빠르게, 글라스의 부정결제를 확인하고 예방할 수 있다. 또, 상기 결제내역 및 결제금액의 전송방법을 설정하는 단계를 더 포함할 수 있다. 또한, 외부의 금융사 서버와 무선통신으로 결제승인을 요청하는 단계; 및 결제승인 결과를 수신하는 단계를 더 포함할 수 있다. 결제는 외부의 금융사 서버를 통해야하므로, 글라스형 웨어러블 디바이스(10)의 경우, 결제승인은 무선통신으로 이루어져야 한다.
또한, 글라스형 웨어러블 디바이스(10)는, 사용자가 쇼핑을 진행하는 과정에 구입할 상품목록을 생성할 수 있다. 즉, 사용자는 글라스형 웨어러블 디바이스(10)를 착용하고 쇼핑을 진행하는 과정에서, 상품 이미지, 상품 또는 진열대에 부착된 바코드 등의 획득을 통해 구입할 물품을 인식하여 구입예정 상품목록을 생성할 수 있다. 이를 통해, 사용자는 쇼핑을 수행하면서 직접 물품을 카드에 담을 필요없이 글라스형 웨어러블 디바이스를 통해 구입할 물품의 인식만 수행하면 된다. 쇼핑을 수행한 후, 사용자는 무선통신(예를 들어, 블루투스 통신)을 통해 결제단말기에 구입예정 상품목록을 전송하여 결제 단계를 진행할 수 있다. 즉, 결제단말기는 글라스형 웨어러블 디바이스로부터 수신한 구입할 상품목록을 바탕으로 상기 결제정보를 생성할 수 있다.
또한, 상기 결제내역 또는 결제금액 제공단계에서, 글라스형 웨어러블 디바이스(10)는 구입예정 상품목록과 결제정보에서 추출한 결제내역을 비교 수행할 수 있다. 즉, 글라스형 웨어러블 디바이스(10)는 구입예정 상품목록과 결제내역의 비교를 통해 결제할 상품이 매칭이 되는지 여부, 결제할 상품 개수가 일치하는 지 여부 등을 비교 판단할 수 있다. 이를 통해, 사용자가 영수증과 구입한 상품을 직접 비교하여 결제가 제대로 이루어졌는지 확인하여야 하는 불편함을 해소할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 글라스형 웨어러블 디바이스를 이용하여, 신용카드 등의 결제수단을 지참하지 않은 경우에도 간편하게 결제를 할 수 있다. 뿐만 아니라, 웨어러블 특유의 본인인증 절차를 거쳐야만 결제가 진행되도록 함으로써, 분실 시 타인에 의한 결제가 이루어지는 것을 방지하는 등 높은 보안을 제공한다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 알약 확인방법 및 시스템에 대해 설명하기로 한다.
도 9는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약 확인방법에 대한 순서도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약 확인방법은, 글라스형 웨어러블 디바이스의 제1카메라로 알약의 이미지를 획득하는 단계(S300); 상기 획득된 알약 이미지에서 특징정보를 추출하는 단계(S310); 상기 추출한 특징정보를 바탕으로, 상기 알약을 탐색하는 단계(S320); 및 상기 탐색된 알약의 알약정보를 수신하여 사용자에게 알리는 단계(S330);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약 확인방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 알약의 이미지를 획득한다(S300). 제1카메라(121)는, 글라스형 웨어러블 디바이스(10)의 일측에 구비되어 사용자의 정면의 영상 또는 이미지를 획득하는 카메라로, 도 10에서와 같이, 사용자가 응시하는 방향의 알약의 이미지를 획득하는 기능을 수행할 수 있다. 다만, 제1카메라(121)에 의해 알약 이미지를 획득하는 방법은 이에 한정되지 아니하고 다양한 방법으로 구현될 수 있다.
글라스형 웨어러 제1카메라(121)에 의해 획득된 알약 이미지를 포함한 영상 또는 이미지는, 제어부(210)에 의해 알약 이미지 부분만 확대 또는 추출할 수 있다. 이를 통해, 후술하는 특징정보 추출단계(S310)에서 제어부(210)가 특징정보를 용이하게 추출할 수 있으며, 후술하는 알약정보 제공단계(S330)에서 불필요한 이미지 부분을 제외한 알약이미지만을 사용자에게 제공할 수 있다.
블 디바이스(10)는 상기 획득된 알약 이미지에서 특징정보를 추출한다(S310). 상기 특징정보는, 도 10 내에 표시된 알약 이미지와 같이, 식별표기, 상기 알약의 모양, 색상, 크기, 제형, 분할선 배치 등이 포함될 수 있다. 상기 식별표기는, 제조사 또는 상기 알약을 나타내는 상기 알약에 표시된 표기를 의미한다. 상기 알약의 모양은 원형, 타원형, 다각형 등 다양한 형태를 포함할 수 있다. 상기 알약의 제형은 정제류, 경질캡슐형, 연질캡슐형 등이 포함될 수 있다. 상기 알약의 색상은 상기 제형이 정제류 또는 연질캡슐이면 상기 알약 자체의 색상, 경질캡슐이면 캡슐 양쪽의 색상을 말한다. 상기 분할선은 여러 등분 나누어 먹는 약의 가운데에 복용자가 용이하게 분할할 수 있도록 형성된 선 또는 홈을 의미하고, 분할선 배치에 따른 분류는 분할선이 없는 형태, 2등분선의 형태, 4등분선의 형태 등을 포함할 수 있다. 다만, 상기 알약의 특징정보는 이에 한정되지 아니하고, 상기 알약 겉 표면의 질감 등 알약을 구분할 수 있는 다양한 특징이 포함될 수 있다.
글라스형 웨어러블 디바이스(10)의 제어부(210)는 제1카메라(121)에 의해 획득된 알약의 이미지 내에서 상기 특징정보를 추출해낼 수 있다. 이를 위해, 제어부(210)는 알약특징추출모듈을 포함할 수 있다. 알약특징추출모듈은 상기 제어부(210) 내에 소프트웨어적인 구현이 될 수 있다. 알약특징추출모듈은 제1카메라(121)에 의해 획득된 이미지를 분석하여, 알약 이미지 내에 포함된 특징정보를 추출할 수 있다. 알약특징추출모듈은, 하나 이상의 특징정보(즉, 식별표기, 상기 알약의 모양, 색상, 크기, 제형, 분할선 배치)를 알약을 식별하기 용이한 특징정보 추출 알고리즘을 설정하여 알약이미지 분석을 수행할 수 있다. 예를 들어, 식별표시를 통해 특정한 알약의 제조업체를 파악할 수 있으므로, 알약특징추출모듈은 상기 알약에 표시된 식별표시를 먼저 식별할 수 있다.
글라스형 웨어러블 디바이스(10)는 상기 추출된 특징정보를 바탕으로, 상기 알약을 탐색한다(S320). 글라스형 웨어러블 디바이스(10)가 내부에 저장된 데이터 중에서 상기 추출된 특징정보에 대응되는 알약정보 탐색을 수행할 수 있다. 상기 알약정보는, 상기 알약의 전면 또는 후면 이미지, 효능, 용법, 사용상 주의사항, 저장방법 등을 포함할 수 있다. 글라스형 웨어러블 디바이스(10)는 추출한 특징정보와 내부에 저장된 알약별 특징정보를 비교하여, 상기 추출한 특징정보에 대응하는 알약을 파악할 수 있다.
또한, 글라스형 웨어러블 디바이스(10)는 외부서버(20)에 상기 추출된 바코드에 대응되는 알약 탐색을 요청하여 알약정보를 수신할 수 있다. 글라스형 웨어러블 디바이스(10)의 제어부(210)는, 외부서버(20)를 통해 알약 탐색을 수행하는 경우, 외부서버(20)로 전송하기 위한 데이터 형태로 상기 특징정보의 변환을 수행할 수 있고, 변환된 특징정보를 외부서버(20)로 무선통신을 통해 전송할 수 있다. 상기 외부서버(20)는 글라스형 웨어러블 디바이스(10)로부터 수신한 특징정보와 외부서버(20) 상에 저장하고 있는 알약의 특징정보를 비교하여, 상기 수신한 특징정보에 대응하는 알약을 파악한다.
글라스형 웨어러블 디바이스(10)는 상기 탐색된 알약정보를 사용자에게 제공한다(S330). 글라스형 웨어러블 디바이스(10)는 자체에 구비된 출력부(300) 또는 상기 글라스형 웨어러블 디바이스에 연동된 외부디바이스(30)를 이용하여 탐색된 알약정보를 사용자에게 제공할 수 있다.
예를 들어, 글라스형 웨어러블 디바이스에 연동된 외부디바이스(30)를 이용하여 알약정보를 출력하는 경우, 글라스형 웨어러블 디바이스(10)는 직접 탐색한 알약정보 데이터를 외부디바이스(30)에 무선통신을 통해 제공할 수 있고, 외부디바이스(30)는 구비된 특정한 출력수단에 부합하는 형태로 알약정보 데이터를 정보처리하여 사용자에게 제공할 수 있다.
글라스형 웨어러블 디바이스(10) 또는 연동된 외부디바이스(30)는 다양한 방식으로 알약정보를 출력할 수 있다. 즉, 글라스형 웨어러블 디바이스(10) 또는 연동된 외부디바이스(30)는 디스플레이부에 알약정보를 포함한 화면을 표시하는 방식, 음향출력부를 통해 음향으로 읽어주는 방식 등의 다양한 방식으로 상기 정보처리된 알약정보를 사용자에게 제공할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 상기 글라스형 웨어러블 디바이스의 디스플레이부(310)에 표시하여 상기 알약의 이미지와 상기 알약정보를 확인하도록 할 수 있다. 다만, 디스플레이부(310)에 표시하는 형태는 이에 한정되지 아니하고, 상기 알약정보를 수신하는 디바이스의 종류 또는 상기 디바이스의 디스플레이부(310)의 구조에 따라 다양한 형태로 구현될 수 있다.
또한, 상기 외부디바이스(30)의 디스플레이부에 표시하는 경우, 사용자가 확인하고 싶은 상기 알약정보를 선택할 수 있는 인터페이스를 상기 디스플레이부에 표시하여, 다양한 입력수단에 의해 사용자가 원하는 알약정보 항목을 선택하는 단계;를 더 포함할 수 있다. 예를 들어, 상기 글라스형 웨어러블 디바이스(10)가 상기 알약정보를 직접 탐색 또는 외부서버(20)로부터 수신하는 경우, 사용자는 상기 모션센서에 의한 고개움직임 인식, 동공방향의 제2카메라에 의한 눈깜박임 인식, 상기 터치부의 터치조작에 의한 입력, 음성인식에 의한 입력 등에 의해 원하는 상기 알약정보 항목을 선택할 수 있다. 다만, 상기 인터페이스에서 알약정보 항목을 선택하는 방식은 이에 한정되지 아니하고, 상기 알약정보를 수신하는 외부디바이스(30)의 종류에 따라 구현할 수 있는 다양한 입력방식을 적용할 수 있다.
또한, 상기 알약의 크기를 특징정보로 추출하는 경우, 상기 글라스형 웨어러블 디바이스와 상기 알약 사이의 거리를 측정하는 단계; 및 상기 측정된 거리를 바탕으로 알약의 크기를 환산하는 단계;를 더 포함할 수 있다. 알약 크기를 추출하는 특징정보로 이용하는 경우, 상기 알약의 이미지를 획득하는 거리에 따라 상기 알약의 크기가 달라지므로, 상기 글라스형 웨어러블 디바이스로부터 이미지를 획득할 알약까지의 거리를 측정하여 크기 산출에 반영하여야 한다. 따라서 상기 글라스형 웨어러블 디바이스에 구비된 거리센서 또는 도플러레이더를 이용하여 알약까지의 거리를 측정하고, 상기 측정된 거리를 반영하여 제어부(210)가 이미지 내에서 측정된 상기 알약의 크기를 환산한다.
예를 들어, 외부서버(20)에 카메라로부터 특정거리를 기준으로 저장된 알약의 크기 정보를 저장해두고, 제1카메라(121)에 의해 측정된 크기 데이터를 외부서버(20)의 기준인 특정거리에 대응되는 길이로 비례식을 이용하여 환산한다. 이를 외부서버(20)로 송신하여 상기 알약을 검색하기 위한 특징정보로 활용할 수 있다. 다만, 크기 데이터를 거리를 고려하여 상기 알약의 특징정보로 활용하는 방법은 이에 한정되지 않고, 다양한 방식이 적용될 수 있다.
도 12를 참조하면, 본 발명의 또 다른 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약 확인방법은, 글라스형 웨어러블 디바이스의 제1카메라(121)로 알약의 이미지를 획득하는 단계(S300); 상기 획득된 알약 이미지 상의 도트프린트 형태의 바코드를 추출하여 인식하는 단계(S311); 추출한 특징정보를 바탕으로,??알약을 탐색하는 단계(S320); 및 상기 탐색된 알약의 알약정보를 수신하여 사용자에게 알리는 단계(S330);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약 확인방법을 순서대로 설명한다. 기 설명한 단계에 대한 구체적인 설명은 생략하기로 한다.
글라스형 웨어러블 디바이스의 제1카메라(121)로 알약의 이미지를 획득한다(S300).
그 후, 글라스형 웨어러블 디바이스(10)는 상기 획득된 알약 이미지 상의 도트프린트 형태의 바코드를 추출하여 인식한다(S311). 알약의 표면에 알약의 명칭이나 고유번호 등을 도트프린트 형태의 바코드로 표시하고, 상기 제1카메라(121)에 의해 획득된 이미지 상에서 상기 도트프린트 바코드를 추출하여 알약의 명칭 또는 고유번호 정보를 인식한다.
그 후, 글라스형 웨어러블 디바이스(10)는 상기 추출된 바코드를 바탕으로 알약을 탐색한다(S320). 글라스형 웨어러블 디바이스(10)가 내부에 저장된 알약 관련 데이터 중에서 탐색을 수행할 수 있고, 외부서버(20)에 상기 추출된 바코드에 대응되는 알약 탐색을 요청하여 알약정보를 수신할 수 있다.
그 후, 글라스형 웨어러블 디바이스(10)는 상기 탐색된 알약정보를 사용자에게 제공한다(S330). 글라스형 웨어러블 디바이스(10)는 디스플레이부(310)에 상기 알약정보를 포함한 화면을 표시할 수 있고, 글라스형 웨어러블 디바이스(10)와 연동된 외부디바이스(30)에 상기 탐색된 알약정보를 무선통신을 통해 제공하여 상기 외부디바이스(30)(예를 들어, 디스플레이부를 구비한, 스마트폰, 태블릿 PC 등의 이동단말기 또는 TV 등의 고정단말기)에 상기 알약정보를 포함한 화면을 표시할 수 있다.
또한, 상기 알약의 크기를 특징정보로 추출하는 경우, 상기 글라스형 웨어러블 디바이스와 상기 알약 사이의 거리를 측정하는 단계; 및 상기 측정된 거리를 바탕으로 알약의 크기를 환산하는 단계;를 더 포함할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 사용자는 알약의 설명서가 없더라도 상기 알약의 명칭, 효능 등을 쉽게 파악할 수 있어서, 현재 앓고 있는 증상에 맞는 알약을 보관하고 있음에도 알약정보를 알지 못하여 유사한 알약을 재구입하는 문제를 해결할 수 있다.
둘째, 본 발명의 실시예들에 의해서, 버려지는 의약품의 양을 줄일 수 있다. 알약의 효능을 알지 못해 버려지는 의약품의 양이 상당하므로, 본 발명의 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약확인시스템 및 확인방법을 활용하면 효능을 확인할 수 있어, 설명서가 없더라도 버려지지 않고 보관해두었다고 추후 증상발생 시 복용할 수 있다.
셋째, 처방받은 알약 중에서 복용을 원치 않는 알약을 사용자가 제외하고 복용할 수 있다. 예를 들어, 운전을 해야하거나 회의를 참석하여야 하여 졸음을 유발하는 약은 제외하고 복용하고 싶을 때, 본 발명을 이용하여 처방된 알약들 중에서 졸음을 유발하는 알약을 파악할 수 있다.
넷째, 약을 처방하는 경우에도 처방 실수가 발생하는 것을 막을 수 있다. 약국이나 병원에서 약을 처방할 때 실수를 하게 되면 환자에게 치명적인 문제를 유발할 수 있다. 약 처방 시에 본 발명의 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 알약확인시스템 및 확인방법을 활용하면 상기 알약의 효능 및 주의사항을 처방시에 바로 확인할 수 있어 문제발생을 방지할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 상품정보획득시스템 및 그 방법에 대해 설명하기로 한다. 글라스형 웨어러블 디바이스를 착용한 사용자가 주시하는 특정한 상품을 인식하여 관련정보(가격정보, 재고여부정보, 브랜드 등)를 사용자에게 제공하는 시스템 또는 방법을 설명하기로 한다.
도 13은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 상품정보획득방법의 순서도이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 상품정보획득방법은, 상품 이미지가 포함된 영상 또는 이미지를 획득하는 단계(S400); 상기 상품 이미지를 추출하는 단계(S410); 상기 상품 이미지에서 특징정보을 추출하는 단계(S420); 상기 상품 이미지에 상응하는 상품을 탐색하여 상품정보를 파악하는 단계(S430); 및 상기 상품정보를 사용자에게 알리는 단계(S440);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 상품정보획득방법을 순서대로 설명한다.
상품 이미지가 포함된 영상 또는 이미지를 획득한다(S400). 상기 글라스형 웨어러블 디바이스(10)의 일측에 구비된 제1카메라(121)가, 도 14에서와 같이, 사용자가 상품정보를 획득하고자 하는 상품이미지를 포함하는 전방 영상 또는 이미지를 획득한다.
글라스형 웨어러블 디바이스(10)는 상기 상품 이미지를 추출한다(S410). 즉, 상기 글라스형 웨어러블 디바이스(10)의 제어부(210)가 상기 영상 또는 이미지에서 상품의 이미지를 추출한다. 예를 들어, 상기 상품 이미지를 추출하는 방법은 상기 영상 또는 이미지의 중심에 위치하거나 크기가 가장 큰 상품을 추출하도록 할 수 있다. 다만, 상기 영상 또는 이미지에서 상기 상품 이미지를 추출하는 방법은 이에 한정되지 않고, 상기 영상 또는 이미지에서 자동으로 상품 이미지를 파악하여 추출하는 다양한 방법이 적용될 수 있다. 또한, 상기 사용자가 상기 사용자입력부(110)를 통해 상기 영상 또는 이미지 내의 상품 이미지를 선택하는 등의 방법도 적용될 수 있다. 이를 위해, 상기 제어부(210)는 상기 획득된 영상 또는 이미지 내에서 상품 이미지를 추출하는 기능을 수행하는 상품이미지추출모듈을 포함할 수 있다.
글라스형 웨어러블 디바이스(10)는 상기 상품 이미지에서 특징정보을 추출한다(S420). 상기 특징정보는, 상기 상품이 의류인 경우, 상기 상품의 종류, 디자인, 색상, 옷에 부착된 조형물의 형상 또는 위치, 무늬 형상 또는 색상, 단추의 형상 또는 부착 위치 등이 포함될 수 있다. 상기 상품이미지 내 상기 특징정보 추출은, 상기 추출된 특징정보와 동일한 특징을 포함한 상품을 탐색하기 위해 수행된다.
상기 상품이미지 내의 상기 특징정보 추출은, 글라스형 웨어러블 디바이스(10) 내 제어부(210)의 특징정보추출모듈에 의해 수행될 수 있고, 상기 상품이미지가 외부서버(20)로 전송되어 상기 외부서버(20)의 특징정보추출모듈에 의해 수행될 수도 있다. 상기 특징정보추출모듈은 상품이미지에서 상품의 특징정보을 추출하는 기능을 수행할 수 있다.
상기 상품 이미지에서 특징정보을 추출하는 단계(S420)는, 상기 상품의 크기정보의 추출이 필요한 경우, 사용자로부터 상기 상품까지의 거리를 측정하는 단계;를 더 포함할 수 있다. 예를 들어, 텔레비전과 같은 전자제품은 화면의 크기에 따라 가격이 상이할 수 있으므로, 화면 크기를 파악할 필요가 있다. 화면 크기를 측정하기 위해서는 상기 사용자가 상기 전자제품으로부터 떨어져 있는 거리를 측정하고, 상기 측정된 거리값을 반영하여 상기 전자제품의 크기를 계산하여야 한다. 따라서, 상기 글라스형 웨어러블 디바이스(10)는 상기 거리센서 또는 상기 도플러레이터 등을 포함하여, 상기 상품으로부터의 거리를 상기 특징정보로 획득할 수 있다.
또한, 상기 상품 이미지에서 특징정보을 추출하는 단계(S420)는, 쇼핑몰 내에서 사용하는 경우, 상기 획득된 영상 또는 이미지 속에 포함된 매장 명칭을 추출하는 단계;를 더 포함할 수 있다. 예를 들어, 상기 사용자가 쇼핑몰 내에 전시된 상품의 상기 상품정보를 파악하고자 하는 경우, 상기 상품의 브랜드를 인식하여 상기 브랜드의 상품 내에서만 탐색하면 빠르고 정확하게 원하는 상품을 탐색할 수 있다. 따라서 상기 제1카메라(121)에 의해 획득된 상기 영상 또는 이미지 내에 포함된 상기 상품의 브랜드 명칭을 추출하여 상기 상품을 탐색하는데 있어 상기 특징정보로 활용할 수 있다. 상기 브랜드 명칭은 매장 내에 부착되어 있을 수도 있고, 상기 상품 내에 포함되어 있을 수도 있다.
상기 상품 이미지에 부합하는 상품의 상품정보를 파악한다(S430). 상품정보 탐색단계(S430)는, 글라스형 웨어러블 디바이스 자체(즉, 글라스형 웨어러블 디바이스 내 제어부의 상품정보탐색모듈)에 의해 수행될 수 있고, 외부서버의 상품정보탐색모듈에 의해 수행될 수 있다.
상품정보탐색모듈은 특정한 상품의 특징정보에 상응하는 상품정보를 탐색하는 기능을 수행할 수 있다. 즉, 상기 상품정보탐색모듈은 상기 상품이미지에서 추출된 특징정보와 저장된 상품별 특징정보를 비교하여 상기 상품이미지에 상응하는 상품을 식별하고, 상기 상품의 상품정보를 탐색할 수 있다. 상기 상품정보는, 상품의 이미지, 가격, 세일정보, 브랜드, 출시년도, 재고유무정보 등이 포함될 수 있다.
상기 상품정보를 사용자에게 제공한다(S440). 상기 상품정보를 사용자에게 제공하는 방식은, 상기 글라스형 웨어러블 디바이스(10) 또는 연동된 외부디바이스(30)의 디스플레이부 상에 표시하는 방식, 상기 글라스형 웨어러블 디바이스(10) 또는 상기 연동된 외부디바이스(20)의 음향출력부를 통해 음향으로 출력하는 방식 등이 적용될 수 있다. 예를 들어, 도 15에서와 같이, 글라스형 웨어러블 디바이스(10) 또는 연동된 외부디바이스(30)의 화면 상에 상품정보를 표시할 수 있다. 글라스형 웨어러블 디바이스(10)는 탐색된 상품의 이미지, 브랜드, 색상, 가격 등의 상품정보를 화면상에 표시할 수 있다.
일실시예로, 도 16에서와 같이, 글라스형 웨어러블 디바이스(10)는 제1카메라(121)에 의해 획득한 영상 또는 이미지에서 상품이미지를 추출하여 외부서버(20)로 전송할 수 있고, 외부서버(20)는 수신한 상품이미지 내에서 특징정보를 추출하고 이에 대응하는 상품정보를 탐색할 수 있다. 그 후, 외부서버(20)는 글라스형 웨어러블 디바이스(10) 또는 글라스형 웨어러블 디바이스와 연동된 외부디바이스(30)에 상품정보를 전송하여 표시함에 따라 사용자에게 제공할 수 있다.
다른 일실시예로, 도 17에서와 같이, 글라스형 웨어러블 디바이스(10)는 자체적으로 특정한 상품이미지에 상응하는 상품정보를 탐색할 수 있다. 즉, 제어부(210)는 글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 획득한 영상 또는 이미지에서 상품이미지를 추출하고, 상품이미지 내에서 특징정보를 추출해내고, 추출한 특징정보에 부합하는 상품정보를 저장부(260) 내에서 탐색할 수 있다. 그 후, 출력부(300)는 제어부(210)로부터 상기 탐색된 상품정보를 전달받아 사용자에게 제공할 수 있다.
또한, 쇼핑몰 매장 내에서 사용하는 경우, 사용자의 상기 매장 내 위치정보를 파악하는 단계; 및 상기 위치정보를 바탕으로 상기 상품정보의 탐색 범위를 설정하는 단계;를 더 포함할 수 있다. 즉, 상기 사용자의 실내 위치정보를 파악하여, 상기 사용자의 현재 위치 주변의 매장들의 상품을 기준으로 상품 탐색을 수행하면 빠르고 정확하게 탐색결과를 얻을 수 있다.
먼저, 사용자의 상기 매장 내 위치정보를 파악하는 방법으로 상기 글라스형 웨어러블 디바이스(10)가 무선통신을 통해 위치를 파악하는 방법이 적용될 수 있다. 예를 들어, 상기 매장 내에 와이파이 또는 비콘 신호를 상기 글라스형 웨어러블 디바이스(10)가 획득하고, 상기 글라스형 웨어러블 디바이스(10)가 상기 와이파이 또는 비콘신호의 세기, 방향, 종류 등을 파악하여 상기 사용자의 현재 위치를 계산할 수 있다.
또한, 글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 전방 영상 또는 이미지를 획득하고, 글라스형 웨어러블 디바이스(10)의 제어부(210)가 상기 매장 내 특징적인 지형 또는 지물과 같은 특징적 요소를 추출하여 현재 위치를 파악할 수 있다. 상기 매장의 실내 지도를 바탕으로, 상기 추출된 특징적 요소가 상기 매장 내에 어느 위치에 존재하는 지를 파악하여 상기 사용자의 현재 위치를 파악할 수 있다. 다만, 상기 사용자의 현재 위치를 파악하는 방법은 이에 한정되지 아니하고, 실내 위치를 측정할 수 있는 다양한 방법이 적용될 수 있다.
그 후, 글라스형 웨어러블 디바이스(10)는 상기 위치정보를 바탕으로 상기 상품정보의 탐색 범위를 설정할 수 있다. 즉, 측정된 상기 사용자 현재 위치 주변의 매장들을 파악하여, 상기 매장의 상품 범위 내에서 탐색을 수행한다.
또한, 상기 글라스형 웨어러블 디바이스(10)의 자이로센서(131) 등의 방향을 인식하는 센서를 이용하거나, 상기 제1카메라(121)에 의해 획득된 영상 또는 이미지 내 상기 특징적 요소의 위치를 이용하여, 사용자가 바라보는 방향을 파악하여 상품을 탐색할 매장의 범위를 더 줄일 수 있다.
또한, 사용자의 현재 위치 정보를 파악하는 단계; 및 상기 사용자의 현재 위치정보를 기반으로 상기 상품을 판매하는 매장의 위치를 제공하는 단계;를 더 포함할 수 있다. 글라스형 웨어러블 디바이스(10)를 통해 상기 상품을 포함한 영상 또는 이미지를 획득한 장소가 매장이 아닌 경우, 사용자는 영상 또는 이미지 내에 포함된 상품을 판매하는 매장의 위치의 탐색을 원할 수 있다. 글라스형 웨어러블 디바이스(10)는 사용자의 현재 위치를 GPS 모듈 등의 위치정보모듈을 통해 파악하고, 파악된 상기 현재위치를 기준으로 상기 상품을 판매하는 매장을 탐색하여 사용자에게 제공할 수 있다.
또한, 상기 탐색된 상품과 동일한 브랜드의 다른 상품, 또는 유사한 디자인 또는 성능의 다른 브랜드 상품의 상품정보를 탐색하여 사용자에게 제공하는 단계;를 더 포함할 수 있다. 즉, 상기 상품정보탐색모듈은 상기 탐색된 특징정보의 일부를 포함한 상품을 탐색하여 사용자에 제공할 수 있다. 예를 들어, 상기 사용자가 이미지를 획득한 옷과 유사한 디자인의 다른 브랜드 옷을 탐색하는 경우, 상기 특징정보 중 브랜드 명칭 및 단추의 형상과 같은 부수적인 특징정보만을 제외하고 상품 탐색을 수행할 수 있다. 상기 부수적인 특징정보 설정은, 상기 상품에 부착된 크기 또는 위치 등을 바탕으로 상기 영상 또는 이미지 내에서 자동으로 수행될 수 있고, 상기 사용자에 의해서 제외할 특징정보가 선택되어 수행될 수도 있다.
또한, 상품을 탐색할 카테고리 또는 브랜드를 설정하는 단계;를 더 포함할 수 있다. 즉, 상기 사용자가 탐색을 원하는 상품의 카테고리 또는 브랜드를 사용자입력부(110)를 통해 입력하여 탐색범위를 제한 설정할 수 있다. 예를 들어, 특정 브랜드 매장의 판매원이 본 발명의 일실시예를 사용하는 경우, 상기 판매원은 상기 매장의 상품에 대한 상품정보만 필요로 하므로, 탐색범위를 제한하면 빠르게 탐색이 이루어질 수 있다. 또한, 상기 사용자가 쇼핑을 하면서 상의만을 구입하려고 하는 경우에는 상의에 해당하는 상품이미지만 추출하고, 상의에 해당하는 상품 분류 내에서만 탐색을 수행하면 빠르게 탐색이 이루어질 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 사용자가 원하는 상품의 정보를 실시간으로 파악할 수 있다. 사용자가 길거리에서 타인이 입고 있는 옷의 상품정보를 바로 얻을 수 있으며, 매장에서도 멀리서 마네킹에 입혀진 옷의 상품정보를 파악할 수 있다.
둘째, 종업원들이 본 발명을 사용하여 해당 상품의 재고유무, 해당 상품의 색상 종류 등을 실시간으로 확인할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스의 간판 내 전화번호 자동 발신 또는 저장 시스템 및 그 방법에 대해 설명하기로 한다.
도 18는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 간판 또는 전단지 내 전화번호 자동 발신 또는 저장 방법에 대한 순서도이다.
도 18를 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 인식한 전화번호 자동 발신 방법은, 전화번호가 기재된 간판 또는 전단지를 포함하는 이미지를 제1카메라(121)가 획득하는 단계(S500); 상기 이미지 내의 간판 또는 전단지에서 문자 또는 숫자를 인식하여 상호명 및/또는 상기 전화번호를 추출하는 단계(S510); 및 상기 글라스형 웨어러블 디바이스가 상기 인식된 전화번호로 발신하는 단계(S520);를 포함한다. 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 전화번호 자동 발신 방법을 순서대로 설명한다.
전화번호가 기재된 간판 또는 전단지를 포함하는 이미지를 제1카메라(121)가 획득한다(S500). 도 19에서와 같이, 상기 글라스형 웨어러블 디바이스의 일측에 구비되어 전방의 영상 또는 이미지를 획득하는 제1카메라(121)가 사용자가 주시하는 간판 또는 전단지를 포함하는 이미지를 획득한다.
상기 이미지 내의 간판 또는 전단지에서 문자 또는 숫자를 인식하여 상호명 및/또는 상기 전화번호를 추출한다(S510). 즉, 상기 획득된 전방의 이미지에서 간판 부분을 추출하고, 문자인식모듈이 상기 간판에 기재된 전화번호와 상호명을 인식한다. 사용자의 설정에 따라 상기 제어부(210)가 상호명은 인식하지 않도록 설정할 수 있다. 상기 글라스형 웨어러블 디바이스가 상기 인식된 전화번호로 발신한다(S520). 즉, 상기 문자인식모듈에 의해 인식된 상기 전화번호로 자동 발신을 수행한다.
또한, 상기 이미지 내에서 하나 이상의 간판 또는 전단지가 인식되는 경우, 상기 상호명과 상기 전화번호를 디스플레이부(310) 상에 표시하는 단계; 및 사용자의 사용자입력부(110) 조작에 의해 전화번호를 선택하는 단계;를 더 포함할 수 있다. 상기 제1카메라(121)에 의해 획득된 이미지 내에 하나 이상의 간판 또는 전단지가 포함되어 있으면, 문자인식에 의해 획득되는 전화번호도 하나 이상 존재할 수 있다. 따라서 상기 전화번호와 상기 상호명을 디스플레이부(310)에 표시하여 사용자가 확인할 수 있도록 한다. 상기 디스플레이부(310)에는 상호명과 전화번호를 차례대로 기재하거나 상기 제1카메라(121)에 의해 획득된 이미지 상에 획득된 전화번호를 함께 기재하는 형태 등의 사용자에게 인식된 하나 이상의 상기 전화번호와 상기 전화번호에 해당하는 상호명을 시각적으로 제공하는 형태로 구현될 수 있다.
그 후, 사용자가 사용자입력부(110)를 통해서 원하는 전화번호를 선택하도록 할 수 있다. 상기 사용자입력부(110) 조작에 의한 전화번호 선택 방법은 사용자가 원하는 전화번호 또는 상호명에 해당하는 음성을 입력하여 선택하는 방식, 사용자의 터치패드 조작방식에 따라 선택하는 방식, 상기 글라스형 웨어러블 디바이스의 일측에 구비되어 동공방향의 영상 또는 이미지를 획득하는 제2카메라(122)에 의해 획득되는 눈깜박임 입력에 의해 선택하는 방식, 상기 모션센서에 의해 인식된 고개움직임 패턴에 해당하는 전화번호 또는 상호명을 선택하는 방식 등이 적용될 수 있다.
또한, 상기 이미지를 신호처리하여 흑백 반전을 수행하는 단계;를 더 포함할 수 있다. 글라스형 웨어러블 디바이스(10)는 상기 제1카메라(121)에 의해 획득된 이미지에 포함된 문자 인식의 정확도를 높이기 위해서 컬러간판을 흑백의 이미지로 처리하여 문자인식을 수행할 수 있다.
또한, 상기 추출된 상호명 검색을 통해 상기 매장정보를 획득하여 사용자에게 제공하는 단계; 및 사용자의 사용자입력부(110) 조작에 따라 상기 추출된 전화번호로 발신을 명령하는 단계;를 더 포함할 수 있다. 상기 인식된 전화번호로 연락하여 음식 주문이나 예약을 하고자 하는 경우, 사용자는 전화하기 전에 상기 상호명의 매장정보를 제공받아 확인할 필요가 있다. 이를 위해, 글라스형 웨어러블 디바이스(10)는 상기 인식된 상호명으로 매장정보 검색을 수행하고, 검색된 상기 매장정보를 사용자에게 제공할 수 있다. 상기 매장정보를 사용자에게 제공하는 방식은 상기 디스플레이부(310)에 시각적으로 표시하는 방식, 상기 음향출력부(320)를 통해 상기 매장정보를 읽어주는 방식 등이 적용될 수 있다.
그 후, 사용자가 상기 매장정보를 확인한 후에 상기 매장으로 발신을 수행하고자 하는 경우, 글라스형 웨어러블 디바이스는 사용자로부터 상기 전화번호로 통화 발신을 요청하는 명령을 수신할 수 있다. 상기 명령 수신 방식은 사용자로부터 음성명령을 수신하는 방식, 사용자의 터치 조작 등의 사용자입력부 조작을 수신하는 방식, 글라스형 웨어러블 디바이스의 일측에 구비되어 동공방향의 영상 또는 이미지를 획득하는 제2카메라(122)에 의해 획득되는 눈깜박임 입력을 수신하는 방식, 상기 모션센서에 의해 인식된 고개움직임 패턴을 수신하는 방식 등이 적용될 수 있다.
또한, 상기 글라스형 웨어러블 디바이스가 인식한 상기 상호명 및/또는 상기 전화번호의 정확한 인식여부를 확인하기 위해 디스플레이부(310) 상에 표시하는 단계;를 더 포함할 수 있다. 즉, 도 20에서와 같이, 상기 디스플레이부(310)는 상기 문자인식모듈에 의해 인식된 문자를 표시하여, 상기 제1카메라(121)에 의해 획득된 이미지 내의 상호명 및/또는 전화번호가 정확하게 인식되었는지를 사용자가 확인하도록 할 수 있다.
또한, 간판 내의 텍스트를 정확하게 인식하기 위해, 간판 이미지만을 추출하는 단계;를 더 포함할 수 있다. 이를 위해, 상기 제어부(210)는 간판이미지추출모듈을 더 포함할 수 있다. 상기 간판이미지추출모듈은 상기 제1카메라(121)가 획득한 이미지에서 상호명 또는 상기 전화번호가 기재된 간판이미지를 추출하는 기능을 수행한다. 상기 획득된 이미지 내에 간판이미지는 일부에 불과하므로, 상기 간판 내 전화번호 및/또는 상호명을 정확하게 인식하기 위해서는 간판부분을 추출할 필요가 있다. 상기 간판이미지추출모듈은 일반적으로 간판이 부착되는 위치 또는 간판의 형태를 바탕으로 추출할 수 있다.
도 18을 참조하면, 본 발명의 다른 일실시예에 따른 글라스형 웨어러블 디바이스의 인식한 전화번호 자동 저장 방법은, 제1카메라(121)가 전화번호가 기재된 간판을 포함하는 이미지를 획득하는 단계(S500); 상기 이미지 내의 간판 이미지에서 문자 또는 숫자를 인식하여 간판에 기재된 상호명 또는 상기 전화번호를 추출하는 단계(S510); 및 상기 글라스형 웨어러블 디바이스에 상기 인식된 상호명을 이름으로 입력하여 상기 인식된 전화번호를 저장하는 단계(S550);를 포함한다. 다만, 기 설명한 단계에 대한 구체적인 설명은 생략하기로 한다.
제1카메라(121)가 전화번호가 기재된 간판을 포함하는 이미지를 획득한다(S500). 그 후, 상기 이미지 내의 간판 이미지에서 문자 또는 숫자를 인식하여 간판에 기재된 상호명 및/또는 상기 전화번호를 추출한다(S510).
글라스형 웨어러블 디바이스(10)는 상기 인식된 상호명을 이름으로 입력하여 상기 인식된 전화번호를 저장한다(S550). 또한, 상기 글라스형 웨어러블 디바이스는 상기 전화번호의 앞자리 번호형식에 따라 시내전화, 휴대전화, 인터넷전화 여부를 인식하고, 해당하는 분류에 전화번호를 입력하여 저장할 수 있다.
또한, 상기 상호를 분석하여 상기 간판의 매장의 분류를 결정하는 단계;를 더 포함할 수 있다. 상기 글라스형 웨어러블 디바이스의 제어부(210)가 상기 인식된 상호명 내에 포함된 단어 의미를 탐색하여, 상기 매장의 업종 분류를 판단하고 상기 업종분류에 해당하는 연락처 그룹 내에 저장할 수 있다.
또한, 상기 간판 이미지를 획득한 위치 정보를 획득하는 단계;를 더 포함하고, 상기 글라스형 웨어러블 디바이스에 상기 인식된 상호명을 이름으로 입력하여 상기 인식된 전화번호를 저장하는 단계(S550)는, 상기 매장의 위치정보를 더 포함하여 저장하는 것을 특징으로 할 수 있다. 사용자는 상기 상호명과 전화번호에 해당하는 매장이 어디에 위치하는 매장인지 나중에 기억하지 못하면 인터넷으로 검색해보아야 하는 불편함이 발생할 수 있다. 따라서 상기 전화번호 저장을 위해 상기 제1카메라(121)에 의해 상기 간판을 포함하는 이미지를 획득하는 위치를 상기 GPS모듈이 인식하여 함께 저장할 수 있다.
또한, 상기 간판 또는 전단지에 상기 상호명이 기재되어 있지 않거나 상기 상호명의 문자인식이 제대로 이루어지지 않는 경우, 사용자가 음성입력부(113)를 통해 상호명을 입력하는 단계;를 더 포함할 수 있다. 즉, 상기 간판 또는 전단지에서 상기 전화번호만 획득되는 경우, 사용자가 직접 음성입력부(113)를 통해 상기 상호명을 읽는 음성을 입력하고 상기 음성인식부(220)가 입력된 음성을 판독하여 상호명을 입력할 수 있다.
또한, 상기 글라스형 웨어러블 디바이스에 상기 인식된 상호명을 이름으로 입력하여 상기 인식된 전화번호를 저장하는 단계(S550)는, 사용자가 입력한 상기 상호명의 매장 특징정보 또는 제1카메라(121)를 통해 획득된 이미지를 함께 포함하여 저장할 수 있다. 즉, 사용자가 나중에 상기 매장의 특징을 기억할 수 있도록 다양한 입력수단을 통해 획득되는 상기 매장의 특징정보 또는 상기 매장의 이미지를 함께 저장할 수 있다. 예를 들어, 사용자가 음식점을 방문한 후에 추후에 다시 방문하거나 전화주문하기 위해 전화번호를 저장하는 경우, 상기 음식점의 좋았던 점 등의 특징정보를 입력하여 함께 저장하거나 상기 제1카메라(121)에 의해 획득된 메뉴판 이미지 또는 사용자가 먹은 음식 사진을 함께 저장할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 상기 글라스형 웨어러블 디바이스가 바로 간판 또는 전단지에 기재된 전화번호를 획득하여 발신 또는 저장을 수행하므로, 사용자가 직접 간판 또는 전단지에 기재된 전화번호로 발신 또는 전화번호 저장을 위해서 직접 전화번호를 외워서 입력하는 불편함을 해소할 수 있다.
둘째, 글라스형 웨어러블 디바이스가 전화번호를 획득하여 저장하면서 상기 간판 이미지를 획득한 위치정보 등의 추가정보를 함께 저장해두어 추후에 저장된 연락처를 사용자가 용이하게 기억해낼 수 있다. 또한, 전화 발신 시에 상기 상호명의 매장 정보를 제공해주어 통화 전에 필요한 사전정보를 용이하게 획득할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 계좌이체 서비스 시스템 및 방법에 대해 설명하기로 한다.
도 21은 글라스형 웨어러블 디바이스(10)를 이용한 계좌이체 서비스 방법에 대한 순서도이다.
도 21을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 계좌이체 서비스 방법은, 상기 글라스형 웨어러블 디바이스(10)에 계좌번호를 입력하는 단계(S600); 무선통신을 이용하여 사용자의 외부서버(20)에 접속하는 단계(S610); 상기 글라스형 웨어러블 디바이스(10)에 거래금액을 입력하는 단계(S620); 및 상기 외부서버(20)로 본인인증정보를 전송하여 본인인증을 수행하고, 상기 거래금액 및 상기 계좌번호를 상기 외부서버(20)로 전송하여 거래를 요청하는 단계(S630);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 계좌이체 서비스 방법을 순서대로 설명한다. 본 실시예에서 외부서버(20)는 은행서버에 해당할 수 있다.
상기 글라스형 웨어러블 디바이스(10)는 계좌번호를 수신한다(S600). 일실시예로, 상기 글라스형 웨어러블 디바이스(10)가 계좌번호를 수신하는 방식으로는, 도 22에서와 같이, 제1카메라(121)에 의해 계좌번호를 포함하는 이미지가 획득되고 상기 이미지에서 문자인식을 통해 은행 및 번호를 인식하는 방식이 적용될 수 있다. 제1카메라(121)는 사용자가 주시하는 계좌번호를 인식하기 위해서 이를 포함한 영상 또는 이미지를 획득할 수 있다. 그 후, 글라스형 웨어러블 디바이스는 상기 영상 또는 이미지에서 계좌번호를 인식할 수 있다. 즉, 제어부(210)의 문자인식모듈이 계좌번호를 인식할 수 있다. 상기 제1카메라(121)에 의해 획득된 이미지 내에서 하나 이상의 계좌번호가 인식되는 경우, 사용자가 상기 사용자입력부(110)(예를 들어, 터치패드(112)) 조작, 눈깜박임 입력, 음성명령 입력, 고개움직임패턴 입력 등을 통해 원하는 계좌번호를 선택하는 단계를 더 포함할 수 있다.
다른 일실실예로, 상기 글라스형 웨어러블 디바이스(10)가 계좌번호를 수신하는 방식으로는, 사용자의 음성입력을 인식하여 은행 및 계좌번호를 입력하는 방식이 적용될 수 있다. 사용자가 계좌번호를 읽는 음성을 상기 음성입력부(140)가 입력받고, 상기 음성인식부(220)가 상기 음성을 해석하여 계좌번호를 인식할 수 있다.
다른 일실실예로, 상기 글라스형 웨어러블 디바이스(10)가 계좌번호를 수신하는 방식으로는, 글라스형 웨어러블 디바이스와 연동된 외부디바이스(30)의 사용자입력부를 통해 계좌번호를 입력하는 방식이 적용될 수 있다. 사용자가 상기 글라스형 웨어러블 디바이스(10)와 연동되는 스마트폰, 스마트워치 등의 외부디바이스의 사용자입력부(예를 들어, 터치패드 또는 터치스크린)를 조작하여 계좌번호를 입력하고, 외부디바이스(30)는 상기 입력된 계좌번호를 무선통신을 통해 상기 글라스형 웨어러블 디바이스(10)로 전송할 수 있다. 다만, 상기 글라스형 웨어러블 디바이스(10)가 계좌번호를 수신하는 방법은 이에 한정되지 아니하고, 상기 글라스형 웨어러블 디바이스(10)의 구성을 이용하는 다양한 방식이 적용될 수 있다.
상기 글라스형 웨어러블 디바이스(10)가 무선통신을 이용하여 사용자의 거래 외부서버(20)에 접속한다(S610). 글라스형 웨어러블 디바이스(10)는 사용자로부터 거래금액데이터를 수신한다(S300). 상기 거래금액을 수신하는 방식은, 상기 계좌번호를 수신하는 방식과 마찬가지로, 제1카메라(121)에 의해 획득된 거래금액을 포함하는 이미지에서 문자인식을 통해 금액을 인식하는 방식, 사용자의 음성입력을 인식하여 거래금액을 입력받는 방식, 상기 글라스형 웨어러블 디바이스(10)와 연동된 외부디바이스(30)를 통해 거래금액 입력하는 조작을 수신하는 방식 등이 적용될 수 있다.
도 24에서와 같이, 글라스형 웨어러블 디바이스(10)는 외부서버(20)로 본인인증정보를 전송하여 본인인증을 수행하고, 상기 거래금액 및 상기 계좌번호를 상기 외부서버(20)로 전송하여 거래를 요청한다(S630). 은행서버에 해당하는 외부서버(20)에서 계좌이체를 진행하기 위해서는, 사용자가 상기 은행의 고객인지 여부 및 상기 고객이 거래를 진행하고 있는지 여부, 거래를 진행할 사용자의 계좌를 확인하는 본인인증 과정이 필요하다. 따라서, 글라스형 웨어러블 디바이스(10)는 사용자입력부(110), 센싱부(130) 또는 음성입력부(140)를 통해 사용자의 본인인증정보를 획득할 수 있다. 상기 본인인증정보는, 사용자의 홍채패턴정보, 사용자의 음성패턴정보, 사용자의 심박패턴정보 등이 포함될 수 있다. 다만, 상기 본인인증정보는 이에 한정되지 않고, 글라스형 웨어러블 디바이스의 구성에 의해 획득될 수 있는 다양한 사용자 식별정보가 적용될 수 있다.
상기 본인인증정보가 사용자의 홍채패턴정보인 경우, 상기 글라스형 웨어러블 디바이스(10)에 일측에 구비되어 동공방향의 영상 또는 이미지를 획득하는 제2카메라(122)가 사용자의 홍채패턴정보를 획득하고, 상기 홍채패턴정보를 상기 외부서버(20)로 전송하여 상기 외부서버(20)에 저장된 사용자의 홍채패턴정보와 비교 수행을 요청할 수 있다.
상기 본인인증정보가 사용자의 심박패턴정보인 경우, 상기 심박센서가 사용자의 심박패턴정보를 획득하여 상기 외부서버(20)로 전송할 수 있다. 외부서버(20)는 상기 획득된 심박패턴정보를 상기 외부서버(20)에 저장된 사용자의 심박패턴정보와 비교를 수행할 수 있다.
상기 본인인증정보가 사용자의 음성패턴정보인 경우, 글라스형 웨어러블 디바이스(10)는 사용자가 지정된 문구를 읽는 음성을 상기 음성입력부(140)를 통해 획득하여 상기 외부서버(20)로 전송하고, 상기 외부서버(20)는 상기 외부서버(20)에 저장된 음성패턴과 일치하는 지 여부를 판단할 수 있다.
상기 글라스형 웨어러블 디바이스(10)가 획득한 상기 본인인증정보를 상기 외부서버(20)로 전송하여 거래 진행을 요청하고, 상기 외부서버(20)의 비교수행결과 상기 은행의 고객에 해당하면 상기 고객의 계좌에서 거래를 진행한다. 상기 글라스형 웨어러블 디바이스(10)가 상기 외부서버(20)로 전송한 상기 계좌번호로 상기 금액의 이체를 요청하고, 상기 외부서버(20)가 요청에 따라 거래를 진행한다.
또한, 인식된 상기 계좌번호 및/또는 상기 거래금액을 상기 디스플레이부(310) 상에 표시하는 단계;를 더 포함할 수 있다. 즉, 도 23에서와 같이, 상기 디스플레이부(310)는 사용자가 원하는 계좌번호 또는 거래금액이 제대로 인식되었는지 확인하기 위해 계좌번호 및/또는 거래금액을 표시할 수 있다.
또한, 사용자의 거래 은행 또는 거래 계좌가 둘 이상인 경우, 사용자가 거래를 수행할 거래은행 또는 거래계좌를 선택하는 단계;를 더 포함할 수 있다. 상기 글라스형 웨어러블 디바이스(10)로 상기 외부서버(20)에 접속하기 전 단계에, 사용자가 하나 이상의 은행계좌를 상기 글라스형 웨어러블 디바이스(10)에 등록해두었으면, 하나의 은행계좌를 선택하여야 상기 외부서버(20)에 무선통신을 통해 접속을 수행할 수 있다.
또한, 하나의 은행만 사용자가 거래하더라도 상기 은행에 여러 개의 계좌를 보유하고 있을 수 있다. 이러한 경우에 거래를 진행할 계좌를 선택하는 과정이 필요하다. 상기 글라스형 웨어러블 디바이스(10)가 상기 외부서버(20)에 접속하기 전에 거래 계좌를 선택하거나, 상기 외부서버(20)에 접속한 후에 은행거래 요청 시에 상기 외부서버(20)의 요청에 따라 상기 거래계좌를 선택할 수 있다.
상기 거래은행 또는 거래계좌의 선택은, 상기 사용자입력부(110)를 조작하여 선택하는 방식, 상기 모션센서에 의해 사용자의 고개움직임을 인식하여 선택하는 방식, 상기 제2카메라(122)가 눈깜박임을 인식하여 선택하는 방식, 사용자의 음성을 입력받아 음성인식을 수행하여 선택하는 방식 등을 적용할 수 있다.
또한, 상기 외부서버(20)로부터 거래결과를 전송받아 사용자에게 알림을 수행하는 단계;를 더 포함할 수 있다. 사용자가 상기 글라스형 웨어러블 디바이스(10)를 통해 상기 외부서버(20)에 거래를 요청한 후에 제대로 계좌이체가 수행되었는지 확인할 필요가 있다. 따라서 상기 외부서버(20)는 거래를 사용자의 요청에 따라 진행한 후 거래결과를 상기 글라스형 웨어러블 디바이스(10)로 무선통신을 통해서 전송할 수 있다. 상기 거래결과는, 상기 요청된 거래의 성공적인 수행여부, 상기 거래를 진행한 계좌 내의 잔액 정보 등을 포함할 수 있다. 상기 글라스형 웨어러블 디바이스(10)는 상기 거래결과를 무선통신을 통해 수신하여, 상기 디스플레이부(310)에 표시하여 사용자에게 알림을 수행하거나 상기 음향출력부(320)에 의해 거래결과를 음성으로 읽어주어 사용자에게 알림을 수행할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 사용자는 온라인 뱅킹을 통해 계좌이체를 수행하고자 하는 경우에 직접 거래금액, 계좌번호를 입력할 필요가 없으므로, 기존의 온라인 뱅킹보다 빠르게 계좌이체를 진행할 수 있다. 사용자가 응시하는 계좌번호와 거래금액을 입력받을 수 있고, 사용자의 음성인식을 통해서 계좌번호와 거래금액을 입력받을 수 있어서, 기존에 스마트폰을 이용하여 계좌이체를 진행하는 방식에 비해서 매우 간편하다.
둘째, 홍채패턴정보, 심박패턴정보 등의 다양한 사용자정보를 이용하여 은행의 고객인지 여부 및 본인인증을 수행하므로, 공인인증서 등의 별도의 인증수단을 필요로 하지 않는다. 사용자 신체 내 본인인증수단을 이용하므로, 더 간편하며 더 안전하게 계좌이체를 수행할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 거래물품정보 업로드 시스템 및 방법에 대해 설명하기로 한다.
도 25는 글라스형 웨어러블 디바이스(10)를 이용한 거래물품정보 업로드 방법에 대한 순서도이다.
도 25를 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 거래물품정보 업로드 방법은, 제1카메라(121)가 상기 거래물품을 포함하는 이미지를 획득하는 단계(S700); 상기 물품의 이미지를 추출하여 상기 물품의 카테고리를 파악하는 단계(S710); 및 상기 파악된 카테고리를 지정하여 거래물품정보를 업로드하는 단계(S720);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 거래물품정보 업로드 방법을 순서대로 설명한다.
제1카메라(121)가 상기 거래물품을 포함하는 이미지를 획득한다(S700). 상기 제1카메라(121)는 상기 글라스형 웨어러블 디바이스(10)의 일측에 구비되어 전방의 영상 또는 이미지를 획득하는 카메라이다. 도 26에서와 같이, 상기 제1카메라(121)가 사용자가 주시하는 상기 거래물품을 포함하는 이미지를 획득한다.
상기 물품의 이미지를 추출하여 상기 물품의 카테고리를 파악한다(S710). 상기 제어부(210)가 상기 획득된 이미지에서 거래물품의 이미지를 추출한다. 상기 사용자가 주시하는 상기 거래물품은 상기 이미지의 중앙에 위치할 것이므로, 상기 중앙에 위치한 물품을 추출할 수 있다. 다만, 상기 거래물품을 추출하는 방식은 이에 한정되지 아니하고, 사용자의 특정 핸드제스처 내에 있는 물품을 추출하는 방식 등 다양한 방식을 적용할 수 있다. 그 후, 상기 제어부(210)는 상기 추출된 거래상품 이미지의 외곽선 또는 특징정보 등을 추출하여 상기 거래상품을 파악한다.
글라스형 웨어러블 디바이스(10)는 상기 파악된 카테고리를 지정하여 거래물품정보를 업로드한다(S720). 즉, 상기 제어부(210)가 파악한 거래상품을 바탕으로 상품의 카테고리를 자동으로 지정하고, 상기 카테고리 내에 거래물품정보를 외부서버에 업로드 한다. 상기 거래물품정보는, 거래상품의 명칭, 상기 물품이미지, 상기 물품의 거래조건, 상기 물품의 사용기간 등을 포함할 수 있다.
또한, 본 발명의 일실시예는 상기 글라스형 웨어러블 디바이스(10)에 상기 물품이미지 이외의 거래물품정보를 입력하는 단계;를 더 포함할 수 있다.
상기 거래물품정보를 입력하는 방식으로, 상기 제1카메라(121)가 오프라인에 기재되거나 인쇄된 거래물품정보를 포함하는 이미지를 획득하여 상기 글라스형 웨어러블 디바이스(10)에 문자인식을 통해 거래물품정보를 입력하는 방식을 적용할 수 있다. 상기 제1카메라(121)는 오프라인에 기재되거나 인쇄된 거래물품정보를 인식하기 위해서 이를 포함한 영상 또는 이미지를 획득한다. 그 후, 상기 영상 또는 이미지에서 상기 거래물품정보를 인식한다. 상기 제어부(210)의 문자인식모듈이 상기 거래물품정보를 인식한다. 또한, 상기 거래물품정보를 입력하는 방식으로, 사용자가 상기 음성입력부(140)에 상기 거래물품정보를 읽는 음성을 입력하고 상기 음성인식부(220)가 인식하여 상기 글라스형 웨어러블 디바이스(10)에 입력하는 방식을 적용할 수 있다.
또한, 상기 거래물품정보를 입력하는 방식으로, 상기 글라스형 웨어러블 디바이스(10)의 사용자입력부(110) 또는 상기 글라스형 웨어러블 디바이스(10)와 연동되는 외부디바이스(30)의 사용자입력부를 조작하여 상기 거래물품정보를 입력하는 방식을 적용할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)의 터치패드(112) 또는 상기 글라스형 웨어러블 디바이스(10)와 연동되는 외부디바이스(30)의 터치패드에 상기 거래물품정보에 해당하는 문자를 기재하거나 키보드(111) 또는 터치스크린을 조작하여 거래물품정보에 해당하는 문자를 입력할 수 있다. 상기 글라스형 웨어러블 디바이스(10)와 연동되는 외부디바이스를 조작하여 거래물품정보를 입력하는 경우, 상기 글라스형 웨어러블 디바이스(10)는 외부디바이스에 의해 정보처리된 상기 거래물품정보를 무선통신을 통해 수신할 수 있다.
다만, 상기 글라스형 웨어러블 디바이스(10)에 상기 거래물품정보를 입력하는 방식은 이에 한정되지 아니하고, 다양한 방식이 적용될 수 있다.
또한, 타인의 구입요청이 있는 경우, 구입요청 신호를 외부서버로부터 수신하여 사용자에게 알림을 수행하는 단계;를 더 포함할 수 있다. 타인이 사용자가 업로드한 상기 거래물품정보를 보고 상기 외부서버에 구입요청을 하는 경우, 상기 외부서버는 상기 구입요청을 상기 글라스형 웨어러블 디바이스(10)에 무선통신을 통해 전송할 수 있다. 그 후, 상기 수신한 구입요청정보를 상기 제어부(210)가 알림을 수행할 수 있도록 정보처리를 수행하고, 상기 출력부가 알림을 수행한다. 상기 알림을 수행하는 방식은, 도 27에서와 같이, 상기 디스플레이부(310)에 구입요청정보를 표시하여 알리는 방식, 상기 음향출력부(320)를 이용하여 음성으로 사용자에게 알리는 방식 등을 적용할 수 있다. 또한, 상기 알림 수행 시에 상기 구입요청정보를 사용자에게 바로 알림 수행할 수도 있고, 구입요청이 있음을 사용자에게 알림 수행하고 사용자가 원하는 때에 상기 외부서버(20)에 접속하여 상기 구입요청정보를 확인할 수 있도록 하는 등의 다양한 방식을 적용할 수 있다.
또한, 상기 물품이미지를 통해 상품명을 인식하여 상품정보를 탐색하는 단계; 및 상기 탐색된 상품정보를 업로드하는 단계;를 더 포함할 수 있다. 거래상대방은 상기 거래물품정보와 새 상품 정보를 비교하는 과정을 필요할 수 있다. 따라서 상기 글라스형 웨어러블 디바이스(10) 또는 외부서버(20)가 상기 물품이미지를 바탕으로 상품명을 인식하여 새 상품의 상품정보 탐색을 수행할 수 있다. 그 후, 상기 탐색된 상품정보를 상기 외부서버에 상기 거래물품정보와 함께 저장하여, 거래상대방이 상기 거래물품정보를 확인할 때 새상품의 상품정보와 비교해볼 수 있도록 할 수 있다.
예를 들어, 사용자가 핸드백의 이미지를 업로드하는 경우, 상기 글라스형 웨어러블 디바이스(10) 또는 상기 외부서버가 상기 핸드백의 이미지에서 특징을 추출하여 상기 상품의 명칭 또는 상품번호를 파악한다. 상기 상품의 명칭 또는 상품번호를 바탕으로 새 상품의 가격, 현재 재고보유 정보 등의 상품정보를 탐색한다. 상기 탐색된 상품정보를 상기 외부서버에 상기 거래물품정보와 함께 저장하여 둔다. 거래상대방이 상기 외부서버에 접속하여 상기 거래물품정보를 확인할 때 상기 상품정보를 함께 제공할 수 있다.
상기와 같은 본 발명의 실시예들에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 사용자는 사용하지 않는 중고물품을 간편하게 중고거래 외부서버에 업로드할 수 있어, 중고물품 거래를 편하게 하는 효과가 있다.
둘째, 사용자가 판매하려는 중고물품의 카테고리 설정 및 상기 중고물품의 상품정보를 자동으로 탐색하므로, 사용자의 추가적인 정보입력 과정이 없이도 중고물품의 거래를 위한 정보를 간편하게 입력할 수 있는 효과가 있다.
셋째, 상기 외부서버로부터 타인의 물품구입요청이 있으면, 무선통신을 통해 바로 알림을 제공받을 수 있으므로, 중고물품 거래가 신속하게 이루어질 수 있다.
이상에서 전술한 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 하드웨어인 글라스형 웨어러블 디바이스(10)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 글라스형 웨어러블 디바이스(10)가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 글라스형 웨어러블 디바이스(10)의 프로세서(CPU)가 상기 글라스형 웨어러블 디바이스(10)의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 글라스형 웨어러블 디바이스(10)의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 글라스형 웨어러블 디바이스(10)의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 글라스형 웨어러블 디바이스(10)의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 글라스형 웨어러블 디바이스(10)가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 글라스형 웨어러블 디바이스(10)상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (1)

  1. 무선통신이 가능한 글라스형 웨어러블 디바이스를 이용한 웹페이지 호출하는 정보처리방법에 있어서,
    제1카메라를 통해 웹주소가 포함된 이미지를 인식하는 단계;
    상기 인식된 이미지로부터 웹주소를 추출하는 단계; 및
    무선통신으로 추출된 상기 웹주소를 호출하여, 웹페이지를 상기 글라스형 웨어러블 디바이스 또는 외부디바이스의 화면 상에 표시하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
PCT/KR2015/007029 2014-07-07 2015-07-07 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 WO2016006920A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020177003455A KR20170031722A (ko) 2014-07-07 2015-07-07 웨어러블 디바이스를 이용한 정보처리 방법

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
KR10-2014-0084368 2014-07-07
KR10-2014-0084477 2014-07-07
KR20140084368 2014-07-07
KR20140084477 2014-07-07
KR10-2014-0096293 2014-07-29
KR20140096293 2014-07-29
KR20140101191 2014-08-06
KR10-2014-0101191 2014-08-06
KR20140109682 2014-08-22
KR10-2014-0109682 2014-08-22
KR20140110625 2014-08-25
KR10-2014-0110625 2014-08-25
KR20140112640 2014-08-27
KR10-2014-0112640 2014-08-27

Publications (1)

Publication Number Publication Date
WO2016006920A1 true WO2016006920A1 (ko) 2016-01-14

Family

ID=55064478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/007029 WO2016006920A1 (ko) 2014-07-07 2015-07-07 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20170031722A (ko)
WO (1) WO2016006920A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754221A (zh) * 2019-03-29 2020-10-09 广东小天才科技有限公司 一种基于智能手表的支付方法、智能手表
US20230117748A1 (en) * 2021-01-28 2023-04-20 Bank Of America Corporation Smartglasses-to-smartglasses payment systems
US12033131B2 (en) * 2022-12-15 2024-07-09 Bank Of America Corporation Smartglasses-to-smartglasses payment systems

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843335B1 (ko) * 2017-03-31 2018-03-29 링크플로우 주식회사 영상 기반의 거래 방법 및 이러한 방법을 수행하는 장치
CN109426334A (zh) * 2017-08-23 2019-03-05 北京京东尚科信息技术有限公司 信息显示方法和装置
KR102058011B1 (ko) * 2019-03-04 2019-12-20 고권석 묶음식 연관 검색어를 이용한 상품의 진열 위치 및 재고 관리 시스템
JP7500603B2 (ja) * 2019-11-18 2024-06-17 マクセル株式会社 キャッシュレス決済システムおよび情報端末

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032644A (ko) * 2009-09-23 2011-03-30 엘지전자 주식회사 디스플레이 장치 및 두부 장착형 디스플레이 장치의 영상 구현 방법
US20120068914A1 (en) * 2010-09-20 2012-03-22 Kopin Corporation Miniature communications gateway for head mounted display
KR20120129982A (ko) * 2010-04-16 2012-11-28 주식회사 비즈모델라인 증강 현실 서비스를 위한 마커 검색 시스템
US20130027572A1 (en) * 2011-07-27 2013-01-31 Google Inc. Head-Mounted Display That Displays A Visual Representation Of Physical Interaction With An Input Interface Located Outside Of The Field Of View
US20130050258A1 (en) * 2011-08-25 2013-02-28 James Chia-Ming Liu Portals: Registered Objects As Virtualized, Personalized Displays

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110015723A (ko) * 2009-08-10 2011-02-17 (주)이컴앤드시스템 이차원 바코드를 이용한 공과금 납부 기능이 내장된 휴대 단말, 상기 휴대 단말을 이용한 공과금 납부 시스템 및 방법
KR20120085054A (ko) * 2011-01-21 2012-07-31 주식회사 플렉스엘시디 전자화폐 서비스를 제공하는 착용형 유비쿼터스 단말장치
KR20140007707A (ko) * 2012-07-10 2014-01-20 이민우 Ｑｒ 코드 스캔을 이용한 스마트 간편 결제 시스템 및 방법
KR20140017734A (ko) * 2012-07-31 2014-02-12 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032644A (ko) * 2009-09-23 2011-03-30 엘지전자 주식회사 디스플레이 장치 및 두부 장착형 디스플레이 장치의 영상 구현 방법
KR20120129982A (ko) * 2010-04-16 2012-11-28 주식회사 비즈모델라인 증강 현실 서비스를 위한 마커 검색 시스템
US20120068914A1 (en) * 2010-09-20 2012-03-22 Kopin Corporation Miniature communications gateway for head mounted display
US20130027572A1 (en) * 2011-07-27 2013-01-31 Google Inc. Head-Mounted Display That Displays A Visual Representation Of Physical Interaction With An Input Interface Located Outside Of The Field Of View
US20130050258A1 (en) * 2011-08-25 2013-02-28 James Chia-Ming Liu Portals: Registered Objects As Virtualized, Personalized Displays

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754221A (zh) * 2019-03-29 2020-10-09 广东小天才科技有限公司 一种基于智能手表的支付方法、智能手表
US20230117748A1 (en) * 2021-01-28 2023-04-20 Bank Of America Corporation Smartglasses-to-smartglasses payment systems
US12033131B2 (en) * 2022-12-15 2024-07-09 Bank Of America Corporation Smartglasses-to-smartglasses payment systems

Also Published As

Publication number Publication date
KR20170031722A (ko) 2017-03-21

Similar Documents

Publication Publication Date Title
WO2016006920A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
CN107533375B (zh) 场景图像分析模块
US10585288B2 (en) Computer display device mounted on eyeglasses
WO2018012924A1 (en) Augmented reality device and operation thereof
US9857971B2 (en) System and method for receiving user input and program storage medium thereof
KR20100006652A (ko) 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
US20140285402A1 (en) Social data-aware wearable display system
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
EP3864607A1 (en) Method and electronic device for displaying at least one visual object
US20180004287A1 (en) Method for providing user interface through head mounted display using eye recognition and bio-signal, apparatus using same, and computer readable recording medium
WO2022039450A1 (ko) 가상 피팅 서비스 제공 방법, 장치 및 그 시스템
Boldu et al. AiSee: an assistive wearable device to support visually impaired grocery shoppers
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
EP3985486B1 (en) Glasses-type terminal
US20190392163A1 (en) Private eye-to-eye communications with wearable heads up display
WO2016010328A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
CN209690628U (zh) 系统和头戴式设备
WO2016013858A2 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2019216498A1 (en) Electronic device and method for controlling the same
CA2906575A1 (en) Social data-aware wearable display system
WO2016006951A2 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2013172490A1 (en) Health care system and health care service providing method
KR20160007342A (ko) 글라스형 웨어러블 디바이스의 잠금해제 방법 및 프로그램
WO2016006949A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
TWI749314B (zh) 影像追蹤系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15818305

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20177003455

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 15818305

Country of ref document: EP

Kind code of ref document: A1