WO2016021907A1 - 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 - Google Patents

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 Download PDF

Info

Publication number
WO2016021907A1
WO2016021907A1 PCT/KR2015/008129 KR2015008129W WO2016021907A1 WO 2016021907 A1 WO2016021907 A1 WO 2016021907A1 KR 2015008129 W KR2015008129 W KR 2015008129W WO 2016021907 A1 WO2016021907 A1 WO 2016021907A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
wearable device
user
type wearable
image
Prior art date
Application number
PCT/KR2015/008129
Other languages
English (en)
French (fr)
Inventor
한성철
엄정한
김진영
이경현
김대중
김석기
유철현
김주천
김주원
Original Assignee
넥시스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140099819A external-priority patent/KR20160016196A/ko
Priority claimed from KR1020140099874A external-priority patent/KR20160016216A/ko
Priority claimed from KR1020140100935A external-priority patent/KR102308970B1/ko
Priority claimed from KR1020140109211A external-priority patent/KR20160023226A/ko
Priority claimed from KR1020140110595A external-priority patent/KR20160024140A/ko
Priority claimed from KR1020140113945A external-priority patent/KR20160027399A/ko
Priority claimed from KR1020140151982A external-priority patent/KR102251710B1/ko
Priority claimed from KR1020140152507A external-priority patent/KR20160053472A/ko
Application filed by 넥시스 주식회사 filed Critical 넥시스 주식회사
Publication of WO2016021907A1 publication Critical patent/WO2016021907A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Definitions

  • the user visually displays the location of the external device on the display of the glass type wearable device when the user cannot determine the location of the external device indoors (for example, when the mobile terminal falls between the sofas). It helps to find external devices easily.
  • the user may be provided by searching for event information of the visited place with a simple operation of looking at the guide map of the visited place. Through this, the user can easily check the event information.
  • the user when a user visits a specific place without a predetermined schedule, the user can acquire the information through the glass type wearable device without directly searching the event information, thereby preventing the event from being missed.
  • FIG. 1 is a block diagram of a glass wearable device system related to embodiments of the present invention.
  • FIG. 12 is a flowchart illustrating an event information providing service method using a glass type wearable device according to an embodiment of the present invention.
  • FIG. 13 is an exemplary diagram in which a glass type wearable device according to an embodiment of the present invention acquires an image including a guide map through a first camera.
  • FIG. 18 illustrates an example of displaying an external device on a display unit through an image acquired by a glass type wearable device according to an embodiment of the present invention.
  • 25 is an exemplary view showing store information on a display unit of a glass type wearable device according to an embodiment of the present invention.
  • 27 is an exemplary view of acquiring an image including a company name or a company logo by a glass type wearable device according to an embodiment of the present invention.
  • the components may be provided inside or on one side of the glass type wearable device as shown in FIG. 2.
  • the iris recognition sensor 134 performs a function of recognizing a person using iris information of an eye having unique characteristics for each person.
  • the human iris is completed after 18 months of age, and then the circular iris pattern, which is raised near the inner edge of the iris, is almost unchanged once determined. Therefore, iris recognition is the application of security authentication technology by informatizing the characteristics of different iris for each person. In other words, it is an authentication method developed as a means of identifying people by analyzing the shape and color of the iris and the morphology of the retinal capillaries.
  • the display unit 310 may be implemented as a head up display (HUD), a head mounted display (HMD), or the like.
  • HMD Head mounted Display
  • a head up display (HUD) is an image display device for projecting a virtual image onto glass in a user's visible area.
  • the broadcast receiving module receives at least one of a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel, a terrestrial channel, and the like.
  • the broadcast management server may mean a server that generates and transmits at least one of a broadcast signal and broadcast related information, or a server that receives at least one of the pre-generated broadcast signal and broadcast related information and transmits the same to a terminal.
  • the controller 210 typically controls the operation of each unit to perform a function of controlling the overall operation of the device. For example, perform related control and processing for voice calls, data communications, and the like. In addition, the controller 210 performs a function of processing data for multimedia reproduction. In addition, it performs a function of processing the data received from the input unit or the sensing unit 130.
  • the controller 210 may perform a function of recognizing the gaze direction based on the eyeball direction image acquired by the second camera 122. That is, the controller 210 may include a gaze analysis module that performs gaze direction recognition. After measuring the gaze direction and the gaze direction of the user, it is possible to determine the direction that the user looks by calculating by synthesis.
  • the gaze direction refers to a direction of the face of the user and may be measured by the gyro sensor 131 or the acceleration sensor 132 of the sensing unit 130.
  • the gaze direction may be grasped by the gaze analysis module in a direction viewed by the user's pupil.
  • the power supply unit receives an external power source and an internal power source under the control of the controller 210 to supply power for operation of each component.
  • the speech recognition unit 220 performs a function of identifying linguistic meaning content from the speech by automatic means. Specifically, the process of identifying a word or word sequence and extracting meaning by inputting a speech waveform is classified into five categories: speech analysis, phoneme recognition, word recognition, sentence interpretation, and meaning extraction.
  • the voice recognition unit 220 may further include a voice evaluation module for comparing whether the stored voice and the input voice are the same.
  • the voice recognition unit 220 may further include a voice-to-text conversion module 240 for converting an input voice into text or converting a text into voice.
  • the distance or direction from the glass type wearable device 10 to the external device may be expressed using spatial coordinates. That is, the glass type wearable device 10 may express a position away from the external device 30 as coordinates based on the current position (ie, second position information) of the glass type wearable device.
  • the coordinates may be applied in various ways such as rectangular coordinates, polar coordinates, spherical coordinates.
  • the glass type wearable device 10 may be applied to a spherical coordinate system based on the strength and direction of the location information signal receiving the location of the external device.
  • the glass type wearable device 10 may determine the distance from the glass type wearable device 10 to the external device 30 through the strength of the signal, and determine the high and low angles of the signal through the direction of the signal.
  • the position of the glass type wearable device 10 is set to the origin O (0,0,0), the position of the external device to be measured as P (x, y, z), and the distance is the radius r,
  • a spherical coordinate system can be used by applying at the angle (phi) which the positive direction of an x-axis (for example, set to the north side) makes.
  • the second camera 122 photographs the eyeball (S240).
  • the eyeball is analyzed to calculate coordinates that the eye gazes at step S250.
  • the method of calculating the coordinates that the eye gazes may vary. For example, if the advertisement has coordinates specifying a point of the display 310, the coordinates on the display 310 stared by the eye should be calculated. Since the display unit 310 and the second camera 122 are fixed to the glass type wearable device, the display unit 310 and the second camera 122 may analyze eyeball images taken by the second camera 122 to calculate coordinates on the display unit 310 that the eye gazes at. Can be.
  • the glass type wearable device may obtain coordinates of the glass type wearable device from three or more beacons. By utilizing one or more acceleration sensors and gyro sensors, you can tell which direction the glass-type wearable device is facing.
  • the coordinates of the glass wearable device, the direction information of the glass wearable device, and the eyeball image may be analyzed to calculate coordinates of a three-dimensional image that the eye gazes at.
  • the glass type wearable device 10 determines whether the eye gazes at the advertisement using the coordinates gazed by the eye and the coordinates of the advertisement (S260).
  • the glass type wearable device 10 determines whether the eye gazes at the advertisement using the coordinates gazed by the eye and the coordinates of the advertisement (S260).
  • the glass type wearable device 10 stores a gaze time and a gaze frequency of the advertisement (S270).
  • the glass type wearable device 10 measures the effect of the advertisement using the gaze time and the number of gazes of the advertisement (S280).
  • Advertising method using a glass-type wearable device the first camera 121, the step of taking an external image (S220); Extracting an advertisement from the external image and calculating coordinates of the corresponding advertisement (S230);
  • the second camera 122 photographs the eyeball (S240), analyzing the eyeball image to calculate the coordinates that the eye gazes at (S250), and use the coordinates of the eye gaze and the coordinates of the advertisement. Determining whether the eye gazes at the advertisement (S260), storing the gaze time and the number of gazes of the advertisement (S270) and the gaze time and the gaze frequency of the advertisement. Measuring the effect (S280).
  • the advertisement may have a coordinate specifying a point of the external image.
  • the coordinate on the external image stared by the eye should be calculated. Since the first camera 121 and the second camera 122 are fixed to the glass type wearable device, the eye is staring at the point of time based on an external image captured by the first camera 121 at a specific point in time. The coordinates on the external image can be calculated.
  • the glass type wearable device 10 performs a function of photographing a front image of a user and transmitting the image in real time through wireless communication.
  • the glass type wearable device 10 includes a first camera 121; A wireless communication unit 250; And a controller 210.
  • the first camera 121 is provided at one side of the front portion of the glass type wearable device 10 and performs a function of acquiring a front image of the user.
  • the first camera 121 may be capable of adjusting the tilt. In general, since the user uses the external device 30 while bowing down, the inclination of the first camera 121 may be adjusted by the tilted head to capture the front image.
  • the photographing information management server 20 receives a photographed image in real time from the glass type wearable device 10, and performs a function of providing the photographed image to an external device when a request for providing the photographed image is provided.
  • the photographing information management server 20 may include a storage unit to receive and store an image photographed by the glass type wearable device 10.
  • the photographing information management server 20 may store a photographed image in the server by date or by user, and may automatically delete the photographed photographed image after a specific period of time.
  • the external device 30 requests the photographing information management server 20 to provide the photographed image through wireless communication, and receives and displays the photographed image.
  • the external device 30 may include a wireless communication unit 510; A display unit 520; And a control unit 530. That is, the external device 30 may include a wireless communication unit 510 such as a tablet PC, a smart phone, a smart watch, and the like; A display unit 520; And a control unit 530.
  • the wireless communication unit 510 performs a function of transmitting and receiving data through wireless communication.
  • the display unit 520 performs a function of providing an image to a user. That is, as shown in FIG. 9, the front image obtained by the glass type wearable device 10 is displayed on a part of the display unit 520 so that the user can use the external device 30 while watching the front situation. .
  • the control unit 210 performs a function of performing information processing for data transmission by wireless communication.
  • the glass type wearable device 10 may further include an angle measuring sensor for recognizing the user's head tilt.
  • a request for providing content list information in the external device 30 is received to receive the content list information stored from the external device 30 (S510).
  • the glass type wearable device 10 requests content list information in the external device 30 to the external device 30 through wireless communication. Thereafter, the glass type wearable device 10 receives the content list information from the external device 30.
  • the glass type wearable device 10 may perform the request or the reception of the content list information using a communication network such as Wi-Fi connected with the external device 30 as shown in FIG. 19, and FIG. As in 20, the glass type wearable device 10 may be performed using Bluetooth, Wi-Fi Direct, or the like, which can be directly connected to the external device 30.
  • the method may further include authenticating that the external device 30 is a user. That is, in order to prevent others from accessing the inside of the external device 30 using the glass type wearable device 10, the glass type wearable device 10 checks whether the user of the external device 30 approaches. Can be. As a method of authenticating that the external device 30 is a user, various methods may be applied.
  • the registered biometric information of the user of the external device 30 is compared with the biosignal obtained by the glass type wearable device 10, and corresponds to the external device 30.
  • the biosignal may include iris pattern information, voice pattern information, heartbeat pattern information, and the like.
  • the iris pattern information may be obtained by a second camera, and the heart rate pattern information may be obtained by the heart rate sensor.
  • the voice pattern information may be obtained by the voice input unit 140.
  • the user may read a specific phrase presented by the glass type wearable device 10 so that the glass type wearable device 10 receives the voice pattern information corresponding to the previously stored voice pattern information through the voice input unit 140. Can be obtained.
  • the analyzed type of the content is an image or an image
  • processing to a size optimized for display of the glass type wearable device 10 may be further included.
  • the glass type wearable device 10 may play only an image of a specific size. In this case, conversion may be necessary if the size of the content does not match the glass type wearable device 10. Therefore, the glass type wearable device 10 converts (or processes) the content into a size optimized for display of the glass type wearable device 10 by receiving wireless communication, or the glass type wearable device 10 transmits wireless communication.
  • the external device 30 may be requested to resize the content to receive the resized content.
  • the glass type wearable device obtains a screen image of the external device 30, Setting a reference coordinate on the screen (S600); Obtaining, by the first camera 121 of the glass type wearable device, an image of touch manipulation of the screen of the external device 30 of the user (S610); Analyzing the image to determine coordinate information of the touched portion (S620); Transmitting the coordinate information to an external device (30) (S630); And providing an input signal to a portion corresponding to the coordinate information of the external device 30 (S640).
  • a method of providing an input signal of the external device 30 using the glass type wearable device according to an embodiment of the present invention will be described in order.
  • the method may further include determining a type of an input signal by a touch based on the number of fingers, the shape of a finger, and the touch direction provided to the user's touch manipulation.
  • a type input by an input device such as a mouse or a touch pad may be left click, right click, double click, drag, or the like.
  • the respective input signals may be defined according to the number of fingers, finger shapes, and touch directions provided to the user's touch operation, and the glass type wearable device may include the number of fingers, fingers, or touch direction provided to the user's touch operation. Accordingly, the type of the input signal can be determined.
  • the method may further include comparing the ratio of the finger size to the screen size in the image when the user touches the external device 30 with the stored size; And recognizing the touch operation when the ratio difference is within an error range.
  • the glass type wearable device 10 receives the image by the first camera 121 and determines whether the touch operation is performed, it may be difficult to determine whether the glass wearable device 10 corresponds to the touch operation because it is a two-dimensional image. Therefore, the ratio of the finger size to the screen size is stored through the image when the user's finger touches the screen of the external device 30, and the size of the finger to the screen size input by the first camera 121 is stored. Compare with the ratio to determine if it is within the margin of error. If the ratio falls within the error range, it may be determined that the touch operation is performed by touching a finger on the screen, and if the ratio does not fall within the error range, it may be determined that the touch operation is not performed.
  • FIG. 23 is a flowchart illustrating a method for providing store information using the glass type wearable device 10.
  • a store information providing service method using a glass type wearable device 10 may include: obtaining, by the first camera 121, an image including a name of the store ( S700); Recognizing the name of the store in the image (S710); Recognizing the current location of the user (S720); Searching for store information based on the name and location information of the store (S730); And notifying the user of the found store information by the glass type wearable device 10 (S740).
  • Store information providing service method using the glass-type wearable device 10 according to an embodiment of the present invention will be described in order.
  • the first camera 121 acquires an image including the name of the store (S700). As shown in FIG. 24, the first camera 121 acquires an image including the same in order to recognize a name of a store that the user watches.
  • the character recognition module recognizes one or more names of the stores
  • the recognized one or more stores are displayed on the display 310 of the glass type wearable device 10, and the user operates the user input unit 110. It may further comprise the step of selecting through.
  • a method of recognizing a point name included in the image acquired by the first camera 121 may be applied.
  • the signboard of the store, etc., which point is described together the character recognition module in the image obtained by the first camera 121 acquires the point name and recognizes the current position.
  • a method of recognizing the current location using wireless communication may be applied as the recognition method of the current location.
  • the wireless communication unit 250 may recognize the location of the user in such a manner as to recognize the Wi-Fi existing in the vicinity, or to recognize the base station that has transmitted a wireless signal such as LTE.
  • a method of recognizing a current location using the wireless communication is not limited thereto, and various methods of recognizing a location using various wireless communication signals may be applied.
  • the method of recognizing the current location of the user is not limited thereto, and when a location of the store is to be recognized in a large shopping mall, various methods such as indoor positioning may be applied.
  • the store information refers to information required by the user in relation to the store that the user watches. For example, when the store is a cafe or a restaurant, empty seat information, discount or event information, business hours information, price information, and the like may correspond. In addition, when the store is a lodging establishment, the store information may correspond to the number of empty rooms, discount or event information, room structure map information, price information, and the like.
  • the controller 210 performs information processing for searching for the store information based on the name and location information of the store.
  • the wireless communication unit 250 transmits the data processed by the control unit 210 to the external server 20 through wireless communication to search for the store.
  • the store name of the store corresponding to the store name and the location information in the external server 20 is grasped. For example, a store search that a user watches is performed based on the store name, and a point corresponding to the location information is searched among the found stores of the name. Extract store information stored in the found branch of the store. When the store is a cafe, the external server 20 extracts the discount information or event information of the store, the business hours of the store, the current empty seat number in the store, and the like. Thereafter, the glass type wearable device 10 receives the store information from the external server 20 through wireless communication.
  • the method of searching for the store information based on the store name and the location information collected by the glass type wearable device 10 is not limited to a method of searching the store information stored in the external server 20, and various The method can be applied.
  • the glass type wearable device 10 notifies the user of the found store information (S740).
  • the glass type wearable device 10 notifies the user of the found store information, as shown in FIG. 25, by displaying the store information on the display 310 or informing the store information through an audio output. Method can be applied.
  • the method may further include selecting discount or event information based on the stored user information when the store information is discount or event information.
  • the user information means various information about the user, and the user may input and store the information in the storage unit of the glass type wearable device 10.
  • the user information may include a variety of information related to the user, such as credit card or check card information possessed, store list information registered by the user, point card possession information, affiliated school information.
  • the controller 210 selects discount or event information that a user can benefit from based on the user information stored in the storage. For example, if there is a discount of a nearby school student among the discount information of the store, the school information is extracted from the stored user information and compared with the list of schools granting the discount at the store.
  • FIG. 26 is a flowchart illustrating a company information searching service method using the glass type wearable device 10.
  • the first camera 121 of the glass type wearable device 10 acquires an image including a company name or a company logo (S800).
  • the first camera 121 is a camera provided at one side of the glass type wearable device 10 to acquire an image of the front side. As illustrated in FIG. 27, the first camera 121 acquires an image including the same in order to recognize a company name or a company logo that a user watches.
  • the user manipulates the user input unit 110 (eg, a touch unit), blinks an input, or a voice command.
  • the method may further include selecting a desired company name or company logo through an input, a high motion pattern input, and the like.
  • Searching for an image corresponding to the company logo by detecting the contour of the image to obtain the contour feature of the image, and generates an index list in the image database of the external server 20 according to the contour feature from the index list
  • a method of searching for at least one image including the contour feature may be applied.
  • the character recognized in the company logo image may be further utilized as feature information for image search corresponding to the company logo.
  • the method of searching for an image is not limited thereto, and various image search methods may be applied.
  • a method of providing company information by voice to the user through the sound output unit 320 may be applied.
  • the controller 210 may process the received company information as a voice and provide the voice to the user through the sound output unit 320.
  • the method may further include setting a classification of the company information desired by the user.
  • the searching of the company information based on the company name or the company logo may include filtering the searched company information based on the set classification. It may be characterized in that it further comprises a. If there is a classification of the company information that the user wants to obtain through the search, the classification of the company information to be searched may be provided by filtering only the desired company information in the process of searching by the external server 20. For example, if a user wants only the stock-related data of the company, the glass type wearable device 10 restricts the search condition to the stock-related information and makes a search request to the external server 20, and the external server 20 Only the stock-related company information is searched and provided to the glass type wearable device 10. Through this, unnecessary waste of company information can be prevented from wasting time or communication data, and the user can quickly obtain only the desired company information.
  • the first camera 121 obtains a company name or a company logo included in another person's business card, searching for information on a department to which the other person belongs and providing the same to a user. Users sometimes meet new people, get business cards, and talk. In this case, in order to have a smooth conversation with the other party or to have a good feeling with the other party, it is necessary to know information related to the other party's work, such as information about the other company's company or the other party's work. To this end, when a user acquires a company name or a company logo by scanning a business card using the first camera 121, the user may also acquire a name of the counterpart department and perform a search.
  • the character recognition module of the controller 210 recognizes the department name described in the business card of the counterpart. Thereafter, the glass type wearable device 10 transmits the department name to the external server 20 together with the company name or the company logo. Thereafter, the glass type wearable device 10 is provided with information on the department of the company searched from the external server 20. For example, the glass type wearable device 10 may transmit the company name and the department name to the external server 20 to receive the member information of the department or the main task of the department. Based on the received department member information, the department may determine whether the user has an acquaintance, and lead a conversation based on the story of the acquaintance. In addition, based on the main task information of the department, it is possible to proceed with the conversation while asking the other party about the task.
  • the information processing method using the glass type wearable device according to the embodiments of the present invention described above is implemented as a program (or an application) to be executed in combination with the glass type wearable device 10 which is hardware, and stored in a medium. Can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Optics & Photonics (AREA)
  • Game Theory and Decision Science (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법에 관한 것이다. 본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리 방법은, 글라스형 웨어러블 디바이스가 외부디바이스로 위치알림요청신호를 발신하는 단계(S100); 상기 외부디바이스로부터 제1위치정보를 포함하는 위치정보신호를 수신하는 단계(S110); 제2위치정보를 기준으로 상기 외부디바이스까지의 거리 또는 방향을 산출하는 단계(S120); 및 상기 글라스형 웨어러블 디바이스가 상기 외부디바이스의 위치 알림을 제공하는 단계(S130);를 포함할 수 있다. 사용자는 실내에서 외부디바이스의 위치를 파악하지 못하는 경우에 외부디바이스의 위치를 글라스형 웨어러블 디바이스의 디스플레이부에 시각적으로 표시해주어 사용자가 외부디바이스를 용이하게 찾을 수 있도록 도와주는 효과가 있다.

Description

웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
본 발명은 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법에 관한 것으로, 보다 자세하게는 웨어러블 디바이스를 보유한 사용자의 활동 중에 획득된 데이터를 정보 처리하는 시스템 및 방법에 관한 것이다.
정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 두부 장착형 디스플레이 장치(head mounted display, HMD)가 있다. 두부 장착형 디스플레이 장치는 주로 보안경이나 헬멧형 기기로 눈앞에 있는 스크린을 보도록 이루어지며, 가상 현실감을 실현하기 위해 개발되었다.
글라스형 웨어러블 디바이스는 양안(양쪽 눈)에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식이 일반적이며, 현재는 우주 개발, 원자로, 군사 기관 및 의료 기관에서 사용하기 위한 것과 업무용이나 게임용 등에 대한 각종 개발이 진행되고 있다. 종래 기술에 따른 글라스형 웨어러블 디바이스는 미국 특허 등록 번호 US8,427,396에도 개시되어 있다.
다양한 형태의 글라스형 웨어러블 디바이스가 연구되고 등장하고 있으나, 착용자들이 일상생활에서 편리하게 활용할 수 있는 방법 또는 서비스는 매우 한정되어 있으며, 글라스형 웨어러블 디바이스에 적합한 UI(User Interface) 또는 UX(User Experience)도 개발되고 있지 않은 실정이다. 또한, 최근에는 스마트폰과 같은 이동단말기와 연동하여 사용하는 글라스형 웨어러블 디바이스뿐만 아니라 단독으로 대부분의 기능을 수행할 수 있는 글라스형 웨어러블 디바이스도 개발되고 있으므로, 글라스형 웨어러블 디바이스 시장의 활성화를 위해 기존의 이동단말기와 차이나는 글라스형 웨어러블 디바이스의 특성에 적합한 서비스가 필요하다.
이러한 문제점을 해결하기 위하여, 본 발명의 일목적은 글라스형 웨어러블 디바이스의 사용자 또는 착용자가 활용할 수 있는 글라스형 웨어러블 디바이스에 적합한 서비스를 제공하고자 한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 글라스형 웨어러블 디바이스가 외부디바이스로 위치알림요청신호를 발신하는 단계; 상기 외부디바이스로부터 제1위치정보를 포함하는 위치정보신호를 수신하는 단계; 제2위치정보를 기준으로 상기 외부디바이스까지의 거리 또는 방향을 산출하는 단계; 및 상기 글라스형 웨어러블 디바이스가 상기 외부디바이스의 위치 알림을 제공하는 단계;를 포함하되, 상기 제1위치정보는 상기 외부디바이스의 실내위치에 관한 것이며, 상기 제2위치정보는 상기 글라스형 웨어러블 디바이스의 실시간 위치에 관한 것이다.
본 발명의 다른 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 디스플레이부 상에 좌표 정보를 가지는 광고를 표시하는 단계; 제2카메라가 안구를 촬영하는 단계; 상기 안구 영상을 분석하여 안구가 응시하고 있는 좌표를 계산하는 단계; 상기 안구가 응시하고 있는 좌표와 상기 광고의 좌표를 이용하여 상기 안구가 상기 광고를 응시하였는지 여부를 판단하는 단계; 상기 광고에 대한 응시시간 및 응시횟수를 저장하는 단계; 및 상기 광고에 대한 응시시간 및 응시횟수를 이용하여 상기 광고의 효과를 측정하는 단계;를 포함한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리 시스템은, 사용자의 전방 영상을 촬영하여 무선통신을 통해 실시간으로 전송하는 글라스형 웨어러블 디바이스; 상기 글라스형 웨어러블 디바이스로부터 실시간으로 촬영 영상을 수신하고, 상기 촬영 영상의 제공 요청이 있으면 상기 영상을 통신 단말기로 제공하는 촬영정보 관리서버; 및 무선통신을 통해 상기 촬영정보 관리서버로 상기 촬영 영상의 제공을 요청하고, 상기 촬영 영상을 제공받아 표시하는 외부디바이스;를 포함한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리 시스템은, 사용자의 전방 영상을 촬영하여 상기 무선통신을 통해 실시간으로 전송하는 글라스형 웨어러블 디바이스; 및 무선통신을 통해 상기 글라스형 웨어러블 디바이스로부터 상기 촬영 영상을 제공받아 표시하는 외부디바이스;를 포함한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 제1카메라가 상기 특정장소의 안내지도를 포함하는 이미지를 획득하는 단계; 상기 안내지도에 포함된 장소정보를 추출하여 상기 안내지도에 해당하는 장소를 인식하는 단계; 상기 인식된 장소의 이벤트정보를 탐색하는 단계; 및 상기 안내지도를 바탕으로 사용자에게 상기 이벤트정보를 안내하는 단계;를 포함한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 상기 글라스형 웨어러블 디바이스가 상기 외부디바이스를 인식하는 단계; 상기 외부디바이스 내 콘텐츠목록정보 제공을 요청하여 상기 외부디바이스로부터 저장된 상기 콘텐츠목록정보를 수신하는 단계; 상기 글라스형 웨어러블 디바이스가 디스플레이부에 상기 콘텐츠목록정보를 표시하는 단계; 사용자로부터 사용자입력부를 통해 콘텐츠 선택명령 또는 상기 외부디바이스의 제어명령 입력을 받는 단계; 및 무선통신을 통해 상기 외부디바이스로 상기 입력된 명령을 전송하여 제어하는 단계;를 포함한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 상기 글라스형 웨어러블 디바이스가 상기 외부디바이스의 화면 이미지를 획득하고, 상기 화면 이미지에 기준좌표를 설정하는 단계; 상기 글라스형 웨어러블 디바이스의 제1카메라가 상기 사용자의 상기 외부디바이스의 화면을 터치조작하는 영상을 획득하는 단계; 상기 영상을 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악하는 단계; 상기 외부디바이스로 상기 좌표정보를 전송하는 단계; 및 상기 외부디바이스의 상기 좌표정보에 해당하는 부분에 입력신호를 제공하는 단계;를 포함한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 제1카메라가 상기 매장의 이름을 포함하는 영상을 획득하는 단계; 상기 영상에서 상기 매장의 이름을 인식하는 단계; 사용자의 현재위치를 인식하는 단계; 상기 매장의 이름과 위치정보를 바탕으로, 매장정보를 탐색하는 단계; 및 상기 글라스형 웨어러블 디바이스가 상기 탐색된 매장정보를 사용자에게 알림하는 단계;를 포함한다.
본 발명의 일실시예에 따른 웨어러블 디바이스를 이용한 정보처리방법은, 상기 글라스형 웨어러블 디바이스의 제1카메라가 회사명칭 또는 회사로고를 포함하는 영상을 획득하는 단계; 상기 영상에 포함된 상기 회사명칭 또는 회사로고를 인식하는 단계; 상기 회사명칭 또는 회사로고를 바탕으로 회사정보를 탐색하는 단계; 및 상기 글라스형 웨어러블 디바이스가 상기 탐색된 회사정보를 사용자에게 제공하는 단계;를 포함한다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
첫째, 사용자는 실내에서 외부디바이스의 위치를 파악하지 못하는 경우(예를 들어, 이동단말기가 쇼파 사이에 빠지는 경우 등)에 외부디바이스의 위치를 글라스형 웨어러블 디바이스의 디스플레이부에 시각적으로 표시해주어 사용자가 외부디바이스를 용이하게 찾을 수 있도록 도와주는 효과가 있다.
둘째, 사용자는 증강현실 영상으로 이동단말기의 위치를 제공해줄 수 있어서, 실제로 어디에 외부디바이스가 있는지를 시각적으로 인식할 수 있는 효과가 있다.
셋째, 실내 측위 기술을 적용하여 외부디바이스와 글라스형 웨어러블 디바이스의 정확한 실내 위치를 측정할 수 있어, 사용자에게 외부디바이스로부터 떨어진 거리와 외부디바이스가 위치한 방향을 정확하게 알려줄 수 있다.
넷째, 본 발명의 일실시예를 통해, 사용자가 광고를 응시한 시간 및 응시한 횟수 등을 측정할 수 있고, 이를 이용하여 광고 효과를 측정할 수 있다.
다섯째, 광고 응시시간 및 응시횟수 데이터를 종합하여 지역별, 광고별, 연령별 등 다양한 관점에서의 광고 효과 분석을 할 수 있다. 이러한 광고 효과 분석을 통해 광고단가를 결정하는데 도움을 줄 수 있다.
여섯째, 사용자가 외부디바이스를 이용하면서 보행하는 경우에 전방상황을 외부디바이스의 화면을 통해 용이하게 확인할 수 있어, 외부 상황의 급격한 변화, 특히 사용자의 전방에 나타나는 장애물에 대한 사용자의 능동적이고 신속한 대처를 가능하게 해주는 효과를 제공한다.
일곱째, 사용자가 고개를 숙이고 상기 외부디바이스를 사용하면서 보행하는 경우에도 글라스형 웨어러블 디바이스의 카메라 각도가 조절되어 사용자의 전방에 해당하는 영상을 획득하여 제공하는 효과가 있다.
여덟째, 본 발명의 일실시예를 통해, 사용자는 방문한 장소의 안내지도를 쳐다보는 간단한 동작만으로 방문한 장소의 이벤트정보들을 탐색하여 제공받을 수 있다. 이를 통해, 사용자는 간편하게 이벤트정보를 확인할 수 있다.
아홉째, 사용자는 예정하지 않고 특정 장소에 방문한 경우에 이벤트정보를 직접 검색할 필요없이 글라스형 웨어러블 디바이스를 통해 획득할 수 있어서, 이벤트를 놓치는 것을 방지하는 효과가 있다.
열번째, 사용자는 외부디바이스 내의 컨텐츠에 접근하기 위해서 직접 컴퓨터 등에 외부 디바이스를 연결할 필요없이, 글라스형 웨어러블 디바이스를 이용하여 간편하게 상기 외부디바이스 내 콘텐츠를 관리할 수 있다.
열한번째, 사용자는 글라스형 웨어러블 디바이스를 이용하여 사용자가 외부디바이스를 주시하거나 외부디바이스에 해당하는 음성명령을 상기 글라스형 웨어러블 디바이스에 입력하는 등의 간단한 방법을 통해 콘텐츠를 획득할 외부디바이스에 접근할 수 있다.
열두번째, 사용자가 글라스형 웨어러블 디바이스를 이용하여 외부디바이스에 접근하기 위해서 외부디바이스의 사용자임을 인증하여야 하므로, 개인의 프라이버시가 침해되는 문제를 예방할 수 있다.
열세번째, 글라스형 웨어러블 디바이스를 외부디바이스가 연결된 무선통신에 연결하거나, 글라스형 웨어러블 디바이스로 직접 무선통신을 이용하여 외부디바이스에 연결하면 되므로, 사용자는 하나의 글라스형 웨어러블 디바이스를 이용하여 가정, 직장 등의 여러 장소의 외부디바이스 내 콘텐츠를 관리할 수 있다.
열네번째, 사용자는 터치패널이 적용되지 않은 외부디바이스를 사용할 때에도 글라스형 웨어러블 디바이스와의 연동만으로 외부디바이스의 터치조작을 구현할 수 있다.
열다섯째, 외부디바이스에 터치패널이 포함되어 터치스크린 기능이 가능한 경우, 외부디바이스의 가격이 증가한다. 따라서 사용자는 터치패널이 포함되지 않은 낮은 가격의 외부디바이스를 구입해서 동일한 터치스크린 기능을 구현할 수 있어, 비용 절감을 할 수 있다.
열여섯째, 글라스형 웨어러블 디바이스에 의해 입력되는 영상을 기준좌표가 설정된 이미지에 맞게 보정할 수 있어, 사용자가 다양한 자세 또는 방향에서 상기 외부디바이스의 화면을 주시하더라도 터치조작에 의한 신호입력이 이루어질 수 있다.
열일곱째, 사용자는 매장의 이름을 주시할 때 상기 매장의 매장정보를 바로 제공받을 수 있어, 사용자가 할인 혜택을 적용받을 수 있는 매장인지 여부를 바로 확인할 수 있다.
열여덟째, 사용자가 매장 외부에서 매장의 이름을 주시하여 바로 매장 내에 빈좌석 또는 빈방이 있는지 여부를 확인할 수 있어, 내부에 진입하였다가 좌석이나 방이 없는 상황이 발생하는 것을 방지할 수 있다.
열아홉째, 사용자정보를 바탕으로 사용자가 혜택을 받을 수 있는 할인정보 또는 이벤트정보를 선별하여 제공해주어, 사용자가 제공받을 수 있는 혜택을 바로 인지할 수 있다.
또한, 매장정보 탐색을 위해 글라스형 웨어러블 디바이스를 이용하므로, 스마트폰을 이용하는 방식보다 다양한 방식으로 사용자가 매장정보를 제공받기를 원하는 매장을 선택할 수 있다. 특히, 사용자가 눈으로 바라보는 매장을 바로 인식하는 방법을 사용할 수 있어서 간편하게 매장정보를 탐색하기를 원하는 매장을 선택할 수 있다.
또한, 사용자는 회사정보를 얻고 싶은 회사명칭 또는 회사로고를 주시하는 것만으로 탐색을 통해 바로 회사정보를 제공받을 수 있다.
또한, 새로운 사람과 미팅을 하는 중에 사용자가 상대방에 관한 정보를 확인하고 있다는 사실을 상대방이 인지하지 못하도록, 사용자가 글라스형 웨어러블 디바이스를 통해 상대방의 회사 및 부서에 대한 정보를 획득하여 몰래 확인할 수 있는 효과가 있다. 이를 통해, 타인과의 원활한 미팅이 가능하고, 타인이 자신에 대해 잘 알고 있다는 생각이 들도록 할 수 있다.
또한, 사용자가 탐색을 원하는 회사정보만을 필터링하여 제공받을 수 있어서, 사용자가 원하는 정보만을 신속하게 얻을 수 있는 효과가 있다. 사용자의 상황에서 필요한 정보만 제공받을 수 있어, 사용자가 불필요한 정보를 포함한 다수의 정보 중에서 필요한 정보를 선별하기 위해 시간을 허비하는 것을 방지할 수 있다.
도 1은 본 발명의 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템의 블록 구성도(block diagram)이다.
도 2는 본 발명의 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
도 3은 본 발명의 실시예들과 관련된 글라스형 웨어러블 디바이스, 외부서버 및 외부디바이스의 연결관계도이다.
도 4는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 연동된 외부디바이스 위치 탐색 방법에 대한 순서도이다.
도 5는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스의 디스플레이부에 외부디바이스 위치정보를 표시한 예시도면이다.
도 6는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 광고 효과 측정 방법의 순서도이다.
도 7은 본 발명의 실시예에 따라 글라스형 웨어러블 디바이스가 현재 위치를 측정하는 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스 및 촬영정보 관리서버를 이용한 실시간 전방주시시스템의 내부구성도이다.
도 9은 본 발명의 일실시예에 따라 외부디바이스에 전방영상이 표시된 예시도면이다.
도 10은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 실시간 전방주시시스템의 내부구성도이다.
도 11은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 실시간 전방주시방법의 순서도이다.
도 12는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 이벤트정보 제공서비스방법 에 대한 순서도이다.
도 13은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스가 제1카메라를 통해 안내지도를 포함한 영상을 획득하는 예시도면이다.
도 14는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스가 획득한 이미지를 통해 안내지도에 해당하는 장소를 인식하여 디스플레이부에 표시한 예시도면이다.
도 15는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스가 획득한 이미지 내 안내지도에 이벤트정보를 표시하는 예시도면이다.
도 16은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 방법에 대한 순서도이다.
도 17은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스가 제1카메라를 통해 외부디바이스가 포함된 이미지를 획득하는 예시도면이다.
도 18은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스가 획득한 이미지를 통해 외부디바이스를 인식하여 디스플레이부에 표시한 예시도면이다.
도 19는 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스가 실내 무선통신망을 통해 외부디바이스와 연결하는 연결관계도이다.
도 20은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스가 직접 외부디바이스와 연결하는 연결관계도이다.
도 21는 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부디바이스의 입력신호 제공방법에 대한 순서도이다.
도 22는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스가 획득한 사용자의 터치조작 이미지의 예시도면이다.
도 23은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 매장정보 제공서비스 방법에 대한 순서도이다.
도 24은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스가 매장의 이름을 포함한 영상을 획득하는 예시도면이다.
도 25는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 디스플레이부에 매장정보를 표시한 예시도면이다.
도 26은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 회사정보 탐색서비스 방법에 대한 순서도이다.
도 27은 본 발명의 일실시예에 따라 글라스형 웨어러블 디바이스가 회사명칭 또는 회사로고를 포함한 영상을 획득하는 예시도면이다.
도 28은 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스의 디스플레이부에 수신한 회사정보를 표시한 예시도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 또는 소자의 존재 또는 추가를 배제하지 않는다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 실시예들과 관련된 글라스형 웨어러블 디바이스 시스템(10)의 블록 구성도(block diagram)이다.
도 1을 참조하면, 본 발명의 일실시예들과 관련된 글라스형 웨어러블 디바이스 시스템(10)은 입력부(100), 사용자입력부(110), 키보드(111), 터치패드(112), 카메라부(120), 제1카메라(121), 제2카메라(122), 제3카메라(123), 센싱부(130), 자이로센서(131), 가속도센서(132), 압력센서(133), 홍채인식센서(134), 심박검출센서(135), 근전도센서(136), 음성입력부(140), 제어부(210), 음성인식부(220), 인터페이스부(230), 음성-텍스트변환모듈(240), 무선통신부(250), 메모리(260), 출력부(300), 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱모듈(340)의 전부 또는 일부를 포함한다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 글라스형 웨어러블 디바이스가 구현될 수도 있다.
도 2는 본 발명의 실시예들과 관련된 글라스형 웨어러블 디바이스의 예시도면이다.
상기 구성요소들은 도 2에서와 같은 글라스형 웨어러블 디바이스의 내부 또는 일측에 구비될 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
입력부(100)는 오디오 신호, 비디오 신호, 사용자의 조작신호, 생체신호 등의 입력을 위한 것이다. 입력부(100)는 사용자입력부(110), 카메라부(120), 센싱부(130), 음성입력부(140)를 포함한다.
사용자입력부(110)는 사용자가 디바이스의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자입력부(110)는 키패드(key pad), 키보드(111), 돔 스위치(dome switch), 터치패드(정압/정전)(112), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(310)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
카메라(120)는 비디오 신호 또는 이미지 신호 입력을 위한 것으로, 디바이스의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 카메라(120)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고 처리된 화상 프레임은 디스플레이부(310)에 표시될 수 있다. 또한, 카메라(120)에서 처리된 화상 프레임은 메모리(260)에 저장되거나 무선통신부(250)를 통하여 외부로 전송될 수 있다. 또한, 이미지 신호 또는 비디오 신호가 정보처리를 위한 입력으로 쓰이는 경우, 제어부(210)로 이미지 신호 및 비디오 신호를 전달한다.
카메라부(120)는 촬영하는 영상의 방향 또는 목적에 따라 하나 이상의 카메라를 포함할 수 있다. 제1카메라(121)는 글라스형 웨어러블 디바이스의 일측에 구비되어 전방의 영상을 촬영할 수 있다. 제2카메라(122)는 글라스형 웨어러블 디바이스의 일측에 구비되어 안구 방향의 영상을 획득할 수 있다. 제3카메라(123)는 글라스형 웨어러블 디바이스(10)의 후방 또는 측방에 구비되어, 후방 또는 측방의 영상을 획득할 수 있다.
센싱부(130)는 사용자의 글라스형 웨어러블 디바이스(10)의 착용여부, 디바이스의 위치 등과 같이 디바이스의 현 상태를 감지하여 디바이스의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 센싱부(130)는 디바이스의 정보처리를 위한 입력신호를 받는 입력부의 기능을 담당할 수 있으며, 외부 기기 연결 여부 인식 등의 다양한 센싱 기능을 담당할 수 있다.
센싱부(130)는 근접센서(Proximity Sensor), 압력센서(133), 모션 센서, 지문인식센서, 홍채인식센서(134), 심박검출센서(135), 피부온도센서, 피부저항센서 및 심전도센서 등의 다양한 센서를 포함할 수 있다.
근접센서는 접근하는 물체나, 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서는 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서는 구성 태양에 따라 2개 이상이 구비될 수 있다.
압력센서(133)는 디바이스에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 압력센서(133)는 사용환경에 따라 디바이스에서 압력의 검출이 필요한 부위에 설치될 수 있다. 만일, 압력센서(133)가 디스플레이부(310)에 설치되는 경우, 압력센서(133)에서 출력되는 신호에 따라, 디스플레이부(310)를 통한 터치 입력과, 터치 입력보다 더 큰 압력이 가해지는 압력터치 입력을 식별할 수 있다. 또한, 압력센서(133)에서 출력되는 신호에 따라, 압력터치 입력 시에 디스플레이부(310)에 가해지는 압력의 크기도 알 수 있다.
모션 센서는 자이로센서(131), 가속도센서(132), 지자기센서 등의 센서 중에서 하나 이상을 포함하며, 이를 이용하여 디바이스의 위치나 움직임 등을 감지한다. 모션 센서에 사용될 수 있는 가속도센서(132)는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 또한, 자이로센서(131)는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
심박검출센서(135)는 심장 박동에 의한 혈관 굵기의 변화에 따른 광혈류량의 변화를 측정한다. 피부 온도 센서는 온도 변화에 반응하여 저항값이 변화하는 것에 따라 피부 온도를 측정한다. 피부 저항 센서는 피부의 전기 저항을 측정한다.
홍채인식센서(134)는 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인식하는 기능을 수행한다. 사람의 홍채는 생후 18개월 이후 완성된 뒤, 홍채의 내측연 가까이에 융기되어 있는 원형의 홍채 패턴은 한번 정해지면 거의 변하지 않고, 또 사람마다 모양이 모두 다르다. 따라서 홍채인식은 사람마다 각기 다른 홍채의 특성을 정보화해 이를 보안용 인증기술로 응용한 것이다. 즉, 홍채의 모양과 색깔, 망막 모세혈관의 형태소 등을 분석해 사람을 식별하기 위한 수단으로 개발한 인증방식이다.
홍채인식센서(134)는 홍채의 패턴을 코드화해 이를 영상신호로 바꾸어 비교판단하는데, 일반적인 작동 원리는 다음과 같다. 먼저 일정한 거리에서 홍채인식기 중앙에 있는 거울에 사용자의 눈이 맞춰지면, 적외선을 이용한 카메라가 줌렌즈를 통해 초점을 조절한다. 이어 홍채 카메라가 사용자의 홍채를 사진으로 이미지화한 뒤, 홍채 인식 알고리즘이 홍채의 명암 패턴을 영역별로 분석해 개인 고유의 홍채 코드를 생성한다. 마지막으로 홍채 코드가 데이터베이스에 등록되는 것과 동시에 비교 검색이 이루어진다. 상기 홍채인식센서(134)는 안구방향으로 배치된 제2카메라(122)에 내부에 구비될 수 있으며, 이러한 경우 홍채인식센서의 기능을 상기 제2카메라(122)가 수행할 수 있다.
음성입력부(140)는 음성신호의 입력을 위한 것으로 마이크 등이 포함될 수 있다. 마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고 처리된 음성 데이터는 통화 모드인 경우 무선통신부(250)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
출력부(300)는 오디오 신호, 이미지신호, 비디오 신호 또는 알람(alarm) 신호 등의 출력을 위한 것이다. 출력부(300)에는 디스플레이부(310), 음향출력부(320), 알람부(330), 및 햅틱 모듈(340) 등이 포함될 수 있다.
디스플레이부(310)는 디바이스에서 처리되는 정보를 표시 출력한다. 예를 들어 디바이스가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 디바이스가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(310)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이부(310)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(310)가 터치스크린으로 구성되는 경우, 터치스크린 패널, 터치스크린 패널 제어기 등을 포함할 수 있다.
이외에도 디스플레이부(310)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 디바이스의 구현 형태에 따라 디스플레이부(310)가 2개 이상 존재할 수도 있다. 예를 들어, 디바이스에 외부 디스플레이부(310)와 내부 디스플레이부(310)가 동시에 구비될 수 있다.
디스플레이부(310)는 HUD(Head up Display), HMD(Head mounted Display) 등으로 구현될 수 있다. HMD(Head mounted Display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치다. HUD(Head up Display)는 사용자의 가시영역 내의 유리에 가상 화상(virtual image)을 투영시키는 영상표시장치이다.
음향출력부(320)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리(260)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(320)은 디바이스에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(320)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(330)는 디바이스의 이벤트 발생을 알리기 위한 신호를 출력한다. 디바이스에서 발생하는 이벤트의 예로는 호신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(330)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. 알람부(330)는 호신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위해 신호를 출력할 수 있다. 또한. 알람부(330)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(330)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 디바이스에서 이벤트 발생 알림을 위한 신호는 디스플레이부(310)나 음향출력부(320)를 통해서도 출력될 수 있다.
햅틱 모듈(haptic module)(340)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(340)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(340)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(340)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
무선통신부(250)는 방송수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 및 위치정보모듈 등을 포함할 수 있다.
방송수신 모듈은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.
방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다.
방송수신 모듈은, 각종 방송 시스템을 이용하여 방송 신호를 수신하며, 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈을 통해 수신된 방송신호 또는 방송 관련 정보는 메모리(260)에 저장될 수 있다.
이동통신 모듈은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 비콘(Beacon), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
위치정보모듈은 측위신호를 수신하여 글라스형 웨어러블 디바이스의 위치를 측정하는 모듈을 말한다. 예를 들어, 상기 위치정보모듈은 GPS(Global Position System) 모듈이 해당될 수 있으며, 측위신호는 GPS 신호가 해당될 수 있다. GPS(Global Position System) 모듈은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
메모리(260)는 제어부(210)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(260)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스는 인터넷(internet) 상에서 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다. 메모리(260)는 이하 저장부(260)로 표현될 수 있다.
인터페이스부(230)는 디바이스에 연결되는 모든 외부디바이스와의 인터페이스 역할을 수행한다. 디바이스에 연결되는 외부디바이스의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM(Subscriber Identification Module)이나 UIM(User Identity Module) 카드 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(230)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 디바이스 내부의 각 구성 요소에 전달할 수 있고, 디바이스 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(210)는 통상적으로 상기 각부의 동작을 제어하여 디바이스의 전반적인 동작을 제어하는 기능을 수행한다. 예를 들어 음성 통화, 데이터 통신 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(210)는 멀티미디어 재생을 위해 데이터를 처리하는 기능을 수행한다. 또한, 입력부 또는 센싱부(130)로부터 입력받은 데이터를 처리하는 기능을 수행한다.
또한, 제어부(210)는 얼굴인식을 위한 얼굴 검출 및 얼굴 인식을 수행한다. 즉, 제어부(210)는 얼굴인식을 위한 얼굴검출모듈 및 얼굴인식모듈을 포함할 수 있다. 얼굴검출모듈은 카메라부(120)에 의해 획득된 카메라 영상에서 얼굴영역만을 추출할 수 있다. 예를 들어, 얼굴검출모듈은 눈, 코, 입 등의 얼굴 내 특징요소를 인식하여 얼굴영역을 추출할 수 있다. 얼굴인식모듈은 추출된 얼굴영역에서 특징정보를 추출하여 템플릿을 생성하고, 얼굴데이터베이스 내의 얼굴정보 데이터와 탬플릿 비교를 수행하여 얼굴을 인식할 수 있다.
또한, 제어부(210)는 카메라부(120)에 의해 획득된 영상 내에서 문자를 추출하여 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 문자인식을 위한 문자인식모듈을 포함할 수 있다. 상기 문자인식모듈의 문자 인식 방법으로 광학문자인식(Optical Character Recognition; OCR)방식을 적용할 수 있다. 상기 OCR방식은 이미지 스캔으로 얻을 수 있는 사람이 쓰거나 기계로 인쇄한 문서의 활자 영상을 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환하는 것으로, 소프트웨어로 구현이 가능한 방식이다. 예를 들어, 상기 OCR방식은 미리 준비된 몇 개의 표준 패턴문자와 입력문자를 비교하여 표준 패턴문자와 가장 유사한 것을 해당 문자로 선정할 수 있다. 상기 문자인식모듈이 다양한 언어의 표준 패턴문자를 구비하면, 다양한 언어의 인쇄된 활자를 판독할 수 있다. 이러한 방식을 OCR방식 중 Pattern matching기법이라고 하며, 상기 OCR방식은 이에 한정되지 아니하고 다양한 방법이 적용될 수 있다. 또한, 문자인식모듈의 문자인식 방식은 OCR방식에 한정되지 아니하고, 이미 인쇄되어 있는 오프라인상의 문자를 인식할 수 있는 다양한 방식이 적용될 수 있다.
또한, 제어부(210)는 제2카메라(122)가 획득한 안구방향 영상을 바탕으로 시선방향을 인식하는 기능을 수행할 수 있다. 즉, 제어부(210)는 시선방향 인식을 수행하는 시선분석모듈을 포함할 수 있다. 사용자의 주시방향과 시선방향을 측정한 후 합성에 의해 계산하여 사용자가 바라보는 방향을 파악할 수 있다. 상기 주시방향은, 사용자의 얼굴 방향을 의미하여, 센싱부(130)의 자이로센서(131) 또는 가속도센서(132)에 의해 측정될 수 있다. 상기 시선방향은, 사용자의 동공이 바라보는 방향으로, 시선분석모듈에 의해 파악될 수 있다. 시선분석모듈은, 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산하는 방식 등을 적용할 수 있다. 예를 들어, 영상처리 방법을 통해 동공의 중심 및 조명에 의한 각막 반사광의 위치를 추출하여 이들의 위치 관계를 통해 시선 위치를 계산할 수 있다.
전원 공급부는 제어부(210)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
음성인식부(220)는 자동적 수단에 의하여 음성으로부터 언어적 의미 내용을 식별하는 기능을 수행한다. 구체적으로 음성파형을 입력하여 단어나 단어열을 식별하고 의미를 추출하는 처리 과정이며, 크게 음성 분석, 음소 인식, 단어 인식, 문장 해석, 의미 추출의 5가지로 분류된다. 음성인식부(220)는 저장된 음성과 입력된 음성이 동일한지 비교하는 음성평가모듈을 더 포함할 수 있다. 또한, 음성인식부(220)는 입력된 음성을 텍스트로 변환하거나, 텍스트를 음성으로 변환하는 음성-텍스트변환모듈(240)도 더 포함할 수 있다.
도 3은 본 발명의 실시예들과 관련된 글라스형 웨어러블 디바이스(10), 외부서버(20) 및 외부디바이스(30)의 연결관계도이다.
글라스형 웨어러블 디바이스(10)는 정보처리를 위한 수행 과정을 내부에서 모두 수행할 수도 있으나, 외부서버(20)가 정보처리의 일부를 수행할 수 있다. 따라서, 글라스형 웨어러블 디바이스(10)는 입력부(100)를 통해 획득된 데이터 또는 일부 정보처리가 수행된 데이터를 정보처리요청데이터로 외부서버(20)에 전송할 수 있다. 글라스형 웨어러블 디바이스(10)는 외부서버(20)에서 정보처리 수행된 정보처리결과데이터를 무선통신을 통해 수신할 수 있다. 글라스형 웨어러블 디바이스(10)는 수신된 정보처리결과데이터를 출력부(300)를 통해 다양한 방식으로 사용자에게 제공할 수 있다. 외부서버(20)는 글라스형 웨어러블 디바이스(10)에서 수행되는 서비스에 따라 상이할 수 있다.
글라스형 웨어러블 디바이스(10)는 자체의 출력부(300)를 통해 사용자에게 정보처리결과데이터를 제공할 수 있고, 외부디바이스(30)를 이용하여 정보처리결과데이터를 제공할 수도 있다. 즉, 글라스형 웨어러블 디바이스(10)가 정보처리 과정 전체를 수행하는 경우, 외부디바이스(30)는 글라스형 웨어러블 디바이스(10)로부터 수신된 정보처리결과데이터를 출력할 수 있다. 또한, 외부서버(20)가 글라스형 웨어러블 디바이스(10)로부터 정보처리요청데이터를 수신하여 일부 정보처리 과정을 수행하는 경우, 외부디바이스(30)는 외부서버(20)로부터 수신된 정보처리결과데이터를 출력할 수 있다. 외부디바이스(30)은, 스마트폰, 태블릿PC, 스마트 TV, 자동차 내부에 구비된 출력부(예를 들어, 차량 유리에 구비된 디스플레이부 또는 차량 내부 음향출력부) 등의 다양한 디바이스가 포함될 수 있다.
또한, 글라스형 웨어러블 디바이스(10)는 외부디바이스(30)로부터 송신되는 무선통신신호(예를 들어, 무선통신태그(30)인 비콘태그로부터 송신되는 비콘신호)를 수신할 수 있다. 글라스형 웨어러블 디바이스(10)는 수신한 무선통신신호를 이용하여 정보처리를 수행할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 글라스형 웨어러블 디바이스와 연동된 외부디바이스 위치 탐색시스템 및 그 방법에 대해 설명하기로 한다.
도 4는 글라스형 웨어러블 디바이스를 이용한 연동된 외부디바이스 위치 탐색 방법에 대한 순서도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용하여 연동된 외부디바이스(30)의 위치를 탐색하는 방법은, 글라스형 웨어러블 디바이스가 외부디바이스로 위치알림요청신호를 발신하는 단계(S100); 상기 외부디바이스로부터 제1위치정보를 포함하는 위치정보신호를 수신하는 단계(S110); 제2위치정보를 기준으로 상기 외부디바이스까지의 거리 또는 방향을 산출하는 단계(S120); 및 상기 글라스형 웨어러블 디바이스가 상기 외부디바이스의 위치 알림을 제공하는 단계(S130);를 포함할 수 있다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 연동된 외부디바이스(30) 위치 탐색 방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스가 외부디바이스로 위치알림요청신호를 발신한다(S100). 상기 위치알림요청신호는 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)로 전송하여 외부디바이스(30)의 위치정보를 제공해줄 것을 요청하는 신호이다. 글라스형 웨어러블 디바이스(10)가 무선통신을 통해 전송한 위치알림요청신호를 외부디바이스(30)가 수신할 수 있다. 상기 무선통신 방식은 실내에 전체적으로 발신된 신호를 외부디바이스(30)가 엑티브 센싱(Active sensing)하는 형태가 될 수 있고, 글라스형 웨어러블 디바이스(10)와 외부디바이스(30)의 연동에 의해 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)로 직접 신호를 전송하는 형태(예를 들어, 블루투스 페어링 방식)가 될 수 있다.
글라스형 웨어러블 디바이스(10)가 외부디바이스로부터 제1위치정보를 포함하는 위치정보신호를 수신한다(S110). 상기 제1위치정보는 상기 외부디바이스의 실내위치에 관한 것이다.
상기 외부디바이스의 제1위치정보 측정 방식으로는 다양한 방식이 적용될 수 있다. 일실시예로, 외부디바이스가 실내의 무선신호(예를 들어, 실내의 와이파이(Wi-Fi) 신호, 비콘 신호 등)를 수신하여 실내측위를 수행하는 방식을 적용할 수 있다. 외부디바이스(30)는 상기 무선신호를 수신하여 상기 신호의 세기, 방향, 종류 등을 측정하여 제1위치정보를 획득할 수 있다. 예를 들어, 상기 신호의 세기를 측정하여 무선신호원으로부터 떨어진 거리를 인식하고, 상기 신호의 방향을 측정하여 무선신호원을 기준으로 외부디바이스(30)가 위치한 방향을 인식할 수 있다. 상기 측정된 거리정보와 방향정보를 바탕으로 외부디바이스(30)의 실내 위치정보를 파악할 수 있다. 다만, 상기 무선신호를 이용한 실내측위 방식은 이에 한정되지 아니하고, 상기 신호의 세기, 종류, 또는 방향 중 적어도 어느 하나에 의해서 실내측위를 수행할 수도 있으며, 실내의 신호 지문지도를 이용하여 외부디바이스(30)의 실내위치를 측정하는 등 다양한 방식이 적용될 수 있다.
글라스형 웨어러블 디바이스(10)가 제2위치정보를 기준으로 상기 외부디바이스까지의 거리 또는 방향을 산출한다(S120). 상기 제2위치정보는 글라스형 웨어러블 디바이스의 실시간 위치에 관한 것이다.
글라스형 웨어러블 디바이스(10)로부터 외부디바이스까지의 거리 또는 방향은 공간좌표를 이용하여 표현될 수 있다. 즉, 글라스형 웨어러블 디바이스(10)는 외부디바이스(30)로부터 떨어진 위치를 글라스형 웨어러블 디바이스의 현위치(즉, 제2위치정보)를 바탕으로 좌표로 표현할 수 있다. 상기 좌표는 직교좌표, 극좌표계, 구면좌표계 등 다양한 방식이 적용될 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)는 외부디바이스의 위치를 수신한 위치정보신호의 세기 및 방향을 바탕으로 구면좌표계에 적용할 수 있다. 글라스형 웨어러블 디바이스(10)는 신호의 세기를 통해 글라스형 웨어러블 디바이스(10)로부터 외부디바이스(30)까지의 거리를 파악하고, 상기 신호의 방향을 통해 신호의 고저각 및 방위각을 파악할 수 있다. 이를 통해, 글라스형 웨어러블 디바이스(10)의 위치를 원점O(0,0,0), 측정대상인 외부디바이스의 위치를 P(x,y,z)로 설정하고, 상기 거리를 반지름(r), 90도에서 고저각을 차감한 값을 선분OP와 Z축 사이 이루는 각(θ), 및 상기 방위각을 상기 P의 xy평면으로의 정사영Q(x,y,0)을 원점O와 연결한 선분OQ와 x축(예를 들어, 북측으로 설정)의 양의방향이 이루는 각(φ)으로 적용함으로써 구면좌표계를 사용할 수 있다. 다만, 구면좌표계를 적용하여 위치를 계산하는 방식은 이에 한정되지 않고 다양한 방식이 적용될 수 있다. 또한, 외부디바이스(30)의 측정된 위치로부터의 상기 글라스형 웨어러블 디바이스(100)의 좌표를 계산하는 방법은 상기 위치알림요청신호의 세기와 방향을 측정하는 방식에 한정되지 않고, 상기 글라스형 웨어러블 디바이스(100)의 위치를 측정하여 외부디바이스(30)의 측정된 위치와 비교하는 방식 등의 다양한 좌표계산방식이 적용될 수 있다.
글라스형 웨어러블 디바이스(10)의 위치를 측정하여 외부디바이스(30)의 측정된 위치와 비교하는 방식은, 외부디바이스(30)의 측정된 위치와 글라스형 웨어러블 디바이스(10)의 위치 사이의 좌표 계산 시에 글라스형 웨어러블 디바이스(10)의 현재 위치를 측정하는 단계; 및 글라스형 웨어러블 디바이스(10)의 현재 위치와 상기 측정된 외부디바이스(30)의 현재 위치를 바탕으로, 글라스형 웨어러블 디바이스(10)를 기준점으로 하여 좌표를 계산하는 단계;를 더 포함할 수 있다.
글라스형 웨어러블 디바이스(10)의 현재위치(즉, 제2위치정보) 측정은, 글라스형 웨어러블 디바이스(10)가 수신한 실내의 무선신호를 바탕으로 실내측위를 수행하는 방식, 글라스형 웨어러블 디바이스(10)가 획득한 전방영상을 바탕으로 현재 위치를 인식하는 방식 등에 의해서 수행될 수 있다.
글라스형 웨어러블 디바이스(10)가 수신한 실내의 무선신호를 바탕으로 실내측위를 수행하는 방식은, 글라스형 웨어러블 디바이스(10)가 상기 무선신호를 수신하여 신호의 세기, 방향, 종류 등을 측정하여 위치를 측정할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)가 상기 신호의 세기를 측정하여 무선신호원으로부터 떨어진 거리를 인식하고, 상기 신호의 방향을 측정하여 상기 무선신호원을 기준으로 글라스형 웨어러블 디바이스(10)가 위치한 방향을 인식할 수 있다. 상기 무선신호는 실내의 와이파이(Wi-Fi) 신호, 비콘 신호 등이 적용될 수 있다. 상기 측정된 무선신호의 세기, 방향, 종류 등의 데이터를 이용하여 글라스형 웨어러블 디바이스(10)가 직접 위치를 계산하거나, 상기 데이터를 외부디바이스(30)로 송신하여 외부디바이스(30)가 글라스형 웨어러블 디바이스(10)의 위치를 계산할 수 있다. 다만, 상기 무선신호를 수신하여 실내측위를 수행하는 방식은 이에 한정되지 아니하고, 상기 신호의 세기, 종류, 또는 방향 중 적어도 어느 하나에 의해서 실내측위를 수행할 수도 있으며, 실내의 신호 분포지도를 이용하여 외부디바이스(30)의 실내위치를 측정하는 등 다양한 방식이 적용될 수 있다.
글라스형 웨어러블 디바이스(10)가 획득한 전방영상을 바탕으로 현재 위치를 인식하는 방식은, 글라스형 웨어러블 디바이스(10)가 획득한 전방영상에서 실내의 특징요소의 위치와 크기를 인식하여 실내지도 상의 위치를 파악하는 방식이다. 제1카메라(121)가 사용자가 바라보는 전방의 영상을 획득한다. 그 후, 글라스형 웨어러블 디바이스(10)는 영상 내의 특징요소를 추출한 후 상기 특징요소의 위치 또는 크기를 파악하여 저장된 실내지도(예를 들어, 상기 특징요소의 위치가 포함된 실내지도)상의 현재 위치를 파악할 수 있다.
글라스형 웨어러블 디바이스(10)가 외부디바이스의 위치 알림을 제공한다(S130). 예를 들어, 글라스형 웨어러블 디바이스(10)가 산출된 외부디바이스의 위치정보를 디스플레이부(310)에 시각화할 수 있다. 디스플레이부(310)는, 도 5에서와 같이, 실내지도에 상기 위치정보를 표시하여 사용자에게 시각적으로 제공할 수 있다.
또한, 디스플레이부(310)는 외부디바이스(30)의 위치를 증강현실 형태로 생성하여 표시할 수 있다. 글라스형 웨어러블 디바이스(10)가 바라보는 방향과 현재위치를 인식하여 증강현실의 형태로 외부디바이스(30)의 위치를 표시할 수 있다.
또한, 본 발명의 일실시예는 글라스형 웨어러블 디바이스(10)가 바라보는 제1방향정보를 인식하는 단계; 및 상기 제1방향과 외부디바이스(30)로부터 수신한 상기 신호에 따른 제2방향정보를 비교하고, 상기 방향의 일치여부의 알림을 사용자에게 수행하는 단계;를 더 포함할 수 있다. 상기 제1방향정보 및 상기 제2방향정보는 방위각 또는 고저각을 포함할 수 있다. 글라스형 웨어러블 디바이스(10)는 자이로센서 또는 지자기센서 등으로 방위각을 측정하고, 가속도센서 등으로 고저각을 측정할 수 있다. 상기 알림은 디스플레이부(310)에 표시하여 사용자에게 알리는 방식, 음향출력부에 의해 사용자에게 알리는 방식, 진동알람에 의해 사용자에게 알리는 방식 등 다양한 방식이 적용될 수 있다.
글라스형 웨어러블 디바이스(10)는 제2방향정보를 다양한 방식으로 획득할 수 있다. 일실시예로, 글라스형 웨어러블 디바이스(10)는 산출된 외부디바이스(30)의 좌표정보를 통해 제2방향정보를 획득할 수 있다. 다른 일실시예로, 글라스형 웨어러블 디바이스(10)가 위치정보신호의 송신방향을 인식하여 제2방향정보를 획득할 수 있다. 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)에 의해 송신된 위치정보신호의 송신방향을 인식하고, 글라스형 웨어러블 디바이스(10)의 주시방향인 제1방향과 외부디바이스(30)가 위치하는 방향인 제2방향이 일치하는지 더욱 정확하게 인식할 수 있다. 글라스형 웨어러블 디바이스(10)는 좌표정보를 바탕으로 제2방향을 파악할 때 위치정보신호의 송신방향을 함께 이용하여 정확한 외부디바이스(30)의 방향을 파악할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스의 광고 효과 측정 방법에 대해 설명하기로 한다.
도 6은 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스의 광고 효과 측정 방법 순서도이다.
도 6을 참조하면, 글라스형 웨어러블 디바이스를 이용한 광고 효과 측정 방법은, 디스플레이부(310) 상에 좌표 정보를 가지는 광고를 표시하는 단계(S200), 제2카메라(121)가 안구를 촬영하는 단계(S240), 상기 안구 영상을 분석하여 안구가 응시하고 있는 좌표를 계산하는 단계(S250), 상기 안구가 응시하고 있는 좌표와 상기 광고의 좌표를 이용하여 상기 안구가 상기 광고를 응시하였는지 여부를 판단하는 단계(S260), 상기 광고에 대한 응시시간 및 응시횟수를 저장하는 단계(S270) 및 상기 광고에 대한 응시시간 및 응시횟수를 이용하여 상기 광고의 효과를 측정하는 단계(S280)를 포함한다. 이하, 본 발명의 바람직한 일실시예에 따른 광고 효과 측정 방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스가 좌표 정보를 가지는 광고를 표시한다(S200). 이 경우, 상기 광고는 디스플레이부(310)의 한 지점을 특정 하는 좌표를 가질 수 있다. 상기 광고는 동영상, 이미지, 텍스트 중 하나 이상일 수 있다. 본 발명은 시각적으로 인지할 수 있는 모든 광고에 적용될 수 있다.
제2카메라(122)가 안구를 촬영한다(S240).
상기 안구 영상을 분석하여 안구가 응시하고 있는 좌표를 계산한다(S250). 상기 광고의 좌표를 계산하는 방식에 따라 안구가 응시하고 있는 좌표를 계산하는 방식이 달라질 수 있다. 예를 들어, 상기 광고가 디스플레이부(310)의 한 지점을 특정 하는 좌표를 가질 경우, 상기 안구가 응시하고 있는 디스플레이부(310) 상의 좌표를 계산해야 한다. 디스플레이부(310)와 제2카메라(122)는 글라스형 웨어러블 디바이스에 고정되어 있기 때문에 제2카메라(122)로 촬영된 안구영상을 분석하여 안구가 응시하고 있는 디스플레이부(310) 상의 좌표를 계산할 수 있다.
예를 들어, 상기 광고가 3차원 공간상의 한 지점을 특정 하는 좌표를 가질 경우, 상기 안구가 응시하고 있는 3차원 공간 상의 좌표를 계산해야 한다. 도 7과 같이 글라스형 웨어러블 디바이스는 3개 이상의 비콘(Beacon)으로부터 글라스형 웨어러블 디바이스의 좌표를 얻을 수 있다. 가속도 센서 및 자이로 센서를 하나 이상 활용하면 글라스형 웨어러블 디바이스가 어느 방향을 향하고 있는지 알 수 있다. 상기 글라스형 웨어러블 디바이스의 좌표, 상기 글라스형 웨어러블 디바이스의 방향 정보, 상기 안구영상을 분석하여 안구가 응시하고 있는 3차원 상의 좌표를 계산할 수 있다.
글라스형 웨어러블 디바이스(10)는 상기 안구가 응시하고 있는 좌표와 상기 광고의 좌표를 이용하여 상기 안구가 상기 광고를 응시하였는지 여부를 판단한다(S260).
글라스형 웨어러블 디바이스(10)는 상기 광고에 대한 응시시간 및 응시횟수를 저장한다(S270).
글라스형 웨어러블 디바이스(10)는 상기 광고에 대한 응시시간 및 응시횟수를 이용하여 상기 광고의 효과를 측정한다(S280). 광고에 대한 응시시간 및 응시횟수는 광고 단가를 결정하는데 영향을 줄 수 있다.
본 발명의 다른 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 광고효과 측정방법은, 근거리 통신 모듈이 내장된 광고 장치로부터 상기 광고 장치가 제공하는 광고의 좌표를 수신하는 단계(S210); 제2카메라(122)가 안구를 촬영하는 단계(S240); 상기 안구 영상을 분석하여 안구가 응시하고 있는 좌표를 계산하는 단계(S250); 상기 안구가 응시하고 있는 좌표와 상기 광고의 좌표를 이용하여 상기 안구가 상기 광고를 응시하였는지 여부를 판단하는 단계(S260); 상기 광고에 대한 응시시간 및 응시횟수를 저장하는 단계(S270) 및 상기 광고에 대한 응시시간 및 응시횟수를 이용하여 상기 광고의 효과를 측정하는 단계(S280)를 포함한다. 이하, 본 발명의 바람직한 일실시예에 따른 광고 효과 측정 방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)는 근거리 통신 모듈이 내장된 광고 장치로부터 상기 광고 장치가 제공하는 광고의 좌표를 수신한다(S210). 이 경우, 상기 광고는 3차원 공간상의 한 지점을 특정하는 좌표를 가질 수 있다. 근거리 통신 모듈이 내장된 광고는 지속적으로 상기 광고의 좌표가 포함된 데이터를 송출할 수 있다. 상기 광고로부터 일정 거리 내에 있는 글라스형 웨어러블 디바이스는 이를 송신할 수 있다. 그 후, 글라스형 웨어러블 디바이스는
제2카메라(122)가 안구를 촬영한다(S240).
글라스형 웨어러블 디바이스(10)가 상기 안구 영상을 분석하여 안구가 응시하고 있는 좌표를 계산한다(S250). 이 때, 광고장치로부터 떨어진 거리의 산출이 필요한 경우, 근거리통신모듈의 무선통신신호는 글라스형 웨어러블 디바이스가 얼마나 떨어져 있는지 거리를 측정하는데 이용될 수 있다. 예를 들어, 글라스형 웨어러블 디바이스가 4개 이상의 비콘(Beacon)으로부터 신호를 수신하면 글라스형 웨어러블 디바이스의 3차원 상의 좌표를 정확히 알 수 있다. 이를 통해, 글라스형 웨어러블 디바이스(10)는 3차원 상의 좌표와 주시하는 방향을 바탕으로 바라보는 광고장치를 정확하게 인식할 수 있다.
글라스형 웨어러블 디바이스(10)는 상기 안구가 응시하고 있는 좌표와 상기 광고의 좌표를 이용하여 상기 안구가 상기 광고를 응시하였는지 여부를 판단한다(S260). 글라스형 웨어러블 디바이스(10)는 상기 광고에 대한 응시시간 및 응시횟수를 저장한다(S270). 글라스형 웨어러블 디바이스(10)는 상기 광고에 대한 응시시간 및 응시횟수를 이용하여 상기 광고의 효과를 측정한다(S280).
본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 광고 효과 측정 방법은, 제1카메라(121)가 외부 영상을 촬영하는 단계(S220); 상기 외부 영상 중 광고를 추출하여 해당 광고의 좌표를 계산하는 단계(S230); 제2카메라(122)가 안구를 촬영하는 단계(S240), 상기 안구 영상을 분석하여 안구가 응시하고 있는 좌표를 계산하는 단계(S250), 상기 안구가 응시하고 있는 좌표와 상기 광고의 좌표를 이용하여 상기 안구가 상기 광고를 응시하였는지 여부를 판단하는 단계(S260), 상기 광고에 대한 응시시간 및 응시횟수를 저장하는 단계(S270) 및 상기 광고에 대한 응시시간 및 응시횟수를 이용하여 상기 광고의 효과를 측정하는 단계(S280)를 포함한다.
이 경우, 상기 광고는 상기 외부 영상의 한 지점을 특정 하는 좌표를 가질 수 있다. 예를 들어, 상기 광고가 상기 외부 영상의 한 지점을 특정 하는 좌표를 가질 경우, 상기 안구가 응시하고 있는 상기 외부 영상 상의 좌표를 계산해야 한다. 제1카메라(121)와 제2카메라(122)는 글라스형 웨어러블 디바이스에 고정되어 있기 때문에 특정 시점에 제1카메라(121)가 촬영한 외부 영상을 기준으로 그 시점에 상기 안구가 응시하고 있는 상기 외부 영상 상의 좌표를 계산할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스 및 촬영정보 관리서버를 이용한 실시간 전방주시시스템 및 전방주시방법에 대해 설명하기로 한다.
도 8은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스 및 촬영정보 관리서버를 이용한 실시간 전방주시시스템의 내부구성도이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 실시간 전방주시시스템은, 글라스형 웨어러블 디바이스(10); 촬영정보 관리서버(20); 외부디바이스(30);를 포함한다.
글라스형 웨어러블 디바이스(10)는 사용자의 전방 영상을 촬영하여 무선통신을 통해 실시간으로 전송하는 기능을 수행한다. 글라스형 웨어러블 디바이스(10)는, 제1카메라(121); 무선통신부(250); 및 제어부(210);를 포함할 수 있다.
제어부(210)는 무선통신에 의한 데이터 송신을 위해 정보처리를 수행하는 기능을 수행한다. 또한, 제어부(210)는 실시간으로 획득되는 영상을 외부디바이스(30)에 표시하기 위해서 상기 영상의 화질, 크기 등을 변환하는 영상 처리를 수행할 수 있다.
상기 무선통신부(250)는 무선통신으로 데이터 송수신을 행하는 기능을 수행한다. 즉, 상기 무선통신부(250)는 상기 제1카메라(121)에 의해서 획득되어 제어부(210)에 의해 처리된 데이터를 촬영정보 관리서버(20)로 전송한다.
제1카메라(121)는, 글라스형 웨어러블 디바이스(10)의 전면부 일측에 구비되어, 사용자의 전방영상을 획득하는 기능을 수행한다. 또한, 상기 제1카메라(121)는, 기울기 조절이 가능할 수 있다. 일반적으로 사용자는 고개를 숙인 채 외부디바이스(30)를 사용하므로, 고개를 숙인 각도만큼 상기 제1카메라(121)의 기울기가 조절되어야 상기 전방영상을 촬영할 수 있다.
또한, 글라스형 웨어러블 디바이스(10)는, 각도측정센서;를 더 포함할 수 있다. 상기 각도측정센서는 상기 사용자의 고개 숙임 정도를 인식하는 기능을 수행한다. 상기 각도측정센서는 중력측정방식을 활용하여 중력방향을 기준으로 각도가 얼마나 변경되었는지 측정한다. 상기 중력측정은 미세전자기계시스템(Micro Electro Mechanical Systems; MEMS)소자 등을 통해 지구중력을 측정하여 중력 대비 기울어짐을 측정하는 방식과 도전 액체를 이용하여 도통단계에 따른 기울어짐을 측정하는 방식이 적용될 수 있다. 다만, 사용자가 고개를 숙인 각도를 측정하는 기술은 이에 한정되지 아니하고, 각도를 측정하는 다양한 기술이 모두 적용될 수 있다. 따라서 상기 각도인식센서를 통해 사용자가 고개 숙인 각도를 인식하고, 상기 제1카메라(121)는 인식된 상기 각도값만큼 기울기를 조절하면 전방영상을 촬영할 수 있다.
상기 촬영정보 관리서버(20)는 글라스형 웨어러블 디바이스(10)로부터 실시간으로 촬영 영상을 수신하고, 상기 촬영 영상의 제공 요청이 있으면 상기 영상을 외부디바이스로 제공하는 기능을 수행한다.
또한, 상기 촬영정보 관리서버(20)는, 저장부를 포함하여, 글라스형 웨어러블 디바이스(10)가 촬영한 영상을 수신하여 저장할 수 있다. 상기 촬영정보 관리서버(20)는, 날짜별 또는 사용자별로 상기 서버에 촬영 영상을 저장할 수 있으며, 특정기간이 경과하면 상기 저장된 촬영영상이 자동 삭제되도록 할 수 있다.
외부디바이스(30)는 무선통신을 통해 상기 촬영정보 관리서버(20)로 상기 촬영 영상의 제공을 요청하고, 상기 촬영 영상을 제공받아 표시하는 기능을 수행한다. 외부디바이스(30)는, 무선통신부(510); 디스플레이부(520); 및 제어부(530);를 포함할 수 있다. 즉, 외부디바이스(30)는, 태블릿PC, 스마트폰, 스마트워치 등의 무선통신부(510); 디스플레이부(520); 및 제어부(530);를 포함하는 통신기기가 될 수 있다.
상기 무선통신부(510)는 무선통신으로 데이터 송수신을 행하는 기능을 수행한다. 상기 디스플레이부(520)는 사용자에게 영상을 제공하는 기능을 수행한다. 즉, 도 9에서와 같이, 글라스형 웨어러블 디바이스(10)에 의해 획득된 전방영상을 상기 디스플레이부(520)의 일부에 표시하여 사용자가 전방상황을 주시하면서 외부디바이스(30)를 사용할 수 있도록 한다.
상기 제어부(530)는 무선통신을 통해 수신한 데이터를 상기 디스플레이부(520) 상에 표시하기 위해 정보처리를 수행한다. 글라스형 웨어러블 디바이스(10)에서 상기 단말기에서 전방영상을 표시하기에 적절한 형식으로 영상 변환이 이루어지지 않고 전송되는 경우, 상기 제어부(530)가 상기 수신한 전방영상의 변환을 수행한다.
또한, 상기 제어부(530)는 상기 촬영정보 관리서버(20)로의 상기 촬영 영상의 제공요청 여부를 판단하는 기능을 수행한다. 상기 제어부(530)는, 외부디바이스(30)가 켜지는 경우, 자동으로 상기 촬영정보 관리서버(20)와 연결되어 상기 촬영 영상의 제공요청이 이루어지도록 할 수 있다. 예를 들어, 외부디바이스(30)의 화면은 사용하지 않을 경우에는 꺼져있으므로, 화면이 켜지는 경우는 일반적으로 사용자가 사용하기 위해 화면을 켠 것이다. 외부디바이스(30)의 화면이 켜지면 상기 촬영정보 관리서버(20)에 자동 로그인 되도록 설정하여, 상기 촬영 영상의 제공요청을 수행하도록 할 수 있다.
또한, 외부디바이스(30)는, 상기 디스플레이부(520)와 같은 면의 일측에 구비되는 전면카메라;를 더 포함하여, 상기 전면카메라를 이용한 아이트래킹을 통해 사용자가 상기 디스플레이부(520)를 주시하고 있음이 인식되면, 상기 촬영정보 관리서버(20)로 상기 촬영영상의 실시간 제공을 요청하도록 할 수 있다. 즉, 아이트래킹을 통해서 사용자가 실제로 외부디바이스(30)의 디스플레이부(520)를 주시하는 지를 파악하여, 주시하는 경우에만 외부디바이스(30)가 상기 촬영 영상 제공 요청을 하도록 할 수 있다. 이를 통해 여러 외부디바이스(30)를 사용하는 경우, 상기 촬영정보 관리서버(20)는 어떠한 외부디바이스(30)로 상기 실시간 전방영상을 전송하여 표시하여야 할지 결정할 수 있다.
도 10는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 실시간 전방주시시스템의 내부구성도이다.
도 10을 참조하면, 본 발명의 다른 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 실시간 전방주시시스템은, 글라스형 웨어러블 디바이스(10); 및 외부디바이스(30);를 포함한다. 즉, 다만, 도 10에 있어서, 기 설명한 구성에 대한 구체적인 설명은 생략하기로 한다.
본 발명의 일실시예는, 상기 실시예와 달리, 글라스형 웨어러블 디바이스(10)와 외부디바이스(30) 간에 직접 연동되어 촬영영상 제공요청 및 획득된 전방영상 전송이 이루어진다.
글라스형 웨어러블 디바이스(10)는 사용자의 전방 영상을 촬영하여 상기 무선통신을 통해 실시간으로 전송하는 기능을 수행하고, 제1카메라(121); 무선통신부(250); 제어부(210);를 포함할 수 있다.
상기 제1카메라(121)는 사용자의 전방영상을 획득하는 기능을 수행한다. 상기 제1카메라(121)는, 사용자를 고개를 숙이고 외부디바이스(30)를 사용하는 경우, 전방영상을 획득하기 위해 기울기 조절이 가능할 수 있다.
상기 무선통신부(250)는 외부디바이스(30)와 무선통신으로 데이터 송수신을 행하는 기능을 수행한다. 즉, 상기 무선통신부(250)는 외부디바이스(30)로부터 촬영 영상 제공요청 신호를 수신하고, 이에 따라 상기 제1카메라(121)에 의해 획득되어 정보처리된 실시간 전방 영상 데이터를 외부디바이스(30)로 전송한다.
제어부(210)는 무선통신에 의한 데이터 송신을 위해 정보처리를 수행하는 기능을 수행한다.
또한, 글라스형 웨어러블 디바이스(10)는, 상기 사용자의 고개 숙임 정도를 인식하는 각도측정센서;를 더 포함할 수 있다.
외부디바이스(30)는 무선통신을 통해 글라스형 웨어러블 디바이스(10)로부터 상기 촬영 영상을 제공받아 표시하는 기능을 수행하고, 무선통신부(510); 디스플레이부(520); 및 제어부(530);를 포함할 수 있다.
상기 무선통신부(510)는 글라스형 웨어러블 디바이스(10)와 무선통신으로 데이터 송수신을 행하는 기능을 수행한다.
상기 디스플레이부(520)는 사용자에게 영상을 제공하는 기능을 수행한다.
상기 제어부(530)는 무선통신을 통해 수신한 데이터를 상기 디스플레이부(520) 상에 표시하기 위해 정보처리를 수행하고, 글라스형 웨어러블 디바이스(10)로 상기 촬영 영상의 제공요청 여부를 판단하는 기능을 수행한다.
또한, 외부디바이스(30)는, 상기 디스플레이부(520)와 같은 면의 일측에 구비되는 전면카메라;를 더 포함할 수 있다.
또한, 상기 제어부(530)는 외부디바이스(30)의 전면카메라를 이용한 아이트래킹을 통해 사용자가 상기 디스플레이부(520)를 주시하고 있음이 인식되면, 글라스형 웨어러블 디바이스(10)로 상기 촬영영상의 실시간 제공을 요청할 수 있다.
또한, 상기 제어부(530)는, 외부디바이스(30)가 켜지는 경우, 자동으로 글라스형 웨어러블 디바이스(10)와 연결되어 촬영영상 제공요청이 이루어지도록 할 수 있다.
도 11는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 실시간 전방주시방법의 순서도이다.
도 11을 참조하면, 본 발명의 또 다른 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 실시간 전방주시방법은, 글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 사용자의 전방 영상을 촬영하는 단계(S300); 무선통신을 통해 상기 촬영 영상을 실시간으로 전송하는 단계(S310); 외부디바이스(30)가 실시간으로 촬영 영상을 수신하여 상기 촬영 영상을 표시하는 단계(S320);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 실시간 전방주시방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 사용자의 전방 영상을 촬영한다(S300).
무선통신을 통해 상기 촬영 영상을 실시간으로 전송한다(S310). 상기 촬영영상은 글라스형 웨어러블 디바이스(10) 또는 상기 촬영정보 관리서버(20)로 전송된다.
외부디바이스(30)가 실시간으로 촬영 영상을 수신하여 상기 촬영 영상을 표시한다(S320). 촬영정보 관리서버(20)가 글라스형 웨어러블 디바이스(10)와 외부디바이스(30) 사이에서 촬영 영상의 전송을 관리하는 경우, 촬영정보 관리서버(20)가 글라스형 웨어러블 디바이스(10)로부터 무선통신을 통해 촬영 영상을 수신하여 외부디바이스(30)로 전송할 수 있다.
그 후, 외부디바이스(30)는 디스플레이부(520) 상에 실시간 영상을 표시한다. 또한, 외부디바이스(30)는 사용자가 다른 작업을 동시에 수행할 수 있도록 상기 디스플레이부(520)의 일부에 상기 촬영영상이 표시되도록 할 수 있다.
또한, 외부디바이스(30)가 실시간으로 촬영영상 제공요청을 하고, 이에 따라 글라스형 웨어러블 디바이스(10) 또는 상기 촬영정보 관리서버(20)가 외부디바이스(30)로 촬영영상을 실시간 전송하도록 할 수 있다.
이 때 촬영영상 제공요청은, 외부디바이스(30)의 전면카메라를 이용한 아이트래킹을 통해 사용자가 상기 디스플레이부(520)를 주시하고 있음이 인식하는 단계; 및 글라스형 웨어러블 디바이스(10) 또는 상기 촬영정보 관리서버(20)로 촬영영상 제공요청을 하는 단계;를 더 포함하여 수행될 수 있다.
또한, 촬영영상 제공요청은, 외부디바이스(30)가 켜짐을 인식하는 단계; 및 외부디바이스(30)가 자동으로 글라스형 웨어러블 디바이스(10) 또는 촬영정보 관리서버(20)와 연결되어 촬영영상 제공요청을 하는 단계;을 더 포함하여 수행될 수 있다.
또한, 사용자의 고개가 숙여진 각도를 인식하는 단계; 및 제1카메라(121)를 인식된 각도만큼 조절하는 단계;를 더 포함할 수 있다. 각도측정센서에 의해서 사용자가 고개 숙인 각도를 인식하고, 인식된 각도만큼 제1카메라(121)의 각도를 조절하여 고개 숙임에 관계없이 전방영상을 획득할 수 있도록 한다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스(10)를 이용한 이벤트정보 제공서비스 방법에 대해 설명하기로 한다.
도 12는 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 이벤트정보 제공서비스 방법에 대한 순서도이다.
도 12를 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 이벤트정보 제공서비스 방법은, 제1카메라(121)가 특정장소의 안내지도를 포함하는 이미지를 획득하는 단계(S400); 안내지도에 포함된 장소정보를 추출하여 안내지도에 해당하는 장소를 인식하는 단계(S410); 인식된 장소의 이벤트정보를 탐색하는 단계(S420); 및 상기 안내지도를 바탕으로 사용자에게 이벤트정보를 안내하는 단계(S430);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 이벤트정보 제공서비스 방법을 순서대로 설명한다.
제1카메라(121)가 특정장소의 안내지도를 포함하는 이미지를 획득한다(S400). 제1카메라(121)는 글라스형 웨어러블 디바이스(10)의 일측에 구비되어 전방의 영상을 획득하는 카메라이다. 제1카메라(121)는 사용자의 시선과 동일한 방향의 영상을 획득하므로, 도 13에서와 같이, 사용자가 바라보는 방향의 영상을 획득한다. 따라서 사용자가 특정장소의 안내지도를 바라보는 경우, 제1카메라(121)는 안내지도를 포함하는 영상을 획득한다.
상기 안내지도에 포함된 장소정보를 추출하여 안내지도에 해당하는 장소를 인식한다(S410). 글라스형 웨어러블 디바이스(10)가 이벤트정보를 획득하기 위해서는 사용자가 위치한 장소를 파악하여야 한다. 따라서, 글라스형 웨어러블 디바이스(10)는 안내지도 내에 포함된 특정 정보를 바탕으로 장소정보를 추출하여 장소를 인식한다. 글라스형 웨어러블 디바이스(10)가 추출하여 장소를 인식할 수 있는 정보는 이미지 내에 기재되어 있는 단어가 될 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)는 영상 내 안내지도에 기재된 단어들을 추출하여 장소를 파악할 수 있다. 도 14에서와 같이, Department Store라는 단어를 이미지 내에서 인식하고, 단어 앞에 기재된 글자가 백화점의 명칭임을 인식할 수 있다. 또한, 백화점의 명칭 뒤에 기재된 단어는 통상적으로 지점에 해당할 수 있으므로, 이를 통해 지점정보도 파악할 수 있다.
글라스형 웨어러블 디바이스(10)가 장소 인식을 수행할 때는 GPS신호 등의 위치정보를 더 추가적으로 이용할 수 있다. 글라스형 웨어러블 디바이스(10)는 위치정보를 추출된 장소정보와 함께 활용하여 더 정확한 장소인식을 수행할 수 있다.
글라스형 웨어러블 디바이스(10)는 상기 인식된 장소의 이벤트정보를 탐색한다(S420). 글라스형 웨어러블 디바이스(10)는 저장부(260) 내에 저장된 이벤트정보를 탐색하거나, 무선통신을 통해 외부서버(20)에 이벤트정보 탐색을 요청하여 외부서버(20)가 탐색한 장소에 해당하는 이벤트정보를 수신한다.
상기 안내지도를 바탕으로 사용자에게 이벤트정보를 안내한다(S430). 도 15에서와 같이, 디스플레이부(310)에 탐색된 이벤트정보를 표시하여 사용자가 시각적으로 확인할 수 있도록 한다. 디스플레이부(310)는 안내지도의 형태에 따라 다양한 형식으로 이벤트정보를 표시할 수 있다. 예를 들어, 안내지도가 백화점의 층별안내도 형태인 경우, 획득된 이미지상에 사용자의 관심매장이 있는 층을 표시하고, 상기 층의 매장정보를 함께 표시할 수 있다. 또한, 예를 들어, 안내지도가 층별 매장배치도 또는 놀이공원의 시설배치도인 경우, 매장 또는 시설과 함께 매장정보를 기재하여 디스플레이부(310)에 표시할 수 있다. 또한, 디스플레이부(310)의 형태에 따라서, 매장정보를 증강현실 형태로 제공하여 사용자가 안내지도와 함께 확인하도록 할 수 있다.
상기 이벤트정보는 이벤트장소에 따라 다양한 정보를 포함할 수 있다. 이벤트장소가 백화점 또는 마트에 해당하는 경우, 이벤트정보는 할인이벤트 장소, 할인 품목, 잔여 수량, 할인율 등이 될 수 있다. 또한, 안내지도의 장소가 관광지인 해당하는 경우, 이벤트정보는 대기시간 정보, 추천코스 정보, 쇼 또는 퍼레이드 정보, 요금정보 등을 포함할 수 있다. 예를 들어, 안내지도가 놀이공원 시설안내도인 경우, 글라스형 웨어러블 디바이스(10)는 각 놀이기구의 실시간 대기시간을 사용자에게 제공하여 적절한 이동경로를 정할 수 있도록 도와줄 수 있다. 또한, 글라스형 웨어러블 디바이스(10)는 사용자의 선호시설, 대기시간, 쇼 또는 퍼레이드 유무 등을 고려한 추천이동경로를 상기 이벤트정보로 제공할 수 있다.
또한, 상기 이벤트정보가 상기 이벤트장소 위치정보를 포함하는 경우, 사용자의 현재위치를 인식하는 단계; 및 상기 이벤트장소까지의 경로를 안내하는 단계;를 더 포함할 수 있다. 먼저, 글라스형 웨어러블 디바이스(10)는 사용자의 현재 위치를 인식할 수 있다.
사용자의 실내 위치를 인식하는 방법으로, 상기 비콘과 글라스형 웨어러블 디바이스(10)의 상호교신을 통해 사용자의 현재 위치를 측량하는 방식이 적용될 수 있다. 예를 들어, 3개의 구별이 되는 비콘신호를 글라스형 웨어러블 디바이스(10)가 수신하여, 수신한 상기 비콘신호의 세기와 상기 비콘신호를 송신한 비콘의 위치를 바탕으로 사용자의 현재 위치를 측량할 수 있다. 다만, 비콘과 상호교신을 이용한 위치 측량방식은 이에 한정되지 않고, 상기 비콘신호의 방향을 이용하는 방식, 실내 비콘신호 세기의 분포를 이용한 위치 측정 방식 등의 다양한 방식이 적용될 수 있다. 또한, 상기 비콘신호 외에 와이파이(Wi-Fi) 신호와 같은 다양한 무선통신신호를 통해 실내 측위를 수행할 수도 있다.
또한, 사용자의 실내 위치를 인식하는 방법으로, 상기 제1카메라(121)를 이용해 주변의 특징적인 지형 또는 지물과 같은 특징적 요소를 인식하고, 글라스형 웨어러블 디바이스(10) 내에 저장되거나 외부서버(20)로부터 무선통신으로 수신한 실내 지도 정보와 비교 수행하여, 사용자의 현재 위치를 인식할 수 있다. 즉, 상기 제1카메라(121)가 전방 영상을 획득하고, 상기 영상 내에 있는 상기 특징적 요소를 추출하고, 상기 특징적 요소를 상기 실내지도 정보에서 파악하여 현재 위치를 파악한다. 또한, 상기 전방 영상 내의 특징적 요소 위치를 통해 현재 상기 사용자가 향하고 있는 방향도 인식할 수 있다.
또한, 상기 이벤트장소가 놀이공원과 같은 야외지역에 해당하는 경우, 글라스형 웨어러블 디바이스(10)는 GPS신호를 활용하여 사용자의 현재 위치를 측정할 수도 있다. 다만, 사용자의 위치를 측정하는 방식은 이에 한정되지 아니하고, 기재된 여러 방식을 함께 활용하여 위치를 측정할 수 있을 뿐만 아니라, 이미 알려진 다양한 실내 또는 실외 측위 방식을 적용할 수 있다.
그 후, 글라스형 웨어러블 디바이스(10)는 상기 이벤트장소까지의 경로를 사용자에게 안내할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)는 외부서버(20)로부터 상기 인식된 장소의 지도를 획득하여, 사용자의 현재위치로부터 상기 이벤트장소까지의 경로를 계산한다. 상기 계산결과를 바탕으로, 글라스형 웨어러블 디바이스(10)는 사용자의 현재위치를 기준으로 사용자의 이동경로(예를 들어, 이동거리 및 이동방향)을 실시간으로 제공할 수 있다. 글라스형 웨어러블 디바이스(10)는 상기 이동경로를 디스플레이부(310)에 표시할 수 있고, 상기 음향출력부(320)를 통해 음성으로 안내할 수도 있다.
또한, 사용자에게 상기 이벤트 참가여부 입력을 위한 인터페이스를 제공하고, 사용자로부터 사용자입력부(110) 또는 음성입력부(140)를 통해 상기 이벤트 참가여부를 입력받는 단계; 및 상기 이벤트 참가여부 정보를 정보처리하여 무선통신을 통해 외부서버(20)로 전송하는 단계;를 더 포함할 수 있다. 먼저, 글라스형 웨어러블 디바이스(10)는 디스플레이부(310)를 통해 상기 이벤트 참가여부 입력을 위한 인터페이스를 제공한다. 상기 이벤트 참가여부는 참가, 불참, 보류 등이 될 수 있다. 예를 들어, 상기 인식된 장소가 놀이공원에 해당하고 상기 이벤트는 정원이 한정된 쇼인 경우, 글라스형 웨어러블 디바이스(10)는 사용자에게 상기 쇼를 관람할 지 여부를 묻는 인터페이스를 디스플레이부(310)를 통해 제공할 수 있다. 그 후, 글라스형 웨어러블 디바이스(10)는 사용자로부터 사용자입력부(110) 또는 음성입력부(140)를 통해 상기 이벤트 참가여부를 입력받을 수 있다. 그 후, 상기 이벤트 참가여부 정보를 정보처리하여 무선통신을 통해 외부서버(20)로 전송할 수 있다.
또한, 사용자가 상기 이벤트에 참가한 후, 상기 이벤트에 대한 피드백을 사용자입력부(110) 또는 음성입력부(140)를 통해 입력받아 외부서버(20)로 전송하는 단계;를 더 포함할 수 있다. 예를 들어, 사용자는 상기 이벤트 참석 후에 이벤트 평가정보를 입력할 수 있는 인터페이스를 디스플레이부(310)를 통해 제공받고, 사용자입력부(110)를 조작하여 점수 또는 등급을 입력할 수 있다. 또한, 예를 들어, 사용자는 상기 이벤트 참석 후에 이벤트 후기를 입력할 수 있는 인터페이스를 디스플레이부(310)를 통해 제공받고, 상기 음성입력부(140)를 통해 원하는 내용을 입력한 후 음성인식부(220)에 의해 의미를 인식하여 입력할 수 있다.
또한, 상기 이벤트정보에 상기 이벤트장소 위치정보가 포함된 경우, 사용자로부터 상기 탐색된 이벤트정보 중에서 관심 이벤트를 선택받는 단계; 및 상기 사용자의 실내 위치를 인식하여, 상기 사용자가 상기 관심 이벤트의 위치정보와 근접하면 사용자에게 알림을 수행하는 단계;를 더 포함할 수 있다. 사용자는 상기 안내된 이벤트정보 중에서 관심이벤트를 사용자입력부(110) 또는 음성입력부(140)를 통해 선택할 수 있다. 글라스형 웨어러블 디바이스(10)는 사용자가 상기 관심이벤트의 장소의 특정거리 이내에 진입하면 디스플레이부(310)에 표시하거나 음향출력을 하여 알림을 수행할 수 있다. 사용자의 상기 관심이벤트장소로부터 특정거리 이내 진입을 인식하는 방식은, 상기 이벤트장소에서 발생하는 비콘신호를 수신하여, 비콘신호의 세기를 인식하는 방식을 적용할 수 있다. 또한, 사용자의 상기 관심이벤트장소로부터 특정거리 이내 진입을 인식하는 방식은, 상술한 실내 또는 실외 측위 방식에 의해 사용자의 현재 위치와 상기 관심이벤트 장소의 위치를 인식하여 거리를 측정하는 방식을 적용할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스(10)를 이용한 외부디바이스 내 콘텐츠 관리 시스템 및 방법에 대해 설명하기로 한다.
도 16는 글라스형 웨어러블 디바이스(10)를 이용한 외부디바이스(30) 내 콘텐츠 관리 방법에 대한 순서도이다.
도 16을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 외부디바이스(30) 내 콘텐츠 관리 방법은, 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)를 인식하는 단계(S500); 외부디바이스(30) 내 콘텐츠목록정보 제공을 요청하여 외부디바이스(30)로부터 저장된 상기 콘텐츠목록정보를 수신하는 단계(S510); 글라스형 웨어러블 디바이스(10)가 디스플레이부(310)에 상기 콘텐츠목록정보를 표시하는 단계(S520); 사용자로부터 사용자입력부(110)를 통해 콘텐츠 선택명령 또는 외부디바이스(30)의 제어명령 입력을 받는 단계(S530); 및 무선통신을 통해 외부디바이스(30)로 상기 입력된 명령을 전송하여 제어하는 단계(S540);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 외부디바이스(30) 내 콘텐츠 관리 방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)가 외부디바이스(30)를 인식한다(S500). 외부디바이스(30)는, 스마트폰, 컴퓨터, 디지털카메라, 태블릿PC, 스마트워치, 글라스형 웨어러블 디바이스(10), 스마트티비 등이 해당할 수 있다. 외부디바이스(30)는 상기 디지털 카메라 등의 자체에 무선통신모듈을 포함하지 않은 디바이스도 최근 통신모듈이 내장된 메모리카드에 의해서 무선통신을 수행할 수 있으므로 포함한다. 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)를 다양한 방식에 의해 인식할 수 있다.
글라스형 웨어러블 디바이스(10)가 외부디바이스(30)를 인식하는 방식으로, 도 17에서와 같이, 글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 외부디바이스(30)를 포함하는 영상을 획득하여 인식하는 방식을 적용할 수 있다. 상기 제1카메라(121)는 글라스형 웨어러블 디바이스(10)의 일측에 구비되어 전방의 영상을 획득하는 카메라이다. 사용자가 글라스형 웨어러블 디바이스(10)를 착용하고 내부의 콘텐츠를 확인하고자 하는 외부디바이스(30)를 바라볼 때, 사용자의 시선방향의 영상을 상기 제1카메라(121)가 획득한다. 제어부(210)는 상기 획득된 영상에 포함된 외부디바이스(30)를 윤곽선 등을 통해서 인식한다. 디스플레이부(310)가, 도 18에서와 같이, 외부디바이스(30)를 포함한 이미지와 인식된 외부디바이스(30)의 명칭을 함께 표시할 수 있으며, 이를 통해 사용자는 원하는 외부디바이스(30)가 제대로 인식되었는지 여부를 확인할 수 있다.
또한, 상기 획득된 영상에 둘 이상의 외부디바이스(30)가 포함되어 있는 경우, 어떤 외부디바이스(30)를 사용자가 인식하기를 원하는지 판단하는 다양한 방식이 적용될 수 있다. 먼저, 제어부(210)가 상기 영상 내의 외부디바이스(30) 중에서 중앙에 위치한 디바이스를 인식할 수 있다. 사용자가 인식하고자 하는 외부디바이스(30)를 바라보는 경우, 시선방향과 일치되어 있는 상기 제1카메라(121)는 외부디바이스(30)가 중심에 위치한 상기 영상을 획득하므로, 제어부(210)는 상기 영상의 중앙에 위치한 디바이스를 사용자가 선택하고자 하는 외부디바이스(30)로 인식할 수 있다.
또한, 제2카메라에 의해 동공방향의 영상을 획득하여 사용자의 동공방향을 인식하고, 상기 제1카메라(121)가 획득한 영상에 상기 동공방향을 적용하여 사용자가 응시한 외부디바이스(30)를 인식한다. 상기 제2카메라는 글라스형 웨어러블 디바이스(10)의 일측에 구비되어 동공방향의 영상을 획득하는 카메라이다. 상기 제2카메라가 획득한 영상을 통해 동공방향을 인식하는 방식은, 이미 등장해 있는 다양한 아이트래킹(Eye-tracking) 방식을 적용할 수 있다.
글라스형 웨어러블 디바이스(10)가 외부디바이스(30)를 인식하는 방식으로, 사용자의 음성명령을 인식하여 외부디바이스(30)를 인식하는 방식을 적용할 수 있다. 상기 음성입력부(140)가 사용자의 음성을 입력받고, 상기 음성인식부(220)가 상기 음성의 의미를 파악하여 사용자가 말한 외부디바이스(30)를 인식한다. 외부디바이스(30)의 명칭은 사용자가 미리 설정할 수 있다. 예를 들어, 사용자가 미리 외부디바이스(30)와 무선통신을 통해 연결하고, 외부디바이스(30)를 칭할 명칭을 상기 음성입력부(140)가 입력받아서 설정할 수 있다.
글라스형 웨어러블 디바이스(10)가 외부디바이스(30)를 인식하는 방식으로, 글라스형 웨어러블 디바이스(10)와 연동 가능한 외부디바이스(30) 목록을 디스플레이부(310)에 표시하고 사용자로부터 사용자입력부(110)를 통해 외부디바이스(30)를 선택명령을 입력받아 인식하는 방식을 적용할 수 있다. 예를 들어, 사용자가 미리 글라스형 웨어러블 디바이스(10)와 외부디바이스(30)를 무선통신을 통해 연결하여, 외부디바이스(30)를 글라스형 웨어러블 디바이스(10)에 등록한다. 이후, 사용자가 글라스형 웨어러블 디바이스(10)를 이용하여 외부디바이스(30) 내의 콘텐츠를 관리하고자 하는 경우, 글라스형 웨어러블 디바이스(10)는 글라스형 웨어러블 디바이스(10)와 동일한 무선통신망에 연결된 상기 기등록된 외부디바이스(30) 목록을 디스플레이부(310)에 표시할 수 있다. 사용자는 사용자입력부(110)를 조작하여 원하는 외부디바이스(30)를 선택할 수 있다.
다만, 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)를 인식하는 방식은 이에 한정되지 아니하고, 글라스형 웨어러블 디바이스(10)의 구성을 이용하여 외부디바이스(30)를 인식하여 선택할 수 있는 다양한 방식을 적용할 수 있다. 예를 들어, 글라스형 웨어러블 디바이스(10)는 외부디바이스(30)가 발생하는 비콘신호를 수신하여 외부디바이스(30)를 인식할 수 있다.
외부디바이스(30) 내 콘텐츠목록정보 제공을 요청하여 외부디바이스(30)로부터 저장된 상기 콘텐츠목록정보를 수신한다(S510). 글라스형 웨어러블 디바이스(10)는 무선통신을 통해 외부디바이스(30)로 외부디바이스(30) 내 콘텐츠목록정보를 요청한다. 그 후, 글라스형 웨어러블 디바이스(10)는 외부디바이스(30)로부터 상기 콘텐츠목록정보를 수신한다. 글라스형 웨어러블 디바이스(10)는 상기 콘텐츠목록정보의 요청 또는 수신을, 도 19에서와 같이, 외부디바이스(30)와 함께 연결된 와이파이(Wi-Fi) 등의 통신망을 이용하여 수행할 수 있고, 도 20에서와 같이, 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)와 직접 연결할 수 있는 블루투스 또는 와이파이 다이렉트(Wi-Fi Direct) 등을 이용하여 수행할 수도 있다.
글라스형 웨어러블 디바이스(10)가 디스플레이부(310)에 상기 콘텐츠목록정보를 표시한다(S520). 글라스형 웨어러블 디바이스(10)의 사용자가 외부디바이스(30) 내에 저장된 콘텐츠를 파악할 수 있도록 디스플레이부(310)에 상기 콘텐츠목록정보를 시각적으로 표시한다.
사용자로부터 사용자입력부(110)를 통해 콘텐츠 선택명령 또는 외부디바이스(30)의 제어명령 입력을 받는다(S530). 즉, 사용자는 사용자입력부(110)를 조작하여 원하는 콘텐츠를 선택할 수 있고, 상기 콘텐츠에 대한 특정한 제어명령을 입력할 수 있다. 사용자입력부(110) 조작은 사용자의 음성인식에 의한 방식도 포함할 수 있다. 글라스형 웨어러블 디바이스(10)는 사용자의 특정 콘텐츠를 선택하는 명령 및 외부디바이스(30)의 제어명령을 포함하는 음성을 상기 음성입력부(140)를 통해 획득하고, 상기 음성인식부(220)를 통해 상기 특정 콘텐츠와 상기 제어명령을 인식할 수 있다. 상기 제어명령은, 상기 콘텐츠의 소셜 네트워킹 서비스 상에 업로드, 상기 콘텐츠의 글라스형 웨어러블 디바이스(10)로 전송, 상기 콘텐츠의 외부서버로 전송, 상기 콘텐츠의 삭제, 상기 콘텐츠의 비밀번호 설정 등이 포함될 수 있다.
글라스형 웨어러블 디바이스(10)눈 무선통신을 통해 외부디바이스(30)로 상기 입력된 명령을 전송하여 제어한다(S540). 글라스형 웨어러블 디바이스(10)는 상기 입력된 제어명령 또는 콘텐츠 선택명령의 전송도 외부디바이스(30)와 함께 연결된 와이파이(Wi-Fi) 등의 통신망을 이용하여 수행할 수 있고, 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)와 직접 연결할 수 있는 블루투스 또는 와이파이 다이렉트(Wi-Fi Direct) 등을 이용하여 수행할 수도 있다.
또한, 외부디바이스(30)의 사용자임을 인증하는 단계;를 더 포함할 수 있다. 즉, 타인이 글라스형 웨어러블 디바이스(10)를 이용하여 외부디바이스(30)의 내부에 접근하는 것을 방지하기 위해, 글라스형 웨어러블 디바이스(10)는 외부디바이스(30)의 사용자가 접근하는지 여부를 확인할 수 있다. 외부디바이스(30)의 사용자임을 인증하는 방식으로는 다양한 방식이 적용될 수 있다.
외부디바이스(30)의 사용자임을 인증하는 방식으로, 기 등록된 외부디바이스(30) 사용자의 생체정보와 글라스형 웨어러블 디바이스(10)에 의해 획득된 생체신호를 비교하여, 외부디바이스(30)에 해당하는지 인증할 수 있다. 상기 생체신호는, 홍채패턴정보, 음성패턴정보, 심박패턴정보 등이 포함할 수 있다. 상기 홍채패턴정보는 제2카메라에 의해 획득될 수 있으며, 상기 심박패턴정보는 상기 심박센서에 의해서 획득될 수 있다. 상기 음성패턴정보는 상기 음성입력부(140)에 의해서 획득될 수 있다. 예를 들어, 사용자가 글라스형 웨어러블 디바이스(10)가 제시한 특정한 문구를 읽도록 하여, 글라스형 웨어러블 디바이스(10)는 기 저장된 음성패턴정보에 대응하는 음성패턴정보를 음성입력부(140)를 통해 획득할 수 있다. 상기 기등록된 외부디바이스(30) 사용자의 생체신호정보는 글라스형 웨어러블 디바이스(10)에 저장될 수 있고, 외부디바이스(30) 내에 저장되어 사용자 인증 단계에서 무선통신을 통해 수신할 수 있다. 상기 생채신호정보가 상기 음성패턴정보인 경우, 상기 음성인식부(220)가 상기 기등록된 외부디바이스(30)의 사용자 음성패턴정보와 글라스형 웨어러블 디바이스(10)에 의해 획득된 음성패턴정보를 비교하여 동일인에 해당하는지 판단할 수 있다. 상기 생체신호정보가 상기 음성패턴정보를 제외한 상기 홍채패턴정보, 상기 심박패턴정보 등인 경우, 제어부(210)가 상기 기등록된 외부디바이스(30)의 사용자 생체신호정보와 글라스형 웨어러블 디바이스(10)에 의해 획득된 생체신호정보를 비교하여 동일인에 해당하는지 판단할 수 있다.
외부디바이스(30)의 사용자임을 인증하는 다른 일실시예로, 제2카메라에 의한 눈깜박임 패턴 인식 방식을 적용할 수 있다. 외부디바이스(30) 사용자의 기저장된 눈깜박임 패턴과 상기 제2카메라에 의해 획득된 사용자의 눈깜박임 패턴을 비교하여 일치하는지 판단할 수 있다. 양자가 일치하는 경우, 외부디바이스(30)의 사용자로 인증될 수 있다. 상기 기 저장된 패턴정보는 글라스형 웨어러블 디바이스(10)에 저장될 수 있고, 외부디바이스(30) 내에 저장되어 사용자 인증 단계에서 무선통신을 통해 수신할 수 있다.
외부디바이스(30)의 사용자임을 인증하는 또 다른 일실시예로, 상기 모션센서에 의한 고개 움직임 패턴 인식 방식을 적용할 수 있다. 외부디바이스(30) 사용자의 기 저장된 고개움직임 패턴과 상기 모션센서에 의해 획득된 사용자의 고개움직임 패턴을 비교하여 일치하는지 여부를 판단할 수 있다. 양자가 일치하는 경우, 외부디바이스(30)의 사용자로 인증될 수 있다. 상기 기 저장된 패턴정보는 글라스형 웨어러블 디바이스(10)에 저장될 수 있고, 외부디바이스(30) 내에 저장되어 사용자 인증 단계에서 무선통신을 통해 수신할 수 있다.
외부디바이스(30)의 사용자임을 인증하는 또 다른 일실시예로, 상기 제1카메라(121)에 의한 손 제스처 인식 방식을 적용할 수 있다. 외부디바이스(30) 사용자의 기 저장된 손 제스처 패턴과 상기 제1카메라(121)에 의해 획득된 사용자의 손 제스처 패턴을 비교하여 일치하는지 판단할 수 있다. 양자가 일치하는 경우, 외부디바이스(30)의 사용자로 인증될 수 있다. 상기 기 저장된 패턴정보는 글라스형 웨어러블 디바이스(10)에 저장될 수 있고, 외부디바이스(30) 내에 저장되어 사용자 인증 단계에서 무선통신을 통해 수신할 수 있다.
또한, 글라스형 웨어러블 디바이스(10)가 외부디바이스(30)에 저장된 상기 콘텐츠의 유형을 분석하는 단계;를 더 포함할 수 있다. 상기 콘텐츠 유형은 파일의 종류, 파일의 크기, 파일의 형식, 영상이나 사운드 파일인 경우 코덱의 종류 등이 될 수 있다. 상기 파일의 종류는 이미지, 영상, 음성, 텍스트, 전자문서 등으로 분류될 수 있다. 글라스형 웨어러블 디바이스(10)는 무선통신을 통해 외부디바이스(30)의 내부에 접근하여 상기 콘텐츠의 유형정보를 획득할 수 있다.
또한, 상기 콘텐츠의 분석된 유형이 이미지 또는 영상인 경우, 글라스형 웨어러블 디바이스(10)의 디스플레이에 최적화된 크기로 가공하는 단계;를 더 포함할 수 있다. 글라스형 웨어러블 디바이스(10)가 상기 콘텐츠를 수신하여 재생하는 경우, 글라스형 웨어러블 디바이스(10)는 특정한 사이즈의 영상만을 재생 가능할 수 있다. 이러한 경우, 상기 콘텐츠의 사이즈가 글라스형 웨어러블 디바이스(10)에 맞지 않으면 변환이 필요할 수 있다. 따라서 글라스형 웨어러블 디바이스(10)는 상기 콘텐츠를 무선통신을 수신하여 글라스형 웨어러블 디바이스(10)의 디스플레이에 최적화된 크기로 변환(또는 가공)하거나, 글라스형 웨어러블 디바이스(10)가 무선통신을 통해 외부디바이스(30)에 상기 콘텐츠의 크기변환을 요청하여, 상기 크기 변환된 콘텐츠를 수신할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 외부디바이스의 입력신호 제공시스템 및 제공방법에 대해 설명하기로 한다.
도 21은 본 발명의 바람직한 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부디바이스의 입력신호 제공방법에 대한 순서도이다.
도 21을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부디바이스(30)의 입력신호 제공방법은, 상기 글라스형 웨어러블 디바이스가 외부디바이스(30)의 화면 이미지를 획득하고, 상기 화면에 기준좌표를 설정하는 단계(S600); 상기 글라스형 웨어러블 디바이스의 제1카메라(121)가 상기 사용자의 외부디바이스(30)의 화면을 터치조작하는 영상을 획득하는 단계(S610); 상기 영상을 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악하는 단계(S620); 외부디바이스(30)로 상기 좌표정보를 전송하는 단계(S630); 및 외부디바이스(30)의 상기 좌표정보에 해당하는 부분에 입력신호를 제공하는 단계(S640);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스를 이용한 외부디바이스(30)의 입력신호 제공방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스가 외부디바이스(30)의 화면 이미지를 획득하고, 상기 화면 이미지에 기준좌표를 설정한다(S600). 상기 글라스형 웨어러블 디바이스가 사용자의 터치조작 위치를 인식하기 위해서는 각 위치에 좌표가 부여되어야 한다. 그러므로 외부디바이스(30) 전체 화면 이미지를 획득하여서, 상기 이미지에 기준좌표를 설정해두어야 한다.
글라스형 웨어러블 디바이스가 외부디바이스(30)의 화면 이미지를 획득하는 과정은, 외부디바이스(30)의 화면전체 캡처이미지를 상기 글라스형 웨어러블 디바이스가 외부디바이스(30)로부터 무선통신을 통해 수신하여 수행될 수 있다. 예를 들어, 글라스형 웨어러블 디바이스와 연동되어 터치조작 기능을 구동하고자 할 때, 외부디바이스(30)가 디스플레이 화면을 전체 캡쳐하여 무선통신을 통해 글라스형 웨어러블 디바이스로 전송할 수 있다.
또한, 글라스형 웨어러블 디바이스의 상기 제1카메라(121)가 외부디바이스(30)의 전체화면 이미지를 획득하는 방식에 의해 수행될 수 있다. 즉, 제1카메라(121)가 외부디바이스(30)의 전체화면을 포함한 영상을 획득하고, 상기 영상에서 외부디바이스(30)의 화면 부분만을 추출할 수 있다. 또한, 화면이 사용자가 주시하는 방향(제1카메라(121)가 영상을 획득하는 방향)과 수직이 되지 않아 왜곡이 발생하는 경우, 이미지 처리를 통해 수직방향의 이미지로 보정할 수 있다. 다만, 글라스형 웨어러블 디바이스가 외부디바이스(30)의 화면 이미지를 획득하는 과정은 이에 한정되지 아니하고, 다양한 방법이 적용될 수 있다.
그 후, 상기 화면 이미지에 기준좌표를 설정한다. 상기 디스플레이하는 부분과 상기 터치조작을 통해 신호를 입력하는 부분이 일치되지 않으면, 사용자가 디스플레이를 보고 터치조작을 수행할 때 원하는 부분에 상기 터치조작이 입력되지 않게 된다. 디스플레이하는 부분과 터치조작을 통해 신호를 입력하는 부분을 일치시키기 위해서는 상기 화면상의 각 위치가 구별될 수 있어야 한다. 그러므로 외부디바이스(30) 화면이미지의 한쪽 모서리를 원점으로 설정하고 상기 화면이미지의 가로와 세로에 눈금좌표를 부여하여, 상기 화면이미지의 각 지점에 좌표정보를 부여한다. 다만, 상기 화면 이미지에 기준좌표를 설정하는 방법은 이에 한정되지 아니하고, 상기 화면의 특정 위치를 정의할 수 있는 다양한 방법이 적용될 수 있다.
상기 글라스형 웨어러블 디바이스의 제1카메라(121)가, 도 22에서와 같이, 상기 사용자의 외부디바이스(30)의 화면을 터치조작하는 영상을 획득한다(S610).
글라스형 웨어러블 디바이스(10)는 상기 영상을 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악한다(S620). 예를 들어, 상기 사용자는 손톱 가운데에 해당하는 손가락 부분으로 상기 디스플레이의 터치조작을 수행하므로, 상기 글라스형 웨어러블 디바이스는 상기 사용자의 손톱을 인식한 후 손톱의 가운데 해당하는 위치를 파악하고 해당 위치의 좌표를 파악할 수 있다. 다만, 터치가 이루어진 부분의 좌표정보를 파악하는 방식은 이에 한정되지 않고, 상기 사용자의 손톱 가운데에 상기 글라스형 웨어러블 디바이스가 인식할 수 있는 표시를 부착하여 터치조작의 위치를 인식하는 방식 등 영상 분석을 통해 터치 위치를 인식할 수 있는 다양한 방식이 적용될 수 있다.
외부디바이스(30)로 상기 좌표정보를 전송한다(S630). 글라스형 웨어러블 디바이스(10)는 무선통신을 통해서 외부디바이스(30)로 신호를 입력할 상기 화면의 좌표정보를 전송한다.
외부디바이스(30)의 상기 좌표정보에 해당하는 부분에 입력신호를 제공한다(S640). 즉, 외부디바이스(30)는 상기 수신한 신호를 신호처리하여, 상기 디스플레이 상의 상기 좌표에 입력신호가 입력되도록 한다.
또한, 본 발명의 일실시예는 상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양 및 터치방향에 따라 터치에 의한 입력신호의 유형을 판단하는 단계;를 더 포함할 수 있다. 일반적으로, 마우스 또는 터치패드와 같은 입력장치에 의해 입력하는 유형은 좌클릭, 우클릭, 더블클릭, 드래그 등이 있을 수 있다. 이를 터치조작으로 구현하기 위해서는 터치조작의 형태에 따라서 입력신호를 다르게 정의할 필요가 있다. 따라서 상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양, 터치방향 등에 따라 각각의 입력신호를 정의할 수 있고, 상기 글라스형 웨어러블 디바이스는 상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양 또는 터치방향 등에 따라 입력신호의 유형을 판단할 수 있다.
또한, 저장된 외부디바이스(30)에 사용자의 손가락 접촉시 화면크기에 대한 손가락 크기의 비율과 상기 영상 내의 화면크기에 대한 손가락 크기의 비율을 비교하는 단계; 및 비율의 차이가 오차범위 내에 해당할 경우, 상기 터치조작으로 인식하는 단계;를 더 포함할 수 있다. 글라스형 웨어러블 디바이스(10)가 상기 제1카메라(121)에 의해 상기 영상을 입력받아 터치조작여부를 판단할 경우, 2차원의 영상이므로 터치조작에 해당하는 지 판단하기 어려울 수 있다. 따라서 상기 사용자의 손가락이 외부디바이스(30)의 화면에 접촉 시의 영상을 통해 화면크기에 대한 손가락 크기의 비율을 저장해두고, 상기 제1카메라(121)가 입력받은 영상 내 화면크기에 대한 손가락 크기 비율과 비교하여 오차범위 내에 해당하는 지 판단한다. 상기 비율이 오차범위 내에 해당하면 상기 화면에 손가락이 접촉하여 터치조작이 이루어졌다고 판단할 수 있고, 오차범위 내에 해당하지 않으면 터치조작이 이루어지지 않았다고 판단할 수 있다.
또한, 상기 사용자의 안구를 향해 설치된 제2카메라(122)에 의해 상기 사용자의 눈깜박임을 인식하는 단계; 및 상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계;를 포함할 수 있다. 즉, 상기 사용자의 손가락 움직임의 터치조작 여부가 상기 제2카메라(122)에 의한 안구의 깜박임에 의해 결정되도록 할 수 있다. 예를 들어, 상기 사용자의 손가락 동작 시에 상기 사용자의 눈깜박임이 입력되면 터치조작으로 인식하고, 상기 사용자의 눈깜박임이 입력되지 않으면 터치조작으로 인식되지 않도록 할 수 있다.
또한, 상기 사용자의 터치조작이 사용자의 눈깜박임 방식에 따라 상이한 입력신호로 인식되도록 할 수 있다. 예를 들어, 상기 글라스형 웨어러블 디바이스가 양쪽 눈에 모두 착용하는 형태인 경우, 왼쪽 눈의 깜박임은 좌클릭 입력신호, 오른쪽 눈의 깜박임은 우클릭 입력신호, 왼쪽 눈의 두 번 깜박임은 더블클릭 입력신호, 왼쪽 눈을 감은 채 손가락을 이동하면 드래그 입력신호로 인식되도록 할 수 있다. 또한, 상기 글라스형 웨어러블 디바이스가 한쪽 눈에 착용하는 형태인 경우, 한번 깜박임은 좌클릭 입력신호, 두 번 깜박임은 더블클릭 입력신호, 세 번 깜박임은 우클릭 입력신호, 눈 감은 채 손가락이동은 드래그 입력신호로 인식되도록 할 수 있다. 다만, 이에 한정되지 않고, 상기 사용자의 눈깜박임 방식별로 입력신호를 대응시키는 다양한 방식이 적용될 수 있다.
또한, 상기 제1카메라(121)가 획득한 영상을 상기 기준좌표가 설정된 화면이미지와 동일한 방향에서 획득된 영상으로 변환하는 단계;를 더 포함할 수 있다. 사용자는 외부디바이스(30)의 화면을 항상 동일한 방향에서 주시하지 않으며, 뿐만 아니라 옆으로 누워서 외부디바이스(30)를 사용하는 등 다양한 자세로 외부디바이스(30)를 사용하기도 한다. 이 때 외부디바이스(30)의 화면은 상기 기준좌표가 설정된 화면이미지와 상이하게 왜곡될 수 있으므로, 정확한 상기 터치조작의 좌표를 인식하기 위해서 상기 영상을 변환할 필요가 있다. 따라서 글라스형 웨어러블 디바이스(10)의 제어부(210)가 기준좌표와 비교수행을 위해 상기 영상의 변환을 수행한다.
예를 들어, 상기 영상 내 화면의 크기 및 형태는 상기 기준좌표가 설정된 화면이미지와 동일하다. 먼저, 화면의 형태를 동일하게 변환하기 위해 상기 화면이미지의 형태와 상기 영상의 형태를 비교하여 이미지 변환의 방식을 파악한다. 즉, 상기 영상의 화면이 직사각형 형태가 아닌 우측편의 길이가 짧은 사다리꼴 형태라면 좌측에서 화면을 바라본 것임을 파악하고, 이를 고려하여 이미지를 변환할 수 있는 방식을 계산한다. 상기 변환방식에 따라 상기 기준좌표가 설정된 화면이미지와 동일한 방향의 화면으로 보정하여 형태를 맞춘 후, 화면 크기가 같아지도록 상기 영상의 변환을 수행한다.
다만, 상기 영상을 변환하는 방법은 이에 한정되지 않고, 상기 기준좌표가 설정된 화면이미지와 비교를 하여 위치좌표 파악이 가능하도록 하는 다양한 영상 변환 방식이 적용될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 매장정보 제공서비스 시스템 및 그 방법에 대해 설명하기로 한다.
도 23는 글라스형 웨어러블 디바이스(10)를 이용한 매장정보 제공서비스 방법에 대한 순서도이다.
도 23를 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 매장정보 제공서비스 방법은, 제1카메라(121)가 상기 매장의 이름을 포함하는 영상을 획득하는 단계(S700); 상기 영상에서 상기 매장의 이름을 인식하는 단계(S710); 사용자의 현재위치를 인식하는 단계(S720); 상기 매장의 이름과 위치정보를 바탕으로, 매장정보를 탐색하는 단계(S730); 및 글라스형 웨어러블 디바이스(10)가 상기 탐색된 매장정보를 사용자에게 알림하는 단계(S740);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 매장정보 제공서비스 방법을 순서대로 설명한다.
제1카메라(121)가 상기 매장의 이름을 포함하는 영상을 획득한다(S700). 제1카메라(121)는, 도 24에서와 같이, 사용자가 주시하는 매장의 이름을 인식하기 위해서 이를 포함한 영상을 획득한다.
글라스형 웨어러블 디바이스(10)가 상기 영상에서 상기 매장의 이름을 인식한다(S710). 제어부(210)의 문자인식모듈이 상기 매장의 명칭을 인식한다. 상기 문자인식모듈의 문자 인식 방법으로 광학문자인식(Optical Character Recognition; OCR)방식을 적용할 수 있다. 문자인식모듈의 문자인식 방식은 OCR방식에 한정되지 아니하고, 이미 인쇄되어 있는 오프라인상의 문자를 인식할 수 있는 다양한 방식이 적용될 수 있다.
상기 문자인식모듈이 하나 이상의 상기 매장의 명칭을 인식하는 경우, 글라스형 웨어러블 디바이스(10)의 디스플레이부(310)에 상기 인식된 하나 이상의 매장 명칭을 표시하고, 사용자가 사용자입력부(110) 조작을 통해 선택하는 단계를 더 포함할 수 있다.
사용자의 현재위치를 인식한다(S720). 상기 매장의 지점별로 이벤트정보, 빈 좌석수 또는 빈 객실 수 등의 매장정보가 상이하므로, 매장이 어느 지점에 해당하는 지를 인식하기 위해서 사용자의 현재위치를 인식하여야 한다.
상기 현재위치를 인식 방식으로, 상기 제1카메라(121)가 획득한 영상에 포함된 지점 명칭을 인식하는 방식을 적용할 수 있다. 일반적으로 매장의 간판 등에는 어느 지점인지가 함께 기재되어 있으므로, 상기 제1카메라(121)가 획득한 영상에서 상기 문자인식모듈이 지점 명칭도 획득하여 현재 위치로 인식한다.
또한, 상기 현재위치를 인식 방식으로 상기 GPS모듈을 통해 현재 위치를 인식하는 방식이 적용할 수 있다. 상기 GPS모듈이 위성신호를 수신하여 현재위치를 인식할 수 있다.
또한, 상기 현재위치를 인식 방식으로 무선통신을 이용하여 현재위치를 인식하는 방식을 적용할 수 있다. 상기 무선통신부(250)가 주변에 존재하는 와이파이(Wi-Fi)를 인식하거나, LTE 등의 무선신호를 송신한 기지국을 인식하는 등의 방식으로 사용자의 위치를 인식할 수 있다. 다만, 상기 무선통신을 이용하여 현재위치를 인식하는 방식은 이에 한정되지 않고, 다양한 무선통신신호를 이용하여 위치를 인식하는 다양한 방식이 적용될 수 있다.
다만, 상기 사용자의 현재 위치를 인식하는 방식은 이에 한정되지 않고, 대형 쇼핑몰 내에서 매장 위치를 인식해야 하는 경우에는 실내 측위 방식을 적용하는 등 다양한 방식을 적용할 수 있다.
상기 매장의 이름과 위치정보를 바탕으로, 매장정보를 탐색한다(S730). 상기 매장정보는 사용자가 주시하는 매장과 관련하여 사용자가 필요로 하는 정보를 의미한다. 예를 들어, 상기 매장이 카페 또는 음식점인 경우, 빈좌석수 정보, 할인 또는 이벤트 정보, 영업시간정보, 가격정보 등이 해당할 수 있다. 또한, 상기 매장정보는, 상기 매장이 숙박업소인 경우, 빈 객실수 정보, 할인 또는 이벤트 정보, 객실 내부구조도 정보, 가격정보 등이 해당할 수 있다. 제어부(210)는 상기 매장의 이름과 위치정보를 바탕으로 상기 매장정보의 탐색요청하기 위한 정보처리를 수행한다. 상기 무선통신부(250)가 제어부(210)에 의해 정보처리 된 데이터를 무선통신을 통해 외부서버(20)로 전송하여 상기 매장의 탐색을 수행한다. 외부서버(20) 내의 상기 매장 이름과 상기 위치정보에 해당하는 상기 매장의 매장정보를 파악한다. 예를 들어, 상기 매장 이름을 바탕으로 사용자가 주시하는 매장 탐색을 수행하고, 탐색된 상기 이름의 매장 중에서 상기 위치정보에 해당하는 지점을 탐색한다. 상기 탐색된 매장의 지점에 저장된 매장정보를 추출한다. 상기 매장이 카페인 경우, 외부서버(20)는 상기 매장의 할인정보 또는 이벤트 정보, 상기 매장의 영업시간, 상기 매장 내 현재 빈좌석수 등을 추출한다. 그 후, 글라스형 웨어러블 디바이스(10)가 외부서버(20)로부터 무선통신을 통해 상기 매장정보를 수신한다. 다만, 글라스형 웨어러블 디바이스(10)가 수집된 상기 매장 이름과 상기 위치정보를 바탕으로 상기 매장정보를 탐색하는 방법에는 외부서버(20)에 저장된 상기 매장정보를 탐색하는 방식에 한정되지 않고, 다양한 방법이 적용될 수 있다.
글라스형 웨어러블 디바이스(10)가 상기 탐색된 매장정보를 사용자에게 알림을 수행한다(S740). 글라스형 웨어러블 디바이스(10)가 상기 탐색된 매장정보를 사용자에게 알림하는 방식은, 도 25에서와 같이, 디스플레이부(310)에 상기 매장정보를 표시하는 방식 또는 음향출력을 통해 상기 매장정보를 알리는 방식 등을 적용할 수 있다.
또한, 상기 매장정보가 할인 또는 이벤트정보인 경우, 저장된 사용자정보를 바탕으로 할인 또는 이벤트 정보를 선별하는 단계;를 더 포함할 수 있다. 상기 사용자정보는 사용자에 관한 다양한 정보를 의미하고, 글라스형 웨어러블 디바이스(10)의 저장부에 사용자가 입력하여 저장할 수 있다. 상기 사용자정보는 보유한 신용카드 또는 체크카드 정보, 사용자의 회원 가입한 매장 리스트 정보, 포인트카드 보유 정보, 소속학교 정보 등 사용자와 관련된 다양한 정보를 포함할 수 있다. 제어부(210)는 상기 저장부에 저장된 상기 사용자정보를 바탕으로 사용자가 혜택을 받을 수 있는 할인 또는 이벤트정보를 선별한다. 예를 들어, 상기 매장의 할인정보 중에 주변 학교 학생의 할인 혜택이 있는 경우, 상기 저장된 사용자정보 중 소속학교 정보를 추출하여 상기 매장에서 할인 혜택을 부여하는 학교 리스트와 비교 수행한다. 상기 소속 학교가 학교 리스트에 포함되어 있는 경우, 제어부(210)는 사용자에게 제공할 할인 또는 이벤트 정보로 선별하여 사용자에게 알림을 수행한다. 또한, 예를 들어, 사용자가 저장부에 본인이 보유한 신용카드 또는 체크카드의 종류를 입력하여 두고, 상기 매장의 할인 또는 이벤트 정보 중에 카드 혜택이 있으면 상기 신용카드 또는 체크카드가 이에 포함되어 있는지 확인한다. 사용자의 신용카드 또는 체크카드가 포함되어 있는 경우, 제어부(210)는 사용자에게 제공할 할인 또는 이벤트 정보로 선별하여 사용자에게 알림을 수행한다.
이하, 도면을 참조하여 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 회사정보 탐색서비스 시스템 및 방법에 대해 설명하기로 한다.
도 26은 글라스형 웨어러블 디바이스(10)를 이용한 회사정보 탐색서비스 방법에 대한 순서도이다.
도 26을 참조하면, 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 회사정보 탐색서비스 방법은, 글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 회사명칭 또는 회사로고를 포함하는 영상을 획득하는 단계(S800); 상기 영상에 포함된 상기 회사명칭 또는 회사로고를 인식하는 단계(S810); 상기 회사명칭 또는 회사로고를 바탕으로 회사정보를 탐색하는 단계(S820); 및 글라스형 웨어러블 디바이스(10)가 상기 탐색된 회사정보를 사용자에게 제공하는 단계(S830);를 포함한다. 본 발명의 일 실시예에 따른 글라스형 웨어러블 디바이스(10)를 이용한 회사정보 탐색서비스 방법을 순서대로 설명한다.
글라스형 웨어러블 디바이스(10)의 제1카메라(121)가 회사명칭 또는 회사로고를 포함하는 영상을 획득한다(S800). 상기 제1카메라(121)는 글라스형 웨어러블 디바이스(10)의 일측에 구비되어 전방의 영상을 획득하는 카메라이다. 상기 제1카메라(121)는, 도 27에서와 같이, 사용자가 주시하는 회사명칭 또는 회사로고를 인식하기 위해서 이를 포함한 영상을 획득한다.
글라스형 웨어러블 디바이스(10)가 상기 영상에 포함된 상기 회사명칭 또는 회사로고를 인식한다(S810). 상기 회사명칭의 경우, 제어부(210)의 문자인식모듈이 회사 명칭을 인식한다. 상기 문자인식모듈의 문자 인식 방법으로 광학문자인식(Optical Character Recognition; OCR)방식을 적용할 수 있다. 문자인식모듈의 문자인식 방식은 OCR방식에 한정되지 아니하고, 이미 인쇄되어 있는 오프라인상의 문자를 인식할 수 있는 다양한 방식이 적용될 수 있다.
상기 회사로고의 경우, 제어부(210)의 회사로고인식모듈이 회사로고를 인식한다. 상기 제1카메라(121)에 의해 획득된 이미지에서 회사로고에 해당하는 부분을 추출하여 이미지처리를 수행한다.
상기 제1카메라(121)에 의해 획득된 이미지 내에서 하나 이상의 상기 회사명칭 또는 회사로고가 인식되는 경우, 사용자가 사용자입력부(110)(예를 들어, 터치부) 조작, 눈깜박임 입력, 음성명령 입력, 고개움직임패턴 입력 등을 통해 원하는 상기 회사명칭 또는 회사로고를 선택하는 단계를 더 포함할 수 있다.
글라스형 웨어러블 디바이스(10)가 상기 회사명칭 또는 회사로고를 바탕으로 회사정보를 탐색한다(S820). 상기 인식된 회사명칭 또는 회사로고를 외부서버(20)(또는 검색서버)로 상기 회사명칭 또는 회사로고에 대응하는 상기 회사정보를 전송하여 탐색을 수행한다. 상기 회사정보 탐색은, 상기 회사명칭 또는 회사로고 하나에 의해 수행될 수 있고, 상기 회사명과 회사로고를 함께 활용하여 탐색을 수행할 수 있다. 예를 들어, 상기 회사명으로 검색을 수행하여 복수개의 회사가 탐색되는 경우, 상기 탐색된 회사 중에서 상기 회사로고를 가지는 회사를 찾아낼 수 있다.
상기 회사로고에 상응하는 이미지를 탐색하는 과정은, 이미지의 윤곽을 검출하여 이미지의 윤곽 특징을 획득하고, 상기 윤곽 특징에 따라 외부서버(20)의 이미지 데이터베이스에서 인덱스 목록을 생성하여 상기 인덱스 목록으로부터 상기 윤곽 특징을 포함하는 적어도 하나의 이미지를 검색하는 방식을 적용할 수 있다. 또한, 상기 회사로고 이미지에서 인식된 문자를 상기 회사로고에 상응하는 이미지 탐색을 위한 특징정보로 더 활용할 수 있다. 다만, 이미지를 탐색하는 방법은 이에 한정되지 않고, 다양한 이미지 검색방법을 적용할 수 있다.
글라스형 웨어러블 디바이스(10)가 상기 탐색된 회사정보를 사용자에게 제공한다(S830). 상기 탐색된 회사정보의 제공 방식으로, 글라스형 웨어러블 디바이스(10)의 디스플레이부(310) 또는 글라스형 웨어러블 디바이스(10)와 연동된 외부디바이스의 디스플레이부(310)에 시각적으로 표시하는 방식을 적용할 수 있다. 도 28에서와 같이, 글라스형 웨어러블 디바이스(10)의 디스플레이부(310) 상에 제어부(210)가 정보처리를 수행한 회사정보를 표시할 수 있다. 또한, 글라스형 웨어러블 디바이스(10)와 연동된 외부디바이스가 외부서버(20)로부터 바로 상기 회사정보를 수신하거나 글라스형 웨어러블 디바이스(10)를 통해서 상기 회사정보를 전달받아서, 상기 외부디바이스의 디스플레이부(310) 상에 표시할 수 있다.
또한, 상기 탐색된 회사정보의 제공 방식으로, 상기 음향출력부(320)를 통해 사용자에게 음성으로 회사정보를 제공하는 방식을 적용할 수 있다. 제어부(210)가 수신한 회사정보를 음성으로 정보처리하고, 상기 음성을 상기 음향출력부(320)를 통해 사용자에게 제공할 수 있다.
또한, 사용자가 원하는 회사정보의 분류를 설정하는 단계;를 더 포함하고, 상기 회사명칭 또는 회사로고를 바탕으로 회사정보를 탐색하는 단계는, 상기 설정된 분류를 바탕으로 탐색된 상기 회사정보를 필터링하는 단계;를 더 포함하는 것을 특징으로 할 수 있다. 사용자가 탐색을 통해 얻고자하는 회사정보의 분류가 있다면, 탐색할 회사정보의 분류를 설정하여 외부서버(20)가 탐색하는 과정에서 원하는 상기 회사정보만을 필터링하여 제공받을 수 있다. 예를 들어, 사용자는 상기 회사의 주식관련 자료만을 원하는 경우, 글라스형 웨어러블 디바이스(10)는 주식관련 정보로 탐색조건을 제한하여 외부서버(20)로 탐색요청을 하고, 외부서버(20)는 주식관련 회사정보만 탐색하여 글라스형 웨어러블 디바이스(10)에 제공해준다. 이를 통해 불필요한 회사정보 제공으로 시간낭비 또는 통신데이터 낭비가 발생하는 것을 방지할 수 있고, 사용자가 신속하게 원하는 회사정보만을 얻을 수 있다.
또한, 상기 제1카메라(121)가 타인의 명함에 포함된 회사명칭 또는 회사로고를 획득하는 경우, 상기 타인이 소속된 부서의 정보를 탐색하여 사용자에게 제공하는 단계;를 더 포함할 수 있다. 사용자가 새로운 사람을 우연히 만나서 명함을 받고 대화를 나누게 되는 경우가 있다. 이러한 경우에 상대방과 원활한 대화를 하거나 상대방에게 호감을 얻기 위해서는 상대방의 회사에 대한 정보 또는 상대방 부서의 업무 등 상대방의 업무와 관련된 정보를 알고 있을 필요가 있다. 이를 위해서 사용자가 제1카메라(121)를 이용해 명함을 스캔하여 회사명칭 또는 회사로고를 획득하는 경우, 상대방 부서의 명칭도 획득하여 탐색을 수행할 수 있다. 제어부(210)의 문자인식모듈이 상기 상대방의 명함에 기재된 부서명을 인식한다. 그 후, 글라스형 웨어러블 디바이스(10)는 상기 부서명을 회사명칭 또는 회사로고와 함께 외부서버(20)로 전송한다. 그 후, 글라스형 웨어러블 디바이스(10)는 외부서버(20)로부터 탐색된 상기 회사의 부서에 대한 정보를 제공받는다. 예를 들어, 글라스형 웨어러블 디바이스(10)가 상기 회사명칭과 상기 부서명을 외부서버(20)로 전송하여, 상기 부서의 구성원 정보 또는 상기 부서의 주요 업무 등을 제공받을 수 있다. 상기 수신한 부서 구성원 정보를 바탕으로 상기 부서에 사용자의 지인이 있는지 파악하여, 상기 지인에 대한 이야기를 바탕으로 대화를 이끌어나갈 수 있다. 또한, 상기 부서의 주요업무 정보를 바탕으로, 상대방에게 업무에 관해 물으면서 대화를 진행할 수 있다.
이상에서 전술한 본 발명의 실시예들에 따른 글라스형 웨어러블 디바이스를 이용한 정보처리 방법은, 하드웨어인 글라스형 웨어러블 디바이스(10)와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 글라스형 웨어러블 디바이스(10)가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 글라스형 웨어러블 디바이스(10)의 프로세서(CPU)가 글라스형 웨어러블 디바이스(10)의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 글라스형 웨어러블 디바이스(10)의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 글라스형 웨어러블 디바이스(10)의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 글라스형 웨어러블 디바이스(10)의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 글라스형 웨어러블 디바이스(10)의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 글라스형 웨어러블 디바이스(10)의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 글라스형 웨어러블 디바이스(10)가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 글라스형 웨어러블 디바이스(10)상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (38)

  1. 글라스형 웨어러블 디바이스가 외부디바이스로 위치알림요청신호를 발신하는 단계;
    상기 외부디바이스로부터 제1위치정보를 포함하는 위치정보신호를 수신하는 단계;
    제2위치정보를 기준으로 상기 외부디바이스까지의 거리 또는 방향을 산출하는 단계; 및
    상기 글라스형 웨어러블 디바이스가 상기 외부디바이스의 위치 알림을 제공하는 단계;를 포함하되,
    상기 제1위치정보는 상기 외부디바이스의 실내위치에 관한 것이며, 상기 제2위치정보는 상기 글라스형 웨어러블 디바이스의 실시간 위치에 관한 것인, 웨어러블 디바이스를 이용한 정보처리 방법.
  2. 제1항에 있어서,
    상기 글라스형 웨어러블 디바이스가 바라보는 제1방향정보를 인식하는 단계; 및
    상기 제1방향과 상기 위치정보신호의 송신방향인 제2방향의 일치 여부를 판단하여 사용자에게 알림을 제공하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  3. 제1항에 있어서,
    상기 외부디바이스 위치정보 제공단계는,
    상기 외부디바이스의 위치를 증강현실 형태로 생성하여 표시하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  4. 제1항에 있어서,
    상기 외부디바이스의 거리 또는 방향을 산출하는 단계는,
    상기 글라스형 웨어러블 디바이스가 획득한 전방영상 내에서 실내 특징요소의 위치 및 크기를 인식하여, 상기 글라스형 웨어러블 디바이스의 현재 위치인 제2위치정보를 측정하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  5. 글라스형 웨어러블 디바이스를 이용하여 광고노출효과를 측정 방법에 있어서,
    디스플레이부 상에 좌표 정보를 가지는 광고를 표시하는 단계;
    제2카메라가 안구를 촬영하는 단계;
    상기 안구 영상을 분석하여 안구가 응시하고 있는 좌표를 계산하는 단계;
    상기 안구가 응시하고 있는 좌표와 상기 광고의 좌표를 이용하여 상기 안구가 상기 광고를 응시하였는지 여부를 판단하는 단계;
    상기 광고에 대한 응시시간 및 응시횟수를 저장하는 단계; 및
    상기 광고에 대한 응시시간 및 응시횟수를 이용하여 상기 광고의 효과를 측정하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  6. 사용자의 전방 영상을 촬영하여 무선통신을 통해 실시간으로 전송하는 글라스형 웨어러블 디바이스;
    상기 글라스형 웨어러블 디바이스로부터 실시간으로 촬영 영상을 수신하고, 상기 촬영 영상의 제공 요청이 있으면 상기 영상을 통신 단말기로 제공하는 촬영정보 관리서버; 및
    무선통신을 통해 상기 촬영정보 관리서버로 상기 촬영 영상의 제공을 요청하고, 상기 촬영 영상을 제공받아 표시하는 외부디바이스;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 시스템.
  7. 사용자의 전방 영상을 촬영하여 상기 무선통신을 통해 실시간으로 전송하는 글라스형 웨어러블 디바이스; 및
    무선통신을 통해 상기 글라스형 웨어러블 디바이스로부터 상기 촬영 영상을 제공받아 표시하는 외부디바이스;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 시스템.
  8. 제6항 또는 제7항에 있어서,
    상기 글라스형 웨어러블 디바이스는,
    사용자의 전방영상을 획득하는 제1카메라;
    무선통신으로 데이터 송수신을 행하는 무선통신부; 및
    무선통신에 의한 데이터 송신을 위해 정보처리를 수행하는 제어부;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 시스템.
  9. 제6항 또는 제7항에 있어서,
    상기 외부디바이스는,
    무선통신으로 데이터 송수신을 행하는 무선통신부;
    사용자에게 영상을 제공하는 디스플레이부; 및
    무선통신을 통해 수신한 데이터를 상기 디스플레이부 상에 표시하기 위해 정보처리를 수행하고, 상기 촬영정보 관리서버 또는 상기 글라스형 웨어러블 디바이스로 상기 촬영 영상의 제공요청 여부를 판단하는 제어부;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 시스템.
  10. 제9항에 있어서,
    상기 촬영 영상의 제공요청여부 판단은,
    상기 외부디바이스의 전면카메라를 이용한 아이트래킹을 통해 사용자가 상기 디스플레이부를 주시하고 있음이 인식되면, 상기 촬영정보 관리서버 또는 상기 글라스형 웨어러블 디바이스에 상기 촬영영상의 실시간 제공을 요청하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 시스템.
  11. 제8항에 있어서,
    상기 촬영 영상의 제공요청여부 판단은,
    상기 외부디바이스가 켜지는 경우, 자동으로 상기 촬영정보 관리서버 또는 상기 글라스형 웨어러블 디바이스와 연결되어 상기 촬영영상의 실시간 제공요청이 이루어지는 것을 특징으로 하는. 웨어러블 디바이스를 이용한 정보처리 시스템.
  12. 제8항에 있어서,
    상기 제1카메라는,
    기울기 조절이 가능한 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 시스템.
  13. 제12항에 있어서,
    상기 글라스형 웨어러블 디바이스는,
    상기 사용자의 고개 숙임 정도를 인식하는 각도측정센서;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 시스템.
  14. 글라스형 웨어러블 디바이스를 이용하여 사용자에게 특정장소의 이벤트정보를 제공하는 방법에 있어서,
    제1카메라가 상기 특정장소의 안내지도를 포함하는 이미지를 획득하는 단계;
    상기 안내지도에 포함된 장소정보를 추출하여 상기 안내지도에 해당하는 장소를 인식하는 단계;
    상기 인식된 장소의 이벤트정보를 탐색하는 단계; 및
    상기 안내지도를 바탕으로 사용자에게 상기 이벤트정보를 안내하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  15. 제14항에 있어서,
    상기 이벤트정보가 상기 이벤트장소 위치정보를 포함하는 경우,
    사용자의 현재위치를 인식하는 단계; 및
    상기 이벤트장소까지의 경로를 안내하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  16. 제14항에 있어서,
    사용자가 상기 이벤트에 참가한 후, 상기 이벤트에 대한 피드백을 사용자입력부 또는 음성입력부를 통해 입력받아 외부서버로 전송하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  17. 제14항에 있어서,
    상기 이벤트정보에 상기 이벤트장소 위치정보가 포함된 경우,
    사용자로부터 상기 탐색된 이벤트정보 중에서 관심 이벤트를 선택받는 단계; 및
    상기 사용자의 실내 위치를 인식하여, 상기 사용자가 상기 관심 이벤트의 위치정보와 근접하면 사용자에게 알림을 수행하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  18. 제14항에 있어서,
    상기 안내지도가 관광지 안내지도에 해당하는 경우,
    상기 이벤트정보는,
    대기시간 정보, 추천코스 정보, 쇼 또는 퍼레이드 정보, 요금정보 중 적어도 하나 이상을 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  19. 제14항에 있어서,
    상기 장소정보 추출은,
    상기 제1카메라가 획득한 이미지 내의 명칭을 인식하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  20. 글라스형 웨어러블 디바이스를 이용하여 외부디바이스 내에 저장된 콘텐츠를 관리하는 방법에 있어서,
    상기 글라스형 웨어러블 디바이스가 상기 외부디바이스를 인식하는 단계;
    상기 외부디바이스 내 콘텐츠목록정보 제공을 요청하여 상기 외부디바이스로부터 저장된 상기 콘텐츠목록정보를 수신하는 단계;
    상기 글라스형 웨어러블 디바이스가 디스플레이부에 상기 콘텐츠목록정보를 표시하는 단계;
    사용자로부터 사용자입력부를 통해 콘텐츠 선택명령 또는 상기 외부디바이스의 제어명령 입력을 받는 단계; 및
    무선통신을 통해 상기 외부디바이스로 상기 입력된 명령을 전송하여 제어하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  21. 제20항에 있어서,
    상기 글라스형 웨어러블 디바이스가 상기 외부디바이스를 인식하는 단계는,
    상기 글라스형 웨어러블 디바이스의 제1카메라가 상기 외부디바이스를 포함하는 영상을 획득하여 인식하는 방식에 의해 수행되는, 웨어러블 디바이스를 이용한 정보처리 방법.
  22. 제20항에 있어서,
    상기 외부디바이스의 사용자임을 인증하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  23. 제20항에 있어서,
    상기 글라스형 웨어러블 디바이스가 상기 외부디바이스에 저장된 상기 콘텐츠의 유형을 분석하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  24. 제23항에 있어서,
    상기 콘텐츠의 분석된 유형이 이미지 또는 영상인 경우,
    상기 글라스형 웨어러블 디바이스의 디스플레이에 최적화된 크기로 가공하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  25. 글라스형 웨어러블 디바이스를 이용하여, 터치 디스플레이를 포함하지 않는 외부디바이스에 대한 사용자의 터치조작 인식방법에 있어서,
    상기 글라스형 웨어러블 디바이스가 상기 외부디바이스의 화면 이미지를 획득하고, 상기 화면 이미지에 기준좌표를 설정하는 단계;
    상기 글라스형 웨어러블 디바이스의 제1카메라가 상기 사용자의 상기 외부디바이스의 화면을 터치조작하는 영상을 획득하는 단계;
    상기 영상을 분석하여, 상기 터치가 이루어진 부분의 좌표정보를 파악하는 단계;
    상기 외부디바이스로 상기 좌표정보를 전송하는 단계; 및
    상기 외부디바이스의 상기 좌표정보에 해당하는 부분에 입력신호를 제공하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  26. 제25항에 있어서,
    상기 사용자의 터치조작에 제공된 손가락 개수, 손가락 모양 또는 터치방향에 따라 터치에 의한 입력신호의 유형을 판단하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  27. 제25항에 있어서,
    저장된 상기 외부디바이스에 사용자의 손가락 접촉시 화면크기에 대한 손가락 크기의 비율과 상기 영상 내의 화면크기에 대한 손가락 크기의 비율을 비교하는 단계; 및
    비율의 차이가 오차범위 내에 해당할 경우, 상기 터치조작으로 인식하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  28. 제25항에 있어서,
    상기 사용자의 안구를 향해 설치된 제2카메라에 의해 상기 사용자의 눈깜박임을 인식하는 단계; 및
    상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  29. 제28항에 있어서,
    상기 눈깜박임 인식에 따라 사용자의 상기 터치조작으로 인식하는 단계는,
    사용자의 눈깜박임 방식에 따라 입력신호를 구별하여 인식하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  30. 제25항에 있어서,
    상기 글라스형 웨어러블 디바이스가 상기 외부디바이스의 화면 이미지를 획득하고, 상기 화면에 기준좌표를 설정하는 단계는,
    상기 글라스형 웨어러블 디바이스의 상기 제1카메라가 상기 외부디바이스의 전체화면을 인식하여 상기 화면에 기준좌표를 설정하는 방식에 의해 수행되는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  31. 제25항에 있어서,
    상기 제1카메라가 획득한 영상을 좌표가 적용된 상기 기준좌표가 설정된 화면 이미지와 동일한 방향에서 획득된 영상으로 변환하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  32. 글라스형 웨어러블 디바이스를 이용하여 사용자가 주시한 매장의 정보를 탐색하여 제공하는 방법에 있어서,
    제1카메라가 상기 매장의 이름을 포함하는 영상을 획득하는 단계;
    상기 영상에서 상기 매장의 이름을 인식하는 단계;
    사용자의 현재위치를 인식하는 단계;
    상기 매장의 이름과 위치정보를 바탕으로, 매장정보를 탐색하는 단계; 및
    상기 글라스형 웨어러블 디바이스가 상기 탐색된 매장정보를 사용자에게 알림하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  33. 제32항에 있어서,
    상기 매장정보는,
    상기 매장이 카페 또는 음식점인 경우,
    빈좌석수 정보, 할인 또는 이벤트 정보, 영업시간정보, 가격정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  34. 제32항에 있어서,
    상기 매장정보는,
    상기 매장이 숙박업소인 경우,
    빈 객실수 정보, 할인 또는 이벤트 정보, 객실 내부구조도 정보, 가격정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  35. 제32항에 있어서,
    상기 매장정보가 할인 또는 이벤트정보인 경우,
    저장된 사용자 정보를 바탕으로 할인 또는 이벤트 정보를 선별하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  36. 글라스형 웨어러블 디바이스를 통해 회사정보를 탐색하여 사용자에게 제공하는 방법에 있어서,
    상기 글라스형 웨어러블 디바이스의 제1카메라가 회사명칭 또는 회사로고를 포함하는 영상을 획득하는 단계;
    상기 영상에 포함된 상기 회사명칭 또는 회사로고를 인식하는 단계;
    상기 회사명칭 또는 회사로고를 바탕으로 회사정보를 탐색하는 단계; 및
    상기 글라스형 웨어러블 디바이스가 상기 탐색된 회사정보를 사용자에게 제공하는 단계;를 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  37. 제36항에 있어서,
    사용자가 원하는 회사정보의 분류를 설정하는 단계;를 더 포함하고,
    상기 회사명칭 또는 회사로고를 바탕으로 회사정보를 탐색하는 단계는, 상기 설정된 분류를 바탕으로 탐색된 상기 회사정보를 필터링하는 단계;를 더 포함하는 것을 특징으로 하는, 웨어러블 디바이스를 이용한 정보처리 방법.
  38. 제36항에 있어서,
    상기 제1카메라가 타인의 명함에 포함된 회사명칭 또는 회사로고를 획득하는 경우,
    상기 타인이 소속된 부서의 정보를 탐색하여 사용자에게 제공하는 단계;를 더 포함하는, 웨어러블 디바이스를 이용한 정보처리 방법.
PCT/KR2015/008129 2014-08-04 2015-08-04 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 WO2016021907A1 (ko)

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
KR10-2014-0099874 2014-08-04
KR1020140099819A KR20160016196A (ko) 2014-08-04 2014-08-04 글라스형 웨어러블 디바이스를 이용한 광고 효과 측정 방법 및 시스템
KR10-2014-0099819 2014-08-04
KR1020140099874A KR20160016216A (ko) 2014-08-04 2014-08-04 글라스형 웨어러블 디바이스를 이용한 실시간 전방주시시스템 및 전방주시방법
KR10-2014-0100935 2014-08-06
KR1020140100935A KR102308970B1 (ko) 2014-08-06 2014-08-06 글라스형 웨어러블 디바이스를 이용한 외부기기의 입력신호 제공시스템 및 입력신호 제공방법
KR10-2014-0109211 2014-08-21
KR1020140109211A KR20160023226A (ko) 2014-08-21 2014-08-21 글라스형 웨어러블 디바이스를 이용한 글라스형 웨어러블 디바이스와 연동된 외부단말기 위치 탐색 시스템 및 탐색 방법
KR1020140110595A KR20160024140A (ko) 2014-08-25 2014-08-25 본 발명의 일실시예에 따른 글라스형 웨어러블 디바이스를 이용한 매장정보 제공서비스 시스템 및 방법
KR10-2014-0110595 2014-08-25
KR1020140113945A KR20160027399A (ko) 2014-08-29 2014-08-29 글라스형 웨어러블 디바이스를 이용한 회사정보 탐색서비스 시스템 및 방법
KR10-2014-0113945 2014-08-29
KR10-2014-0151982 2014-11-04
KR1020140151982A KR102251710B1 (ko) 2014-11-04 2014-11-04 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 컴퓨터로 독출 가능한 기록매체
KR1020140152507A KR20160053472A (ko) 2014-11-05 2014-11-05 글라스형 웨어러블 디바이스를 이용한 이벤트정보 제공서비스 시스템, 방법 및 글라스형 웨어러블 디바이스용 어플리케이션
KR10-2014-0152507 2014-11-05

Publications (1)

Publication Number Publication Date
WO2016021907A1 true WO2016021907A1 (ko) 2016-02-11

Family

ID=55264115

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008129 WO2016021907A1 (ko) 2014-08-04 2015-08-04 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법

Country Status (1)

Country Link
WO (1) WO2016021907A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325504A (zh) * 2016-08-16 2017-01-11 合肥东上多媒体科技有限公司 一种博物馆智能数字导游系统
CN108628442A (zh) * 2018-03-22 2018-10-09 北京奇艺世纪科技有限公司 一种信息提示方法、装置以及电子设备
CN111121751A (zh) * 2019-12-29 2020-05-08 歌尔股份有限公司 一种眼镜定位方法、装置和系统及客户端设备
CN113645265A (zh) * 2021-05-22 2021-11-12 运链物流管理(江苏)有限公司 一种物联网智能识别系统
WO2023054877A1 (ko) * 2021-09-29 2023-04-06 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398151B1 (en) * 2004-02-25 2008-07-08 Garmin Ltd. Wearable electronic device
WO2012081919A2 (ko) * 2010-12-15 2012-06-21 삼성전자 주식회사 위치 안내 방법, 기계로 읽을 수 있는 저장 매체 및 휴대통신 단말기
KR20120085050A (ko) * 2011-01-21 2012-07-31 주식회사 플렉스엘시디 위치정보 서비스를 제공하는 착용형 유비쿼터스 단말장치
WO2012148242A2 (ko) * 2011-04-28 2012-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20140031959A (ko) * 2014-01-27 2014-03-13 큐비콤 (주) 근거리 무선통신을 이용한 거리측정용 디바이스 모듈, 단말기, 및 이를 이용한 거리측정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398151B1 (en) * 2004-02-25 2008-07-08 Garmin Ltd. Wearable electronic device
WO2012081919A2 (ko) * 2010-12-15 2012-06-21 삼성전자 주식회사 위치 안내 방법, 기계로 읽을 수 있는 저장 매체 및 휴대통신 단말기
KR20120085050A (ko) * 2011-01-21 2012-07-31 주식회사 플렉스엘시디 위치정보 서비스를 제공하는 착용형 유비쿼터스 단말장치
WO2012148242A2 (ko) * 2011-04-28 2012-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20140031959A (ko) * 2014-01-27 2014-03-13 큐비콤 (주) 근거리 무선통신을 이용한 거리측정용 디바이스 모듈, 단말기, 및 이를 이용한 거리측정 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325504A (zh) * 2016-08-16 2017-01-11 合肥东上多媒体科技有限公司 一种博物馆智能数字导游系统
CN108628442A (zh) * 2018-03-22 2018-10-09 北京奇艺世纪科技有限公司 一种信息提示方法、装置以及电子设备
CN111121751A (zh) * 2019-12-29 2020-05-08 歌尔股份有限公司 一种眼镜定位方法、装置和系统及客户端设备
CN113645265A (zh) * 2021-05-22 2021-11-12 运链物流管理(江苏)有限公司 一种物联网智能识别系统
WO2023054877A1 (ko) * 2021-09-29 2023-04-06 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법

Similar Documents

Publication Publication Date Title
WO2019013517A1 (en) APPARATUS AND METHOD FOR VOICE CONTROL CONTEXT
WO2018155892A1 (en) Method for displaying virtual image, storage medium and electronic device therefor
WO2018182217A1 (en) Method for adaptive authentication and electronic device supporting the same
WO2019216499A1 (ko) 전자 장치 및 그 제어 방법
WO2016175412A1 (en) Mobile terminal and controlling method thereof
WO2020017706A1 (en) Electronic device and method for controlling the same
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2015167160A1 (en) Command displaying method and command displaying device
WO2016021907A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2017164567A1 (en) Intelligent electronic device and method of operating the same
WO2016204466A1 (en) User authentication method and electronic device supporting the same
WO2017069403A1 (en) Mobile terminal and method for controlling the same
WO2020159302A1 (ko) 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
WO2017099314A1 (ko) 사용자 정보를 제공하는 전자 장치 및 방법
WO2016006920A1 (ko) 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2018093005A1 (en) Mobile terminal and method for controlling the same
WO2015108241A1 (ko) 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
WO2020256325A1 (en) Electronic device and method for providing function by using corneal image in electronic device
WO2019031693A1 (en) MOBILE TERMINAL
WO2018182326A1 (en) Device and method for performing payment using utterance
WO2016117754A1 (ko) 디스플레이 디바이스 및 그 제어 방법
WO2021118229A1 (en) Information providing method and electronic device for supporting the same
WO2018097483A1 (ko) 움직임 정보 생성 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15829108

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15829108

Country of ref document: EP

Kind code of ref document: A1