WO2018199421A1 - 음료 공급 장치 및 그 제어 방법 - Google Patents

음료 공급 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2018199421A1
WO2018199421A1 PCT/KR2017/014004 KR2017014004W WO2018199421A1 WO 2018199421 A1 WO2018199421 A1 WO 2018199421A1 KR 2017014004 W KR2017014004 W KR 2017014004W WO 2018199421 A1 WO2018199421 A1 WO 2018199421A1
Authority
WO
WIPO (PCT)
Prior art keywords
beverage supply
information
sound data
user
menu
Prior art date
Application number
PCT/KR2017/014004
Other languages
English (en)
French (fr)
Inventor
정규혁
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/603,333 priority Critical patent/US11027962B2/en
Publication of WO2018199421A1 publication Critical patent/WO2018199421A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B67—OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67D—DISPENSING, DELIVERING OR TRANSFERRING LIQUIDS, NOT OTHERWISE PROVIDED FOR
    • B67D1/00—Apparatus or devices for dispensing beverages on draught
    • B67D1/0015—Apparatus or devices for dispensing beverages on draught the beverage being prepared by mixing at least two liquid components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B67—OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67D—DISPENSING, DELIVERING OR TRANSFERRING LIQUIDS, NOT OTHERWISE PROVIDED FOR
    • B67D1/00—Apparatus or devices for dispensing beverages on draught
    • B67D1/08—Details
    • B67D1/0878—Safety, warning or controlling devices
    • B67D1/0882—Devices for controlling the dispensing conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B67—OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67D—DISPENSING, DELIVERING OR TRANSFERRING LIQUIDS, NOT OTHERWISE PROVIDED FOR
    • B67D1/00—Apparatus or devices for dispensing beverages on draught
    • B67D1/08—Details
    • B67D1/0878—Safety, warning or controlling devices
    • B67D1/0881—Means for counting the doses of dispensed liquid
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B67—OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67D—DISPENSING, DELIVERING OR TRANSFERRING LIQUIDS, NOT OTHERWISE PROVIDED FOR
    • B67D1/00—Apparatus or devices for dispensing beverages on draught
    • B67D1/08—Details
    • B67D1/0888—Means comprising electronic circuitry (e.g. control panels, switching or controlling means)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a beverage supply apparatus and a control method thereof, and more particularly, to an apparatus for supplying a beverage based on a voice signal and a control method thereof.
  • a number of electronic devices are used in general homes, and various methods for utilizing artificial intelligence in such electronic devices have also been proposed.
  • a beverage supply device that can repeatedly receive a similar command from the user, such as a water purifier or a coffee machine, it is equipped with an artificial intelligence service for a method that the user can receive a drink more conveniently Suggest.
  • the object of the present invention is to provide a method for receiving a drink by utilizing artificial intelligence.
  • the sensing unit MIC; Artificial intelligence; And a controller, wherein when the object is detected, the controller activates the microphone and, when sensing the first sound data of the user through the activated microphone, recognizes the first sound data, and the first sound.
  • the information of the user may be obtained based on data, the information of the user may be stored, and a menu corresponding to the object may be determined based on the information of the user and the first sound data.
  • the artificial intelligence unit may learn the sensed first sound data to store information about the user and information about the determined menu.
  • the artificial intelligence unit may store the user information and the information on the menu in consideration of both the linguistic expression and the non-verbal expression.
  • the controller may convert the first sound data into text and determine a menu corresponding to the object based on the converted text.
  • the beverage supply apparatus may further include a sound output unit, and when the menu corresponding to the object is determined, the beverage supply device may output information about the menu as a voice signal through the sound output unit.
  • the beverage supply apparatus may further include a display unit, and when the menu corresponding to the object is determined, the controller may output information about the menu as a visual signal through the display unit.
  • the controller may change a menu corresponding to the object based on the second sound data when sensing second sound data of the user through the activated microphone.
  • the artificial intelligence unit may learn the first sound data and the second sound data and store the information of the user and the determined menu.
  • the beverage supply apparatus may further include a water supply unit, and the water supply unit may supply the determined menu to the object under the control of the controller.
  • the controller may determine at least one of a type, an amount, and a temperature of the watered menu based on the information of the user and the first sound data.
  • the beverage supply apparatus may further include a memory, and the controller and the artificial intelligence unit may store information on at least one of the first sound data, the user information, and the menu in the memory.
  • the beverage supply apparatus may further include a weight sensing unit, and the controller may measure the weight of the object through the weight sensing unit and determine the amount of the menu based on the measured weight of the object.
  • the beverage supply apparatus may further include a camera, and the controller may acquire information of the user through the camera.
  • the beverage supply apparatus may further include a wireless communication unit configured to communicate with an external server or an external device, and when the controller senses the first sound data, the first sound data through the external server or an external device. Information of the user corresponding to the information may be obtained.
  • the controller may analyze the difficulty level of the first sound data, and if the analyzed difficulty level is the first level, determine the menu based on the information stored in the beverage supply device, and determine the second level of difficulty. In the case of difficulty, the menu may be determined through the external server or the external device.
  • the controller may determine a menu corresponding to the object in consideration of time information.
  • the user's information may include age information and gender information.
  • control method of the beverage supply apparatus comprising the steps of: sensing the object; Activating a microphone; Sensing first sound data of a user; Recognizing the first sound data; Obtaining information of the user based on the first sound data; Storing the obtained user information; And determining a menu corresponding to the object based on the information of the user and the first sound data.
  • the present invention has the effect of providing a beverage supply device with improved user convenience.
  • the present invention has the effect that the user can supply the desired drink by recognizing the voice signal of the user.
  • the beverage supply device of the present invention has the effect that can collect the user's voice signal repeatedly even if the user does not command in the perfect sentence to supply the beverage the user wants.
  • FIG. 1 is a block diagram of a beverage supply apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of a beverage supply apparatus according to an embodiment of the present invention.
  • FIG. 3 is an operation flowchart of a beverage supply apparatus according to an embodiment of the present invention.
  • FIG 4 is an operation flowchart of the beverage supply apparatus when there is no user feedback according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an operation of a beverage supply apparatus when there is feedback from a user according to an exemplary embodiment of the present invention.
  • FIG. 6 is a view for explaining an embodiment in which the beverage supply apparatus according to an embodiment of the present invention communicates with the server.
  • Figure 7 is an illustration of a user using a beverage supply device according to an embodiment of the present invention.
  • FIG. 8 is another exemplary diagram in which a user uses a beverage supply device according to an embodiment of the present invention.
  • FIG. 9 is another exemplary diagram in which a user uses a beverage supply device according to an embodiment of the present invention.
  • the beverage supply apparatus described herein includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant, a portable multimedia player, a navigation, a slate PC ), Tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass, head mounted display) Can be.
  • a mobile phone e.g., a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant, a portable multimedia player, a navigation, a slate PC ), Tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass, head mounted display) Can be.
  • FIG. 1 is a block diagram of a beverage supply apparatus according to an embodiment of the present invention.
  • the beverage supply apparatus 100 may include a wireless communication unit 110, an audio / video (A / V), an input unit 120, an artificial intelligence unit 130, a sensing unit 140, an output unit 150, and an interface unit ( 160, the memory 170, the controller 180, the power supply 190, and the like.
  • the components shown in FIG. 1 are not essential, so a beverage supply apparatus having more or fewer components may be implemented.
  • the wireless communication unit 110 may include one or more modules that enable wireless communication between the beverage supply apparatus 100 and the wireless communication system or between the beverage supply apparatus 100 and the network in which the beverage supply apparatus 100 is located.
  • the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless internet module 113, a short range communication module 114, a location information module 115, and the like. .
  • the broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • Two or more broadcast reception modules 1100 may be provided to the mobile terminal 100 for simultaneous broadcast reception or broadcast channel switching for at least two broadcast channels.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast associated information refers to information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module 111 may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast (DVB-H). -Handheld), DVB-CBMS (Convergence of Broadcasting and Mobile Service), OMA-BCAST (Open Mobile Alliance-BroadCAST), CMMB (China Multimedia Mobile Broadcasting), MBBMS (Mobile Broadcasting Business Management System), ISDB-T (Integrated Services) Digital broadcast signals may be received using a digital broadcast system such as Digital Broadcast-Terrestrial.
  • the broadcast receiving module 111 may be configured to be suitable for not only the above-described digital broadcasting system but also other broadcasting systems.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 170.
  • the mobile communication module 112 may include at least one of a base station, an external terminal, and a server on a mobile communication network such as but not limited to Gobal System for Mobile communications (GSM), Code Division Multiple Access (CDMA), and Wideband CDMA (WCDMA). Send and receive wireless signals with one.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the wireless internet module 113 refers to a module for wireless internet access and may be embedded or external to the beverage supply device 100.
  • Wireless Internet technologies include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), GSM, CDMA, WCDMA, Long Term Evolution), but is not limited to such.
  • the wireless Internet module 113 for performing a wireless Internet access through the mobile communication network is the mobile communication module. It can be understood as a kind of (112).
  • the short range communication module 114 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and the like may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module 115 is a module for obtaining a location of a beverage supply device, and a representative example thereof is a GPS (Global Position System) module.
  • the GPS module 115 calculates distance information and accurate time information away from three or more satellites, and then applies trigonometric methods to the calculated information, thereby providing three-dimensional chords according to latitude, longitude, and altitude.
  • the location information can be calculated accurately.
  • a method of calculating position and time information using three satellites and correcting the error of the calculated position and time information using another satellite is widely used.
  • the GPS module 115 may calculate speed information by continuously calculating the current position in real time.
  • the input unit 120 may include a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, or an audio input unit, and a user input unit for receiving information from a user. 123 (eg, a touch key, a mechanical key, etc.).
  • the voice data or the image data collected by the input unit 120 may be analyzed and processed as a control command of the user.
  • the camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode.
  • the processed image frame may be displayed on the display unit 151.
  • the image frame processed by the camera 121 may be stored in the memory 170 or transmitted to the outside through the wireless communication unit 110. Two or more cameras 121 may be provided according to the use environment.
  • the microphone 122 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 112 and output in the call mode.
  • the microphone 122 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input unit 123 generates input data for the user to control the operation of the terminal.
  • the user input unit 123 may include a key pad, a dome switch, a touch pad (constant voltage / capacitance), a jog wheel, a jog switch, and the like.
  • the artificial intelligence unit 130 performs a role of processing information based on artificial intelligence technology, and includes one or more modules that perform at least one of learning information, inferring information, perceiving information, and processing natural language. It may include.
  • the artificial intelligence unit 130 uses a machine running technology, and includes a large amount of information (big data, big information, etc.) stored in the beverage supply device, environment information around the beverage supply device, and information stored in an external storage that can be communicated with. at least one of data, learning, inference, and processing. In addition, the artificial intelligence unit 130 predicts (or infers) an operation of at least one beverage supply apparatus executable by using the information learned using the machine learning technique, and among the at least one predicted operations. The beverage supply apparatus can be controlled so that the most feasible operation is executed.
  • Machine learning technology is a technology that collects and learns a large amount of information based on at least one algorithm, and determines and predicts information based on the learned information.
  • the learning of information is an operation of grasping characteristics, rules, and judgment criteria of information, quantifying a relationship between information, and predicting new data using the quantized pattern.
  • the algorithms used by these machine learning techniques can be algorithms based on statistics, for example, decision trees that use tree structures as predictive models, and artificial ones that mimic the neural network structure and function of living things.
  • Neural networks genetic programming based on living evolutionary algorithms, clustering that distributes observed examples into subsets of clusters, and Monte Carlo, which computes function values randomly through randomized random numbers Monte carlo method.
  • deep running technology is a technology that performs at least one of learning, determining, and processing information by using an artificial neural network algorithm.
  • the artificial neural network may have a structure that connects between layers and transfers data between layers.
  • Such deep learning technology can learn a huge amount of information through an artificial neural network using a graphic processing unit (GPU) optimized for parallel computation.
  • GPU graphic processing unit
  • the artificial intelligence unit 130 collects (detects, monitors, Extraction, detection, reception).
  • the artificial intelligence unit 130 may collect (detect, monitor, extract, detect, receive) data, information, and the like stored in an external storage (for example, a cloud server) connected through communication.
  • the collection of information may be understood as a term including an operation of sensing information through a sensor, extracting information stored in the memory 170, or receiving information from an external storage through communication.
  • the artificial intelligence unit 130 may detect information in the beverage supply device, surrounding environment information surrounding the beverage supply device, and user information through the sensing unit 140. In addition, the artificial intelligence unit 130 may receive a broadcast signal and / or broadcast related information, a wireless signal, wireless data, and the like through the wireless communication unit 110. In addition, the artificial intelligence unit 130 may receive image information (or signal), audio information (or signal), data, or information input from a user from the input unit.
  • the artificial intelligence unit 130 collects a large amount of information in real time on the background, learns it, and stores the processed information (eg, knowledge graph, command policy, personalization database, conversation engine, etc.) in an appropriate form. Can be stored at 170.
  • processed information eg, knowledge graph, command policy, personalization database, conversation engine, etc.
  • the artificial intelligence unit 130 if the operation of the beverage supply apparatus is predicted, in order to execute the predicted operation, to control the components of the beverage supply apparatus,
  • the control command for executing the predicted operation may be transmitted to the controller 180.
  • the controller 180 may execute the predicted operation by controlling the beverage supply apparatus based on the control command.
  • the artificial intelligence unit 130 analyzes historical information indicating performance of a specific operation through machine learning technology, and updates the previously learned information based on the analysis information. Can be. Thus, the artificial intelligence unit 130 may improve the accuracy of the information prediction.
  • the artificial intelligence unit 130 and the controller 180 may be understood as the same component.
  • a function performed by the controller 180 described herein may be expressed as being performed by the artificial intelligence unit 130, and the controller 180 may be named as the artificial intelligence unit 130 or vice versa.
  • the intelligent unit 130 may be referred to as the controller 180.
  • the artificial intelligence unit 130 and the controller 180 may be understood as separate components.
  • the artificial intelligence unit 130 and the controller 180 may perform various controls on the beverage supply device through data exchange with each other.
  • the controller 180 may perform at least one function on the beverage supply device or control at least one of the components of the beverage supply device based on the result derived from the artificial intelligence unit 130.
  • the artificial intelligence unit 130 may also be operated under the control of the controller 180.
  • the sensing unit 140 is a beverage supply device 100 such as the opening and closing state of the beverage supply device 100, the position of the beverage supply device 100, the presence or absence of user contact, the orientation of the beverage supply device, the acceleration / deceleration of the beverage supply device, etc. Detecting the current state of the sensor to generate a sensing signal for controlling the operation of the beverage supply device (100). For example, when the beverage supply apparatus 100 is in the form of a slide phone, whether the slide phone is opened or closed may be sensed. In addition, whether the power supply unit 190 is supplied with power, whether the interface unit 170 is coupled to the external device may be sensed.
  • the sensing unit 140 may include a proximity sensor 141.
  • the output unit 150 is used to generate an output related to visual, auditory, or tactile senses, and includes a display unit 151, an audio output unit 152, a haptic module 153, an optical output unit 154, and the like. Can be.
  • the output unit 150 may output a signal for notifying occurrence of an event of the beverage supply device 100. Examples of events occurring in the beverage supply apparatus include call signal reception, message reception, key signal input, and touch input.
  • the output unit 150 may output a signal for notifying the occurrence of an event by vibration, in addition to a video signal or an audio signal. Since the video signal or the audio signal may be output through the splat unit 151 or the audio output module 152, in this case, the display unit 151 and the audio output unit 152 may be a kind of output unit 150. May be classified.
  • the display unit 151 displays (outputs) information processed by the beverage supply device 100. For example, when the beverage supply device is in a call mode, the UI (User Interface) or GUI (Graphic User Interface) related to the call is displayed. When the beverage supply apparatus 100 is in a video call mode or a photographing mode, the photographing and / or received images, the UI, and the GUI are displayed.
  • UI User Interface
  • GUI Graphic User Interface
  • the display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible). and at least one of a 3D display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • Some of these displays may be configured as transparent or light transmissive so that they can be seen through them. This may be referred to as a transparent display.
  • a representative example of the transparent display is TOLED (Transparant OLED).
  • the rear structure of the display unit 151 may also be configured as a light transmissive structure. With this structure, the user can see the object located behind the terminal body through the area occupied by the display unit 151 of the terminal body.
  • two or more display units 151 may exist.
  • a plurality of display units may be spaced apart or integrally disposed on one surface of the beverage supply device 100, or may be disposed on different surfaces, respectively.
  • the display unit 151 and a sensor for detecting a touch operation form a mutual layer structure (hereinafter, referred to as a touch screen)
  • the display unit 151 may be configured in addition to an output device. Can also be used as an input device.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 151 or capacitance generated in a specific portion of the display unit 151 into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch.
  • the corresponding signal (s) is sent to a touch controller (not shown).
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 180.
  • the controller 180 can know which area of the display unit 151 is touched.
  • the proximity sensor 141 may be disposed in the inner region of the beverage supply device wrapped by the touch screen or near the touch screen.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays.
  • Proximity sensors have a longer life and higher utilization than touch sensors.
  • the proximity sensor examples include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer.
  • the touch screen may be classified as a proximity sensor.
  • proximity touch an act of allowing the pointer to be recognized without being in contact with the touch screen so that the pointer is located on the touch screen.
  • contact touch an act of actually touching the pointer on the touch screen.
  • the position where the proximity touch is performed by the pointer on the touch screen may mean a position where the pointer is perpendicular to the touch screen when the pointer is in proximity touch.
  • the proximity sensor detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state).
  • a proximity touch and a proximity touch pattern for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state.
  • Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.
  • the sound output unit 152 may output sound data received from the wireless communication unit 110 or stored in the memory 170 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output unit 152 may also output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed by the beverage supply device 100.
  • the sound output unit 152 may include a receiver, a sound output unit, a buzzer, and the like.
  • the haptic module 154 generates various haptic effects that a user can feel. Vibration is a representative example of the haptic effect generated by the haptic module 153.
  • the intensity and pattern of vibration generated by the haptic module 153 can be controlled. For example, different vibrations may be synthesized and output or may be sequentially output.
  • the haptic module 153 may be used to stimulate a pin array that vertically moves with respect to the contact skin surface, a jetting force or suction force of air through an injection or inlet, grazing to the skin surface, contact of an electrode, and electrostatic force.
  • Various tactile effects can be generated, such as effects by the endothermic and the reproduction of a sense of cold using the elements capable of endotherm or heat generation.
  • the haptic module 153 may not only deliver the haptic effect through direct contact, but may also be implemented to allow the user to feel the haptic effect through a muscle sense such as a finger or an arm.
  • the haptic module 153 may be provided with two or more according to the configuration of the beverage supply device 100.
  • the light output unit 154 outputs a signal for notifying occurrence of an event by using light of a light source of the beverage supply device 100.
  • Examples of events generated in the beverage supply apparatus 100 may be a message reception, a call signal reception, a missed call, an alarm, a schedule notification, an email reception, information reception through an application, and the like.
  • the signal output from the light output unit 154 is implemented as the beverage supply device emits light of a single color or a plurality of colors to the front or the rear.
  • the signal output may be terminated by the beverage supply device detecting the user's event confirmation.
  • the interface unit 160 serves as a passage with all external devices connected to the beverage supply device 100.
  • the interface unit 160 receives data from an external device, receives power, transfers the power to each component inside the beverage supply device 100, or transmits data within the beverage supply device 100 to an external device.
  • the port, audio input / output (I / O) port, video input / output (I / O) port, earphone port, etc. may be included in the interface unit 160.
  • the identification module is a chip that stores a variety of information for authenticating the use authority of the beverage supply device 100, a user identification module (UIM), subscriber identity module (SIM), universal user A universal subscriber identity module (USIM) or the like.
  • a device equipped with an identification module (hereinafter referred to as an 'identification device') may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through the interface unit 160.
  • the interface unit 160 may be a passage through which power from the cradle is supplied to the beverage supply device 100 when the beverage supply device 100 is connected to an external cradle, or may be provided by the user in the cradle.
  • Various command signals inputted may be passages to the beverage supply device 100.
  • Various command signals or power input from the cradle may operate as signals for recognizing that the beverage supply device 100 is correctly mounted on the cradle.
  • the memory 170 may store a program for processing and controlling the controller 180 and may temporarily store input / output data (for example, a phone book, a message, an audio, a still image, a video, etc.). It can also perform a function.
  • the memory 170 may store a frequency of use of each of the data (for example, a phone number, a message, and a frequency of use of each multimedia).
  • the memory 170 may store data regarding vibration and sound of various patterns output when a touch input on the touch screen is performed.
  • the memory 170 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM (Random Access Memory, RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), Magnetic Memory, Magnetic It may include a storage medium of at least one type of disk, optical disk.
  • the beverage supply apparatus 100 may operate in association with a web storage that performs a storage function of the memory 170 on the Internet.
  • the interface unit 170 serves as a passage with all external devices connected to the beverage supply device 100.
  • the interface unit 170 receives data from an external device, receives power, transfers the power to each component inside the beverage supply device 100, or transmits data within the beverage supply device 100 to an external device.
  • wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports, The video input / output (I / O) port, the earphone port, and the like may be included in the interface unit 170.
  • the identification module is a chip that stores various types of information for authenticating the use authority of the beverage supply device 100.
  • the identification module may include a user identification module (UIM), a subscriber identify module (SIM), and a universal user authentication module. (Universal Subscriber Identity Module, USIM) and the like.
  • a device equipped with an identification module hereinafter referred to as an 'identification device'
  • the identification device may be connected to the terminal 100 through a port.
  • the interface unit may be a passage through which power from the cradle is supplied to the mobile terminal 100 when the mobile terminal 100 is connected to an external cradle, or various command signals input from the cradle by a user may be transferred. It may be a passage that is delivered to the terminal. Various command signals or power input from the cradle may be operated as signals for recognizing that the mobile terminal is correctly mounted on the cradle.
  • the controller 180 typically controls the overall operation of the beverage supply device. For example, perform related control and processing for voice calls, data communications, video calls, and the like.
  • the controller 180 may include a multimedia module 181 for playing multimedia.
  • the multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 180.
  • the controller 180 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on the touch screen as text and an image, respectively.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • the power supply unit 190 includes a battery, which may be a built-in battery or a replaceable battery.
  • Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller 180 itself.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • Software code may be implemented in software applications written in a suitable programming language. The software code may be stored in the memory 170 and executed by the controller 180.
  • the controller 180 may include a text to speech (TTS) module, a natural language processing module, and a feedback estimation module.
  • TTS text to speech
  • the TTS module converts the natural language displayed on the display unit 151 into a voice and transmits it to the sound output unit 152.
  • the TTS module converts the natural language into sound directly without using recorded recording and transmits the natural language to the sound output unit 152. It is for.
  • the TTS module according to the present invention may automatically analyze a natural language in units of sentences to generate a synthesized sound, and then transfer the generated synthesized sound to the sound output unit 152.
  • the character string may be displayed in a combined text form.
  • the natural language processing module is for mechanically analyzing language phenomena spoken by humans and converting them into a form that can be understood by a computer.
  • the natural language processing module may analyze human language by performing morphological analysis, phrase unit analysis, and syntax analysis, and output the meaning of natural language in machine language.
  • the natural language processing module according to the present invention may analyze the meaning of the natural language in sentence units and output the same.
  • morphological analysis may mean outputting all possible analysis results of a certain word. Specifically, the natural language processing module may use table parsing to select a suitable result among all cases where a word may be broken.
  • the verse unit analysis may mean analyzing noun phrases, verb phrases, and adverb phrases, and the verse unit analysis may mean decomposing sentences such as Chinese and compound sentences into short sentence units.
  • Syntactic analysis may mean decomposing a sentence into its components and analyzing the hierarchical relationship between them to determine the structure of the sentence.
  • the feedback estimation module is for determining feedback that matches the meaning of the natural language output from the natural language processing module.
  • the feedback estimation module may include at least one of a background sound estimation module, a vibration determination module, a display determination module, and a light source determination module.
  • the harmonic estimation module is for determining sound data corresponding to the meaning of natural language
  • the vibration determination module is for determining whether to output vibration according to the meaning of natural language.
  • the display determination module may be configured to determine whether the output of the display unit 151 changes according to the meaning of the natural language
  • the light source determination module may be configured to determine whether the light source is blinking according to the meaning of the natural language.
  • FIG. 2 is a block diagram of a beverage supply apparatus according to an embodiment of the present invention.
  • the drink supply device 100 may include a water supply unit 101, a weight sensor 102, a wireless communication unit 110, a camera 121, a microphone 122, an artificial intelligence unit 130, and a sensing unit. It may include at least one of the unit 140, the display unit 151, the sound output unit 152, the memory 170, and the controller 180. In this case, the components shown in FIG. 2 may be implemented in the above-described configuration in FIG. 1. In addition, the beverage supply apparatus 100 may further include various configurations in the above-described configuration. However, it will be described below with reference to the configuration associated with the embodiment of the present invention.
  • the water supply unit 101 may be provided in the beverage supply device 100 to perform a function of watering the beverage from the beverage supply device 100 to the outside. At this time, the water supply unit 101 may supply the drink to the detected object under the control of the controller. For example, when the object detected by the beverage supply apparatus 100 is a 300 ml water cup, the beverage supply apparatus 100 may supply purified water through the water supply unit 101.
  • the water supply unit 101 may be formed in the structure of the water supply unit 101 of the conventionally known beverage supply apparatus 100.
  • the weight detecting unit 102 may be provided in the beverage supply device 100 to detect an object and detect the weight of the object.
  • the beverage supply apparatus 100 may measure the weight of the object through the weight sensor 102, and determine the amount of the drink water based on the measured weight of the object. For example, when the user places a 300g water cup on the beverage supply device 100, the beverage supply device 100 may detect the weight of the water cup as 300g through the weight detection unit 102.
  • the weight detection unit 102 may be formed in the structure of the weight detection unit 102 of the conventionally known beverage supply device (100).
  • the wireless communication unit 110 may perform communication and transmit / receive a data signal using various protocols between the beverage supply apparatus 100 and another external electric device and a server.
  • the beverage supply apparatus 100 may obtain information corresponding to the sound data from an external server or an external device through the wireless communication unit 110.
  • the camera 121 is provided in the beverage supply apparatus 100 to photograph a user who uses the beverage supply apparatus 100.
  • the beverage supply apparatus 100 may obtain the user's information through the camera 121.
  • the camera 121 may photograph the user's face and the whole body and transmit the acquired image to the controller 180. Thereafter, the controller 180 can extract a feature point and a pattern from the acquired image and estimate a person's presence, gender, and age.
  • the microphone 122 may be provided in the beverage supply device 100 to detect a voice signal.
  • the microphone 122 may be activated under the control of the controller 180.
  • the microphone 122 may remain inactive when a voice signal is not detected for more than a preset time, and activate the microphone 122 when the beverage supply device 100 detects an object.
  • the microphone 122 may transmit the detected voice signal to the controller 180.
  • the artificial intelligence unit 130 may learn sound data and store information of the user and information about the determined menu.
  • the beverage supply apparatus 100 may determine a menu corresponding to the information and the object of the user through the acquired voice signal and the image.
  • the artificial intelligence unit 130 may map and store the acquired voice signal and image, information and menu of the user, and store the information, and may determine and predict future information based on the accumulated information.
  • the artificial intelligence unit 130 may learn and store information such as a user's state, age, and gender using the information received from the controller 180 and store the information in the memory 170.
  • the controller 180 may obtain user information through the camera 121 or the microphone 122, and transmit the obtained information to the artificial intelligence unit 130.
  • the artificial intelligence unit 130 may classify and store a predetermined non-verbal expression or linguistic expression of the user.
  • the non-verbal expression may include gesture gestures such as gestures and gestures, or sound signals such as yawning and gasping
  • the verbal expression may include a language command by the command artificial intelligence unit 130 coming out of the user's mouth. Can correspond to an expression recognized by).
  • the artificial intelligence unit 130 may determine the user's state, age, gender, etc. in consideration of both the non-verbal expression and the language expression stored separately.
  • the sensing unit 140 may sense various user inputs to the beverage supply device 100 and the environment of the beverage supply device 100, and may transmit a sensing result to allow the controller 180 to perform an operation according thereto. .
  • the sensing unit 140 may detect a touch input signal of a user who touches the display unit 151 of the beverage supply device 100 or a gesture input signal detected through the sensing unit 140. Can be.
  • the sensing unit 140 may further include an illuminance sensor, a temperature sensor, and a humidity sensor to more sensitively detect an environment around the beverage supply device 100.
  • the display unit 151 may display visual information.
  • the visual information may include text, an indicator, an icon, content, an application, an image, a video, and the like.
  • the display unit 151 may output visual information to the screen based on the control command of the controller 180.
  • the display unit 151 may be disposed toward the eyes of the user.
  • the display unit 151 may output the information on the menu determined by the beverage supply device 100 through the sound data as a visual signal.
  • the sound output unit 152 may output the information about the menu determined by the drink supply apparatus 100 through the sound data as a sound.
  • the memory 170 may store information about at least one of sound data sensed by the beverage supply device 100, user information obtained therefrom, and a menu determined based on the same.
  • the memory 170 may be provided inside or outside the beverage supply device 100, and may store, modify, or delete information under the control of the artificial intelligence unit 130 or the controller 180.
  • the memory 170 may store information about the state, age, and gender of the user learned through the artificial intelligence unit 130 as described above. In addition to the newly acquired age and gender information, the memory 170 may store information about a previously collected age and gender.
  • the controller 180 may process data, control each component of the beverage supply apparatus 100 described above, and control data transmission / reception between the components.
  • operations performed by the beverage supply apparatus 100 may be controlled by the controller 180.
  • the controller 180 may be controlled by the controller 180.
  • the drawings and the following description will collectively describe these operations to be described as being performed / controlled by the beverage supply apparatus 100.
  • each step of FIGS. 3 to 5 described below may be controlled by a controller.
  • FIG. 3 is an operation flowchart of a beverage supply apparatus according to an embodiment of the present invention. Hereinafter, descriptions overlapping with those of FIG. 2 will be omitted in the embodiment of FIG. 3.
  • the beverage supply apparatus may detect an object.
  • the beverage supply apparatus may detect an object within a preset range from the beverage supply apparatus through a weight sensing unit or a sensing unit provided in the beverage supply apparatus.
  • the beverage supply apparatus may detect a cup placed on the user's hand holding the cup or the weight sensing unit of the beverage supply apparatus.
  • the beverage supply device may detect the weight of the cup placed on the weight sensor.
  • the beverage supply device may activate the microphone.
  • the beverage supply device may activate the microphone when the object is detected. In other words, if the microphone is always active, the beverage supply device may waste unnecessary power because it constantly needs to receive unnecessary voice signals. Therefore, the beverage supply device may activate the microphone only when the object is detected. In addition, the beverage supply device may deactivate the microphone if the microphone does not detect a voice signal for a predetermined time after the object is detected and the microphone is activated.
  • the beverage supply device may sense sound data.
  • the beverage supply device may sense sound data through a microphone.
  • the sound data may correspond to all signals output as sound.
  • the sound data may include natural language, such as wind sounds rather than sounds generated from a person, as well as verbal and nonverbal expressions of a person.
  • the beverage supply device may sense a voice signal generated from a person as sound data.
  • the beverage supply apparatus may recognize the sensed sound data.
  • the beverage supply apparatus may recognize the sensed sound data using a TTS module, a natural language processing module, a feedback estimation module, and the like included in the controller. That is, the beverage supply apparatus may analyze the sound data sensed using the TTS module included in the control unit by converting the sound data into text.
  • the beverage supply apparatus may recognize the sensed sound data as it is without changing the text. That is, since the beverage supply apparatus includes a lot of data, it is possible to perform a function according to the sound data without changing the sensed sound data into text according to repetitive learning.
  • the beverage supply apparatus may obtain user information based on the recognized sound data.
  • the beverage supply device may obtain the state, age and gender of the user from the sound data.
  • the beverage supply apparatus may obtain user information from an external server or an external device based on the sound data.
  • the beverage supply apparatus may store the obtained user information.
  • the beverage supply apparatus may store sound data and newly acquired user information in a memory. Accordingly, as the user information corresponding to the sound data is accumulated, the beverage supply device may more accurately infer the information of the user corresponding to the sound data. This will be described in detail in the following drawings.
  • the beverage supply apparatus may determine a menu corresponding to the object based on the obtained user information and sound data.
  • the beverage supply device may obtain various information from the sound data.
  • the beverage supply device may not only infer the age and gender of the user from the sound data, but also obtain information about the menu selection and the amount of information through the contents included in the sound data. This will be described in detail with reference to FIG. 4.
  • the beverage supply apparatus may receive user feedback.
  • the beverage supply apparatus determines a menu corresponding to the object based on the obtained user information and sound data
  • the beverage supply device may output information corresponding to the determined menu through the sound output unit or the display unit. Accordingly, the beverage supply apparatus may detect the feedback of the user for a preset time after the information corresponding to the determined menu is output. That is, after the information corresponding to the determined menu is output, the user may receive feedback on the determined menu.
  • An embodiment related to user feedback will be described in detail with reference to FIG. 5.
  • step S390 may be performed.
  • the beverage supply device may supply the determined menu to the detected object.
  • the beverage supply device may supply the beverage stored inside or the beverage stored externally to the outside under the control of the controller.
  • FIG. 4 is an operation flowchart of the beverage supply apparatus when there is no user feedback according to an embodiment of the present invention.
  • descriptions overlapping with those of FIG. 3 will be omitted in the embodiment of FIG. 4.
  • the beverage supply apparatus may check the presence or absence of an object.
  • the beverage supply apparatus may detect the presence or absence of an object through a weight sensing unit or a sensing unit provided in the beverage supply apparatus.
  • the beverage supply apparatus may detect that the cup is placed on the weight sensing unit.
  • the beverage supply apparatus may activate the microphone and sense the weight of the object.
  • the beverage supply apparatus may prepare to receive sound data by activating a microphone as the cup is placed on the weight sensing unit, and measure the weight of the cup through the weight sensing unit.
  • the beverage supply apparatus may sense sound data of the user through the activated microphone.
  • the beverage supply device may recognize and acquire various information included in the sound data.
  • the beverage supply apparatus may distinguish the age and gender of the user through the user's speech pattern. For example, it may be noted that the beverage supply device speaks slowly when a user aged 65 or older speaks through an existing database.
  • the beverage supply apparatus may determine the degree of thirst of the user through the user's speech pattern. For example, when the user speaks the same content urgently, the beverage supply device may determine that the user is thirsty than usual.
  • the beverage supply apparatus may acquire time information when the sound data is sensed. For example, if the time when the sound data is sensed is dawn, the beverage supply device can then limit the water supply of the beverage containing caffeine.
  • the beverage supply apparatus may analyze the intention based on the text that is a result of the user's speech. For example, when the user utters 'a glass of water, full', the beverage supply device may recognize 'one cup' and 'full', which are types of 'water', which is a kind of menu, from a sentence uttered by the user. Thereafter, the beverage supply device may supply the water so that the cup is filled with water in consideration of the weight of the cup detected by the weight sensor.
  • the beverage supply apparatus may determine an optimal water supply amount according to the weight of the object. For example, when the user does not specify the exact amount and simply ignites 'a glass of water', the beverage supply apparatus may determine an optimal water supply amount based on the weight of the measured object. For example, the beverage supply apparatus may obtain information through a user feedback or an external server that it is common to supply 200 g of water in the case of a 300 g cup. Accordingly, the beverage supply apparatus may determine the optimum water supply amount based on the measured weight of the object.
  • the beverage supply apparatus may analyze the non-verbal expression in step S446.
  • the non-verbal expression may correspond to an expression other than a language-recognized expression as part of sound data received from a person.
  • the beverage supply device may recognize a yawn sound of the user.
  • the beverage supply device may consider both the sensed time information and the non-verbal expression. For example, if the user senses sound data 'anything give me' along with a yawn sound at 11 am, the beverage supply may recognize '11 am ',' yawn 'and' anything ', Considering time information and non-verbal expressions, 'caffeinated beverages' can be recommended.
  • the beverage supply apparatus may analyze the intention for the quantity from the sound data. For example, if the user utters "Give me two Americanos," the beverage supply analyzes the intent of the measured object's weight and the perceived amount of "two cups,” and then turns the two cups into weights. Can water
  • the beverage supply apparatus may analyze information on menu selection from sound data. For example, when the user utters 'a latte', the beverage supply device may analyze a menu of the beverage included in the recognized sound data.
  • the beverage supply apparatus may perform at least one of the above-described steps S441 to S448 through communication with an external server or an external device.
  • the beverage supply apparatus may distinguish the age and gender of the user through the speech pattern of the user from the sensed sound data.
  • the beverage supply apparatus may obtain information using communication with an external server or an external device if the user's age and gender cannot be distinguished through the information in the beverage supply apparatus. This will be described in detail with reference to FIG. 6.
  • the beverage supply apparatus may assign a weight to at least one of the above-described step (S441) to step (S448).
  • the beverage supply device may obtain various information from the sensed sound data. For example, the beverage supply device may obtain age information, gender information, and time information of the user from the sound data. In this case, the beverage supply apparatus may weight the 'time information'. Accordingly, the beverage supply apparatus may determine the type of the menu, the amount of the menu, and the temperature of the menu by weighting 'time information' than other information among sound data uttered by the user. In this case, the beverage supply apparatus may select information to be weighted based on the accumulated data.
  • the beverage supply apparatus may obtain information of the user from at least one of the above-described steps S441 to S448 from the sound data, and determine a menu corresponding to the object.
  • the beverage supply apparatus recognizes the sound data to determine the menu and the temperature of the menu in addition to determining the menu corresponding to the object.
  • the beverage supply apparatus may output information about the menu determined through the sound output unit or the display unit when the type of the menu, the amount of the menu, and the temperature of the menu are determined based on the collected information.
  • the beverage supply apparatus may receive feedback from the user in step S460 after the information on the determined menu is output.
  • the determined object may be watered with the determined menu.
  • step S430 may be performed again.
  • the beverage supply device may perform the step.
  • flow may be performed again.
  • the beverage supply apparatus may sense the negative feedback newly received from the user as new sound data of the user. This will be described in detail with reference to FIG. 5.
  • the beverage supply apparatus may accumulate data in step S480 when both user feedback is positive or negative.
  • the beverage supply device may store the sensed sound data, user information acquired through the sound data, and information on a menu determined based on the sound data and the user information. Thereafter, the beverage supply device may learn the stored information through the artificial intelligence unit.
  • FIG. 5 is a flowchart illustrating an operation of a beverage supply apparatus when there is feedback from a user according to an exemplary embodiment of the present invention.
  • descriptions overlapping with those of FIG. 4 will be omitted in the exemplary embodiment of FIG. 5.
  • steps S510 to S560 may refer to the embodiment of FIG. 4. That is, as the beverage supply apparatus detects the object in step S510, the beverage supply device may activate the microphone in step S520 and check the weight of the object. In operation S530, the beverage supply apparatus may sense first sound data of the user, and analyze the sound data sensed in operations S541 to S548. For example, the beverage supply device may sense 'take a cup of coffee' as the user's first sound data. Then, in step S550, the beverage supply apparatus may determine the type of menu, the amount of menu and the temperature of the menu through the collected information.
  • the beverage supply apparatus may determine the type of menu for the object, the amount of the menu, and the temperature of the menu as' Americano ',' one cup ', and '70 degrees'.
  • the beverage supply apparatus may output information about the determined menu through the sound output unit. That is, the beverage supply device may output a sound of 'I give you a hot Americano'.
  • step S560 the case in which the user feedback is positive has been described as an embodiment in step S560, but the following description will be given taking the case in which the user feedback is negative.
  • the beverage supply apparatus may receive negative feedback from the user.
  • the beverage supply device may receive a negative feedback of no from the user.
  • the beverage supply apparatus may accumulate the information that the first sound data has received the negative feedback in step S580.
  • the beverage supply apparatus may store that the user corresponding to the first sound data generates negative feedback with respect to the determined menu of 'Americano', '1 cup', and '75 degrees'.
  • second sound data may be sensed by the user.
  • the beverage supply apparatus may sense 'latte' as second sound data from the user.
  • the beverage supply apparatus that senses the second sound data may analyze the second sound data in steps S5411 to S5481. More specifically, the second sound data includes only the type of menu called 'latte' as information. Accordingly, the beverage supply apparatus may change only the type of the menu in the information analyzed through the first sound data. That is, the beverage supply apparatus may change at least one of the information analyzed through the first sound data into information included in the second sound data.
  • the beverage supply apparatus may determine the type of menu, the amount of the menu, and the temperature of the menu through the collected information based on the second sound data. According to the above-described example, the beverage supply apparatus may change the type of menu for the object to 'latte', and the amount of the menu and the temperature of the menu may be determined to be 'one cup' and '70 degrees'. In addition, the beverage supply apparatus may output information about the determined menu through the sound output unit. That is, the beverage supply device may output a sound of 'I give you a hot latte.'
  • the beverage supply apparatus may receive a user feedback. If the beverage supply device does not receive user feedback on the determined menu within a predetermined time or receives positive feedback on the determined menu, it may perform step S571. On the other hand, when the beverage supply device receives a negative feedback for the determined menu, it may perform the flow again from the steps (S530, S531).
  • the beverage supply device may supply a menu determined according to the second sound data.
  • FIG. 6 is a view for explaining an embodiment in which the beverage supply apparatus according to an embodiment of the present invention communicates with the server.
  • the beverage supply apparatus 100 analyzes the sound data primarily in the beverage supply apparatus 100 when the sound data is received, and when the beverage supply apparatus 100 may determine itself, the beverage supply apparatus 100. The determination result for may be transmitted to the user. On the other hand, in relation to the results of the primarily analyzed sound data, when the beverage supply apparatus 100 cannot determine by itself, the beverage supply apparatus 100 transmits the sound data to the server, not the beverage supply apparatus 100. Sound data can be analyzed.
  • the beverage supply device 100 may primarily analyze the sound data.
  • the beverage supply device 100 may analyze the sound data based on the information stored in the beverage supply device 100.
  • the beverage supply device 100 may analyze the sound data through an external server.
  • the difficulty may be set in the beverage supply device 100.
  • the beverage supply apparatus 100 may be connected to a plurality of servers, the plurality of servers may be connected to a plurality of systems.
  • the beverage supply apparatus 100 may analyze information on the received sound data, determine a language, and assign the same to a server other than the beverage supply apparatus 100.
  • the beverage supply device 100 may determine the language of the sound data.
  • the beverage supply apparatus 100 may determine a language of the received sound data, and allocate the sound data to the first server when the language of the sound data corresponds to the first language.
  • the first language is the native language.
  • the first server may transmit a transcript corresponding to the sound data to the first system and receive the analysis result from the first system.
  • the server may transmit the analysis result to the beverage supply apparatus 100, the beverage supply apparatus 100 may provide feedback to the user as a voice signal.
  • the beverage supply apparatus 100 may allocate the sound data to the second server.
  • the second server may transmit the transcript corresponding to the sound data to the second system and receive the analysis result from the second system.
  • the server may transmit the analysis result to the beverage supply apparatus 100, the beverage supply apparatus 100 may provide feedback to the user as a voice signal.
  • the beverage supply apparatus 100 may allocate the sound data to the third server.
  • the third server may transmit the transcript corresponding to the sound data to the third system and receive the analysis result from the third system.
  • the server may transmit the analysis result to the beverage supply apparatus 100, the beverage supply apparatus 100 may provide feedback to the user as a voice signal.
  • the beverage supply apparatus 100 directly transmits the language of the received sound data to the server without determining the language of the received sound data, Feedback received from the server and system can be provided to the user.
  • Figure 7 is an illustration of a user using a beverage supply device according to an embodiment of the present invention.
  • the beverage supply device 100 may detect the object 200.
  • the beverage supply apparatus 100 may detect the object 200 within a preset range from the beverage supply apparatus 100 through the weight sensing unit or the sensing unit provided in the beverage supply apparatus 100.
  • the beverage supply apparatus 100 may detect the cup 200 as the object 200.
  • the beverage supply apparatus 100 may activate the microphone and measure the weight of the cup 200 as the cup 200 is detected.
  • the beverage supply device 100 may sense the first sound data 710.
  • the first sound data 710 may correspond to the voice signal spoken by the user.
  • the first sound data 710 may include a linguistic expression 'take a cup of coffee' and a non-verbal expression, such as a yawn sound such as 'Haam'.
  • the beverage supply apparatus 100 may recognize the information included in the first sound data 710 in consideration of the linguistic expression and the non-verbal expression included in the first sound data 710.
  • the beverage supply device 100 is the user from the first sound data 710 '30 female ', the type of menu' coffee ', the amount of the menu' one cup ', time information May obtain information such as '11 AM 'and the user's status is' tired'.
  • the beverage supply apparatus 100 may infer undetermined information through data accumulated in the beverage supply apparatus 100 or data received from an external server.
  • the specific type of the menu cannot be determined only by the information included in the first sound data 710. That is, since the type of 'coffee' cannot be specified, the beverage supply device 100 utilizes accumulated data or data received from an external server, so that the 'female in their 30s' is in a' tired 'state, '11 am' Can infer the kind of coffee they drink.
  • the beverage supply apparatus 100 may determine the type of the menu, the amount of the menu, and the temperature of the menu through the collected information. For example, the beverage supply apparatus 100 may infer 'Americano' as the 'type of coffee' mainly consumed at '11 AM 'in a' tired woman '.
  • the beverage supply apparatus 100 may output information about the menu determined through the sound output unit or the display unit based on the type of the determined menu, the amount of the menu, and the temperature of the menu. For example, the beverage supply apparatus 100 may output a linguistic expression such as 'I give you a warm Americano' as the first voice signal 720. In addition, although not shown in the drawing, the beverage supply apparatus 100 may output a 'warm Americano one cup' as a visual signal on the display unit.
  • the beverage supply device 100 may receive user feedback for a preset time.
  • the beverage supply device 100 determines the type of menu, the amount of the menu, and the menu.
  • the beverage can be watered on the basis of its temperature.
  • FIG. 7 describes an embodiment in which the beverage supply device 100 receives negative feedback within a preset time.
  • the user may output second sound data 730.
  • the second sound data 730 may correspond to a voice signal spoken by a user.
  • the second sound data 730 may include a linguistic expression, 'Please do not latte, not hot, but ice.'
  • the beverage supply device 100 may recognize the information included in the second sound data 730.
  • the beverage supply device 100 prefers 'latte' instead of 'American', which is a type of menu, from the second sound data 730, and not 'hot', which is the temperature of the menu. It is possible to obtain a preference for ice.
  • the beverage supply apparatus 100 may learn information about the user through the first sound data 710 and the second sound data 730.
  • the beverage supply apparatus 100 uses the first sound data 710 in which the '30s female' prefers the 'hot Americano' at '11 AM 'in the' tired 'state, and the second sound. Through the data 730, the '30s woman' may change from 'tired' to 'Ice latte' at '11 am '.
  • the beverage supply apparatus 100 may improve the reasoning ability as more data is accumulated.
  • the beverage supply apparatus 100 may determine the type of the menu, the amount of the menu, and the temperature of the menu through the collected information.
  • the beverage supply apparatus 100 uses the user's second sound data 730 as the type of menu 'latte', the amount of the menu as 'one cup' and the temperature of the menu as 'ice'. You can decide.
  • the beverage supply apparatus 100 may output information about the menu determined through the sound output unit or the display unit based on the type of the determined menu, the amount of the menu, and the temperature of the menu. For example, the beverage supply apparatus 100 may output a linguistic expression such as 'I have a cup of ice latte' as the second voice signal 740. In addition, although not shown in the drawings, the beverage supply apparatus 100 may output 'I have a cup of ice latte' on the display unit as a visual signal.
  • the beverage supply device 100 may receive user feedback for a preset time.
  • the beverage supply device 100 determines the type of menu, the amount of the menu, and the menu.
  • the beverage can be watered on the basis of its temperature.
  • the voice signal output by the beverage supply apparatus 100 may be extracted from sound data received from the user. For example, when a user inputs sound data of 'Give me a hot Americano', the beverage supply device 100 may output a voice signal of 'I give you a hot Americano'. On the other hand, when the user inputs the sound data 'Give me a warm Americano', the beverage supply device 100 may output a voice signal saying 'Give me a warm Americano'. That is, the beverage supply apparatus 100 may improve the voice signal output based on the received sound data in various directions.
  • FIG. 8 is another exemplary diagram in which a user uses a beverage supply device according to an embodiment of the present invention.
  • descriptions overlapping with those of FIG. 7 will be omitted in the embodiment of FIG. 8.
  • the beverage supply device 100 may detect the object 200.
  • the beverage supply device 100 may detect the cup 200 as the object 200.
  • the beverage supply apparatus 100 may activate the microphone and measure the weight of the cup 200 as the cup 200 is detected.
  • the beverage supply apparatus 100 may sense the first sound data 810.
  • the first sound data 810 may correspond to a voice signal spoken by a user.
  • the first sound data 810 may include a linguistic expression of 'give me some water' and a non-verbal expression such as a gas for breathing.
  • the beverage supply apparatus 100 may recognize the information included in the first sound data 810 in consideration of the linguistic expression and the non-verbal expression included in the first sound data 810.
  • the beverage supply device 100 is the first sound data 810
  • the user is a 'male or younger teenager'
  • the type of the menu is 'water'
  • the user's state is 'difficult', etc.
  • the same information can be obtained.
  • the beverage supply apparatus 100 may infer undetermined information through data accumulated in the beverage supply apparatus 100 or data received from an external server. For example, only the information included in the first sound data 810 cannot specifically determine the amount of the menu and the temperature of the menu. That is, since the quantity of the menu and the temperature of the menu cannot be specified, the beverage supply apparatus 100 must determine the quantity of the menu and the temperature of the menu by itself.
  • the beverage supply apparatus 100 may determine the amount of the menu based on the weight of the detected cup 200. That is, the beverage supply device 100 may obtain information of drinking 'water' in the cup 200 when the 'male under 10' is in a 'hard state'. Therefore, the beverage supply apparatus 100 may set the amount of the menu to 90% of the weight of the detected cup 200.
  • the beverage supply apparatus 100 may infer that 'lukewarm water' is suitable for a 'man or a teenager' by using accumulated data or data received from an external server. That is, the beverage supply apparatus 100 may determine the type of the menu, the amount of the menu, and the temperature of the menu through the collected information. For example, the beverage supply apparatus 100 may infer 'lukewarm water' for 'water' which is consumed in a 'hard state' by a 'male under 10'.
  • the beverage supply apparatus 100 may output information about the menu determined through the sound output unit or the display unit based on the type of the determined menu, the amount of the menu, and the temperature of the menu. For example, the beverage supply apparatus 100 may output a linguistic expression such as 'I'll fill tepid water' as the first voice signal 820. In addition, although not shown in the drawings, the beverage supply apparatus 100 may output 'I'll fill the lukewarm water' on the display unit as a visual signal.
  • the beverage supply device 100 may receive user feedback for a preset time.
  • the beverage supply device 100 determines the type of menu, the amount of the menu, and the menu.
  • the beverage can be watered on the basis of its temperature.
  • FIG. 8 describes an embodiment in which the beverage supply device 100 receives negative feedback within a preset time.
  • the user may output second sound data 830.
  • the second sound data 830 may correspond to a voice signal spoken by a user.
  • the second sound data 830 may include a linguistic expression 'no, give ice and cold water.'
  • the beverage supply device 100 may recognize the information included in the second sound data 830. For example, the beverage supply apparatus 100 may obtain from the second sound data 830 that the user prefers 'ice' rather than 'lukewarm water', which is a temperature of a menu.
  • the beverage supply apparatus 100 may learn information about the user through the first sound data 810 and the second sound data 830.
  • the beverage supply device 100 uses the second sound data 830 in that the 'male under 10' prefers 'lukewarm water' in a 'hard state' through the first sound data 810. Men under the age of 10 can change their preferences from hard to iced water.
  • the beverage supply device 100 may improve the reasoning ability as more data is accumulated.
  • the beverage supply apparatus 100 may determine the type of the menu, the amount of the menu, and the temperature of the menu through the collected information. For example, the beverage supply apparatus 100 sets the type of menu to 'water' through the second sound data 830 of the user, the amount of the menu to '90% of the cup 200 ', and the menu. The temperature can be determined as 'ice'.
  • the beverage supply apparatus 100 may output information about the menu determined through the sound output unit or the display unit based on the type of the determined menu, the amount of the menu, and the temperature of the menu. For example, the beverage supply apparatus 100 may output a linguistic expression such as “I'll fill you with cold water with ice” as the second voice signal 840. In addition, although not shown in the drawings, the beverage supply apparatus 100 may output 'I'll fill with cold water with ice' as a visual signal on the display unit.
  • the beverage supply device 100 may receive user feedback for a preset time.
  • the beverage supply device 100 determines the type of menu, the amount of the menu, and the menu.
  • the beverage can be watered on the basis of its temperature.
  • the voice signal output by the beverage supply apparatus 100 may be differently output based on the obtained user information.
  • the beverage supply apparatus 100 may output a result of the sound data in the voice of a 'forties female'. Can be. That is, the beverage supply device 100 may output a voice signal in a voice and speech pattern preferred by the user based on the recognized age and gender of the user.
  • FIG. 9 is another exemplary diagram in which a user uses a beverage supply device according to an embodiment of the present invention.
  • a user uses a beverage supply device according to an embodiment of the present invention.
  • FIGS. 7 and 8 descriptions overlapping with FIGS. 7 and 8 will be omitted.
  • the beverage supply apparatus 100 may be configured as part of a product.
  • the beverage supply apparatus 100 of the present invention may be configured as part of a refrigerator or part of an espresso machine.
  • the beverage supply apparatus 100 describes an embodiment of sensing sound data from various people.
  • the beverage supply apparatus 100 may sense the first sound data 910 from the first user.
  • the first sound data 910 may correspond to the voice signal spoken by the first user.
  • the beverage supply device 100 may text-convert the first sound data 910 to 'two glasses of Americano'.
  • the beverage supply device 100 may extract information included in the first sound data 910.
  • the beverage supply apparatus 100 may include, from the first sound data 910, that the first user is a 'female in twenties', the type of menu is 'American', the amount of the menu is 'two glasses', and the like. The same information can be obtained.
  • the beverage supply apparatus 100 may infer information not obtained from the first sound data 910.
  • the temperature of the menu may not be specifically determined using only the information included in the first sound data 910. Accordingly, the beverage supply apparatus 100 may infer that when the user generally wants only 'Americano', this means 'hot Americano'.
  • the beverage supply apparatus 100 may generate feedback by adding the information obtained from the first sound data 910 and the inferred information. For example, the beverage supply apparatus 100 may output a voice signal, "I'll give you two cups of hot Americano.” Thereafter, the beverage supply apparatus 100 may supply the determined menu when the feedback is not received within the predetermined time or when the feedback is received positively.
  • the beverage supply apparatus 100 may sense the second sound data 920 from the second user.
  • the second sound data 920 may correspond to the voice signal spoken by the second user.
  • the beverage supply apparatus 100 may convert the second sound data 920 into a 'cup of cola'.
  • the beverage supply apparatus 100 may extract information included in the second sound data 920.
  • the beverage supply apparatus 100 uses the second sound data 920 for the second user as a 'man in his thirties', the type of menu as 'cola', and the amount of the menu as 'one cup'. The same information can be obtained.
  • the beverage supply apparatus 100 may infer information not obtained from the second sound data 920.
  • the temperature of the menu may not be specifically determined using only the information included in the second sound data 920. Accordingly, the beverage supply apparatus 100 may infer that when a user wants 'cola', this means 'cola with ice'.
  • the beverage supply apparatus 100 may generate feedback by adding the information obtained from the second sound data 920 and the inferred information. For example, the beverage supply device 100 may output a voice signal, “I'll give you a cup of cold cola with ice.” Thereafter, the beverage supply apparatus 100 may supply the determined menu when the feedback is not received within the predetermined time or when the feedback is received positively.
  • the beverage supply apparatus 100 may sense the third sound data 930 from the third user.
  • the third sound data 930 may correspond to the voice signal spoken by the third user.
  • the beverage supply apparatus 100 may convert the third sound data 930 into a text 'what is eaten'.
  • the beverage supply apparatus 100 may extract information included in the third sound data 930.
  • the beverage supply apparatus 100 is that the third user from the third sound data 930 is a 'female in twenties' and fails to determine the type of menu, the amount of the menu, and the temperature of the menu. It can be recognized.
  • the beverage supply apparatus 100 since the beverage supply apparatus 100 cannot determine the type of the menu, the amount of the menu, and the temperature of the menu from the third sound data 930, the data stored in or outside the beverage supply apparatus 100.
  • the type of menu, the quantity of the menu, and the temperature of the menu can be determined based on.
  • the beverage supply apparatus 100 may recognize the first user having a similar age and gender as the third user from the sensed first sound data 910 before the third sound data 930 is sensed. . That is, the beverage supply apparatus 100 may recommend the type of the menu, the amount of the menu, and the temperature of the menu to the first user by referring to the information of the first user having the same age and gender as the third user.
  • the beverage supply apparatus 100 may output a voice signal 'How about a hot Americano drink?' To the third user. Thereafter, the beverage supply apparatus 100 may supply the determined menu when the feedback is not received within the predetermined time or when the feedback is received positively.
  • the beverage supply apparatus 100 may not determine the type of the menu, the amount of the menu, and the temperature of the menu using only the third sound data 930. At this time, the beverage supply apparatus 100 is based on the age and gender of the third user through the internal memory or an external server based on the age and gender of the third user obtained from the third sound data 930 You can recommend the menu to a third user. In contrast, the beverage supply apparatus 100 may first use the information when the third sound data 930 acquires data about an age and gender similar to the third user lastly before the third sound data 930 is sensed.
  • beverage supply apparatus and its control method may not be limitedly applied to the configuration and method of the embodiments described as described above, the embodiments are all or part of each embodiment is optional so that various modifications can be made It may be configured in combination.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer-readable medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include hard disk drives (HDDs), solid state disks (SSDs), silicon disk drives (SDDs), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. This also includes implementations in the form of carrier waves (eg, transmission over the Internet).
  • the computer may include the controller 180 of the terminal. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.
  • the present invention has industrial applicability in a beverage supply device, and can be repeatedly applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Devices For Dispensing Beverages (AREA)

Abstract

본 발명은 음료 공급 장치에 관한 것으로, 센싱부; 마이크; 인공 지능부; 및 제어부를 포함하고, 상기 제어부는 오브젝트가 감지되면, 상기 마이크를 활성화 하고, 상기 활성화된 마이크를 통하여 사용자의 제 1 사운드 데이터를 센싱하는 경우, 상기 제 1 사운드 데이터를 인식하고, 상기 제 1 사운드 데이터에 기초하여 상기 사용자의 정보를 획득하고, 상기 획득된 사용자의 정보를 저장하고, 상기 사용자의 정보 및 상기 제 1 사운드 데이터에 기초하여 상기 오브젝트에 대응하는 메뉴를 결정하는 것을 특징으로 한다.

Description

음료 공급 장치 및 그 제어 방법
본 발명은 음료 공급 장치 및 그 제어 방법에 관한 것으로 상세하게는 음성 신호에 기초하여 음료를 공급하는 장치 및 그 제어 방법에 관한 것이다.
최근 인간의 지능과 유사한 사고를 가능하게 하는 인공 지능의 기술분야가 머신 러닝 기법을 기반으로 비약적으로 발전하고 있다. 이러한 인공 지능은 종래의 인간의 사고를 통하여 기계를 조작하는 인간의 행위를 기계가 대신할 수 있도록 할 수 있다. 이에, 다양한 산업 분야에서 인공 지능을 활용하기 위한 다양한 움직임이 있다.
특히, 일반적인 가정에서는 수많은 전자기기를 이용하고 있고, 이러한 전자기기에 인공 지능을 활용할 수 있는 다양한 방안 역시 제안되고 있다. 이에, 본 발명에서는, 정수기나 커피 머신과 같이 사용자로부터 유사한 명령을 반복적으로 입력 받을 수 있는 음료 공급 장치의 경우, 인공 지능 서비스를 탑재하여 사용자가 좀 더 편리하게 음료를 공급 받을 수 있는 방법에 대하여 제안한다.
본 발명은 인공 지능을 활용하여, 음료를 공급 받는 방법을 제공하는 것을 일 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 음료 공급 장치는, 센싱부; 마이크; 인공 지능부; 및 제어부를 포함하고, 상기 제어부는 오브젝트가 감지되면, 상기 마이크를 활성화 하고, 상기 활성화된 마이크를 통하여 사용자의 제 1 사운드 데이터를 센싱하는 경우, 상기 제 1 사운드 데이터를 인식하고, 상기 제 1 사운드 데이터에 기초하여 상기 사용자의 정보를 획득하고, 상기 획득된 사용자의 정보를 저장하고, 상기 사용자의 정보 및 상기 제 1 사운드 데이터에 기초하여 상기 오브젝트에 대응하는 메뉴를 결정할 수 있다.
또한, 상기 인공 지능부는 상기 센싱된 제 1 사운드 데이터를 학습하여 상기 사용자의 정보 및 결정된 메뉴에 대한 정보를 저장할 수 있다.
또한, 상기 제 1 사운드 데이터에 언어적 표현 및 비언어적 표현이 모두 포함된 경우, 상기 인공 지능부는 상기 언어적 표현 및 상기 비언어적 표현을 모두 고려하여 상기 사용자의 정보 및 상기 메뉴에 대한 정보를 저장할 수 있다.
또한, 상기 제어부는 상기 제 1 사운드 데이터를 텍스트로 변환하고, 상기 변환된 텍스트에 기초하여 상기 오브젝트에 대응하는 메뉴를 결정할 수 있다.
또한, 상기 음료 공급 장치는 음향 출력부를 더 포함하고, 상기 제어부는 상기 오브젝트에 대응하는 메뉴가 결정되는 경우, 상기 메뉴에 대한 정보를 상기 음향 출력부를 통하여 음성 신호로 출력할 수 있다.
또한, 상기 음료 공급 장치는 디스플레이부를 더 포함하고, 상기 제어부는 상기 오브젝트에 대응하는 메뉴가 결정되는 경우, 상기 메뉴에 대한 정보를 상기 디스플레이부를 통하여 비쥬얼(visual) 신호로 출력할 수 있다.
또한, 상기 제어부는 상기 활성화된 마이크를 통하여 사용자의 제 2 사운드 데이터를 센싱하는 경우, 상기 제 2 사운드 데이터에 기초하여 상기 오브젝트에 대응하는 메뉴를 변경할 수 있다.
또한, 상기 인공 지능부는 상기 제 2 사운드 데이터가 센싱되는 경우, 상기 제 1 사운드 데이터 및 상기 제 2 사운드 데이터를 학습하여 상기 사용자의 정보 및 결정된 메뉴에 대한 정보를 저장할 수 있다.
또한, 상기 음료 공급 장치는 급수부를 더 포함하고, 상기 급수부는 상기 제어부의 제어에 따라 상기 오브젝트에게 상기 결정된 메뉴를 급수할 수 있다.
또한, 상기 제어부는 상기 사용자의 정보 및 상기 제 1 사운드 데이터에 기초하여 상기 급수되는 메뉴의 종류, 양 및 온도 중 적어도 하나를 결정할 수 있다.
또한, 상기 음료 공급 장치는 메모리를 더 포함하고, 상기 제어부 및 상기 인공지능부는 상기 제 1 사운드 데이터, 상기 사용자의 정보 및 상기 메뉴 중 적어도 하나에 대한 정보를 상기 메모리에 저장할 수 있다.
또한, 상기 음료 공급 장치는 무게 감지부를 더 포함하고, 상기 제어부는 상기 무게 감지부를 통하여 상기 오브젝트의 무게를 측정하고, 상기 측정된 오브젝트의 무게에 기초하여 상기 메뉴의 양을 결정할 수 있다.
또한, 상기 음료 공급 장치는 카메라를 더 포함하고, 상기 제어부는 상기 카메라를 통하여 상기 사용자의 정보를 획득할 수 있다.
또한, 상기 음료 공급 장치는 외부 서버 또는 외부 디바이스와 통신을 수행하는 무선 통신부를 더 포함하고, 상기 제어부는 상기 제 1 사운드 데이터를 센싱하는 경우, 상기 외부 서버 또는 외부 디바이스를 통하여 상기 제 1 사운드 데이터에 대응하는 사용자의 정보를 획득할 수 있다.
또한, 상기 제어부는 상기 제 1 사운드 데이터의 난이도를 분석하고, 상기 분석된 난이도가 제 1 난이도인 경우, 상기 음료 공급 장치에 저장된 정보에 기초하여 상기 메뉴를 결정하고, 상기 분석된 난이도가 제 2 난이도인 경우, 상기 외부 서버 또는 상기 외부 디바이스를 통하여 상기 메뉴를 결정할 수 있다.
또한, 상기 제어부는 시간 정보를 고려하여 상기 오브젝트에 대응하는 메뉴를 결정할 수 있다.
또한, 상기 사용자의 정보는 나이 정보 및 성별 정보를 포함할 수 있다.
또한, 본 발명의 다른 일 실시예에 따른 음료 공급 장치의 제어 방법에 있어서, 오브젝트를 감지하는 단계; 마이크를 활성화하는 단계; 사용자의 제 1 사운드 데이터를 센싱하는 단계; 상기 제 1 사운드 데이터를 인식하는 단계; 상기 제 1 사운드 데이터에 기초하여 상기 사용자의 정보를 획득하는 단계; 상기 획득된 사용자의 정보를 저장하는 단계; 및 상기 사용자의 정보 및 상기 제 1 사운드 데이터에 기초하여 상기 오브젝트에 대응하는 메뉴를 결정하는 단계를 포함할 수 있다.
본 발명에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 사용자 편의를 향상시킨 음료 공급 장치를 제공할 수 있는 효과가 있다.
구체적으로, 본 발명은 사용자의 음성 신호를 인식하여 사용자가 원하는 음료를 공급할 수 있다는 효과가 있다. 특히, 본 발명의 음료 공급 장치는 반복적인 사용자의 음성 신호를 수집하여 사용자가 완벽한 문장으로 명령하지 않더라도 사용자가 원하는 음료를 공급할 수 있는 효과가 있다.
본 발명에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예와 관련된 음료 공급 장치의 블록 구성도(block diagram)이다.
도 2는 본 발명의 일 실시예에 따른 음료 공급 장치의 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 음료 공급 장치의 동작 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 사용자의 피드백이 없는 경우의 음료 공급 장치의 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 사용자의 피드백이 있는 경우의 음료 공급 장치의 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 음료 공급 장치가 서버와 통신하는 실시예를 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자가 음료 공급 장치를 이용하는 예시도이다.
도 8은 본 발명의 일 실시예에 따른 사용자가 음료 공급 장치를 이용하는 다른 예시도이다.
도 9는 본 발명의 일 실시예에 따른 사용자가 음료 공급 장치를 이용하는 다른 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 음료 공급 장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 음료 공급 장치에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명의 일 실시예와 관련된 음료 공급 장치의 블록 구성도(block diagram)이다.
상기 음료 공급 장치(100)는 무선 통신부(110), A/V(Audio/Video), 입력부(120), 인공 지능부(130), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 음료 공급 장치가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 음료 공급 장치(100)와 무선 통신 시스템 사이 또는 음료 공급 장치(100)와 음료 공급 장치(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈(1100)이 상기 이동단말기(100)에 제공될 수 있다.
상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미한다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS (Convergence of Broadcasting and Mobile Service), OMA-BCAST (Open Mobile Alliance-BroadCAST), CMMB (China Multimedia Mobile Broadcasting), MBBMS (Mobile Broadcasting Business Management System), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(170)에 저장될 수 있다.
이동통신 모듈(112)은, GSM(Gobal System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA)(이에 한정되지 않음)와 같은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 음료 공급 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), GSM, CDMA, WCDMA, LTE(Long Term Evolution)(이에 한정되지 않음) 등이 이용될 수 있다.
Wibro, HSDPA, GSM, CDMA, WCDMA, LTE 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로으로 이해될 수도 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(115)은 음료 공급 장치의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.
도 1을 참조하면, 입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(123)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(123)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
인공지능부(130)는, 인공 지능 기술에 기반하여 정보들을 처리하는 역할을 수행하는 것으로, 정보의 학습, 정보의 추론, 정보의 지각, 자연 언어의 처리 중 적어도 하나를 수행하는 하나 이상의 모듈을 포함할 수 있다.
인공지능부(130)는 머신 러닝(machine running) 기술을 이용하여, 음료 공급 장치 내에 저장된 정보, 음료 공급 장치 주변의 환경 정보, 통신 가능한 외부 저장소에 저장된 정보 등 방대한 양의 정보(빅데이터, big data)를 학습, 추론, 처리 중 적어도 하나를 수행할 수 있다. 그리고, 인공지능부(130)는 상기 머신 러닝 기술을 이용하여 학습된 정보들을 이용하여, 실행 가능한 적어도 하나의 음료 공급 장치의 동작을 예측(또는 추론)하고, 상기 적어도 하나의 예측된 동작들 중 가장 실현성이 높은 동작이 실행되도록 음료 공급 장치를 제어할 수 있다.
머신 러닝 기술은 적어도 하나의 알고리즘에 근거하여, 대규모의 정보들을 수집 및 학습하고, 학습된 정보를 바탕으로 정보를 판단 및 예측하는 기술이다. 정보의 학습이란 정보들의 특징, 규칙, 판단 기준 등을 파악하여, 정보와 정보 사이의 관계를 정량화하고, 정량화된 패턴을 이용하여 새로운 데이터들을 예측하는 동작이다.
이러한 머신 러닝 기술이 사용하는 알고리즘은 통계학에 기반한 알고리즘이 될 수 있으며, 예를 들어, 트리 구조 형태를 예측 모델로 사용하는 의사 결정 나무(decision tree), 생물의 신경 네트워크 구조와 기능을 모방하는 인공 신경망(neural network), 생물의 진화 알고리즘에 기반한 유전자 프로그래밍(genetic programming), 관측된 예를 군집이라는 부분집합으로 분배하는 군집화(Clustering), 무작위로 추출된 난수를 통해 함수값을 확률로 계산하는 몬테카를로 방법(Monter carlo method) 등이 될 수 있다.
머신 러닝 기술의 한 분야로써, 딥러닝(deep running) 기술은 인공 신경망 알고리즘을 이용하여, 정보들을 학습, 판단, 처리 중 적어도 하나를 수행하는 기술이다. 인공 신경망은 레이어(layer)와 레이어 사이를 연결하고, 레이어와 레이어 사이의 데이터를 전달하는 구조를 가질 수 있다. 이러한 딥러닝 기술은 병렬 연산에 최적화된 GPU(graphic processing unit)를 이용하여 인공 신경망을 통하여 방대한 양의 정보를 학습할 수 있다.
한편, 인공지능부(130)는 머신 러닝 기술을 적용하기 위한 방대한 양의 정보들을 수집하기 위하여, 음료 공급 장치의 구성 요소들에서 입력 또는 출력되는 신호, 데이터, 정보 등을 수집(감지, 모니터링, 추출, 검출, 수신)할 수 있다. 또한, 인공지능부(130)는 통신을 통하여 연결되는 외부 저장소(예를 들어, 클라우드 서버, cloud server)에 저장된 데이터, 정보 등을 수집(감지, 모니터링, 추출, 검출, 수신)할 수 있다. 보다 구체적으로, 정보의 수집이란, 센서를 통하여 정보를 감지하거나, 메모리(170)에 저장된 정보를 추출하거나, 통신을 통하여, 외부 저장소로부터 정보들을 수신하는 동작을 포함하는 용어로 이해될 수 있다.
인공지능부(130)는 센싱부(140)를 통하여, 음료 공급 장치 내 정보, 음료 공급 장치를 둘러싼 주변 환경 정보 및 사용자 정보를 감지할 수 있다. 또한, 인공지능부(130)는 무선 통신부(110)를 통하여, 방송 신호 및/또는 방송 관련된 정보, 무선 신호, 무선 데이터 등을 수신할 수 있다. 또한, 인공지능부(130)는 입력부로부터 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터 또는 사용자로부터 입력되는 정보를 입력받을 수 있다.
이러한 인공지능부(130)는 백그라운드 상에서 실시간으로 방대한 양의 정보들을 수집하고, 이를 학습하여, 적절한 형태로 가공한 정보(예를 들어, 지식 그래프, 명령어 정책, 개인화 데이터베이스, 대화 엔진 등)를 메모리(170)에 저장할 수 있다.
그리고, 인공지능부(130)는 머신 러닝 기술을 이용하여 학습된 정보들을 바탕으로, 음료 공급 장치의 동작이 예측되면, 이러한 예측된 동작을 실행하기 위하여, 음료 공급 장치의 구성 요소들을 제어하거나, 예측된 동작을 실행하기 위한 제어 명령을 제어부(180)로 전달할 수 있다. 제어부(180)는 제어 명령에 근거하여, 음료 공급 장치를 제어함으로써, 예측된 동작을 실행할 수 있다.
한편, 인공지능부(130)는 특정 동작이 수행되면, 머신 러닝 기술을 통하여, 특정 동작의 수행을 나타내는 이력 정보를 분석하고, 이러한 분석 정보를 바탕으로 기존의 학습된 정보에 대한 업데이트를 수행할 수 있다. 이에, 인공지능부(130)는 정보 예측의 정확도를 향상시킬 수 있다.
한편, 본 명세서에서, 인공지능부(130)와 제어부(180)는 동일한 구성요소로 이해될 수 있다. 이 경우, 본 명세서에서 설명되는 제어부(180)에서 수행되는 기능은, 인공지능부(130)에서 수행된다고 표현할 수 있으며, 제어부(180)는 인공지능부(130)로 명명되거나, 이와 반대로, 인공지능부(130)는 제어부(180)로 명명되어도 무방하다.
또한, 이와 다르게, 본 명세서에서, 인공지능부(130)와 제어부(180)는 별도의 구성요소로 이해될 수 있다. 이 경우, 인공지능부(130)와 제어부(180)는 서로 데이터 교환을 통하여, 음료 공급 장치 상에서 다양한 제어를 수행할 수 있다. 제어부(180)는 인공지능부(130)에서 도출된 결과를 기반으로, 음료 공급 장치 상에서 적어도 하나의 기능을 수행하거나, 음료 공급 장치의 구성요소 중 적어도 하나를 제어할 수 있다. 나아가, 인공지능부(130) 또한, 제어부(180)의 제어 하에 동작될 수 있다.
센싱부(140)는 음료 공급 장치(100)의 개폐 상태, 음료 공급 장치(100)의 위치, 사용자 접촉 유무, 음료 공급 장치의 방위, 음료 공급 장치의 가속/감속 등과 같이 음료 공급 장치(100)의 현 상태를 감지하여 음료 공급 장치(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 음료 공급 장치(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력부(152), 햅틱 모듈(153) 및 광 출력부(154) 등이 포함될 수 있다.
출력부(150)는 음료 공급 장치(100)의 이벤트 발생을 알리기 위한 신호를 출력할 수 있다. 음료 공급 장치에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 출력부(150)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(151) 및 음성 출력부(152)은 출력부(150)의 일종으로 분류될 수도 있다.
디스플레이부(151)는 음료 공급 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 음료 공급 장치가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 음료 공급 장치(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광 투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
음료 공급 장치(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 음료 공급 장치(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 음료 공급 장치의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 호칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 호칭할 수 있다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미할 수 있다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력부(152)는 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(170)에 저장된 사운드 데이터를 출력할 수 있다. 음향 출력부(152)은 음료 공급 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력부(152)에는 리시버(Receiver), 음향 출력부(speaker), 버저(Buzzer) 등이 포함될 수 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅틱 모듈(153)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(153)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(153)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(153)은 음료 공급 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
광출력부(154)는 음료 공급 장치(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 음료 공급 장치(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
광출력부(154)가 출력하는 신호는 음료 공급 장치가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 음료 공급 장치가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.
인터페이스부(160)는 음료 공급 장치(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 음료 공급 장치(100) 내부의 각 구성요소에 전달하거나, 음료 공급 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(160)에 포함될 수 있다.
한편, 식별 모듈은 음료 공급 장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(160)를 통하여 단말기(100)와 연결될 수 있다.
또한, 상기 인터페이스부(160)는 음료 공급 장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 음료 공급 장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 음료 공급 장치(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 음료 공급 장치(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.
메모리(170)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리(170)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)가 저장될 수 있다.
또한, 상기 메모리(170)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 음료 공급 장치(100)는 인터넷(internet)상에서 상기 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 음료 공급 장치(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 음료 공급 장치(100) 내부의 각 구성 요소에 전달하거나, 음료 공급 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 음료 공급 장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller)(180)는 통상적으로 음료 공급 장치의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(170)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
또한, 도 1에 도시되지는 않았지만, 본 발명에 따른 제어부(180)는 TTS(Text To Speech) 모듈, 자연어 처리(Natural Language Processing) 모듈 및 피드백 추정 모듈을 포함할 수 있다.
TTS 모듈은 디스플레이부(151)에 디스플레이되는 자연어를 음성으로 바꿔 음향 출력부(152)에 전달하기 위한 것으로, 녹음된 육성을 이용하지 않고 자연어를 바로 소리로 바꿔 음향 출력부(152)에 전달하기 위한 것이다. 본 발명에 따른 TTS 모듈은 문장 단위의 자연어를 자동 분석해 합성음을 생성한 뒤 생성된 합성음을 음향 출력부(152)로 전달할 수 있다. 자연어가 디스플레이부(151)에 디스플레이되는 경우, 문자열이 조합된 텍스트 형태로 표시될 수 있을 것이다.
자연어 처리 모듈은 인간이 발화하는 언어 현상을 기계적으로 분석하여 컴퓨터가 이해할 수 있는 형태로 변환하기 위한 것이다. 자연어 처리 모듈은 형태소 분석, 구절 단위 분석 및 구문 분석등을 수행하여 인간의 언어를 분석하고 이를 기계어로 자연어의 의미를 출력할 수 있다. 본 발명에 따른 자연어 처리 모듈은 문장 단위의 자연어의 의미를 분석하여 이를 출력할 수 있다.
자연어 처리 모듈에서, 형태소 분석이란 어떤 대상 어절의 모든 가능한 분석 결과를 출력하는 것을 의미하는 것일 수 있다. 구체적으로, 자연어 처리 모듈은 테이블 파싱(table parsing)을 이용하여 어절이 쪼개어질 수 있는 모든 경우의 수 중 적합한 결과를 선택할 수 있다. 구절 단위 분석은 명사구, 동사구, 부사구 등의 분석을 수행하는 것을, 절 단위 분석은 중문, 복문 등의 문장을 단문 단위로 분해하는 것을 의미할 수 있다. 구문 분석은 문장을 그것을 이루고 있는 구성 성분으로 분해하고 그들 사이의 위계 관계를 분석하여 문장의 구조를 결정하는 것을 의미할 수 있다.
피드백 추정 모듈은 자연어 처리 모듈로부터 출력되는 자연어의 의미에 부합하는 피드백을 결정하기 위한 것이다. 피드백 추정 모듈은 배음(背音, Background Sound) 추정 모듈, 진동 결정 모듈, 디스플레이 결정 모듈 및 광원 결정 모듈 중 적어도 하나를 포함할 수 있다. 배음 추정 모듈은 자연어의 의미에 부합하는 음향 데이터를 결정하기 위한 것이고, 진동 결정 모듈은 자연어의 의미에 따라 진동의 출력 여부를 결정하기 위한 것이다. 마찬가지로, 디스플레이 결정 모듈은 자연어의 의미에 따라 디스플레이부(151)의 출력 변화 여부를 결정하기 위한 것이고, 광원 결정 모듈은 자연어의 의미에 따라 광원의 점멸 여부를 결정하기 위한 것일 수 있다.
이하에서는 이와 같이 구성된 음료 공급 장치에서 구현될 수 있는 제어 방법과 관련된 실시 예들에 대해 첨부된 도면을 참조하여 살펴보겠다. 또한, 이하에서 본 발명의 실시예들을 설명 및 이해함에 있어서, 도 1과 관련하여 상술한 내용이 참고될 수도 있다. 본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
상술한 내용을 기초로 본 발명에 따른 음료 공급 장치(100)에 대해 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 음료 공급 장치의 블록 구성도이다.
도 2를 참조하면, 음료 공급 장치(100)는 급수부(101), 무게 감지부(102), 무선 통신부(110), 카메라(121), 마이크(122), 인공 지능부(130), 센싱부(140), 디스플레이부(151), 음향 출력부(152), 메모리(170) 및 제어부(180) 중 적어도 하나를 포함할 수 있다. 이때, 도 2에서 도시된 구성들은 도 1에서 상술한 구성으로 구현될 수 있다. 또한, 음료 공급 장치(100)는 상술한 구성 에 여러가지 구성을 더 포함할 수 있다. 그러나, 이하에서는 본 발명의 실시 예와 관련된 구성을 중심으로 설명할 것이다.
급수부(101)는 음료 공급 장치(100)에 구비되어, 음료 공급 장치(100)에서 외부로 음료를 급수하는 기능을 수행할 수 있다. 이때, 급수부(101)는 제어부의 제어에 따라 감지된 오브젝트로 음료를 급수할 수 있다. 예를 들어, 음료 공급 장치(100)가 감지한 오브젝트가 300ml 용량의 물컵인 경우, 음료 공급 장치(100)는 급수부(101)를 통하여 정수된 물을 급수할 수 있다. 또한, 급수부(101)는 종래의 공지된 음료 공급 장치(100)의 급수부(101)의 구조로 형성될 수 있다.
무게 감지부(102)는 음료 공급 장치(100)에 구비되어, 오브젝트를 감지할 수 있고, 오브젝트의 무게를 감지할 수 있다. 본 발명의 일 실시예에서, 음료 공급 장치(100)는 무게 감지부(102)를 통하여 오브젝트의 무게를 측정하고, 측정된 오브젝트의 무게에 기초하여 급수되는 음료의 양을 결정할 수 있다. 예를 들어, 사용자가 음료 공급 장치(100) 상에 300g의 물컵을 올려놓는 경우, 음료 공급 장치(100)는 무게 감지부(102)를 통하여 물컵의 무게를 300g으로 감지할 수 있다. 또한, 무게 감지부(102)는 종래의 공지된 음료 공급 장치(100)의 무게 감지부(102)의 구조로 형성될 수 있다.
무선 통신부(110)는 음료 공급 장치(100)와 다른 외부 전자 디바이스 (external electric device) 및 서버(server) 간에 다양한 프로토콜을 사용하여 통신을 수행하고 데이터 신호를 송/수신할 수 있다. 본 발명의 일 실시예에서, 음료 공급 장치(100)는 사운드 데이터를 센싱하는 경우, 무선 통신부(110)를 통하여 외부 서버 또는 외부 디바이스에서 사운드 데이터에 대응하는 정보를 획득할 수 있다.
카메라(121)는 음료 공급 장치(100)에 구비되어, 음료 공급 장치(100)를 이용하는 사용자를 촬영할 수 있다. 본 발명의 일 실시예에서, 음료 공급 장치(100)는 카메라(121)를 통하여 사용자의 정보를 획득할 수 있다. 보다 상세하게는, 카메라(121)는 사용자의 얼굴과 전신을 촬영하고, 획득한 이미지를 제어부(180)로 전송할 수 있다. 이후, 제어부(180)는 획득한 이미지를 통해 특징점 및 패턴을 추출하여 사람 여부, 성별 추정 및 나이 추정이 가능하다.
마이크(122)는 음료 공급 장치(100)에 구비되어 음성 신호를 감지할 수 있다. 본 발명의 일 실시예에서, 마이크(122)는 제어부(180)의 제어에 따라 활성화될 수 있다. 예를 들어, 마이크(122)는 기 설정된 시간 이상 음성 신호가 감지되지 않는 경우 비활성화된 상태를 유지할 수 있고, 음료 공급 장치(100)가 오브젝트를 감지하는 경우, 마이크(122)를 활성화할 수 있다. 또한, 마이크(122)는 감지된 음성 신호를 제어부(180)로 전달할 수 있다.
인공 지능부(130)는 사운드 데이터를 학습하여 사용자의 정보 및 결정된 메뉴에 대한 정보를 저장할 수 있다. 보다 상세하게는, 음료 공급 장치(100)는 획득한 음성 신호 및 이미지를 통하여 사용자의 정보 및 오브젝트에 대응하는 메뉴를 결정할 수 있다. 이때, 인공 지능부(130)는 획득한 음성 신호 및 이미지와 사용자의 정보 및 메뉴를 매핑(mapping)하여 저장 및 학습하여, 이렇게 축적된 정보를 바탕으로 이후의 정보를 판단 및 예측할 수 있다.
또한, 인공 지능부(130)는 제어부(180)로부터 수신한 정보를 이용하여 사용자의 상태, 나이 및 성별 등의 정보를 학습하여 메모리(170)에 저장할 수 있다. 보다 상세하게는, 상술한 바와 같이 제어부(180)는 카메라(121) 또는 마이크(122)를 통하여 사용자의 정보를 획득할 수 있고, 획득된 정보를 인공 지능부(130)로 전송할 수 있다. 이때, 인공 지능부(130)는 사용자의 일정한 비언어적 표현 또는 언어적 표현을 구분하여 저장할 수 있다. 여기에서, 비언어적 표현은 손짓, 발짓 등의 제스쳐 동작 또는 하품소리, 숨 헐떡임 등의 소리 신호를 예로 들 수 있고, 언어적 표현은 사용자의 입에서 나오는 명령 인공 지능부(130)가 중 언어(language)로 인지하는 표현에 대응할 수 있다. 인공 지능부(130)는 구분하여 저장된 비언어적 표현 및 언어적 표현을 모두 고려하여 사용자의 상태, 나이 및 성별 등을 결정할 수 있다.
센싱부(140)는 음료 공급 장치(100)에 대한 사용자의 다양한 입력 및 음료 공급 장치(100)의 환경을 센싱하여, 제어부(180)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 본 발명의 일 실시예에서, 센싱부(140)는 음료 공급 장치(100)의 디스플레이부(151)를 터치하는 사용자의 터치 입력 신호 또는 센싱부(140)를 통하여 감지되는 제스처 입력 신호를 감지할 수 있다. 뿐만 아니라, 센싱부(140)는 조도 센서, 온도 센서 및 습도 센서 등을 더 포함하여 음료 공급 장치(100) 주변의 환경을 좀 더 세밀하게 감지할 수 있다.
디스플레이부(151)는 비주얼 정보를 디스플레이할 수 있다. 여기에서, 비주얼 정보는 텍스트, 인디케이터, 아이콘, 컨텐츠, 애플리케이션, 이미지 및 동영상 등을 포함할 수 있다. 또한, 디스플레이부(151)는 제어부(180)의 제어 명령에 기초하여 비주얼 정보를 스크린에 출력할 수 있다. 또한, 디스플레이부(151)는 사용자의 눈을 향해 배치될 수 있다. 본 발명의 일 실시예에서, 디스플레이부(151)는 음료 공급 장치(100)가 사운드 데이터를 통하여 결정된 메뉴에 대한 정보를 비쥬얼 신호로 출력할 수 있다.
음향 출력부(152)는 음료 공급 장치(100)가 사운드 데이터를 통하여 결정된 메뉴에 대한 정보를 소리(sound)로 출력할 수 있다.
메모리(170)는 음료 공급 장치(100)가 센싱한 사운드 데이터, 이로부터 획득된 사용자 정보 및 이들을 기초로 결정된 메뉴 중 적어도 하나에 대한 정보를 저장할 수 있다. 또한, 메모리(170)는 음료 공급 장치(100)의 내부 또는 외부에 구비될 수 있으며, 인공 지능부(130) 또는 제어부(180)의 제어에 따라 정보를 저장, 수정 또는 삭제할 수 있다. 또한, 메모리(170)는 상술한 바와 같이 인공 지능부(130)를 통하여 학습된 사용자의 상태, 나이, 성별에 관한 정보를 구분하여 저장할 수 있다. 또한, 메모리(170)는 새롭게 습득된 나이, 성별에 관한 정보 이외에도 사전에 수집된 나이 및 성별에 관한 정보를 저장할 수 있다.
제어부(180)는 데이터를 프로세싱하고, 상술한 음료 공급 장치(100)의 각 구성을 제어하며, 구성들 간의 데이터 송/수신을 제어할 수 있다.
본 발명의 일 실시예로서, 음료 공급 장치(100)가 수행하는 동작들은 제어부(180)에 의해 제어될 수 있다. 다만, 편의를 위해, 도면 및 이하의 설명에서는 이러한 동작들을 통칭하여 음료 공급 장치(100)가 수행/제어하는 것으로 설명하도록 한다.
아래에서는 여러가지 구체적인 실시 예를 설명한다. 또한, 이하 설명되는 도 3 내지 도 5의 각 단계는 제어부에 의해 제어될 수 있다.
도 3은 본 발명의 일 실시예에 따른 음료 공급 장치의 동작 흐름도이다. 이하, 도 3의 실시예에서 도 2와 중복되는 설명은 생략하도록 한다.
도 3을 참조하면, 단계(S310)에서, 음료 공급 장치는 오브젝트를 감지할 수 있다. 보다 상세하게는, 음료 공급 장치는 음료 공급 장치에 구비된 무게 감지부 또는 센싱부를 통하여 음료 공급 장치로부터 기 설정된 범위 이내에 오브젝트를 감지할 수 있다. 예를 들어, 음료 공급 장치는 컵을 쥔 사용자의 손 또는 음료 공급 장치의 무게 감지부에 올려진 컵을 감지할 수 있다. 이때, 음료 공급 장치는 무게 감지부에 올려진 컵의 무게를 감지할 수 있다.
단계(S320)에서, 음료 공급 장치는 마이크를 활성화할 수 있다. 음료 공급 장치는 오브젝트가 감지되는 경우, 마이크를 활성화할 수 있다. 즉, 마이크가 항상 활성화되어 있다면, 음료 공급 장치는 불필요한 음성 신호를 끊임없이 수신해야 하므로 불필요한 전력을 낭비할 수 있다. 따라서, 음료 공급 장치는 오브젝트가 감지되는 경우에만 마이크를 활성화할 수 있다. 또한, 음료 공급 장치는 오브젝트가 감지되고 마이크가 활성화된 이후, 기 설정된 시간동안 마이크가 음성 신호를 감지하지 않는 경우, 마이크를 비활성화 시킬 수 있다.
단계(S330)에서, 음료 공급 장치는 사운드 데이터를 센싱할 수 있다. 보다 상세하게는, 음료 공급 장치는 마이크를 통하여 사운드 데이터를 센싱할 수 있다. 여기에서, 사운드 데이터는 소리(sound)로 출력되는 모든 신호에 대응할 수 있다. 예를 들어, 사운드 데이터는 사람의 언어적 표현 및 비언어적 표현뿐만 아니라 사람에게서 발생하는 소리가 아닌 바람 소리와 같은 자연어를 포함할 수 있다. 이때, 음료 공급 장치는 사람에게서 발생하는 음성 신호를 사운드 데이터로 센싱할 수 있다.
단계(S340)에서, 음료 공급 장치는 센싱된 사운드 데이터를 인식할 수 있다. 보다 상세하게는, 음료 공급 장치는 제어부에 포함된 TTS 모듈, 자연어 처리 모듈 및 피드백 추정 모듈 등을 이용하여 센싱된 사운드 데이터를 인식할 수 있다. 즉, 음료 공급 장치는 제어부에 포함된 TTS 모듈을 이용하여 센싱된 사운드 데이터를 텍스트로 변환하여 분석할 수 있다. 또한, 음료 공급 장치는 센싱된 사운드 데이터를 텍스트로 변경하지 않고 그 자체로서 인식할 수 있다. 즉, 음료 공급 장치는 수많은 데이터를 포함하고 있기 때문에, 반복적인 학습에 따라 센싱된 사운드 데이터를 텍스트로 변경하지 않더라도 사운드 데이터에 따른 기능을 수행할 수 있다.
단계(S350)에서, 음료 공급 장치는 인식된 사운드 데이터에 기초하여 사용자 정보를 획득할 수 있다. 보다 상세하게는, 음료 공급 장치는 사운드 데이터로부터 사용자의 상태, 나이 및 성별을 획득할 수 있다. 또한, 기존에 이미 음성 신호로부터 발화자의 나이 및 성별을 인식하는 기술을 다수 존재하는 바 음료 공급 장치는 이를 이용할 수 있다. 또한, 후술하겠으나 음료 공급 장치는 사운드 데이터에 기초하여 외부 서버 또는 외부 디바이스로부터 사용자의 정보를 획득할 수 있다.
단계(S360)에서, 음료 공급 장치는 획득된 사용자 정보를 저장할 수 있다. 음료 공급 장치는 사운드 데이터와 새롭게 획득되는 사용자 정보를 메모리에 저장할 수 있다. 이에 따라, 사운드 데이터에 대응하는 사용자 정보가 축적됨에 따라 음료 공급 장치는 보다 정확하게 사운드 데이터에 대응하는 사용자의 정보를 추측할 수 있다. 이에 대하여는 이하의 도면에서 자세히 설명하도록 한다.
단계(S370)에서, 음료 공급 장치는 획득된 사용자 정보 및 사운드 데이터에 기초하여 오브젝트에 대응하는 메뉴를 결정할 수 있다. 보다 상세하게는, 음료 공급 장치는 사운드 데이터로부터 다양한 정보를 획득할 수 있다. 예를 들어, 음료 공급 장치는 사운드 데이터로부터 사용자의 나이 및 성별을 추론할 수 있을 뿐만 아니라, 사운드 데이터에 포함되는 내용을 통하여 메뉴 선택에 대한 정보 및 양에 대한 정보를 획득할 수 있다. 이에 대하여는 도 4에서 자세히 설명하도록 한다.
단계(S380)에서, 음료 공급 장치는 사용자 피드백을 수신할 수 있다. 음료 공급 장치는 획득된 사용자 정보 및 사운드 데이터에 기초하여 오브젝트에 대응하는 메뉴를 결정하는 경우, 음향 출력부 또는 디스플레이부 등을 통하여 결정된 메뉴에 대응하는 정보를 출력할 수 있다. 이에 따라, 음료 공급 장치는 결정된 메뉴에 대응하는 정보가 출력된 이후, 기 설정된 시간 동안 사용자의 피드백을 감지할 수 있다. 즉, 결정된 메뉴에 대응하는 정보가 출력된 이후 사용자가 결정된 메뉴에 대한 피드백을 수신할 수 있다. 사용자의 피드백에 관련된 실시예는 도 5에서 자세히 설명하도록 한다.
음료 공급 장치가 기 설정된 시간 이내에 결정된 메뉴에 대한 사용자 피드백을 수신하지 못하거나, 결정된 메뉴에 대한 긍정적인 피드백을 수신하는 경우, 단계(S390)를 수행할 수 있다.
단계(S390)에서, 음료 공급 장치는 감지된 오브젝트에게 결정된 메뉴를 급수할 수 있다. 보다 상세하게는, 음료 공급 장치는 내부에 저장된 음료 또는 외부에 저장된 음료를 제어부의 제어에 따라 외부로 급수할 수 있다.
도 4는 본 발명의 일 실시예에 따른 사용자의 피드백이 없는 경우의 음료 공급 장치의 동작 흐름도이다. 이하, 도 4의 실시예에서 도 3과 중복되는 설명은 생략하도록 한다.
도 4를 참조하면, 단계(S410)에서, 음료 공급 장치는 오브젝트의 유무를 확인할 수 있다. 상술한 바와 같이 음료 공급 장치는 음료 공급 장치에 구비된 무게 감지부 또는 센싱부를 통하여 오브젝트의 유무를 감지할 수 있다. 이하에서는, 오브젝트가 컵인 경우를 가정하여 설명하도록 한다. 즉, 음료 공급 장치는 무게 감지부에 컵이 올려진 것을 감지할 수 있다.
단계(S420)에서, 음료 공급 장치는 마이크를 활성화하고, 오브젝트의 무게를 감지할 수 있다. 보다 상세하게는, 음료 공급 장치는 무게 감지부에 컵이 올려짐에 따라 마이크를 활성화하여 사운드 데이터의 수신을 준비할 수 있고, 무게 감지부를 통하여 컵의 무게를 측정할 수 있다.
단계(S430)에서, 음료 공급 장치는 활성화된 마이크를 통하여 사용자의 사운드 데이터를 센싱할 수 있다. 음료 공급 장치는 단계(S430)을 통하여 사운드 데이터가 센싱되는 경우, 사운드 데이터에 포함된 다양한 정보를 인식하여 획득할 수 있다.
예를 들어, 음료 공급 장치는 단계(S441)에서, 사용자의 발화 패턴을 통한 사용자의 나이 및 성별을 구분할 수 있다. 예를 들어, 음료 공급 장치는 기존의 데이터 베이스를 통하여 나이가 65세 이상인 사용자가 발화할 때는 느리게 말하는 것을 참고할 수 있다.
또한, 음료 공급 장치는 단계(S442)에서, 사용자의 발화 패턴을 통하여 사용자의 목 마름 정도를 판단할 수 있다. 예를 들어, 사용자가 같은 내용을 다급하게 말하는 경우, 음료 공급 장치는 사용자가 평소보다 더 목마른 것으로 판단할 수 있다.
또한, 음료 공급 장치는 단계(S443)에서, 사운드 데이터가 센싱될 때의 시간 정보를 획득할 수 있다. 예를 들어, 사운드 데이터가 센싱될 때의 시간이 새벽인 경우, 음료 공급 장치는 이후 카페인이 함유된 음료의 급수를을 제한할 수 있다.
또한, 음료 공급 장치는 단계(S444)에서, 사용자의 발화 결과인 텍스트에 기반한 의도를 분석할 수 있다. 예를 들어, 사용자가 '물 한잔, 가득'이라고 발화한 경우, 음료 공급 장치는 사용자가 발화한 문장으로부터 메뉴의 종류인 '물' 양인 '한잔' 및 '가득'을 인식할 수 있다. 이후, 음료 공급 장치는 무게 감지부를 통하여 감지된 컵의 무게를 고려하여 컵에 물이 가득 담기도록 물을 급수할 수 있다.
또한, 음료 공급 장치는 단계(S445)에서, 오브젝트의 무게에 따른 최적의 급수량을 판단할 수 있다. 예를 들어, 사용자가 정확한 양을 특정하지 않고 단순하게 '물 한잔'이라고 발화한 경우, 음료 공급 장치는 측정된 오브젝트의 무게에 기초하여 최적의 급수량을 판단할 수 있다. 예를 들어, 음료 공급 장치는 300g 무게의 컵의 경우 200g의 물을 급수하는 것이 일반적이라는 정보를 사용자 피드백 또는 외부 서버를 통하여 습득할 수 있다. 이에 따라, 음료 공급 장치는 측정된 오브젝트의 무게에 기초하여 최적의 급수량을 판단할 수 있다.
또한, 음료 공급 장치는 단계(S446)에서, 비언어적 표현을 분석할 수 있다. 여기에서, 비언어적 표현은 사람으로부터 수신되는 사운드 데이터의 일부로 언어로 인지하는 표현이 아닌 표현에 대응할 수 있다. 예를 들어, 음료 공급 장치는 사용자의 하품 소리를 인지할 수 있다. 이때, 음료 공급 장치는 센싱된 시간 정보와 비언어적 표현을 함께 고려할 수 있다. 예를 들어, 오전 11시에 사용자로부터 하품소리와 함께 '아무거나 줘'라는 사운드 데이터가 센싱된 경우, 음료 공급 장치는 '오전 11시', '하품소리' 및 '아무거나'를 인식할 수 있고, 시간 정보 및 비언어적 표현을 고려하여 '카페인이 함유된 음료'를 추천할 수 있다.
또한, 음료 공급 장치는 단계(S447)에서, 사운드 데이터로부터 양에 대한 의도를 분석할 수 있다. 예를 들어, 사용자가 '아메리카노 두 잔 줘'라고 발화한 경우, 음료 공급 장치는 측정된 오브젝트의 무게 및 인식된 '두 잔'이라는 양에 대한 의도를 분석하여 커피 두 잔을 무게에 맞춰 차례 차례 급수 할 수 있다.
또한, 음료 공급 장치는 단계(S448)에서, 사운드 데이터로부터 메뉴 선택에 대한 정보를 분석할 수 있다. 예를 들어, 사용자가 '라떼 한 잔'이라고 발화한 경우, 음료 공급 장치는 인식된 사운드 데이터에 포함된 음료의 메뉴를 분석할 수 있다.
또한, 음료 공급 장치는 상술한 단계(S441) 내지 단계(S448) 중 적어도 하나의 단계를 외부 서버 또는 외부 디바이스와의 통신을 통하여 수행할 수 있다. 예를 들어, 단계(S441)에서, 음료 공급 장치는 센싱된 사운드 데이터로부터 사용자의 발화 패턴을 통한 사용자의 나이 및 성별을 구분할 수 있다. 이때, 음료 공급 장치는 음료 공급 장치 내에 정보를 통하여 사용자의 나이 및 성별을 구분할 수 없다면 외부 서버 또는 외부 디바이스와의 통신을 이용하여 정보를 획득할 수 있다. 이에 대하여는 도 6에서 자세히 설명하도록 한다.
또한, 도면에 도시되지는 않았으나, 음료 공급 장치는 상술한 단계(S441) 내지 단계(S448) 중 적어도 하나의 단계에 가중치를 부여할 수 있다. 보다 상세하게는, 음료 공급 장치는 센싱한 사운드 데이터로부터 다양한 정보를 획득할 수 있다. 예를 들어, 음료 공급 장치는 사운드 데이터로부터 사용자의 나이 정보, 성별 정보 및 시간 정보를 획득할 수 있다. 이때, 음료 공급 장치는 '시간 정보'에 가중치를 둘 수 있다. 이에 따라, 음료 공급 장치는 사용자가 발화한 사운드 데이터 중 다른 정보보다 '시간 정보'에 가중치를 두어 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 이때, 음료 공급 장치는 축적된 데이터에 기초하여 가중치를 둘 정보를 선택할 수 있다.
단계(S450)에서, 음료 공급 장치는 사운드 데이터로부터 상술한 단계(S441) 내지 단계(S448) 중 적어도 하나를 통하여 사용자의 정보를 획득하고, 오브젝트에 대응하는 메뉴를 결정할 수 있다. 또한, 음료 공급 장치는 사운드 데이터를 인식하여 오브젝트에 대응하는 메뉴를 결정하는 것 이외에도 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 음료 공급 장치는 수집된 정보에 기초하여 메뉴의 종류, 메뉴의 양 및 메뉴의 온도가 결정되는 경우 음향 출력부 또는 디스플레이부 등을 통하여 결정된 메뉴 등에 대한 정보를 출력할 수 있다.
음료 공급 장치는 결정된 메뉴에 대한 정보가 출력된 이후, 단계(S460)에서, 사용자로부터 피드백을 수신할 수 있다.
음료 공급 장치가 기 설정된 시간 이내에 결정된 메뉴에 대한 사용자 피드백을 수신하지 못하거나 결정된 메뉴에 대한 긍정적인 피드백(positive feedback)을 수신하는 경우, 단계(S470)에서, 감지된 오브젝트에게 결정된 메뉴를 급수할 수 있다. 예를 들어, 음료 공급 장치가 음향 출력부를 통하여 '아메리카노 한잔 드립니다'라는 언어를 출력한 이후, 사용자로부터 '좋아'라는 긍정적인 피드백이 수신되는 경우, 음료 공급 장치는 감지된 컵에 '아메리카노'를 '한잔' 급수할 수 있다.
반면, 음료 공급 장치가 기 설정된 시간 이내에 결정된 메뉴에 대한 부정적인 피드백을 수신하는 경우, 단계(S430)을 다시 수행할 수 있다. 예를 들어, 음료 공급 장치가 음향 출력부를 통하여 '아메리카노 한잔 드립니다'라는 언어를 출력한 이후, 사용자로부터 '아니, 라떼로 줘'라는 부정적인 피드백(negative feedback)이 수신되는 경우, 음료 공급 장치는 단계(S430)부터 다시 플로우(flow)를 수행할 수 있다. 이때, 음료 공급 장치는 사용자로부터 새롭게 수신한 부정적인 피드백을 사용자의 새로운 사운드 데이터로 센싱할 수 있다. 이에 대하여는 도 5에서 자세히 설명하도록 한다.
또한, 음료 공급 장치는 사용자의 피드백이 긍정적이거나 부정적인 경우 모두 단계(S480)에서, 데이터를 축적할 수 있다. 보다 상세하게는, 음료 공급 장치는 센싱된 사운드 데이터, 사운드 데이터를 통하여 획득된 사용자 정보 및 사운드 데이터 및 사용자 정보에 기초하여 결정된 메뉴에 대한 정보를 저장할 수 있다. 이후, 음료 공급 장치는 인공 지능부를 통하여 저장된 정보를 학습할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자의 피드백이 있는 경우의 음료 공급 장치의 동작 흐름도이다. 이하, 도 5의 실시예에서 도 4와 중복되는 설명은 생략하도록 한다.
도 5를 참조하면, 단계(S510) 내지 단계(S560)은 도 4의 실시예를 참고할 수 있다. 즉, 음료 공급 장치는 단계(S510)에서 오브젝트를 감지함에 따라, 단계(S520)에서 마이크를 활성화하고, 오브젝트의 무게를 확인할 수 있다. 단계(S530)에서, 음료 공급 장치는 사용자의 제 1 사운드 데이터를 센싱할 수 있고, 단계(S541) 내지 단계(S548)에서 센싱된 사운드 데이터를 분석할 수 있다. 예를 들어, 음료 공급 장치는 사용자의 제 1 사운드 데이터로 '커피 한잔 부탁해'를 센싱할 수 있다. 이후, 단계(S550)에서, 음료 공급 장치는 수집된 정보를 통한 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 상술한 예에 따라, 음료 공급 장치는 오브젝트에 대한 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 '아메리카노', '한잔', '70도'로 결정할 수 있다. 또한, 음료 공급 장치는 결정된 메뉴에 대한 정보를 음향 출력부를 통하여 출력할 수 있다. 즉, 음료 공급 장치는 '뜨거운 아메리카노 한잔 드립니다'라고 사운드를 출력할 수 있다.
도 4에서는 단계(S560)에서 사용자 피드백이 긍정적인 경우를 실시예로 들어 설명하였으나 이하에서는 사용자 피드백이 부정적인 경우를 예로 들어 설명하도록 한다.
단계(S560)에서, 음료 공급 장치는 사용자의 부정적인 피드백을 수신할 수 있다. 예를 들어, 음료 공급 장치는 사용자로부터 '아니'라는 부정적인 피드백을 수신할 수 있다. 이에 따라, 음료 공급 장치는 단계(S580)에서, 제 1 사운드 데이터가 부정적인 피드백을 수신하였다는 정보를 축적할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치는 제 1 사운드 데이터에 대응하는 사용자가 '아메리카노', '한잔', '75도'라는 결정된 메뉴에 대하여 부정적인 피드백을 발생시킨 것을 저장할 수 있다.
이후, 단계(S531)에서, 사용자로부터 제 2 사운드 데이터를 센싱할 수 있다. 예를 들어, 음료 공급 장치는 사용자로부터 제 2 사운드 데이터로 '라떼로 줘'를 센싱할 수 있다.
제 2 사운드 데이터를 센싱한 음료 공급 장치는 단계(S5411) 내지 단계(S5481)에서 제 2 사운드 데이터를 분석할 수 있다. 보다 상세하게는, 제 2 사운드 데이터는 '라떼'라는 메뉴의 종류만을 정보로 포함하고 있다. 이에 따라, 음료 공급 장치는 제 1 사운드 데이터를 통하여 분석된 정보에 메뉴의 종류만을 변경할 수 있다. 즉, 음료 공급 장치는 제 1 사운드 데이터를 통하여 분석된 정보 중 적어도 하나를 제 2 사운드 데이터에 포함된 정보로 변경할 수 있다.
단계(S551)에서, 음료 공급 장치는 제 2 사운드 데이터에 기초하여 수집된 정보를 통한 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 상술한 예에 따라, 음료 공급 장치는 오브젝트에 대한 메뉴의 종류를 '라떼'로 변경하고, 메뉴의 양 및 메뉴의 온도는 동일하게 '한잔', '70도'로 결정할 수 있다. 또한, 음료 공급 장치는 결정된 메뉴에 대한 정보를 음향 출력부를 통하여 출력할 수 있다. 즉, 음료 공급 장치는 '뜨거운 라떼 한잔 드립니다'라고 사운드를 출력할 수 있다.
단계(S561)에서, 음료 공급 장치는 사용자의 피드백을 수신할 수 있다. 음료 공급 장치는 기 설정된 시간 이내에 결정된 메뉴에 대한 사용자 피드백을 수신하지 못하거나 결정된 메뉴에 대한 긍정적인 피드백을 수신하는 경우, 단계(S571)을 수행할 수 있다. 반면, 음료 공급 장치는 결정된 메뉴에 대한 부정적인 피드백을 수신하는 경우, 단계(S530, S531)부터 다시 플로우를 수행할 수 있다.
단계(S571)에서, 음료 공급 장치는 제 2 사운드 데이터에 따라 결정된 메뉴를 급수할 수 있다.
도 6은 본 발명의 일 실시예에 따른 음료 공급 장치가 서버와 통신하는 실시예를 설명하는 도면이다.
음료 공급 장치(100)는 사운드 데이터가 수신되는 경우, 음료 공급 장치(100)에서 1차적으로 사운드 데이터를 분석하여, 음료 공급 장치(100)가 스스로 판단할 수 있는 경우, 음료 공급 장치(100)에 대한 판단 결과를 사용자에게 전송할 수 있다. 반면, 1차적으로 분석한 사운드 데이터의 결과와 관련하여, 음료 공급 장치(100)에서 스스로 판단할 수 없는 경우, 음료 공급 장치(100)는 음료 공급 장치(100)가 아닌 서버에게 사운드 데이터를 전송하여 사운드 데이터를 분석하게 할 수 있다.
보다 상세하게는, 사용자로부터 사운드 데이터가 수신되는 경우, 음료 공급 장치(100)는 1차적으로 사운드 데이터를 분석할 수 있다. 본 발명의 일 실시예에서, 분석된 사운드 데이터의 난이도가 제 1 난이도인 경우 음료 공급 장치(100)는 음료 공급 장치(100)에 저장된 정보에 기초하여 사운드 데이터를 분석할 수 있다. 반면, 분석된 사운드 데이터의 난이도가 제 2 난이도인 경우, 음료 공급 장치(100)는 외부 서버를 통하여 사운드 데이터를 분석할 수 있다. 여기에서, 난이도는 음료 공급 장치(100)에서 설정될 수 있다.
이하에서는, 음료 공급 장치(100) 내에서 스스로 판단할 수 없는 난이도의 사운드 데이터를 수신하는 실시예를 설명하도록 한다.
본 발명의 일 실시예에서, 음료 공급 장치(100) 복수의 서버와 연결될 수 있고, 복수의 서버는 복수의 시스템과 연결될 수 있다. 음료 공급 장치(100)는 수신한 사운드 데이터에 대한 정보를 분석하고, 언어를 판단하여 음료 공급 장치(100)가 아닌 서버에 할당할 수 있다.
먼저, 사용자로부터 사운드 데이터가 수신되는 경우, 음료 공급 장치(100)는 사운드 데이터의 언어를 판단할 수 있다. 음료 공급 장치(100)는 수신된 사운드 데이터의 언어를 판단하여, 사운드 데이터의 언어가 제 1 언어에 대응하는 경우, 사운드 데이터를 제 1 서버에 할당할 수 있다. 여기에서, 제 1 언어는 모국어인 것으로 가정한다. 이 경우, 제 1 서버는 사운드 데이터에 대응하는 트랜스크립트(transcript)를 제 1 시스템에 전달하고, 제 1 시스템으로부터 분석 결과를 수신할 수 있다. 또한, 서버는 분석 결과를 음료 공급 장치(100)에 전송하고, 음료 공급 장치(100)는 사용자에게 음성 신호로서 피드백을 제공할 수 있다.
한편, 사운드 데이터의 언어가 제 2 언어에 해당하는 경우, 음료 공급 장치(100)는 사운드 데이터를 제 2 서버에 할당할 수 있다. 여기에서, 제 2 언어는 외국어인 것으로 가정한다. 이 경우, 제 2 서버는 사운드 데이터에 대응하는 트랜스크립트를 제 2 시스템에 전달하고, 제 2 시스템으로부터 분석 결과를 수신할 수 있다. 또한, 서버는 분석 결과를 음료 공급 장치(100)에 전송하고, 음료 공급 장치(100)는 사용자에게 음성 신호로서 피드백을 제공할 수 있다.
또한, 사운드 데이터의 언어가 제 1 언어 및 제 2 언어의 조합으로 구성된 경우, 음료 공급 장치(100)는 사운드 데이터를 제 3 서버에 할당할 수 있다. 이 경우, 제 3 서버는 사운드 데이터에 대응하는 트랜스크립트를 제 3 시스템에 전달하고, 제 3 시스템으로부터 분석 결과를 수신할 수 있다. 또한, 서버는 분석 결과를 음료 공급 장치(100)에 전송하고, 음료 공급 장치(100)는 사용자에게 음성 신호로서 피드백을 제공할 수 있다.
다른 일 예로서, 도 6에는 도시되지 않았으나, 본 발명의 일 실시예에서, 음료 공급 장치(100)는 수신된 사운드 데이터의 언어를 음료 공급 장치(100)에서 판단하지 않고 바로 서버에 전달하여, 서버 및 시스템으로부터 수신된 피드백을 사용자에게 제공할 수 있다.
도 7은 본 발명의 일 실시예에 따른 사용자가 음료 공급 장치를 이용하는 예시도이다.
도 7을 참조하면, 음료 공급 장치(100)는 오브젝트(200)를 감지할 수 있다. 상술한 바와 같이, 음료 공급 장치(100)는 음료 공급 장치(100)에 구비된 무게 감지부 또는 센싱부를 통하여 음료 공급 장치(100)로부터 기 설정된 범위 이내에서 오브젝트(200)를 감지할 수 있다. 음료 공급 장치(100)는 오브젝트(200)로 컵(200)을 감지할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 컵(200)을 감지함에 따라, 마이크를 활성화하고, 컵(200)의 무게를 측정할 수 있다. 음료 공급 장치(100)는 제 1 사운드 데이터(710)를 센싱할 수 있다. 여기에서, 제 1 사운드 데이터(710)은 사용자로부터 발화된 음성 신호에 대응할 수 있다. 이때, 제 1 사운드 데이터(710)는 '커피 한잔 부탁해'라는 언어적 표현과 '하암'과 같은 하품 소리인 비언어적 표현을 포함할 수 있다.
음료 공급 장치(100)는 제 1 사운드 데이터(710)에 포함된 언어적 표현과 비언어적 표현을 함께 고려하여 제 1 사운드 데이터(710)에 포함된 정보를 인식할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 1 사운드 데이터(710)로부터 사용자는 '30대 여성'인 점, 메뉴의 종류는 '커피', 메뉴의 양은 '한잔', 시간 정보는 '오전 11시', 사용자의 상태는 '피곤함' 등과 같은 정보를 획득할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 음료 공급 장치(100)에 축적된 데이터 또는 외부 서버로부터 수신한 데이터를 통하여 확정되지 않은 정보를 추론할 수 있다. 예를 들어, 제 1 사운드 데이터(710)에 포함된 정보만으로는 메뉴의 구체적인 종류를 확정할 수 없다. 즉, '커피'의 종류를 특정할 수 없기 때문에, 음료 공급 장치(100)는 축적된 데이터 또는 외부 서버로부터 수신한 데이터를 활용하여 '30대 여성'이 '피곤한 상태'에서 '오전 11시'에 주로 마시는 '커피의 종류'를 추론할 수 있다.
이에 따라, 음료 공급 장치(100)는 수집된 정보를 통하여 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 '30대 여성'이 '피곤한 상태'에서 '오전 11시'에 주로 마시는 '커피의 종류'로 '아메리카노'를 추론할 수 있다.
음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음향 출력부 또는 디스플레이부를 통하여 결정된 메뉴에 대한 정보를 출력할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 1 음성 신호(720)로 '따뜻한 아메리카노 한잔 드립니다'와 같은 언어적 표현을 출력할 수 있다. 또한, 도면에 도시되지는 않았으나, 음료 공급 장치(100)는 '따뜻한 아메리카노 한잔 드립니다'를 비쥬얼 신호로 디스플레이부 상에 출력할 수 있음은 물론이다.
이때, 음료 공급 장치(100)는 기 설정된 시간 동안 사용자 피드백을 수신할 수 있다. 여기에서, 음료 공급 장치(100)가 기 설정된 시간 동안 사용자 피드백을 수신하지 못하거나 결정된 메뉴에 대한 긍정적인 피드백을 수신하는 경우, 음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음료를 급수할 수 있다.
이하, 도 7의 실시예에서는 음료 공급 장치(100)가 기 설정된 시간 이내에 부정적인 피드백을 수신하는 실시예를 설명하도록 한다.
음료 공급 자치(100)로부터 제 1 음성 신호(720)가 출력된 이후, 사용자는 제 2 사운드 데이터(730)를 출력할 수 있다. 여기에서, 제 2 사운드 데이터(730)은 사용자로부터 발화된 음성 신호에 대응할 수 있다. 이때, 제 2 사운드 데이터(730)는 '아메리카노 말고 라떼로, 뜨거운 거 말고 아이스로 부탁해'라는 언어적 표현을 포함할 수 있다.
음료 공급 장치(100)는 제 2 사운드 데이터(730)가 부정적인 피드백에 해당하는 것으로 판단하는 경우, 제 2 사운드 데이터(730)에 포함된 정보를 인식할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 2 사운드 데이터(730)로부터 사용자가 메뉴의 종류인 '아메리카노' 대신 '라떼'를 선호하고, 메뉴의 온도인 '뜨거운'이 아닌 '아이스'를 선호하는 것을 획득할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 제 1 사운드 데이터(710)와 제 2 사운드 데이터(730)를 통하여 사용자에 대한 정보를 학습할 수 있다. 보다 상세하게는, 음료 공급 장치(100)는 제 1 사운드 데이터(710)를 통하여 '30대 여성'은 '피곤한 상태'에서 '오전 11시'에 '뜨거운 아메리카노'를 선호하는 것에서, 제 2 사운드 데이터(730)를 통하여 '30대 여성'은 '피곤한 상태'에서 '오전 11시'에 '아이스 라떼'를 선호하는 것으로 변경할 수 있다. 본 명세서에서는 제 1 사운드 데이터(710) 및 제 2 사운드 데이터(730)만을 예로 들어 설명하나 음료 공급 장치(100)는 더 많은 데이터가 축적됨에 따라 추론 능력을 향상시킬 수 있다.
이에 따라, 음료 공급 장치(100)는 수집된 정보를 통하여 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 사용자의 제 2 사운드 데이터(730)를 통하여 메뉴의 종류를 '라떼', 메뉴의 양을 '한잔', 메뉴의 온도를 '아이스'로 결정할 수 있다.
음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음향 출력부 또는 디스플레이부를 통하여 결정된 메뉴에 대한 정보를 출력할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 2 음성 신호(740)로 '아이스 라떼 한잔 드립니다'와 같은 언어적 표현을 출력할 수 있다. 또한, 도면에 도시되지는 않았으나, 음료 공급 장치(100)는 '아이스 라떼 한잔 드립니다'를 비쥬얼 신호로 디스플레이부 상에 출력할 수 있음은 물론이다.
이때, 음료 공급 장치(100)는 기 설정된 시간 동안 사용자 피드백을 수신할 수 있다. 여기에서, 음료 공급 장치(100)가 기 설정된 시간 동안 사용자 피드백을 수신하지 못하거나 결정된 메뉴에 대한 긍정적인 피드백을 수신하는 경우, 음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음료를 급수할 수 있다.
또한, 도면에 도시되지는 않았으나 음료 공급 장치(100)가 출력하는 음성 신호는 사용자로부터 수신한 사운드 데이터로부터 발췌(extract)될 수 있다. 예를 들어, 사용자가 '뜨거운 아메리카노 한잔 줘'라는 사운드 데이터를 입력 하는 경우, 음료 공급 장치(100)는 '뜨거운 아메리카노 한잔 드립니다'라고 음성 신호를 출력할 수 있다. 반면, 사용자가 '따뜻한 아메리카노 한잔 줘'라는 사운드 데이터를 입력하는 경우, 음료 공급 장치(100)는 '따뜻한 아메리카노 한잔 드립니다'라고 음성 신호를 출력할 수 있다. 즉, 음료 공급 장치(100)는 수신한 사운드 데이터에 기초하여 출력하는 음성 신호를 다양한 방향으로 향상시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 사용자가 음료 공급 장치를 이용하는 다른 예시도이다. 이하, 도 8의 실시예에서 도 7과 중복되는 설명은 생략하도록 한다.
도 8을 참조하면, 음료 공급 장치(100)는 오브젝트(200)를 감지할 수 있다. 이때, 음료 공급 장치(100)는 오브젝트(200)로 컵(200)을 감지할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 컵(200)을 감지함에 따라, 마이크를 활성화하고, 컵(200)의 무게를 측정할 수 있다.
또한, 본 발명의 일 실시예에서, 음료 공급 장치(100)는 제 1 사운드 데이터(810)를 센싱할 수 있다. 여기에서, 제 1 사운드 데이터(810)은 사용자로부터 발화된 음성 신호에 대응할 수 있다. 이때, 제 1 사운드 데이터(810)는 '물 좀 줘'라는 언어적 표현과 '헉헉'과 같은 숨을 헐떡이는 소리인 비언어적 표현을 포함할 수 있다.
음료 공급 장치(100)는 제 1 사운드 데이터(810)에 포함된 언어적 표현과 비언어적 표현을 함께 고려하여 제 1 사운드 데이터(810)에 포함된 정보를 인식할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 1 사운드 데이터(810)로부터 사용자는 '10대 이하 남성'인 점과 메뉴의 종류는 '물' 그리고 사용자의 상태는 '힘듦' 등과 같은 정보를 획득할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 음료 공급 장치(100)에 축적된 데이터 또는 외부 서버로부터 수신한 데이터를 통하여 확정되지 않은 정보를 추론할 수 있다. 예를 들어, 제 1 사운드 데이터(810)에 포함된 정보만으로는 메뉴의 양 및 메뉴의 온도를 구체적으로 확정할 수 없다. 즉, 메뉴의 양 및 메뉴의 온도를 특정할 수 없기 때문에, 음료 공급 장치(100)는 스스로 메뉴의 양 및 메뉴의 온도를 결정해야 한다.
이에 따라, 음료 공급 장치(100)는 감지한 컵(200)의 무게에 기초하여 메뉴의 양을 결정할 수 있다. 즉, 음료 공급 장치(100)는 '10대 이하 남성'이 '힘든 상태'에서는 '물'을 컵(200)에 '가득' 마시는 정보를 획득할 수 있다. 따라서, 음료 공급 장치(100)는 메뉴의 양을 감지된 컵(200)의 무게에 90%로 설정할 수 있다.
또한, 음료 공급 장치(100)는 축적된 데이터 또는 외부 서버로부터 수신한 데이터를 활용하여 '10대 이하 남성'에게는 '미온수'가 적당함을 추론할 수 있다. 즉, 음료 공급 장치(100)는 수집된 정보를 통하여 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 '10대 이하 남성'이 '힘든 상태'에서 마시는 '물'은 '미온수'를 추론할 수 있다.
음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음향 출력부 또는 디스플레이부를 통하여 결정된 메뉴에 대한 정보를 출력할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 1 음성 신호(820)로 '미지근한 물 가득 드릴게요'와 같은 언어적 표현을 출력할 수 있다. 또한, 도면에 도시되지는 않았으나, 음료 공급 장치(100)는 '미지근한 물 가득 드릴게요'를 비쥬얼 신호로 디스플레이부 상에 출력할 수 있음은 물론이다.
이때, 음료 공급 장치(100)는 기 설정된 시간 동안 사용자 피드백을 수신할 수 있다. 여기에서, 음료 공급 장치(100)가 기 설정된 시간 동안 사용자 피드백을 수신하지 못하거나 결정된 메뉴에 대한 긍정적인 피드백을 수신하는 경우, 음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음료를 급수할 수 있다.
이하, 도 8의 실시예에서는 음료 공급 장치(100)가 기 설정된 시간 이내에 부정적인 피드백을 수신하는 실시예를 설명하도록 한다.
음료 공급 자치(100)로부터 제 1 음성 신호(820)가 출력된 이후, 사용자는 제 2 사운드 데이터(830)를 출력할 수 있다. 여기에서, 제 2 사운드 데이터(830)은 사용자로부터 발화된 음성 신호에 대응할 수 있다. 이때, 제 2 사운드 데이터(830)는 '싫어, 얼음 넣어서 차가운 물로 줘'라는 언어적 표현을 포함할 수 있다.
음료 공급 장치(100)는 제 2 사운드 데이터(830)가 부정적인 피드백에 해당하는 것으로 판단하는 경우, 제 2 사운드 데이터(830)에 포함된 정보를 인식할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 2 사운드 데이터(830)로부터 사용자가 메뉴의 온도인 '미온수'가 아닌 '아이스'를 선호하는 것을 획득할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 제 1 사운드 데이터(810)와 제 2 사운드 데이터(830)를 통하여 사용자에 대한 정보를 학습할 수 있다. 보다 상세하게는, 음료 공급 장치(100)는 제 1 사운드 데이터(810)를 통하여 '10대 이하 남성'은 '힘든 상태'에서 '미온수'를 선호하는 것에서, 제 2 사운드 데이터(830)를 통하여 '10대 이하 남성'은 '힘든 상태'에서 '얼음을 넣은 물'을 선호하는 것으로 변경할 수 있다. 본 명세서에서는 제 1 사운드 데이터(810) 및 제 2 사운드 데이터(830)만을 예로 들어 설명하나 음료 공급 장치(100)는 더 많은 데이터가 축적됨에 따라 추론 능력을 향상시킬 수 있다.
이에 따라, 음료 공급 장치(100)는 수집된 정보를 통하여 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 결정할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 사용자의 제 2 사운드 데이터(830)를 통하여 메뉴의 종류를 '물', 메뉴의 양을 '컵(200)의 90%', 메뉴의 온도를 '아이스'로 결정할 수 있다.
음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음향 출력부 또는 디스플레이부를 통하여 결정된 메뉴에 대한 정보를 출력할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 2 음성 신호(840)로 '얼음과 함께 차가운 물 가득 드릴게요'와 같은 언어적 표현을 출력할 수 있다. 또한, 도면에 도시되지는 않았으나, 음료 공급 장치(100)는 '얼음과 함께 차가운 물 가득 드릴게요'를 비쥬얼 신호로 디스플레이부 상에 출력할 수 있음은 물론이다.
이때, 음료 공급 장치(100)는 기 설정된 시간 동안 사용자 피드백을 수신할 수 있다. 여기에서, 음료 공급 장치(100)가 기 설정된 시간 동안 사용자 피드백을 수신하지 못하거나 결정된 메뉴에 대한 긍정적인 피드백을 수신하는 경우, 음료 공급 장치(100)는 결정된 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 기초로 음료를 급수할 수 있다.
또한, 도면에 도시되지는 않았으나 음료 공급 장치(100)가 출력하는 음성 신호는 획득한 사용자 정보에 기초하여 다르게 출력될 수 있다. 예를 들어, 음료 공급 장치(100)가 인식한 사운드 데이터의 사용자가 '10대 이하 남성'인 경우, 음료 공급 장치(100)는 사운드 데이터에 대한 결과를 '40대 여성'의 목소리로 출력할 수 있다. 즉, 음료 공급 장치(100)는 인식한 사용자의 나이 및 성별에 기초하여 사용자가 선호하는 목소리 및 발화 패턴으로 음성 신호를 출력할 수 있다.
도 9는 본 발명의 일 실시예에 따른 사용자가 음료 공급 장치를 이용하는 다른 예시도이다. 이하, 도 9의 실시예에서 도 7 및 도 8과 중복되는 설명은 생략하도록 한다.
도 9를 참조하면, 음료 공급 장치(100)는 제품(product)의 일부로 구성될 수 있다. 예를 들어, 본 발명의 음료 공급 장치(100)는 냉장고의 일부 또는 에스프레소 머신의 일부로 구성될 수 있다. 도 9의 실시예에서, 음료 공급 장치(100)는 다양한 사람들로부터 사운드 데이터를 센싱하는 실시예를 설명한다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 제 1 사용자로부터 제 1 사운드 데이터(910)를 센싱할 수 있다. 여기에서, 제 1 사운드 데이터(910)는 제 1 사용자로부터 발화된 음성 신호에 대응할 수 있다. 이때, 음료 공급 장치(100)는 제 1 사운드 데이터(910)를 '아메리카노 두 잔'으로 텍스트 변환할 수 있다.
음료 공급 장치(100)는 제 1 사운드 데이터(910)에 포함된 정보를 추출할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 1 사운드 데이터(910)로부터 제 1 사용자는 '20대 여성'이고, 메뉴의 종류는 '아메리카노', 메뉴의 양은 '두 잔'과 같은 정보를 획득할 수 있다.
이때, 음료 공급 장치(100)는 제 1 사운드 데이터(910)로부터 획득되지 않은 정보를 추론할 수 있다. 예를 들어, 제 1 사운드 데이터(910)에 포함된 정보만으로는 메뉴의 온도를 구체적으로 확정할 수 없다. 이에 따라, 음료 공급 장치(100)는 일반적으로 사용자가 '아메리카노'만을 원할 경우, 이는 '뜨거운 아메리카노'를 의미하는 것을 추론할 수 있다.
음료 공급 장치(100)는 제 1 사운드 데이터(910)로부터 획득된 정보와 추론된 정보를 합하여, 피드백을 발생시킬 수 있다. 예를 들어, 음료 공급 장치(100)는 '뜨거운 아메리카노 두 잔 드릴게요'라는 음성 신호를 출력할 수 있다. 이후, 음료 공급 장치(100)는 기 설정된 시간 이내에 피드백을 수신하지 못하거나 긍정적인 피드백을 수신한 경우, 결정된 메뉴를 급수할 수 있다.
또한, 본 발명의 다른 일 실시예에서, 음료 공급 장치(100)는 제 2 사용자로부터 제 2 사운드 데이터(920)를 센싱할 수 있다. 여기에서, 제 2 사운드 데이터(920)는 제 2 사용자로부터 발화된 음성 신호에 대응할 수 있다. 이때, 음료 공급 장치(100)는 제 2 사운드 데이터(920)를 '콜라 한 컵'으로 텍스트 변환할 수 있다.
음료 공급 장치(100)는 제 2 사운드 데이터(920)에 포함된 정보를 추출할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 2 사운드 데이터(920)로부터 제 2 사용자는 '30대 남성'이고, 메뉴의 종류는 '콜라', 메뉴의 양은 '한 컵'과 같은 정보를 획득할 수 있다.
이때, 음료 공급 장치(100)는 제 2 사운드 데이터(920)로부터 획득되지 않은 정보를 추론할 수 있다. 예를 들어, 제 2 사운드 데이터(920)에 포함된 정보만으로는 메뉴의 온도를 구체적으로 확정할 수 없다. 이에 따라, 음료 공급 장치(100)는 일반적으로 사용자가 '콜라'를 원할 경우, 이는 '얼음을 넣은 콜라'를 의미하는 것을 추론할 수 있다.
음료 공급 장치(100)는 제 2 사운드 데이터(920)로부터 획득된 정보와 추론된 정보를 합하여, 피드백을 발생시킬 수 있다. 예를 들어, 음료 공급 장치(100)는 '얼음과 함께 차가운 콜라 한 컵 드릴게요'라는 음성 신호를 출력할 수 있다. 이후, 음료 공급 장치(100)는 기 설정된 시간 이내에 피드백을 수신하지 못하거나 긍정적인 피드백을 수신한 경우, 결정된 메뉴를 급수할 수 있다.
또한, 본 발명의 다른 일 실시예에서, 음료 공급 장치(100)는 제 3 사용자로부터 제 3 사운드 데이터(930)를 센싱할 수 있다. 여기에서, 제 3 사운드 데이터(930)는 제 3 사용자로부터 발화된 음성 신호에 대응할 수 있다. 이때, 음료 공급 장치(100)는 제 3 사운드 데이터(930)를 '뭐 먹지'로 텍스트 변환할 수 있다.
음료 공급 장치(100)는 제 3 사운드 데이터(930)에 포함된 정보를 추출할 수 있다. 상술한 예를 들어 설명하면, 음료 공급 장치(100)는 제 3 사운드 데이터(930)로부터 제 3 사용자는 '20대 여성'이고, 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 확정하지 못한 것을 인지할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 제 3 사운드 데이터(930)로부터 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 확정할 수 없기 때문에 음료 공급 장치(100) 내외에 저장된 데이터에 기초하여 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 확정할 수 있다. 예를 들어, 음료 공급 장치(100)는 제 3 사운드 데이터(930)가 센싱되기 전에 센싱된 제 1 사운드 데이터(910)로부터 제 3 사용자와 비슷한 나이 및 성별은 가진 제 1 사용자를 인지할 수 있다. 즉, 음료 공급 장치(100)는 제 3 사용자와 유사한 나이 및 성별을 가진 제 1 사용자의 정보를 참고하여 제 1 사용자에게 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 추천할 수 있다.
본 발명의 일 실시예에서, 음료 공급 장치(100)는 제 3 사용자에게 '뜨거운 아메리카노 한잔 어떠세요?'라는 음성 신호를 출력할 수 있다. 이후, 음료 공급 장치(100)는 기 설정된 시간 이내에 피드백을 수신하지 못하거나 긍정적인 피드백을 수신한 경우, 결정된 메뉴를 급수할 수 있다.
즉, 제 3 사용자의 실시예의 경우, 음료 공급 장치(100)는 제 3 사운드 데이터(930)만으로 메뉴의 종류, 메뉴의 양 및 메뉴의 온도를 확정할 수 없다. 이때, 음료 공급 장치(100)는 제 3 사운드 데이터(930)에서 획득된 제 3 사용자의 나이 및 성별에 기초하여 내부 메모리 또는 외부 서버를 통하여 제 3 사용자의 나이 및 성별에 대한 통계적 데이터에 기초하여 제 3 사용자에게 메뉴를 추천해줄 수 있다. 이와 달리, 음료 공급 장치(100)는 제 3 사운드 데이터(930)가 센싱되기 전 가장 마지막으로 제 3 사용자와 유사한 나이 및 성별에 대한 데이터를 획득한 경우, 이 정보를 가장 우선적으로 활용할 수 있다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다.
또한, 음료 공급 장치 및 그 제어 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 음료 공급 장치에 있어서 산업상 이용 가능성이 있으며, 반복적으로 적용 가능하다.

Claims (18)

  1. 센싱부;
    마이크;
    인공 지능부; 및
    제어부를 포함하고,
    상기 제어부는
    오브젝트가 감지되면, 상기 마이크를 활성화 하고,
    상기 활성화된 마이크를 통하여 사용자의 제 1 사운드 데이터를 센싱하는 경우, 상기 제 1 사운드 데이터를 인식하고,
    상기 제 1 사운드 데이터에 기초하여 상기 사용자의 정보를 획득하고,
    상기 획득된 사용자의 정보를 저장하고,
    상기 사용자의 정보 및 상기 제 1 사운드 데이터에 기초하여 상기 오브젝트에 대응하는 메뉴를 결정하는, 음료 공급 장치.
  2. 제 1 항에 있어서,
    상기 인공 지능부는
    상기 센싱된 제 1 사운드 데이터를 학습하여 상기 사용자의 정보 및 결정된 메뉴에 대한 정보를 저장하는, 음료 공급 장치.
  3. 제 2 항에 있어서,
    상기 제 1 사운드 데이터에 언어적 표현 및 비언어적 표현이 모두 포함된 경우,
    상기 인공 지능부는
    상기 언어적 표현 및 상기 비언어적 표현을 모두 고려하여 상기 사용자의 정보 및 상기 메뉴에 대한 정보를 저장하는, 음료 공급 장치
  4. 제 1 항에 있어서,
    상기 제어부는
    상기 제 1 사운드 데이터를 텍스트로 변환하고,
    상기 변환된 텍스트에 기초하여 상기 오브젝트에 대응하는 메뉴를 결정하는,음료 공급 장치.
  5. 제 1 항에 있어서,
    상기 음료 공급 장치는 음향 출력부를 더 포함하고,
    상기 제어부는
    상기 오브젝트에 대응하는 메뉴가 결정되는 경우, 상기 메뉴에 대한 정보를 상기 음향 출력부를 통하여 음성 신호로 출력하는, 음료 공급 장치.
  6. 제 1 항에 있어서,
    상기 음료 공급 장치는 디스플레이부를 더 포함하고,
    상기 제어부는
    상기 오브젝트에 대응하는 메뉴가 결정되는 경우, 상기 메뉴에 대한 정보를 상기 디스플레이부를 통하여 비쥬얼(visual) 신호로 출력하는, 음료 공급 장치.
  7. 제 1 항에 있어서,
    상기 제어부는
    상기 활성화된 마이크를 통하여 사용자의 제 2 사운드 데이터를 센싱하는 경우, 상기 제 2 사운드 데이터에 기초하여 상기 오브젝트에 대응하는 메뉴를 변경하는, 음료 공급 장치.
  8. 제 7 항에 있어서,
    상기 인공 지능부는
    상기 제 2 사운드 데이터가 센싱되는 경우, 상기 제 1 사운드 데이터 및 상기 제 2 사운드 데이터를 학습하여 상기 사용자의 정보 및 결정된 메뉴에 대한 정보를 저장하는, 음료 공급 장치.
  9. 제 1 항에 있어서,
    상기 음료 공급 장치는 급수부를 더 포함하고,
    상기 급수부는 상기 제어부의 제어에 따라 상기 오브젝트에게 상기 결정된 메뉴를 급수하는, 음료 공급 장치.
  10. 제 9 항에 있어서,
    상기 제어부는
    상기 사용자의 정보 및 상기 제 1 사운드 데이터에 기초하여 상기 급수되는 메뉴의 종류, 양 및 온도 중 적어도 하나를 결정하는, 음료 공급 장치.
  11. 제 1 항에 있어서,
    상기 음료 공급 장치는 메모리를 더 포함하고,
    상기 제어부 또는 상기 인공지능부 중 하나는
    상기 제 1 사운드 데이터, 상기 사용자의 정보 및 상기 메뉴 중 적어도 하나에 대한 정보를 상기 메모리에 저장하는, 음료 공급 장치.
  12. 제 1 항에 있어서,
    상기 음료 공급 장치는 무게 감지부를 더 포함하고,
    상기 제어부는
    상기 무게 감지부를 통하여 상기 오브젝트의 무게를 측정하고, 상기 측정된 오브젝트의 무게에 기초하여 상기 메뉴의 양을 결정하는, 음료 공급 장치.
  13. 제 1 항에 있어서,
    상기 음료 공급 장치는 카메라를 더 포함하고,
    상기 제어부는
    상기 카메라를 통하여 상기 사용자의 정보를 획득하는, 음료 공급 장치.
  14. 제 1 항에 있어서,
    상기 음료 공급 장치는 외부 서버 또는 외부 디바이스와 통신을 수행하는 무선 통신부를 더 포함하고,
    상기 제어부는
    상기 제 1 사운드 데이터를 센싱하는 경우, 상기 외부 서버 또는 외부 디바이스를 통하여 상기 제 1 사운드 데이터에 대응하는 사용자의 정보를 획득하는, 음료 공급 장치.
  15. 제 14 항에 있어서,
    상기 제어부는
    상기 제 1 사운드 데이터의 난이도를 분석하고,
    상기 분석된 난이도가 제 1 난이도인 경우, 상기 음료 공급 장치에 저장된 정보에 기초하여 상기 메뉴를 결정하고,
    상기 분석된 난이도가 제 2 난이도인 경우, 상기 외부 서버 또는 상기 외부 디바이스를 통하여 상기 메뉴를 결정하는, 음료 공급 장치.
  16. 제 1 항에 있어서,
    상기 제어부는
    시간 정보를 고려하여 상기 오브젝트에 대응하는 메뉴를 결정하는, 음료 공급 장치.
  17. 제 1 항에 있어서,
    상기 사용자의 정보는 나이 정보 및 성별 정보를 포함하는, 음료 공급 장치.
  18. 음료 공급 장치의 제어 방법에 있어서,
    오브젝트를 감지하는 단계;
    마이크를 활성화하는 단계;
    사용자의 제 1 사운드 데이터를 센싱하는 단계;
    상기 제 1 사운드 데이터를 인식하는 단계;
    상기 제 1 사운드 데이터에 기초하여 상기 사용자의 정보를 획득하는 단계;
    상기 획득된 사용자의 정보를 저장하는 단계; 및
    상기 사용자의 정보 및 상기 제 1 사운드 데이터에 기초하여 상기 오브젝트에 대응하는 메뉴를 결정하는 단계를 포함하는, 음료 공급 장치의 제어 방법.
PCT/KR2017/014004 2017-04-25 2017-12-01 음료 공급 장치 및 그 제어 방법 WO2018199421A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/603,333 US11027962B2 (en) 2017-04-25 2017-12-01 Beverage supply apparatus and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0052888 2017-04-25
KR1020170052888A KR102583500B1 (ko) 2017-04-25 2017-04-25 음료 공급 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2018199421A1 true WO2018199421A1 (ko) 2018-11-01

Family

ID=63919782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/014004 WO2018199421A1 (ko) 2017-04-25 2017-12-01 음료 공급 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11027962B2 (ko)
KR (1) KR102583500B1 (ko)
WO (1) WO2018199421A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3822972A1 (en) * 2019-11-12 2021-05-19 LG Electronics Inc. Artificial intelligence apparatus

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102284461B1 (ko) * 2019-07-18 2021-07-30 엘지전자 주식회사 정수기 및 이의 제어방법
KR20210026592A (ko) 2019-08-30 2021-03-10 엘지전자 주식회사 출수장치 및 그 제어방법
KR102376060B1 (ko) * 2019-12-12 2022-03-18 엘지전자 주식회사 정수기 및 그 제어 방법
KR102372538B1 (ko) * 2019-12-16 2022-03-10 엘지전자 주식회사 정수기
KR102389043B1 (ko) * 2019-12-24 2022-04-21 엘지전자 주식회사 정수기 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060293956A1 (en) * 2003-12-09 2006-12-28 Walker Jay S Systems and methods for e-mail marketing via vending machines
JP2007011880A (ja) * 2005-07-01 2007-01-18 Nippon Signal Co Ltd:The 自動販売機の制御システム
KR20070037835A (ko) * 2005-10-04 2007-04-09 에스케이 텔레콤주식회사 생체인식을 이용한 자동판매기 시스템 및 방법
KR20090087026A (ko) * 2006-11-03 2009-08-14 김영애 유무선 통신을 기반으로 하는 자판기의 관리, 이 자판기를 이용한 정보제공 및 정보획득 시스템 그리고 이 시스템을 이용한 자판기의 관리, 정보제공 및 정보획득 방법
KR101123891B1 (ko) * 2009-06-23 2012-03-23 (주)소셜네트워크 네트워크 통신을 이용한 사용자 맞춤형 커피 제공 시스템 및 사용자 맞춤형 커피 제공 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087413A1 (en) * 2000-09-08 2002-07-04 Agent Ai, Inc. Vending machine adapted to vend age-restricted items
US6711465B2 (en) * 2002-01-07 2004-03-23 Robert Tomassi Vending machine having a biometric verification system for authorizing the sales of regulated products
WO2005109286A1 (en) * 2004-05-04 2005-11-17 Walker Digital, Llc Products and processes for providing offers for products dispensed from a dispensing device
US20060206379A1 (en) * 2005-03-14 2006-09-14 Outland Research, Llc Methods and apparatus for improving the matching of relevant advertisements with particular users over the internet
US8572772B2 (en) * 2007-09-05 2013-11-05 James L. Wolf Electronic faucet with voice, temperature, flow and volume control
US8594838B2 (en) * 2009-12-14 2013-11-26 Massachusetts Institute Of Technology Vending machine
US20120156337A1 (en) * 2010-12-16 2012-06-21 Studor Charles F Apparatus and Method for Brewed and Espresso Drink Generation
CA2920953A1 (en) * 2012-09-20 2014-05-22 Costa Limited Beverage machine
KR101967917B1 (ko) * 2012-10-30 2019-08-13 삼성전자주식회사 음성을 인식하는 전자 장치 및 방법
US9814339B2 (en) * 2013-08-01 2017-11-14 Drexel University Device to measure and monitor drinking and eating having a cup holder with a digital camera
US20150336786A1 (en) * 2014-05-20 2015-11-26 General Electric Company Refrigerators for providing dispensing in response to voice commands
US20160255991A1 (en) * 2015-03-05 2016-09-08 Monsieur, Inc. Automatic Mixed Drink Dispenser With Single Serving Ingredient Cartridge
US11116352B2 (en) * 2016-09-13 2021-09-14 Kerry Luxembourg S.à.r.l. Beverage preparation system
KR102094534B1 (ko) * 2018-07-17 2020-03-30 엘지전자 주식회사 인공지능 워터 디스펜싱 장치의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060293956A1 (en) * 2003-12-09 2006-12-28 Walker Jay S Systems and methods for e-mail marketing via vending machines
JP2007011880A (ja) * 2005-07-01 2007-01-18 Nippon Signal Co Ltd:The 自動販売機の制御システム
KR20070037835A (ko) * 2005-10-04 2007-04-09 에스케이 텔레콤주식회사 생체인식을 이용한 자동판매기 시스템 및 방법
KR20090087026A (ko) * 2006-11-03 2009-08-14 김영애 유무선 통신을 기반으로 하는 자판기의 관리, 이 자판기를 이용한 정보제공 및 정보획득 시스템 그리고 이 시스템을 이용한 자판기의 관리, 정보제공 및 정보획득 방법
KR101123891B1 (ko) * 2009-06-23 2012-03-23 (주)소셜네트워크 네트워크 통신을 이용한 사용자 맞춤형 커피 제공 시스템 및 사용자 맞춤형 커피 제공 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3822972A1 (en) * 2019-11-12 2021-05-19 LG Electronics Inc. Artificial intelligence apparatus
US11348585B2 (en) 2019-11-12 2022-05-31 Lg Electronics Inc. Artificial intelligence apparatus
EP4275486A3 (en) * 2019-11-12 2023-12-27 LG Electronics Inc. Artificial intelligence apparatus

Also Published As

Publication number Publication date
KR102583500B1 (ko) 2023-09-27
KR20180119310A (ko) 2018-11-02
US20200039808A1 (en) 2020-02-06
US11027962B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
WO2018199421A1 (ko) 음료 공급 장치 및 그 제어 방법
WO2020050595A1 (ko) 음성 인식 서비스를 제공하는 서버
US10957315B2 (en) Mobile terminal and method for controlling mobile terminal using machine learning
WO2018135743A1 (ko) 발화 완료 감지 방법 및 이를 구현한 전자 장치
WO2019164140A1 (en) System for processing user utterance and controlling method thereof
WO2020050599A1 (ko) 배터리를 포함하는 장치
WO2018199374A1 (ko) 오디오 장치 및 그 제어 방법
WO2020080773A1 (en) System and method for providing content based on knowledge graph
WO2018117428A1 (en) Method and apparatus for filtering video
WO2015111818A1 (en) Emotional-speech synthesizing device, method of operating the same and mobile terminal including the same
WO2019117466A1 (ko) 발화의 의미를 분석하기 위한 전자 장치 및 그의 동작 방법
WO2018043998A1 (ko) 전자 장치 및 그 제어 방법
WO2019013510A1 (en) VOICE PROCESSING METHOD AND ELECTRONIC DEVICE SUPPORTING IT
WO2015034186A1 (ko) 이동 단말기 및 이의 제어 방법
WO2020017706A1 (en) Electronic device and method for controlling the same
WO2014017708A1 (en) Electronic device and method of controlling the same
WO2021015308A1 (ko) 로봇 및 그의 기동어 인식 방법
WO2019146970A1 (ko) 사용자 발화 응답 방법 및 이를 지원하는 전자 장치
WO2016190466A1 (ko) 상황에 따라 최적화된 화면을 디스플레이하는 웨어러블 단말기
WO2020091248A1 (ko) 음성 명령에 응답하여 컨텐츠를 표시하기 위한 방법 및 그 전자 장치
WO2016129781A1 (ko) 이동 단말기 및 그 제어 방법
WO2016039509A1 (ko) 단말기 및 그 동작 방법
WO2018203620A1 (ko) 사용자 발화를 처리하는 전자
WO2019059642A1 (ko) 자연어 표현 제공 방법 및 이를 지원하는 전자 장치
WO2019112181A1 (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17907231

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17907231

Country of ref document: EP

Kind code of ref document: A1