WO2013122269A1 - 단말기의 사용자 인터페이스 제공 방법 - Google Patents

단말기의 사용자 인터페이스 제공 방법 Download PDF

Info

Publication number
WO2013122269A1
WO2013122269A1 PCT/KR2012/001050 KR2012001050W WO2013122269A1 WO 2013122269 A1 WO2013122269 A1 WO 2013122269A1 KR 2012001050 W KR2012001050 W KR 2012001050W WO 2013122269 A1 WO2013122269 A1 WO 2013122269A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user
mobile terminal
response
search
Prior art date
Application number
PCT/KR2012/001050
Other languages
English (en)
French (fr)
Inventor
장석복
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/376,384 priority Critical patent/US9557903B2/en
Priority to PCT/KR2012/001050 priority patent/WO2013122269A1/ko
Publication of WO2013122269A1 publication Critical patent/WO2013122269A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location

Definitions

  • the present invention relates to a method for providing a user interface of a terminal, and more particularly, to a method for providing an interface through which a terminal can input a user response to an information search request.
  • Terminals may be divided into mobile or portable terminals and stationary terminals according to their mobility.
  • the mobile terminal may be further classified into a handheld terminal and a vehicle mount terminal according to whether a user can directly carry it.
  • the terminal is implemented in the form of a multimedia player having complex functions such as taking a picture or a video, playing a music or a video file, playing a game, and receiving a broadcast.
  • the terminal may be considered to improve the structural part and the software part of the terminal.
  • the terminal may receive an information search request from a user by voice and provide a corresponding search result through a dedicated search service.
  • a dedicated search service since information providers that provide information to a dedicated search service are limited, there may be cases where there are no search results or no search results.
  • the terminal provides an interface for receiving a search result on the web through exception processing, but the search result by the web is not accurate and not useful, thus greatly reducing its utilization.
  • One embodiment disclosed herein overcomes local limitations that an information retrieval service can cover by providing a user-participated information retrieval service that utilizes a user response to an information retrieval request as information, and searches for an unsupported domain.
  • the present invention relates to a method for providing a user interface of a terminal for extending a function.
  • a method of providing a user interface of a terminal includes: transmitting an information retrieval request based on a voice input of a user to a server; Receiving a response to the information retrieval request from the server; And when the response indicates that there is no search result, displaying an item for inputting a user response to the information search request by voice.
  • the item may be an item for receiving a web search result for the information search request from the server and receiving a user response for the information search request from the user by voice.
  • the method of providing a user interface of the terminal may further include displaying an item for receiving a web search result for the information search request from the server.
  • the method of providing a user interface of the terminal may further include receiving, by a voice, a user response to the information search request from a user.
  • the step of receiving the user's response by voice may include providing an interactive interface when the item is selected; And receiving, by voice, a second response to the information search request from the user through the interactive interface.
  • the method of providing a user interface of the terminal may further include transmitting a user response input from the user to the server.
  • the method of providing a user interface of the terminal may include obtaining at least one of location information and time information of the terminal; And transmitting at least one of location information and time information of the terminal to the server.
  • the method of providing a user interface of the terminal may include obtaining profile information of a user; And transmitting the profile information of the user to the server.
  • the user response to the information retrieval request may include information associated with the information requested by the information retrieval request or the information itself requested by the information retrieval request.
  • the method of providing a user interface of the terminal may include: transmitting the information retrieval request to an external terminal when the item is selected; And receiving a user response to the information search request from the external terminal.
  • a method of providing a user interface of a terminal includes displaying at least one information search request indicating that a response from the server to the information search request indicates that there is no search result; Receiving a voice input of a user response to the at least one information search request from a user; And transmitting the input user response to the server.
  • the information search request is characterized in that the voice is input from the user.
  • the method of providing a user interface of the terminal transmits the input information search request to the server, and transmits the information search request to the server. Receiving a response; And when the response to the input information search request indicates that there is no search result, storing the information search request input by voice from the user.
  • the information retrieval request is received from an external terminal.
  • the information retrieval request may be received from the external terminal using a push notification service.
  • the terminal provides an information retrieval service using a user response to an information retrieval request through a voice interface, thereby overcoming the limitation of a designated information provider and improving satisfaction with the provided information. You can.
  • FIG. 1 is a block diagram illustrating a mobile terminal 100 according to the present invention.
  • FIGS. 2A and 2B are perspective views showing the appearance of a mobile terminal 100 according to the present invention.
  • FIG. 3 is a block diagram showing an information retrieval system according to the prior art.
  • FIG. 4 is a flowchart illustrating a process in which a mobile terminal 100 provides a search result for an information search request input by a user according to the related art.
  • 5A through 5C are conceptual views illustrating a process in which the mobile terminal 100 provides a search result for an information search request input by a user according to the prior art.
  • FIG. 6 is a block diagram illustrating an information retrieval system according to embodiments of the present invention.
  • FIG. 7 is a flowchart illustrating a process in which the mobile terminal 100 provides a search result for an information search request input by a user according to an embodiment of the present invention.
  • 8A to 8D are conceptual views illustrating a process of providing a search result for an information search request input by a user in the mobile terminal 100 according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a process in which the mobile terminal 100 provides a search result for a query input by a user according to an embodiment of the present invention.
  • 10A and 10B are conceptual views illustrating a process in which the mobile terminal 100 provides a search result for a query input by a user according to an embodiment of the present invention.
  • FIG. 11 is a conceptual diagram illustrating a process of providing a search result for an information search request received from the mobile terminal 100 by the service provider 200 according to an exemplary embodiment.
  • FIG. 12 illustrates an example embodiment of processing the reception of a voice query in accordance with the voice recognizer 231.
  • FIGS. 13A and 13B are conceptual views illustrating a process of providing a voice interface for inputting a user response to an information retrieval request by the mobile terminal 100 according to another exemplary embodiment disclosed herein.
  • 14A and 14B are conceptual views illustrating a process of providing a voice interface for inputting a user response to an information retrieval request by the mobile terminal 100 according to another exemplary embodiment disclosed herein.
  • the mobile terminal described herein may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigator, and the like. have.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • navigator and the like.
  • fixed terminals such as digital TV, desktop computer, except that only applicable to the mobile terminal It will be easy to see.
  • the mobile terminal 100 includes a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a detection unit 140, an output unit 150, and a memory. 160, an interface unit 170, a controller 180, and a power supply unit 190 may be included.
  • the components shown in FIG. 1 are not essential, so that a mobile terminal having more or fewer components may be implemented.
  • the components 110 to 190 of the mobile terminal 100 will be described in order.
  • the wireless communication unit 110 may include one or more modules that enable wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and a network in which the mobile terminal 100 is located.
  • the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless internet module 113, a short range communication module 114, and a location information module 115.
  • the broadcast receiving module 111 receives a broadcast signal and broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast related information means information related to a broadcast channel, a broadcast program or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network.
  • the broadcast related information may be received by the mobile communication module 112.
  • the broadcast signal and the broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.
  • the mobile communication module 112 transmits and receives a radio signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of voice call signals, video call signals, text messages or multimedia messages.
  • the wireless internet module 113 is a module for wireless internet access and may be embedded or external to the mobile terminal 100.
  • Wireless Internet technologies may include Wireless LAN (Wi-Fi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), and the like.
  • the short range communication module 114 refers to a module for short range communication.
  • Bluetooth Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, etc. may be used.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • the location information module 115 is a module for acquiring a location of the mobile terminal 100, and a representative example thereof is a GPS (Global Position System) module.
  • GPS Global Position System
  • the A / V input unit 120 is for inputting an audio signal and a video signal, and may include a camera 121, a microphone 122, and the like.
  • the camera 121 processes image frames such as still images and moving images obtained by the image sensor in a video call mode or a photographing mode.
  • the image frame processed by the camera 121 may be displayed on the display unit 151.
  • the image frame may be stored in the memory 160 or transmitted to the outside through the wireless communication unit 110.
  • Two or more cameras 121 may be provided according to a use environment.
  • the microphone 122 processes the sound signal input from the outside as electrical voice data in a call mode, a recording mode, a voice selection mode, and the like.
  • the voice data processed by the microphone 122 in the call mode may be converted into a form transmittable to the mobile communication base station through the mobile communication module 112 and output.
  • the microphone 122 may be implemented with various noise removing algorithms for removing noise generated while an external sound signal is input.
  • the user input unit 130 generates input data for the user to control the operation of the mobile terminal 100.
  • the user input unit 130 may be composed of a key pad, a dome switch, a touch pad (static and electrostatic), a jog wheel, a jog switch, and the like.
  • the sensing unit 140 detects the current state of the mobile terminal 100 such as whether there is a user contact, the opening / closing state of the mobile terminal 100, the position, the orientation, the acceleration, the deceleration, and the like to control the operation of the mobile terminal 100. Generate a sense signal. For example, when the mobile terminal 100 is in the form of a slide phone, the detector 140 may detect whether the slide phone is opened or closed. In addition, the sensing unit 140 may detect whether the power supply unit 190 supplies power or whether the interface unit 170 is coupled to an external device.
  • the sensing unit 140 may include a proximity sensor 141.
  • the sensing unit 140 may include a touch sensor (not shown) that detects a touch operation on the display unit 151.
  • the touch sensor may have the form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a pressure applied to a specific portion of the display unit 151 or a change in capacitance generated at a specific portion of the display unit 151 into an electrical input signal.
  • the touch sensor may be configured to detect a touch pressure as well as a touched position and area.
  • the display unit 151 may be used as an input device in addition to the output device.
  • the display unit 151 may be referred to as a “touch screen”.
  • a touch controller (not shown).
  • the touch controller processes signals transmitted from the touch sensor and then transmits data corresponding to the processed signals to the controller 180. As a result, the controller 180 can determine which area of the display unit 151 is touched.
  • the touch screen When the touch screen is capacitive, the touch screen may be configured to detect the proximity of the sensing object by the change of the electric field according to the proximity of the sensing object.
  • the touch screen may be classified as the proximity sensor 141.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of a sensing target without mechanical contact by using electromagnetic force or infrared rays.
  • the proximity sensor 141 has a longer life and higher utilization than a contact sensor. Examples of the proximity sensor 141 include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • proximity touch the act of approaching the sensing object without being touched on the touch screen
  • contact touch the act of touching the sensing object on the touch screen
  • the proximity sensor 141 detects the presence or absence of a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). Information corresponding to the presence or absence of the proximity touch and the proximity touch pattern may be output on the touch screen.
  • a proximity touch pattern for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state.
  • Information corresponding to the presence or absence of the proximity touch and the proximity touch pattern may be output on the touch screen.
  • the output unit 150 generates an output related to visual, auditory, tactile, and the like.
  • the output unit 150 may include a display unit 151, an audio output module 152, an alarm unit 153, and a haptic module 154.
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100. For example, when the mobile terminal 100 operates in a call mode, the display unit 151 displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the mobile terminal 100 operates in a video call mode or a photographing mode, the display unit 151 displays a photographed image, a received image, a UI, or a GUI.
  • UI user interface
  • GUI graphic user interface
  • the display unit 151 includes a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT-LCD), an organic light emitting diode (OLED), and a flexible display (flexible).
  • the display may include at least one of a 3D display and an e-ink display.
  • At least one display (or display element) included in the display unit 151 may be configured to be transparent or light transmissive so that the outside can be seen therethrough. This may be referred to as a transparent display.
  • a representative example of such a transparent display is TOLED (Transparant OLED).
  • the rear structure of the display unit 151 may also be configured as a light transmissive structure. With this structure, the user can see the object located behind the terminal body through the area occupied by the display unit 151 in the terminal body.
  • a plurality of display units may be spaced apart or integrally located on one surface of the mobile terminal 100, or may be located on different surfaces.
  • the sound output module 152 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, a call mode or a recording mode, a voice selection mode, a broadcast reception mode, and the like.
  • the sound output module 152 may also output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed in the mobile terminal 100.
  • the sound output module 152 may include a receiver, a speaker, a buzzer, and the like.
  • the alarm unit 153 outputs a signal for notifying occurrence of an event of the mobile terminal 100. Examples of events generated in the mobile terminal 100 include call signal reception, message reception, key signal input, and touch input.
  • the alarm unit 153 may output a signal for notifying occurrence of an event by vibration, in addition to a video signal or an audio signal. Since the video signal or the audio signal may also be output through the display unit 151 or the audio output module 152, the display unit 151 and the audio output module 152 may be classified as part of the alarm unit 153.
  • the haptic module 154 generates various haptic effects that a user can feel. Vibration is a representative example of the haptic effect generated by the haptic module 154.
  • the intensity, pattern, and the like of the vibration generated by the haptic module 154 can be controlled. For example, different vibrations may be synthesized and output or may be sequentially output.
  • the haptic module 154 may be configured to provide a pin array that vertically moves with respect to the contact skin surface, a jetting force or suction force of air through the jetting or suction port, grazing to the skin surface, contact of the electrode, electrostatic force, and the like.
  • Various tactile effects can be generated, such as effects due to endothermic or reproducing a sense of cold using a heat generating element.
  • the haptic module 154 may not only deliver a haptic effect through direct contact, but may also be configured to allow the user to feel the haptic effect through a muscle sense such as a finger or an arm. Two or more haptic modules 154 may be provided according to configuration aspects of the mobile terminal 100.
  • the memory 160 may store a program for the operation of the controller 180 and may temporarily store input and output data (for example, a phone book, a message, a still image, a video, etc.).
  • the memory 160 may store data regarding vibration and sound of various patterns output when a touch is input on the touch screen.
  • the memory 160 may be a flash memory, a hard disk, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), random access memory.
  • RAM static random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • PROM programmable read-only memory
  • magnetic memory magnetic disk
  • optical disk It may include at least one storage medium.
  • the mobile terminal 100 may operate in association with a web storage that performs a storage function of the memory 160 on the Internet.
  • the interface unit 170 serves as a path with all external devices connected to the mobile terminal 100.
  • the interface unit 170 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits data inside the mobile terminal 100 to an external device.
  • the interface unit 170 may include a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device equipped with an identification module, audio I / O ( Input / Output) ports, video I / O (Input / Output) ports, earphone ports, and the like may be included.
  • the identification module is a chip that stores various types of information for authenticating the use authority of the mobile terminal 100.
  • the identification module may include a user identification module (UIM), a subscriber identify module (SIM), and a universal user authentication module ( Universal Subscriber Identity Module (USIM) and the like.
  • a device equipped with an identification module (hereinafter referred to as an "identification device") may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through a port.
  • the interface unit 170 When the mobile terminal 100 is connected to an external cradle, the interface unit 170 becomes a passage through which power from the cradle is supplied to the mobile terminal 100, or various command signals input from the cradle by a user are input to the mobile terminal. It may be a passage that is delivered to (100). Various command signals or power input from the cradle may operate as signals for recognizing that the mobile terminal 100 is correctly mounted on the cradle.
  • the controller 180 controls the overall operation of the mobile terminal 100. For example, control and processing related to voice call, data communication, video call and the like are performed.
  • the controller 180 may include a multimedia module 181 for playing multimedia.
  • the multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 180.
  • the controller 180 may perform a pattern selection process of selecting writing input and drawing input on the touch screen as text and images, respectively.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using software, hardware or a combination thereof.
  • the embodiments described herein include Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), Field Programmable Gate Arrays (FPGAs). It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. In some cases, the embodiments described herein may be implemented by the controller 180 itself.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • Software code can be implemented in software applications written in the appropriate programming languages. Such software code may be stored in the memory 160 and executed by the controller 180.
  • the user input unit 130 is manipulated to receive a command for controlling the operation of the mobile terminal 100 and may include a plurality of manipulation units.
  • the manipulation units may also be collectively referred to as manipulating portions, and may be employed in any manner as long as the manipulation units are manipulated using the user's tactile sense.
  • the display unit 151 may display various types of visual information. Such visual information may be displayed in the form of letters, numbers, symbols, graphics, icons, and the like, and may be formed of a 3D stereoscopic image. For inputting visual information, at least one of letters, numbers, symbols, graphics, and icons may be displayed in a predetermined arrangement to be implemented in the form of a keypad. These keypads can be called "soft keys.”
  • the display unit 151 may operate in an entire area or may be operated in a divided manner. In the latter case, the plurality of regions may be configured to operate in association with each other. For example, an output window and an input window may be displayed on the upper and lower portions of the display unit 151, respectively. The output window and the input window are areas allocated for output or input of information, respectively.
  • a softkey displaying a number for inputting a telephone number may be output. When the softkey is touched, the number corresponding to the touched softkey is displayed in the output window.
  • a call connection to the telephone number displayed in the output window may be attempted or the text displayed in the output window may be input to the application.
  • the display unit 151 or the touch pad may be configured to detect a touch scroll.
  • the user may move an object displayed on the display unit 151, for example, a cursor or a pointer located on an icon, by scrolling the display unit 151 or the touch pad.
  • a path along which the finger moves may be visually displayed on the display unit 151. This may be useful for editing an image displayed on the display unit 151.
  • one function of the mobile terminal 100 may be executed.
  • the user may clamp the main body of the mobile terminal 100 using the thumb and the index finger.
  • one function of the mobile terminal 100 to be executed may be, for example, activation or deactivation of the display unit 151 or the touch pad.
  • FIG. 2A and 2B are perspective views showing the appearance of a mobile terminal 100 according to the present invention.
  • FIG. 2A the front and one side of the mobile terminal 100 are shown, and in FIG. 2B, the rear and the other side of the mobile terminal 100 are shown.
  • the mobile terminal 100 includes a terminal body having a bar shape.
  • the mobile terminal 100 is not limited thereto, and may be implemented in various forms, such as a slide type, a folder type, a swing type, a swivel type, to which two or more bodies are coupled to be relatively movable.
  • the terminal body includes a case (casing, housing, cover, etc.) forming an external appearance.
  • the case may be divided into a front case 101 and a rear case 102.
  • Various electronic components are built in the space formed between the front case 101 and the rear case 102.
  • At least one intermediate case may be additionally located between the front case 101 and the rear case 102.
  • the cases may be formed by injecting synthetic resin or may be formed of a metal material, for example, a metal material such as stainless steel (STS), titanium (Ti), or the like.
  • a metal material such as stainless steel (STS), titanium (Ti), or the like.
  • the display unit 151, the audio output unit 152, the camera 121, the user input unit 130 (see FIG. 1), the microphone 122, the interface 170, and the like are located in the terminal body, mainly the front case 101. can do.
  • the display unit 151 occupies a main portion of the front case 101.
  • the sound output unit 152 and the camera 121 are positioned in an area adjacent to one end of the display unit 151, and the first user input unit 131 and the microphone 122 are located in an area adjacent to the other end.
  • the second user input unit 132 and the interface 170 may be located at sides of the front case 101 and the rear case 102.
  • the user input unit 130 is manipulated to receive a command for controlling the operation of the mobile terminal 100.
  • the user input unit 130 may include a plurality of manipulation units 131 and 132.
  • the first or second operating units 131, 132 can receive various commands.
  • the first operation unit 131 may receive a command such as start, end, scroll, and the like.
  • the second operation unit 132 may receive a command such as adjusting the volume of the sound output from the sound output unit 152, switching to the touch selection mode of the display unit 151, and the like.
  • a rear camera 121 ′ may be additionally mounted on the rear surface of the terminal body, that is, the rear case 102.
  • the rear camera 121 ′ has a photographing direction opposite to the front camera 121 (see FIG. 2A), and may be configured to have different pixels from the front camera 121.
  • the front camera 121 may be configured to have a low pixel
  • the rear camera 121 ' may be configured to have a high pixel. Accordingly, when the front camera 121 is used during a video call, the size of the transmission data may be reduced when the user's face is photographed and transmitted to the counterpart in real time.
  • the rear camera 121 ' may be used for the purpose of storing a high quality image.
  • the cameras 121 and 121 ' may be installed in the terminal body to rotate or pop up.
  • the flash 123 and the mirror 124 may be further positioned adjacent to the rear camera 121 '.
  • the flash 123 emits light toward the subject when the user photographs the subject with the rear camera 121 '.
  • the mirror 124 illuminates the user's face when the user photographs himself (self-photographed) using the rear camera 121 '.
  • the rear sound output unit 152 ' may be additionally located at the rear of the terminal body.
  • the rear sound output unit 152 ′ may perform a stereo function together with the front sound output unit 152 (see FIG. 2A), and may perform a speakerphone function during a call.
  • the antenna 116 for receiving a broadcast signal may be additionally positioned beside the antenna for the call on the side of the terminal body.
  • the antenna 116 constituting a part of the broadcast receiving module 111 (refer to FIG. 1) may be installed to be pulled out of the terminal body.
  • the main body of the terminal is equipped with a power supply unit 190 for supplying power to the mobile terminal (100).
  • the power supply unit 190 may be built in the terminal body or may be directly detachable from the outside of the terminal body.
  • the rear case 102 may be additionally equipped with a touch pad 135 for sensing a touch.
  • the touch pad 135 may be configured to have a light transmission type.
  • a rear display unit for outputting visual information may be additionally mounted on the touch pad 135. In this case, information output from both the front display unit 151 and the rear display unit may be controlled by the touch pad 135.
  • the touch pad 135 operates in association with the display unit 151.
  • the touch pad 135 may be located parallel to the rear of the display unit 151.
  • the touch pad 135 may have the same or smaller size as the display unit 151.
  • the mobile terminal 100 may have a function of providing a search result corresponding to a query received from a user.
  • the controller 180 may execute the text query in a built-in search engine and output the search result through the output unit 150.
  • the wireless communication unit 110 may transmit a text query to a server through a network to be executed in an external search engine, receive a search result from the server, and output the search result through the output unit 150.
  • the controller 180 converts the voice query into a text query and executes the search query in the aforementioned search engine to provide the search result to the user. It may be.
  • each search result can be sorted by domain. That is, search results can be associated with each domain, which can be defined in advance as an index indicating a general category to which any search result can be associated. However, even if the domain is not covered within a predefined range, the domain may be newly created according to the attribute of the search result.
  • the domain can be obtained by identifying semantic information related to the subject included in the search results. For example, various types of content may include metadata that identifies the meaning inherent in such content, namely contact information such as an email address, mail address, or telephone number, alias used in a message service, and the like.
  • the mobile terminal 100 may involve reading this semantic information from the metadata and matching it to a predefined query domain.
  • the search engine may provide an optimal search result by reflecting the user's context and usage history in the query. For example, “What's the weather today?" Does not explicitly indicate which region the weather is asked for, but the location information of the mobile terminal 100 may be used as a search result using the location information of the mobile terminal 100.
  • the query "Run my favorite game” does not explicitly indicate which game to run, but the mobile terminal 100 analyzes the execution time and / or the number of executions of the game and executes the game most frequently or for a long time. You can provide a search result to confirm that you want to run.
  • the information retrieval system according to the prior art includes a mobile terminal 100, a service provider (service server) 200, an information provider (information server) 300 and a network 400.
  • an information retrieval request means a voice or text in a raw data format that requests retrieval of information, such as "tell me the best restaurants nearby," and the query corresponding to the information retrieval request is from the information retrieval request.
  • executing a query means asking the database for search results for the query.
  • the mobile terminal 100 provides a user interface for searching for information. That is, when the mobile terminal 100 receives an information search request through a voice input from the user, the mobile terminal 100 executes a query corresponding to the information search request and provides the search result to the user.
  • the query may be executed in an internal search engine or may be executed in the service provider 200.
  • the information retrieval request is transmitted from the mobile terminal 100 to the service provider 200 via the network 400, and the search result for the query corresponding to the information retrieval request is also network 400. It is delivered from the service provider 200 to the mobile terminal 100 through.
  • the service provider 200 When the service provider 200 receives the information retrieval request from the mobile terminal 100 through the network 400, the service provider 200 executes a query corresponding to the information retrieval request, and retrieves the search result from the information provider 300 through the network 400. Receive and transmit to the mobile terminal 100. If there is no search result, the service provider 200 transmits a message indicating that there is no search result to the mobile terminal 100 through the network 400.
  • the information provider 300 provides a dedicated database for this information retrieval service.
  • the dedicated database refers to a database created and managed by the information provider 300.
  • the dedicated database can be distinguished from the web database for the web search service. For example, if there is no search result for the dedicated database of the query received from the mobile terminal 100 through the network 400, the service provider 200 sends a message indicating that there is no search result to the mobile terminal through the network 400 ( 100), the mobile terminal 100 may output a search result and at the same time separately display an item for a web search.
  • a web server may provide a search result for a web database (not shown) of a query corresponding to an information search request received from the mobile terminal 100.
  • FIG. 4 is a flowchart illustrating a process in which a mobile terminal 100 provides a search result for an information search request input by a user according to the related art.
  • the process can proceed immediately, almost immediately, gradually or at other appropriate rates.
  • the progress of the process may be controlled automatically by a device such as the mobile terminal 100 or may be controlled by the user once the process is activated regardless of the user.
  • the flow of processes described below includes a number of operations that appear to occur in a particular order, but these processes can be executed in series or in parallel (eg, using a parallel processor or a multi-threading environment). It should be appreciated that this may include more or less actions.
  • the mobile terminal 100 monitors whether a voice search item is selected (S102).
  • the voice search item is an item (menu or icon) that can be selected by the user and can be displayed according to the user's input. That is, in a general state, the mobile terminal 100 does not display the voice search item (for example, it is hidden on the screen), but may display the voice search item when the user issues a command to display the voice search item. .
  • the voice search item may be implemented as a hardware button or fixedly displayed on the screen of the mobile terminal 100 so that the voice search item may be selected by the user in any situation.
  • the mobile terminal 100 When the voice search item is selected in step 102, the mobile terminal 100 enters a listening mode (S104). That is, the microphone 121 is activated, and the function of receiving a voice input is activated. In the listening mode, the mobile terminal 100 receives all sounds from the outside including the user as analog signals. The input analog signal is converted into a digital signal after noise is removed through preprocessing. The digital signal may be temporarily stored in the memory 160.
  • the mobile terminal 100 outputs an indicator visually or acoustically to inform the user that the user is in a listening mode (S106). This is to induce a user to give a command by voice since the mobile terminal 100 is in a listening mode. Accordingly, the mobile terminal 100 may display a phrase such as "listening" on the screen or output a predetermined notification sound.
  • the mobile terminal 100 may receive an information search request through a voice input from a user (S108), and transmit the information search request received from the user to the service provider 200 to be executed by an external search engine (S110). .
  • the service provider 200 returns a search result corresponding to the text query (S112). If there is no search result, the search engine outputs a message indicating that there is no search result.
  • the mobile terminal 100 determines whether a search result exists (S114), and if the search result exists, displays the search result corresponding to the information search request (S116). However, if the search result does not exist, the mobile terminal 100 indicates that there is no search result, and displays an item for receiving a response to the information search request from the web server (S118).
  • the mobile terminal 100 monitors whether an item for receiving a response to the information retrieval request from the web server is selected (S120), and if the corresponding item is selected, transmits an information retrieval request to the web server.
  • the mobile terminal 100 receives a response to the information search request from the web server, and displays the search result included in the received response (S122).
  • the search results are provided in the form of a web page, and even if there are no search results, there is no need to indicate that there are no search results separately because no search results are displayed on the web page.
  • 5A through 5C are conceptual views illustrating a process in which the mobile terminal 100 provides a search result for an information search request input by a user according to the prior art.
  • 5A is a conceptual diagram illustrating a screen displayed on the mobile terminal 100 when a search result exists.
  • the mobile terminal 100 may display the voice search item 502 on the screen 500 fixedly or according to a user's selection.
  • the mobile terminal 100 enters a listening mode and displays a message 504 on the screen indicating that the mobile terminal 100 is in the listening mode.
  • the mobile terminal 100 may receive an information search request from a user by voice.
  • the mobile terminal 100 may display the text information search request 506 corresponding to the voice information search request.
  • the mobile terminal 100 may convert the information search request in the form of a voice into the information search request 506 in the form of a text and display it on the screen 500 through a voice converter provided therein.
  • the mobile terminal 100 transmits a voice information search request to the service provider 200, and the service provider 200 converts the voice information search request into a text information search request 506 and moves it. It may be provided to the terminal 100.
  • the mobile terminal 100 transmits an information retrieval request to the service provider 200, and the service provider 200 extracts a query from the information retrieval request and executes the extracted query in a search engine to retrieve a search result from the information provider 300. Can be obtained.
  • the search engine may return a search result corresponding to the query if the search result exists.
  • the service provider 200 may transmit a search result to the mobile terminal 100.
  • the mobile terminal 100 may display the search result 510 on the screen 500 from the service provider 200.
  • the search result 510 displayed on the screen 500 may be an optimal search result selected from among a plurality of search results through various criteria such as a user's context or usage history.
  • the mobile terminal 100 may further display such selection criteria 508 on the screen 500.
  • 5B is a conceptual diagram illustrating a screen displayed on the mobile terminal 100 when there is no search result.
  • the mobile terminal 100 transmits an information retrieval request to the service provider 200, and the service provider 200 sends a message indicating that there is no search result corresponding to the information retrieval request when the search result does not exist. 100).
  • the mobile terminal 100 displays a message 512 indicating that there is no search result corresponding to the information retrieval request on the screen 500, and simultaneously displays an item 514 for transmitting the information retrieval request to the web server. 500).
  • the item 514 for transmitting the information retrieval request to the web server is a user selectable item. When the item 514 for transmitting the information retrieval request to the web server is selected, the mobile terminal 100 requests the information retrieval request. To the web server.
  • 5C is a conceptual diagram illustrating a screen displayed on the mobile terminal 100 when a text query is executed in a web server.
  • the web server transmits a search result page corresponding to the information search request to the mobile terminal 100.
  • the mobile terminal 100 displays the page 516 received from the web server on the screen 500. If there is no search result, the web server sends a page indicating that there is no search result corresponding to the text query to the mobile terminal 100, and the mobile terminal 100 displays a page indicating no search result on the screen 500. Done.
  • the service provider 200 may obtain a search result from the information provided by the information provider 300, the search result may be dependent solely on the information provided by the information provider 300 (search If there are no results, the web search results may be provided separately, but this is often not useful compared to the search results provided by the service provider 200). This causes the following problems.
  • the local scope provided by the information provider 300 cannot be overcome.
  • the query is a location information based query such as area information, map information, or traffic information
  • information about an area that the information provider 300 does not cover cannot be provided. This may extend to language issues, where information in a language not provided by the information provider 300 may not be provided.
  • the mobile terminal 100 needs to transmit personal information such as voice input, address book, and location information of the user to the service provider 200. If the service provider 200 stores the there is a fear of privacy infringement.
  • the information retrieval service cannot be used. Provide more information based on the network, and also reflect the new information in the search results in real time, but the inconvenience of not being able to use the information retrieval service when the network connection or error occurs in the service provider 200 Will result.
  • the present invention is to provide a user participatory information retrieval service to solve such a problem.
  • a method of providing a user participatory information retrieval service and a terminal and a server employing the same will be described.
  • the information retrieval system includes a user-generated database 310 in addition to the mobile terminal 100, the service provider 200, the information provider 300, and the network 400.
  • the user generation database 310 refers to a space for storing information directly input by a user when the service provider 200 cannot obtain a search result for a query from the information provider 300. Accordingly, the user generation database 310 stores the information retrieval request of the user in association with the response of the user (or the user himself or a third party).
  • the user may input a response to the information search request by voice through the mobile terminal 100, and the mobile terminal 100 transmits the input response to the service provider 200.
  • the service provider 200 associates the information search request with the input response and stores the information in the user generation database 310.
  • context information such as profile information of the user who inputs a response to the information search request, location information or time information of the mobile terminal 100 may be stored together.
  • the service provider 200 receives an information search request from the mobile terminal 100 and obtains a search result for the query corresponding to the information search request from the information provider 300.
  • the service provider 200 obtains a search result for the query from the user-generated database 310 when the search result for the query cannot be obtained from the information provider 300.
  • the service provider 200 searches for a query from the user generation database 310 based on context information such as profile information of the user who inputs the information search request or location information or time information of the mobile terminal 100. Can be obtained.
  • the user generation database 310 may provide a search result for the query based on information stored by the woman in her 20s.
  • the user creation database 310 may provide a search result for a query associated with Gangnam Station.
  • FIG. 7 is a flowchart illustrating a process in which the mobile terminal 100 provides a search result for an information search request input by a user according to an embodiment of the present invention.
  • the process can proceed immediately, almost immediately, gradually or at other appropriate rates.
  • the progress of the process may be controlled automatically by a device such as the mobile terminal 100 or may be controlled by the user once the process is activated regardless of the user.
  • the flow of processes described below includes a number of operations that appear to occur in a particular order, but these processes can be executed in series or in parallel (eg, using a parallel processor or a multi-threading environment). It should be appreciated that this may include more or less actions.
  • the mobile terminal 100 receives a response to the information search request from the service provider 200 (S112).
  • the mobile terminal 100 determines whether the search result is included in the response to the information search request or whether a message indicating that there is no search result is included (S114). If the search result is included in the response to the information search request, the mobile terminal 100 displays the search result (S116).
  • the mobile terminal 100 displays an item for the user to add information together with an item for the web search request (S118). And.
  • the mobile terminal 100 monitors whether an item for a web search request is selected (S120), and when an item for the web search request is selected, sends a query to the web server, receives and displays a search result page from the web server ( S122).
  • the mobile terminal 100 monitors whether an item for adding information is selected by the user (S124), and when the user selects an item for adding information, the mobile terminal 100 enters a listening mode (S126). , Visually or audibly to indicate that the listening mode (S128).
  • the mobile terminal 100 receives a voice response to the information search request from the user (S130), and transmits the input response to the service provider 200 (S132). At this time, the mobile terminal 100 transmits information on the information retrieval request, for example, the query itself or the identification information on the query, to the service provider 200 so that the input response can be associated with the information retrieval request. .
  • the mobile terminal 100 may provide context information of the mobile terminal 100, such as at least one of location information and time information of the mobile terminal 100, and profile information of the user, such as a gender and an age of the user, to the service provider 200. ) Together.
  • the service provider 200 analyzes (parses) the waveform of the user's voice response received from the mobile terminal 100 to detect and semantically interpret words.
  • the service provider 200 stores the analysis result along with the query in the user creation database 310.
  • the service provider 200 also stores the profile of the user who responded or the context information of the mobile terminal 100 in the user generation database 310.
  • 8A to 8D are conceptual views illustrating a process of providing a search result for an information search request input by a user in the mobile terminal 100 according to an embodiment of the present invention.
  • 8A is a conceptual diagram illustrating a screen displayed on the mobile terminal 100 when there is no search result.
  • the mobile terminal 100 may display the voice search item 602 on the screen 600 fixedly or according to a user's selection.
  • the voice search item 602 is selected, the mobile terminal 100 enters a listening mode and displays a message 604 on the screen indicating that the mobile terminal 100 is in the listening mode. Since the mobile terminal 100 is in a listening mode, the mobile terminal 100 may receive an information search request from a user by voice.
  • the mobile terminal 100 may transmit a voice information search request to the service provider 200 and receive a text corresponding to the voice information search request from the service provider 200 together with a response to the information search request. can do.
  • the mobile terminal 100 displays the text query 606 received from the service provider 200 on the screen 600, and also displays on the screen 600 a response to the information search request received from the service provider 200. can do. For example, if the response includes a search result, the mobile terminal 100 displays the search result on the screen 600, and if the response does not include the search result, the mobile terminal 100 does not have a search result on the screen 600.
  • Indication message 608 may be displayed.
  • the mobile terminal 100 receives an item 610 for receiving a response to the information retrieval request from the web server and a user-generated database 310 for the response to the information retrieval request.
  • the item 612 for searching from may be further displayed on the screen 600.
  • the item 610 for receiving a response to the information retrieval request from the web server and the item 612 for retrieving a response to the information retrieval request from the user-generated database 310 are both selectable items, as shown. Although it may be implemented separately, an item executes both a function for receiving a response from an information retrieval request from a web server and a function for retrieving a response from an information retrieval request from the user-generated database 310. May be displayed on the screen 600 as an example.
  • the mobile terminal 100 When an item 610 for receiving a response to the information retrieval request from the web server is selected by the user, the mobile terminal 100 displays the search result page 516 on the screen 600 as shown in FIG. 5C. Is displayed. If an item 612 is selected by the user to retrieve a response to the information retrieval request from the user-generated database 310, the mobile terminal 100 enters the listening mode again, and the mobile terminal 100 again. A message 614 indicating the listening mode is displayed on the screen 600.
  • the mobile terminal 100 receives a user response to an information search request by voice and displays the input user response 616 on the screen 600. To this end, the mobile terminal 100 may convert the user response in the form of voice into text and display it on the screen 600. Alternatively, the mobile terminal 100 transmits a user response in the form of a voice to the service provider 200, and when the service provider 200 converts the user response in the form of a voice into text and transmits the user response to the mobile terminal 100 again, The terminal 100 may display a user response in a text form received from the service provider 200 on the screen 600.
  • the mobile terminal 100 displays an item 618 on the screen 600 for storing a user response.
  • the mobile terminal 100 transmits a request to the service provider 200 to store the user response, and the service provider 200 according to the request.
  • the user response received from the user may be stored in the user generation database 310.
  • the service provider 200 may associate and store the information search request with the user response received from the mobile terminal 100. Thereafter, the stored user response may be provided to the mobile terminal 100 as a search result of the user or another user's information search request.
  • the user inputs the information itself requested by the information retrieval request, for example, an answer to a question.
  • a user inputs a voice to a method of obtaining information related to information requested by an information search request, for example, an answer to a question.
  • Embodiments of the present invention include both cases of directly providing information requested by an information retrieval request or indirectly providing information requested by an information retrieval request through information associated with the information retrieval request.
  • the mobile terminal 100 may provide an interactive interface. That is, the mobile terminal 100 may display the information retrieval request on the screen 600 through the interactive interface, and in the same manner, the mobile terminal 100 displays the user response to the information retrieval request on the screen 600. can do.
  • the service provider 200 transmits a response to the request for storing a user response of the mobile terminal 100 to the mobile terminal 100.
  • the service provider 200 may transmit a message to the mobile terminal 100 indicating whether the user response has been successfully stored in the user generation database 310.
  • the mobile terminal 100 may display on the screen 600 a message 622 indicating that the user response was successfully stored in the user-generated database 310, along with the information retrieval request 624 and the user response 626. have.
  • FIG. 9 is a flowchart illustrating a process in which the mobile terminal 100 provides a search result for a query input by a user according to an embodiment of the present invention.
  • the process can proceed immediately, almost immediately, gradually or at other appropriate rates.
  • the progress of the process may be controlled automatically by a device such as the mobile terminal 100 or may be controlled by the user once the process is activated regardless of the user.
  • the flow of processes described below includes a number of operations that appear to occur in a particular order, but these processes can be executed in series or in parallel (eg, using a parallel processor or a multi-threading environment). It should be appreciated that this may include more or less actions.
  • the mobile terminal 100 receives an information search request from a user by voice and transmits it to the service provider 200 (S202).
  • the service provider 200 receives an information retrieval request from the mobile terminal 100 (when the information retrieval request is transmitted by voice, the service provider 200 converts the information retrieval request into text).
  • An attempt is made to obtain a search result corresponding to the information search request from 300 (S204).
  • the service provider 200 executes a query corresponding to the information retrieval request in the information provider 300.
  • the service provider 200 determines whether it is possible to obtain a search result from the information provider 300 (S206), and if it is possible to obtain a search result from the information provider 300, the service provider 200 may be provided to the mobile terminal 100.
  • the search result obtained from 300 is transmitted (S208).
  • the service provider 200 subsequently attempts to obtain the search result from the user-generated database 310 (S210). And. The service provider 200 determines whether it is possible to obtain a search result from the user-generated database 310 (S212), and if it is possible to obtain a search result from the user-generated database 310, the user to the mobile terminal 100
  • the search result obtained from the generation database 310 is transmitted (S214).
  • the service provider 200 transmits a message indicating that there is no search result to the mobile terminal 100 (S216). .
  • Embodiments of the present invention are not dependent on the search order, for example, after the service provider 200 attempts to obtain the search results primarily from the user-generated database 310, and then secondly from the information provider 300. An attempt may be made to obtain a search result, or an attempt may be made to simultaneously obtain a search result from the information provider 300 and the user-generated database 310.
  • 10A and 10B are conceptual views illustrating a process in which the mobile terminal 100 provides a search result for a query input by a user according to an embodiment of the present invention.
  • the mobile terminal 100 may display the voice search item 702 on the screen 700 fixedly or according to a user's selection.
  • the voice search item 702 is selected, the mobile terminal 100 enters a listening mode and displays a message 704 indicating that the mobile terminal 100 is in the listening mode on the screen. Since the mobile terminal 100 is in a listening mode, the mobile terminal 100 may receive an information search request from a user by voice.
  • the mobile terminal 100 may display the information search request 706 on the screen 700.
  • the mobile terminal 100 converts a voice information search request into text and displays it on the screen 700, or after transmitting the voice information search request to the service provider 200, the service provider 200.
  • the mobile terminal 100 may display a response to the information search request received from the service provider 200 on the screen 700.
  • the mobile terminal 100 may display on the screen 700 the service provider 200 from the information provider 300. Display the obtained search result, and if the response does not include the search result obtained by the service provider 200 from the information provider 300, the screen 700 indicates that there is no search result obtained from the information provider 300.
  • An indication message 708 may be displayed.
  • the mobile terminal 100 displays the user-generated database by the service provider 200 on the screen 700.
  • the search result 712 obtained from 310 may be displayed.
  • the mobile terminal 100 provides a description 710 of the search result 712 obtained from the user-generated database 310 from the service provider 200, for example, the mobile terminal providing the search result 712.
  • a context or a user profile of the terminal 100 may be obtained and displayed on the screen 700.
  • the mobile terminal 100 receives from the service provider 200 the information itself requested by the information retrieval request, for example, an answer to a question and provides it to the user.
  • the mobile terminal 100 receives a method from the service provider 200 to obtain information associated with the information requested by the information retrieval request, for example, an answer to a question.
  • Embodiments of the present invention include both cases of directly providing information requested by an information retrieval request or indirectly providing information requested by an information retrieval request through information associated with the information retrieval request.
  • FIG. 11 is a conceptual diagram illustrating a process of providing a search result for an information search request received from the mobile terminal 100 by the service provider 200 according to an exemplary embodiment.
  • the voice query corresponding to the information retrieval request received from the mobile terminal 100 is converted into a text query before being executed in the search engine.
  • a voice query received from the mobile terminal 100 via an audio input component such as a microphone may be text before the query is executed in at least one search engine 260 that includes a text search engine configured to process the text query. It can be recognized as.
  • the service provider 200 is configured to receive an information search request from the mobile terminal 100 and to receive and process a voice query or a text query corresponding to the information search request.
  • the voice receiver 220 is activated to receive a voice query
  • the text receiver 240 is activated to receive a text query.
  • the search engine 260 on which the query is executed may include a text search engine configured to receive only text queries. Therefore, the service provider 200 includes a query converter 230, which is configured to receive a voice query and recognize it as a text query.
  • the text query is passed to the query execution unit 250 for later processing.
  • the service provider 200 performs additional processes to improve the reception and processing of queries. For example, although the service provider 200 is set up to receive a voice query, some terms of the voice query may be difficult to identify because of variations in pronunciation. Thus, a speech query term database that includes a range of pronunciations of such terms may correlate variably pronounced query terms with general query terms representing related techniques. The speech query term database may be used to correlate the speech terms of the speech query to the accepted text terms of the text query to send to the search engine 260. The query converter 230 may therefore convert the voice query into a text query by identifying voice query terms in the voice query term database and converting such voice query terms into identified general text query terms.
  • processing of the query may be accomplished by parsing the query according to the language model according to the domain of the query.
  • the language model may be designed to process voice queries according to the language that may be generally used while the user speaks the voice query.
  • the speech recognizer 231 may include an n-gram language model 233, which is set to identify query terms based on words of a common three-language sequence within the language model.
  • the n-gram language model 223 may be trained to recognize query terms of the speech query using the text query corresponding to the speech query set as a training set, and identify the speech terms of the speech query according to the words of the language model. Can be used.
  • the speech recognizer 231 may include a pronunciation model 237 that includes a representation of the pronunciation of various query terms in the speech query.
  • the speech recognizer 231 may include an acoustic model 235 that identifies phonemes from the acoustic input including the speech query.
  • the phonemes identified by the acoustic model 235 may be matched with individual query terms according to the pronunciation model 237, and parsed into statistically probable query terms according to the n-gram language model 233. Speech recognizer 231 may therefore generate a recognition result that may be provided as a result comprising a text query.
  • the converted or recognized query may not be accurate enough to depend upon while converting the voice query to a text query.
  • a voice query converted into a text query may not be accurate enough. Therefore, the service provider 200 may be configured to confirm the converted query to the user after converting the query and before executing the converted query in the search engine 260. If the user confirms the converted query, the converted query can be executed in search engine 260, but if the user does not confirm the converted query, alternative parsing of the query may be suggested, and / or the user May be entered again.
  • a second aspect that can be changed in embodiments of these techniques relates to a database in which a query can be executed.
  • various search engines 260 for example, a web search engine configured to search web pages on the Internet or other network, a file search engine configured to search files stored on a local or network file system, device It may be configured to cover a variety of data sources, such as an object search engine set to retrieve objects stored in the database, or a database search engine set to retrieve records in a database.
  • various search engines can be configured to accept different forms of queries, such as, for example, natural language queries, keyword queries, mathematical queries, or queries written in programming languages.
  • various search engines 260 may support various logical constructs such as field-based constraints, Boolean logic, or programming logic. Many forms of queries may be executed in various forms of search engine 260 while implementing the techniques disclosed herein.
  • Search results may be obtained from a data source such as a web page, file, object or record.
  • Search results may be associated with each domain, which may be predefined as an index indicating a general category to which any search result may be associated. However, even if the domain is not covered within a predefined range, the domain may be newly created according to the attribute of the search result.
  • the domain can be obtained by identifying semantic information related to the subject included in the search results. For example, various types of content may include metadata that identifies the meaning inherent in such content, namely contact information such as an email address, mail address, or telephone number, alias used in a message service, and the like.
  • the service provider 200 may involve reading the semantic information from the metadata and matching it to a predefined query domain.
  • domains can be obtained by means of identifiable special attributes of search results.
  • a search result may contain regular expressions, heuristics, and machine-learning classifiers where the first letter is capitalized, such as a name, and generally structured, such as a combination of two or more words.
  • the domain may be matched through a pattern matching technique.
  • the domain can be an important factor that acted in the process of retrieving search results. For example, a name mentioned in the title of a search result or prominently mentioned in the associated content may be assumed to be a domain.
  • a natural language parser can be used to evaluate content related to the topic and select a domain for the search results.
  • statistical classifiers such as neural networks or Bayesian classification functions can be used to determine the domain of the search results. For example, the domain can be determined by identifying the domain from which the URL was clicked by the user.
  • FIGS. 13A and 13B are conceptual views illustrating a process of providing a voice interface for inputting a user response to an information retrieval request by the mobile terminal 100 according to another exemplary embodiment disclosed herein.
  • the user of the mobile terminal 100 may directly input a user response when the response to the information search request from the service provider 200 indicates that there is no search result. It is to provide an interface.
  • the mobile terminal 100 When the mobile terminal 100 receives the information retrieval request, the mobile terminal 100 transmits an information retrieval request to the service provider 200 and receives a response to the information retrieval request from the service provider 200. When the response to the information search request includes the search result, the mobile terminal 100 displays the search result on the screen. However, if the response to the information retrieval request does not include a search result, that is, if the response to the information retrieval request indicates that there is no search result, the mobile terminal 100 retrieves the information. The request is stored in memory 160. Subsequently, another information retrieval request is received from the user, and the same processing is performed for the other information retrieval request received.
  • the mobile terminal 100 guides at least one information search request 906 for which there is no search result. Mark with).
  • Each information retrieval request 906 further displays an item 908 for adding a user response to the information retrieval request 906.
  • the item 908 for adding the user response may be an item selectable by the user.
  • the mobile terminal 100 when an item 908 for adding a user response is selected by a user, the mobile terminal 100 enters a listening mode and a message 910 indicating that the mobile terminal 100 is in a listening mode. And continue to display the information retrieval request 912 corresponding to the selected item 908.
  • the user inputs a user response to the information search request 912 by voice, and the mobile terminal 100 displays the input user response on the screen 900.
  • the mobile terminal 100 requests the service provider 200 to store the input user response 914 together with the information retrieval request 912.
  • the service provider 200 stores the user response 914 in association with the information retrieval request 912 and transmits the storage result to the mobile terminal 100.
  • 14A and 14B are conceptual views illustrating a process of providing a voice interface for inputting a user response to an information retrieval request by the mobile terminal 100 according to another exemplary embodiment disclosed herein.
  • 14A and 14B are provided to provide an interface for inputting a user response as a user of the mobile terminal 100 receives a message requesting a user response from an external terminal.
  • the mobile terminal 100 displays a message 1004 indicating that it is in a listening mode.
  • the information search request 1006 is displayed on the screen 1000.
  • the mobile terminal 100 transmits an information retrieval request to the service provider 200, and receives a response to the information retrieval request from the service provider 200.
  • the mobile terminal 100 displays the search result on the screen.
  • the mobile terminal 100 displays a message indicating that there is no search result ( 1008) is displayed on the screen 1000.
  • the mobile terminal 100 displays an item 1010 for receiving a response to the information retrieval request from the web server and an item 1012 for receiving a response to the information retrieval request from the user of the external terminal. ).
  • the external terminal 100 ′ receives an information search request from the mobile terminal 100 using a push notification service (or inquiry service), and an information search request 1106 and an information search request 1106.
  • the display 1100 is displayed on the screen 1100 while entering the listening mode.
  • the external terminal 100 ′ receives a user response to the information search request by voice from the user and transmits the received user response to the mobile terminal 100 again.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

정보 검색 요청에 대한 사용자 응답을 정보로 활용하는 사용자 참여형 정보 검색 서비스를 제공함으로써, 정보 검색 서비스가 커버할 수 있는 지역적 한계를 극복하고, 지원되지 않는 도메인에 대한 검색 기능을 확장하기 위한 단말기의 사용자 인터페이스 제공 방법. 본 명세서에 개시된 일 실시 예에 따른 단말기의 사용자 인터페이스 제공 방법은 사용자의 음성 입력에 기초한 정보 검색 요청을 서버에 송신하는 단계; 상기 서버로부터 상기 정보 검색 요청에 대한 응답을 수신하는 단계; 및 상기 응답이 검색 결과가 없음을 나타내는 경우에, 상기 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받기 위한 항목을 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

단말기의 사용자 인터페이스 제공 방법
본 발명은 단말기의 사용자 인터페이스 제공 방법에 관한 것으로서, 더욱 구체적으로는 단말기가 정보 검색 요청에 대한 사용자 응답을 입력할 수 있는 인터페이스를 제공하는 방법에 관한 것이다.
단말기(terminal)는 이동 가능 여부에 따라 이동 단말기(mobile or portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기는 기능이 다양화됨에 따라, 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(multimedia player) 형태로 구현되고 있다. 나아가 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
일 예로, 단말기는 사용자로부터 정보 검색 요청을 음성으로 수신하여 전용 검색 서비스를 통해 그에 대응하는 검색 결과를 제공할 수 있다. 그러나, 전용 검색 서비스에 정보를 제공하는 정보 제공자는 제한적이기 때문에, 검색 결과가 없거나 검색 결과를 제공하지 못하는 경우가 발생할 수 있다. 이 경우에, 단말기는 예외 처리를 통해 웹에서 검색 결과를 수신할 수 있는 인터페이스를 제공하지만, 웹에 의한 검색 결과는 정확하지 않고 유용하지 않아서 활용도가 크게 떨어진다.
본 명세서에 개시된 일 실시 예는 정보 검색 요청에 대한 사용자 응답을 정보로 활용하는 사용자 참여형 정보 검색 서비스를 제공함으로써, 정보 검색 서비스가 커버할 수 있는 지역적 한계를 극복하고, 지원되지 않는 도메인에 대한 검색 기능을 확장하기 위한 단말기의 사용자 인터페이스 제공 방법에 관한 것이다.
본 명세서에 개시된 일 실시 예에 따른 단말기의 사용자 인터페이스 제공 방법은 사용자의 음성 입력에 기초한 정보 검색 요청을 서버에 송신하는 단계; 상기 서버로부터 상기 정보 검색 요청에 대한 응답을 수신하는 단계; 및 상기 응답이 검색 결과가 없음을 나타내는 경우에, 상기 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받기 위한 항목을 표시하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 항목은 상기 서버로부터 상기 정보 검색 요청에 대한 웹 검색 결과를 수신함과 동시에 상기 사용자로부터 상기 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받기 위한 항목인 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 단말기의 사용자 인터페이스 제공 방법은 상기 서버로부터 상기 정보 검색 요청에 대한 웹 검색 결과를 수신하기 위한 항목을 표시하는 단계를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 단말기의 사용자 인터페이스 제공 방법은 사용자로부터 상기 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받는 단계를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 사용자 응답을 음성으로 입력받는 단계는 상기 항목이 선택되면, 대화형 인터페이스를 제공하는 단계; 및 상기 대화형 인터페이스를 통해 상기 사용자로부터 상기 정보 검색 요청에 대한 제2 응답을 음성으로 입력받는 단계를 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 단말기의 사용자 인터페이스 제공 방법은 상기 사용자로부터 입력된 사용자 응답을 상기 서버에 송신하는 단계를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 단말기의 사용자 인터페이스 제공 방법은 상기 단말기의 위치 정보 및 시간 정보 중 적어도 하나를 획득하는 단계; 및 상기 단말기의 위치 정보 및 시간 정보 중 적어도 하나를 상기 서버에 송신하는 단계를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 단말기의 사용자 인터페이스 제공 방법은 사용자의 프로파일 정보를 획득하는 단계; 및 상기 사용자의 프로파일 정보를 상기 서버에 송신하는 단계를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 정보 검색 요청에 대한 사용자 응답은 상기 정보 검색 요청에 의해 요청된 정보 자체 또는 상기 정보 검색 요청에 의해 요청된 정보와 연계된 정보를 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 단말기의 사용자 인터페이스 제공 방법은 상기 항목이 선택되면, 외부 단말기에 상기 정보 검색 요청을 송신하는 단계; 및 상기 외부 단말기로부터 상기 정보 검색 요청에 대한 사용자 응답을 수신하는 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 명세서에 개시된 다른 일 실시 예에 따른 단말기의 사용자 인터페이스 제공 방법은 정보 검색 요청에 대한 서버로부터의 응답이 검색 결과가 없음을 나타내는 적어도 하나의 정보 검색 요청을 표시하는 단계; 사용자로부터 상기 적어도 하나의 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받는 단계; 및 상기 입력된 사용자 응답을 상기 서버에 송신하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 정보 검색 요청은 상기 사용자부터 음성으로 입력되는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 단말기의 사용자 인터페이스 제공 방법은 상기 정보 검색 요청이 상기 사용자로부터 음성으로 입력되면, 상기 서버에 상기 입력된 정보 검색 요청을 송신하고, 상기 서버로부터 상기 정보 검색 요청에 대한 응답을 수신하는 단계; 및 상기 입력된 정보 검색 요청에 대한 응답이 검색 결과가 없음을 나타내는 경우에, 상기 사용자로부터 음성으로 입력된 정보 검색 요청을 저장하는 단계를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 정보 검색 요청은 외부 단말기로부터 수신되는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 정보 검색 요청은 푸쉬 알림 서비스를 이용하여 상기 외부 단말기로부터 수신되는 것을 특징으로 한다.
본 명세서에 개시된 일 실시 예에 따르면, 단말기가 음성 인터페이스를 통해 정보 검색 요청에 대한 사용자 응답을 이용하여 정보 검색 서비스를 제공함으로써, 지정된 정보 제공자의 한계를 극복하고, 제공되는 정보에 대한 만족도를 향상시킬 수 있다. 또한, 대화형 서비스를 통해 입력 및 검색이 이루어짐에 따라 이와 같은 기능을 실현하는데 요구되는 사용자의 학습적 노력이 거의 필요없다는 이점이 존재한다.
도 1은 본 발명과 관련된 이동 단말기(100)를 보여주는 블록도이다.
도 2a 및 도 2b는 본 발명과 관련된 이동 단말기(100)의 외관을 보여주는 사시도이다.
도 3은 종래 기술에 따른 정보 검색 시스템을 나타내는 블록도이다.
도 4는 종래 기술에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 흐름도이다.
도 5a 내지 도 5c는 종래 기술에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
도 6은 본 발명의 실시 예들에 따른 정보 검색 시스템을 나타내는 블록도이다.
도 7은 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 흐름도이다.
도 8a 내지 도 8d는 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
도 9는 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 쿼리에 대한 검색 결과를 제공하는 과정을 나타내는 흐름도이다.
도 10a 및 도 10b는 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 쿼리에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
도 11은 본 발명의 일 실시 예에 따라 서비스 제공자(200)가 이동 단말기(100)로부터 수신한 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
도 12는 음성 인식기(231)에 따라 음성 쿼리의 수신을 처리하는 예시적인 실시 예를 나타낸다.
도 13a 및 도 13b는 본 명세서에 개시된 다른 일 실시 예에 따른 이동 단말기(100)가 정보 검색 요청에 대한 사용자 응답을 입력하기 위한 음성 인터페이스를 제공하는 과정을 설명하기 위한 개념도이다.
도 14a 및 도 14b는 본 명세서에 개시된 또 다른 일 실시 예에 따른 이동 단말기(100)가 정보 검색 요청에 대한 사용자 응답을 입력하기 위한 음성 인터페이스를 제공하는 과정을 설명하기 위한 개념도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위하여, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이터(navigator) 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명과 관련된 이동 단말기(100)를 보여주는 블록도이다. 도 1을 참조하면, 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 감지부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190)를 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수 있다. 이하에서, 이동 단말기(100)의 구성요소들(110~190)에 대해 차례대로 살펴본다.
무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이, 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115)을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및 방송 관련 정보를 수신한다. 여기서, 방송 관련 정보는 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련된 정보를 의미한다. 그리고, 방송 관련 정보는 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에, 방송 관련 정보는 이동통신 모듈(112)에 의해 수신될 수 있다. 방송 수신 모듈(111)을 통해 수신되는 방송 신호 및 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은 이동 통신망 상에서 기지국, 외부의 단말기, 서버 중 적어도 하나와 무선 신호를 송수신한다. 이러한 무선 신호는 음성 호 신호, 화상 통화 호 신호, 문자 메시지 또는 멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈로서, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(115)은 이동 단말기(100)의 위치를 획득하기 위한 모듈로서, 그것의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
계속해서 도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 및 비디오 신호 입력을 위한 것으로, 이에는 카메라(121), 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상, 동영상 등의 화상 프레임을 처리한다. 카메라(121)에 의해 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다. 그리고, 이러한 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수 있다.
마이크(122)는 통화 모드, 녹음 모드, 음성선택 모드 등에서 외부로부터 입력되는 음향 신호를 전기적인 음성 데이터로 처리한다. 통화 모드에서 마이크(122)에 의해 처리된 음성 데이터는 이동통신 모듈(112)을 통해 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호가 입력되는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 이동 단말기(100)의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압 및 정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
감지부(140)는 사용자 접촉 유무, 이동 단말기(100)의 개폐 상태, 위치, 방위, 가속, 감속 등과 같은 이동 단말기(100)의 현재 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 감지 신호를 발생시킨다. 예를 들어, 이동 단말기(100)가 슬라이드 폰 형태인 경우, 감지부(140)는 슬라이드 폰의 개폐 여부를 감지할 수 있다. 또한, 감지부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 감지할 수도 있다.
감지부(140)는 근접 센서(141)를 포함할 수 있다. 또한, 감지부(140)는 디스플레이부(151)에 대한 터치 동작을 감지하는 터치 센서(미도시됨)를 포함할 수 있다.
터치 센서는 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다. 터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서와 디스플레이부(151)가 상호 레이어 구조를 이루는 경우에는, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 이러한 디스플레이부(151)는 ‘터치 스크린’으로 호칭할 수 있다.
터치 스크린을 통한 터치 입력이 있는 경우, 그것에 대응하는 신호들은 터치 제어기(미도시됨)로 보내진다. 터치 제어기는 터치 센서로부터 전달되는 신호들을 처리한 다음 처리된 신호들에 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부를 알 수 있게 된다.
터치 스크린이 정전식인 경우에는 감지 대상의 근접에 따른 전계의 변화로 감지 대상의 근접을 검출하도록 구성될 수 있다. 이러한 터치 스크린은 근접 센서(141)로 분류될 수 있다.
근접 센서(141)는 감지 대상의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다.
이하에서 설명의 편의를 위해, 감지 대상이 터치 스크린상에 접촉되지 않으면서 근접하는 행위를 “근접 터치(proximity touch)”라고 칭하고, 터치 스크린 상에 감지 대상이 접촉되는 행위를 “접촉 터치(contact touch)”라고 칭한다.
근접 센서(141)는 근접 터치의 유무와 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 이러한 근접 터치 유무 및 근접 터치 패턴에 상응하는 정보는 터치 스크린에 출력될 수 있다.
출력부(150)는 시각, 청각, 촉각 등과 관련된 출력을 발생시킨다. 출력부(150)는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153) 및 햅틱 모듈(154)를 포함할 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기(100)가 통화 모드에서 동작하는 경우에는, 디스플레이부(151)는 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드에서 동작하는 경우에는, 디스플레이부(151)는 촬영된 영상, 수신된 영상, UI 또는 GUI 등을 표시한다.
디스플레이부(151)는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT- LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중 적어도 하나를 포함할 수 있다.
디스플레이부(151)에 포함되는 적어도 하나의 디스플레이(또는 디스플레이 소자)는 그것을 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭할 수 있는데, 이러한 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 본체에서 디스플레이부(151)가 차지하는 영역을 통해 단말기 본체의 후방에 위치한 사물을 볼 수 있다.
디스플레이부(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 위치할 수 있고, 또한 서로 다른 면에 각각 위치할 수도 있다.
음향 출력 모듈(152)은 호 신호 수신, 통화 모드 또는 녹음 모드, 음성선택 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호 신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(100)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어, 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있으므로, 디스플레이부(151) 및 음성 출력 모듈(152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생시키는 진동의 세기, 패턴 등은 제어 가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구성될 수도 있다. 햅틱 모듈(154)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입력 및 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 메모리(160)는 터치 스크린상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 인터페이스부(170)에는 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 포함될 수 있다.
식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module: UIM), 가입자 인증 모듈(Subscriber Identify Module: SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module: USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하, ‘식별 장치’라고 칭함)는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서, 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
인터페이스부(170)는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 크래들로부터의 전원이 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 이동 단말기(100)로 전달되는 통로가 될 수 있다. 크래들로부터 입력되는 각종 명령 신호 또는 전원은, 상기 이동 단말기(100)가 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작할 수도 있다.
제어부(controller, 180)는 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다. 제어부(180)는 터치 스크린상에서의 필기 입력 및 그림 그리기 입력을 각각 문자 및 이미지로 선택하는 패턴 선택 처리를 수행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시 예는 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(Application specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서들(processors), 제어기들(controllers), 마이크로 컨트롤러들(micro-controllers), 마이크로 프로세서들(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰인 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 이러한 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
이하에서, 이동 단말기(100)에 대한 사용자 입력의 처리 방법에 대해 설명한다.
사용자 입력부(130)는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들을 포함할 수 있다. 조작 유닛들은 조작부(manipulating portion)로도 통칭 될 수 있으며, 사용자의 촉각을 이용하여 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.
디스플레이부(151)에는 다양한 종류의 시각 정보가 표시될 수 있다. 이와 같은 시각 정보는 문자, 숫자, 기호, 그래픽, 아이콘 등의 형태로 표시될 수 있으며, 3차원 입체영상으로 이루어질 수 있다. 시각 정보의 입력을 위하여 문자, 숫자, 기호, 그래픽 및 아이콘 중 적어도 하나는 일정한 배열을 이루어 표시됨으로써 키패드의 형태로 구현될 수 있다. 이러한 키패드는 소위 ‘소프트키’라고 호칭할 수 있다.
디스플레이부(151)는 전체 영역으로 작동되거나, 복수의 영역들로 나뉘어져 작동될 수 있다. 후자의 경우, 복수의 영역들은 서로 연관되게 작동되도록 구성될 수 있다. 예를 들어, 디스플레이부(151)의 상부와 하부에는 출력창과 입력창이 각각 표시될 수 있다. 출력창과 입력창은 각각 정보의 출력 또는 입력을 위해 할당되는 영역이다. 입력창에는 전화 번호의 입력을 위한 숫자가 표시된 소프트키가 출력될 수 있다. 소프트키가 터치되면, 터치된 소프트키에 대응되는 숫자가 출력창에 표시된다. 조작 유닛이 조작되면 출력창에 표시된 전화 번호에 대한 호 연결이 시도되거나 출력창에 표시된 텍스트가 애플리케이션에 입력될 수 있다.
디스플레이부(151) 또는 터치 패드는 터치 스크롤(scroll)를 감지하도록 구성될 수 있다. 사용자는 디스플레이부(151) 또는 터치 패드를 스크롤 함으로써 디스플레이부(151)에 표시된 개체, 예를 들어, 아이콘에 위치한 커서 또는 포인터를 이동시킬 수 있다. 나아가, 손가락을 디스플레이부(151) 또는 터치 패드 상에서 이동시키는 경우, 손가락이 움직이는 경로가 디스플레이부(151)에 시각적으로 표시될 수도 있다. 이는 디스플레이부(151)에 표시되는 이미지를 편집함에 유용할 것이다.
디스플레이부(151) 및 터치 패드가 일정 시간 범위 내에서 함께 터치되는 경우에 대응하여, 이동 단말기(100)의 일 기능이 실행될 수도 있다. 함께 터치되는 경우로는, 사용자가 엄지 및 검지를 이용하여 이동 단말기(100)의 본체를 집는(clamping) 경우가 있을 수 있다. 이때, 실행되는 이동 단말기(100)의 일 기능은, 예를 들어, 디스플레이부(151) 또는 터치 패드에 대한 활성화 또는 비활성화일 수 있다.
도 2a 및 도 2b는 본 발명과 관련된 이동 단말기(100)의 외관을 보여주는 사시도이다. 도 2a에서는 이동 단말기(100)의 전면 및 일 측면이 도시되고, 도 2b에서는 이동 단말기(100)의 후면 및 타 측면이 도시된다.
도 2a를 참조하면, 이동 단말기(100)는 바 형태의 단말기 본체를 구비한다. 다만, 이동 단말기(100)는 이에 한정되지 않고, 2 이상의 본체들이 상대 이동 가능하게 결합하는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 형태로 구현될 수 있다.
단말기 본체는 외관을 형성하는 케이스(케이싱, 하우징, 커버 등)를 포함한다. 실시 예에 있어서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 중간 케이스가 추가로 위치할 수 있다.
케이스들은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어, 스테인레스 스틸(STS), 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.
단말기 본체, 주로 프론트 케이스(101)에는 디스플레이부(151), 음향 출력부(152), 카메라(121), 사용자 입력부(130, 도 1 참조), 마이크(122), 인터페이스(170) 등이 위치할 수 있다.
디스플레이부(151)는 프론트 케이스(101)의 주된 부분을 차지한다. 디스플레이부(151)의 일 단부에 인접한 영역에는 음향 출력부(152)와 카메라(121)가 위치하고, 타 단부에 인접한 영역에는 제 1 사용자 입력부(131) 및 마이크(122)가 위치한다. 제 2 사용자 입력부(132) 및 인터페이스(170)는 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 위치할 수 있다.
사용자 입력부(130)는 이동 단말기(100)의 동작을 제어하기 위한 명령을 수신하기 위해 조작된다. 사용자 입력부(130)는 복수의 조작 유닛들(131, 132)을 포함할 수 있다.
제 1 또는 제 2 조작 유닛들(131, 132)은 다양한 명령들을 수신할 수 있다. 예를 들어, 제 1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 수신할 수 있다. 제 2 조작 유닛(132)은 음향 출력부(152)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 선택 모드로의 전환 등과 같은 명령을 수신할 수 있다.
도 2b를 참조하면, 단말기 본체의 후면, 즉, 리어 케이스(102)에는 후면 카메라(121´)가 추가 장착될 수 있다. 후면 카메라(121´)는 전면 카메라(121, 도 2a 참조)와 반대되는 촬영 방향을 갖고, 전면 카메라(121)와 다른 화소를 갖도록 구성될 수 있다.
예를 들어, 전면 카메라(121)는 저 화소를 갖도록 구성되고, 후면 카메라(121´)는 고 화소를 갖도록 구성될 수 있다. 이에 따라, 화상 통화 시에 전면 카메라(121)를 이용하면, 사용자의 얼굴을 촬영하여 촬영된 영상을 실시간으로 상대방에 전송하는 경우 전송 데이터의 크기를 줄일 수 있다. 반면, 후면 카메라(121´)는 고 화질의 영상을 저장하기 위한 목적으로 이용될 수 있다.
한편, 카메라들(121, 121´)은 회전 또는 팝업(pop-up) 되도록 단말기 본체에 설치될 수 있다.
플래쉬(123) 및 거울(124) 후면 카메라(121´)에 인접하는 곳에 추가 위치할 수 있다. 플래쉬(123)는 사용자가 후면 카메라(121´)로 피사체를 촬영하는 경우, 피사체를 향해 빛을 낸다. 거울(124)은 사용자가 후면 카메라(121´)를 이용하여 자신을 촬영(셀프 촬영)하는 경우, 사용자의 얼굴을 비춘다.
단말기 본체의 후면에는 후면 음향 출력부(152´)가 추가 위치할 수 있다. 후면 음향 출력부(152´)는 전면 음향 출력부(152, 도 2a 참조)와 함께 스테레오 기능을 수행할 수 있으며, 통화 시에 스피커폰 기능을 수행할 수 있다.
단말기 본체의 측면에는 통화를 위한 안테나 외에 방송신호 수신용 안테나(116)가 추가 위치할 수 있다. 방송 수신 모듈(111, 도 1 참조)의 일부를 구성하는 안테나(116)는 단말기 본체에서 인출 가능하게 설치될 수 있다.
단말기 본체에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190)가 장착된다. 전원 공급부(190)는 단말기 본체에 내장되거나, 단말기 본체의 외부에서 직접 탈착될 수 있도록 구성될 수 있다.
리어 케이스(102)에는 터치를 감지하기 위한 터치 패드(135)가 추가 장착될 수 있다. 터치 패드(135)는 디스플레이부(151, 도 2a 참조)와 마찬가지로 광 투과형으로 구성될 수 있다. 또한, 터치 패드(135)에도 시각 정보를 출력하기 위한 후면 디스플레이부가 추가 장착될 수 있다. 이때, 전면 디스플레이부(151) 및 후면 디스플레이부 양면에서 출력되는 정보는 터치 패드(135)에 의해 제어될 수 있다.
터치 패드(135)는 디스플레이부(151)와 상호 관련되어 작동한다. 터치 패드(135)는 디스플레이부(151)의 후방에 평행하게 위치할 수 있다. 이러한 터치 패드(135)는 디스플레이부(151)와 동일하거나 작은 크기를 가질 수 있다.
이동 단말기(100)는 사용자로부터 수신된 쿼리에 대응하는 검색 결과를 제공하는 기능을 구비할 수 있다. 이동 단말기(100)는 사용자로부터 사용자 입력부(130)를 통해 텍스트 쿼리를 수신하면, 제어부(180)가 텍스트 쿼리를 내장된 검색 엔진에서 실행하여 검색 결과를 출력부(150)를 통해 출력할 수 있다. 대안적으로, 무선 통신부(110)가 텍스트 쿼리를 외부 검색 엔진에서 실행되도록 네트워크를 통해 서버에 송신하고, 서버로부터 검색 결과를 수신하여 출력부(150)를 통해 출력할 수 있다. 또한, 이동 단말기(100)는 사용자로부터 마이크(121)를 통해 음성 쿼리를 수신하면, 제어부(180)가 음성 쿼리를 텍스트 쿼리로 변환하여, 전술한 검색 엔진에서 실행함으로써 검색 결과를 사용자에게 제공할 수도 있다.
검색 엔진에서 다수의 검색 결과가 반환되는 경우에 각각의 검색 결과는 도메인에 의해 분류될 수 있다. 즉, 검색 결과들은 각각의 도메인에 연관될 수 있는데, 도메인은 어떠한 검색 결과도 연관될 수 있는 일반적인 카테고리를 나타내는 인덱스로서 사전에 정의될 수 있다. 그러나, 도메인은 사전에 정의된 범위 내에서 커버되지 않는 경우에도, 검색 결과의 속성에 따라 새로 생성될 수도 있다. 도메인은 검색 결과에 포함된 주제와 관련된 의미 정보를 식별함으로써 획득될 수 있다. 예를 들어, 다양한 형태의 콘텐츠는 그러한 콘텐츠에 내재된 의미, 즉, 이메일 주소, 메일 주소, 또는 전화 번호, 메시지 서비스에서 사용되는 별칭 등과 같은 연락처 정보를 식별하는 메타 데이터를 포함할 수 있다. 이동 단말기(100)는 이러한 의미 정보를 메타 데이터로부터 독출하여 사전에 정의된 쿼리 도메인에 매칭시키는 과정을 수반할 수 있다.
또한, 검색 엔진은 쿼리에 사용자의 컨텍스트와 사용 히스토리를 반영하여 최적의 검색 결과를 제공할 수 있다. 예를 들어, "오늘 날씨가 뭐지?" 라는 쿼리에는 어느 지역의 날씨를 묻는 것인지 명시적으로 나타나지 않지만, 이동 단말기(100)의 위치 정보를 이용하여 사용자가 현재 위치한 지역의 날씨를 검색 결과로 제공할 수 있다. 또는, "내가 좋아하는 게임 실행해" 라는 쿼리에는 어떤 게임을 실행할 것인지 명시적으로 나타나지 않지만, 이동 단말기(100)에서 게임의 실행 시간 및/또는 실행 횟수를 분석하여 가장 자주 실행하거나 오랫동안 실행한 게임을 실행할 것인지 확인하는 것을 검색 결과로 제공할 수 있다.
도 3은 종래 기술에 따른 정보 검색 시스템을 나타내는 블록도이다. 종래 기술에 따른 정보 검색 시스템은, 이동 단말기(100), 서비스 제공자(서비스 서버)(200), 정보 제공자(정보 서버)(300) 및 네트워크(400)를 포함한다.
이하의 설명에서, 정보 검색 요청은 "이 근처에서 가장 괜찮은 식당을 알려줘"와 같이 정보의 검색을 요청하는 로우 데이터 형식의 음성 또는 텍스트를 의미하며, 정보 검색 요청에 대응하는 쿼리는 정보 검색 요청으로부터 단어들을 검출하고 의미적으로 해석하여 도출된 해석 결과("강남역 맛집")를 의미한다. 또한, 쿼리를 실행하는 것은 데이터베이스에 쿼리에 대한 검색 결과를 요청하는 것을 의미한다.
이동 단말기(100)는 정보 검색을 위한 사용자 인터페이스를 제공한다. 즉, 이동 단말기(100)는 사용자로부터 음성 입력을 통해 정보 검색 요청을 수신하면, 정보 검색 요청에 대응하는 쿼리를 실행하여 검색 결과를 사용자에게 제공한다. 쿼리는 내부 검색 엔진에서 실행되거나, 서비스 제공자(200)에서 실행될 수 있다. 서비스 제공자(200)에서 실행되는 경우에 정보 검색 요청은 네트워크(400)를 통해 이동 단말기(100)에서 서비스 제공자(200)에 전달되며, 정보 검색 요청에 대응하는 쿼리에 대한 검색 결과 또한 네트워크(400)를 통해 서비스 제공자(200)에서 이동 단말기(100)로 전달된다.
서비스 제공자(200)는 네트워크(400)를 통해 이동 단말기(100)로부터 정보 검색 요청을 수신하면 정보 검색 요청에 대응하는 쿼리를 실행하고, 네트워크(400)를 통해 정보 제공자(300)로부터 검색 결과를 수신하여 이동 단말기(100)에 송신한다. 검색 결과가 없으면, 서비스 제공자(200)는 검색 결과가 없음을 나타내는 메시지를 네트워크(400)를 통해 이동 단말기(100)에 송신한다.
정보 제공자(300)는 본 정보 검색 서비스를 위한 전용 데이터베이스를 제공한다. 전용 데이터베이스는 정보 제공자(300)에 의해 생성 및 관리되는 데이터베이스를 말한다. 전용 데이터베이스는 웹 검색 서비스를 위한 웹 데이터베이스와 구분될 수 있다. 예컨대, 서비스 제공자(200)는 네트워크(400)를 통해 이동 단말기(100)로부터 수신한 쿼리의 전용 데이터베이스에 대한 검색 결과가 없으면, 검색 결과가 없음을 나타내는 메시지를 네트워크(400)를 통해 이동 단말기(100)에 송신할 수 있는데, 이동 단말기(100)는 검색 결과가 없음을 출력함과 동시에 웹 검색을 위한 항목을 별도로 표시할 수 있다. 웹 검색을 위한 항목이 선택되면, 웹 서버(미도시)는 이동 단말기(100)로부터 수신한 정보 검색 요청에 대응하는 쿼리의 웹 데이터베이스(미도시)에 대한 검색 결과를 제공할 수 있다.
도 4는 종래 기술에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 흐름도이다. 사용자가 인식하는 것과 같이 과정은 즉시, 거의 즉시, 점진적 또는 기타 적절한 속도로 진행될 수 있다. 과정의 진행은 과정이 일단 활성화되면 사용자와는 무관하게 이동 단말기(100)와 같은 장치에 의하여 자동으로 제어될 수 있거나, 또는 사용자에 의하여 제어될 수 있다. 이하에 설명하는 과정의 흐름은 특정한 순서로 일어나는 것처럼 보이는 수많은 동작을 포함하지만, 이러한 과정은 직렬로 또는 병렬로(예를 들어, 병렬처리기 또는 멀티 쓰레딩(multi-threading) 환경을 이용하여) 실행 가능한, 더 많거나 적은 동작을 포함할 수 있음을 인식하여야 한다.
이동 단말기(100)는 음성 검색 항목이 선택되는지 모니터링한다(S102). 음성 검색 항목은 사용자에 의해 선택될 수 있는 항목(메뉴 또는 아이콘)으로서 사용자의 입력에 따라 표시될 수 있다. 즉, 일반적인 상태에서는 이동 단말기(100)가 음성 검색 항목을 표시하지 않지만(예를 들어, 화면에서 숨겨진다), 사용자가 음성 검색 항목을 표시하는 명령을 내리는 경우에 음성 검색 항목을 표시할 수 있다. 대안적으로, 음성 검색 항목은 하드웨어 버튼으로 구현되거나 이동 단말기(100)의 화면에 고정적으로 표시됨으로써, 어떠한 상황에서도 사용자에 의해 음성 검색 항목이 선택될 수 있다.
제102 단계에서 음성 검색 항목이 선택되면, 이동 단말기(100)는 리스닝 모드에 진입한다(S104). 즉, 마이크(121)가 활성화되고, 음성 입력을 수신하는 기능이 활성화되는 것이다. 리스닝 모드에서, 이동 단말기(100)는 사용자를 포함하여 외부에서 들려오는 모든 음향을 아날로그 신호로 입력받는다. 입력된 아날로그 신호는 전처리 과정을 통해 잡음 등이 제거된 후에 디지털 신호로 변환된다. 디지털 신호는 임시적으로 메모리(160)에 저장될 수 있다.
이와 함께, 이동 단말기(100)는 리스닝 모드에 있음을 사용자에게 알리기 위해 인디케이터를 시각적 또는 청각적으로 출력한다(S106). 이것은 이동 단말기(100)가 리스닝 모드에 있으므로 사용자에게 음성으로 어떠한 명령을 내릴 것을 유도하기 위한 것이다. 따라서, 이동 단말기(100)는 화면에 "듣는 중입니다"와 같은 문구를 표시하거나, 사전에 결정된 알림음을 출력할 수 있다.
이동 단말기(100)는 사용자로부터 음성 입력을 통해 정보 검색 요청을 수신하고(S108), 사용자로부터 수신한 정보 검색 요청을 서비스 제공자(200)에 전송하여 외부 검색 엔진에서 실행되도록 할 수 있다(S110).
서비스 제공자(200)는 텍스트 쿼리에 대응하는 검색 결과를 반환한다(S112). 만약, 검색 결과가 없다면, 검색 엔진은 검색 결과가 없음을 나타내는 메시지를 출력한다. 이동 단말기(100)는 검색 결과가 존재하는지 판단하고(S114), 검색 결과가 존재하면 정보 검색 요청에 대응하는 검색 결과를 표시한다(S116). 그러나, 검색 결과가 존재하지 않으면, 이동 단말기(100)는 검색 결과가 없음을 표시하고, 웹 서버로부터 정보 검색 요청에 대한 응답을 수신하기 위한 항목을 표시한다(S118).
이동 단말기(100)는 웹 서버로부터 정보 검색 요청에 대한 응답을 수신하기 위한 항목이 선택되는지 모니터링하고(S120), 해당 항목이 선택되면 정보 검색 요청을 웹 서버에 송신한다. 이동 단말기(100)는 웹 서버로부터 정보 검색 요청에 대한 응답을 수신하고, 수신한 응답에 포함된 검색 결과를 표시한다(S122). 이 경우에, 검색 결과는 웹 페이지 형식으로 제공되며, 검색 결과가 없는 경우에도 웹 페이지 상에 검색 결과가 없음이 표시되기 때문에 별도로 검색 결과가 없음을 표시할 필요가 없다.
도 5a 내지 도 5c는 종래 기술에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
도 5a는 검색 결과가 존재하는 경우에 이동 단말기(100)에 표시되는 화면을 나타내는 개념도이다.
이동 단말기(100)는 고정적으로 또는 사용자의 선택에 따라 화면(500)에 음성 검색 항목(502)을 표시할 수 있다. 음성 검색 항목(502)이 선택되면, 이동 단말기(100)는 리스닝 모드에 진입하고, 이동 단말기(100)가 리스닝 모드에 있음을 나타내는 메시지(504)를 화면에 표시한다.
이동 단말기(100)는 리스닝 모드에 있기 때문에 사용자로부터 음성으로 정보 검색 요청을 수신할 수 있다. 이동 단말기(100)는 음성 형태의 정보 검색 요청에 대응하는 텍스트 형태의 정보 검색 요청(506)을 표시할 수 있다. 예를 들어, 이동 단말기(100)는 자체적으로 구비된 음성 변환기를 통해 음성 형태의 정보 검색 요청을 텍스트 형태의 정보 검색 요청(506)으로 변환하여 화면(500)에 표시할 수 있다. 또는, 이동 단말기(100)는 음성 형태의 정보 검색 요청을 서비스 제공자(200)에 송신하고, 서비스 제공자(200)가 음성 형태의 정보 검색 요청을 텍스트 형태의 정보 검색 요청(506)으로 변환하여 이동 단말기(100)에 제공할 수 있다.
이동 단말기(100)는 정보 검색 요청을 서비스 제공자(200)에 송신하고, 서비스 제공자(200)는 정보 검색 요청으로부터 쿼리를 추출하고, 추출한 쿼리를 검색 엔진에서 실행하여 정보 제공자(300)로부터 검색 결과를 획득할 수 있다. 검색 엔진은 검색 결과가 존재하는 경우에, 쿼리에 대응하는 검색 결과를 반환할 수 있다. 서비스 제공자(200)는 검색 결과를 이동 단말기(100)에 송신할 수 있다.
이동 단말기(100)는 서비스 제공자(200)로부터 검색 결과(510)를 화면(500)에 표시할 수 있다. 이 때, 화면(500)에 표시되는 검색 결과(510)는 사용자의 컨텍스트나 사용 히스토리 등 다양한 기준을 통해 다수의 검색 결과들 중에서 선택된 최적의 검색 결과가 될 수 있다. 이동 단말기(100)는 이와 같은 선택 기준(508)을 화면(500)에 더 표시할 수 있다.
도 5b는 검색 결과가 존재하지 않는 경우에 이동 단말기(100)에 표시되는 화면을 나타내는 개념도이다.
이동 단말기(100)는 정보 검색 요청을 서비스 제공자(200)에 전달하고, 서비스 제공자(200)는 검색 결과가 존재하지 않는 경우에 정보 검색 요청에 대응하는 검색 결과가 없음을 나타내는 메시지를 이동 단말기(100)에 송신할 수 있다. 이동 단말기(100)는 정보 검색 요청에 대응하는 검색 결과가 없음을 나타내는 메시지(512)를 화면(500)에 표시함과 동시에, 정보 검색 요청을 웹 서버에 송신하기 위한 항목(514)을 화면(500)에 표시한다. 정보 검색 요청을 웹 서버에 송신하기 위한 항목(514)은 사용자에 의해 선택 가능한 항목으로서, 정보 검색 요청을 웹 서버에 송신하기 위한 항목(514)이 선택되면, 이동 단말기(100)는 정보 검색 요청을 웹 서버에 송신한다.
도 5c는 텍스트 쿼리를 웹 서버에서 실행한 경우에 이동 단말기(100)에 표시되는 화면을 나타내는 개념도이다.
전술한 바와 같이, 이동 단말기(100)가 정보 검색 요청을 웹 서버에 전달하면, 웹 서버는 정보 검색 요청에 대응하는 검색 결과 페이지를 이동 단말기(100)에 송신한다. 이동 단말기(100)는 웹 서버로부터 수신한 페이지(516)를 화면(500)에 표시한다. 검색 결과가 없으면, 웹 서버는 텍스트 쿼리에 대응하는 검색 결과가 없음을 나타내는 페이지를 이동 단말기(100)에 송신하고, 이동 단말기(100)는 검색 결과가 없음을 나타내는 페이지를 화면(500)에 표시하게 된다.
한편, 서비스 제공자(200)는 정보 제공자(300)에 의해 제공되는 정보로부터 검색 결과를 획득할 수 있기 때문에, 검색 결과는 전적으로 정보 제공자(300)에 의해 제공되는 정보에 의존적일 수 밖에 없다(검색 결과가 없는 경우에 별도로 웹 검색 결과를 제공할 수 있지만, 이는 서비스 제공자(200)로부터 제공되는 검색 결과에 비하여 유용하지 못한 경우가 많다). 이는 다음과 같은 문제점들을 야기한다.
첫째, 정보 제공자(300)가 제공하는 지역적 범위의 한계를 벗어날 수 없다. 예를 들어, 쿼리가 지역 정보, 지도 정보 또는 교통 정보 등 위치 정보 기반의 쿼리인 경우에 정보 제공자(300)가 커버하지 못하는 지역에 대한 정보는 제공할 수 없게 된다. 이는 언어 문제로 확장될 수도 있는데, 정보 제공자(300)에 의해 제공되지 않는 언어로 된 정보는 제공될 수 없다.
둘째, 검색을 위해 개인 정보를 송신해야 하므로, 잠재적으로 사생활을 침해할 수 있는 문제가 발생한다. 예를 들어, 서비스 제공자(200)가 정확한 검색 결과를 제공하기 위해서는 이동 단말기(100)가 사용자의 음성 입력, 주소록 및 위치 정보와 같은 개인 정보를 서비스 제공자(200)에 송신해야 하는데, 이와 같은 정보를 서비스 제공자(200)가 저장하는 경우에 사생활 침해의 우려가 있게 된다.
셋째, 정보 제공자(300)에 의해 지원되지 않는 정보 또는 서비스에 대한 검색 결과를 제공할 수 없는 문제점이 발생한다. 예를 들어, 정보 제공자(300)가 TV 채널 검색 서비스나 항공 예약 서비스와 연계되지 않은 경우에, 해당 기능을 제공할 수 없는 문제점이 발생한다.
넷째, 서비스 제공자(200) 또는 네트워크(400) 상 오류가 존재하는 경우 정보 검색 서비스를 사용할 수 없다. 네트워크 기반으로 더 많은 정보를 제공하고, 또한 실시간으로 새로운 정보를 검색 결과에 반영할 수 있지만, 네트워크에 연결할 수 없는 상황이나 서비스 제공자(200)에서 오류가 발생하는 경우 정보 검색 서비스를 이용할 수 없는 불편함이 초래된다.
결국, 정보 검색 서비스가 정보 제공자(300)의 질에 따라 결정되기 때문에, 특히 지역 정보 기반의 서비스를 제공하는 정보 제공자를 모든 지역에서 확보하기 어렵고, 그 정보에 대한 만족도가 서로 다를 수 있게 된다. 본 발명은 이와 같은 문제를 해결하기 위해서, 사용자 참여형 정보 검색 서비스를 제공하기 위한 것이다. 이하에서는, 사용자 참여형 정보 검색 서비스를 제공하는 방법과 이를 채용하는 단말 및 서버에 대하여 설명한다.
도 6은 본 발명의 실시 예들에 따른 정보 검색 시스템을 나타내는 블록도이다. 본 발명의 실시 예들에 따른 정보 검색 시스템은, 이동 단말기(100), 서비스 제공자(200), 정보 제공자(300) 및 네트워크(400) 외에 사용자 생성 데이터베이스(310)를 포함한다.
사용자 생성 데이터베이스(310)는 서비스 제공자(200)가 쿼리에 대한 검색 결과를 정보 제공자(300)로부터 획득할 수 없는 경우에, 사용자에 의해 직접 입력된 정보를 저장하는 공간을 의미한다. 따라서, 사용자 생성 데이터베이스(310)는 사용자의 정보 검색 요청과 그에 대한 사용자(또는 사용자 본인 또는 제3 자)의 응답을 연계하여 저장한다.
즉, 사용자는 이동 단말기(100)를 통해 정보 검색 요청에 대한 응답을 음성으로 입력할 수 있고, 이동 단말기(100)는 입력된 응답을 서비스 제공자(200)에 송신한다. 서비스 제공자(200)는 정보 검색 요청과 입력된 응답을 연계하여 사용자 생성 데이터베이스(310)에 저장한다. 이 때, 정보 검색 요청에 대한 응답을 입력한 사용자의 프로파일 정보나 이동 단말기(100)의 위치 정보 또는 시간 정보 등 컨텍스트 정보가 함께 저장될 수 있다.
이후에, 서비스 제공자(200)는 이동 단말기(100)로부터 정보 검색 요청을 수신하고, 정보 검색 요청에 대응하는 쿼리에 대한 검색 결과를 정보 제공자(300)로부터 획득한다. 서비스 제공자(200)는 쿼리에 대한 검색 결과를 정보 제공자(300)로부터 획득할 수 없는 경우에, 사용자 생성 데이터베이스(310)로부터 쿼리에 대한 검색 결과를 획득한다. 이 때, 서비스 제공자(200)는 정보 검색 요청을 입력한 사용자의 프로파일 정보나 이동 단말기(100)의 위치 정보 또는 시간 정보 등 컨텍스트 정보에 근거하여, 사용자 생성 데이터베이스(310)로부터 쿼리에 대한 검색 결과를 획득할 수 있다.
예를 들어, 정보 검색 요청을 입력한 사용자가 20대 여성인 경우에 사용자 생성 데이터베이스(310)에서 20대 여성에 의해 저장된 정보에 근거하여 쿼리에 대한 검색 결과를 제공할 수 있다. 또는, 정보 검색 요청을 입력한 사용자가 강남역에 위치한 경우에 사용자 생성 데이터베이스(310)에서 강남역과 연관된 쿼리에 대한 검색 결과를 제공할 수 있다.
도 7은 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 흐름도이다. 사용자가 인식하는 것과 같이 과정은 즉시, 거의 즉시, 점진적 또는 기타 적절한 속도로 진행될 수 있다. 과정의 진행은 과정이 일단 활성화되면 사용자와는 무관하게 이동 단말기(100)와 같은 장치에 의하여 자동으로 제어될 수 있거나, 또는 사용자에 의하여 제어될 수 있다. 이하에 설명하는 과정의 흐름은 특정한 순서로 일어나는 것처럼 보이는 수많은 동작을 포함하지만, 이러한 과정은 직렬로 또는 병렬로(예를 들어, 병렬처리기 또는 멀티 쓰레딩(multi-threading) 환경을 이용하여) 실행 가능한, 더 많거나 적은 동작을 포함할 수 있음을 인식하여야 한다.
도 4에 도시된 제110 단계에 이어, 이동 단말기(100)는 서비스 제공자(200)로부터 정보 검색 요청에 대한 응답을 수신한다(S112). 그리고, 이동 단말기(100)는 정보 검색 요청에 대한 응답에 검색 결과가 포함되었는지 또는 검색 결과가 없음을 나타내는 메시지가 포함되었는지 판단한다(S114). 만약, 정보 검색 요청에 대한 응답에 검색 결과가 포함된 경우에, 이동 단말기(100)는 검색 결과를 표시한다(S116).
그런데, 정보 검색 요청에 대한 응답에 검색 결과가 포함되지 않은 경우에, 이동 단말기(100)는 웹 검색 요청을 위한 항목과 함께 사용자가 정보를 추가하기 위한 항목을 표시한다(S118). 그리고. 이동 단말기(100)는 웹 검색 요청을 위한 항목이 선택되는지 모니터링하고(S120), 웹 검색 요청을 위한 항목이 선택되면 웹 서버에 쿼리를 송신하고, 웹 서버로부터 검색 결과 페이지를 수신하여 표시한다(S122).
그리고, 이동 단말기(100)는 사용자가 정보를 추가하기 위한 항목이 선택되는지 모니터링하고(S124), 사용자가 정보를 추가하기 위한 항목이 선택되면 이동 단말기(100)는 리스닝 모드에 진입하고(S126), 리스닝 모드에 있음을 시각적 또는 청각적으로 나타낸다(S128).
그리고, 이동 단말기(100)는 사용자로부터 정보 검색 요청에 대한 응답을 음성으로 입력받고(S130), 입력된 응답을 서비스 제공자(200)에 송신한다(S132). 이 때, 입력된 응답이 정보 검색 요청과 연관될 수 있도록, 이동 단말기(100)는 정보 검색 요청에 대한 정보, 예를 들면 쿼리 자체 또는 쿼리에 대한 식별 정보를 서비스 제공자(200)에 함께 송신한다. 그리고, 이동 단말기(100)는 이동 단말기(100)의 위치 정보 및 시간 정보 중 적어도 하나와 같은 이동 단말기(100)의 컨텍스트 정보와, 사용자의 성별, 나이와 같은 사용자의 프로파일 정보를 서비스 제공자(200)에 함께 송신한다.
도시되지는 않았지만, 서비스 제공자(200)는 이동 단말기(100)로부터 수신한 사용자의 음성 응답의 파형을 분석(파싱)하여, 단어들을 검출하고 의미적으로 해석한다. 그리고, 서비스 제공자(200)는 해석 결과를 쿼리와 함께 사용자 생성 데이터베이스(310)에 저장한다. 이 때, 서비스 제공자(200)는 응답을 한 사용자의 프로파일이나 이동 단말기(100)의 컨텍스트 정보도 함께 사용자 생성 데이터베이스(310)에 저장한다.
도 8a 내지 도 8d는 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
도 8a는 검색 결과가 존재하지 않는 경우에 이동 단말기(100)에 표시되는 화면을 나타내는 개념도이다.
이동 단말기(100)는 고정적으로 또는 사용자의 선택에 따라 화면(600)에 음성 검색 항목(602)을 표시할 수 있다. 음성 검색 항목(602)이 선택되면, 이동 단말기(100)는 리스닝 모드에 진입하고, 이동 단말기(100)가 리스닝 모드에 있음을 나타내는 메시지(604)를 화면에 표시한다. 이동 단말기(100)는 리스닝 모드에 있기 때문에 사용자로부터 음성으로 정보 검색 요청을 수신할 수 있다.
이동 단말기(100)는 음성 형태의 정보 검색 요청을 서비스 제공자(200)에 송신할 수 있고, 서비스 제공자(200)로부터 정보 검색 요청에 대한 응답과 함께 음성 형태의 정보 검색 요청에 대응하는 텍스트를 수신할 수 있다. 이동 단말기(100)는 서비스 제공자(200)로부터 수신한 텍스트 쿼리(606)를 화면(600)에 표시하고, 또한 서비스 제공자(200)로부터 수신한 정보 검색 요청에 대한 응답을 화면(600)에 표시할 수 있다. 예를 들어, 응답이 검색 결과를 포함하는 경우에 이동 단말기(100)는 화면(600)에 검색 결과를 표시하고, 응답이 검색 결과를 포함하지 않는 경우에 화면(600)에 검색 결과가 없음을 나타내는 메시지(608)를 표시할 수 있다.
또한, 응답이 검색 결과를 포함하지 않는 경우에, 이동 단말기(100)는 정보 검색 요청에 대한 응답을 웹 서버로부터 수신하기 위한 항목(610) 및 정보 검색 요청에 대한 응답을 사용자 생성 데이터베이스(310)로부터 검색하기 위한 항목(612)을 화면(600)에 더 표시할 수 있다. 정보 검색 요청에 대한 응답을 웹 서버로부터 수신하기 위한 항목(610) 및 정보 검색 요청에 대한 응답을 사용자 생성 데이터베이스(310)로부터 검색하기 위한 항목(612)은 모두 선택 가능한 항목으로서, 도시된 바와 같이 개별적으로 구현될 수 있지만, 하나의 항목이 정보 검색 요청에 대한 응답을 웹 서버로부터 수신하기 위한 기능과 정보 검색 요청에 대한 응답을 사용자 생성 데이터베이스(310)로부터 검색하기 위한 기능을 모두 실행하기 위한 항목으로서 화면(600)에 표시될 수도 있다.
사용자에 의해 정보 검색 요청에 대한 응답을 웹 서버로부터 수신하기 위한 항목(610)이 선택되는 경우에, 이동 단말기(100)는 화면(600)에 도 5c에 도시된 바와 같이 검색 결과 페이지(516)를 표시한다. 만약, 정보 검색 요청에 대한 응답을 사용자 생성 데이터베이스(310)로부터 검색하기 위한 항목(612)이 사용자에 의해 선택되면, 이동 단말기(100)는 다시 리스닝 모드에 진입하고, 이동 단말기(100)가 다시 리스닝 모드에 있음을 나타내는 메시지(614)를 화면(600)에 표시한다.
이동 단말기(100)는 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받고, 입력된 사용자 응답(616)을 화면(600)에 표시한다. 이를 위해, 이동 단말기(100)는 음성 형태의 사용자 응답을 텍스트로 변환하여 화면(600)에 표시할 수 있다. 또는, 이동 단말기(100)는 음성 형태의 사용자 응답을 서비스 제공자(200)에 송신하고, 서비스 제공자(200)가 음성 형태의 사용자 응답을 텍스트로 변환하여 다시 이동 단말기(100)에 송신하면, 이동 단말기(100)가 서비스 제공자(200)로부터 수신한 텍스트 형태의 사용자 응답을 화면(600)에 표시할 수 있다.
이와 함께, 이동 단말기(100)는 사용자 응답을 저장하기 위한 항목(618)을 화면(600)에 표시한다. 사용자 응답을 저장하기 위한 항목(618)이 선택되면, 이동 단말기(100)는 사용자 응답을 저장하기 위한 요청을 서비스 제공자(200)에 송신하고, 서비스 제공자(200)는 요청에 따라 이동 단말기(100)로부터 수신한 사용자 응답을 사용자 생성 데이터베이스(310)에 저장할 수 있다. 이 때, 서비스 제공자(200)는 정보 검색 요청과 이동 단말기(100)로부터 수신한 사용자 응답을 연관시켜 저장할 수 있다. 이후에, 저장된 사용자 응답은 사용자 또는 다른 사용자의 정보 검색 요청에 대한 검색 결과로써 이동 단말기(100)에 제공될 수 있다.
도 8b에서, 사용자는 정보 검색 요청에 의해 요청되는 정보 자체, 예를 들면, 질문에 대한 답변을 음성으로 입력한다. 이와 달리 도 8c를 참조하면, 사용자는 정보 검색 요청에 의해 요청되는 정보에 연계된 정보, 예를 들면, 질문에 대한 답변을 획득할 수 있는 방법을 음성으로 입력한다. 본 발명의 실시 예들은 정보 검색 요청에 의해 요청되는 정보를 직접적으로 제공하거나 또는 정보 검색 요청에 의해 요청되는 정보를 그와 연계된 정보를 통해 간접적으로 제공하는 경우를 모두 포함한다.
이 과정에서, 이동 단말기(100)는 대화형 인터페이스를 제공할 수 있다. 즉, 대화형 인터페이스를 통해 이동 단말기(100)는 정보 검색 요청을 화면(600)에 표시할 수 있고, 같은 방식으로 이동 단말기(100)는 정보 검색 요청에 대한 사용자 응답을 화면(600)에 표시할 수 있다.
도 8d를 참조하면, 서비스 제공자(200)는 이동 단말기(100)의 사용자 응답을 저장하기 위한 요청에 대한 응답을 이동 단말기(100)에 송신한다. 예를 들어, 서비스 제공자(200)는 사용자 생성 데이터베이스(310)에 사용자 응답이 성공적으로 저장되었는지를 나타내는 메시지를 이동 단말기(100)에 송신할 수 있다. 이동 단말기(100)는 정보 검색 요청(624) 및 사용자 응답(626)과 함께, 사용자 응답이 사용자 생성 데이터베이스(310)에 성공적으로 저장되었는지를 나타내는 메시지(622)를 화면(600)에 표시할 수 있다.
도 9는 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 쿼리에 대한 검색 결과를 제공하는 과정을 나타내는 흐름도이다. 사용자가 인식하는 것과 같이 과정은 즉시, 거의 즉시, 점진적 또는 기타 적절한 속도로 진행될 수 있다. 과정의 진행은 과정이 일단 활성화되면 사용자와는 무관하게 이동 단말기(100)와 같은 장치에 의하여 자동으로 제어될 수 있거나, 또는 사용자에 의하여 제어될 수 있다. 이하에 설명하는 과정의 흐름은 특정한 순서로 일어나는 것처럼 보이는 수많은 동작을 포함하지만, 이러한 과정은 직렬로 또는 병렬로(예를 들어, 병렬처리기 또는 멀티 쓰레딩(multi-threading) 환경을 이용하여) 실행 가능한, 더 많거나 적은 동작을 포함할 수 있음을 인식하여야 한다.
이동 단말기(100)는 사용자로부터 정보 검색 요청을 음성으로 수신하여 서비스 제공자(200)에 송신한다(S202). 서비스 제공자(200)는 이동 단말기(100)로부터 정보 검색 요청을 수신하면(정보 검색 요청이 음성으로 전달되는 경우에 서비스 제공자(200)는 정보 검색 요청을 텍스트로 변환한다), 먼저, 정보 제공자(300)로부터 정보 검색 요청에 대응하는 검색 결과를 획득하는 시도를 한다(S204). 예를 들어, 서비스 제공자(200)는 정보 제공자(300)에서 정보 검색 요청에 대응하는 쿼리를 실행한다. 그리고. 서비스 제공자(200)는 정보 제공자(300)로부터 검색 결과를 획득할 수 있는지 판단하고(S206), 정보 제공자(300)로부터 검색 결과를 획득할 수 있는 경우에, 이동 단말기(100)에 정보 제공자(300)로부터 획득한 검색 결과를 송신한다(S208).
정보 제공자(300)로부터 검색 결과를 획득할 수 없는 경우에, 서비스 제공자(200)는 후속하여 사용자 생성 데이터베이스(310)로부터 검색 결과를 획득하는 시도를 한다(S210). 그리고. 서비스 제공자(200)는 사용자 생성 데이터베이스(310)로부터 검색 결과를 획득할 수 있는지 판단하고(S212), 사용자 생성 데이터베이스(310)로부터 검색 결과를 획득할 수 있는 경우에, 이동 단말기(100)에 사용자 생성 데이터베이스(310)로부터 획득한 검색 결과를 송신한다(S214).
만약, 정보 제공자(300) 및 사용자 생성 데이터베이스(310)로부터 검색 결과를 획득할 수 없는 경우에, 서비스 제공자(200)는 이동 단말기(100)에 검색 결과가 없음을 나타내는 메시지를 송신한다(S216).
본 발명의 실시 예들은 검색 순서에 구애받지 않으며, 예를 들어, 서비스 제공자(200)는 사용자 생성 데이터베이스(310)로부터 1차로 검색 결과를 획득하는 시도를 한 후에, 정보 제공자(300)로부터 2차로 검색 결과를 획득하는 시도를 하거나, 정보 제공자(300)와 사용자 생성 데이터베이스(310)로부터 동시에 검색 결과를 획득하는 시도를 할 수 있다.
도 10a 및 도 10b는 본 발명의 일 실시 예에 따라 이동 단말기(100)가 사용자에 의해 입력된 쿼리에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
이동 단말기(100)는 고정적으로 또는 사용자의 선택에 따라 화면(700)에 음성 검색 항목(702)을 표시할 수 있다. 음성 검색 항목(702)이 선택되면, 이동 단말기(100)는 리스닝 모드에 진입하고, 이동 단말기(100)가 리스닝 모드에 있음을 나타내는 메시지(704)를 화면에 표시한다. 이동 단말기(100)는 리스닝 모드에 있기 때문에 사용자로부터 정보 검색 요청을 음성으로 수신할 수 있다.
이동 단말기(100)는 정보 검색 요청(706)을 화면(700)에 표시할 수 있다. 예를 들어, 이동 단말기(100)는 음성 형태의 정보 검색 요청을 텍스트로 변환하여 화면(700)에 표시하거나, 음성 형태의 정보 검색 요청을 서비스 제공자(200)에 송신한 후에, 서비스 제공자(200)로부터 텍스트로 변환된 정보 검색 요청을 수신하여 화면(700)에 표시할 수 있다.
또한 이동 단말기(100)는 서비스 제공자(200)로부터 수신한 정보 검색 요청에 대한 응답을 화면(700)에 표시할 수 있다. 예를 들어, 응답이 서비스 제공자(200)가 정보 제공자(300)로부터 획득한 검색 결과를 포함하는 경우에 이동 단말기(100)는 화면(700)에 서비스 제공자(200)가 정보 제공자(300)로부터 획득한 검색 결과를 표시하고, 응답이 서비스 제공자(200)가 정보 제공자(300)로부터 획득한 검색 결과를 포함하지 않는 경우에 화면(700)에 정보 제공자(300)로부터 획득한 검색 결과가 없음을 나타내는 메시지(708)를 표시할 수 있다.
또한 예를 들어, 응답이 서비스 제공자(200)가 사용자 생성 데이터베이스(310)로부터 획득한 검색 결과를 포함하는 경우에, 이동 단말기(100)는 화면(700)에 서비스 제공자(200)가 사용자 생성 데이터베이스(310)로부터 획득한 검색 결과(712)를 표시할 수 있다. 이 때, 이동 단말기(100)는 서비스 제공자(200)로부터 사용자 생성 데이터베이스(310)로부터 획득한 검색 결과(712)에 대한 설명(710), 예를 들어, 해당 검색 결과(712)를 제공한 이동 단말기(100)의 컨텍스트 또는 사용자 프로파일을 획득하여, 화면(700)에 표시할 수 있다.
도 10a에서, 이동 단말기(100)는 서비스 제공자(200)로부터 정보 검색 요청에 의해 요청되는 정보 자체, 예를 들면, 질문에 대한 답변을 수신하여 사용자에게 제공한다. 이와 달리 도 10b를 참조하면, 이동 단말기(100)는 서비스 제공자(200)로부터 정보 검색 요청에 의해 요청되는 정보에 연계된 정보, 예를 들면, 질문에 대한 답변을 획득할 수 있는 방법을 수신하여 사용자에게 제공한다. 본 발명의 실시 예들은 정보 검색 요청에 의해 요청되는 정보를 직접적으로 제공하거나 또는 정보 검색 요청에 의해 요청되는 정보를 그와 연계된 정보를 통해 간접적으로 제공하는 경우를 모두 포함한다.
도 11은 본 발명의 일 실시 예에 따라 서비스 제공자(200)가 이동 단말기(100)로부터 수신한 정보 검색 요청에 대한 검색 결과를 제공하는 과정을 나타내는 개념도이다.
일 실시 예에서, 이동 단말기(100)로부터 수신된 정보 검색 요청에 대응하는 음성 쿼리는 검색 엔진에서 실행되기 전에 텍스트 쿼리로 변환된다. 예를 들어, 마이크와 같은 오디오 입력 컴포넌트를 통해 이동 단말기(100)로부터 수신된 음성 쿼리는 텍스트 쿼리를 처리하도록 설정된 텍스트 검색 엔진을 포함하는 적어도 하나의 검색 엔진(260)에서 쿼리가 실행되기 전에 텍스트로 인식될 수 있다.
서비스 제공자(200)는 이동 단말기(100)로부터 정보 검색 요청을 수신하고, 정보 검색 요청에 대응하는 음성 쿼리 또는 텍스트 쿼리를 수신하고 처리하도록 설정된다. 음성 수신부(220)는 음성 쿼리를 수신하도록 활성화되고, 텍스트 수신부(240)는 텍스트 쿼리를 수신하도록 활성화된다. 그러나, 쿼리가 실행되는 검색 엔진(260)은 텍스트 쿼리 만을 수신하도록 설정된 텍스트 검색 엔진을 포함할 수 있다. 그러므로, 서비스 제공자(200)는 쿼리 변환부(230)를 포함하는데, 쿼리 변환부(230)는 음성 쿼리를 수신하고, 이를 텍스트 쿼리로 인식하도록 설정된다. 텍스트 쿼리는 이후의 처리를 위해 쿼리 실행부(250)로 전달된다.
서비스 제공자(200)는 쿼리의 수신 및 처리를 향상시키기 위한 추가적인 프로세스를 수행한다. 예를 들어, 서비스 제공자(200)가 음성 쿼리를 수신하도록 설정되나, 음성 쿼리의 일부 용어가 발음의 변이 때문에 식별하기 어려울 수 있다. 따라서, 이와 같은 용어들의 발음의 범위를 포함하는 음성 쿼리 용어 데이터베이스는 변동적으로 발음되는 쿼리 용어들을 관련된 기술들을 대표하는 일반적인 쿼리 용어와 상호 연관시킬 수 있다. 음성 쿼리 용어 데이터베이스는 음성 쿼리의 음성 용어를 검색 엔진(260)에 송신하기 위해 텍스트 쿼리의 용인되는 텍스트 용어로 상호 연관시키는데 사용될 수 있다. 쿼리 변환부(230)는 그러므로 음성 쿼리 용어 데이터베이스의 음성 쿼리 용어를 식별하고 이와 같은 음성 쿼리 용어를 식별된 일반적인 텍스트 쿼리 용어로 변환함으로써 음성 쿼리를 텍스트 쿼리로 변환할 수 있다.
대안적으로 또는 추가적으로, 쿼리의 처리는 쿼리의 도메인에 따른 언어 모델에 따라 쿼리를 파싱함으로써 이루어질 수 있다. 예를 들어, 언어 모델은 사용자가 음성 쿼리를 말하는 동안 일반적으로 사용될 수 있는 언어에 따라 음성 쿼리를 처리하도록 고안될 수 있다.
도 12는 음성 인식기(231)에 따라 음성 쿼리의 수신을 처리하는 예시적인 실시 예를 나타낸다. 음성 인식기(231)는 n-gram 언어 모델(233)를 포함할 수 있는데, 이는 언어 모델 내의 공용 삼-언어 시퀀스의 단어에 기초하여 쿼리 용어를 식별하도록 설정된다. n-gram 언어 모델(223)은 음성 쿼리 셋과 대응하는 텍스트 쿼리를 트레이닝 셋으로 이용하여 음성 쿼리의 쿼리 용어를 인식하도록 훈련될 수 있고, 언어 모델의 단어에 따라 음성 쿼리의 음성 용어를 식별하는데 이용될 수 있다. 음성 인식기(231)는 음성 쿼리의 다양한 쿼리 용어의 발음의 표현을 포함하는 발음 모델(237)을 포함할 수 있다. 또한, 음성 인식기(231)는 음성 쿼리를 포함하는 음향 입력으로부터 음소를 식별하는 음향 모델(235)을 포함할 수 있다. 음향 모델(235)에 의해 식별된 음소는 발음 모델(237)에 따라 개별적인 쿼리 용어로 매칭될 수 있고, n-gram 언어 모델(233)에 따라 통계적으로 확률이 높은 쿼리 용어로 파싱될 수 있다. 음성 인식기(231)는 그러므로 텍스트 쿼리를 포함하는 결과로서 제공될 수 있는 인식 결과를 생성할 수 있다.
또한, 음성 쿼리를 텍스트 쿼리로 변환하는 동안 변환된 또는 인식된 쿼리는 의존할 수 있을 정도로 충분히 정확하지 않을 수 있다. 예를 들어, 텍스트 쿼리로 변환된 음성 쿼리는 충분히 정확하지 않을 수 있다. 그러므로, 서비스 제공자(200)는 쿼리를 변환한 후에 그리고 변환된 쿼리를 검색 엔진(260)에서 실행하기 전에 변환된 쿼리를 사용자에게 확인하도록 설정될 수 있다. 사용자가 변환된 쿼리를 확인하면, 변환된 쿼리는 검색 엔진(260)에서 실행될 수 있지만, 사용자가 변환된 쿼리를 확인하지 않으면, 쿼리의 대안적인 파싱이 제안될 수 있고, 그리고/또는 사용자는 쿼리를 다시 입력하게 될 수 있다. 당업자는 여기에 개시된 기술들을 구현함에 있어, 수신 및 정규화와 관련된 다양한 개선된 실시 예를 고안할 수 있을 것이다.
이 기술들의 실시 예들에서 변경될 수 있는 두 번째 양태는 쿼리가 실행될 수 있는 데이터베이스에 관한 것이다. 제1 예에서, 다양한 검색 엔진(260)들, 예를 들어, 인터넷 또는 다른 네트워크 상에서 웹 페이지를 검색하도록 설정된 웹 검색 엔진, 로컬 또는 네트워크 파일 시스템 상에 저장된 파일들을 검색하도록 설정된 파일 검색 엔진, 디바이스에 저장된 오브젝트들을 검색하도록 설정된 오브젝트 검색 엔진, 또는 데이터베이스의 레코드를 검색하도록 설정된 데이터베이스 검색 엔진과 같은 다양한 데이터 소스를 커버하도록 설정될 수 있다. 제2 예에서, 다양한 검색 엔진들은, 예를 들어, 자연어 쿼리, 키워드 쿼리, 수학적 쿼리, 또는 프로그래밍 언어로 작성된 쿼리와 같은 상이한 형태의 쿼리를 수용하도록 설정될 수 있다. 제3 예에서, 다양한 검색 엔진들(260)은 필드-기반의 제한, 불리언 로직, 또는 프로그래밍 로직과 같은 다양한 논리적 구성을 지원할 수 있다. 여기에 개시된 기술들을 구현하는 동안 많은 형태의 쿼리가 다양한 형태의 검색 엔진(260)에서 실행될 수 있다.
검색 엔진(300)에서 텍스트 쿼리가 실행되면 검색 엔진(260)은 쿼리 실행부(250)에 검색 결과들을 반환한다. 검색 결과들은 웹 페이지, 파일, 오브젝트 또는 레코드 등의 데이터 소스로부터 획득될 수 있다. 검색 결과들은 각각의 도메인에 연관될 수 있는데, 도메인은 어떠한 검색 결과도 연관될 수 있는 일반적인 카테고리를 나타내는 인덱스로서 사전에 정의될 수 있다. 그러나, 도메인은 사전에 정의된 범위 내에서 커버되지 않는 경우에도, 검색 결과의 속성에 따라 새로 생성될 수도 있다. 도메인은 검색 결과에 포함된 주제와 관련된 의미 정보를 식별함으로써 획득될 수 있다. 예를 들어, 다양한 형태의 콘텐츠는 그러한 콘텐츠에 내재된 의미, 즉, 이메일 주소, 메일 주소, 또는 전화 번호, 메시지 서비스에서 사용되는 별칭 등과 같은 연락처 정보를 식별하는 메타 데이터를 포함할 수 있다. 서비스 제공자(200)는 이러한 의미 정보를 메타 데이터로부터 독출하여 사전에 정의된 쿼리 도메인에 매칭시키는 과정을 수반할 수 있다.
대안적으로, 도메인은 검색 결과의 식별 가능한 특별한 속성에 의해 획득될 수 있다. 예를 들어, 검색 결과는 이름과 같이 첫번째 문자가 대문자이고 둘 이상의 단어들의 조합과 같이 일반적으로 구조화된 경우에 정규 표현(regular expressions), 휴리스틱(heuristics), 기계-학습 분류기(machine-learning classifiers) 또는 패턴 매칭 기술을 통해 도메인에 매칭될 수 있다. 또는, 도메인은 검색 결과를 검색하는 과정에서 작용한 중요한 팩터가 될 수 있다. 예를 들어, 검색 결과의 타이틀에서 언급되거나 연관된 콘텐츠에서 현저하게 언급된 이름이 도메인으로 추정될 수 있다. 또는, 자연어 파서(natural language parser)가 시사와 관련된 콘텐츠를 평가하고 검색 결과에 대한 도메인을 선택하는데 이용될 수 있다. 또는, 신경 네트워크 또는 베이시안 분류 함수와 같은 통계적 분류기가 검색 결과의 도메인을 결정하는데 이용될 수 있다. 예를 들어, 도메인은 사용자에 의해 URL이 클릭된 도메인을 식별함에 의해 결정될 수 있다.
도 13a 및 도 13b는 본 명세서에 개시된 다른 일 실시 예에 따른 이동 단말기(100)가 정보 검색 요청에 대한 사용자 응답을 입력하기 위한 음성 인터페이스를 제공하는 과정을 설명하기 위한 개념도이다.
도 13a 및 도 13b에 도시된 실시 예들은, 이동 단말기(100)의 사용자가 서비스 제공자(200)로부터의 정보 검색 요청에 대한 응답이 검색 결과가 없음을 나타내는 경우에, 직접 사용자 응답을 입력할 수 있는 인터페이스를 제공하기 위한 것이다.
이동 단말기(100)는 정보 검색 요청을 수신하면, 정보 검색 요청을 서비스 제공자(200)에 송신하고, 서비스 제공자(200)로부터 정보 검색 요청에 대한 응답을 수신한다. 그리고, 이동 단말기(100)는 정보 검색 요청에 대한 응답이 검색 결과를 포함하는 경우에, 검색 결과를 화면에 표시한다. 그러나, 이동 단말기(100)는 정보 검색 요청에 대한 응답이 검색 결과를 포함하지 않는 경우에, 즉, 정보 검색 요청에 대한 응답이 검색 결과가 없음을 나타내는 경우에, 이동 단말기(100)는 정보 검색 요청을 메모리(160)에 저장한다. 이후에, 사용자로부터 다른 정보 검색 요청을 수신하고, 수신한 다른 정보 검색 요청에 대해서도 동일하게 처리한다.
사용자가 검색 결과가 없었던 정보 검색 요청을 표시하기 위한 항목을 선택하면, 도 13a에 도시된 바와 같이, 이동 단말기(100)는 검색 결과가 없었던 적어도 하나의 정보 검색 요청(906)을 안내 메시지(904)와 함께 표시한다. 그리고, 각 정보 검색 요청(906)에는 정보 검색 요청(906)에 사용자 응답을 추가하기 위한 항목(908)을 더 표시한다. 사용자 응답을 추가하기 위한 항목(908)은 사용자에 의해 선택 가능한 항목이 될 수 있다.
도 13b를 참조하면, 사용자에 의해 사용자 응답을 추가하기 위한 항목(908)이 선택되면, 이동 단말기(100)는 리스닝 모드에 진입하며, 이동 단말기(100)가 리스닝 모드에 있음을 나타내는 메시지(910)와 함께, 계속하여 선택된 항목(908)에 대응하는 정보 검색 요청(912)을 표시한다. 사용자는 음성으로 정보 검색 요청(912)에 대한 사용자 응답을 입력하고, 이동 단말기(100)는 입력된 사용자 응답을 화면(900)에 표시한다. 또한, 이동 단말기(100)는 입력된 사용자 응답(914)을 정보 검색 요청(912)과 함께 저장하도록 서비스 제공자(200)에 요청한다. 서비스 제공자(200)는 사용자 응답(914)을 정보 검색 요청(912)과 연관시켜 저장하고, 저장 결과를 이동 단말기(100)에 송신한다.
도 14a 및 도 14b는 본 명세서에 개시된 또 다른 일 실시 예에 따른 이동 단말기(100)가 정보 검색 요청에 대한 사용자 응답을 입력하기 위한 음성 인터페이스를 제공하는 과정을 설명하기 위한 개념도이다.
도 14a 및 도 14b에 도시된 실시 예들은, 이동 단말기(100)의 사용자가 외부 단말기로부터 사용자 응답을 요청하는 메시지를 수신함에 따라, 사용자 응답을 입력할 수 있는 인터페이스를 제공하기 위한 것이다.
도 14a를 참조하면, 이동 단말기(100)는 음성 검색 항목(1002)이 선택되어 리스닝 모드에 진입하면, 리스닝 모드에 있음을 나타내는 메시지(1004)를 표시한다. 그리고, 사용자로부터 정보 검색 요청을 수신하면, 정보 검색 요청(1006)을 화면(1000)에 표시한다. 이동 단말기(100)는 정보 검색 요청을 서비스 제공자(200)에 송신하고, 서비스 제공자(200)로부터 정보 검색 요청에 대한 응답을 수신한다. 그리고, 이동 단말기(100)는 정보 검색 요청에 대한 응답이 검색 결과를 포함하는 경우에, 검색 결과를 화면에 표시한다.
그러나, 이동 단말기(100)는 정보 검색 요청에 대한 응답이 검색 결과를 포함하지 않는 경우에, 즉, 정보 검색 요청에 대한 응답이 검색 결과가 없음을 나타내는 경우에, 검색 결과가 없음을 나타내는 메시지(1008)를 화면(1000)에 표시한다. 이와 함께, 이동 단말기(100)는 정보 검색 요청에 대한 응답을 웹 서버로부터 수신하기 위한 항목(1010) 및 정보 검색 요청에 대한 응답을 외부 단말기의 사용자로부터 수신하기 위한 항목(1012)을 화면(1000)에 표시한다.
도 14b를 참조하면, 외부 단말기(100')는 이동 단말기(100)로부터 푸쉬 알림 서비스(또는 조회 서비스)를 이용하여 정보 검색 요청을 수신하고, 정보 검색 요청(1106)과 정보 검색 요청(1106)에 대한 설명(1104)을 화면(1100)에 표시하면서, 리스닝 모드에 진입한다. 외부 단말기(100')는 사용자로부터 음성으로 정보 검색 요청에 대한 사용자 응답을 수신하고, 수신한 사용자 응답을 다시 이동 단말기(100)에 송신한다.
이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 사용자의 음성 입력에 기초한 정보 검색 요청을 서버에 송신하는 단계;
    상기 서버로부터 상기 정보 검색 요청에 대한 응답을 수신하는 단계; 및
    상기 응답이 검색 결과가 없음을 나타내는 경우에, 상기 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받기 위한 항목을 표시하는 단계를 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  2. 제1 항에 있어서, 상기 항목은,
    상기 서버로부터 상기 정보 검색 요청에 대한 웹 검색 결과를 수신함과 동시에 상기 사용자로부터 상기 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받기 위한 항목인 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  3. 제1 항에 있어서, 상기 서버로부터 상기 정보 검색 요청에 대한 웹 검색 결과를 수신하기 위한 항목을 표시하는 단계를 더 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  4. 제1 항에 있어서, 상기 항목이 선택되면, 사용자로부터 상기 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받는 단계를 더 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  5. 제4 항에 있어서, 상기 사용자 응답을 음성으로 입력받는 단계는,
    상기 항목이 선택되면, 대화형 인터페이스를 제공하는 단계; 및
    상기 대화형 인터페이스를 통해 상기 사용자로부터 상기 정보 검색 요청에 대한 제2 응답을 음성으로 입력받는 단계를 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  6. 제4 항에 있어서, 상기 사용자로부터 입력된 사용자 응답을 상기 서버에 송신하는 단계를 더 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  7. 제6 항에 있어서, 상기 단말기의 위치 정보 및 시간 정보 중 적어도 하나를 획득하는 단계; 및
    상기 단말기의 위치 정보 및 시간 정보 중 적어도 하나를 상기 서버에 송신하는 단계를 더 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  8. 제6 항에 있어서, 사용자의 프로파일 정보를 획득하는 단계; 및
    상기 사용자의 프로파일 정보를 상기 서버에 송신하는 단계를 더 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  9. 제4 항에 있어서, 상기 정보 검색 요청에 대한 사용자 응답은,
    상기 정보 검색 요청에 의해 요청된 정보 자체 또는 상기 정보 검색 요청에 의해 요청된 정보와 연계된 정보를 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  10. 제1 항에 있어서, 상기 항목이 선택되면, 외부 단말기에 상기 정보 검색 요청을 송신하는 단계; 및
    상기 외부 단말기로부터 상기 정보 검색 요청에 대한 사용자 응답을 수신하는 단계를 더 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  11. 정보 검색 요청에 대한 서버로부터의 응답이 검색 결과가 없음을 나타내는 적어도 하나의 정보 검색 요청을 표시하는 단계;
    사용자로부터 상기 적어도 하나의 정보 검색 요청에 대한 사용자 응답을 음성으로 입력받는 단계; 및
    상기 입력된 사용자 응답을 상기 서버에 송신하는 단계를 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  12. 제11 항에 있어서, 상기 정보 검색 요청은,
    상기 사용자부터 음성으로 입력되는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  13. 제12 항에 있어서, 상기 정보 검색 요청이 상기 사용자로부터 음성으로 입력되면, 상기 서버에 상기 입력된 정보 검색 요청을 송신하고, 상기 서버로부터 상기 정보 검색 요청에 대한 응답을 수신하는 단계; 및
    상기 입력된 정보 검색 요청에 대한 응답이 검색 결과가 없음을 나타내는 경우에, 상기 사용자로부터 음성으로 입력된 정보 검색 요청을 저장하는 단계를 더 포함하는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  14. 제11 항에 있어서, 상기 정보 검색 요청은,
    외부 단말기로부터 수신되는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
  15. 제14 항에 있어서, 상기 정보 검색 요청은,
    푸쉬 알림 서비스를 이용하여 상기 외부 단말기로부터 수신되는 것을 특징으로 하는 단말기의 사용자 인터페이스 제공 방법.
PCT/KR2012/001050 2012-02-13 2012-02-13 단말기의 사용자 인터페이스 제공 방법 WO2013122269A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/376,384 US9557903B2 (en) 2012-02-13 2012-02-13 Method for providing user interface on terminal
PCT/KR2012/001050 WO2013122269A1 (ko) 2012-02-13 2012-02-13 단말기의 사용자 인터페이스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2012/001050 WO2013122269A1 (ko) 2012-02-13 2012-02-13 단말기의 사용자 인터페이스 제공 방법

Publications (1)

Publication Number Publication Date
WO2013122269A1 true WO2013122269A1 (ko) 2013-08-22

Family

ID=48984370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/001050 WO2013122269A1 (ko) 2012-02-13 2012-02-13 단말기의 사용자 인터페이스 제공 방법

Country Status (2)

Country Link
US (1) US9557903B2 (ko)
WO (1) WO2013122269A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140156383A1 (en) * 2012-12-03 2014-06-05 24/7 Customer, Inc. Ad-words optimization based on performance across multiple channels
US9414004B2 (en) 2013-02-22 2016-08-09 The Directv Group, Inc. Method for combining voice signals to form a continuous conversation in performing a voice search
KR102056485B1 (ko) * 2013-05-09 2019-12-17 삼성전자 주식회사 수신 메시지 특성에 따른 메시지 수신 알림 방법 및 장치
KR102246893B1 (ko) * 2013-12-11 2021-04-30 삼성전자주식회사 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법
US10248913B1 (en) * 2016-01-13 2019-04-02 Transit Labs Inc. Systems, devices, and methods for searching and booking ride-shared trips
US10671343B1 (en) * 2016-06-30 2020-06-02 Amazon Technologies, Inc. Graphical interface to preview functionality available for speech-enabled processing
KR102366617B1 (ko) 2017-03-28 2022-02-23 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US11945651B2 (en) * 2019-01-03 2024-04-02 Lg Electronics Inc. Method of controlling robot system
US11410656B2 (en) 2019-07-31 2022-08-09 Rovi Guides, Inc. Systems and methods for managing voice queries using pronunciation information
US11494434B2 (en) 2019-07-31 2022-11-08 Rovi Guides, Inc. Systems and methods for managing voice queries using pronunciation information
US20210264910A1 (en) * 2020-02-26 2021-08-26 Answer Anything, Llc User-driven content generation for virtual assistant
US20220100756A1 (en) * 2020-09-30 2022-03-31 Microsoft Technology Licensing, Llc Navigation agent for a search interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020079121A (ko) * 2001-04-13 2002-10-19 김창호 이동통신 단말기를 이용한 정보 검색 시스템과 그시스템을 이용한 정보 검색방법
KR20030012284A (ko) * 2001-07-31 2003-02-12 (주)한국음성도메인센터 사용자 단말기용 웹브라우저와 그 구동방법 및 웹브라우징서비스 시스템
JP2003281173A (ja) * 2002-03-22 2003-10-03 Toshiba Corp 情報収集システム、情報収集方法及びコンピュータに情報収集を実行させるプログラム
KR100494113B1 (ko) * 2000-08-21 2005-06-08 (주)신종 웹 브라우저를 이용한 정보 검색 시스템

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9116989B1 (en) * 2005-08-19 2015-08-25 At&T Intellectual Property Ii, L.P. System and method for using speech for data searching during presentations
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7742922B2 (en) * 2006-11-09 2010-06-22 Goller Michael D Speech interface for search engines
US8898568B2 (en) * 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8121586B2 (en) * 2008-09-16 2012-02-21 Yellowpages.Com Llc Systems and methods for voice based search
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
US8381107B2 (en) * 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US8311838B2 (en) * 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8682667B2 (en) * 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10496714B2 (en) * 2010-08-06 2019-12-03 Google Llc State-dependent query response
US9171105B2 (en) * 2011-11-22 2015-10-27 Lg Electronics Inc. Electronic device and method of operating the same
US20130167175A1 (en) * 2011-12-22 2013-06-27 Lg Electronics Inc. Electric device and method of controlling the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100494113B1 (ko) * 2000-08-21 2005-06-08 (주)신종 웹 브라우저를 이용한 정보 검색 시스템
KR20020079121A (ko) * 2001-04-13 2002-10-19 김창호 이동통신 단말기를 이용한 정보 검색 시스템과 그시스템을 이용한 정보 검색방법
KR20030012284A (ko) * 2001-07-31 2003-02-12 (주)한국음성도메인센터 사용자 단말기용 웹브라우저와 그 구동방법 및 웹브라우징서비스 시스템
JP2003281173A (ja) * 2002-03-22 2003-10-03 Toshiba Corp 情報収集システム、情報収集方法及びコンピュータに情報収集を実行させるプログラム

Also Published As

Publication number Publication date
US20140359523A1 (en) 2014-12-04
US9557903B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
WO2013122269A1 (ko) 단말기의 사용자 인터페이스 제공 방법
KR101961139B1 (ko) 이동 단말기 및 그것의 음성 인식 방법
WO2018135743A1 (ko) 발화 완료 감지 방법 및 이를 구현한 전자 장치
WO2011068374A2 (en) Method and apparatus for providing user interface of portable device
WO2015111818A1 (en) Emotional-speech synthesizing device, method of operating the same and mobile terminal including the same
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2012050248A1 (ko) 이동 단말기 및 그 제어 방법
WO2015064903A1 (en) Displaying messages in an electronic device
WO2014137074A1 (en) Mobile terminal and method of controlling the mobile terminal
WO2011062429A2 (en) Method and apparatus for operating mobile terminal having at least two display units
WO2014010974A1 (en) User interface apparatus and method for user terminal
WO2013077487A1 (en) Electronic device and method of operating the same
KR20130005174A (ko) 휴대 전자기기 및 이의 제어방법
KR101914548B1 (ko) 음성 인식 기능을 구비한 이동 단말기 및 그 검색 결과 제공 방법
WO2017179876A1 (en) Platform for interaction via commands and entities
WO2016003219A1 (en) Electronic device and method for providing content on electronic device
KR20100047719A (ko) 단말기 및 그 제어 방법
WO2014208783A1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
WO2018093005A1 (en) Mobile terminal and method for controlling the same
WO2020082766A1 (zh) 输入法的联想方法、装置、设备及可读存储介质
WO2015199279A1 (en) Mobile terminal and control method thereof
KR20140100315A (ko) 이동 단말기 및 그것의 제어 방법
WO2013015463A1 (ko) 이동 단말기 및 그 제어방법
EP3994687A1 (en) Electronic apparatus and controlling method thereof
WO2014133227A1 (ko) 오디오 데이터를 이용한 프레즌스 정보 제공 시스템, 이를 위한 장치 및 이를 위한 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12868650

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14376384

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12868650

Country of ref document: EP

Kind code of ref document: A1