WO2017039153A1 - 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템 - Google Patents

서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템 Download PDF

Info

Publication number
WO2017039153A1
WO2017039153A1 PCT/KR2016/008120 KR2016008120W WO2017039153A1 WO 2017039153 A1 WO2017039153 A1 WO 2017039153A1 KR 2016008120 W KR2016008120 W KR 2016008120W WO 2017039153 A1 WO2017039153 A1 WO 2017039153A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
user terminal
terminal device
user
processor
Prior art date
Application number
PCT/KR2016/008120
Other languages
English (en)
French (fr)
Inventor
김학래
이승현
이정수
양정연
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160005887A external-priority patent/KR102469758B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201680051214.9A priority Critical patent/CN107924421A/zh
Priority to US15/755,434 priority patent/US11637939B2/en
Priority to EP16842119.6A priority patent/EP3346395A4/en
Publication of WO2017039153A1 publication Critical patent/WO2017039153A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • the present invention relates to a server device, a user terminal device, a control method and an electronic system thereof, and more particularly, to a server device, a user terminal device, a control method and an electronic system for providing recommended device information.
  • the general public is not accustomed to grasping the various functions provided by the new electronic device, and at the same time there is a difficulty in utilizing these functions.
  • the present invention is in accordance with the above-described needs, and an object of the present invention is to provide a server device, a user terminal device, a control method and an electronic system for providing recommended device information compatible with a specific device.
  • the server device is a communication unit for communicating with a user terminal device, storage for storing compatibility information between devices and the user terminal device is accessed to the server device to the user
  • the processor When the identification information of the user terminal device is received from the terminal device, the processor generates a recommended device information compatible with the user terminal device based on the information stored in the storage and includes a processor for transmitting to the user terminal device.
  • the user terminal device is a display unit, a communication unit for communicating with the server device and when the user terminal device accesses the server device, the identification information of the user terminal device; And a processor for transmitting to the server apparatus, receiving recommended device information compatible with the user terminal apparatus from the server apparatus, and displaying the recommended device information on the display.
  • the electronic system stores the compatibility information between the user terminal device and the device to access the server device to transmit the identification information of the user terminal device to the server device,
  • the user terminal device accesses the server device and receives identification information of the user terminal device from the user terminal device
  • the user terminal device generates recommended device information compatible with the user terminal device based on the stored information.
  • a server device for transmitting to the mobile station and the user terminal device may receive and display recommended device information compatible with the user terminal device from the server device.
  • a method of controlling a server device may include: receiving, by a user terminal device, identification information of the user terminal device from the user terminal device by accessing the server device, based on inter-device compatibility information Generating recommended device information compatible with the user terminal device and transmitting the generated recommended device information to the user terminal device.
  • the user terminal device accesses a server device, transmitting the identification information of the user terminal device to the server device, from the server device. Receiving recommended device information compatible with a user terminal device and displaying the received recommended device information.
  • recommended device information compatible with the user device may be generated, and the generated information may be provided to the user.
  • FIG. 1 is a diagram illustrating an electronic system according to an exemplary embodiment.
  • FIG. 2A is a block diagram illustrating a configuration of a server device according to an embodiment of the present invention.
  • FIG. 2B is a block diagram showing the detailed configuration of the server device shown in FIG. 2A.
  • FIG. 3 is a block diagram illustrating a configuration of a user terminal device according to an exemplary embodiment.
  • FIG. 4 is a diagram for describing a function provided by each device according to an embodiment of the present invention.
  • FIG. 5 is a diagram for describing a method of processing a spoken voice signal according to an exemplary embodiment.
  • FIG. 6 is a diagram for describing a process of selecting a device according to an exemplary embodiment.
  • FIG. 7 is a view for explaining a method of linking a function expressed in a spoken voice and specification information according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a UI screen for inducing input of a spoken voice according to an embodiment of the present invention.
  • FIG. 9 is a diagram for describing stepwise induction of input of a spoken voice according to an embodiment of the present invention.
  • FIG. 10 is a diagram for describing display of detailed information of a selected device according to an exemplary embodiment
  • FIG. 11 is a diagram illustrating displaying graph specification information corresponding to a spoken voice according to an embodiment of the present invention.
  • 12A to 12F are diagrams for describing an example of a UI provided by a user terminal device.
  • 13A and 13B are diagrams for describing an example of a method of determining recommended device information based on spatial information.
  • FIG. 14 is a sequence diagram for describing operations of a server device and a user terminal device according to an exemplary embodiment.
  • 15 is a flowchart illustrating a control method of a server apparatus according to an exemplary embodiment.
  • 16 is a flowchart illustrating a control method of a user terminal device according to an exemplary embodiment.
  • 17 is a diagram for describing a method of providing device information according to an extended embodiment of the present invention.
  • 18A and 18B are diagrams for describing an example of a sensor provided in the device.
  • 19A to 19C are diagrams for describing an example of a data processing method of the server apparatus 100.
  • 20 is a flowchart illustrating an operation of a server device according to an extended embodiment of the present invention.
  • one component eg, a first component
  • another component eg, a second component
  • Reference to “connected to” should be understood to include all components, even when each component is directly connected or indirectly connected through another component (eg, a third component).
  • a component e.g., a first component
  • it is different from a component. It may be understood that there is no other component (eg, a third component) between the elements.
  • the electronic system 1000 includes a server device 100 and a user terminal device 200.
  • the server device 100 may communicate with the user terminal device 200.
  • the server device 100 may receive identification information of the user terminal device 200 from the user terminal device 200.
  • the identification information may include information such as a product name, a product type, a serial number, a manufacturer, and user information of the user terminal device 200.
  • the server device 100 may be implemented as a central server (or integrated server) or cloud server using cloud computing technology, which is responsible for interaction between various operating systems and applications in all network systems.
  • cloud computing refers to internet-based computing technology, and is a web-based software service that places a program in a utility data server on the Internet and loads a program on a computer or a mobile phone.
  • the server device 100 may receive identification information of another device in addition to the identification information of the user terminal device 200 from the user terminal device 200.
  • the server device 100 may receive identification information of the user's laptop, an MP3 player, etc. in addition to the identification information of the user's smartphone as the identification information of the user terminal device 200.
  • the server device 100 may receive authentication information for accessing the user's account from the user terminal device 200.
  • the authentication information may include an ID, password, and the like of the user account.
  • the authentication information may include fingerprint information, iris information, and the like of the user.
  • the server device 100 stores compatibility information between devices.
  • the server device 100 may store information about a device capable of data communication with the user terminal device 200.
  • the device-to-device compatibility information may include at least one of hardware compatibility information and software compatibility information.
  • the server device 100 may store information about a device using the same connection socket standard as the user terminal device 200 as hardware compatible information.
  • the server device 100 may store information about a device supported by the same application as the user terminal device 200 as software compatible information.
  • the server device 100 may generate recommended device information compatible with the user terminal device 200 and transmit the generated recommended device information to the user terminal device 200.
  • the server device 100 may generate information including a notebook of the same manufacturer, etc., as a recommended device compatible with the user terminal device 200, and transmit the generated information to the user terminal device 200.
  • the user terminal device 200 may communicate with the server device 100.
  • the user terminal device 200 may transmit identification information of the user terminal device 200 to the server device 200.
  • the user terminal device 200 may transmit identification information of a device other than the user terminal device 200 or authentication information for accessing an account of the user to the server device 200.
  • the user terminal device 200 may receive and display device information from the server device 100.
  • the device information may include information on how the device is compatible with a device having identification information transmitted by the user terminal device 200 as well as information on a product name, a serial number, a manufacturer, and the like of the device.
  • the device information may be a graphic card that can be connected to the A monitor with a DVI standard, and a universal serial bus (USB) standard.
  • the storage medium may be connected, and the smartphone may be connected via a high definition multimedia interface (HDMI).
  • HDMI high definition multimedia interface
  • FIG. 2A is a block diagram illustrating a configuration of a server device 100 according to an embodiment of the present invention.
  • the server device 100 includes a communication unit 110, a storage 120, and a processor 130.
  • the communication unit 110 may communicate with the user terminal device 200.
  • the communication unit 110 may receive identification information about the device from the user terminal device 200, and may transmit recommended device information to the user terminal device 200.
  • the communication unit 110 may receive authentication information for accessing the user's account from the user terminal device 200 and transmit recommended device information compatible with the device registered in the user's account to the user terminal device 200. have.
  • the communication unit 110 may communicate with the user terminal device 200 using a wired / wireless LAN, WAN, Ethernet, Bluetooth, Zigbee, IEEE 1394, Wifi, or PLC (Power Line Communication). Communication can be performed.
  • the storage 120 may store specification information about a plurality of devices.
  • the storage 120 may store at least one of function information, appearance information, device name, manufacturer name, size information, and device type information as specification information.
  • the storage 120 is spec information about a TV, and may store information about an HDMI support function, 42-inch, OLED TV, A manufacturing company, and the like.
  • the storage 120 may store information on other devices such as a laptop, a washing machine, a cleaner, as well as a TV.
  • the storage 120 may store compatibility information between devices based on the stored specification information. Since it has been described above, a detailed description thereof will be omitted.
  • the storage 120 may store a user language system in which representative functions provided by the device are expressed in various forms such as nouns, verbs, and syntax.
  • the storage 120 may store a database storing a list of device and specification information, and a database linking user language system and specification information.
  • the processor 130 controls the overall operation of the server device 100.
  • the processor 130 may include one or more of a central processing unit (CPU), a controller, an application processor (AP), a communication processor (CP), and an ARM processor. It may include.
  • the processor 130 may be configured based on the information stored in the storage 120.
  • the recommended device information compatible with the user terminal device 200 may be generated and transmitted to the user terminal device 200.
  • the user terminal device 200 may be directly connected to the server device 100 through Bluetooth, or indirectly through an internet network.
  • the processor 130 may determine that the user terminal device 200 has accessed the server device 100.
  • the processor 130 receives the authentication information for the user account from the user terminal device 200, and if the user account is accessible through the received authentication information, the user terminal device 200 to the server device 100 It may be determined that it has been accessed.
  • the server device 100 stores the user account, but the present invention is not limited thereto.
  • an external server device for storing a user account separate from the server device 100 may be provided. In this case, the server device 100 may transmit the received authentication information to the external server device to access the user account. have.
  • the processor 130 may receive identification information of the user terminal device 200 from the user terminal device 200 after the user terminal device 200 is accessed.
  • the identification information of the user terminal device 200 may include information such as a product name, a product type, a serial number, a manufacturer, and user information of the user terminal device 200.
  • the server device 100 may receive a serial number of the user terminal device 200 from the user terminal device 200, and determine a product type, specification information, and the like of the user terminal device 200.
  • the present invention is not limited thereto, and the server device 100 may simply receive the entire specification information of the user terminal device 200 as well as the identification information of the user terminal device 200.
  • the processor 130 may generate recommended device information compatible with the device registered in the user account.
  • the user account may include device information previously registered by the user.
  • the server device 100 may generate recommended device information compatible with the user terminal device 200 based on the information stored in the storage 120. For example, the server device 100 may identify the user terminal device 200 based on the received identification information, and then extract the specification information of the user terminal device 200. The server device 100 may generate recommended device information compatible with the user terminal device 200 based on the extracted specification information.
  • the server device 100 may receive specific information from the specification information of the user terminal device 200 from the user terminal device 200.
  • the server device 100 may further receive information about the display from the user terminal device 200, in which case, the processor 130 may be based on a connection method of the display of the user terminal device 200, or the like. To generate compatible recommended device information.
  • the processor 130 may extract all compatible recommendation device information based on the specification information of the user terminal device 200, and may sort the extracted information according to a predetermined criterion. For example, the processor 130 may extract the first recommendation device list based on the connection method of the display, and extract the second recommendation device list based on the communication connection method. The processor 130 may generate recommended device information by sorting the extracted first and second recommendation device lists according to a predetermined criterion.
  • the processor 130 may transmit the generated recommended device information to the user terminal device 200.
  • the processor 130 recommends device information associated with at least one text included in the speech speech signal. Can be determined.
  • the user terminal device 200 may be provided with a microphone.
  • the spoken voice signal may be a signal obtained by digitizing a user's voice input to the user terminal device 200.
  • the present invention is not limited thereto, and the server device 100 may receive text extracted from the spoken voice of the user from the user terminal device 200.
  • the processor 130 may extract at least one text included in the spoken voice signal and determine device information associated with the extracted text as recommended device information. For example, when the processor 130 receives an uttered voice signal, "Find a monitor that can be wirelessly connected to my smartphone.”, The processor 130 extracts “smartphone”, “wireless connection”, and “monitor.”
  • the recommended device information may be generated by extracting a wireless communication function of the phone and extracting a monitor supporting the extracted wireless communication function.
  • the processor 130 may receive text input information input through the user terminal device 200 from the user terminal device 200.
  • the processor 130 may determine device information related to the received text information as recommended device information.
  • the processor 130 may detect specification information associated with at least one text included in the spoken voice signal from the storage 120, and determine information about a device having the detected specification information as recommended device information.
  • the specification information may include at least one of function information, appearance information, device name, manufacturer name, size information, and device type information.
  • the processor 130 detects, from the storage 120, specification information about an interworking function between a plurality of different types of devices, and the interworking function. Information about the device providing the UE may be determined as recommended device information.
  • the processor 130 may transmit a signal for requesting input of the additional spoken voice to the user terminal device 200.
  • the user terminal device 200 may receive a signal for requesting the input of the additional spoken voice and display a question for inducing the input of the additional spoken voice.
  • the processor 130 recommends device information associated with at least one text included in each of the user input speech signals input stepwise. Can be determined.
  • the processor 130 may transmit information on the number of functions supported by each of the recommended devices corresponding to the extracted specification information to the user terminal device 200.
  • the processor 130 may determine recommended device information having specification information corresponding to each of the plurality of user spoken voices as recommended device information. In particular, the processor 130 may transmit recommended device information corresponding to each of the plurality of user spoken voice signals to the user terminal device 200.
  • the processor 130 calculates the size of the specific space based on the received image and calculates the calculated space size.
  • the device information corresponding to may be determined as recommended device information.
  • the processor 130 may calculate the size of a specific space based on the size and shape information of the previously stored identification image.
  • the processor 130 may determine device information compatible with the user terminal device 200 and the registered user device as recommended device information, based on user device information registered in the user's account of the user terminal device 200. .
  • FIG. 2B is a block diagram showing the detailed configuration of the server device 100 shown in FIG. 2A. A detailed description of components overlapping with those shown in FIG. 2A among those shown in FIG. 2B will be omitted.
  • the processor 130 includes a RAM 131, a ROM 132, a main CPU 133, a graphics processor 134, first to n interface 135-1 to 135-n, and a bus 136.
  • the RAM 131, the ROM 132, the main CPU 133, the graphics processor 134, the first to nth interfaces 135-1 to 135-n, and the like may be connected to each other through the bus 136.
  • the first to n interfaces 135-1 to 135-n are connected to the aforementioned various components.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the main CPU 133 accesses the storage 120 and performs booting using an operating system stored in the storage 120. In addition, various operations are performed using various programs, contents, data, and the like stored in the storage 120.
  • the ROM 132 stores a command set for system booting.
  • the main CPU 133 copies the O / S stored in the storage 120 to the RAM 131 according to the command stored in the ROM 132, and executes the O / S.
  • Boot up When booting is completed, the main CPU 133 copies various programs stored in the storage 120 to the RAM 131 and executes the programs copied to the RAM 131 to perform various operations.
  • the graphic processor 134 generates a screen including various objects such as an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • An operation unit (not shown) calculates attribute values such as coordinate values, shapes, sizes, colors, and the like in which objects are displayed according to the layout of the screen based on the received control command.
  • the renderer generates a screen having various layouts including objects based on the attribute values calculated by the calculator.
  • the graphic processor 134 may generate a UI screen for providing various guide information about environmental conditions. Meanwhile, the above-described operation of the processor 130 may be performed by a program stored in the storage 120.
  • the storage 120 stores various data such as an operating system (O / S) software module, a device information module, and a spatial information calculation module for driving the server device 100.
  • O / S operating system
  • FIG. 3 is a block diagram illustrating a configuration of a user terminal device 200 according to an exemplary embodiment.
  • the user terminal device 200 includes a display 210, a communication unit 220, and a processor 230.
  • the display 210 may display compatible device information received from the server apparatus 100 under the control of the processor 230.
  • the display 210 may display a list of devices compatible with the user terminal device 100.
  • the display 210 may be implemented as a liquid crystal display panel (LCD), organic light emitting diodes (OLED), or the like, but is not limited thereto. In some cases, the display 210 may be implemented as a flexible display, a transparent display, or the like.
  • LCD liquid crystal display panel
  • OLED organic light emitting diodes
  • the communicator 220 may communicate with the server device 100.
  • the communication unit 220 may transmit identification information about the device to the server device 100 and receive recommended device information from the server device 100.
  • the communication unit 220 may transmit authentication information for accessing the user's account to the server device 100, and receive recommended device information compatible with the device registered in the user's account from the server device 100. .
  • the communication unit 220 communicates with the server device 100 using wired / wireless LAN, WAN, Ethernet, Bluetooth, Zigbee, IEEE 1394, Wifi, or PLC (Power Line Communication). Can be performed.
  • the processor 230 generally controls the operation of the user terminal device 200.
  • the processor 230 may include one or more of a central processing unit (CPU), a controller, an application processor (AP), a communication processor (CP), and an ARM processor. It may include.
  • the processor 230 transmits identification information of the user terminal apparatus 200 to the server apparatus 100, and the user terminal apparatus ( Recommended device information compatible with 200 may be received and displayed on the display 110.
  • the user terminal device 200 further includes an input unit such as a microphone for receiving a user spoken voice, and the processor 230 displays device information associated with at least one text included in the user spoken voice among recommended device information. can do.
  • an input unit such as a microphone for receiving a user spoken voice
  • the processor 230 displays device information associated with at least one text included in the user spoken voice among recommended device information. can do.
  • the user terminal device 200 may further include a camera, and the processor 230 may display device information corresponding to the size of a specific space photographed by the camera among recommended device information.
  • the processor 230 may calculate the size of the specific space based on the size and shape information of the previously stored identification image.
  • the processor 230 transmits authentication information for accessing the user's account of the user terminal device 200 to the server device 100, and from the server device 100, the user terminal device 200 and the authenticated user account. Receive and display recommended device information compatible with the user device registered in the.
  • the processor 230 may display a question for inducing an additional user spoken voice when the number of recommended devices is more than a preset number. For example, the processor 230 may display a question for inducing additional user spoken voice when the recommended device information cannot be displayed on the screen of the display 210 at one time.
  • the processor 230 displays a question for guiding the user spoken voice step by step, and when the user spoken voice for the question is input, transmits the user spoken voice input step by step to the server apparatus 100, and inputs stepwise.
  • the recommended device information corresponding to the user spoken voice may be received and displayed.
  • the processor 230 displays a question for guiding a user speech voice step by step, transmits the entire speech input step by step to the server apparatus 100, receives and displays recommended device information corresponding to the entire speech voice. can do.
  • the processor 230 may display the specification information corresponding to the user's spoken voice input in steps as a graph.
  • the processor 230 may further display detailed information of the selected device.
  • the processor 230 may display specification information of the selected device, or may display the compatibility information of the selected device and the user terminal device 200.
  • the processor 230 may receive information on the number of functions supported by each of the recommended devices corresponding to the specification information extracted from the server apparatus 100, and display the recommended device information based on the received information. For example, the processor 230 may highlight and display a device having a large number of supported functions.
  • the processor 230 transmits the plurality of user spoken voice signals to the server apparatus 100, and specifications corresponding to each of the plurality of user spoken voices from the server apparatus 100.
  • the recommended device having the information may be received and displayed together with the plurality of user spoken voices.
  • the processor 230 may remove and display a device having specification information corresponding to the deactivated user spoken voice from among recommended device information.
  • FIG. 4 is a diagram for describing a function provided by each device according to an embodiment of the present invention.
  • the storage 120 of the server apparatus 100 may store a function provided by each device.
  • the storage 120 may be stored as a TV providing a function of watching a broadcast, playing a content, and sharing a content.
  • the storage 120 provides a freezer function, a freezer function, a store function, and the like, and a cleaner function of cleaning, dusting, and moving of the refrigerator. It may be stored as providing a function such as (Move).
  • the storage 120 is not limited thereto and may store information on more types of devices.
  • the storage 120 may store information on a function provided by setting a detailed category of each device.
  • the storage 120 may store information on a function provided by setting a detailed category for each TV manufacturer.
  • the storage 120 may set detailed categories of detailed categories and store information.
  • the storage 120 may store information about a function provided based on the type of panel among products of the A manufacturer of the TV.
  • the storage 120 may also store compatibility information between the devices.
  • the storage 120 may store compatibility information between devices of the same kind.
  • the storage 120 may store compatibility information between heterogeneous devices.
  • the processor 130 may be configured based on the information stored in the storage 120.
  • the recommended device information compatible with the user terminal device 200 may be generated and transmitted to the user terminal device 200.
  • the processor 130 recommends device information associated with at least one text included in the speech speech signal. Can be determined.
  • the processor 130 may determine a TV having a content playing function as recommended device information.
  • the processor 130 may extract a function provided by the device and determine a device providing the extracted function as recommended device information.
  • the storage 120 may be stored with a function provided for a smartphone, a notebook, a desktop PC, and the like.
  • the processor 130 may determine not only a TV but also a smartphone, a notebook, and the like as recommended device information.
  • the processor 130 may determine a device of a detailed category corresponding to the spoken voice signal as recommended device information. For example, the processor 130 may determine a TV having a xxx-xxxxxxx serial number of the manufacturer A corresponding to the spoken voice signal as recommended device information.
  • the processor 130 may transmit information to the user terminal device 200 by including not only a list of recommended devices but also information on functions provided by the recommended device in the recommended device information. For example, the processor 130 may transmit the entire specification information of the recommended device to the user terminal device 200.
  • FIG. 5 is a diagram for describing a method of processing a spoken voice signal according to an exemplary embodiment.
  • the processor 130 may determine that it is a watch 510. That is, the processor 130 may extract a language input having a similar meaning as one word input. This extraction process may be based on information stored in the storage 120.
  • the processor 130 may extract the word “viewing” when a speech voice signal such as “see...”, “I want to see”, “show me” is received.
  • the processor 130 may display a device name of a TV, a smartphone, or the like that provides a “viewing” function based on the information stored in the storage 120.
  • the storage 120 may store a database in which various languages having similar meanings are grouped into technical terms or specification terms. Such a database may be stored in advance when the server apparatus 100 is released, or may be downloaded from an external device later. It may also be updated periodically or from time to time.
  • the processor 130 may extract a plurality of words from the spoken voice signal to derive a new word.
  • the processor 130 may extract a new word by extracting a function and a device type from the spoken voice signal.
  • the processor 130 may extract the Play 520 and the TV from the spoken voice signal and derive the Watch 510.
  • this extraction process of processor 130 may be based on information stored in storage 120.
  • FIG. 6 is a diagram for describing a process of selecting a device according to an exemplary embodiment.
  • the processor 130 may detect spec information associated with at least one text included in the spoken voice signal from the storage 120, and determine a device having the detected spec information as recommended device information.
  • the processor 130 may derive a watch from the spoken voice signal and extract a device that provides a smart view 610 function and a twin tuner 620 function as a function corresponding to the watch.
  • the processor 130 extracts the first device 630, the second device 640, and the third device 650 supporting the smart view 610 function, and the third device supporting the twin tuner 620 function.
  • 650 can be extracted.
  • the processor 130 may classify and extract devices that support each function.
  • the processor 130 is a device that supports the smart view 610 function, and extracts the first device 630, the second device 640, and the third device 650, and the twin tuner 620.
  • the third device 650 may be extracted as a device that supports a) function.
  • the present invention is not limited thereto, and the processor 130 may extract only the third device 650 supporting both functions.
  • the smart view 610 and the twin tuner 620 are described as functions corresponding to the watch, but the present invention is not limited thereto.
  • the function corresponding to the watch may include an HDMI support function as well as a smart view 610 function and a twin tuner 620 function.
  • FIG. 7 is a view for explaining a method of linking a function expressed in a spoken voice and specification information according to an embodiment of the present invention.
  • the processor 130 may detect specification information about the interworking function between the plurality of different types of devices from the storage 120. Can be.
  • the processor 130 may further extract a mobile phone and a TV as well as a watch.
  • the processor 130 may detect specification information regarding an interworking function between the mobile phone and the TV in relation to the watch. That is, the processor 130 may detect the MHL support function and the HDMI support function for interworking the display function of the mobile phone and the TV.
  • the present invention is not limited thereto, and the processor 130 may detect an AllShare support function using WiFi.
  • the processor 130 may transmit the compatibility information between the devices providing the interworking function to the user terminal device 200.
  • the processor 130 may determine the name of the mobile phone with the MHL support function and the name of the TV with the HDMI support function as recommended device information and transmit the recommended device information to the user terminal device 200.
  • the processor 130 may determine a list of a mobile phone and a TV having an AllShare support function using WiFi as recommended device information and transmit the recommended device information to the user terminal device 200.
  • the processor 230 of the user terminal device 200 transmits identification information of the user terminal device 200 to the server device 100, and the server.
  • the recommended device information compatible with the user terminal device 200 may be received from the device 100 and displayed on the display 210.
  • the user terminal device 200 may further include an input unit for receiving a user spoken voice, and the processor 230 may display device information associated with at least one text included in the user spoken voice among recommended device information. .
  • FIG. 8 is a diagram illustrating a UI screen for inducing input of a spoken voice according to an embodiment of the present invention.
  • the processor 230 of the user terminal device 200 may display a UI screen 810 for inducing input of a spoken voice.
  • the processor 230 may display a UI screen 820 indicating a list of devices on one side of the UI screen for inducing input of the spoken voice.
  • the processor 230 may display a question for inducing input of the spoken voice. For example, if the processor 230 detects that the user is in the vicinity of the user terminal device 200 but there is no input of the spoken voice, such as "What device is needed" to induce the input of the spoken voice. The question can be displayed. However, this is only an example, and the processor 230 may display other types of questions or perform no operation.
  • the processor 230 may display a question for inducing input of the additional spoken voice. For example, the processor 230 may display a question such as "well moving bent cleaner.”
  • the processor 230 may generate a question that guides the input of the additional spoken voice based on the information received from the server device 100.
  • the server device 100 may transmit a signal for requesting a specific function of the TV to the user terminal device 200 from the spoken voice signal "I need a TV.”
  • the processor 230 may display a question “Do you need a high resolution display?” Associated with the TV based on the signal received from the server device 100.
  • the processor 230 may generate this question from the spoken voice. For example, if a spoken voice of "I need a TV" is input, the processor 230 may not extract the specification information about the function, but may extract the TV as a device type, and the "high resolution display related to the TV may be displayed.” Do you need it? "
  • the processor 230 may display a question for inducing input of additional speech voices. For example, when the number of devices having the detected specification information is 20 or more, the processor 230 may reduce the number of devices to 20 by inducing an additional speech voice. If the number of devices having the HDMI support function and the specification information corresponding to 60 or more TVs having the corresponding specification information is 20 or more, the processor 230 inputs additional speech voices such as "TV with wall-mounting". Can be derived.
  • the processor 230 may determine the order of the devices to be displayed among the devices included in the recommended device information based on the number of functions supported by each device corresponding to the extracted specification information. For example, the processor 230 may generate a list of TVs that support the HDMI support function, the WiFi function, and the like, which may be linked with the mobile phone according to the input of the spoken voice of "TV compatible with the mobile phone.” In addition, the processor 230 may display a TV supporting both an HDMI support function and a WiFi function by placing the TV on the upper side of the list. However, the present invention is not limited thereto, and the processor 230 may display a TV supporting any one function on the list.
  • FIG. 9 is a diagram for describing stepwise induction of input of a spoken voice according to an embodiment of the present invention.
  • the processor 230 displays a question 910 for guiding the input of the spoken voice step by step, and when the spoken voice for the question is input, transmits the spoken voice input step by step to the server apparatus 100.
  • the recommended device information may be received from the server apparatus 100.
  • the processor 230 may display the question “Would you like to use it throughout the house?” And, if there is an input of the spoken voice, may display a step-by-step question such as "Do you want to be quiet?" have. In this case, the processor 230 may display the question of the next step regardless of whether the recommendation device information corresponding to the question of the specific step is received from the server device 100.
  • the server device 100 may gradually transmit recommended device information corresponding to the received speech signal in steps to the user terminal device 200.
  • the processor 230 may receive and display recommended device information from the server apparatus 100 step by step. In this case, the processor 230 may separately display the recommended device information received in stages, or may display only the recommended devices overlapping in each stage.
  • the processor 230 may display a question that may be answered yes or no, or may display a question requesting detailed information. For example, the processor 230 may display a question such as "How many inches of cell phone do you want a mobile phone with?"
  • the processor 230 may transmit only the information input until then to the server apparatus 100 and display a list of devices based on the received recommended device information. have.
  • the present invention is not limited thereto, and the processor 230 may display the question in stages and change the display list in real time based on the recommended device information received in stages.
  • FIG. 10 is a diagram for describing display of detailed information of a selected device according to an exemplary embodiment
  • the processor 230 may further display detailed information of the selected device 1010 on one side 1020 of the list. Can be. For example, when a user input for selecting a third device on the list is received, the processor 230 may display detailed information about the third device on the right side of the list. However, the present invention is not limited thereto, and the processor 230 may display the overlapping list.
  • the processor 230 may prominently display a portion corresponding to the input speech voice in the detailed information. For example, if the processor 230 generates a list based on power consumption from the spoken voice, the processor 230 may display the power consumption in bold in the detailed information.
  • the present invention is not limited thereto, and the processor 230 may display power consumption in a different color, and any method may be used as long as it may differ from other information.
  • the processor 230 may display not only an image of a device on the list but also simple device information.
  • the processor 230 may display a list of devices and detailed information together from the beginning.
  • FIG. 11 is a diagram illustrating displaying graph specification information corresponding to a spoken voice according to an embodiment of the present invention.
  • the processor 230 may display specification information corresponding to the input speech in stages as a graph 1110. .
  • the processor 230 has an input of a speech voice for a cleaner that becomes like a mop, a cleaner with low noise, and a well-moving bent cleaner, and if any one device is selected from the list of devices corresponding thereto, a process is performed.
  • the specification information may be displayed on the graph 1110.
  • the processor 230 may display specification information corresponding to the spoken voice using a table.
  • 12A to 12F are diagrams for describing an example of the UI provided by the user terminal device 200.
  • the processor 230 may display an initial screen for searching for a device.
  • the processor 230 may provide a search icon 1210 and a detection icon 1220 for device search.
  • the processor 230 may sense a nearby device by using a sensor provided by the user terminal device 200. For example, the processor 230 may activate a Bluetooth function to detect a device around the user terminal device 200 and display the detected device.
  • the processor 230 may directly receive and display specification information of the device from the detected device, receive only identification information from the detected device, and receive and display information corresponding to the received identification information from the server apparatus or the like. You may.
  • the processor 230 may display the screen illustrated in FIG. 12B.
  • the processor 230 may receive a spoken voice of a user and configure and display a screen corresponding thereto.
  • the processor 230 may provide a screen that categorizes functions provided by the TV from the spoken voice of the user who wants to search for the TV.
  • a category for a TV is illustrated to include an exterior, convenience, a screen, and the like. However, this is only an exemplary embodiment, and a category may be provided according to other criteria.
  • the processor 230 may provide content sharing, easy to configure, and the like as a subcategory.
  • the processor 230 may provide information about a specific function corresponding to the selected subcategory. For example, the processor 230 displays items such as Built in Wi-Fi, Ethernet, Wi-Fi Ready, etc., when Connectivity is selected as a higher category and Internet Access is selected as a lower category. can do.
  • the processor 230 may configure and provide a device list having the selected function. For example, the processor 230 may provide the most sold TV among the TVs having the selected function at the top of the display area, and provide a list of other TVs having the selected function at the bottom of the display area.
  • the present invention is not limited thereto, and the processor 230 may arrange the devices in a different sorting manner such as the order of device release and the price of the device.
  • the processor 230 may provide all of the specification information of the device provided at the top, and provide only a part of the specification information of the device provided at the bottom. If the user does not want the device provided on the top, the user can select another device on the bottom to control the display on the top.
  • the user may reduce the number of devices provided by selecting a plurality of functions. For example, a user may set a price condition as well as an internet connection to reduce the number of devices.
  • the processor 230 may provide information on compatibility between devices. For example, as shown in FIG. 12E, when the user selects a specific TV and selects a smartphone, the processor 230 may allow the TV and the smartphone selected by the user to share the screen through the smart view function or to use a cable. It can provide information that screen sharing is possible. At this time, the processor 230 may further display that the camera, the game console, and the like can share the screen with the TV selected by the user, but the notebook, the tablet, and the like cannot share the screen.
  • the processor 230 may compare the plurality of devices based on the user's preference criteria. As illustrated in FIG. 12F, the processor 230 may recommend a device that is more advantageous to the user based on the display size, curved shape, and price of the plurality of TVs selected by the user.
  • the processor 230 may compare a plurality of devices by weighting the user's preference criteria. For example, the processor 230 may set the weight of the display size and the curved shape to be higher than the weight of the price to compare the plurality of devices. The weight may be set by the user or may be preset based on previous sales data.
  • 13A and 13B are diagrams for describing an example of a method of determining recommended device information based on spatial information.
  • the photographed image may be an image photographed by the user terminal device 200.
  • the user terminal device 200 may further include a camera, and the processor 230 may transmit an image photographed by the camera to the server device 100.
  • the processor 130 of the server device 100 receives an image photographing a specific space from the user terminal device 200 through the user terminal device 200, the processor 130 calculates the size of the specific space based on the received image.
  • Device information corresponding to the calculated space size may be determined as recommended device information.
  • the processor 130 may determine a specific space based on the size and shape information of the previously stored identification image 1310. The size can be calculated.
  • the user may designate an area to be measured.
  • the processor 130 may calculate the size of the area to be measured by detecting the identification image 1310 in the area to be measured even if the area to be measured is designated by the user.
  • the storage 120 may store information about the identification image 1310.
  • the processor 130 may calculate a size of a specific space by using information about the identification image 1310 stored in the storage 120.
  • the processor 130 may calculate the size of a specific space based on the number of pixels occupied by the identification image 1310 in the captured image. Can be.
  • the processor 130 may calculate a photographing angle of the photographing surface and the photographing device based on the shape of the identification image 1310.
  • the processor 130 may calculate the size of a specific space based on the photographing angle.
  • the processor 130 may provide the calculated specific space size information, as shown in the third drawing of FIG. 13A.
  • the processor 130 may provide size information including at least one of a nuber, a height, a depth, and a distance of a specific space.
  • the processor 130 may transmit the calculated size information of the specific space to the user terminal device 200.
  • the processor 130 may generate recommended device information based on the calculated size information of the specific space and transmit the generated recommended device information to the user terminal device 200.
  • the storage 120 may store horizontal, vertical and height information of the device.
  • the storage 120 may store necessary space information considering the use characteristics of the device.
  • the storage 120 may store space information necessary for opening and closing a door of a refrigerator, space information considering a viewing distance of a TV, and space information for purifying air of an air cleaner.
  • the server device 100 calculates the size of a specific space, but is not limited thereto.
  • the user terminal device 200 may calculate the size of a specific space.
  • the processor 230 of the user terminal device 200 captures an image by a camera, and when an identification image included in the photographed image is detected, calculates a size of a specific space based on the size and shape information of the previously stored identification image. can do.
  • the processor 230 may display device information corresponding to the size of the specific space photographed by the camera among the recommended device information.
  • the processor 230 may virtually overlay one of the devices corresponding to the size of the specific space in the specific space and provide the same.
  • the processor 230 may display a preview image taken by the camera, and virtually display one of the recommended devices in a specific space. Accordingly, the user can determine whether the device is suitable for a specific space without purchasing the device.
  • FIG. 14 is a sequence diagram for describing operations of the server device 100 and the user terminal device 200 according to an exemplary embodiment.
  • the user terminal device 200 may access the server device 100 and transmit identification information of the user terminal device 200 to the server device (S1410). Alternatively, the user terminal device 200 may transmit identification information about another device to the server device 100.
  • the user terminal device 200 may transmit authentication information for accessing an account of the user of the user terminal device 200 to the server device 100.
  • Information about the user's account may be stored in the server device 100.
  • a user may access a user account after executing a specific application in the user terminal device 200.
  • the user terminal device 200 may encrypt the authentication information and transmit the encrypted authentication information to the server device 100.
  • the server device 100 may store compatibility information between devices. Alternatively, the server device 100 may store specification information of the device. Alternatively, the server device 100 may store information about the user's account or may manage the user's account itself. For example, the server device 100 may store information about a device possessed by the user in association with the user's account.
  • the server device 100 may determine the user terminal device based on the stored information. In operation S1420, the recommended device information compatible with the operation 200 may be generated. In operation S1430, the server device 100 may transmit the generated information to the user terminal device 200.
  • the server device 100 may determine device information compatible with the user terminal device 200 and the registered user device as recommended device information based on user device information registered in the user's account of the user terminal device 200. The determined information may be transmitted to the user terminal device 200.
  • the user terminal device 200 may receive and display recommended device information compatible with the user terminal device 200 from the server device 100 (S1440).
  • the user terminal device 200 may receive and display recommended device information compatible with the user device registered in the user terminal device 200 and the authenticated user account from the server device 100.
  • 15 is a flowchart illustrating a control method of a server apparatus according to an exemplary embodiment.
  • the user terminal device accesses the server device to receive identification information of the user terminal device from the user terminal device (S1510).
  • recommended device information compatible with the user terminal device is generated based on the device-to-device compatibility information.
  • the generated recommended device information is transmitted to the user terminal device.
  • the receiving step (S1510) receives a user speech voice signal input through the user terminal device from the user terminal device, and generating (S1520) the device information associated with at least one text included in the spoken voice signal It may be determined by the recommended device information.
  • an image of photographing a specific space may be received from the user terminal device through the user terminal device, and in operation S1520, the size of the specific space may be calculated based on the received image.
  • the method may include determining device information corresponding to the calculated space size as recommended device information.
  • the calculating may include detecting an identification image included in the received image and calculating a size of a specific space based on the size and shape information of the previously stored identification image.
  • the device information compatible with the user terminal device and the registered user device may be determined as recommended device information based on the user device information registered in the user's account of the user terminal device.
  • 16 is a flowchart illustrating a control method of a user terminal device according to an exemplary embodiment.
  • the identification information of the user terminal device is transmitted to the server device (S1610).
  • recommended device information compatible with the user terminal device is received from the server device.
  • the received recommended device information is displayed.
  • the method may further include receiving a user spoken voice, and displaying (S1630) may display device information associated with at least one text included in the user spoken voice among recommended device information.
  • the device information corresponding to the size of the specific space photographed by the camera may be displayed among the recommended device information.
  • the method may further include photographing an image by a camera, detecting an identification image included in the photographed image, and calculating a size of a specific space based on the size and shape information of the previously stored identification image.
  • the authentication information for accessing an account of the user of the user terminal device is transmitted to the server device, and in operation S1620, the server device is registered in the user terminal device and an authenticated user account.
  • the recommended device information compatible with the user device may be received.
  • the server apparatus receives the identification information from the user terminal apparatus and provides the recommended device information.
  • the server apparatus is not limited thereto.
  • 17 is a diagram for describing a method of providing device information according to an extended embodiment of the present invention.
  • the electronic system includes a server device 100, a plurality of devices 300-1, 300-2, 300-3, and 300-4 and a large format display (LFD) device 400.
  • the server device 100, the plurality of devices 300-1, 300-2, 300-3, and 300-4 and the large format display (LFD) device 400 may be connected to the same network.
  • the server device 100, the plurality of devices 300-1, 300-2, 300-3, and 300-4 and the large format display (LFD) device 400 may be disposed in the same store to have one network. May be connected to
  • Each of the plurality of devices 300-1, 300-2, 300-3, and 300-4 may have a sensor, and when a user's manipulation is detected by the sensor, the server apparatus 100 may provide information on the user's manipulation. Can be sent to. For example, when a user opens a door of the refrigerator 300-1 at a store, the refrigerator 300-1 may transmit a signal to the server device 100 that the door is opened.
  • the server device 100 may extract related information based on the received sensing information, and transmit the extracted information to the LFD device 400. For example, when the detection result is received from the refrigerator 300-1, the server device 100 may transmit information about the refrigerator 300-1 to the LFD device 400. The LFD device 400 displays the received information, and the user can view specific information about the refrigerator 300-1.
  • the transmitted information may include information corresponding to the sensing information as well as detailed specification information of the device.
  • the information transmitted is based on the additional specification information of the refrigerator 300-1, as well as the time when the door was opened, information about how much the door was opened, and additional energy consumed based on the time the door was opened. Information may be included.
  • the server device 100 may generate information about a device compatible with the corresponding device and transmit the information to the LFD device 400. For example, when the server device 100 receives the detection result from the notebook 300-2, the server device 100 may generate recommended device information compatible with the notebook 300-2 and transmit the generated device information to the LFD device 400.
  • the server device 100 may generate recommended device information based on the detection result. For example, when the user executes the Bluetooth function of the notebook 300-2, the notebook 300-2 may transmit the Bluetooth function execution information to the server device 100, and the server device 100 may transmit the Bluetooth function.
  • the supported recommended device information may be generated and transmitted to the LFD device 400.
  • the server device 100 may recommend the same kind of product based on the detection result. For example, when the user operates the smartphone 300-3, the server device 100 may further include information about another smartphone as well as information about the smartphone 300-3 operated by the user. Transmit to device 400. However, the present disclosure is not limited thereto, and the server apparatus 100 may transmit information about devices supporting the same hardware standard as well as products of the same type to the LFD apparatus 400.
  • the LFD device 400 may perform a promotional function or an information transfer function as a large display.
  • the LFD device 400 may be a stand alone device consisting of one panel or a video wall device connecting several panels.
  • the LFD device 400 may display information received from the server device 100.
  • the LFD device 400 may receive image information from the server device 100 and display the image information on the entire display area.
  • the LFD device 400 may receive a plurality of contents from the server device 100, rearrange and display the plurality of received contents.
  • the LFD device 400 may receive text and video from the server device 100, and may arrange and display text and video according to a preset layout.
  • the LFD device 400 may simultaneously display predetermined content and information received from the server device 100.
  • the LFD device 400 may display advertisement content of a store where the LFD device 400 is installed in one area of the display, and display information received from the server device 100 in the remaining area.
  • 18A and 18B are diagrams for describing an example of a sensor provided in the device.
  • the device may include a sensor in each component, or provide a main function provided by the device in association with the sensor.
  • the refrigerator may include a sensor that detects opening and closing of the refrigerator door, and detects opening and closing of the refrigerator door through a sensor and provides detailed information.
  • functions and sensors provided according to devices may be configured differently.
  • FIG. 18A illustrates that the refrigerator includes eight sensors, the refrigerator may include sensors differently in some cases.
  • 18B shows specific information about eight sensors. Such information may be stored in the server device 100.
  • the server device 100 may store information on a specification / function name, an applied sensor, an operation method, and the like of each sensor. For example, when a signal indicating that the first sensor is activated, the server device 100 may detect that there is an opening / closing of the refrigerator door.
  • the first sensor may be a magnetic door sensor.
  • the server device 100 may extract a device to be displayed in the LFD device 400 and specification information of the device based on the detected information and transmit the extracted device information to the LFD device 400. For example, when a signal indicating that the first sensor operates is received, the server device 100 may transmit information about a function provided from the refrigerator door to the LFD device 400. Information on a function provided in the refrigerator door may include a control function of lighting according to opening and closing of the refrigerator.
  • 19A to 19C are diagrams for describing an example of a data processing method of the server apparatus 100.
  • the server device 100 may collect data through various paths.
  • the server device 100 may collect an IoT sensor log processor, a data directory, and enterprise data.
  • the IoT sensor log processor collects data from sensors provided in the device and stores log data.
  • the log data may be structured, and the data may be shared by configuring a cloud with another device that performs the same role as the server device 100.
  • the server apparatus 100 may collect device knowledge, general knowledge, real time data, and open data to form a data directory.
  • the data directory may be collected in real time or may be collected periodically.
  • the server apparatus 100 may classify and store data about a device, real time data, and general data about the device.
  • the data about the device may include device ID information, device specification information, device vendor information, and the like.
  • Real-time data for the device may include device reviews / ratings, device articles, social media data, and the like.
  • the general data may include general common sense for the device, location point of interest (POI) for the device, and the like.
  • the server device 100 may extract device information, such as a refrigerator, and function information, such as a cooling system, from information called “triple independent cooling”, and retrieve and store news and reviews related to “triple independent cooling”. Can be.
  • the server apparatus 100 may store sales information of a device having a corresponding function.
  • the server device 100 may configure the enterprise data by collecting advertisement data, sales data, A / S data, and sales company data.
  • enterprise data may be collected in real time or may be collected periodically.
  • the server device 100 may semantically associate the collected data with the knowledge graph through the semantic reinforcement engine.
  • the server device 100 may generate a dynamic multidimensional analysis result through semantic big data analysis.
  • the dynamic multi-dimensional analysis result may be transmitted and displayed to the user terminal device 200 or the LFD device 400.
  • the server device 100 first extracts and structures log data using a semantic enhancement engine, and associates the data directory with log data.
  • the server device 100 recognizes and maps an entity.
  • the entity may include various information such as a device name, a function, and a price as a unit of meaningful information.
  • the server device 100 may extend the entity information based semantics and assign automatic rules through semantic inference between entities.
  • semantics refers to a technology that expresses information about a resource and a relationship-meaning information between resources in an ontology that can be processed by a computer in a distributed environment, and causes the automated computer to process it.
  • the server device 100 extracts the real-time data-based text and automatically expands the real-time data for each entity.
  • the server device 100 generates a semantic index and stores graph data.
  • 19C is a diagram illustrating an example of semantic big data analysis.
  • the server device 100 analyzes big data.
  • Sources of big data may include IoT sensor data, device website data, SNS data, web search data, as well as enterprise data.
  • the server device 100 may collect and analyze information such as air conditioner A, which is the most sold product in New York.
  • association rules and domains can be inferred. For example, domains of location, device, population, event, economy, etc. can be inferred.
  • the server apparatus 100 performs semantic annotation to generate a multi-dimensional view using the related information from the result obtained through big data analysis.
  • the server device 100 may generate a multidimensional view of New York, such as North America and New Jersey.
  • Association rules and domain inference and semantic annotation can be performed with the assistance of the semantic enhancement engine.
  • the server apparatus 100 performs a dynamic multidimensional analysis to analyze an association relationship between a plurality of domains and a multidimensional view of each domain. For example, the correlation between device function and region, age and gender, planning and development considerations, product failure function and region and climate can be derived.
  • the server device 100 may process a query in real time using a relationship generated in the semantic enhancement engine without physical data movement or integration through federated semantic search.
  • each data may be associated with heterogeneous data, thereby accessing detailed information of the corresponding data.
  • 20 is a flowchart illustrating an operation of a server device according to an extended embodiment of the present invention.
  • an event occurs at a specific part of the device (S2010).
  • an event occurring in the device may vary according to the type of device.
  • an event occurring in the smartphone may include unlocking the lock screen, sending a text message, and the like
  • an event occurring in the washing machine may include starting washing, setting laundry, and opening / closing of the washing machine door.
  • the server device stores the event contents.
  • the server device may receive and store event contents from each device.
  • the server device may be directly connected to each device via Bluetooth, or may be indirectly connected through an access point (AP).
  • AP access point
  • the server device may classify and store event contents for each device category. Alternatively, the server device may classify and store event contents according to an event occurrence time.
  • the server apparatus may search for information about a part of the device where the event occurs.
  • the server device may determine where the part of the device where the event occurs and search for a function related to the part of the device where the event occurs.
  • the server device may additionally search for another device that provides the searched function, or may further search for another device compatible with the searched function.
  • the server apparatus may provide information on a part of the device where the event occurs.
  • the server device may be provided with a display to directly provide information, or may transmit and provide information retrieved to an external display device. Alternatively, the server device may transmit the retrieved information to each user terminal device.
  • an event occurs when a user operates a device, but the present invention is not limited thereto.
  • the specific device may transmit identification information about the specific device to the server device.
  • the server device may transmit the specification information about the specific device to the LFD device and provide it to the user.
  • information about a device which is connected to the user's account and operated by the user may be stored.
  • the user's smartphone may transmit identification information about the specific device to the external server device.
  • the external server device may store information about a user account and information about a specific device having identification information received in the user account.
  • the external server device may transmit specific information such as specification information of the specific device to the smartphone.
  • the user can check information on a specific adjacent device through the smartphone.
  • the user may check the information on the specific device operated by the user by accessing the external server device even when leaving the store.
  • the user may check information on a specific device by using another device such as a notebook rather than a smartphone. In this case, the user must access the user account of the external server device through another device.
  • recommended device information compatible with the user device may be generated, and the generated information may be provided to the user.
  • the server device and the user terminal device have been described as being separated, but may be configured as one device.
  • the user terminal device may receive a spoken voice and display corresponding recommended device information.
  • the user terminal device may calculate the size of a specific space from the photographed image and display corresponding recommended device information.
  • the methods according to various embodiments of the present disclosure may be programmed and stored in various storage media. Accordingly, the methods according to the various embodiments of the present disclosure may be implemented in various types of electronic devices that execute a storage medium.
  • a non-transitory computer readable medium may be provided in which a program for sequentially performing the above-described control method is stored.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

서버 장치가 개시된다. 본 서버 장치는 사용자 단말 장치와 통신하는 통신부, 디바이스 간 호환 정보를 저장하는 스토리지 및 사용자 단말 장치가 서버 장치에 액세스되어 사용자 단말 장치로부터 사용자 단말 장치의 식별 정보가 수신되면, 스토리지에 저장된 정보에 기초하여 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치로 전송하는 프로세서를 포함한다.

Description

서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템
본 발명은 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템에 대한 것으로, 더욱 상세하게는 추천 디바이스 정보를 제공하는 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있으며, 새로운 사용자 편의 기능이 구비된 전자 장치들이 보편화되고 있다. 더 나아가, 사용자 편의를 향상시키기 위해 종래의 편의 기능도 계속하여 규격이 변경되어 전자 장치들에 설치되고 있다.
그에 따라, 일반인들은 새로운 전자 장치가 제공하는 다양한 기능을 파악하는데 익숙하지 않으며, 동시에 이러한 기능의 활용에 어려움이 있다. 또한, 일반인들은 전자 장치의 스펙 정보만을 이용하여 전자 장치가 지원하는 기능과 동작을 파악하는 것이 어려운 것이 현실이다.
또한, 전자 장치들을 판매하는 매장에서도 다양한 전자 장치 모두를 진열할 수 없을 뿐만 아니라 각 전자 장치의 기능을 모두 설명할 수 없다는 문제가 있어왔다.
그에 따라, 좀더 간단한 방법으로 사용자가 원하는 기능을 제공하는 전자 장치의 리스트를 제공할 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 특정 장치와 호환 가능한 추천 디바이스 정보를 제공하는 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 서버 장치는 사용자 단말 장치와 통신하는 통신부, 디바이스 간 호환 정보를 저장하는 스토리지 및 상기 사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보가 수신되면, 상기 스토리지에 저장된 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하여 상기 사용자 단말 장치로 전송하는 프로세서를 포함한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 사용자 단말 장치는 디스플레이, 서버 장치와 통신하는 통신부 및 상기 사용자 단말 장치가 상기 서버 장치에 액세스되면, 상기 사용자 단말 장치의 식별 정보를 상기 서버 장치로 전송하고, 상기 서버 장치로부터 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신하여 상기 디스플레이를 통해 디스플레이하는 프로세서를 포함한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 전자 시스템은 서버 장치로 액세스하여 사용자 단말 장치의 식별 정보를 상기 서버 장치로 전송하는 사용자 단말 장치 및 디바이스 간 호환 정보를 저장하고, 상기 사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보가 수신되면, 상기 저장된 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하여 상기 사용자 단말 장치로 전송하는 서버 장치를 포함하고, 상기 사용자 단말 장치는 상기 서버 장치로부터 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 서버 장치의 제어 방법은 사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보를 수신하는 단계, 디바이스 간 호환 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하는 단계 및 상기 생성된 추천 디바이스 정보를 상기 사용자 단말 장치로 전송하는 단계를 포함한다.
한편, 본 발명의 일 실시 예에 따르면, 사용자 단말 장치의 제어 방법은 상기 사용자 단말 장치가 서버 장치에 액세스되면, 상기 사용자 단말 장치의 식별 정보를 상기 서버 장치로 전송하는 단계, 상기 서버 장치로부터 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신하는 단계 및 상기 수신된 추천 디바이스 정보를 디스플레이하는 단계를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 디바이스와 호환 가능한 추천 디바이스 정보가 생성되고, 생성된 정보가 사용자에게 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 시스템을 도시한 도면이다.
도 2a는 본 발명의 일 실시 예에 따른 서버 장치의 구성을 나타내는 블럭도이다.
도 2b는 도 2a에 도시된 서버 장치의 세부 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 각 디바이스가 대표적으로 제공하는 기능을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 발화 음성 신호를 처리하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 디바이스를 선택하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 발화 음성으로 표현된 기능과 스펙 정보의 연계 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 발화 음성의 입력을 유도하는 UI 화면을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 발화 음성의 입력을 단계적으로 유도하는 것을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 선택된 디바이스의 상세 정보를 디스플레이하는 것을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 발화 음성에 대응되는 스펙 정보를 그래프로 디스플레이하는 것을 설명하기 위한 도면이다.
도 12a 내지 도 12f는 사용자 단말 장치에서 제공하는 UI의 일 예를 설명하기 위한 도면이다.
도 13a 및 도 13b는 공간 정보에 기초하여 추천 디바이스 정보를 결정하는 방법의 일 예를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시 예에 따른 서버 장치와 사용자 단말 장치의 동작을 설명하기 위한 시퀀스도이다.
도 15는 본 발명의 일 실시 예에 따른 서버 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 확장 실시 예에 따른 디바이스 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 18a 및 도 18b는 디바이스에 구비된 센서의 일 예를 설명하기 위한 도면이다.
도 19a 내지 도 19c는 서버 장치(100)의 데이터 처리 방법의 일 예를 설명하기 위한 도면이다.
도 20은 본 발명의 확장 실시 예에 따른 서버 장치의 동작을 설명하기 위한 흐름도이다.
-
이하, 본 발명의 다양한 실시 예에 대해서, 첨부된 도면을 참조하여 설명한다. 본 명세서에 기재된 내용은, 본 발명의 범위를 특정한 실시 형태로 한정하려는 것이 아니며, 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
또한, 본 명세서에서 하나의 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 기능적 또는 통신적으로(operatively or communicatively) 연결(coupled)되어 있다거나, 접속되어(connected to) 있다고 언급하는 것은, 각 구성요소들이 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 간접적으로 연결되는 경우까지 모두 포함할 수 있다는 것으로 이해되어야 한다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서(disclosure)에서 사용된 용어들은, 임의의 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 또한, 본 명세서에서는 설명의 편의상 단수 표현을 사용할 수도 있으나, 이는 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 표현까지 포함하는 의미로 해석될 수 있다. 또한, 본 명세서에서 사용되는 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시 예들을 배제하도록 해석될 수 없다.
이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 시스템(1000)을 도시한 도면이다. 도 1에 도시된 바와 같이 전자 시스템(1000)은 서버 장치(100) 및 사용자 단말 장치(200)를 포함한다.
서버 장치(100)는 사용자 단말 장치(200)와 통신을 수행할 수 있다. 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보를 수신할 수 있다. 여기서, 식별 정보는 사용자 단말 장치(200)의 제품 명칭, 제품 종류, 시리얼 넘버, 제조사, 사용자 정보 등의 정보를 포함할 수 있다.
여기서, 서버 장치(100)는 모든 네트워크 시스템에서 각종 운영 체계와 어플리케이션(application) 간의 상호 작용을 담당하는 중앙 서버(또는 통합 서버) 또는 클라우드 컴퓨팅 기술을 이용하는 클라우드 서버 등으로 구현될 수 있다. 여기서, 클라우드 컴퓨팅(cloud computing)은 인터넷 기반의 컴퓨팅 기술을 의미하는 것으로, 인터넷 상의 유틸리티 데이터 서버(utility data server)에 프로그램을 두고 그때 그때 컴퓨터나 휴대폰 등에 불러와서 사용하는 웹에 기반한 소프트웨어 서비스이다.
서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보 외에도 다른 디바이스의 식별 정보를 수신할 수도 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)의 식별 정보로 사용자의 스마트폰의 식별 정보 외에도 사용자의 노트북, MP3 플레이어 등에 대한 식별 정보를 수신할 수도 있다.
또는, 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자의 계정에 액세스하기 위한 인증 정보를 수신할 수도 있다. 여기서, 인증 정보는 사용자 계정의 아이디, 패스워드 등을 포함할 수 있다. 또는, 경우에 따라서, 인증 정보는 사용자의 지문 정보, 홍채 정보 등을 포함할 수도 있다.
한편, 서버 장치(100)는 디바이스 간 호환 정보를 저장한다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)와 데이터 통신이 가능한 디바이스에 대한 정보를 저장할 수 있다.
디바이스 간 호환 정보는 하드웨어적인 호환 정보와 소프트웨어적인 호환 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)와 동일한 연결 소켓 규격을 이용하는 디바이스에 대한 정보를 하드웨어적인 호환 정보로 저장할 수 있다. 또는, 서버 장치(100)는 사용자 단말 장치(200)와 동일한 어플리케이션이 지원되는 디바이스에 대한 정보를 소프트웨어적인 호환 정보로 저장할 수 있다.
서버 장치(100)는 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)와 호환 가능한 추천 디바이스로 동일한 제조사의 노트북 등을 포함하는 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다.
사용자 단말 장치(200)는 서버 장치(100)와 통신을 수행할 수 있다. 사용자 단말 장치(200)는 서버 장치(200)로 사용자 단말 장치(200)의 식별 정보를 전송할 수 있다. 또는, 사용자 단말 장치(200)는 서버 장치(200)로 사용자 단말 장치(200)가 아닌 다른 디바이스의 식별 정보를 전송하거나 사용자의 계정에 액세스하기 위한 인증 정보를 전송할 수 있다.
사용자 단말 장치(200)는 서버 장치(100)로부터 디바이스 정보를 수신하여 디스플레이할 수 있다. 여기서, 디바이스 정보는 디바이스의 제품 명칭, 시리얼 넘버, 제조사 등의 정보 뿐만 아니라 사용자 단말 장치(200)가 전송한 식별 정보를 갖는 디바이스와 어떻게 호환되는지에 대한 정보를 포함할 수 있다.
예를 들어, 사용자 단말 장치(200)가 서버 장치(100)로 A 모니터에 대한 식별 정보를 전송한 경우, 디바이스 정보는 A 모니터와 DVI 규격으로 연결 가능한 그래픽 카드, USB(Universal Serial Bus) 규격으로 연결되는 저장매체, HDMI(High Definition Multimedia Interface)로 연결되는 스마트폰 등을 포함할 수 있다.
도 2a는 본 발명의 일 실시 예에 따른 서버 장치(100)의 구성을 나타내는 블럭도이다.
도 2a에 도시된 바와 같이, 서버 장치(100)는 통신부(110), 스토리지(120) 및 프로세서(130)를 포함한다.
통신부(110)는 사용자 단말 장치(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(110)는 사용자 단말 장치(200)로부터 디바이스에 대한 식별 정보 등을 수신하고, 사용자 단말 장치(200)로 추천 디바이스 정보를 전송할 수 있다.
또한, 통신부(110)는 사용자 단말 장치(200)로부터 사용자의 계정에 액세스하기 위한 인증 정보를 수신하고, 사용자의 계정에 등록된 디바이스와 호환되는 추천 디바이스 정보를 사용자 단말 장치(200)로 전송할 수도 있다.
통신부(110)는 유/무선 LAN, WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), IEEE 1394, 와이파이(Wifi) 또는 PLC(Power Line Communication) 등을 이용하여, 사용자 단말 장치(200)와 통신을 수행할 수 있다.
스토리지(120)는 복수의 디바이스에 대한 스펙 정보를 저장하고 있을 수 있다. 스토리지(120)는 스펙 정보로 기능 정보, 외관 정보, 디바이스 명칭, 제조 회사 명, 사이즈 정보, 디바이스 종류 정보 중 적어도 하나를 저장할 수 있다. 예를 들어, 스토리지(120)는 TV에 대한 스펙 정보로, HDMI 지원 기능, 42인치, OLED TV, A 제조 회사 등에 대한 정보를 저장할 수 있다. 또한, 스토리지(120)는 TV 뿐만 아니라 노트북, 세탁기, 청소기 등 다른 디바이스에 대한 정보를 저장하고 있을 수 있다.
스토리지(120)는 저장된 스펙 정보에 기초하여 디바이스 간 호환 정보를 저장할 수 있다. 이에 대하여는 상술하였으므로 구체적인 설명은 생략한다.
스토리지(120)는 디바이스가 제공하는 대표적인 기능을 명사, 동사, 구문 등 다양한 형식으로 표현한 사용자 언어 체계를 저장하고 있을 수 있다. 또한, 스토리지(120)는 디바이스의 리스트와 스펙 정보를 저장한 데이터베이스, 사용자 언어 체계와 스펙 정보를 연계하는 데이터베이스를 저장하고 있을 수 있다.
프로세서(130)는 서버 장치(100)의 동작을 전반적으로 제어한다. 여기서, 프로세서(130)는 중앙처리장치(central processing unit(CPU)), controller, 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
프로세서(130)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되어 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보가 수신되면, 스토리지(120)에 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다.
여기서, 사용자 단말 장치(200)는 서버 장치(100)와 블루투스 등을 통하여 직접 연결될 수도 있고, 인터넷 네트워크를 통해 간접적으로 연결될 수도 있다. 프로세서(130)는 사용자 단말 장치(200)와 통신이 연결된 경우, 사용자 단말 장치(200)가 서버 장치(100)에 액세스된 것으로 판단할 수 있다. 또는, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 계정에 대한 인증 정보를 수신하고, 수신된 인증 정보를 통해 사용자 계정에 접근 가능한 경우, 사용자 단말 장치(200)가 서버 장치(100)에 액세스된 것으로 판단할 수도 있다. 이상에서는 서버 장치(100)가 사용자 계정을 저장하고 있는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 서버 장치(100)와는 별도의 사용자 계정을 저장하는 외부 서버 장치가 마련되어 있을 수 있고, 이 경우 서버 장치(100)는 수신된 인증 정보를 외부 서버 장치로 전송하여 사용자 계정에 접속할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)가 액세스된 후 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보를 수신할 수 있다. 사용자 단말 장치(200)의 식별 정보는 사용자 단말 장치(200)의 제품 명칭, 제품 종류, 시리얼 넘버, 제조사, 사용자 정보 등의 정보를 포함할 수 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 시리얼 넘버를 수신하여, 사용자 단말 장치(200)의 제품 종류, 스펙 정보 등을 판단할 수 있다. 다만, 이에 한정되는 것은 아니고, 서버 장치(100)는 단순히 사용자 단말 장치(200)의 식별 정보 뿐만 아니라 사용자 단말 장치(200)의 스펙 정보 전체를 수신할 수도 있다.
프로세서(130)는 사용자 단말 장치(200)로부터 인증 정보가 수신된 경우, 사용자 계정에 등록된 디바이스와 호환 가능한 추천 디바이스 정보를 생성할 수도 있다. 이 경우, 사용자 계정은 사용자에 의해 기 등록된 디바이스 정보를 포함할 수 있다.
서버 장치(100)는 스토리지(120)에 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성할 수 있다. 예를 들어, 서버 장치(100)는 수신된 식별 정보에 기초하여 사용자 단말 장치(200)를 식별한 후, 사용자 단말 장치(200)의 스펙 정보를 추출할 수 있다. 그리고, 서버 장치(100)는 추출된 스펙 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성할 수 있다.
서버 장치(100)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 스펙 정보 중 특정 정보를 수신할 수도 있다. 예를 들어, 서버 장치(100)는 사용자 단말 장치(200)로부터 디스플레이에 대한 정보를 추가로 수신할 수 있고, 이 경우, 프로세서(130)는 사용자 단말 장치(200)의 디스플레이의 연결 방식 등에 기초하여 호환 가능한 추천 디바이스 정보를 생성할 수 있다.
특정 정보가 수신되지 않는 경우, 프로세서(130)는 사용자 단말 장치(200)의 스펙 정보에 기초하여 호환 가능한 모든 추천 디바이스 정보를 추출하고, 추출된 정보를 기설정된 기준에 따라 정렬할 수도 있다. 예를 들어, 프로세서(130)는 디스플레이의 연결 방식에 기초하여 제1 추천 디바이스 리스트를 추출하고, 통신 연결 방식에 기초하여 제2 추천 디바이스 리스트를 추출할 수 있다. 그리고, 프로세서(130)는 기설정된 기준에 따라 추출된 제1 및 제2 추천 디바이스 리스트를 정렬하여 추천 디바이스 정보를 생성할 수 있다.
프로세서(130)는 생성된 추천 디바이스 정보를 사용자 단말 장치(200)로 전송할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 입력된 사용자 발화 음성 신호가 수신되면, 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다. 이 경우, 사용자 단말 장치(200)는 마이크 등을 구비하고 있을 수 있다.
여기서, 발화 음성 신호는 사용자 단말 장치(200)에 입력된 사용자의 음성을 디지털화한 신호일 수 있다. 다만, 이에 한정되는 것은 아니며, 서버 장치(100)는 사용자 단말 장치(200)로부터 사용자의 발화 음성으로부터 추출된 텍스트 등을 수신할 수도 있다.
프로세서(130)는 발화 음성 신호에 포함된 적어도 하나의 텍스트를 추출하고, 추출된 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다. 예를 들어, 프로세서(130)는 "내 스마트폰과 무선 연결 가능한 모니터를 찾아줘."라는 발화 음성 신호가 수신되면, "스마트폰", "무선 연결", "모니터"를 추출하여 사용자의 스마트폰의 무선 통신 기능을 추출하고, 추출된 무선 통신 기능을 지원하는 모니터를 추출하여 추천 디바이스 정보를 생성할 수 있다.
이상에서는 발화 음성 신호가 수신되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 입력된 텍스트 입력 정보를 수신할 수도 있다. 프로세서(130)는 수신된 텍스트 정보에 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
특히, 프로세서(130)는 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 스펙 정보를 스토리지(120)로부터 검출하고, 검출된 스펙 정보를 가지는 디바이스에 대한 정보를 추천 디바이스 정보로 결정할 수 있다. 여기서, 스펙 정보는 기능 정보, 외관 정보, 디바이스 명칭, 제조 회사 명, 사이즈 정보, 디바이스 종류 정보 중 적어도 하나를 포함할 수 있다.
그리고, 프로세서(130)는 발화 음성 신호에 복수의 서로 다른 타입의 디바이스 명칭이 포함되면, 복수의 서로 다른 타입의 디바이스들 사이의 연동 기능에 대한 스펙 정보를 스토리지(120)로부터 검출하고, 연동 기능을 제공하는 디바이스에 대한 정보를 추천 디바이스 정보로 결정할 수 있다.
또는, 프로세서(130)는 발화 음성 신호에 연관된 스펙 정보가 추출되지 않는 경우, 추가 발화 음성의 입력을 요청하는 신호를 사용자 단말 장치(200)로 전송할 수 있다. 이 경우, 사용자 단말 장치(200)는 추가 발화 음성의 입력을 요청하는 신호를 수신하여 추가 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다.
그리고, 프로세서(130)는 사용자 단말 장치(200)로부터 단계적으로 입력된 사용자 발화 음성 신호가 수신되면, 단계적으로 입력된 사용자 발화 음성 신호 각각에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
또는, 프로세서(130)는 추출된 스펙 정보에 해당하는 추천 디바이스 각각이 지원하는 기능의 개수 정보를 사용자 단말 장치(200)로 전송할 수 있다.
그리고, 프로세서(130)는 사용자 단말 장치(200)로부터 복수의 사용자 발화 음성 신호가 수신되면, 복수의 사용자 발화 음성 각각에 대응되는 스펙 정보를 가지는 추천 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다. 특히, 프로세서(130)는 복수의 사용자 발화 음성 신호 각각에 대응되는 추천 디바이스 정보를 사용자 단말 장치(200)로 전송할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 특정 공간을 촬영한 이미지가 수신되면, 수신된 이미지에 기초하여 특정 공간의 크기를 산출하고, 산출된 공간 크기에 대응되는 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
특히, 프로세서(130)는 수신된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
한편, 프로세서(130)는 사용자 단말 장치(200)의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 사용자 단말 장치(200) 및 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
도 2b는 도 2a에 도시된 서버 장치(100)의 세부 구성을 나타내는 블럭도이다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
프로세서(130)는 RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다.
RAM(131), ROM(132), 메인 CPU(133), 그래픽 처리부(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 등은 버스(136)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(135-1 내지 135-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(133)는 스토리지(120)에 액세스하여, 스토리지(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 스토리지(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(133)는 ROM(132)에 저장된 명령어에 따라 스토리지(120)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(133)는 스토리지(120)에 저장된 각종 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(134)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 예를 들어, 그래픽 처리부(134)는 환경 조건에 대한 다양한 가이드 정보를 제공하기 위한 UI 화면을 생성할 수 있다. 한편, 상술한 프로세서(130)의 동작은 스토리지(120)에 저장된 프로그램에 의해 이루어질 수 있다.
상술한 바와 같이 스토리지(120)는 서버 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 디바이스 정보 모듈, 공간 정보 산출 모듈과 같은 다양한 데이터를 저장한다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치(200)의 구성을 나타내는 블럭도이다.
도 3에 따르면, 사용자 단말 장치(200)는 디스플레이(210), 통신부(220) 및 프로세서(230)를 포함한다.
디스플레이(210)는 프로세서(230)의 제어에 의해 서버 장치(100)로부터 수신된 호환 디바이스 정보를 디스플레이할 수 있다. 예를 들어, 디스플레이(210)는 사용자 단말 장치(100)와 호환 가능한 디바이스의 리스트를 디스플레이할 수 있다.
그리고, 디스플레이(210)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(210)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
통신부(220)는 서버 장치(100)와 통신을 수행할 수 있다. 구체적으로, 통신부(220)는 서버 장치(100)로 디바이스에 대한 식별 정보 등을 전송하고, 서버 장치(100)로부터 추천 디바이스 정보를 수신할 수 있다.
또한, 통신부(220)는 서버 장치(100)로 사용자의 계정에 액세스하기 위한 인증 정보를 전송하고, 사용자의 계정에 등록된 디바이스와 호환되는 추천 디바이스 정보를 서버 장치(100)로부터 수신할 수도 있다.
통신부(220)는 유/무선 LAN, WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), IEEE 1394, 와이파이(Wifi) 또는 PLC(Power Line Communication) 등을 이용하여, 서버 장치(100)와 통신을 수행할 수 있다.
프로세서(230)는 사용자 단말 장치(200)의 동작을 전반적으로 제어한다. 여기서, 프로세서(230)는 중앙처리장치(central processing unit(CPU)), controller, 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
프로세서(230)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되면, 사용자 단말 장치(200)의 식별 정보를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이(110)를 통해 디스플레이할 수 있다.
여기서, 사용자 단말 장치(200)는 사용자 발화 음성을 입력받기 위한 마이크와 같은 입력부를 더 포함하며, 프로세서(230)는 추천 디바이스 정보 중 사용자 발화 음성에 포함된 적어도 하나의 텍스트에 연관된 디바이스 정보를 디스플레이할 수 있다.
또는, 사용자 단말 장치(200)는 카메라를 더 포함하며, 프로세서(230)는 추천 디바이스 정보 중 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스 정보를 디스플레이할 수 있다.
여기서, 프로세서(230)는 카메라에 의해 이미지를 촬영하고, 촬영된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
한편, 프로세서(230)는 사용자 단말 장치(200)의 사용자의 계정에 액세스하기 위한 인증 정보를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 사용자 단말 장치(200) 및 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
한편, 프로세서(230)는 추천 디바이스 정보가 디스플레이된 상태에서, 추천 디바이스의 개수가 기설정된 수 이상인 경우, 추가 사용자 발화 음성을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 추천 디바이스 정보가 디스플레이(210) 화면에 한 번에 디스플레이될 수 없는 경우에 추가 사용자 발화 음성을 유도하는 질문을 디스플레이할 수 있다.
또는, 프로세서(230)는 사용자 발화 음성을 단계적으로 유도하는 질문을 디스플레이하고, 질문에 대한 사용자 발화 음성이 입력되면, 단계적으로 입력된 사용자 발화 음성을 서버 장치(100)로 전송하고, 단계적으로 입력된 사용자 발화 음성에 대응되는 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
또는, 프로세서(230)는 사용자 발화 음성을 단계적으로 유도하는 질문을 디스플레이하고, 단계적으로 입력된 발화 음성 전체를 서버 장치(100)로 전송하고, 전체 발화 음성에 대응되는 추천 디바이스 정보를 수신하여 디스플레이할 수 있다.
여기서, 프로세서(230)는 추천 디바이스 정보가 디스플레이된 상태에서, 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 단계적으로 입력된 사용자 발화 음성에 대응되는 스펙 정보를 그래프로 디스플레이할 수 있다.
한편, 프로세서(230)는 추천 디바이스 정보가 디스플레이된 상태에서, 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 선택된 디바이스의 상세 정보를 추가로 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 선택된 디바이스의 스펙 정보를 디스플레이할 수도 있고, 선택된 디바이스와 사용자 단말 장치(200)의 호환 정보를 디스플레이할 수도 있다.
또는, 프로세서(230)는 서버 장치(100)로부터 추출된 스펙 정보에 해당하는 추천 디바이스 각각이 지원하는 기능의 개수 정보를 수신하고, 수신된 정보에 기초하여 추천 디바이스 정보를 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 지원하는 기능의 개수가 많은 디바이스를 부각시켜 디스플레이할 수 있다.
그리고, 프로세서(230)는 복수의 사용자 발화 음성이 입력되면, 입력된 복수의 사용자 발화 음성 신호를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 복수의 사용자 발화 음성 각각에 대응되는 스펙 정보를 가지는 추천 디바이스 정보를 수신하여 복수의 사용자 발화 음성과 함께 디스플레이할 수 있다.
여기서, 프로세서(230)는 복수의 사용자 발화 음성 중 어느 하나를 비활성화시키는 사용자 명령이 입력되면, 추천 디바이스 정보 중 비활성화된 사용자 발화 음성에 대응되는 스펙 정보를 가지는 디바이스를 제거하여 디스플레이할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 각 디바이스가 대표적으로 제공하는 기능을 설명하기 위한 도면이다.
도 4에 따르면, 서버 장치(100)의 스토리지(120)는 각 디바이스가 제공하는 기능을 저장하고 있을 수 있다. 예를 들어, 스토리지(120)는 TV가 방송 시청(Watch), 컨텐츠 재생(Play), 컨텐츠 공유(Share) 등의 기능을 제공하는 것으로 저장하고 있을 수 있다. 그리고, 스토리지(120)는 냉장고(Refrigerator)가 냉동 기능(Freeze), 저장 기능(Store) 등의 기능을 제공하고, 청소기(Cleaner)가 청소 기능(Clean), 먼지제거 기능(Dusting), 이동 기능(Move) 등의 기능을 제공하는 것으로 저장하고 있을 수 있다.
도 4에서는 세 종류의 디바이스에 대하여만 도시하였으나, 스토리지(120)는 이에 한정되지 않고 더 많은 종류의 디바이스에 대한 정보를 저장할 수 있다.
또한, 스토리지(120)는 각 디바이스의 세부 카테고리를 설정하여 제공하는 기능에 대한 정보를 저장할 수 있다. 예를 들어, 스토리지(120)는 TV의 제조사별로 세부 카테고리를 설정하여 제공하는 기능에 대한 정보를 저장할 수 있다.
또한, 스토리지(120)는 세부 카테고리의 세부 카테고리를 설정하여 정보를 저장할 수도 있다. 예를 들어, 스토리지(120)는 TV의 A 제조사의 제품 중 패널의 종류에 기초하여 제공하는 기능에 대한 정보를 저장할 수 있다.
그리고, 스토리지(120)는 각 디바이스 간의 호환 정보도 저장할 수 있다. 예를 들어, 스토리지(120)는 동종의 디바이스 간의 호환 정보를 저장할 수 있다. 또는, 스토리지(120)는 이종의 디바이스 간의 호환 정보를 저장할 수도 있다.
프로세서(130)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되어 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보가 수신되면, 스토리지(120)에 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수 있다.
특히, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 입력된 사용자 발화 음성 신호가 수신되면, 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
예를 들어, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자의 "동영상 재생이 됐으면 좋겠다."라는 발화 음성 신호가 수신되면, 컨텐츠 재생 기능이 있는 TV를 추천 디바이스 정보로 결정할 수 있다.
즉, 프로세서(130)는 일상 생활에서 사용하는 언어가 포함된 발화 음성 신호가 수신되더라도 디바이스가 제공하는 기능을 추출하여 추출된 기능을 제공하는 디바이스를 추천 디바이스 정보로 결정할 수 있다.
또한, 스토리지(120)는 스마트폰, 노트북, 데스크탑 PC 등에 대하여도 제공되는 기능과 함께 저장할 수 있다. 그에 따라, 프로세서(130)는 사용자 단말 장치(200)로부터 사용자의 "동영상 재생이 됐으면 좋겠다."라는 발화 음성 신호가 수신되면, TV 뿐만 아니라 스마트폰, 노트북 등을 추천 디바이스 정보로 결정할 수 있다.
특히, 프로세서(130)는 발화 음성 신호에 대응되는 세부 카테고리의 디바이스를 추천 디바이스 정보로 결정할 수 있다. 예를 들어, 프로세서(130)는 발화 음성 신호에 대응되는 A 제조사의 xxx-xxxxxxx 시리얼 넘버를 갖는 TV를 추천 디바이스 정보로 결정할 수 있다.
한편, 프로세서(130)는 추천 디바이스 정보에 추천 디바이스의 리스트 뿐만 아니라 추천 디바이스가 제공하는 기능에 대한 정보를 포함시켜 사용자 단말 장치(200)로 전송할 수 있다. 예를 들어, 프로세서(130)는 추천 디바이스의 스펙 정보 전체를 사용자 단말 장치(200)로 전송할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 발화 음성 신호를 처리하는 방법을 설명하기 위한 도면이다.
도 5에 따르면, 프로세서(130)는 See, Play, View, Observe, Stare, Look 등의 발화 음성 신호가 수신되면, Watch(510)라고 판단할 수 있다. 즉, 프로세서(130)는 유사한 의미의 언어 입력을 하나의 단어 입력으로 추출할 수 있다. 이러한 추출 과정은 스토리지(120)에 저장된 정보에 기초할 수 있다.
예를 들어, 프로세서(130)는 "볼 수...", "보고 싶다.", "보여줘."와 같은 발화 음성 신호가 수신되면, "시청"이라는 단어를 추출할 수 있다. 그리고, 프로세서(130)는 스토리지(120)에 저장된 정보에 기초하여 "시청" 기능을 제공하는 TV, 스마트폰 등의 디바이스 명칭을 디스플레이할 수 있다. 이러한 동작을 수행하기 위해서, 스토리지(120)에는 유사 의미의 다양한 언어들을 기술 용어 또는 스펙 용어로 그룹핑한 데이터베이스가 저장되어 있을 수 있다. 이러한 데이터베이스는 서버 장치(100)가 출시될 때, 미리 저장될 수도 있으며, 추후 외부 디바이스로부터 다운로드받을 수도 있다. 또한, 주기적으로 또는 수시로 업데이트될 수도 있다.
한편, 프로세서(130)는 발화 음성 신호로부터 복수의 단어를 추출하여 새로운 단어를 도출할 수도 있다. 특히, 프로세서(130)는 발화 음성 신호로부터 기능과 디바이스 타입을 추출하여 새로운 단어를 도출할 수도 있다. 예를 들어, 프로세서(130)는 발화 음성 신호로부터 Play(520)와 TV를 추출하고 Watch(510)를 도출할 수도 있다. 마찬가지로, 프로세서(130)의 이러한 추출 과정은 스토리지(120)에 저장된 정보에 기초할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 디바이스를 선택하는 과정을 설명하기 위한 도면이다.
도 6에 따르면, 프로세서(130)는 발화 음성 신호에 포함된 적어도 하나의 텍스트에 연관된 스펙 정보를 스토리지(120)로부터 검출하고, 검출된 스펙 정보를 가지는 디바이스를 추천 디바이스 정보로 결정할 수 있다.
예를 들어, 프로세서(130)는 발화 음성 신호로부터 Watch를 도출하고, Watch에 대응되는 기능으로 스마트뷰(610) 기능 및 트윈 튜너(620) 기능을 제공하는 디바이스를 추출할 수 있다.
프로세서(130)는 스마트뷰(610) 기능을 지원하는 제1 디바이스(630), 제2 디바이스(640), 제3 디바이스(650)를 추출하고, 트윈 튜너(620) 기능을 지원하는 제3 디바이스(650)를 추출할 수 있다. 예를 들어, 프로세서(130)는 각각의 기능을 지원하는 디바이스를 구분하여 추출할 수 있다. 상술한 예에 의하면, 프로세서(130)는 스마트뷰(610) 기능을 지원하는 디바이스로 제1 디바이스(630), 제2 디바이스(640), 제3 디바이스(650)를 추출하고, 트윈 튜너(620) 기능을 지원하는 디바이스로 제3 디바이스(650)를 추출할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 두 가지 기능을 모두 지원하는 제3 디바이스(650) 만을 추출할 수도 있다.
한편, 도 6에서는 Watch에 대응되는 기능으로 스마트뷰(610) 및 트윈 튜너(620) 만을 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, Watch 그 자체의 의미로서, 디스플레이가 구비된 디바이스가 모두 추출될 수도 있다. Watch에 대응되는 기능으로 스마트뷰(610) 기능 및 트윈 튜너(620) 기능 뿐만 아니라 HDMI 지원 기능 등이 포함될 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 발화 음성으로 표현된 기능과 스펙 정보의 연계 방법을 설명하기 위한 도면이다.
도 7에 따르면, 프로세서(130)는 발화 음성 신호에 복수의 서로 다른 타입의 디바이스 명칭이 포함되면, 복수의 서로 다른 타입의 디바이스들 사이의 연동 기능에 대한 스펙 정보를 스토리지(120)로부터 검출할 수 있다.
예를 들어, 프로세서(130)는 "휴대폰에 있는 동영상을 TV에서 볼 수 있나?"라는 발화 음성 신호가 수신되면, Watch 뿐만 아니라 휴대폰과 TV를 더 추출할 수 있다. 그리고, 프로세서(130)는 휴대폰과 TV 사이의 연동 기능에 대한 스펙 정보를 Watch와 관련하여 검출할 수 있다. 즉, 프로세서(130)는 휴대폰과 TV의 디스플레이 기능을 연동하기 위한 MHL 지원 기능 및 HDMI 지원 기능을 검출할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 WiFi를 이용한 AllShare 지원 기능을 검출할 수도 있다.
그리고, 프로세서(130)는 연동 기능을 제공하는 디바이스 간의 호환 정보를 사용자 단말 장치(200)로 전송할 수 있다. 예를 들어, 프로세서(130)는 MHL 지원 기능이 있는 휴대폰의 명칭 및 HDMI 지원 기능이 있는 TV의 명칭을 추천 디바이스 정보로 결정하고 사용자 단말 장치(200)로 전송할 수 있다. 또는, 프로세서(130)는 WiFi를 이용한 AllShare 지원 기능이 있는 휴대폰과 TV의 리스트를 추천 디바이스 정보로 결정하고 사용자 단말 장치(200)로 전송할 수도 있다.
한편, 사용자 단말 장치(200)의 프로세서(230)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되면, 사용자 단말 장치(200)의 식별 정보를 서버 장치(100)로 전송하고, 서버 장치(100)로부터 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이(210)를 통해 디스플레이할 수 있다.
특히, 사용자 단말 장치(200)는 사용자 발화 음성을 입력받기 위한 입력부를 더 포함하며, 프로세서(230)는 추천 디바이스 정보 중 사용자 발화 음성에 포함된 적어도 하나의 텍스트에 연관된 디바이스 정보를 디스플레이할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 발화 음성의 입력을 유도하는 UI 화면을 설명하기 위한 도면이다.
도 8에 따르면, 사용자 단말 장치(200)의 프로세서(230)는 발화 음성의 입력을 유도하는 UI 화면(810)을 디스플레이할 수 있다. 그리고, 프로세서(230)는 발화 음성의 입력을 유도하는 UI 화면의 일측에 디바이스의 리스트를 나타내는 UI 화면(820)을 디스플레이할 수 있다.
프로세서(230)는 발화 음성이 입력되지 않는 경우, 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 사용자가 사용자 단말 장치(200) 주변에 있음을 감지하였으나 발화 음성의 입력이 없는 경우라면, 발화 음성의 입력을 유도하기 위해 "어떤 디바이스가 필요한가요?"와 같은 질문을 디스플레이할 수 있다. 다만, 이는 일 실시 예에 불과하고, 프로세서(230)는 다른 유형의 질문을 디스플레이하거나 아무런 동작을 수행하지 않을 수도 있다.
프로세서(230)는 발화 음성 신호로부터 스펙 정보를 추출하지 못하였음을 나타내는 신호를 서버 장치(100)로부터 수신하면, 추가 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 "잘 움직이는 구부러지는 청소기"와 같은 질문을 디스플레이할 수 있다.
프로세서(230)는 추가 발화 음성의 입력을 유도하는 질문을 서버 장치(100)로부터 수신된 정보에 기초하여 생성할 수 있다. 예를 들어, 서버 장치(100)는 "TV가 필요한데."라는 발화 음성 신호로부터 TV에 대한 구체적인 기능을 요구하는 신호를 사용자 단말 장치(200)로 전송할 수 있다. 프로세서(230)는 서버 장치(100)로부터 수신된 신호에 기초하여 TV와 관련된 "해상도가 높은 디스플레이가 필요하신가요?"라는 질문을 디스플레이할 수도 있다.
또는, 프로세서(230)는 발화 음성으로부터 이러한 질문을 생성할 수도 있다. 예를 들어, 프로세서(230)는 "TV가 필요한데."라는 발화 음성이 입력되면, 기능에 대한 스펙 정보를 추출하지는 못하나 디바이스 종류로서 TV를 추출할 수 있고, TV와 관련된 "해상도가 높은 디스플레이가 필요하신가요?"라는 질문을 디스플레이할 수도 있다.
프로세서(230)는 서버 장치(100)로부터 수신된 추천 디바이스 정보에 포함된 디바이스의 개수가 기설정된 수 이상인 경우, 추가 발화 음성의 입력을 유도하는 질문을 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 검출된 스펙 정보를 가지는 디바이스의 개수가 20개 이상인 경우, 추가 발화 음성의 입력을 유도하여 디바이스의 개수를 20개 이내로 축소시킬 수 있다. 만약, 프로세서(230)는 HDMI 지원 기능이 있으면서 60인치 이상의 TV를 원하는 발화 음성에 따라 대응되는 스펙 정보를 가지는 디바이스의 개수가 20개 이상인 경우, "벽걸이가 가능한 TV"와 같이 추가 발화 음성의 입력을 유도할 수 있다.
한편, 프로세서(230)는 추출된 스펙 정보에 해당하는 디바이스 각각이 지원하는 기능의 개수에 기초하여, 추천 디바이스 정보에 포함된 디바이스 중 디스플레이될 디바이스의 순서를 결정할 수도 있다. 예를 들어, 프로세서(230)는 "휴대폰과 연동 가능한 TV"라는 발화 음성의 입력에 따라, 휴대폰과 연동될 수 있는 HDMI 지원 기능, WiFi 기능 등을 지원하는 TV에 대한 리스트를 생성할 수 있다. 그리고, 프로세서(230)는 HDMI 지원 기능, WiFi 기능 모두를 지원하는 TV를 리스트 상의 위쪽으로 배치하여 디스플레이할 수도 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 어느 하나의 기능을 지원하는 TV를 리스트 상의 위쪽으로 배치하여 디스플레이할 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 발화 음성의 입력을 단계적으로 유도하는 것을 설명하기 위한 도면이다.
도 9에 따르면, 프로세서(230)는 발화 음성의 입력을 단계적으로 유도하는 질문(910)을 디스플레이하고, 질문에 대한 발화 음성이 입력되면 단계적으로 입력된 발화 음성을 서버 장치(100)로 전송하고, 서버 장치(100)로부터 추천 디바이스 정보를 수신할 수 있다.
예를 들어, 프로세서(230)는 "집 전체에 사용하실 건가요?"라는 질문을 디스플레이하고, 그에 따른 발화 음성의 입력이 있으면, "소음이 작은 걸 원하시나요?"와 같은 단계적인 질문을 디스플레이할 수 있다. 이때, 프로세서(230)는 서버 장치(100)로부터 특정 단계의 질문에 대응되는 추천 디바이스 정보를 수신하는지의 여부와 무관하게 다음 단계의 질문을 디스플레이할 수 있다.
서버 장치(100)는 단계적으로 수신된 발화 음성 신호에 대응되는 추천 디바이스 정보를 단계적으로 사용자 단말 장치(200)에 전송할 수 있다.
프로세서(230)는 서버 장치(100)로부터 단계적으로 추천 디바이스 정보를 수신하여 디스플레이할 수 있다. 이때, 프로세서(230)는 단계적으로 수신된 추천 디바이스 정보를 별개로 디스플레이할 수도 있고, 각 단계별로 중첩되는 추천 디바이스만을 디스플레이할 수도 있다.
프로세서(230)는 yes 또는 no로 답할 수 있는 질문을 디스플레이할 수도 있고, 상세 정보를 요청하는 질문을 디스플레이할 수도 있다. 예를 들어, 프로세서(230)는 "몇 인치의 디스플레이를 갖는 휴대폰을 원하나요?"와 같은 질문을 디스플레이할 수도 있다.
프로세서(230)는 단계적으로 질문을 디스플레이하는 도중에 사용자의 종료 입력이 있으면, 그때까지 입력된 정보만을 서버 장치(100)로 전송하고, 수신된 추천 디바이스 정보에 기초하여 디바이스에 대한 리스트를 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 단계적으로 질문을 디스플레이하고, 단계적으로 수신되는 추천 디바이스 정보에 기초하여 실시간으로 디스플레이 리스트를 변경할 수도 있다.
도 10은 본 발명의 일 실시 예에 따른 선택된 디바이스의 상세 정보를 디스플레이하는 것을 설명하기 위한 도면이다.
도 10에 따르면, 프로세서(230)는 디스플레이된 디바이스의 리스트에서 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 선택된 디바이스(1010)의 상세 정보를 리스트의 일 측(1020)에 추가로 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 리스트 상의 세 번째 디바이스를 선택하는 사용자 입력이 수신되면, 세 번째 디바이스에 대한 상세 정보를 리스트의 우측에 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 리스트 상에 오버랩하여 디스플레이할 수도 있다.
또한, 프로세서(230)는 상세 정보에서 입력된 발화 음성에 대응되는 부분을 두드러지게 디스플레이할 수도 있다. 예를 들어, 프로세서(230)는 발화 음성으로부터 소비 전력을 기준으로 리스트를 생성하였다면, 상세 정보에서 소비 전력을 볼드체로 디스플레이할 수도 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 소비 전력을 다른 색상으로 디스플레이할 수도 있고, 다른 정보와 차이를 줄 수 있는 방법이라면 어느 것이라도 무관하다.
한편, 도 10에서는 리스트 상에는 디바이스의 이미지만이 디스플레이되고, 어느 하나를 선택한 경우에만 상세 정보가 디스플레이되는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(230)는 리스트 상에 디바이스의 이미지 뿐만 아니라 간단한 디바이스 정보 등을 포함하여 디스플레이할 수도 있다. 또한, 프로세서(230)는 처음부터 디바이스의 리스트와 상세 정보를 같이 디스플레이할 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 발화 음성에 대응되는 스펙 정보를 그래프로 디스플레이하는 것을 설명하기 위한 도면이다.
도 11에 따르면, 프로세서(230)는 디스플레이된 디바이스의 리스트에서 어느 하나의 디바이스를 선택하는 사용자 입력이 수신되면, 단계적으로 입력된 발화 음성에 대응되는 스펙 정보를 그래프(1110)로 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 물걸레 같이 되는 청소기, 소음이 작은 청소기 및 잘 움직이는 구부러지는 청소기에 대한 발화 음성의 입력이 있었고, 그에 대응되는 디바이스의 리스트에서 어느 하나의 디바이스가 선택되면 어떠한 과정을 거쳐 디바이스의 선택이 이루어졌는지 보여주기 위해 스펙 정보를 그래프(1110)로 디스플레이할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 표를 이용하여 발화 음성에 대응되는 스펙 정보를 디스플레이할 수도 있다.
도 12a 내지 도 12f는 사용자 단말 장치(200)에서 제공하는 UI의 일 예를 설명하기 위한 도면이다.
도 12a에 도시된 바와 같이, 프로세서(230)는 기설정된 어플리케이션이 구동되면, 디바이스를 검색하기 위한 초기 화면을 디스플레이할 수 있다. 프로세서(230)는 디바이스 검색을 위한 검색 아이콘(1210) 및 감지 아이콘(1220)을 제공할 수 있다.
먼저, 감지 아이콘(1220)이 선택되면, 프로세서(230)는 사용자 단말 장치(200)가 구비한 센서를 이용하여 주변의 디바이스를 감지할 수 있다. 예를 들어, 프로세서(230)는 블루투스 기능을 활성화시켜 사용자 단말 장치(200) 주변의 디바이스를 감지하고, 감지된 디바이스를 디스플레이할 수 있다.
이때, 프로세서(230)는 감지된 디바이스로부터 디바이스의 스펙 정보를 직접 수신하여 디스플레이할 수도 있고, 감지된 디바이스로부터 식별 정보만을 수신하고, 수신된 식별 정보에 대응되는 정보를 서버 장치 등으로부터 수신하여 디스플레이할 수도 있다.
프로세서(230)는 검색 아이콘(1210)이 선택되면, 도 12b에 도시된 화면을 디스플레이할 수 있다. 특히, 프로세서(230)는 사용자의 발화 음성을 입력 받아 그에 대응되는 화면을 구성하여 디스플레이할 수 있다. 예를 들어, 프로세서(230)는 TV를 검색하려는 사용자의 발화 음성으로부터 TV가 제공하는 기능을 카테고리화한 화면을 제공할 수 있다.
도 12b에서는 TV에 대한 카테고리로 외관(Exterior), 편의(Convenience), 화면(Screen) 등을 포함하는 것으로 도시되었으나, 이는 일 실시 예에 불과하고 얼마든지 다른 기준으로 카테고리를 제공할 수도 있다.
프로세서(230)는 편의 카테고리가 선택되면, 하위 카테고리로 컨텐츠 공유(Content Sharing), 설치 용이성(Easy to Configure) 등을 제공할 수 있다.
한편, 도 12c에 도시된 바와 같이, 프로세서(230)는 하위 카테고리 중 어느 하나가 선택되면, 선택된 하위 카테고리에 대응되는 구체적인 기능에 대한 정보를 제공할 수 있다. 예를 들어, 프로세서(230)는 상위 카테고리로 연결(Connectivity)가 선택되고, 하위 카테고리로 인터넷 접속(Internet Access)가 선택되면, Built in Wi-Fi, Ethernet, Wi-Fi Ready 등의 항목을 디스플레이할 수 있다.
도 12d에 도시된 바와 같이, 프로세서(230)는 구체적인 기능에 대한 정보 중 어느 하나가 선택되면, 선택된 기능을 구비한 디바이스 리스트를 구성하여 제공할 수 있다. 예를 들어, 프로세서(230)는 선택된 기능을 구비한 TV 중 가장 많이 팔린 TV를 디스플레이 영역의 상단에 제공하고, 디스플레이 영역의 하단에는 선택된 기능을 구비한 다른 TV의 리스트를 제공할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(230)는 디바이스의 출시 순, 디바이스의 가격 순 등 얼마든지 다른 정렬 방식으로 정렬할 수도 있다.
프로세서(230)는 상단에 제공되는 디바이스의 스펙 정보는 모두 제공하고, 하단에 제공되는 디바이스의 스펙 정보는 일부만을 제공할 수 있다. 사용자는 상단에 제공된 디바이스를 원하지 않는 경우, 하단의 다른 디바이스를 선택하여 상단에 디스플레이되도록 제어할 수 있다.
또는, 사용자는 복수의 기능을 선택하여 제공되는 디바이스의 개수를 줄일 수도 있다. 예를 들어, 사용자는 인터넷 연결 뿐만 아니라 가격 조건을 설정하여 디바이스의 개수를 줄일 수도 있다.
한편, 프로세서(230)는 디바이스 간의 호환성에 대한 정보를 제공할 수도 있다. 예를 들어, 도 12e에 도시된 바와 같이, 사용자가 특정 TV를 선택하고 스마트폰을 선택하는 경우, 프로세서(230)는 사용자가 선택한 TV와 스마트폰은 스마트뷰 기능을 통해 화면을 공유하거나 케이블 없이 화면 공유가 가능하다는 정보를 제공할 수 있다. 이때, 프로세서(230)는 해당 기능을 통해 카메라, 게임 콘솔 등은 사용자가 선택한 TV와 화면 공유가 가능하나, 노트북, 태블릿 등은 화면 공유가 불가함을 추가적으로 나타낼 수 있다.
한편, 프로세서(230)는 사용자의 선호 기준에 기초하여 복수의 디바이스를 비교할 수도 있다. 도 12f에 도시된 바와 같이, 프로세서(230)는 사용자가 선택된 복수의 TV를 디스플레이 크기, 곡면 형상 여부 및 가격을 기준으로 하여 사용자에게 좀더 유리한 디바이스를 추천할 수 있다.
특히, 프로세서(230)는 사용자의 선호 기준 별로 가중치를 부여하여 복수의 디바이스를 비교할 수도 있다. 예를 들어, 프로세서(230)는 디스플레이 크기, 곡면 형상 여부의 가중치를 가격의 가중치보다 높게 설정하여 복수의 디바이스를 비교할 수도 있다. 한편, 가중치는 사용자에 의해 설정될 수도 있고, 이전의 판매 데이터에 기초하여 기 설정되어 있을 수도 있다.
도 12a 내지 도 12f에서는 TV를 위주로 설명하였으나, 얼마든지 다른 디바이스 유형에 대하여도 동일하게 적용 가능하다.
도 13a 및 도 13b는 공간 정보에 기초하여 추천 디바이스 정보를 결정하는 방법의 일 예를 설명하기 위한 도면이다.
도 13a는 촬영된 이미지로부터 공간 정보를 산출하는 방법을 나타내는 도면이다. 여기서, 촬영된 이미지는 사용자 단말 장치(200)에서 촬영된 이미지일 수 있다. 사용자 단말 장치(200)는 카메라를 더 포함하며, 프로세서(230)는 카메라에 의해 촬영된 이미지를 서버 장치(100)로 전송할 수 있다.
서버 장치(100)의 프로세서(130)는 사용자 단말 장치(200)로부터 사용자 단말 장치(200)를 통해 특정 공간을 촬영한 이미지가 수신되면, 수신된 이미지에 기초하여 특정 공간의 크기를 산출하고, 산출된 공간 크기에 대응되는 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
도 13a의 첫 번째 도면에 도시된 바와 같이, 프로세서(130)는 수신된 이미지에 포함된 식별 이미지(1310)가 감지되면, 기저장된 식별 이미지(1310)의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
여기서, 도 13a의 두 번째 도면과 같이, 사용자는 측정할 영역을 지정할 수 있다. 프로세서(130)는 사용자에 의해 측정할 영역이 지정된 경우에도 측정할 영역 내에 식별 이미지(1310)를 감지하여 측정할 영역의 크기를 산출할 수 있다.
스토리지(120)는 식별 이미지(1310)에 대한 정보를 저장하고 있을 수 있다. 프로세서(130)는 스토리지(120)에 저장된 식별 이미지(1310)에 대한 정보를 이용하여 특정 공간의 크기를 산출할 수 있다.
예를 들어, 식별 이미지(1310)의 크기가 가로 8cm, 세로 8cm의 직사각형인 경우, 프로세서(130) 촬영된 이미지에서 식별 이미지(1310)가 차지하는 픽셀의 개수에 기초하여 특정 공간의 크기를 산출할 수 있다.
또한, 프로세서(130)는 식별 이미지(1310)의 형상에 기초하여 촬영면과 촬영 디바이스의 촬영 각도를 산출할 수 있다. 프로세서(130)는 촬영 각도에 기초하여 특정 공간의 크기를 산출할 수 있다.
프로세서(130)는 도 13a의 세 번째 도면과 같이, 산출된 특정 공간 크기의 정보를 제공할 수 있다. 프로세서는(130)는 특정 공간의 너버, 높이, 뎁스 및 거리 중 적어도 하나를 포함하는 크기 정보를 제공할 수 있다.
프로세서(130)는 산출된 특정 공간의 크기 정보를 사용자 단말 장치(200)에 전송할 수 있다. 또는, 프로세서(130)는 산출된 특정 공간의 크기 정보에 기초하여 추천 디바이스 정보를 생성하여 사용자 단말 장치(200)로 전송할 수도 있다.
이때, 스토리지(120)는 디바이스의 가로, 세로 및 높이 정보를 저장할 수 있다. 또한, 스토리지(120)는 디바이스의 이용 특성을 고려한 필요 공간 정보를 저장할 수도 있다. 예를 들어, 스토리지(120)는 냉장고의 문의 개폐에 필요한 공간 정보, TV의 시청 거리를 고려한 공간 정보, 공기청정기의 공기 정화 가능 공간 정보 등을 저장할 수 있다.
도 13a에서는 서버 장치(100)가 특정 공간의 크기를 산출하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자 단말 장치(200)가 특정 공간의 크기를 산출할 수도 있다.
사용자 단말 장치(200)의 프로세서(230)는 카메라에 의해 이미지를 촬영하고, 촬영된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출할 수 있다.
그리고, 프로세서(230)는 추천 디바이스 정보 중 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스 정보를 디스플레이할 수도 있다.
한편, 도 13b에 도시된 바와 같이, 프로세서(230)는 특정 공간의 크기에 대응되는 디바이스 중 하나를 특정 공간에 가상으로 오버레이하여 제공할 수도 있다. 여기서, 프로세서(230)는 카메라에 의해 촬영되는 프리뷰 이미지를 디스플레이하고, 추천 디바이스 중 하나를 특정 공간에 가상으로 디스플레이할 수 있다. 그에 따라, 사용자는 디바이스를 구매하지 않더라도 특정 공간에 적합한지 등을 판단할 수 있다.
도 14는 본 발명의 일 실시 예에 따른 서버 장치(100)와 사용자 단말 장치(200)의 동작을 설명하기 위한 시퀀스도이다.
먼저, 사용자 단말 장치(200)는 서버 장치(100)로 액세스하여 사용자 단말 장치(200)의 식별 정보를 서버 장치로 전송할 수 있다(S1410). 또는, 사용자 단말 장치(200)는 서버 장치(100)로 다른 디바이스에 대한 식별 정보를 전송할 수도 있다.
또는, 사용자 단말 장치(200)는 사용자 단말 장치(200)의 사용자의 계정에 액세스하기 위한 인증 정보를 서버 장치(100)로 전송할 수도 있다. 사용자의 계정에 대한 정보는 서버 장치(100)에 저장되어 있을 수 있다. 사용자는 사용자 단말 장치(200)에서 특정 어플리케이션을 실행시킨 후 사용자 계정에 액세스할 수도 있다. 사용자 단말 장치(200)는 인증 정보를 암호화하여 서버 장치(100)로 전송할 수 있다.
서버 장치(100)는 디바이스 간 호환 정보를 저장할 수 있다. 또는, 서버 장치(100)는 디바이스의 스펙 정보를 저장할 수 있다. 또는, 서버 장치(100)는 사용자의 계정에 대한 정보를 저장하고 있거나, 사용자의 계정 자체를 관리할 수도 있다. 예를 들어, 서버 장치(100)는 사용자가 소지하고 있는 디바이스에 대한 정보를 사용자의 계정에 연동하여 저장하고 있을 수 있다.
서버 장치(100)는 사용자 단말 장치(200)가 서버 장치(100)에 액세스되어 사용자 단말 장치(200)로부터 사용자 단말 장치(200)의 식별 정보가 수신되면, 저장된 정보에 기초하여 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 생성할 수 있다(S1420). 그리고, 서버 장치(100)는 생성된 정보를 사용자 단말 장치(200)로 전송할 수 있다(S1430).
또는, 서버 장치(100)는 사용자 단말 장치(200)의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 사용자 단말 장치(200) 및 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 추천 디바이스 정보로 결정하고, 결정된 정보를 사용자 단말 장치(200)로 전송할 수도 있다.
사용자 단말 장치(200)는 서버 장치(100)로부터 사용자 단말 장치(200)와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수 있다(S1440).
또는, 사용자 단말 장치(200)는 서버 장치(100)로부터 사용자 단말 장치(200) 및 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이할 수도 있다.
도 15는 본 발명의 일 실시 예에 따른 서버 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 사용자 단말 장치가 서버 장치에 액세스되어 사용자 단말 장치로부터 사용자 단말 장치의 식별 정보를 수신한다(S1510). 그리고, 디바이스 간 호환 정보에 기초하여 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성한다(S1520). 그리고, 생성된 추천 디바이스 정보를 사용자 단말 장치로 전송한다(S1530).
여기서, 수신하는 단계(S1510)는 사용자 단말 장치로부터 사용자 단말 장치를 통해 입력된 사용자 발화 음성 신호를 수신하고, 생성하는 단계(S1520)는 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
또는, 수신하는 단계(S1510)는 사용자 단말 장치로부터 사용자 단말 장치를 통해 특정 공간을 촬영한 이미지를 수신하고, 생성하는 단계(S1520)는 수신된 이미지에 기초하여 특정 공간의 크기를 산출하는 단계 및 산출된 공간 크기에 대응되는 디바이스 정보를 추천 디바이스 정보로 결정하는 단계를 포함할 수 있다.
여기서, 산출하는 단계는 수신된 이미지에 포함된 식별 이미지를 감지하는 단계 및 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출하는 단계를 포함할 수 있다.
한편, 생성하는 단계(S1520)는 사용자 단말 장치의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 사용자 단말 장치 및 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 추천 디바이스 정보로 결정할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 사용자 단말 장치가 서버 장치에 액세스되면, 사용자 단말 장치의 식별 정보를 서버 장치로 전송한다(S1610). 그리고, 서버 장치로부터 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신한다(S1620). 그리고, 수신된 추천 디바이스 정보를 디스플레이한다(S1630).
여기서, 사용자 발화 음성을 입력받는 단계를 더 포함하고, 디스플레이하는 단계(S1630)는 추천 디바이스 정보 중 사용자 발화 음성에 포함된 적어도 하나의 텍스트에 연관된 디바이스 정보를 디스플레이할 수 있다.
또는, 디스플레이하는 단계(S1630)는 추천 디바이스 정보 중 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스 정보를 디스플레이할 수 있다.
여기서, 카메라에 의해 이미지를 촬영하는 단계, 촬영된 이미지에 포함된 식별 이미지를 감지하는 단계 및 기저장된 식별 이미지의 크기 및 형상 정보에 기초하여 특정 공간의 크기를 산출하는 단계를 더 포함할 수 있다.
그리고, 전송하는 단계(S1610)는 사용자 단말 장치의 사용자의 계정에 액세스하기 위한 인증 정보를 서버 장치로 전송하고, 수신하는 단계(S1620)는 서버 장치로부터 사용자 단말 장치 및 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스 정보를 수신할 수 있다.
이상에서는 서버 장치가 사용자 단말 장치로부터 식별 정보를 수신하여 추천 디바이스 정보를 제공하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 이하에서는 확장 실시 예를 설명한다.
도 17은 본 발명의 확장 실시 예에 따른 디바이스 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 17에 도시된 바와 같이, 전자 시스템은 서버 장치(100), 복수의 디바이스(300-1, 300-2, 300-3, 300-4) 및 LFD(Large Format Display) 장치(400)를 포함할 수 있다. 서버 장치(100), 복수의 디바이스(300-1, 300-2, 300-3, 300-4) 및 LFD(Large Format Display) 장치(400)는 동일한 네트워크에 연결되어 있을 수 있다. 예를 들어, 서버 장치(100), 복수의 디바이스(300-1, 300-2, 300-3, 300-4) 및 LFD(Large Format Display) 장치(400)는 동일한 매장에 배치되어 하나의 네트워크에 연결되어 있을 수 있다.
복수의 디바이스(300-1, 300-2, 300-3, 300-4)는 각각 센서를 구비하고 있을 수 있으며, 센서에 의해 사용자의 조작이 감지되면 사용자 조작에 대한 정보를 서버 장치(100)로 전송할 수 있다. 예를 들어, 매장에서 사용자가 냉장고(300-1)의 문을 여는 경우, 냉장고(300-1)는 문이 열렸다는 신호를 서버 장치(100)로 전송할 수 있다.
서버 장치(100)는 수신된 감지 정보에 기초하여 관련된 정보를 추출하고, 추출된 정보를 LFD 장치(400)로 전송할 수 있다. 예를 들어, 서버 장치(100)는 냉장고(300-1)로부터 감지 결과가 수신되면 해당 냉장고(300-1)에 대한 정보를 LFD 장치(400)로 전송할 수 있다. LFD 장치(400)는 수신된 정보를 디스플레이하게 되고, 사용자는 냉장고(300-1)에 대한 구체적인 정보를 볼 수 있게 된다.
전송되는 정보는 디바이스의 세부 스펙 정보 뿐만 아니라 감지 정보에 대응되는 정보가 포함될 수 있다. 예를 들어, 전송되는 정보는 냉장고(300-1)의 세부 스펙 정보 뿐만 아니라 문이 열렸을 때의 시간, 문이 어느 정도로 열렸는지에 대한 정보, 문이 열린 시간에 기초하여 추가로 소모된 에너지에 대한 정보 등이 포함될 수 있다.
또한, 서버 장치(100)는 감지 결과가 수신되면, 해당 장치와 호환 가능한 디바이스에 대한 정보를 생성하여 LFD 장치(400)로 전송할 수도 있다. 예를 들어, 서버 장치(100)가 노트북(300-2)으로부터 감지 결과를 수신하면, 노트북(300-2)과 호환 가능한 추천 디바이스 정보를 생성하여 LFD 장치(400)로 전송할 수 있다.
특히, 서버 장치(100)는 감지 결과에 기초하여 추천 디바이스 정보를 생성할 수도 있다. 예를 들어, 사용자가 노트북(300-2)의 블루투스 기능을 실행시킨 경우, 노트북(300-2)은 블루투스 기능 실행 정보를 서버 장치(100)로 전송할 수 있고, 서버 장치(100)는 블루투스 기능이 지원되는 추천 디바이스 정보를 생성하여 LFD 장치(400)로 전송할 수 있다.
또는, 서버 장치(100)는 감지 결과에 기초하여 동종의 제품을 추천할 수도 있다. 예를 들어, 사용자가 스마트폰(300-3)을 조작하는 경우, 서버 장치(100)는 사용자가 조작한 스마트폰(300-3)에 대한 정보 뿐만 아니라 다른 스마트폰에 대한 정보를 추가로 LFD 장치(400)로 전송할 수 있다. 다만, 이에 한정되는 것은 아니며, 서버 장치(100)는 동종의 제품 뿐만 아니라 동일한 하드웨어 규격을 지원하는 디바이스에 대한 정보를 LFD 장치(400)로 전송할 수도 있다.
LFD 장치(400)는 대형 디스플레이로서 홍보 기능 또는 정보 전달 기능 등을 수행할 수 있다. LFD 장치(400)는 하나의 패널로 구성된 스탠드 얼론(stand alone)장치 또는 여러 장의 패널을 연결한 비디오 월(video wall) 장치일 수 있다.
LFD 장치(400)는 서버 장치(100)로부터 수신된 정보를 디스플레이할 수 있다. 예를 들어, LFD 장치(400)는 서버 장치(100)로부터 영상 정보를 수신하여 전체 디스플레이 영역에 디스플레이할 수 있다.
또는, LFD 장치(400)는 서버 장치(100)로부터 복수의 컨텐츠를 수신하고, 수신된 복수의 컨텐츠를 재배치하여 디스플레이할 수도 있다. 예를 들어, LFD 장치(400)는 서버 장치(100)로부터 텍스트 및 동영상을 수신하고, 기설정된 레이아웃에 따라 텍스트 및 동영상을 배치하여 디스플레이할 수도 있다.
또는, LFD 장치(400)는 기설정된 컨텐츠와 서버 장치(100)로부터 수신된 정보를 동시에 디스플레이할 수도 있다. 예를 들어, LFD 장치(400)는 LFD 장치(400)가 설치된 매장의 광고 컨텐츠를 디스플레이의 일 영역에 디스플레이하고, 서버 장치(100)로부터 수신된 정보를 나머지 영역에 디스플레이할 수도 있다.
도 18a 및 도 18b는 디바이스에 구비된 센서의 일 예를 설명하기 위한 도면이다.
도 18a에 도시된 바와 같이, 디바이스는 각 구성요소에 센서를 구비하거나, 디바이스가 제공하는 주요 기능을 센서와 연계하여 제공할 수 있다. 예를 들어, 냉장고는 냉장고 문의 개폐를 감지하는 센서를 구비할 수 있으며, 냉장고 문의 개폐를 센서를 통해 감지하고 상세 정보를 제공한다. 단, 디바이스에 따라 제공하는 기능과 센서는 상이하게 구성될 수 있다.
도 18a에는 냉장고가 8개의 센서를 구비한 것으로 도시되었으나, 경우에 따라 얼마든지 다르게 센서를 구비할 수도 있다.
도 18b는 8개의 센서에 대한 구체적인 정보를 나타낸다. 이러한 정보는 서버 장치(100)에 저장되어 있을 수 있다.
구체적으로, 서버 장치(100)는 각 센서의 스펙/기능 명칭, 적용 센서, 작동 방법 등에 대한 정보를 저장할 수 있다. 예를 들어, 서버 장치(100)는 1번 센서가 작동하였다는 신호가 수신되면, 냉장고 문의 개폐가 있었음을 감지할 수 있다. 이때, 1번 센서는 자석도어센서일 수 있다.
서버 장치(100)는 감지된 정보에 기초하여 LFD 장치(400)에서 디스플레이될 디바이스와 디바이스의 스펙 정보 등을 추출하여 LFD 장치(400)로 전송할 수 있다. 예를 들어, 서버 장치(100)는 1번 센서가 작동하였다는 신호가 수신되면, 냉장고 문에서 제공되는 기능에 대한 정보를 LFD 장치(400)로 전송할 수 있다. 냉장고 문에서 제공되는 기능에 대한 정보는 냉장고의 개폐에 따른 조명의 제어 기능 등을 포함할 수 있다.
도 19a 내지 도 19c는 서버 장치(100)의 데이터 처리 방법의 일 예를 설명하기 위한 도면이다.
먼저, 서버 장치(100)는 다양한 경로를 통해 데이터를 수집할 수 있다. 구체적으로, 서버 장치(100)는 IoT 센서 로그 처리기, 데이터 디렉토리 및 엔터프라이즈 데이터를 수집할 수 있다.
IoT 센서 로그 처리기는 디바이스에 구비된 센서로부터 데이터를 수집하고, 로그 데이터를 저장한다. 그리고, 로그 데이터를 구조화하고, 서버 장치(100)와 동일한 역할을 수행하는 다른 장치와 클라우드를 구성하여 데이터를 공유할 수 있다.
또한, 서버 장치(100)는 디바이스 지식, 일반 지식, 실시간 데이터 및 오픈 데이터를 수집하여 데이터 디렉토리를 구성할 수 있다. 데이터 디렉토리는 실시간으로 수집될 수도 있고, 주기적으로 수집될 수도 있다.
예를 들어, 도 19b에 도시된 바와 같이, 서버 장치(100)는 디바이스에 대한 데이터, 디바이스에 대한 실시간 데이터 및 일반 데이터를 구분하여 저장할 수 있다. 구체적으로, 디바이스에 대한 데이터는 디바이스 ID 정보, 디바이스 스펙 정보 및 디바이스 판매처 정보 등을 포함할 수 있다. 디바이스에 대한 실시간 데이터는 디바이스 리뷰/평점, 디바이스 기사, 소셜 미디어 데이터 등을 포함할 수 있다. 일반 데이터는 디바이스에 대한 일반 상식, 디바이스에 대한 위치 POI(Point of Interest) 등을 포함할 수 있다.
예를 들어, 서버 장치(100)는 “트리플 독립냉각”이라는 정보로부터 냉장고라는 디바이스 정보, 쿨링 시스템이라는 기능 정보 등을 추출할 수 있고, “트리플 독립냉각”과 관련된 뉴스, 리뷰 등을 검색하여 저장할 수 있다. 또한, 서버 장치(100)는 해당 기능이 구비된 디바이스의 판매 정보를 저장할 수 있다.
한편, 서버 장치(100)는 광고 데이터, 판매 데이터, A/S 데이터 및 판매처 데이터를 수집하여 엔터프라이즈 데이터를 구성할 수 있다. 마찬가지로, 엔터프라이즈 데이터는 실시간으로 수집될 수도 있고, 주기적으로 수집될 수도 있다.
서버 장치(100)는 수집된 데이터를 시맨틱 강화 엔진을 통해 지식 그래프와 데이터를 의미적으로 연계할 수 있다. 그리고, 서버 장치(100)는 시맨틱 빅데이터 분석을 통해 다이나믹 다차원 분석 결과를 생성할 수 있다. 다이나믹 다차원 분석 결과는 사용자 단말 장치(200) 또는 LFD 장치(400)로 전송되어 디스플레이될 수 있다.
서버 장치(100)는 시맨틱 강화 엔진을 이용하여, 먼저 로그 데이터를 추출 및 구조화하고, 데이터 디렉토리와 로그 데이터를 연계한다. 그리고, 서버 장치(100)는 엔티티(entity)를 인식 및 매핑한다. 여기서, 엔티티는 의미 있는 정보의 단위로서 디바이스 명칭, 기능, 가격 등 다양한 정보를 포함할 수 있다.
서버 장치(100)는 엔티티 정보 기반 시맨틱을 확장하고, 엔티티 간 시맨틱 추론을 통해 자동 규칙을 부여할 수 있다. 여기서, 시맨틱은 분산환경에서 리소스에 대한 정보와 자원 사이의 관계-의미 정보를 컴퓨터가 처리할 수 있는 온톨로지 형태로 표현하고, 이를 자동화된 컴퓨터가 처리하도록 하는 기술을 의미한다.
이후, 서버 장치(100)는 실시간 데이터 기반 텍스트를 추출하고, 엔티티 별 실시간 데이터를 자동으로 확장한다. 그리고, 서버 장치(100)는 시맨틱 인덱스를 생성하고 그래프 데이터를 저장한다.
도 19c는 시맨틱 빅데이터 분석의 일 예를 나타내는 도면이다.
먼저, 서버 장치(100)는 빅데이터를 분석한다. 빅데이터의 소스는 IoT 센서 데이터, 디바이스 웹사이트 데이터, SNS 데이터, 웹 검색 데이터 뿐만 아니라 엔터프라이즈 데이터를 포함할 수 있다. 예를 들어, 서버 장치(100)는 뉴욕에서 가장 많이 팔린 제품은 에어컨 A 등의 정보를 수집하여 분석할 수 있다.
분석 결과 연관 규칙 및 도메인이 추론될 수 있다. 예를 들어, 위치, 디바이스, 인구, 이벤트, 경제 등의 도메인이 추론될 수 있다.
그리고, 서버 장치(100)는 시맨틱 어노테이션을 수행하여, 빅데이터 분석을 통해 도출된 결과를 연관 정보를 활용하여 다차원 뷰를 생성한다. 예를 들어, 서버 장치(100)는 뉴욕에 대해 북미, 뉴저지 등의 다차원 뷰를 생성할 수 있다.
연관 규칙 및 도메인 추론과 시맨틱 어노테이션은 시맨틱 강화 엔진의 보조를 통해 수행될 수 있다.
그리고, 서버 장치(100)는 다이나믹 다차원 분석을 수행하여, 복수의 도메인 및 각 도메인의 다차원 뷰 간의 연관 관계를 분석한다. 예를 들어, 디바이스 기능과 지역, 연령, 성별 등의 상관관계, 기획, 개발 시 고려사항, 제품 고장 기능과 지역, 기후의 상관 관계 등을 도출할 수 있다.
서버 장치(100)는 Federated 시맨틱 검색을 통해 물리적인 데이터 이동 또는 통합 없이 시맨틱 강화 엔진에서 생성된 관계를 이용해 실시간으로 질의를 처리할 수 있다.
이상에서 설명한 시맨틱 강화 엔진은 실시간 또는 주기적으로 수행될 수 있다. 또한, 각 데이터는 이종의 데이터와 연계될 수 있으며, 이를 통해 해당 데이터의 상세 정보에 접근할 수 있다.
도 20은 본 발명의 확장 실시 예에 따른 서버 장치의 동작을 설명하기 위한 흐름도이다.
먼저, 디바이스의 특정 부위에서 이벤트가 발생한다(S2010). 이때, 디바이스에서 발생한 이벤트는 디바이스의 종류에 따라 다를 수 있다. 예를 들어, 스마트폰에서 발생한 이벤트로는 잠금 화면의 해제, 문자 메시지 전송 등이 있을 수 있고, 세탁기에서 발생한 이벤트로는 세탁 시작, 세탁물의 설정, 세탁기 도어의 개폐 등이 있을 수 있다.
그리고, 서버 장치는 이벤트 내용을 저장한다(S2020). 서버 장치는 각 디바이스로부터 이벤트 내용을 수신하여 저장할 수 있다. 서버 장치는 각 디바이스와 블루투스 등을 통해 직접 연결되어 있을 수도 있고, 액세서 포인트(AP)를 통해 간접적으로 연결되어 있을 수도 있다.
서버 장치는 이벤트 내용을 각 디바이스 카테고리마다 분류하여 저장할 수 있다. 또는, 서버 장치는 이벤트 내용을 이벤트 발생 시간에 따라 구분하여 저장할 수도 있다.
그리고, 서버 장치는 이벤트가 발생한 디바이스의 부위에 대한 정보를 탐색할 수 있다(S2030). 서버 장치는 이벤트가 발생한 디바이스의 부위가 어딘지를 파악하고, 이벤트가 발생한 디바이스의 부위와 관련된 기능을 검색할 수 있다. 서버 장치는 검색된 기능을 제공하는 다른 디바이스를 추가적으로 검색할 수도 있고, 검색된 기능과 호환되는 다른 디바이스를 추가적으로 검색할 수도 있다.
그리고, 서버 장치는 이벤트가 발생한 디바이스의 부위에 대한 정보를 제공할 수 있다(S2040). 서버 장치는 디스플레이를 구비하여 직접 정보를 제공할 수도 있고, 외부 디스플레이 장치에 검색된 정보를 전송하여 제공할 수도 있다. 또는, 서버 장치는 검색된 정보를 각 사용자 단말 장치로 전송할 수도 있다.
이상에서는 사용자가 디바이스를 조작한 경우에 이벤트가 발생하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자가 스마트폰의 특정 어플리케이션을 실행시킨 후 매장을 돌아다니는 경우, 스마트폰이 특정 디바이스로부터 기설정된 거리 내에 위치하면 특정 디바이스는 서버 장치로 특정 디바이스에 대한 식별 정보를 전송할 수도 있다. 이 경우, 서버 장치는 특정 디바이스에 대한 스펙 정보를 LFD 장치로 전송하여 사용자에게 제공할 수 있다.
또한, 사용자가 스마트폰의 특정 어플리케이션을 실행시키면, 사용자의 계정에 접속되어 사용자가 조작했던 디바이스에 대한 정보가 저장될 수도 있다. 예를 들어, 사용자의 스마트폰이 특정 디바이스로부터 기설정된 거리 내에 위치하면 사용자의 스마트폰은 외부 서버 장치로 특정 디바이스에 대한 식별 정보를 전송할 수 있다. 이 경우, 외부 서버 장치는 사용자 계정에 대한 정보 및 해당 사용자 계정에 수신된 식별 정보를 갖는 특정 디바이스에 대한 정보를 저장할 수 있다.
또한, 외부 서버 장치는 특정 디바이스의 스펙 정보와 같은 구체적인 정보를 스마트폰으로 전송할 수도 있다. 사용자는 스마트폰을 통해 인접한 특정 디바이스에 대한 정보를 확인할 수 있다.
또한, 사용자는 매장을 벗어나서도 외부 서버 장치에 접속하여 사용자가 조작하였던 특정 디바이스에 대한 정보를 확인할 수도 있다. 특히, 사용자는 스마트폰이 아닌 노트북 등 다른 디바이스를 이용하여 특정 디바이스에 대한 정보를 확인할 수 있다. 이 경우, 사용자는 다른 디바이스를 통해 외부 서버 장치의 사용자 계정에 접속해야 한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 사용자 디바이스와 호환 가능한 추천 디바이스 정보가 생성되고, 생성된 정보가 사용자에게 제공될 수 있다.
한편, 이상에서는 서버 장치와 사용자 단말 장치가 구분된 것으로 설명하였으나, 하나의 장치로 구성될 수도 있다. 예를 들어, 사용자 단말 장치가 발화 음성을 입력 받아 대응되는 추천 디바이스 정보를 디스플레이할 수도 있다. 또는, 사용자 단말 장치는 촬영한 이미지로부터 특정 공간의 크기를 산출하여 대응되는 추천 디바이스 정보를 디스플레이할 수도 있다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 상술한 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 서버 장치에 있어서,
    사용자 단말 장치와 통신하는 통신부;
    디바이스 간 호환 정보를 저장하는 스토리지; 및
    상기 사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보가 수신되면, 상기 스토리지에 저장된 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하여 상기 사용자 단말 장치로 전송하는 프로세서;를 포함하는 서버 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치로부터 상기 사용자 단말 장치를 통해 입력된 사용자 발화 음성 신호가 수신되면, 상기 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 상기 추천 디바이스 정보로 결정하는, 서버 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치로부터 상기 사용자 단말 장치를 통해 특정 공간을 촬영한 이미지가 수신되면, 상기 수신된 이미지에 기초하여 상기 특정 공간의 크기를 산출하고, 상기 산출된 공간 크기에 대응되는 디바이스 정보를 상기 추천 디바이스 정보로 결정하는, 서버 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 수신된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 상기 식별 이미지의 크기 및 형상 정보에 기초하여 상기 특정 공간의 크기를 산출하는, 서버 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 상기 사용자 단말 장치 및 상기 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 상기 추천 디바이스 정보로 결정하는, 서버 장치.
  6. 사용자 단말 장치에 있어서,
    디스플레이;
    서버 장치와 통신하는 통신부; 및
    상기 사용자 단말 장치가 상기 서버 장치에 액세스되면, 상기 사용자 단말 장치의 식별 정보를 상기 서버 장치로 전송하고, 상기 서버 장치로부터 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 수신하여 상기 디스플레이를 통해 디스플레이하는 프로세서;를 포함하는 사용자 단말 장치.
  7. 제6항에 있어서,
    사용자 발화 음성을 입력받기 위한 입력부;를 더 포함하며,
    상기 프로세서는,
    상기 추천 디바이스 정보 중 상기 사용자 발화 음성에 포함된 적어도 하나의 텍스트에 연관된 디바이스 정보를 디스플레이하는, 사용자 단말 장치.
  8. 제6항에 있어서,
    카메라;를 더 포함하며,
    상기 프로세서는,
    상기 추천 디바이스 정보 중 상기 카메라에 의해 촬영된 특정 공간의 크기에 대응되는 디바이스 정보를 디스플레이하는, 사용자 단말 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 카메라에 의해 이미지를 촬영하고, 상기 촬영된 이미지에 포함된 식별 이미지가 감지되면, 기저장된 상기 식별 이미지의 크기 및 형상 정보에 기초하여 상기 특정 공간의 크기를 산출하는, 사용자 단말 장치.
  10. 제6항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치의 사용자의 계정에 액세스하기 위한 인증 정보를 상기 서버 장치로 전송하고, 상기 서버 장치로부터 상기 사용자 단말 장치 및 상기 인증된 사용자 계정에 등록된 사용자 디바이스와 호환 가능한 추천 디바이스 정보를 수신하여 디스플레이하는, 사용자 단말 장치.
  11. 서버 장치의 제어 방법에 있어서,
    사용자 단말 장치가 상기 서버 장치에 액세스되어 상기 사용자 단말 장치로부터 상기 사용자 단말 장치의 식별 정보를 수신하는 단계;
    디바이스 간 호환 정보에 기초하여 상기 사용자 단말 장치와 호환 가능한 추천 디바이스 정보를 생성하는 단계; 및
    상기 생성된 추천 디바이스 정보를 상기 사용자 단말 장치로 전송하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 수신하는 단계는,
    상기 사용자 단말 장치로부터 상기 사용자 단말 장치를 통해 입력된 사용자 발화 음성 신호를 수신하고,
    상기 생성하는 단계는,
    상기 발화 음성 신호에 포함된 적어도 하나의 텍스트와 연관된 디바이스 정보를 상기 추천 디바이스 정보로 결정하는, 제어 방법.
  13. 제11항에 있어서,
    상기 수신하는 단계는,
    상기 사용자 단말 장치로부터 상기 사용자 단말 장치를 통해 특정 공간을 촬영한 이미지를 수신하고,
    상기 생성하는 단계는,
    상기 수신된 이미지에 기초하여 상기 특정 공간의 크기를 산출하는 단계; 및
    상기 산출된 공간 크기에 대응되는 디바이스 정보를 상기 추천 디바이스 정보로 결정하는 단계;를 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 산출하는 단계는,
    상기 수신된 이미지에 포함된 식별 이미지를 감지하는 단계; 및
    기저장된 상기 식별 이미지의 크기 및 형상 정보에 기초하여 상기 특정 공간의 크기를 산출하는 단계;를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 생성하는 단계는,
    상기 사용자 단말 장치의 사용자의 계정에 등록된 사용자 디바이스 정보에 기초하여 상기 사용자 단말 장치 및 상기 등록된 사용자 디바이스와 호환 가능한 디바이스 정보를 상기 추천 디바이스 정보로 결정하는, 제어 방법.
PCT/KR2016/008120 2015-09-02 2016-07-25 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템 WO2017039153A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680051214.9A CN107924421A (zh) 2015-09-02 2016-07-25 服务器装置、用户终端装置、其控制方法和电子系统
US15/755,434 US11637939B2 (en) 2015-09-02 2016-07-25 Server apparatus, user terminal apparatus, controlling method therefor, and electronic system
EP16842119.6A EP3346395A4 (en) 2015-09-02 2016-07-25 Server apparatus, user terminal apparatus, controlling method therefor, and electronic system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0124282 2015-09-02
KR20150124282 2015-09-02
KR1020160005887A KR102469758B1 (ko) 2015-09-02 2016-01-18 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템
KR10-2016-0005887 2016-01-18

Publications (1)

Publication Number Publication Date
WO2017039153A1 true WO2017039153A1 (ko) 2017-03-09

Family

ID=58187898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/008120 WO2017039153A1 (ko) 2015-09-02 2016-07-25 서버 장치, 사용자 단말 장치, 그 제어 방법 및 전자 시스템

Country Status (2)

Country Link
KR (1) KR102657369B1 (ko)
WO (1) WO2017039153A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013063299A1 (en) * 2011-10-27 2013-05-02 Ebay Inc. Visualization of items using augmented reality
US20130117431A1 (en) * 2009-09-29 2013-05-09 Core Wireless Licensing S.A.R.I. Method and apparatus for providing device compatibility information
US20140025537A1 (en) * 2012-07-23 2014-01-23 Cellco Partnership D/B/A Verizon Wireless Verifying accessory compatibility with a mobile device
US20140032359A1 (en) * 2012-07-30 2014-01-30 Infosys Limited System and method for providing intelligent recommendations
US8788944B1 (en) * 2011-03-09 2014-07-22 Amazon Technologies, Inc. Personalized mobile device application presentation using photograph-based capability detection

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020095294A1 (en) * 2001-01-12 2002-07-18 Rick Korfin Voice user interface for controlling a consumer media data storage and playback device
US20060190350A1 (en) * 2005-02-23 2006-08-24 Eric Maas Systems and methods for finding, presenting and selling compatible goods
US8106742B2 (en) * 2006-08-04 2012-01-31 Tegic Communications, Inc. Remotely controlling one or more client devices detected over a wireless network using a mobile device
KR102084739B1 (ko) * 2013-03-11 2020-04-14 삼성전자주식회사 대화형 서버, 디스플레이 장치 및 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117431A1 (en) * 2009-09-29 2013-05-09 Core Wireless Licensing S.A.R.I. Method and apparatus for providing device compatibility information
US8788944B1 (en) * 2011-03-09 2014-07-22 Amazon Technologies, Inc. Personalized mobile device application presentation using photograph-based capability detection
WO2013063299A1 (en) * 2011-10-27 2013-05-02 Ebay Inc. Visualization of items using augmented reality
US20140025537A1 (en) * 2012-07-23 2014-01-23 Cellco Partnership D/B/A Verizon Wireless Verifying accessory compatibility with a mobile device
US20140032359A1 (en) * 2012-07-30 2014-01-30 Infosys Limited System and method for providing intelligent recommendations

Also Published As

Publication number Publication date
KR102657369B1 (ko) 2024-04-16
KR20220158666A (ko) 2022-12-01

Similar Documents

Publication Publication Date Title
WO2017078361A1 (en) Electronic device and method for recognizing speech
WO2017142293A1 (en) Electronic device and method of application data display therefor
WO2014092451A1 (en) Information search method and device and computer readable recording medium thereof
WO2014157886A1 (en) Method and device for executing application
WO2016137167A1 (en) Terminal
WO2014035209A1 (en) Method and apparatus for providing intelligent service using inputted character in a user device
WO2014010974A1 (en) User interface apparatus and method for user terminal
WO2015099276A1 (en) Display apparatus, server apparatus, display system including them, and method for providing content thereof
WO2015178692A1 (en) Display apparatus, remote control apparatus, system and controlling method thereof
WO2012169737A2 (en) Display apparatus and method for executing link and method for recognizing voice thereof
WO2016003219A1 (en) Electronic device and method for providing content on electronic device
EP3245583A1 (en) Electronic device and method of processing information in electronic device
WO2014035199A1 (en) User interface apparatus in a user terminal and method for supporting the same
WO2018124842A1 (ko) 컨텐트에 관한 정보를 제공하는 방법 및 디바이스
WO2017119708A1 (en) Image display apparatus and method of operating the same
WO2017119663A1 (en) Electronic device and method for controlling the same
WO2019235793A1 (en) Electronic device and method for providing information related to image to application through input unit
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2017069422A1 (en) User terminal device and method for providing web service thereof
WO2016043530A1 (en) System and method for providing service via application
WO2021118225A1 (en) Display device and operating method thereof
EP3198549A1 (en) Method and device for outputting content and recording medium for executing the method
EP3387821A1 (en) Electronic device and method for controlling the same
WO2020171567A1 (en) Method for recognizing object and electronic device supporting the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842119

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE