WO2015072816A1 - 디스플레이 장치 및 제어 방법 - Google Patents

디스플레이 장치 및 제어 방법 Download PDF

Info

Publication number
WO2015072816A1
WO2015072816A1 PCT/KR2014/011082 KR2014011082W WO2015072816A1 WO 2015072816 A1 WO2015072816 A1 WO 2015072816A1 KR 2014011082 W KR2014011082 W KR 2014011082W WO 2015072816 A1 WO2015072816 A1 WO 2015072816A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
voice recognition
user
spoken
input
Prior art date
Application number
PCT/KR2014/011082
Other languages
English (en)
French (fr)
Inventor
김명재
류희섭
황광일
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140159967A external-priority patent/KR102345611B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP14861345.8A priority Critical patent/EP3037920B1/en
Priority to CN201480062825.4A priority patent/CN105745702B/zh
Publication of WO2015072816A1 publication Critical patent/WO2015072816A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • the present invention relates to a display apparatus and a control method, and more particularly, to a display apparatus and a control method for recognizing a spoken voice of a user.
  • a display device capable of speech recognition performs the following operations to provide a recognition result to a user's spoken voice.
  • the display apparatus attempts to connect with a voice recognition device that performs voice recognition on the spoken voice of the user.
  • the display device displays a UI screen indicating that voice recognition is possible, so that the user can confirm that voice recognition is possible through the displayed UI screen.
  • the display device may receive a spoken voice of the user.
  • the voice recognition device may input voice information about the input spoken voice. To send.
  • the voice recognition apparatus analyzes the received voice information and transmits a voice recognition result of the user's spoken voice to the display device, and the display device transmits the text information of the user's spoken voice based on the received voice recognition result. It can be displayed on the screen.
  • the conventional display apparatus In the process of providing a result of recognizing a user's spoken voice through a series of processes as described above, the conventional display apparatus, as described above, at the time when a user command to operate in the voice recognition mode is inputted with the speech recognition apparatus; Perform the connection.
  • the conventional display device additionally takes time to connect with the speech recognition apparatus in order to receive the spoken voice of the user. Accordingly, the user must bear the inconvenience of waiting for the time required for the display apparatus to connect to the speech recognition apparatus and enter the speech recognition mode.
  • an object of the present invention is to minimize the time required until the user can speak in the display device.
  • the display device for achieving the above object is a communication unit for communicating with a speech recognition device for recognizing a spoken voice of the user, an input unit for receiving the spoken voice of the user, the speech recognition device When the display unit displaying the recognition result information on the spoken voice received from the display device and the display device are powered on, the connection request information is transmitted to the voice recognition device to connect with the voice recognition device, and through the input unit. And a processor for transmitting voice information regarding the spoken voice to the voice recognition apparatus through the communication unit when the spoken voice is input.
  • the processor may perform connection with the voice recognition device.
  • the processor may activate a voice recognition mode for recognizing a spoken voice of the user when a predetermined event occurs within a first threshold time while connected to the voice recognition device, and the event may include a voice recognition mode. And at least one of a first event through which a user command to operate a user command is input, a second event through which motion information is received from a remote control device, and a third event through which a video image of the user's motion is input.
  • the processor may transmit dummy data to maintain the connection to the voice recognition apparatus.
  • the processor may transmit dummy data for maintaining the connection to the voice recognition apparatus when the spoken voice of the user is not input within the second threshold time while the voice recognition mode is activated.
  • the processor may deactivate the voice recognition mode when the spoken voice of the user is not input within a second threshold time while the voice recognition mode is activated.
  • the first threshold time may be a time for which the connection with the voice recognition apparatus may be maintained
  • the second threshold time may be a time for which the connection with the voice recognition apparatus may be maintained and the voice recognition mode may be activated.
  • the processor may release the connection with the voice recognition apparatus.
  • the display device when the display device is powered on, connecting with a voice recognition device that recognizes the user's spoken voice, the user's spoken voice If input, transmitting voice information on the spoken voice to the voice recognition device and receiving and displaying recognition result information on the spoken voice received from the voice recognition device.
  • connection with the voice recognition apparatus may be performed.
  • the method may further include activating a voice recognition mode for recognizing a spoken voice of the user when a predetermined event occurs within a first threshold time while being connected to the voice recognition device. And at least one of a first event to which a user command to operate in a mode is input, a second event to receive motion information from a remote control device, and a third event to input a video image of the user's motion.
  • dummy data for maintaining the connection may be transmitted to the voice recognition apparatus.
  • dummy data for maintaining the connection may be transmitted to the voice recognition device.
  • the voice recognition mode may be deactivated when the spoken voice of the user is not input within a second threshold time while the voice recognition mode is activated.
  • the first threshold time may be a time for which the connection with the voice recognition apparatus may be maintained
  • the second threshold time may be a time for which the connection with the voice recognition apparatus may be maintained and the voice recognition mode may be activated.
  • the method may further include canceling a connection with the voice recognition apparatus when a control command for powering off the display apparatus is input.
  • a computer program stored in a recording medium in combination with a display device to execute the following steps, the voice recognition device that recognizes the user's spoken voice when the display device is powered on Performing a connection with the user, when the spoken voice of the user is input, transmitting voice information about the input spoken voice to the voice recognition device and recognition result information about the spoken voice received from the voice recognition device. Receiving and displaying the display, and controls the display device.
  • the display device may minimize the time required to enter the voice recognition mode.
  • 1 is a procedure of providing a recognition result for a user's spoken voice in a general speech recognition system
  • FIG. 2 is a procedure for providing a result of recognizing a spoken voice of a user in a voice recognition system according to an embodiment of the present invention
  • 3 is an exemplary view for comparing the time required to receive a recognition result of a user's spoken voice in a conventional display device and the display device of the present invention
  • FIG. 4 is a block diagram of a display device capable of speech recognition according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of a processor of a display apparatus according to an embodiment of the present invention.
  • FIG. 6 is a first flowchart illustrating a method of controlling a display apparatus capable of recognizing a spoken voice of a user according to an embodiment of the present invention
  • FIG. 7 is connected to a speech recognition apparatus in a display device according to another embodiment of the present invention.
  • FIG. 8 is a third flowchart for maintaining connection with a speech recognition apparatus in a display apparatus according to another embodiment of the present invention.
  • FIG. 9 is an exemplary view of displaying text information on a spoken voice of a user in a display device according to an embodiment of the present invention.
  • 1 is a procedure of providing a result of recognizing a spoken voice of a user in a general speech recognition system.
  • the voice recognition system includes a display device 100 that receives a user's spoken voice and a voice recognition device 200 that recognizes the user's spoken voice.
  • the display apparatus 100 when the display apparatus 100 is powered on, the display apparatus 100 initializes a plurality of pre-stored applications.
  • the plurality of applications may include a voice recognition related application for entering the voice recognition mode. Therefore, when external power is supplied and the power is turned on, the display apparatus 100 performs a series of booting procedures to initialize a plurality of applications. In the plurality of application initialization processes, the display apparatus initializes a voice recognition related application among the plurality of applications (S10).
  • the display apparatus 100 determines whether a user command for operating in the voice recognition mode is input from the user (S20). As a result of the determination, when a user command for operating in the voice recognition mode is input, the display apparatus 100 requests a connection to the voice recognition apparatus 200 to start a connection with the voice recognition apparatus 200 (S30).
  • the display apparatus 100 determines whether a spoken voice of a user is input within a preset threshold time (S40). As a result of the determination, when a user's spoken voice is input within a preset threshold time, the display apparatus 100 transmits voice information regarding the input spoken voice to the voice recognition apparatus 200. On the other hand, if the user's spoken voice is not input within the preset threshold time, the display apparatus 100 releases the connection with the voice recognition apparatus 200 (S60). Accordingly, the display apparatus 100 does not operate in the voice recognition mode.
  • the voice recognition apparatus 200 analyzes the received voice information and sends the recognition result information about the spoken voice of the user to the display apparatus 100. Transmit (S70, S80). Accordingly, the display apparatus 100 displays text information on the spoken voice of the user on the screen based on the recognition result information received from the speech recognition apparatus 200 (S90).
  • the display apparatus 100 starts the connection with the voice recognition apparatus 200 and enters the voice recognition mode. Therefore, the user must wait for the time required for the display apparatus 100 to enter the voice recognition mode.
  • FIG. 2 is a procedure for providing a result of recognizing a spoken voice of a user in a voice recognition system according to an exemplary embodiment of the present invention.
  • the voice recognition system includes a display device 100 that receives a user's spoken voice and a voice recognition device 200 that recognizes the user's spoken voice and provides a recognition result accordingly.
  • the display apparatus 100 when the display apparatus 100 is powered on, the display apparatus 100 performs a booting operation for driving an internal system of the display apparatus 100. That is, when the display apparatus 100 is powered on, after executing a boot loader program stored in a nonvolatile memory such as a flash memory to load a kernel, the display apparatus 100 may operate in an operating system (OS). Register various device drivers that can be operated. When various device drivers are registered, the display apparatus 100 initializes each application operating in correspondence with each registered device (S210). In the present invention, an operation of executing an application through a booting process according to power-on of the display apparatus 100 will be described as an operation of performing application initialization.
  • OS operating system
  • the display apparatus 100 When the booting operation is completed, the display apparatus 100 performs a connection with the speech recognition apparatus 200 according to a preset event (S220). According to an exemplary embodiment, after booting is performed according to power on, when the initialization of the voice recognition related application is completed, the display apparatus 100 requests a connection to the voice recognition apparatus 200 and the voice recognition apparatus 200. The connection can be made.
  • the display apparatus 100 which is connected to the speech recognition apparatus 200 is connected to the speech recognition apparatus 200, in order to access the speech recognition apparatus 200 based on the TCP / IP (Transmission Control Protocol / Internet Protocol) communication protocol.
  • the connection request information including the identification information and the address information of the display apparatus 100 is transmitted to the recognition apparatus 200.
  • the voice recognition apparatus 200 performs a connection with the display apparatus 100 based on the connection request information received from the display apparatus 100.
  • the display apparatus 100 may enter the voice recognition mode and receive a user's spoken voice according to whether or not a preset event occurs.
  • the processor 100 determines whether a predetermined event occurs in connection with the speech recognition mode operation within a first threshold time (S230).
  • the first threshold time may be a time when the display apparatus 100 and the voice recognition apparatus 200 may be connected.
  • the event preset in relation to the voice recognition mode operation may include an event in which a user command for operating in the voice recognition mode is input, motion information is received from a remote control device (not shown), or an image image of a motion is input.
  • the display apparatus 100 determines whether a predetermined event occurs in the first threshold time in relation to the voice recognition mode within the first threshold time, and if it is not input within the first threshold time.
  • the dummy data is transmitted to the voice recognition apparatus 200 (S240).
  • the first threshold time is a time that can maintain the connection with the speech recognition apparatus 200, and may be a 30 second time according to an embodiment. Accordingly, the display apparatus 100 may transmit dummy data to the speech recognition apparatus 200 when a preset event related to the speech recognition mode does not occur for 30 seconds from the time when the connection with the speech recognition apparatus 200 is started.
  • the present invention is not limited thereto, and in some cases, the first threshold time may be 30 seconds or more.
  • the dummy data may be data having a size of about 1 Kbyte for maintaining the connection between the display apparatus 100 and the speech recognition apparatus 200. Therefore, when the event does not occur within the first threshold time, the display apparatus 100 generates at least one dummy data and transmits the dummy data to the speech recognition apparatus 200, thereby displaying the display apparatus 100 and the speech recognition apparatus 200. ) Can be maintained.
  • the display apparatus 100 activates the voice recognition mode for recognizing the spoken voice of the user, and generates a voice recognition UI indicating that the voice recognition mode is activated and displays on the screen. Display.
  • the display apparatus 100 transmits voice information regarding the input spoken voice to the voice recognition apparatus 200 (S250 and S260).
  • the present invention is not limited thereto, and the display apparatus 100 receives voice information regarding a spoken voice of a user through a remote control device (not shown) and transmits the received voice information to the voice recognition apparatus 200. Can be.
  • the voice recognition apparatus 200 having received the voice information of the user's spoken voice analyzes the received voice information, generates voice recognition result information of the user's spoken voice, and transmits the result to the display apparatus 100 (S270). , S280). Accordingly, the display apparatus 100 displays text information on the spoken voice of the user on the screen based on the speech recognition result information received from the speech recognition apparatus 200 (S290).
  • the display apparatus 100 of the speech recognition system performs a connection with the speech recognition apparatus 200 before a user command for operating in the speech recognition mode is received, thereby comparing the user with a conventional speech recognition system.
  • the time required to provide a recognition result for the spoken voice of the user can be shortened.
  • 3 is an exemplary view for comparing the time required to receive a recognition result of the user's spoken voice in the conventional display device and the display device of the present invention.
  • FIG. 3A illustrates a time required for receiving the recognition result of the user's spoken voice from the voice recognition apparatus 200 in the conventional display apparatus 100 described with reference to FIG. 1.
  • FIG. 3B illustrates a time required for receiving the recognition result of the user's spoken voice from the voice recognition apparatus 200 in the display apparatus 100 described with reference to FIG. 2.
  • the conventional display apparatus 100 when a user command for operating in the voice recognition mode is input, the conventional display apparatus 100 starts a connection with the voice recognition apparatus 200. Therefore, the conventional display apparatus 100 may take a time T1 to perform connection with the speech recognition apparatus 200.
  • the conventional display apparatus 100 When the connection with the voice recognition apparatus 200 is performed, the conventional display apparatus 100 generates and displays a voice recognition UI indicating that the voice recognition mode has started. In the state where the voice recognition UI is displayed, the conventional display apparatus 100 receives a spoken voice of the user. Therefore, the conventional display apparatus 100 may take a time of T2 until the user's spoken voice is input after the connection with the speech recognition apparatus 200 is performed.
  • the conventional display apparatus 100 transmits voice information about the input spoken voice to the voice recognition apparatus 200, and transmits the voice recognition result from the voice recognition apparatus 200. Can be received. Therefore, the conventional display apparatus 100 may take a time T3 to receive a voice recognition result of the user's spoken voice from the voice recognition apparatus 200.
  • the conventional display apparatus 100 may take a time of about T1 to T3 to enter the voice recognition mode and receive a recognition result for the spoken voice of the user.
  • the display apparatus 100 when the display apparatus 100 is powered on and the voice recognition related application is initialized, the display apparatus 100 according to the present invention performs a connection with the voice recognition apparatus 200. Therefore, as shown in FIG. 3B, when a user command for operating in the voice recognition mode is input, the display apparatus 100 generates a voice recognition UI indicating that the voice recognition mode has started and displays it on the screen. do. While the voice recognition UI is displayed, the display apparatus 100 receives a spoken voice of the user. Therefore, after the display apparatus 100 is connected to the speech recognition apparatus 200, it may take a time t1 to receive the spoken voice of the user.
  • the display apparatus 100 transmits voice information about the input spoken voice to the voice recognition apparatus 200, and receives the voice recognition result from the voice recognition apparatus 200. Can be. Therefore, the display apparatus 100 may take a time t2 to receive a voice recognition result of the user's spoken voice from the voice recognition apparatus 200.
  • the display apparatus 100 may take a time from about t1 to t2 to enter the voice recognition mode and receive a recognition result for the spoken voice of the user. That is, the display apparatus 100 according to the present invention saves the time required to perform the connection with the speech recognition apparatus 200 according to a user command for operating in the speech recognition mode, thereby saving the conventional display apparatus 100. In comparison, the voice recognition result of the user's spoken voice can be provided more quickly.
  • FIG. 4 is a block diagram of a display device capable of speech recognition according to an embodiment of the present invention.
  • the display apparatus 100 may be a terminal device capable of wired or wireless communication and voice recognition, such as a smart phone and a smart TV.
  • the display device 100 includes a communication unit 110, an input unit 120, a processor 130, and a display unit 140.
  • the communication unit 110 communicates with the voice recognition device 200 that recognizes the spoken voice of the user.
  • the communication unit 110 may communicate with the voice recognition device 200 and the web server (not shown) according to various communication methods.
  • the communication unit 110 may include various communication modules such as a short range wireless communication module (not shown), a wireless communication module (not shown), and the like.
  • the short range wireless communication module (not shown) is a communication module for performing wireless communication with an external device located in a short range, and may be, for example, Bluetooth, Zigbee, or the like.
  • the wireless communication module (not shown) is a module connected to an external network according to a wireless communication protocol such as Wi-Fi or IEEE to perform communication.
  • the wireless communication module further includes a mobile communication module for accessing and communicating with the mobile communication network according to various mobile communication standards such as 3rd generation (3G), 3rd generation partnership project (3GPP), long term evolution (LTE), and the like. You may.
  • 3G 3rd generation
  • 3GPP 3rd generation partnership project
  • LTE long term evolution
  • the input unit 120 may be implemented as a keypad or a touch screen type input panel including a touch pad or various function keys, numeric keys, special keys, character keys, and the like.
  • the input unit 120 may receive a user's spoken voice through a microphone (not shown) or various image images photographed through a camera (not shown).
  • the processor 130 is a component that controls the general apparatus and controls the overall operation of the display apparatus 100 by using various programs pre-stored in the storage unit 170. It can be implemented as a single-chip system (System-on-a-chip or System on chip, SOC, SoC) with the functional unit. Such a processor 130 may be configured as follows.
  • FIG. 5 is a block diagram of a processor of a display apparatus according to an exemplary embodiment.
  • the processor 130 may include a RAM 131, a ROM 132, a graphics processor 133, a main CPU 134, first through n interfaces 135-1 through 135-n, Bus 136.
  • each of the RAM 13, the ROM 132, the graphic processor 133, the main CPU 134, and the first through n interfaces 135-1 through 135-n may be connected to each other through the bus 136. .
  • the ROM 132 stores a command set for system booting.
  • the main CPU 134 copies the O / S stored in the storage unit 170 to the RAM 131 according to the command stored in the ROM 132, and executes O / S.
  • Boot the system When the booting is completed, the main CPU 134 copies various application programs previously stored in the storage unit 170 to the RAM 131, and executes the application programs copied to the RAM 131 to perform various operations.
  • the graphic processor 133 generates a screen including various objects such as a pointer, an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • the calculator (not shown) calculates attribute values such as coordinates, shapes, sizes, colors, and the like in which objects are displayed according to the layout of the screen using the control command received from the inputter 120.
  • the renderer generates a screen having various layouts including objects based on the attribute values calculated by the calculator.
  • the screen generated by the renderer (not shown) is displayed in the display area of the display 140.
  • the main CPU 294 accesses the storage 250 and performs booting using an operating system stored in the storage 250.
  • the main CPU 294 performs various operations using various programs, contents, data, and the like stored in the storage 250.
  • the first to n interfaces 295-1 to 295-n are connected to various components described above.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the processor 130 performs signal processing on the user's spoken voice.
  • the processor 130 samples the input spoken voice and converts it into a digital signal. In this case, the processor 130 may determine whether there is noise in the spoken voice converted into the digital signal, and if there is noise, remove the noise from the converted digital signal.
  • the processor 130 transmits voice information on the processed speech voice to the voice recognition apparatus 200 through the communication unit 110. Accordingly, the voice recognition apparatus 200 analyzes the voice information received from the display apparatus 100 to generate voice recognition result information on the user's spoken voice, and sends the generated voice recognition result information to the display apparatus 100. send.
  • the voice recognition apparatus 200 may convert the spoken voice of the user into text information using a speech to text (STT) algorithm. Can be.
  • STT speech to text
  • the voice recognition apparatus 200 transmits the voice recognition result information including the converted text information in association with the user's spoken voice to the display apparatus 100.
  • the display 140 may display the spoken voice of the user in text form based on the voice recognition result information received from the voice recognition apparatus 200.
  • the display unit 140 may be implemented as a liquid crystal display (LCD), an organic light emitting display (OLED), a plasma display panel (PDP), or the like.
  • the input unit 120 when the input unit 120 is implemented as a touch pad, the display unit 120 may be implemented as a touch screen form a mutual layer structure together with the input unit 120 which is a touch pad.
  • connection request information for performing a connection with the voice recognition apparatus 200 is transmitted to the voice recognition apparatus 200. Accordingly, the voice recognition apparatus 200 may perform connection with the display apparatus 100 based on the connection request information received from the display apparatus 100.
  • the display apparatus 100 may input a user command powered on through the input unit 120 or a user command powered on from a remote control device (not shown).
  • the processor 130 executes a boot loader program stored in a nonvolatile memory such as flash memory to load a kernel.
  • a boot loader program stored in a nonvolatile memory such as flash memory to load a kernel.
  • OS operating system
  • the processor 130 executes each application operating in correspondence with each registered device, and initializes each application so that each application can operate in a nonvolatile memory such as a flash memory. do.
  • the display apparatus 100 when the display apparatus 100 is a smart TV, all applications including voice recognition related applications may be initialized.
  • the display device 100 is a terminal device such as a smart phone
  • a voice recognition related application when the display device 100 is powered on, after the booting process of the display device 100 is performed, a voice recognition related application is initialized by default. Can be initially set.
  • the processor 130 transmits connection request information including identification information and address information of the display apparatus 100 to the voice recognition apparatus 200.
  • the control unit 110 to control. Accordingly, the communication unit 110 transmits the connection request information to the speech recognition apparatus 200 based on the Transmission Control Protocol / Internet Protocol (TCP / IP) communication protocol scheme, and the speech recognition apparatus 200 receives the received connection request.
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the display apparatus 100 may start connection with the voice recognition apparatus 200 that provides a result of recognizing a user's spoken voice.
  • the display apparatus 100 when the display apparatus 100 according to the present invention is powered on and various applications are initialized, the display apparatus 100 performs a connection with the speech recognition apparatus 200, thereby performing the speech recognition apparatus 200 according to a user command for operating in the speech recognition mode. You can save the time required to establish a connection with).
  • the processor 130 determines whether a predetermined event occurs in relation to the voice recognition mode operation within a first threshold time.
  • the first threshold time is a time at which the connection between the display apparatus 100 and the voice recognition apparatus 200 can be maintained.
  • the first threshold time may be 30 seconds depending on the embodiment. Therefore, the processor 130 may determine whether a predetermined event occurs in connection with the voice recognition mode operation for 30 seconds from the time when the connection with the voice recognition apparatus 200 is started.
  • the present invention is not limited thereto, and in some cases, the first threshold time may be 30 seconds or more.
  • the preset event may include a first event in which a user command to operate in a voice recognition mode is input, a second event in which motion information is received from a remote control device (not shown), and a video image in which a user's motion is input. It may include at least one of the three events.
  • the processor 130 activates the voice recognition mode in which the processor 130 may recognize the spoken voice of the user.
  • the processor 130 When the voice recognition mode is activated, the processor 130 generates a voice recognition UI notifying that the voice recognition mode is activated, and the display 140 displays the voice recognition UI on the screen.
  • the user command for operating in the voice recognition mode may be received from a remote control device (not shown) through the communication unit 110 or input through the input unit 120.
  • the processor 130 enters a voice recognition mode for recognizing a spoken voice of the user. Activate it.
  • the processor 130 may generate a voice recognition UI indicating that the voice recognition mode is activated, and the display 140 may display the voice recognition UI on the screen.
  • the processor 130 if a second event occurs in which the motion information is received from the remote control device (not shown) within the first threshold time, the processor 130 generates a voice recognition UI indicating that the voice recognition mode is started.
  • the display 140 may display a voice recognition UI on the screen.
  • the remote control device is a control device for controlling the operation of the display device 100.
  • Such a remote control device may include a motion sensor such as a gyro sensor or a tilt sensor. When a motion is detected through the motion sensor, the detected motion information is transmitted to the display device 100. Can be.
  • the processor 130 activates the speech recognition mode when the motion information detected from the remote control apparatus (not shown) is received within the first threshold time.
  • the voice recognition UI indicating that the voice recognition mode is activated may be displayed.
  • the processor 130 when a second event in which motion information is received from a remote control device (not shown) occurs within a first threshold time, the processor 130 analyzes the received motion information to pre-register the motion pattern information. Determine whether or not As a result of the determination, when it matches the registered motion pattern information, the processor 130 may activate the voice recognition mode and display a voice recognition UI indicating that the voice recognition mode is activated through the display 140.
  • the processor 130 may input a photographed image of a user's motion captured through a camera (not shown) within a first threshold time after connection with the speech recognition apparatus 200 is initiated.
  • the input photographed image is compared with the pre-stored video image.
  • the processor 130 may activate the voice recognition mode and display a voice recognition UI indicating that the voice recognition mode is activated through the display 140.
  • the processor 130 performs the analog type user speech. Voice is sampled and converted into digital signals. In this case, the processor 130 may determine whether there is noise in the spoken voice converted into the digital signal, and if there is noise, may remove the noise from the converted digital signal. When the user's spoken voice is signal processed as a digital signal, the processor 130 transmits voice information on the processed speech voice to the voice recognition apparatus 200 through the communication unit 110.
  • the processor 130 may receive voice information regarding the spoken voice of the user from the remote control device (not shown) through the communication unit 110.
  • the remote control device may include a microphone (not shown) for receiving a user's spoken voice. Therefore, when the voice recognition UI is displayed on the screen of the display apparatus 100, the user utters a voice through a microphone provided in the remote control apparatus (not shown), and the remote control apparatus (not shown) is used to When input, the input speech voice may be processed as described above to transmit voice information regarding the speech voice of the user to the display apparatus 100. Therefore, when voice information regarding the spoken voice of the user is received from the remote control device (not shown), the processor 130 transmits the received voice information to the voice recognition apparatus 200.
  • the voice recognition apparatus 200 receives voice information on the spoken voice of the user from the display apparatus 100
  • the voice recognition device 200 analyzes the received voice information to generate text information on the spoken voice of the user, and generates the parasitic information.
  • Speech recognition result information including text information is transmitted to the display apparatus 100.
  • the display unit 140 may display text information on the user's spoken voice on the screen based on the voice recognition result information according to the control command of the processor 130.
  • the processor 130 when the connection with the speech recognition apparatus 200 is started, if a predetermined event related to the speech recognition mode operation does not occur within the first threshold time, the processor 130 generates dummy data to generate the speech recognition apparatus 200. To send).
  • the dummy data may be data having a size of about 1 Kbyte for maintaining the connection between the display apparatus 100 and the speech recognition apparatus 200. Accordingly, the processor 130 may generate the voice within the first threshold time. If a predetermined event does not occur in relation to the recognition mode operation, at least one dummy data is generated and transmitted to the speech recognition apparatus 200. Accordingly, the display apparatus 100 may maintain the connection with the speech recognition apparatus 200 even when an event for operating in the speech recognition mode does not occur within the first threshold time.
  • the processor 130 may transmit dummy data for maintaining the connection to the voice recognition apparatus 200.
  • the display apparatus 100 may transmit the dummy data to the voice recognition apparatus 200 even if the user's spoken voice is not input within the preset second threshold time. 200) can be maintained continuously.
  • the processor 130 when the speech recognition mode of the user is not input within the preset second threshold time while the voice recognition mode is activated, the processor 130 maintains the connection to the voice recognition apparatus 200. Dummy data may be transmitted and a voice recognition mode may be deactivated.
  • the processor 130 may set the voice recognition mode of the deactivated state to the activated state.
  • the second threshold time is a time during which the connection maintenance and the voice recognition mode between the display apparatus 100 and the voice recognition apparatus 200 can be operated in an activated state, which may be 15 seconds depending on the embodiment. Therefore, the processor 130 does not input the spoken voice of the user for 15 seconds from the time when the voice recognition mode is activated, and transmits dummy data or dummy data to maintain the connection to the voice recognition apparatus 200,
  • the present invention is not limited thereto, and in some cases, the second threshold time may be more than 15 seconds or less.
  • the processor 130 transmits dummy data for maintaining the connection to the speech recognition apparatus 200 if the additional spoken voice of the user is not input within the second preset time after the user spoken voice is input.
  • the dummy data may be transmitted to the voice recognition apparatus 200, and the voice recognition mode may be deactivated.
  • the processor 130 may release the connection with the speech recognition apparatus 200 according to the following embodiments. According to an embodiment, the processor 130 receives a control command for power off through the input unit 120 or receives a control command for power off from a remote control device (not shown) through the communication unit 130. By requesting the voice recognition device 200 to release the connection, the voice recognition device 200 may be disconnected.
  • the processor 130 may cancel the connection with the speech recognition apparatus 200 by stopping the dummy data transmission for maintaining the connection with the speech recognition apparatus 200.
  • the third threshold time may be a time set by the user. For example, if the user sets the time to 30 minutes, the processor 130 does not generate a predetermined event related to the speech recognition mode for 30 minutes from the time when the connection with the speech recognition apparatus 200 is started, the speech recognition apparatus Connection to the voice recognition apparatus 200 may be released by stopping the dummy data transmission to the 200.
  • the present invention is not limited thereto, and in some cases, the third threshold time may be a time of 30 minutes or more.
  • FIG. 6 is a first flowchart illustrating a control method of a display apparatus capable of recognizing a spoken voice of a user, according to an exemplary embodiment.
  • the display device 100 when the display apparatus 100 is powered on, the display device 100 initializes an application (S610). When the application is initialized, the display apparatus 100 connects to the voice recognition apparatus 200 (S620). Specifically, when the display apparatus 100 is powered on, after executing a boot loader program stored in a nonvolatile memory such as a flash memory to load a kernel, the display apparatus 100 may operate in an operating system (OS). Register various device drivers that can be operated. When various device drivers are registered, the display apparatus 100 executes respective applications that operate in correspondence with the registered devices, and initializes each application so that each application can operate in a nonvolatile memory such as a flash memory. To perform.
  • OS operating system
  • the display apparatus 100 when the display apparatus 100 is a smart TV, all applications including voice recognition related applications may be initialized.
  • the display device 100 is a terminal device such as a smart phone
  • a voice recognition related application when the display device 100 is powered on, after the booting process of the display device 100 is performed, a voice recognition related application is initialized by default. Can be initially set.
  • the display apparatus 100 moves to the voice recognition apparatus 200 based on a Transmission Control Protocol / Internet Protocol (TCP / IP) communication protocol scheme.
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the connection request information including the identification information and the address information of the display apparatus 100 is transmitted.
  • the display apparatus 100 receives the speech based on the received response information.
  • the connection with the recognition device 200 is performed. Accordingly, the display apparatus 100 may start connection with the voice recognition apparatus 200.
  • the display apparatus 100 determines whether a predetermined event occurs in relation to the voice recognition mode operation within a first threshold time (S630).
  • the first threshold time may be a connection time between the display apparatus 100 and the voice recognition apparatus 200, and may be 30 seconds depending on the embodiment. Therefore, the display apparatus 100 may determine whether a predetermined event related to the voice recognition mode occurs for 30 seconds from the time when the connection with the voice recognition apparatus 200 is started.
  • the present invention is not limited thereto, and in some cases, the first threshold time may be more than 30 seconds or less.
  • the preset event may include a first event in which a user command to operate in a voice recognition mode is input, a second event in which motion information is received from a remote control device (not shown), and a video image in which a user's motion is input. It may include at least one of the three events.
  • the display apparatus 100 As a result of the determination, if at least one event of the first to third events, which are not generated within the first threshold time, the display apparatus 100 generates at least one dummy data and transmits the dummy data to the speech recognition apparatus 200 ( S640).
  • the dummy data may be data having a size of about 1 Kbyte for maintaining the connection between the display apparatus 100 and the speech recognition apparatus 200.
  • the display apparatus 100 generates dummy data for maintaining a connection with the speech recognition apparatus 200 when a predetermined event does not occur in relation to the speech recognition mode operation within a first threshold time. By transmitting, the connection with the voice recognition apparatus 200 can be maintained continuously.
  • the display apparatus 100 activates a voice recognition mode for recognizing a spoken voice of the user (S650).
  • the display apparatus 100 may generate and display a voice recognition UI indicating that the voice recognition mode is activated on the screen.
  • the display apparatus 100 determines whether a user's spoken voice is input within a preset second threshold time (S660).
  • the second threshold time is a time during which the connection maintenance and the voice recognition mode between the display apparatus 100 and the voice recognition apparatus 200 may be operated in an activated state, and may be 15 seconds depending on the embodiment. Accordingly, the display apparatus 100 may determine whether the user's spoken voice is input for 15 seconds from the time when the voice recognition mode is activated.
  • the present invention is not limited thereto, and in some cases, the second threshold time may be more than 15 seconds or less.
  • the display apparatus 100 As a result of the determination, if the user's spoken voice is not input within the second threshold time, the display apparatus 100 generates dummy data for maintaining the connection with the speech recognition apparatus 200 through the above-described step S640 and generates the speech recognition apparatus 200. To send). That is, the display apparatus 100 repeatedly performs the above-described operations for steps S630 to S660 until the user's spoken voice is input within the second threshold time.
  • the display apparatus 100 may provide dummy data for maintaining a connection with the voice recognition apparatus 200.
  • the connection with the voice recognition device 200 can be maintained continuously.
  • the display apparatus 100 determines whether the user's spoken voice is input within the second threshold time in step S660. If the user's spoken voice is input within the second threshold time in step S660, the display apparatus 100 generates voice information on the input spoken voice and transmits it to the speech recognition apparatus 200 (S670).
  • the present invention is not limited thereto, and the display apparatus 100 may receive voice information regarding a spoken voice of a user through a remote control device (not shown). When such voice information is received, the voice recognition device may be used. And transmit to 200.
  • the voice recognition apparatus 200 when the voice recognition apparatus 200 receives voice information on the spoken voice of the user from the display apparatus 100, the voice recognition device 200 analyzes the received voice information to generate text information on the spoken voice of the user, and generates the parasitic information. Speech recognition result information including text information is transmitted to the display apparatus 100. When the voice recognition result information is received, the display apparatus 100 displays text information on the spoken voice of the user on the screen based on the received voice recognition result information (S680).
  • FIG. 7 is a second flowchart illustrating a control method of a display apparatus capable of recognizing a spoken voice of a user according to an embodiment of the present invention.
  • the display device 100 initializes an application (S710).
  • the application When the application is initialized, the display apparatus 100 connects to the voice recognition apparatus 200 (S720).
  • the display apparatus 100 determines whether an event occurs within a preset first threshold time (S730),
  • the display apparatus 100 determines whether a user's spoken voice is input within a preset second threshold time (S760).
  • step S760 If it is determined in step S760 that the user's spoken voice is not input within the second threshold time, the display apparatus 100 generates dummy data for maintaining the connection with the speech recognition apparatus 200 and transmits the dummy data to the speech recognition apparatus 200. (S770). That is, the display apparatus 100 repeatedly performs the above operations for steps S750 to S770 until the user's spoken voice is input within the second threshold time.
  • step S760 if it is determined in step S760 that the user's spoken voice is input within the second threshold time, the display apparatus 100 generates voice information on the input spoken voice and transmits it to the voice recognition apparatus 200 (S780).
  • the present invention is not limited thereto, and the display apparatus 100 may receive voice information regarding a spoken voice of a user through a remote control device (not shown). When such voice information is received, the voice recognition device may be used. And transmit to 200.
  • the voice recognition apparatus 200 receives voice information on the spoken voice of the user from the display apparatus 100
  • the voice recognition device 200 analyzes the received voice information to generate text information on the spoken voice of the user, and generates the parasitic information.
  • Speech recognition result information including text information is transmitted to the display apparatus 100.
  • the display apparatus 100 displays text information on the spoken voice of the user on the screen based on the received voice recognition result information (S790).
  • FIG. 8 is a third flowchart illustrating a control method of a display apparatus capable of recognizing a spoken voice of a user according to an embodiment of the present invention.
  • the display device 100 when the display apparatus 100 is powered on, the display device 100 initializes an application (S810). When the application is initialized, the display apparatus 100 connects to the voice recognition apparatus 200 (S820). When the connection with the voice recognition apparatus 200 is started, the display apparatus 100 determines whether an event occurs within a predetermined first threshold time (S830).
  • the display apparatus 100 As a result of the determination, if the event does not occur within the first threshold time, the display apparatus 100 generates at least one dummy data and transmits the dummy data to the speech recognition apparatus 200 in operation S840. Meanwhile, when an event occurs within the first threshold time, the display apparatus 100 activates a voice recognition mode for recognizing a spoken voice of a user (S850). When the voice recognition mode is activated, the display apparatus 100 determines whether a user's spoken voice is input within a preset second threshold time (S860).
  • step S860 If it is determined in step S860 that the user's spoken voice is not input within the second threshold time, the display apparatus 100 deactivates the activated voice recognition mode (S870).
  • the voice recognition mode When the voice recognition mode is deactivated, the display apparatus 100 generates dummy data for maintaining the connection with the voice recognition apparatus 200 through the above-described step S840 and transmits the dummy data to the voice recognition apparatus 200.
  • the present invention is not limited thereto, and if the spoken voice is not input within the second threshold time, the display apparatus 100 generates dummy data for maintaining the connection with the voice recognition apparatus 200 to generate the voice recognition apparatus 200. After transmission, the activated voice recognition mode may be deactivated.
  • the display apparatus 100 resets the voice recognition mode of the deactivated state to an active state according to whether a predetermined event occurs within the first threshold time through the above-described steps S830 to S860.
  • the voice recognition mode is activated, the operation on whether the spoken voice of the user is input within the second threshold time is performed again.
  • step S860 if it is determined in step S860 that the user's spoken voice is input within the second threshold time, the display apparatus 100 generates voice information on the input spoken voice and transmits the voice information to the voice recognition apparatus 200 (S880).
  • the present invention is not limited thereto, and the display apparatus 100 may receive voice information regarding a spoken voice of a user through a remote control device (not shown). When such voice information is received, the voice recognition device may be used. And transmit to 200.
  • the voice recognition apparatus 200 when the voice recognition apparatus 200 receives voice information on the spoken voice of the user from the display apparatus 100, the voice recognition device 200 analyzes the received voice information to generate text information on the spoken voice of the user, and generates the parasitic information. Speech recognition result information including text information is transmitted to the display apparatus 100. When the voice recognition result information is received, the display apparatus 100 displays text information on the spoken voice of the user on the screen based on the received voice recognition result information (S890).
  • FIG. 9 is an exemplary view of displaying text information on a spoken voice of a user in a display device according to an embodiment of the present invention.
  • a user may perform, for example, speech for changing a channel from a channel currently being viewed to a “NDC” channel. That is, the user may perform an utterance called "NDC channel".
  • the display apparatus 100 transmits the input spoken voice from the voice recognition apparatus 200.
  • the voice recognition apparatus 200 analyzes the spoken voice received from the display apparatus 100 to generate text information on the spoken voice of the user and transmits the text information to the display apparatus 100.
  • the display apparatus 100 may display text information 910 called “NDC Channel” on the screen.
  • the display apparatus 100 displaying voice recognition result information regarding the spoken voice of the user releases the connection with the voice recognition apparatus 200 according to the following embodiment.
  • the display apparatus 100 disconnects from the voice recognition apparatus 200 when a control command for power-off is input or an event received from a remote control apparatus (not shown) occurs according to a user's request. Request to release the connection with the voice recognition device 200.
  • the display apparatus 100 stops the dummy data transmission, thereby the speech recognition apparatus.
  • the connection with the 200 can be released.
  • the fourth threshold time may be a time set by the user. For example, when the user sets the time to 30 minutes, the display apparatus 100 determines whether the time of the dummy data continuously transmitted to the speech recognition apparatus 200 exceeds 30 minutes. As a result of the determination, when the transmission time of the continuous dummy data exceeds 30 minutes, the display apparatus 100 may cancel the connection with the speech recognition apparatus 200 by stopping the transmission of the dummy data to the speech recognition apparatus 200.
  • the present invention is not limited thereto, and in some cases, the fourth threshold time may be more than 30 minutes or less.
  • the display device control method as described above may be implemented with at least one execution program for executing the display device control method as described above, the execution program may be stored in a non-transitory computer readable medium. .
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • the above-described programs may be stored and provided in a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Abstract

디스플레이 장치 및 제어 방법이 개시된다. 본 발명에 따른 디스플레이 장치는 사용자의 발화 음성을 인식하는 음성 인식 장치와 통신을 수행하는 통신부, 사용자의 발화 음성을 입력받는 입력부, 음성 인식 장치로부터 수신된 발화 음성에 대한 인식 결과 정보를 디스플레이하는 디스플레이부 및 디스플레이 장치가 파워 온 되면, 음성 인식 장치로 접속 요청 정보를 전송하여 음성 인식 장치와 접속을 수행하며, 입력부를 통해 발화 음성이 입력되면, 발화 음성에 대한 음성 정보를 통신부를 통해 음성 인식 장치로 전송하는 프로세서를 포함한다. 이에 따라, 디스플레이 장치는 음성 인식 모드로 진입하기까지 소요되는 시간을 최소화할 수 있다.

Description

디스플레이 장치 및 제어 방법
본 발명은 디스플레이 장치 및 제어 방법에 관한 것으로써, 보다 상세하는 사용자의 발화 음성을 인식하는 디스플레이 장치 및 제어 방법에 관한 것이다.
일반적으로, 음성 인식이 가능한 디스플레이 장치는 사용자의 발화 음성에 인식 결과를 제공하기 위해서 다음과 같은 동작을 수행한다.
먼저, 디스플레이 장치는 사용자의 요청에 따라 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되면, 사용자의 발화 음성에 대한 음성 인식을 수행하는 음성 인식 장치와 접속을 시도한다. 음성 인식 장치와 접속이 수행되면, 디스플레이 장치는 음성 인식이 가능함을 나타내는 UI 화면을 디스플레이함으로써, 사용자는 디스플레이된 UI 화면을 통해 음성 인식이 가능한 것을 확인할 수 있다. 이 같이, 음성 인식이 가능함을 나타내는 UI 화면이 활성화된 상태에서, 디스플레이 장치는 사용자의 발화 음성을 입력받을 수 있으며, 이 같은 발화 음성이 입력되면, 입력된 발화 음성에 대한 음성 정보를 음성 인식 장치로 전송한다.
이에 따라, 음성 인식 장치는 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 음성 인식 결과를 디스플레이 장치로 전송하고, 디스플레이 장치는 수신된 음성 인식 결과에 기초하여 사용자의 발화 음성에 대한 텍스트 정보를 화면상에 디스플레이할 수 있다.
이와 같은 일련의 과정을 통해 사용자의 발화 음성에 대한 인식 결과를 제공하는 과정에 있어, 종래의 디스플레이 장치는 전술한 바와 같이, 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는 시점에 음성 인식 장치와 접속을 수행한다.
즉, 종래의 디스플레이 장치는 사용자의 발화 음성을 입력받기 위해서 음성 인식 장치와 접속을 수행하기 위한 시간이 추가로 소요된다. 이에 따라, 사용자는 디스플레이 장치가 음성 인식 장치와 접속이 개시되어 음성 인식 모드로 진입하기까지의 소요 시간 동안 대기해야 하는 불편함을 감수해야 한다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 디스플레이 장치에서 사용자의 발화가 가능한 시점까지 소요되는 시간을 최소화함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는 사용자의 발화 음성을 인식하는 음성 인식 장치와 통신을 수행하는 통신부, 상기 사용자의 발화 음성을 입력받는 입력부, 상기 음성 인식 장치로부터 수신된 상기 발화 음성에 대한 인식 결과 정보를 디스플레이하는 디스플레이부 및 디스플레이 장치가 파워 온 되면, 상기 음성 인식 장치로 접속 요청 정보를 전송하여 상기 음성 인식 장치와 접속을 수행하며, 상기 입력부를 통해 상기 발화 음성이 입력되면, 상기 발화 음성에 대한 음성 정보를 상기 통신부를 통해 상기 음성 인식 장치로 전송하는 프로세서를 포함한다.
그리고, 상기 프로세서는, 상기 디스플레이 장치가 파워 온 되어 음성 인식 관련 어플리케이션이 초기화되면, 상기 음성 인식 장치와의 접속을 수행할 수 있다.
또한, 상기 프로세서는, 상기 음성 인식 장치와 접속된 상태에서, 제1 임계 시간 내에 기설정된 이벤트가 발생하면, 상기 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시키며, 상기 이벤트는, 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는 제1 이벤트, 원격 제어 장치로부터 움직임 정보가 수신되는 제2 이벤트, 상기 사용자의 모션에 대한 영상 이미지가 입력되는 제3 이벤트 중 적어도 하나를 포함할 수 있다.
그리고, 상기 프로세서는, 상기 제1 임계 시간 내에 상기 제1 내지 제3 이벤트 중 적어도 하나의 이벤트가 발생하지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미 데이터를 전송할 수 있다.
또한, 상기 프로세서는, 상기 음성 인식 모드가 활성화된 상태에서, 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미 데이터를 전송할 수 있다.
그리고, 상기 프로세서는, 상기 음성 인식 모드가 활성화된 상태에서, 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 모드를 비활성화 시킬 수 있다.
또한, 상기 제1 임계 시간은 상기 음성 인식 장치와의 접속 유지가 가능한 시간이며, 상기 제2 임계 시간은, 상기 음성 인식 장치와 접속 유지 및 상기 음성 인식 모드가 활성화 상태로 동작 가능한 시간일 수 있다.
그리고, 상기 프로세서는, 상기 입력부를 통해 파워 오프에 대한 제어 명령이 입력되면, 상기 음성 인식 장치와의 접속을 해제할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 디스플레이 장치의 제어 방법은, 상기 디스플레이 장치가 파워 온 되면, 사용자의 발화 음성을 인식하는 음성 인식 장치와 접속을 수행하는 단계, 상기 사용자의 발화 음성이 입력되면, 상기 입력된 발화 음성에 대한 음성 정보를 상기 음성 인식 장치로 전송하는 단계 및 상기 음성 인식 장치로부터 수신된 상기 발화 음성에 대한 인식 결과 정보를 수신하여 디스플레이하는 단계를 포함한다.
그리고, 상기 접속을 수행하는 단계는, 상기 디스플레이 장치가 파워 온 되어 음성 인식 관련 어플리케이션이 초기화되면, 상기 음성 인식 장치와의 접속을 수행할 수 있다.
또한, 상기 음성 인식 장치와 접속된 상태에서, 제1 임계 시간 내에 기설정된 이벤트가 발생하면, 상기 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시키는 단계를 더 포함하며, 상기 이벤트는, 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는 제1 이벤트, 원격 제어 장치로부터 움직임 정보가 수신되는 제2 이벤트, 상기 사용자의 모션에 대한 영상 이미지가 입력되는 제3 이벤트 중 적어도 하나를 포함할 수 있다.
그리고, 상기 접속을 유지하는 단계는, 상기 제1 임계 시간 내에 상기 제1 내지 제3 이벤트 중 적어도 하나의 이벤트가 발생하지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미(Dumy) 데이터를 전송할 수 있다.
또한, 상기 접속을 유지하는 단계는, 상기 음성 인식 모드가 활성화된 상태에서 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미 데이터를 전송할 수 있다.
그리고, 상기 음성 인식 모드가 활성화된 상태에서, 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 모드를 비활성화 시킬 수 있다.
또한, 상기 제1 임계 시간은 상기 음성 인식 장치와의 접속 유지가 가능한 시간이며, 상기 제2 임계 시간은, 상기 음성 인식 장치와 접속 유지 및 상기 음성 인식 모드가 활성화 상태로 동작 가능한 시간일 수 있다.
그리고, 상기 디스플레이 장치의 파워 오프에 대한 제어 명령이 입력되면, 상기 음성 인식 장치와의 접속을 해제하는 단계를 더 포함할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 디스플레이 장치와 결합되어 하기의 단계를 실행시키기 위하여 기록 매체에 저장된 컴퓨터 프로그램은, 상기 디스플레이 장치가 파워 온 되면, 사용자의 발화 음성을 인식하는 음성 인식 장치와 접속을 수행하는 단계, 상기 사용자의 발화 음성이 입력되면, 상기 입력된 발화 음성에 대한 음성 정보를 상기 음성 인식 장치로 전송하는 단계 및 상기 음성 인식 장치로부터 수신된 상기 발화 음성에 대한 인식 결과 정보를 수신하여 디스플레이하는 단계를 포함하며, 디스플레이 장치를 제어한다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 음성 인식 모드로 진입하기까지 소요되는 시간을 최소화할 수 있다.
도 1은 일반적인 음성 인식 시스템에서 사용자의 발화 음성에 대한 인식 결과를 제공하는 절차도,
도 2는 본 발명의 일 실시예에 따른 음성 인식 시스템에서 사용자의 발화 음성에 대한 인식 결과를 제공하기 위한 절차도,
도 3은 종래의 디스플레이 장치와 본 발명의 디스플레이 장치에서 사용자의 발화 음성에 대한 인식 결과를 제공받기까지의 소요되는 시간을 비교하기 위한 예시도,
도 4는 본 발명의 일 실시예에 따른 음성 인식이 가능한 디스플레이 장치의 블록도,
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치의 프로세서에 대한 블록도,
도 6은 본 발명의 일 실시예에 따른 사용자의 발화 음성 인식이 가능한 디스플레이 장치의 제어 방법에 대한 제1 흐름도,도 7은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 음성 인식 장치와 접속 유지를 위한 제2 흐름도,
도 8은 본 발명의 또다른 실시예에 따른 디스플레이 장치에서 음성 인식 장치와 접속 유지를 위한 제3 흐름도,
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자의 발화 음성에 대한 텍스트 정보를 디스플레이하는 예시도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일시 예를 보다 상세하게 설명한다.
본 발명에 대한 상세한 설명을 하기에 앞서, 종래의 음성 인식 시스템에서 사용자의 발화 음성에 대한 인식 결과를 제공하는 동작에 대해서 개략적으로 설명하도록 한다.
도 1은 일반적인 음성 인식 시스템에서 사용자의 발화 음성에 대한 인식 결과를 제공하는 절차도이다.
도 1에 도시된 바와 같이, 음성 인식 시스템은 사용자의 발화 음성을 입력받는 디스플레이 장치(100)와 사용자의 발화 음성을 인식하는 음성 인식 장치(200)를 포함한다.
구체적으로, 디스플레이 장치(100)는 파워 온이 되면, 기저장된 복수의 어플리케이션을 초기화한다. 여기서, 복수의 어플리케이션은 음성 인식 모드로 진입하기 위한 음성 인식 관련 어플리케이션을 포함할 수 있다. 따라서, 디스플레이 장치(100)는 외부 전원이 공급되어 파워 온이 되면, 일련의 부팅 과정을 수행하여 복수의 어플리케이션를 초기화한다. 이 같은 복수의 어플리케이션 초기화 과정에서, 디스플레이 장치는 복수의 어플리케이션 중 음성 인식 관련 어플리케이션에 대한 초기화를 수행한다(S10).
이후, 디스플레이 장치(100)는 사용자로부터 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는지 여부를 판단한다(S20). 판단 결과, 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되면, 디스플레이 장치(100)는 음성 인식 장치(200)로 접속을 요청하여 음성 인식 장치(200)와의 접속이 개시된다(S30).
음성 인식 장치(200)와 접속이 개시된 이후, 디스플레이 장치(100)는 기설정된 임계 시간 내에 사용자의 발화 음성이 입력되는지 여부를 판단한다(S40). 판단 결과, 기설정된 임계 시간 내에 사용자의 발화 음성이 입력되면, 디스플레이 장치(100)는 입력된 발화 음성에 대한 음성 정보를 음성 인식 장치(200)로 전송한다. 한편, 판단 결과, 기설정된 임계 시간 내에 사용자의 발화 음성이 입력되지 않으면, 디스플레이 장치(100)는 음성 인식 장치(200)와의 접속을 해제한다(S60). 이에 따라, 디스플레이 장치(100)는 음성 인식 모드로 동작하지 않게 된다.
한편, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 사용자의 발화 음성에 대한 음성 정보가 수신되면, 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 인식 결과 정보를 디스플레이 장치(100)로 전송한다(S70,S80). 이에 따라, 디스플레이 장치(100)는 음성 인식 장치(200)로부터 수신된 인식 결과 정보에 기초하여 사용자의 발화 음성에 대한 텍스트 정보를 화면상에 디스플레이한다(S90).
이와 같이, 종래의 음성 인식 시스템에서 디스플레이 장치(100)는 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되면, 음성 인식 장치(200)와의 접속을 개시한 후, 음성 인식 모드로 진입한다. 따라서, 사용자는 디스플레이 장치(100)가 음성 인식 모드로 진입하기까지 발생되는 소요 시간 동안 대기해야한다.
이하에서는, 본 발명에 따른 음성 인식 시스템에서 사용자의 발화 음성에 대한 인식 결과를 제공하는 동작에 대해서 개략적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 음성 인식 시스템에서 사용자의 발화 음성에 대한 인식 결과를 제공하기 위한 절차도이다.
도 1에서 전술한 바와 같이, 음성 인식 시스템은 사용자의 발화 음성을 입력받는 디스플레이 장치(100) 및 사용자의 발화 음성을 인식하여 그에 따른 인식 결과를 제공하는 음성 인식 장치(200)를 포함한다.
구체적으로, 도 2에 도시된 바와 같이, 디스플레이 장치(100)는 파워 온이 되면, 디스플레이 장치(100)의 내부 시스템을 구동하기 위한 부팅 동작을 수행한다. 즉, 디스플레이 장치(100)는 파워 온이 되면, 플레쉬 메모리와 같은 비휘발성 메모리에 저장된 부트로더(Boot loader) 프로그램을 실행하여 커널(Kernel)을 로딩한 후, 운영체제 시스템(Operating System : OS)에서 운용 가능한 각종 디바이스 드라이버를 등록한다. 각종 디바이스 드라이버가 등록되면, 디스플레이 장치(100)는 등록된 각각의 디바이스에 대응하여 동작하는 각각의 어플리케이션을 초기화한다(S210). 본 발명에서는 디스플레이 장치(100)의 파워 온에 따라 부팅 과정을 통해 어플리케이션이 실행되는 동작을 어플리케이션 초기화를 수행하는 동작으로 기재하기로 한다.
이 같은 부팅 동작이 완료되면, 디스플레이 장치(100)는 기설정된 이벤트에 따라, 음성 인식 장치(200)와의 접속을 수행한다(S220). 실시예에 따라, 디스플레이 장치(100)는 파워 온에 따라 부팅이 수행된 후, 음성 인식 관련 어플리케이션에 대한 초기화가 완료되면, 음성 인식 장치(200)로 접속을 요청하여 음성 인식 장치(200)와 접속을 수행할 수 있다.
한편, 음성 인식 장치(200)와 접속을 수행하는 디스플레이 장치(100)는 음성 인식 장치(200)와 접속을 수행하기 위해서, TCP/IP(Transmission Control Protocol/Internet Protocol) 통신 프로토콜 방식에 기초하여 음성 인식 장치(200)로 디스플레이 장치(100)의 식별 정보 및 어드레스 정보를 포함하는 접속 요청 정보를 전송한다. 이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 수신된 접속 요청 정보에 기초하여 디스플레이 장치(100)와의 접속을 수행한다.
이와 같이, 음성 인식 장치(200)와 접속이 개시된 상태에서, 디스플레이 장치(100)는 기설정된 이벤트 발생 여부에 따라 음성 인식 모드로 진입하여 사용자의 발화 음성을 입력 받을 수 있다.구체적으로, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속이 개시되면, 이 같은 음성 인식 모드 동작과 관련하여 기설정된 이벤트가 제1 임계 시간 내에 발생하는지 여부를 판단한다(S230). 여기서, 제1 임계 시간은 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속이 가능한 시간이 될 수 있다. 그리고, 음성 인식 모드 동작과 관련하여 기설정된 이벤트는 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되거나, 원격 제어 장치(미도시)로부터 움직임 정보가 수신되거나 혹은 모션에 대한 영상 이미지가 입력되는 이벤트가 될 수 있다.따라서, 디스플레이 장치(100)는 이 같은 제1 임계 시간 내에 음성 인식 모드와 관련하여 기설정된 이벤트가 제1 임계 시간 내에 발생하는지 여부를 판단하여, 제1 임계 시간 내에 입력되지 않으면, 음성 인식 장치(200)로 더미 데이터를 전송한다(S240). 여기서, 제1 임계 시간은 음성 인식 장치(200)와 접속 유지가 가능한 시간으로, 실시예에 따라 30초 시간이 될 수 있다. 따라서, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속이 개시된 시점부터 30초 동안 음성 인식 모드와 관련된 기설정된 이벤트가 발생하지 않으면, 음성 인식 장치(200)로 더미 데이터를 전송할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 경우에 따라 제1 임계 시간은 30초 이상 또는 이하의 시간이 될 수 도 있다.
여기서, 더미 데이터는 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속 유지를 수행하기 위한 약 1Kbyte 정도의 크기를 가지는 데이터가 될 수 있다. 따라서, 디스플레이 장치(100)는 제1 임계 시간 내에 기설정된 이벤트가 발생하지 않으면, 적어도 하나 이상의 더미 데이터를 생성하여 음성 인식 장치(200)로 전송함으로써, 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속이 유지될 수 있다.
한편, 제1 임계 시간 내에 기설정된 이벤트가 발생하면, 디스플레이 장치(100)는 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시키고, 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI를 생성하여 화면상에 표시한다. 이 같은 음성 인식 UI가 표시된 상태에서, 사용자의 발화 음성이 입력되면, 디스플레이 장치(100)는 입력된 발화 음성에 대한 음성 정보를 음성 인식 장치(200)로 전송한다(S250,S260). 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 원격 제어 장치(미도시)를 통해 사용자의 발화 음성에 대한 음성 정보를 수신하고, 수신된 음성 정보를 음성 인식 장치(200)로 전송할 수 있다.
이 같은 사용자의 발화 음성에 대한 음성 정보를 수신한 음성 인식 장치(200)는 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 음성 인식 결과 정보를 생성하여 디스플레이 장치(100)로 전송한다(S270,S280). 이에 따라, 디스플레이 장치(100)는 음성 인식 장치(200)로부터 수신한 음성 인식 결과 정보에 기초하여 사용자의 발화 음성에 대한 텍스트 정보를 화면상에 디스플레이한다(S290).
이와 같이, 본 발명에 따른 음성 인식 시스템의 디스플레이 장치(100)는 음성 인식 모드로 동작하기 위한 사용자 명령이 수신되기 전에 음성 인식 장치(200)와 접속을 수행함으로써, 종래의 음성 인식 시스템에 비해 사용자의 발화 음성에 대한 인식 결과를 제공하기까지 소요되는 시간을 단축할 수 있다.
도 3은 종래의 디스플레이 장치와 본 발명의 디스플레이 장치에서 사용자의 발화 음성에 대한 인식 결과를 제공받기까지의 소요되는 시간을 비교하기 위한 예시도이다.
도 3의 (a)는 도 1에서 설명한 종래의 디스플레이 장치(100)에서 사용자의 발화 음성에 대한 인식 결과를 음성 인식 장치(200)로부터 수신하기까지 소요되는 시간을 나타낸다. 그리고, 도 3의 (b)는 도 2에서 설명한 본원발명의 디스플레이 장치(100)에서 사용자의 발화 음성에 대한 인식 결과를 음성 인식 장치(200)로부터 수신하기까지 소요되는 시간을 나타낸다.
구체적으로, 도 3의 (a)와 같이, 종래의 디스플레이 장치(100)는 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되면, 음성 인식 장치(200)와의 접속을 개시한다. 따라서, 종래의 디스플레이 장치(100)는 음성 인식 장치(200)와 접속을 수행하는데 T1의 시간이 소요될 수 있다. 음성 인식 장치(200)와 접속이 수행되면, 종래의 디스플레이 장치(100)는 음성 인식 모드가 시작되었음을 알리는 음성 인식 UI를 생성하여 화면상에 표시한다. 이 같은 음성 인식 UI가 표시된 상태에서 종래의 디스플레이 장치(100)는 사용자의 발화 음성을 입력받는다. 따라서, 종래의 디스플레이 장치(100)는 음성 인식 장치(200)와 접속이 수행된 이후, 사용자의 발화 음성을 입력받기까지 T2의 시간이 소요될 수 있다. 한편, 종래의 디스플레이 장치(100)는 사용자의 발화 음성이 입력되면, 입력된 발화 음성에 대한 음성 정보를 음성 인식 장치(200)로 전송하고, 그에 따른 음성 인식 결과를 음성 인식 장치(200)로부터 수신할 수 있다. 따라서, 종래의 디스플레이 장치(100)는 사용자의 발화 음성에 대한 음성 인식 결과를 음성 인식 장치(200)로부터 수신하기까지 T3의 시간이 소요될 수 있다.
이와 같이, 종래의 디스플레이 장치(100)는 음성 인식 모드로 진입하여 사용자의 발화 음성에 대한 인식 결과를 수신하기까지 약 T1 ~ T3의 시간이 소요될 수 있다.
한편, 본 발명에 따른 디스플레이 장치(100)는 도 2에서 설명한 바와 같이, 디스플레이 장치(100)의 파워 온이 되어 음성 인식 관련 어플리케이션이 초기화되면, 음성 인식 장치(200)와의 접속을 수행한다. 따라서, 도 3의 (b)에 도시된 바와 같이, 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되면, 디스플레이 장치(100)는 음성 인식 모드가 시작되었음을 알리는 음성 인식 UI를 생성하여 화면상에 표시한다. 이 같은 음성 인식 UI가 표시된 상태에서 디스플레이 장치(100)는 사용자의 발화 음성을 입력받는다. 따라서, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속이 수행된 이후, 사용자의 발화 음성을 입력받기까지 t1의 시간이 소요될 수 있다. 한편, 디스플레이 장치(100)는 사용자의 발화 음성이 입력되면, 입력된 발화 음성에 대한 음성 정보를 음성 인식 장치(200)로 전송하고, 그에 따른 음성 인식 결과를 음성 인식 장치(200)로부터 수신할 수 있다. 따라서, 디스플레이 장치(100)는 사용자의 발화 음성에 대한 음성 인식 결과를 음성 인식 장치(200)로부터 수신하기까지 t2의 시간이 소요될 수 있다.
이와 같이, 본 발명에 따른 디스플레이 장치(100)는 음성 인식 모드로 진입하여 사용자의 발화 음성에 대한 인식 결과를 수신하기까지 약 t1 ~ t2의 시간이 소요될 수 있다. 즉, 본 발명에 따른 디스플레이 장치(100)는 음성 인식 모드로 동작하기 위한 사용자 명령에 따라 음성 인식 장치(200)와의 접속을 수행하기까지 소요되는 시간을 절약함으로써, 종래의 디스플레이 장치(100)에 비해 사용자의 발화 음성에 대한 음성 인식 결과를 보다 빠르게 제공할 수 있다.
이하에서는, 본 발명에 따른 디스플레이 장치(100)의 각 구성에 대해서 상세히 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 음성 인식이 가능한 디스플레이 장치의 블록도이다.
도 4에 도시된 바와 같이, 디스플레이 장치(100)는 스마트 폰, 스마트 TV와 같이 유선 또는 무선 통신이 가능하며 및 음성 인식이 가능한 단말 장치가 될 수 있다. 이 같은 디스플레이 장치(100)는 통신부(110), 입력부(120), 프로세서(130) 및 디스플레이부(140)를 포함한다.
통신부(110)는 사용자의 발화 음성을 인식하는 음성 인식 장치(200)와 통신을 수행한다. 이 같은 통신부(110)는 다양한 통신 방식에 따라 음성 인식 장치(200) 및 웹 서버(미도시) 등과 통신을 수행할 수 있다.
실시예에 따라, 통신부(110)는 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기서, 근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 기기와 무선 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스, 지그비 등이 될 수 있다. 무선 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
입력부(120)는 터치 패드(Touch Pad) 혹은 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad) 또는 터치 스크린(Touch Screen) 방식의 입력 패널로 구현될 수 있다. 뿐만 아니라, 입력부(120)는 마이크(미도시)를 통해 사용자의 발화 음성을 입력받거나 카메라(미도시)를 통해 촬영된 다양한 영상 이미지를 입력받을 수 있다.
프로세서(130)는 일반적인 장치의 제어를 담당하는 구성으로써, 저장부(170)에 기저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 전반적인 동작을 제어 할 수 있도록 하는 것으로, 통신부(110) 등 다른 기능부와 함께 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다. 이 같은 프로세서(130)는 다음과 같이 구성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치의 프로세서에 대한 블록도이다.
도 5에 도시된 바와 같이, 프로세서(130)는 RAM(131), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n), 버스(136)를 포함한다. 이때, RAM(13), ROM(132), 그래픽 처리부(133), 메인 CPU(134), 제1 내지 n 인터페이스(135-1 ~ 135-n) 각각은 버스(136)를 통해 서로 연결될 수 있다.
ROM(132)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(134)는 ROM(132)에 저장된 명령어에 따라 저장부(170)에 저장된 O/S를 RAM(131)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(134)는 저장부(170)에 기저장된 각종 어플리케이션 프로그램을 RAM(131)에 복사하고, RAM(131)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(133)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 입력부(120)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이부(140)의 디스플레이 영역 내에 표시된다.
메인 CPU(294)는 저장부(250)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(294)는 저장부(250)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(295-1 내지 295-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다. 이 같은 프로세서(130)는 입력부(120)를 통해 사용자의 발화 음성이 입력되면, 사용자의 발화 음성에 대한 신호 처리를 수행한다.
구체적으로, 프로세서(130)는 입력부(120)를 통해 아날로그 형태의 사용자 발화 음성이 입력되면, 입력된 발화 음성을 샘플링하여 디지털 신호로 변환한다. 이때, 프로세서(130)는 디지털 신호로 변환된 발화 음성에 노이즈가 있는지 여부를 판단하여, 노이즈가 있는 경우, 변환된 디지털 신호로부터 노이즈를 제거하는 것이 바람직하다. 이 같은 사용자의 발화 음성이 디지털 신호로 신호 처리되면, 프로세서(130)는 통신부(110)를 통해 신호 처리된 발화 음성에 대한 음성 정보를 음성 인식 장치(200)로 전송한다. 이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 음성 인식 결과 정보를 생성하고, 생성된 음성 인식 결과 정보를 디스플레이 장치(100)로 전송한다. 실시예에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 사용자의 발화 음성에 대한 음성 정보가 수신되면, STT(Speech to Text) 알고리즘을 이용하여 사용자의 발화 음성을 텍스트 정보로 변환할 수 있다. 이 같은 사용자의 발화 음성이 텍스트 정보로 변환되면, 음성 인식 장치(200)는 디스플레이 장치(100)로 사용자의 발화 음성과 관련하여 변환된 텍스트 정보를 포함하는 음성 인식 결과 정보를 전송한다.
이에 따라, 디스플레이부(140)는 음성 인식 장치(200)로부터 수신된 음성 인식 결과 정보에 기초하여 사용자의 발화 음성을 텍스트 형태로 디스플레이할 수 있다. 이 같은 디스플레이부(140)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현될 수 있다. 특히, 디스플레이부(120)는 입력부(120)가 터치 패드로 구현될 경우, 터치 패드인 입력부(120)와 함께 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있다.
한편, 전술한 프로세서(130)는 파워 온 되어. 음성 인식 관련 어플리케이션을 포함한 각종 어플리키에션이 초기화되면, 음성 인식 장치(200)와 접속을 수행하기 위한 접속 요청 정보를 음성 인식 장치(200)로 전송한다. 이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 수신된 접속 요청 정보에 기초하여 디스플레이 장치(100)와의 접속을 수행할 수 있다.
구체적으로, 디스플레이 장치(100)는 입력부(120)를 통해 파워 온 되는 사용자 명령이 입력되거나 원격 제어 장치(미도시)로부터 파워 온 되는 사용자 명령이 입력될 수 있다. 이 같은 사용자 명령에 따라, 디스플레이 장치(100)가 파워 온 되면, 프로세서(130)는 플레쉬 메모리와 같은 비휘발성 메모리에 저장된 부트로더(Boot loader) 프로그램을 실행하여 커널(Kernel)을 로딩한 후, 운영체제 시스템(Operating System : OS)에서 운용 가능한 각종 디바이스 드라이버를 등록한다. 각종 디바이스 드라이버가 등록되면, 프로세서(130)는 등록된 각각의 디바이스에 대응하여 동작하는 각각의 어플리케이션을 실행하여 각 어플리케이션이 플레쉬 메모리와 같은 비휘발성 메모리에서 동작할 수 있도록 각 어플리케이션에 대한 초기화를 수행한다.
실시예에 따라, 디스플레이 장치(100)가 스마트 TV인 경우, 음성 인식 관련 어플리케이션을 포함한 모든 어플리케이션은 초기화가 수행될 수 있다. 한편, 디스플레이 장치(100)가 스마트 폰과 같은 단말 장치인 경우, 디스플레이 장치(100)의 파워 온이 되면, 디스플레이 장치(100)의 부팅 과정이 수행된 이후, 음성 인식 관련 어플리케이션이 초기화되도록 디폴트로 초기 설정될 수 있다.
따라서, 음성 인식 관련 어플리케이션을 포함한 적어도 하나의 어플리케이션에 대한 초기화가 수행되면, 프로세서(130)는 음성 인식 장치(200)로 디스플레이 장치(100)의 식별 정보 및 어드레스 정보를 포함하는 접속 요청 정보를 전송하도록 통신부(110)를 제어한다. 이에 따라, 통신부(110)는 TCP/IP(Transmission Control Protocol/Internet Protocol) 통신 프로토콜 방식에 기초하여 음성 인식 장치(200)로 접속 요청 정보를 전송하고, 음성 인식 장치(200)는 수신된 접속 요청 정보에 기초하여 디스플레이 장치(100)와의 접속을 수행한다.
따라서, 음성 인식 관련 어플리케이션을 포함한 적어도 하나의 어플리케이션에 대한 초기화가 수행되면, 디스플레이 장치(100)는 사용자의 발화 음성에 대한 인식 결과를 제공하는 음성 인식 장치(200)와 접속이 개시될 수 있다.
이와 같이, 본 발명에 따른 디스플레이 장치(100)는 파원 온 되어 각종 어플리케이션이 초기화되면, 음성 인식 장치(200)와의 접속을 수행함으로써, 음성 인식 모드로 동작하기 위한 사용자 명령에 따라 음성 인식 장치(200)와의 접속을 수행하기까지 소요되는 시간을 절약할 수 있다.
한편, 프로세서(130)는 음성 인식 장치(200)와 접속이 개시되면, 제1 임계 시간 내에 음성 인식 모드 동작과 관련하여 기설정된 이벤트가 발생하는지 여부를 판단한다. 여기서, 제1 임계 시간은 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속 유지가 가능한 시간으로써, 실시예에 따라, 30초 시간이 될 수 있다. 따라서, 프로세서(130)는 음성 인식 장치(200)와 접속이 개시된 시점부터 30초 동안 음성 인식 모드 동작과 관련하여 기설정된 이벤트가 발생하는지 여부를 판단할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 경우에 따라 제1 임계 시간은 30초 이상 또는 이하의 시간이 될 수 도 있다.
그리고, 기설정된 이벤트는 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는 제1 이벤트, 원격 제어 장치(미도시)로부터 움직임 정보가 수신되는 제2 이벤트, 사용자의 모션에 대한 영상 이미지가 입력되는 제3 이벤트 중 적어도 하나를 포함할 수 있다.
판단 결과, 기설정된 제1 내지 제3 이벤트 중 적어도 하나의 이벤트가 제1 임계 시간 내에 발생하면, 프로세서(130)는 프로세서(130)는 사용자의 발화 음성을 인식할 수 있는 음성 인식 모드를 활성화시킨다. 음성 인식 모드가 활성화되면, 프로세서(130)는 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI를 생성하고, 디스플레이부(140)는 음성 인식 UI를 화면상에 표시한다.
일 실시예에 따라, 음성 인식 모드로 동작하기 위한 사용자 명령은 통신부(110)를 통해 원격 제어 장치(미도시)로부터 수신되거나 입력부(120)를 통해 입력될 수 있다. 이 같은 사용자 명령이 음성 인식 장치(200)와 접속이 개시된 후 제1 임계 시간 내에 수신 혹은 입력되는 제1 이벤트가 발생하면, 프로세서(130)는 사용자의 발화 음성을 인식할 수 있는 음성 인식 모드를 활성화시킨다. 음성 인식 모드가 활성화되면, 프로세서(130)는 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI를 생성하고, 디스플레이부(140)는 음성 인식 UI를 화면상에 표시할 수 있다.
또다른 실시예에 따라, 제1 임계 시간 내에 원격 제어 장치(미도시)로부터 움직임 정보가 수신되는 제2 이벤트가 발생하면, 프로세서(130)는 음성 인식 모드가 시작되었음을 알리는 음성 인식 UI를 생성하고, 디스플레이부(140)는 음성 인식 UI를 화면상에 표시할 수 있다. 여기서, 원격 제어 장치(미도시)는 디스플레이 장치(100)의 동작을 제어하는 제어 장치이다. 이 같은 원격 제어 장치(미도시)는 자이로 센서, 기울기 센서와 같은 움직임 감지 센서를 구비할 수 있으며, 이 같은 움직임 감지 센서를 통해 움직임이 감지되면, 감지된 움직임 정보를 디스플레이 장치(100)로 전송할 수 있다.
따라서, 프로세서(130)는 음성 인식 장치(200)와 접속이 개시된 후, 원격 제어 장치(미도시)로부터 감지된 움직임 정보가 제1 임계 시간 내에 수신되면, 음성 인식 모드를 활성화시키고, 디스플레이부(140)를 통해 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI를 표시할 수 있다.
또다른 실시예에 따라, 제1 임계 시간 내에 원격 제어 장치(미도시)로부터 움직임 정보가 수신되는 제2 이벤트가 발생하면, 프로세서(130)는 수신된 움직임 정보를 분석하여 기등록된 움직임 패턴 정보와 일치하는지 여부를 판단한다. 판단 결과, 기등록된 움직임 패턴 정보와 일치하면, 프로세서(130)는 음성 인식 모드를 활성화시키고, 디스플레이부(140)를 통해 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI를 표시할 수 있다.
또다른 실시예에 따라, 프로세서(130)는 음성 인식 장치(200)와 접속이 개시된 후, 제1 임계 시간 내에 카메라(미도시)를 통해 촬영된 사용자의 모션에 대한 촬영 이미지가 입력되는 제3 이벤트가 발생하면, 입력된 촬영 이미지와 기저장된 영상 이미지를 비교한다. 비교 결과, 두 이미지가 서로 매칭되면, 프로세서(130)는 음성 인식 모드를 활성화시키고, 디스플레이부(140)를 통해 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI를 표시할 수 있다.
이 같이, 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI가 화면상에 표시된 상태에서, 입력부(120)를 통해 사용자의 발화 음성이 입력되면, 전술한 바와 같이, 프로세서(130)는 아날로그 형태의 사용자 발화 음성을 샘플링하여 디지털 신호로 변환한다. 이때, 프로세서(130)는 디지털 신호로 변환된 발화 음성에 노이즈가 있는지 여부를 판단하여, 노이즈가 있는 경우, 변환된 디지털 신호로부터 노이즈를 제거할 수 있다. 이 같은 사용자의 발화 음성이 디지털 신호로 신호 처리되면, 프로세서(130)는 통신부(110)를 통해 신호 처리된 발화 음성에 대한 음성 정보를 음성 인식 장치(200)로 전송한다.
그러나, 본 발명은 이에 한정되지 않으면, 프로세서(130)는 통신부(110)를 통해 원격 제어 장치(미도시)로부터 사용자의 발화 음성에 대한 음성 정보를 수신할 수 있다. 구체적으로, 원격 제어 장치(미도시)는 사용자의 발화 음성을 입력받기 위한 마이크(미도시)를 구비할 수 있다. 따라서, 사용자는 음성 인식 UI가 디스플레이 장치(100)의 화면상에 표시되면, 원격 제어 장치(미도시)에 마련된 마이크를 통해 음성을 발화하며, 원격 제어 장치(미도시)는 사용자의 발화 음성이 입력되면, 입력된 발화 음성을 전술한 바와 같은 신호 처리를 수행하여 사용자의 발화 음성에 대한 음성 정보를 디스플레이 장치(100)로 전송할 수 있다. 따라서, 프로세서(130)는 원격 제어 장치(미도시)로부터 사용자의 발화 음성에 대한 음성 정보가 수신되면, 수신된 음성 정보를 음성 인식 장치(200)로 전송한다.
이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 사용자의 발화 음성에 대한 음성 정보가 수신되면, 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 텍스트 정보를 생성하고, 기생성된 텍스트 정보를 포함하는 음성 인식 결과 정보를 디스플레이 장치(100)로 전송한다. 이 같은 음성 인식 결과 정보가 수신되면, 디스플레이부(140)는 프로세서(130)의 제어 명령에 따라, 음성 인식 결과 정보에 기초하여 사용자의 발화 음성에 대한 텍스트 정보를 화면상에 디스플레이할 수 있다.
한편, 음성 인식 장치(200)와 접속이 개시된 상태에서, 음성 인식 모드 동작과 관련하여 기설정된 이벤트가 제1 임계 시간 내에 발생하지 않으면, 프로세서(130)는 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다. 여기서, 더미 데이터는 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속 유지를 수행하기 위한 약 1Kbyte 정도의 크기를 가지는 데이터가 될 수 있다.따라서, 프로세서(130)는 제1 임계 시간 내에 음성 인식 모드 동작과 관련하여 기설정된 이벤트가 발생하지 않으면, 적어도 하나 이상의 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다. 따라서, 디스플레이 장치(100)는 제1 임계 시간 내에 음성 인식 모드로 동작하기 위한 이벤트가 발생하지 않아도, 음성 인식 장치(200)와 지속적으로 접속을 유지할 수 있다.
한편, 프로세서(130)는 음성 인식 모드가 활성화된 상태에서, 기설정된 제2 임계 시간 내에 사용자의 발화 음성이 입력되지 않으면, 음성 인식 장치(200)로 접속 유지를 위한 더미 데이터를 전송할 수 있다. 이와 같이, 사용자의 발화 음성이 입력된 후, 기설정된 제2 임계 시간 내에 사용자의 발화 음성이 입력되지 않아도 음성 인식 장치(200)로 더미 데이터를 전송함으로써, 디스플레이 장치(100)는 음성 인식 장치(200)와 지속적으로 접속을 유지할 수 있다.
한편, 본 발명이 추가적인 양상에 따라, 프로세서(130)는 음성 인식 모드가 활성화된 상태에서, 기설정된 제2 임계 시간 내에 사용자의 발화 음성이 입력되지 않으면, 음성 인식 장치(200)로 접속 유지를 위한 더미 데이터를 전송하고, 음성 인식 모드를 비활성화시킬 수 있다.
이 같이, 음성 인식 모드가 비활성화된 경우, 프로세서(130)는 전술한 바와 같이, 제1 내지 제3 이벤트 중 적어도 하나의 이벤트가 발생되면, 비활성화 상태의 음성 인식 모드를 활성화 상태로 설정할 수 있다.
여기서, 제2 임계 시간은 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속 유지 및 음성 인식 모드가 활성화 상태로 동작 가능한 시간으로써, 실시예에 따라, 15초 시간이 될 수 있다. 따라서, 프로세서(130)는 음성 인식 모드가 활성화된 시점부터 15초 동안 사용자의 발화 음성이 입력되지 않으며, 음성 인식 장치(200)로 접속 유지를 위한 더미 데이터를 전송하거나 혹은 더미 데이터를 전송하고, 음성 인식 모드를 비활성화시킬 수 있다.그러나, 본 발명은 이에 한정되지 않으며, 경우에 따라, 제2 임계 시간은 15초 이상 또는 이하의 시간이 될 수 도 있다.
한편, 프로세서(130)는 사용자의 발화 음성이 입력된 후, 기설정된 제2 임계 시간 내에 사용자의 추가 발화 음성이 입력되지 않으면, 음성 인식 장치(200)로 접속 유지를 위한 더미 데이터를 전송하거나 혹은 음성 인식 장치(200)로 더미 데이터를 전송하고, 음성 인식 모드를 비활성화시킬 수 있다.
한편, 프로세서(130)는 다음과 같은 실시예에 따라 음성 인식 장치(200)와의 접속을 해제할 수 있다. 일 실시예에 따라, 프로세서(130)는 입력부(120)를 통해 파워 오프에 대한 제어 명령이 입력되거나 혹은 통신부(130)를 통해 원격 제어 장치(미도시)로부터 파워 오프에 대한 제어 명령이 수신되면, 음성 인식 장치(200)로 접속 해제를 요청함으로써, 음성 인식 장치(200)와의 접속을 해제할 수 있다.
또다른 실시예에 따라, 프로세서(130)는 음성 인식 장치(200)와의 접속 유지를 위한 더미 데이터 전송을 중단함으로써, 음성 인식 장치(200)와의 접속을 해제할 수 있다. 여기서, 제3 임계 시간은 사용자에 의해 설정된 시간이 될 수 있다. 예를 들어, 사용자가 30분으로 시간을 설정할 경우, 프로세서(130)는 음성 인식 장치(200)와 접속이 개시된 시점부터 30분 동안 음성 인식 모드와 관련된 기설정된 이벤트가 발생하지 않으면, 음성 인식 장치(200)로의 더미 데이터 전송을 중단하여 음성 인식 장치(200)와의 접속을 해제할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 경우에 따라, 제3 임계 시간은 30분 이상 또는 이하의 시간이 될 수 도 있다.
지금까지, 본 발명에 따른 사용자의 발화 음성에 대한 음성 인식 결과를 제공하는 디스플레이 장치(100)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 디스플레이 장치(100)에서 사용자의 발화 음성에 대한 음성 인식 결과를 제공하기 위한 방법에 대해서 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 사용자의 발화 음성 인식이 가능한 디스플레이 장치의 제어 방법에 대한 제1 흐름도이다.
도 6에 도시된 바와 같이, 디스플레이 장치(100)는 파워 온 되면, 어플리케이션을 초기화한다(S610). 어플리케이션이 초기화되면, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속을 수행한다(S620). 구체적으로, 디스플레이 장치(100)는 파워 온 되면,플레쉬 메모리와 같은 비휘발성 메모리에 저장된 부트로더(Boot loader) 프로그램을 실행하여 커널(Kernel)을 로딩한 후, 운영체제 시스템(Operating System : OS)에서 운용 가능한 각종 디바이스 드라이버를 등록한다. 각종 디바이스 드라이버가 등록되면, 디스플레이 장치(100)는 등록된 각각의 디바이스에 대응하여 동작하는 각각의 어플리케이션을 실행하여 각 어플리케이션이 플레쉬 메모리와 같은 비휘발성 메모리에서 동작할 수 있도록 각 어플리케이션에 대한 초기화를 수행한다.
실시예에 따라, 디스플레이 장치(100)가 스마트 TV인 경우, 음성 인식 관련 어플리케이션을 포함한 모든 어플리케이션은 초기화가 수행될 수 있다. 한편, 디스플레이 장치(100)가 스마트 폰과 같은 단말 장치인 경우, 디스플레이 장치(100)의 파워 온이 되면, 디스플레이 장치(100)의 부팅 과정이 수행된 이후, 음성 인식 관련 어플리케이션이 초기화되도록 디폴트로 초기 설정될 수 있다.
이와 같이, 음성 인식 관련 어플리케이션을 포함한 적어도 하나의 어플리케이션에 대한 초기화가 수행되면, 디스플레이 장치(100)는 TCP/IP(Transmission Control Protocol/Internet Protocol) 통신 프로토콜 방식에 기초하여 음성 인식 장치(200)로 디스플레이 장치(100)의 식별 정보 및 어드레스 정보를 포함하는 접속 요청 정보를 전송한다. 이후, 디스플레이 장치(100)는 접속 요청 정보를 전송한 음성 인식 장치(200)로부터 음성 인식 장치(200)의 식별 정보 및 어드레스 정보를 포함하는 응답 정보가 수신되면, 수신된 응답 정보에 기초하여 음성 인식 장치(200)와 접속을 수행한다. 이에 따라, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속이 개시될 수 있다.
음성 인식 장치(200)와 접속이 개시되면, 디스플레이 장치(100)는 제1 임계 시간 내에 음성 인식 모드 동작과 관련하여 기설정된 이벤트가 발생하는지 여부를 판단한다(S630). 여기서, 제1 임계 시간은 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속이 가능한 시간으로써, 실시예에 따라 30초 시간이 될 수 있다. 따라서, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속이 개시된 시점부터 30초 동안 음성 인식 모드와 관련된 기설정된 이벤트가 발생하는지 여부를 판단할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며 경우에 따라 제1 임계 시간은 30초 이상 또는 이하의 시간이 될 수 도 있다.
그리고, 기설정된 이벤트는 음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는 제1 이벤트, 원격 제어 장치(미도시)로부터 움직임 정보가 수신되는 제2 이벤트, 사용자의 모션에 대한 영상 이미지가 입력되는 제3 이벤트 중 적어도 하나를 포함할 수 있다.
판단 결과, 기설정된 제1 내지 제3 이벤트 중 적어도 하나의 이벤트가 제1 임계 시간 내에 발생하지 않으면, 디스플레이 장치(100)는 적어도 하나 이상의 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다(S640). 여기서, 더미 데이터는 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속 유지를 수행하기 위한 약 1Kbyte 정도의 크기를 가지는 데이터가 될 수 있다.
이와 같이, 본 발명에 따른 디스플레이 장치(100)는 제1 임계 시간 내에 음성 인식 모드 동작과 관련하여 기설정된 이벤트가 발생하지 않으면, 음성 인식 장치(200)와의 접속을 유지하기 위한 더미 데이터를 생성하여 전송함으로써, 음성 인식 장치(200)와 지속적으로 접속을 유지할 수 있다.
한편, 전술한 단계 S630에서 제1 임계 시간 내에 기설정된 제1 내지 제3 이벤트 중 적어도 하나가 발생되면, 디스플레이 장치(100)는 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시킨다(S650). 이때, 디스플레이 장치(100)는 음성 인식 모드가 활성화되었음을 알리는 음성 인식 UI를 생성하여 화면상에 표시할 수 있다.
음성 인식 모드가 활성화되면, 디스플레이 장치(100)는 기설정된 제2 임계 시간 내에 사용자의 발화 음성이 입력되는지 여부를 판단한다(S660). 여기서, 제2 임계 시간은 디스플레이 장치(100)와 음성 인식 장치(200) 간의 접속 유지 및 음성 인식 모드가 활성화 상태로 동작이 가능한 시간으로써, 실시예에 따라, 15초 시간이 될 수 있다. 따라서, 디스플레이 장치(100)는 음성 인식 모드가 활성화된 시점부터 15초 동안 사용자의 발화 음성이 입력되는지 여부를 판단할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며 경우에 따라 제2 임계 시간은 15초 이상 또는 이하의 시간이 될 수 도 있다.
판단 결과, 제2 임계 시간 내에 사용자의 발화 음성이 입력되지 않으면, 디스플레이 장치(100)는 전술한 단계 S640을 통해 음성 인식 장치(200)와 접속 유지를 위한 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다. 즉, 디스플레이 장치(100)는 제2 임계 시간 내에 사용자의 발화 음성이 입력될 때가지 전술한 단계 S630 내지 S660에 대한 동작을 반복 수행한다.
이와 같이, 본 발명에 따른 디스플레이 장치(100)는 음성 인식 모드가 활성화된 상태에서 제2 임계 시간 내에 사용자의 발화 음성이 입력되지 않으면, 음성 인식 장치(200)와의 접속을 유지하기 위한 더미 데이터를 생성하여 전송함으로써, 음성 인식 장치(200)와 지속적으로 접속을 유지할 수 있다.
한편, 단계 S660에서 제2 임계 시간 내에 사용자의 발화 음성이 입력되면, 디스플레이 장치(100)는 입력된 발화 음성에 대한 음성 정보를 생성하여 음성 인식 장치(200)로 전송한다(S670). 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 원격 제어 장치(미도시)를 통해 사용자의 발화 음성에 대한 음성 정보를 수신할 수 있으며, 이 같은 음성 정보가 수신되면, 음성 인식 장치(200)로 전송할 수 있다.
이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 사용자의 발화 음성에 대한 음성 정보가 수신되면, 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 텍스트 정보를 생성하고, 기생성된 텍스트 정보를 포함하는 음성 인식 결과 정보를 디스플레이 장치(100)로 전송한다. 이 같은 음성 인식 결과 정보가 수신되면, 디스플레이 장치(100)는 수신된 음성 인식 결과 정보에 기초하여 사용자의 발화 음성에 대한 텍스트 정보를 화면상에 디스플레이한다(S680).
도 7은 본 발명의 일 실시예에 따른 사용자의 발화 음성 인식이 가능한 디스플레이 장치의 제어 방법에 대한 제2 흐름도이다.
도 7에 도시된 바와 같이, 디스플레이 장치(100)는 파워 온 되면, 어플리케이션을 초기화한다(S710). 어플리케이션이 초기화되면, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속을 수행한다(S720). 음성 인식 장치(200)와 접속이 개시되면, 디스플레이 장치(100)는 기설정된 제1 임계 시간 내에 이벤트가 발생하는지 여부를 판단한다(S730),
판단 결과, 제1 임계 시간 내에 이벤트가 발생하지 않으면, 디스플레이 장치(100)는 적어도 하나 이상의 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다(S740). 한편, 제1 임계 시간 내에 이벤트가 발생하면, 디스플레이 장치(100)는 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시킨다(S750). 음성 인식 모드가 활성화되면, 디스플레이 장치(100)는 기설정된 제2 임계 시간 내에 사용자의 발화 음성이 입력되는지 여부를 판단한다(S760)
단계 S760에서 제2 임계 시간 내에 사용자의 발화 음성이 입력되지 않은 것으로 판단되면, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속 유지를 위한 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다(S770). 즉, 디스플레이 장치(100)는 제2 임계 시간 내에 사용자의 발화 음성이 입력될 때까지 전술한 단계 S750 내지 S770에 대한 동작을 반복 수행한다.
한편, 단계 S760에서 제2 임계 시간 내에 사용자의 발화 음성이 입력된 것으로 판단되면, 디스플레이 장치(100)는 입력된 발화 음성에 대한 음성 정보를 생성하여 음성 인식 장치(200)로 전송한다(S780). 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 원격 제어 장치(미도시)를 통해 사용자의 발화 음성에 대한 음성 정보를 수신할 수 있으며, 이 같은 음성 정보가 수신되면, 음성 인식 장치(200)로 전송할 수 있다.
이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 사용자의 발화 음성에 대한 음성 정보가 수신되면, 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 텍스트 정보를 생성하고, 기생성된 텍스트 정보를 포함하는 음성 인식 결과 정보를 디스플레이 장치(100)로 전송한다. 이 같은 음성 인식 결과 정보가 수신되면, 디스플레이 장치(100)는 수신된 음성 인식 결과 정보에 기초하여 사용자의 발화 음성에 대한 텍스트 정보를 화면상에 디스플레이한다(S790).
도 8은 본 발명의 일 실시예에 따른 사용자의 발화 음성 인식이 가능한 디스플레이 장치의 제어 방법에 대한 제3 흐름도이다.
도 8에 도시된 바와 같이, 디스플레이 장치(100)는 파워 온 되면, 어플리케이션을 초기화한다(S810). 어플리케이션이 초기화되면, 디스플레이 장치(100)는 음성 인식 장치(200)와 접속을 수행한다(S820). 음성 인식 장치(200)와 접속이 개시되면, 디스플레이 장치(100)는 기설정된 제1 임계 시간 내에 이벤트가 발생하는지 여부를 판단한다(S830),
판단 결과, 제1 임계 시간 내에 이벤트가 발생하지 않으면, 디스플레이 장치(100)는 적어도 하나 이상의 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다(S840). 한편, 제1 임계 시간 내에 이벤트가 발생하면, 디스플레이 장치(100)는 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시킨다(S850). 음성 인식 모드가 활성화되면, 디스플레이 장치(100)는 기설정된 제2 임계 시간 내에 사용자의 발화 음성이 입력되는지 여부를 판단한다(S860)
단계 S860에서 제2 임계 시간 내에 사용자의 발화 음성이 입력되지 않은 것으로 판단되면, 디스플레이 장치(100)는 활성화된 음성 인식 모드를 비활성화시킨다(S870). 음성 인식 모드가 비활성화되면, 디스플레이 장치(100)는 전술한 단계 S840을 통해 음성 인식 장치(200)와의 접속 유지를 위한 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한다. 그러나, 본 발명은 이에 한정되지 않으며, 제2 임계 시간 내에 발화 음성이 입력되지 않으면, 디스플레이 장치(100)는 음성 인식 장치(200)와의 접속 유지를 위한 더미 데이터를 생성하여 음성 인식 장치(200)로 전송한 후, 활성화된 음성 인식 모드를 비활성화시킬 수 있다.
이 같이, 음성 인식 모드가 비활성화되면, 디스플레이 장치(100)는 전술한 단계 S830 내지 S860를 통해 제1 임계 시간 내에 기설정된 이벤트가 발생되는지 여부에 따라 비활성화 상태의 음성 인식 모드를 활성화 상태로 재설정하며, 음성 인식 모드가 활성화되면, 제2 임계 시간 내에 사용자의 발화 음성이 입력되는지 여부를 대한 동작을 재수행한다.
한편, 단계 S860에서 제2 임계 시간 내에 사용자의 발화 음성이 입력된 것으로 판단되면, 디스플레이 장치(100)는 입력된 발화 음성에 대한 음성 정보를 생성하여 음성 인식 장치(200)로 전송한다(S880). 그러나, 본 발명은 이에 한정되지 않으며, 디스플레이 장치(100)는 원격 제어 장치(미도시)를 통해 사용자의 발화 음성에 대한 음성 정보를 수신할 수 있으며, 이 같은 음성 정보가 수신되면, 음성 인식 장치(200)로 전송할 수 있다.
이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 사용자의 발화 음성에 대한 음성 정보가 수신되면, 수신된 음성 정보를 분석하여 사용자의 발화 음성에 대한 텍스트 정보를 생성하고, 기생성된 텍스트 정보를 포함하는 음성 인식 결과 정보를 디스플레이 장치(100)로 전송한다. 이 같은 음성 인식 결과 정보가 수신되면, 디스플레이 장치(100)는 수신된 음성 인식 결과 정보에 기초하여 사용자의 발화 음성에 대한 텍스트 정보를 화면상에 디스플레이한다(S890).
도 9는 본 발명의 일 실시예에 따른 디스플레이 장치에서 사용자의 발화 음성에 대한 텍스트 정보를 디스플레이하는 예시도이다.
도 9에 도시된 바와 같이, 사용자는 예를 들어 현재 시청 중인 채널에서 “NDC” 채널로 채널 변경을 위한 발화를 수행할 수 있다. 즉, 사용자는 “NDC 채널”이라는 발화를 수행할 수 있다. 이 같은 발화 음성이 입력되면, 디스플레이 장치(100)는 입력된 발화 음성을 음성 인식 장치(200)로부터 전송한다. 이에 따라, 음성 인식 장치(200)는 디스플레이 장치(100)로부터 수신된 발화 음성을 분석하여 사용자의 발화 음성에 대한 텍스트 정보를 생성하여 디스플레이 장치(100)로 전송한다. 이에 따라, 디스플레이 장치(100)는 “NDC Channel”라는 텍스트 정보(910)를 화면상에 디스플레이할 수 있다.
이 같이, 사용자의 발화 음성에 대한 음성 인식 결과 정보를 디스플레이하는 디스플레이 장치(100)는 다음과 같은 실시예에 따라, 음성 인식 장치(200)와의 접속을 해제한다.
일 실시예에 따라, 디스플레이 장치(100)는 사용자의 요청에 따라 파워 오프에 대한 제어 명령이 입력되거나 원격 제어 장치(미도시)로부터 수신되는 이벤트가 발생하면, 음성 인식 장치(200)로 접속 해제를 요청하여 음성 인식 장치(200)와의 접속을 해제할 수 있다.
또다른 실시예에 따라, 디스플레이 장치(100)는 음성 인식 장치(200)와의 접속 유지를 위한 더미 데이터가 기설정된 제4 임계 시간 동안 연속적으로 전송될 경우, 더미 데이터 전송을 중단함으로써, 음성 인식 장치(200)와의 접속을 해제할 수 있다. 여기서, 제4 임계 시간은 사용자에 의해 설정된 시간이 될 수 있다. 예를 들어, 사용자가 30분으로 시간을 설정할 경우, 디스플레이 장치(100)는 음성 인식 장치(200)로 연속해서 전송되는 더미 데이터의 시간이 30분을 초과하는지 여부를 판단한다. 판단 결과, 연속된 더미 데이터의 전송시간이 30분을 초과하면, 디스플레이 장치(100)는 음성 인식 장치(200)로의 더미 데이터 전송을 중단하여 음성 인식 장치(200)와의 접속을 해제할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며 경우에 따라 제4 임계 시간은 30분 이상 또는 이하의 시간이 될 수도 있다.
또한, 상술한 바와 같은 디스플레이 장치 제어 방법은, 상술한 바와 같은 디스플레이 장치 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 사용자의 발화 음성을 인식하는 음성 인식 장치와 통신을 수행하는 통신부;
    상기 사용자의 발화 음성을 입력받는 입력부;
    상기 음성 인식 장치로부터 수신된 상기 발화 음성에 대한 인식 결과 정보를 디스플레이하는 디스플레이부; 및
    디스플레이 장치가 파워 온 되면, 상기 음성 인식 장치로 접속 요청 정보를 전송하여 상기 음성 인식 장치와 접속을 수행하며, 상기 입력부를 통해 상기 발화 음성이 입력되면, 상기 발화 음성에 대한 음성 정보를 상기 통신부를 통해 상기 음성 인식 장치로 전송하는 프로세서;
    를 포함하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 디스플레이 장치가 파워 온 되어 음성 인식 관련 어플리케이션이 초기화되면, 상기 음성 인식 장치와의 접속을 수행하는 것을 특징으로 하는 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 음성 인식 장치와 접속된 상태에서, 제1 임계 시간 내에 기설정된 이벤트가 발생하면, 상기 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시키며,
    상기 이벤트는,
    음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는 제1 이벤트, 원격 제어 장치로부터 움직임 정보가 수신되는 제2 이벤트, 상기 사용자의 모션에 대한 영상 이미지가 입력되는 제3 이벤트 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 제1 임계 시간 내에 상기 제1 내지 제3 이벤트 중 적어도 하나의 이벤트가 발생하지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미 데이터를 전송하는 것을 특징으로 하는 디스플레이 장치.
  5. 제 3 항에 있어서,
    상기 프로세서는,
    상기 음성 인식 모드가 활성화된 상태에서, 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미 데이터를 전송하는 것을 특징으로 하는 디스플레이 장치.
  6. 제 3 항에 있어서,
    상기 프로세서는,
    상기 음성 인식 모드가 활성화된 상태에서, 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 모드를 비활성화 시키는 것을 특징으로 하는 디스플레이 장치.
  7. 제 6 항에 있어서,
    상기 제1 임계 시간은
    상기 음성 인식 장치와의 접속 유지가 가능한 시간이며,
    상기 제2 임계 시간은,
    상기 음성 인식 장치와 접속 유지 및 상기 음성 인식 모드가 활성화 상태로 동작 가능한 시간인 것을 특징으로 하는 디스플레이 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 입력부를 통해 파워 오프에 대한 제어 명령이 입력되면, 상기 음성 인식 장치와의 접속을 해제하는 것을 특징으로 하는 디스플레이 장치.
  9. 디스플레이 장치의 제어 방법에 있어서,
    상기 디스플레이 장치가 파워 온 되면, 사용자의 발화 음성을 인식하는 음성 인식 장치와 접속을 수행하는 단계;
    상기 사용자의 발화 음성이 입력되면, 상기 입력된 발화 음성에 대한 음성 정보를 상기 음성 인식 장치로 전송하는 단계; 및
    상기 음성 인식 장치로부터 수신된 상기 발화 음성에 대한 인식 결과 정보를 수신하여 디스플레이하는 단계;
    를 포함하는 제어 방법.
  10. 제 9 항에 있어서,
    상기 접속을 수행하는 단계는,
    상기 디스플레이 장치가 파워 온 되어 음성 인식 관련 어플리케이션이 초기화되면, 상기 음성 인식 장치와의 접속을 수행하는 것을 특징으로 하는 제어 방법.
  11. 제 9 항에 있어서,
    상기 음성 인식 장치와 접속된 상태에서, 제1 임계 시간 내에 기설정된 이벤트가 발생하면, 상기 사용자의 발화 음성 인식을 위한 음성 인식 모드를 활성화시키는 단계;를 더 포함하며,
    상기 이벤트는,
    음성 인식 모드로 동작하기 위한 사용자 명령이 입력되는 제1 이벤트, 원격 제어 장치로부터 움직임 정보가 수신되는 제2 이벤트, 상기 사용자의 모션에 대한 영상 이미지가 입력되는 제3 이벤트 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  12. 제 11 항에 있어서,
    상기 접속을 유지하는 단계는,
    상기 제1 임계 시간 내에 상기 제1 내지 제3 이벤트 중 적어도 하나의 이벤트가 발생하지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미(Dumy) 데이터를 전송하는 것을 특징으로 하는 제어 방법.
  13. 제 11 항에 있어서,
    상기 접속을 유지하는 단계는,
    상기 음성 인식 모드가 활성화된 상태에서 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 장치로 접속 유지를 위한 더미 데이터를 전송하는 것을 특징으로 해제하는 제어 방법.
  14. 제 11 항에 있어서,
    상기 음성 인식 모드가 활성화된 상태에서, 제2 임계 시간 내에 상기 사용자의 발화 음성이 입력되지 않으면, 상기 음성 인식 모드를 비활성화 시키는 것을 특징으로 하는 제어 방법.
  15. 제 14 항에 있어서,
    상기 제1 임계 시간은
    상기 음성 인식 장치와의 접속 유지가 가능한 시간이며,
    상기 제2 임계 시간은,
    상기 음성 인식 장치와 접속 유지 및 상기 음성 인식 모드가 활성화 상태로 동작 가능한 시간인 것을 특징으로 하는 제어 방법.
PCT/KR2014/011082 2013-11-18 2014-11-18 디스플레이 장치 및 제어 방법 WO2015072816A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14861345.8A EP3037920B1 (en) 2013-11-18 2014-11-18 Display device and control method
CN201480062825.4A CN105745702B (zh) 2013-11-18 2014-11-18 显示装置和控制方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2013-0140097 2013-11-18
KR20130140097 2013-11-18
KR10-2014-0159967 2014-11-17
KR1020140159967A KR102345611B1 (ko) 2013-11-18 2014-11-17 디스플레이 장치 및 제어 방법

Publications (1)

Publication Number Publication Date
WO2015072816A1 true WO2015072816A1 (ko) 2015-05-21

Family

ID=53057680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/011082 WO2015072816A1 (ko) 2013-11-18 2014-11-18 디스플레이 장치 및 제어 방법

Country Status (2)

Country Link
US (1) US20150142441A1 (ko)
WO (1) WO2015072816A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600049B2 (en) * 2013-06-07 2017-03-21 Apple Inc. Motion fencing
GB2531718B (en) * 2014-10-24 2017-08-02 Cambridge temperature concepts ltd Activating an electronic device
CN107786867A (zh) * 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
US10726573B2 (en) 2016-08-26 2020-07-28 Pixart Imaging Inc. Object detection method and system based on machine learning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070070821A (ko) * 2005-12-29 2007-07-04 이승선 음성인식 문자변환기기
US20090187406A1 (en) * 2008-01-17 2009-07-23 Kazunori Sakuma Voice recognition system
WO2011028051A2 (ko) * 2009-09-04 2011-03-10 엘지전자 주식회사 전자 기기 및 이를 이용한 음성인식 방법
KR20110048596A (ko) * 2009-11-03 2011-05-12 주식회사 미래에듀앤테크 디지털코드 인쇄된 디지털도서와 이를 인식하는 디지털코드 인식장치가 구비된 멀티미디어 시스템
US20130246071A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling power using voice recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6471420B1 (en) * 1994-05-13 2002-10-29 Matsushita Electric Industrial Co., Ltd. Voice selection apparatus voice response apparatus, and game apparatus using word tables from which selected words are output as voice selections
US20050261824A1 (en) * 2004-05-19 2005-11-24 Honda Motor Co., Ltd. System and method for varying content
US20050261829A1 (en) * 2004-05-19 2005-11-24 Honda Motor Co., Ltd. System and method for off route processing
US8102901B2 (en) * 2005-03-01 2012-01-24 Intel Corporation Techniques to manage wireless connections
US8082411B1 (en) * 2008-04-30 2011-12-20 Netapp, Inc. Method and system for logical unit substitution
JP2010041324A (ja) * 2008-08-04 2010-02-18 Fujitsu Ltd 通信方法、サービス制御装置、及びプログラム
JP5622744B2 (ja) * 2009-11-06 2014-11-12 株式会社東芝 音声認識装置
JP5548541B2 (ja) * 2010-07-13 2014-07-16 富士通テン株式会社 情報提供システムおよび車載装置
WO2013005248A1 (ja) * 2011-07-05 2013-01-10 三菱電機株式会社 音声認識装置およびナビゲーション装置
US8837366B2 (en) * 2012-03-19 2014-09-16 Apple Inc. Method to use network measurements to optimize mobile wireless device performance
US9924297B2 (en) * 2014-04-28 2018-03-20 International Business Machines Corporation Timed and variable duration for multiple device synching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070070821A (ko) * 2005-12-29 2007-07-04 이승선 음성인식 문자변환기기
US20090187406A1 (en) * 2008-01-17 2009-07-23 Kazunori Sakuma Voice recognition system
WO2011028051A2 (ko) * 2009-09-04 2011-03-10 엘지전자 주식회사 전자 기기 및 이를 이용한 음성인식 방법
KR20110048596A (ko) * 2009-11-03 2011-05-12 주식회사 미래에듀앤테크 디지털코드 인쇄된 디지털도서와 이를 인식하는 디지털코드 인식장치가 구비된 멀티미디어 시스템
US20130246071A1 (en) * 2012-03-15 2013-09-19 Samsung Electronics Co., Ltd. Electronic device and method for controlling power using voice recognition

Also Published As

Publication number Publication date
US20150142441A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
WO2017131335A1 (ko) 사용자 단말 장치 및 그 제어 방법
WO2018066841A1 (en) Display apparatus, electronic apparatus connectable to display apparatus, and method for controlling the same
WO2018034552A1 (en) Language translation device and language translation method
WO2015005730A1 (en) Portable device, display apparatus, display system, and method for controlling power of display apparatus thereof
WO2016080747A1 (en) User terminal and method for controlling display apparatus
WO2020022780A1 (en) Method and apparatus for establishing device connection
EP3808097A1 (en) Method and apparatus for establishing device connection
WO2015056867A1 (en) Display apparatus and method of controlling display apparatus
WO2015072816A1 (ko) 디스플레이 장치 및 제어 방법
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
WO2017082608A1 (en) Wireless device and communication connection method with external device
WO2021101327A1 (en) Display device and operating method thereof
EP3673467A1 (en) Electronic device and method of controlling electronic device
WO2019164248A1 (en) Method for adaptively controlling low power display mode and electronic device thereof
WO2019233190A1 (zh) 基于显示终端的文本转语音方法、显示终端及存储介质
WO2019059483A1 (ko) 전자 장치 및 이의 제어방법
WO2017135776A1 (en) Display apparatus, user terminal apparatus, system, and controlling method thereof
WO2018145597A1 (zh) 基于移动终端的屏幕补光拍照方法及系统、移动终端
WO2020166932A1 (en) Method for sharing bluetooth communication information and electronic device therefor
WO2017104977A1 (en) Electronic device and method of operating the same
WO2019112308A1 (en) Electronic device, user terminal apparatus, and control method thereof
WO2019124830A1 (en) Electronic apparatus, electronic system and control method thereof
WO2018034535A1 (en) Display apparatus and content display method thereof
WO2021020734A1 (en) Electronic device and operating method thereof
WO2019112332A1 (en) Electronic apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14861345

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014861345

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE