WO2015133726A1 - Messenger service system, messenger service method and device for voice call in same system - Google Patents

Messenger service system, messenger service method and device for voice call in same system Download PDF

Info

Publication number
WO2015133726A1
WO2015133726A1 PCT/KR2015/000659 KR2015000659W WO2015133726A1 WO 2015133726 A1 WO2015133726 A1 WO 2015133726A1 KR 2015000659 W KR2015000659 W KR 2015000659W WO 2015133726 A1 WO2015133726 A1 WO 2015133726A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal device
voice call
voice
messenger service
call
Prior art date
Application number
PCT/KR2015/000659
Other languages
French (fr)
Korean (ko)
Inventor
오길훈
이재하
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Publication of WO2015133726A1 publication Critical patent/WO2015133726A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06Message adaptation to terminal or network requirements
    • H04L51/066Format adaptation, e.g. format conversion or compression

Definitions

  • the present invention relates to a messenger service.
  • a messenger service when a situation in which a voice call cannot be made when a voice call is made through a messenger occurs, the voice information input from the user is converted into text, and the converted text is included in an instant message.
  • a messenger service system for transmitting to a counterpart via a messenger, and a messenger service method and apparatus for a voice call in the system.
  • a mobile terminal has a TV viewing function (e.g., a mobile broadcasting such as Digital Multimedia Broadcasting (DMB) or Digital Video Broadcasting (DVB)), a music playback function (e.g., an MP3) MPEG Audio Layer-3), picture taking function, and internet access function are being added.
  • a TV viewing function e.g., a mobile broadcasting such as Digital Multimedia Broadcasting (DMB) or Digital Video Broadcasting (DVB)
  • DMB Digital Multimedia Broadcasting
  • DVD Digital Video Broadcasting
  • music playback function e.g., an MP3 MPEG Audio Layer-3
  • picture taking function e.g., a MP3 MPEG Audio Layer-3
  • Commonly used services in a mobile communication terminal include a message service that other users can exchange messages with, such as a short message service (SMS), a multimedia message service (MMS), an instant messenger or a messenger service such as a mobile messenger.
  • SMS short message service
  • MMS multimedia message service
  • an instant messenger or a messenger service such as a mobile messenger.
  • Such a message service is very expensive because it is inexpensive compared to a call service and can transmit a person's intention or a message to a counterpart user more easily than a direct call, and has recently been provided separately. Is integrated into one, and development is being made in the form of an integrated message service that can use various additional functions such as file transfer and content sharing.
  • a messenger service is a service that allows a user to chat (chat) with a specific user on the Internet, and can send and receive text and various files in real time, and can also have a group chat.
  • chat chat
  • These messenger services are simply downloaded and installed from a web store, etc., and users who have installed messenger programs are rapidly spreading and being used in recent years as real-time conversations are possible anytime and anywhere.
  • mVoIP mobile voice over internet protocol
  • the present invention has been proposed to solve the conventional inconvenience, when a situation in which a voice call cannot be made when a voice call is performed through a messenger in a terminal device, converts the voice information input from the user into text and converts the text.
  • a terminal device including: a communication unit configured to perform communication for a messenger service in association with a service device through a communication network; An output unit for outputting information related to the messenger service; And when it is determined that a voice call cannot be made while a voice call is connected to a specific counterpart terminal device through a voice call function supported by the messenger service while the messenger service is executed, input from a user. Converts the converted voice information into text and transmits an instant message including the converted text to the counterpart terminal device through the messenger service, or converts the received voice information into text when the voice information is received from the counterpart terminal device. And a controller configured to control to output the instant message including the converted text to the messenger service through the output unit.
  • the controller converts the voice information input from the user into text for a predetermined range of time based on the determined time point, or from the counterpart terminal device.
  • the received voice information can be converted into text.
  • the controller may check the call quality based on the transmission strength or ambient noise information of the wireless signal while the voice call is connected, and when the confirmed call quality is lower than a predetermined level, the voice call may be made. It can be determined that no situation has occurred.
  • the controller detects a call output sound while the voice call is connected, and when the call output sound is disconnected by a predetermined level or less than a preset number of times, the voice call cannot be made. It can be determined that this has occurred.
  • the controller may determine that a situation in which the voice call cannot be made occurs when voice information is not transmitted or received for a predetermined time or more while the voice call is connected.
  • the controller may determine that the voice call cannot be made when voice information including a specified specific word is input or when a selection input of a designated menu occurs while the voice call is connected.
  • the controller may determine that the voice call cannot be made when the presence information of the user messenger service is changed to the idle state while the voice call is connected.
  • the controller converts the voice information input from the user into text until receiving the voice call message, and includes the converted text.
  • the mobile terminal may control to transmit the instant message to the counterpart terminal device.
  • the controller may control the voice information to be transmitted / received through the voice call function when it is determined that a situation in which a voice call is made after the voice call is requested to the counterpart terminal device but before the voice call is connected. Can be.
  • controller may further include specified information that can be distinguished from a general instant message when outputting the instant message including the converted text through the output unit.
  • a service apparatus including: a communication unit configured to perform communication for a messenger service by interworking with two or more terminal apparatuses through a communication network; And executing a messenger service between the terminal devices, and a voice call cannot be made by any one terminal device while a voice call is connected between the terminal devices through a voice call function supported by the messenger service. If it is determined to be generated, the voice information received from the terminal device or voice information received from another terminal device is converted into text, and the instant message including the converted text is transmitted to another terminal device or transmitted to the terminal device. It may be configured to include; messenger service providing unit for controlling.
  • the messenger service provider if it is determined that a situation in which a voice call can be made in the terminal device where a situation in which the voice call cannot be made has occurred, from the voice information received from the terminal device or another terminal device;
  • the received voice information may be transmitted to the other terminal device or controlled to be transmitted to the terminal device.
  • the messenger service system for achieving the above object is provided with a specific counterpart terminal device through a voice call function supported by the messenger service while the messenger service provided by the service device is executed. If it is determined that the voice call cannot be made while the voice call is connected, an instant message including text converted from voice information input from the user is transmitted to the service device to be delivered to the counterpart terminal device.
  • a specific counterpart is provided through a voice call function supported by the messenger service while a messenger service is executed.
  • a voice call is connected to the counterpart terminal device, transmitting and receiving a voice call message including voice information with the counterpart terminal device and determining whether a situation in which a voice call cannot be made occurs;
  • the method may further include outputting an instant message including the converted text from the user through the messenger service.
  • the method may further include: when the voice call is not connected to the counterpart terminal device, outputting a guide message for inputting voice information through the messenger service; Converting the input voice information into text when the voice information is input according to a guide from the user; And transmitting the instant message including the converted text to the counterpart terminal device.
  • controlling the voice information to be transmitted and received through the voice call function may be further included.
  • a messenger service method for a voice call in a service device includes: performing a voice call connection through a messenger service between two or more terminal devices; Determining whether a situation occurs in which one of the terminal devices cannot make a voice call while the voice call is connected between the terminal devices; And when it is determined that a situation in which one of the terminal devices cannot make a voice call occurs, converts the voice information transmitted from the terminal device into text and converts an instant message including the converted text into another terminal through the messenger service. Sending to the device; can be made.
  • the voice information transmitted from the other terminal device is converted into text and an instant message including the converted text is transmitted to the terminal device. It may be made to include more.
  • the step of transmitting to the other terminal device if it is determined that a situation in which the terminal device can make a voice call occurs, transmits an instant message including voice information transmitted from the terminal device to the other terminal device. Or transmitting the instant message including the voice information transmitted from the other terminal device to the terminal device.
  • a program for executing a messenger service method for a voice call is recorded.
  • the present invention converts the voice information input from the user to a text to make an instant message including the text converted through the messenger even if a situation in which a call cannot be made when the voice call is executed through the messenger is executed. You can send it to the other party. For this reason, the present invention can clearly recognize the contents of the interrupted call even when the call is terminated due to the temporary disconnection of the call or the call is interrupted, and thus the smooth conversation can be performed.
  • FIG. 1 is a diagram illustrating a configuration of a messenger service system according to embodiments of the present invention.
  • FIG. 2 is a diagram illustrating a configuration of a terminal device in a messenger service system according to embodiments of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of a service apparatus in a messenger service system according to embodiments of the present invention.
  • FIG. 4 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when performing a voice call in a terminal device according to a first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when a voice call connection fails in the terminal device according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a messenger service method for a voice call for converting voice information into text according to a text conversion request in a voice call in the terminal device according to the first embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a messenger service method for a voice call in a service apparatus according to a second embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a messenger service method for a voice call for converting voice information into text during a group voice call in a terminal device according to a third embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example of a main screen and a call screen for a voice call in a messenger service according to embodiments of the present invention.
  • FIG. 10 is a diagram illustrating an example of a conversation screen when a situation in which a voice call cannot be made according to the first embodiment of the present invention occurs.
  • FIG. 11 is a diagram illustrating an example of a call screen and a conversation screen when a voice call connection fails according to the first embodiment of the present invention.
  • FIG. 12 is a diagram illustrating an example of a call screen and a conversation screen when a text menu is selected according to the first embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of a call screen and a conversation screen when a away menu is selected during a group voice call according to a third embodiment of the present invention.
  • the voice information among the information and messages mentioned for explaining the messenger service for a voice call in the messenger service system is voiced through a mobile Voice over Internet Protocol (mVoIP).
  • mVoIP Mobile Voice over Internet Protocol
  • the instant message referred to as “instant message” is a message that is transmitted and received in real time for a conversation with a counterpart via the Internet in a messenger service, and refers to a message that transmits a conversation content as a text.
  • a message for transmitting / receiving a picture, video, voice, etc. among instant messages transmitted and received through a messenger will be referred to as a multimedia message.
  • the voice call message referred to herein refers to a message for transmitting and receiving a call content, that is, input voice information during a voice call, and means a message transmitted and received between terminal devices through a mobile Internet phone during a messenger service.
  • the instant messaging device and method for a voice call in the present invention may be described according to various embodiments.
  • a messenger service for converting voice information input from a terminal device into text will be described.
  • a service device providing a messenger service detects that a call cannot be made during a voice call between terminal devices, the voice information transmitted by the terminal device is converted into text.
  • a messenger service that can be provided to a terminal device will be described.
  • a description will be given of a messenger service for voice call during group voice call.
  • FIG. 1 is a diagram illustrating a configuration of a messenger service system according to embodiments of the present invention.
  • a messenger service system may include one or more terminal devices 100 and a service device 200 connected through a communication network 10.
  • the terminal device 100 refers to a terminal capable of transmitting and receiving various data via the communication network 10 according to a user's key manipulation, and may be a tablet PC, a laptop, or a personal computer. ), A smart phone, a personal digital assistant (PDA), a smart TV, and a mobile communication terminal (Mobile Communication Terminal).
  • PDA personal digital assistant
  • Mobile Communication Terminal Mobile Communication Terminal
  • the terminal device 100 is a terminal for performing voice or data communication using the communication network 10, and stores a browser, a program, and a protocol for communicating with the service device 200 via the communication network 10. It refers to a terminal having a microprocessor for operating and controlling various programs. That is, the terminal device 100 can perform server-client communication with the service device 200, and any terminal can be used as long as it can execute a messenger service, and all communication computing devices such as a notebook computer, a mobile communication terminal, and a PDA can be used. It is a broad concept to include.
  • the terminal device 100 is preferably manufactured in the form having a touch screen, but is not necessarily limited thereto.
  • the terminal device 100 when the terminal device 100 according to the first embodiment of the present invention executes a messenger service and performs a voice call with at least one counterpart terminal device 100 through a messenger service, a situation in which a voice call cannot be made Then, the voice information input from the user may be converted into text, and an instant message including the converted text may be transmitted to the counterpart terminal device 100 through a messenger.
  • the terminal device 100 receives an instant message including text converted from voice information received from the counterpart terminal device 100, the terminal device 100 may output the received instant message on the messenger conversation screen.
  • the terminal device 100 transmits the voice information input from the user to the service device 200 when a situation in which a call cannot be made when a voice call is made through a messenger occurs.
  • an instant message including text converted from voice information transmitted from the service apparatus 200 may be received and output on the messenger conversation screen.
  • the service device 200 may transmit an instant message including the converted text to the counterpart terminal device 100.
  • the terminal device 100 according to the third embodiment of the present invention can perform a group voice call with two or more counterpart terminal devices 100 through a messenger.
  • the service device 100 may transmit a message informing that the user is away.
  • the terminal device 100 may receive an instant message including the text obtained by converting voice information transmitted and received between the counterpart terminal devices 100 from the service device 200.
  • the terminal device 100 according to the third embodiment of the present invention uses the voice information input from the user as in the first embodiment of the present invention.
  • the text message may be converted into text and an instant message including the converted text may be transmitted to the counterpart terminal devices 100 through a messenger.
  • the service device 200 may provide a program or an application related to a messenger service by interworking with one or more terminal devices 100 through the communication network 10, and the messenger service is executed in the terminal devices 100 to transmit and receive. Messages related to a messenger service, such as instant messages and voice call messages, may be transmitted and received. In addition, the service device 200 converts the voice information received from the terminal devices 100 into text when a situation in which a call cannot be made when a voice call is performed through the messenger between the terminal devices 100 occurs. An instant message including the converted text may be transmitted to the terminal devices 100, respectively.
  • the terminal device 100 and the service device 200 are interworked through the communication network 10.
  • the communication network 10 uses an internet protocol using various wired / wireless communication technologies such as an internet network, an intranet network, a mobile communication network, and a satellite communication network. A network that can send and receive data.
  • the communication network 10 is combined with the service device 200 to store computing resources such as hardware and software.
  • Such a communication network 10 is not only an open network such as a local area network (LAN), a wide area network (WAN), an open network such as the Internet, but also code division multiple access (CDMA) and wideband code division (WCDMA).
  • CDMA code division multiple access
  • WCDMA wideband code division
  • GSM Multiple Access
  • GSM Global System for Mobile Communications
  • LTE Long Term Evolution
  • EPC Evolved Packet Core
  • FIG. 2 is a diagram illustrating a configuration of a terminal device in a messenger service system according to embodiments of the present invention.
  • the terminal device 100 may include a control unit 110, an input unit 120, a communication unit 130, a storage unit 140, and an output unit 150.
  • the controller 110 performs overall control of the terminal device 100, and in particular, may control an operation related to a voice call in a messenger service and a messenger service.
  • the controller 110 may be configured to include a messenger service execution module 111 for a messenger service.
  • the messenger service execution module 111 is functionally connected to the communication unit 120 to install a messenger program or application received from the service device 200, and then, according to a user's request, a messenger service. You can run
  • the messenger service execution module 111 may select “talk” or “free call” through one execution screen of the messenger service as shown in FIG. 9 (a). If a menu is provided and a selection signal of any one of the menus is sensed, the user can switch to a chat screen or a call screen and perform a chat or a voice call through a messenger.
  • the conversation refers to a general text-based messenger service
  • the call refers to performing a voice call through the messenger service.
  • the messenger service execution module 111 may perform a voice call by monitoring whether a situation in which a voice call cannot be made occurs while a voice call is connected through a messenger service. If there is no situation, the voice information input from the user is directly converted into text, or transmitted to the service device 200 to receive the converted text from the service device through an instant message and display the chat contents as text on the messenger chat screen. can do.
  • the messenger service execution module 111 converts the voice information input from the user into text and converts the voice information input from the user when a situation in which a call cannot be made when a voice call is made through the messenger occurs. It is possible to control to generate the instant message including the instant message to the counterpart terminal device 100 via a messenger. In this case, as illustrated in FIG. 10, the messenger service execution module 111 outputs an instant message including the converted text to a chat screen of the output unit 150 and receives the instant message received from the counterpart terminal device 100. You can control the output of messages to the chat screen.
  • the received instant message may be text converted from voice information input from the counterpart terminal device 100, that is, an instant message including a call content or an instant message including a conversation content input as text for a messenger conversation.
  • the messenger service execution module 111 may determine whether a situation in which a voice call cannot be made from various viewpoints occurs.
  • the call quality is checked based on the transmission strength or ambient noise information of the wireless signal, and when the confirmed call quality is lowered below a certain level, the call output sound
  • the voice signal is detected and the call output sound is below the preset level or the disconnection occurs more than the preset number of times
  • the voice information is not transmitted or received for more than the preset time
  • the voice information including the specific word designated by the user is input or
  • the selection input of the menu it may be determined that the voice call cannot be made when the presence information of the messenger service is changed to the vacant state.
  • the messenger service execution module 111 checks the call quality based on the transmission strength or ambient noise information of the wireless signal during the voice call, and if the confirmed call quality is lowered to a predetermined level or less, the input voice information is texted. You can also convert to. At this time, the messenger service execution module 111 transmits the information on the confirmed call quality to the service device 200, and sends an instant message including text converted from voice information of an unreceived party from the service device 200. It may be controlled to receive and output the received instant message on the messenger conversation screen.
  • the messenger service execution module 111 detects a call output sound during a voice call, and when the call output sound is cut off at a predetermined level (sound pressure sensitivity (dB)) or a predetermined number of times or more, a voice transmitted and received You can also convert information to text.
  • a predetermined level sound pressure sensitivity (dB)
  • dB sound pressure sensitivity
  • the messenger service execution module 111 when the messenger service execution module 111 receives an instant message including text converted from voice information from the counterpart terminal device 100, the voice input from the user is received until the voice call message is received from the counterpart terminal device 100.
  • the information may be converted into text, and the instant message including the converted text may be transmitted to the counterpart terminal device 100.
  • the messenger service execution module 111 may convert the voice information input after the last transmitted / received voice information into text when the voice information has not been transmitted or received for a predetermined time or more with the call connection connected.
  • the messenger service execution module 111 may convert the input voice information into text while transmitting the input voice information when the voice information including the predetermined specific word is input from the user during the voice call.
  • the messenger service execution module 111 receives a text conversion request from the user when performing a voice call through a messenger, converts the voice information input from the user into text after switching to the text mode. And convert the instant message including the converted text to the counterpart terminal device 100 through the messenger.
  • the messenger service execution module 111 may control to output a guide message informing that the voice information input on the call screen is converted into text.
  • the messenger service execution module 111 may switch to the call mode and transmit a voice call message including the input voice information to the counterpart terminal device 100.
  • the messenger service execution module 111 of the control unit 110 is functionally connected with the communication unit 120, when a situation in which a voice call cannot be made through a messenger,
  • the voice information input from the user may be controlled to be transmitted to the service device 200.
  • the voice information received by the service device 200 may be converted into text, and an instant message including the converted text may be transmitted to the caller and the called party terminal device 100, respectively.
  • the messenger service execution module 111 may receive an instant message including text converted from voice information input from a caller and a receiver from the service device 200, and output the received instant message on a messenger conversation screen. Can be controlled.
  • the messenger service execution module 111 of the control unit 110 is functionally connected to the communication unit 120 to execute a messenger service, and performs two or more counterpart terminal devices 100 through a messenger. And group voice calls.
  • the messenger service execution module 111 detects a selection signal for the group voice call as the user selects the away menu displayed on the call screen.
  • the device 200 may transmit a message informing that the user is away.
  • the messenger service execution module 111 may control to receive an instant message including the text obtained by converting voice information transmitted and received between the counterpart terminal devices 100 from the service device 200.
  • the messenger service execution module 111 controls to output the converted text on the messenger conversation screen, that is, an instant message including the conversation contents between the counterpart terminal devices 100. Can be.
  • the messenger service execution module 111 of the control unit 110 when the vacant state is released according to a specific input signal, sends a message indicating the vacant release state to the service device 200. And transmit and receive a voice call message including voice information according to a group voice call.
  • the messenger service execution module 111 may control the messenger service execution module to output a message informing about the release of the vacant space on the messenger conversation screen.
  • the messenger service execution module 111 converts the voice information input from the user into text and converts the converted text into text.
  • the instant message may be controlled to be transmitted to the counterpart terminal devices 100 through a messenger.
  • the messenger service execution module 111 transmits the voice information input from the user to the service device 200 and converts the voice information input from the service device 200.
  • An instant message including one text may be received, and an instant message including text converted from voice information input from the counterpart terminal device 100 may be received and output on the messenger conversation screen.
  • the messenger service execution module 111 receives a multimedia message including voice information transmitted and received between the counterpart terminal devices 100 from the service device 200 through a messenger.
  • the messenger service execution module 111 may convert a part of voice packet data from a certain conversation content, that is, the entire conversation content, into text and display the text on the messenger conversation screen.
  • the voice packet data may be checked to convert only packet data including a specific word into text and displayed on the messenger conversation screen.
  • the messenger service execution module 111 generates a multimedia message in a predetermined period or real time by storing the voice information input from the user when a situation in which a group voice call cannot be made occurs, and generates the generated multimedia message through a messenger. It may be controlled to transmit to the counterpart terminal devices 100.
  • the service device 200 may receive the generated multimedia message and convert the voice packet data or the entire voice information of a predetermined portion into text according to a request of the other party, and transmit the text message to the counterpart terminal device 100.
  • the communication unit 120 may communicate with the service apparatus 200 through the communication network 10 to transmit and receive messages for a messenger service and a voice call (group voice call).
  • the communication unit 120 may transmit and receive data through various communication methods as well as wired and wireless methods.
  • the communication unit 120 may transmit and receive data using one or more communication methods, and for this purpose, the communication unit 120 may include a plurality of communication modules that transmit and receive data according to different communication methods.
  • the input unit 130 may generate a user input signal corresponding to a user's request or information according to a user's operation, and may be implemented by various input means that are currently commercialized or that can be commercialized in the future.
  • various input means that are currently commercialized or that can be commercialized in the future.
  • a general input device such as a keyboard, a mouse, a joystick, a touch screen, a touch pad, but also a gesture input means for detecting a user's motion and generating a specific input signal, and a voice recognition means for recognizing a user's voice. It may include.
  • the input unit 130 transmits a voice signal input from a user, that is, a caller, to the controller 110, and receives a signal input for a messenger service from an execution screen (main screen, call screen, conversation screen, etc.) according to execution of a messenger service. It may be delivered to the control unit 110.
  • the storage unit 140 stores information necessary for the operation of the terminal device 100, and in particular, a program (or application) for a messenger service for a voice call received from the service device 200. ) And a program (or application) for text conversion and the like, and information input and generated messages according to execution of a messenger service may be stored. In addition, the storage 140 may temporarily store voice information input from a user and text converted from voice information, and may store instant messages, multimedia messages, voice call messages, and the like, which are transmitted and received with the counterpart terminal device 100. .
  • the storage unit 140 may include an optical media such as a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, a compact disk read only memory (CD-ROM), and a digital video disk (DVD). And magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
  • the storage 140 may store the screen image to be output to the display unit, as well as the application program required for the operation of the function according to embodiments of the present invention.
  • the storage unit 140 may store a key map or a menu map for operating the touch screen when the display unit is configured as the touch screen.
  • the key map and the menu map may be in various forms. That is, the key map may be a keyboard map, a 3 * 4 key map, a qwerty key map, or the like, or may be a control key map for operation control of an currently activated application program.
  • the menu map may be a menu map for controlling the currently running application program.
  • the storage 140 is an operating system (OS) for booting the terminal device 100 and operating the above-described components, and various user functions, for example, a user for supporting a call function of the terminal device 100.
  • OS operating system
  • MP3 user function for playing other sound sources
  • image output function for playing an image such as a photo
  • application program for supporting a video playing function, respectively.
  • the output unit 150 is a means for providing the user to recognize the operation result or state of the terminal device 100.
  • a display unit for visually outputting through a screen; And a speaker for outputting an audible sound.
  • a screen related to the execution of a messenger service and a voice call (group voice call) driven by the terminal device 100 that is, a main screen, a call screen, a chat screen, and the like of a messenger service may be output.
  • Instant messages, multimedia messages, and the like transmitted and received can be displayed on the screen.
  • FIG. 3 is a diagram illustrating a configuration of a service apparatus in a messenger service system according to embodiments of the present invention.
  • the service device 200 may include a communication unit 210, a messenger service providing unit 220, and a storage unit 230.
  • the communication unit 210 may transmit / receive messages for one or more terminal devices 100 and a voice call (group voice call) through a messenger service and a messenger through the communication network 10.
  • the communication unit 210 may transmit and receive data through various communication methods as well as wired and wireless methods.
  • the communication unit 210 may transmit and receive data using one or more communication methods, and for this purpose, the communication unit 210 may include a plurality of communication modules that transmit and receive data according to different communication methods.
  • the messenger service provider 220 controls an operation for a messenger service by interworking with two or more terminal devices 100 through the communication network 10, and is functionally connected to the communication unit 210.
  • each terminal device receives an instant message including text converted from voice information received from each terminal device 100. 100 can be sent.
  • the messenger service provider 220 upon receiving voice information from the caller terminal device 100, the messenger service provider 220 according to the second embodiment of the present invention converts the received voice information into text and converts an instant message including the converted text into text. Each of the terminal devices 100 may transmit.
  • the messenger service provider 220 may check a state in which a call cannot be made during a voice call between the terminal devices 100, for example, confirming a disconnected time point.
  • the voice call message which has not been delivered since the identified time point may be detected, and the voice information included in the detected voice call message may be converted into text.
  • the messenger service provider 220 may convert voice information received from the terminal devices 100 into texts after the identified time point, and transmit an instant message including the converted text to the terminal devices 100, respectively. have.
  • the messenger service provider 220 receives information on a signal strength of a wireless signal from each terminal device 100 and receives information on the received signal strength during a voice call. If the confirmed call quality is lowered below a certain level by checking the call quality, the voice information included in the transmitted and received voice call message may be converted into text. Then, the messenger service provider 220 may transmit an instant message including the converted text to each terminal device 100.
  • the messenger service providing unit 220 when the messenger service providing unit 220 according to the third embodiment of the present invention receives a message informing that the user is away from the terminal device 100, the contents of the voice call, that is, the voice call message between the counterpart terminal devices 100 are provided.
  • the voice information included in the may be converted into text at a predetermined period or in real time, and the instant message including the converted text may be transmitted to the terminal device 100 requesting the vacancy.
  • the messenger service provider 220 may transmit voice call messages including voice information corresponding to the group voice call to the corresponding terminal devices 100.
  • the messenger service provider 220 includes voice information regarding a conversation content for a predetermined time or a conversation content in real time in a multimedia message without converting the voice information transmitted and received between the counterpart terminal devices 100 into text.
  • the terminal device 100 may transmit to the terminal device 100 requesting the vacancy.
  • the storage unit 230 stores information related to providing a messenger service for a voice call.
  • the storage unit 230 may store an instant message, a multimedia message, a voice call message, and the like, which are transmitted / received between the terminal devices 100, and converts the text converted from the voice information received from the terminal device 100 into user information. Can be saved with (identification information).
  • the storage unit 230 may include an optical media such as a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, a compact disk read only memory (CD-ROM), and a digital video disk (DVD). And magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
  • FIG. 4 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when performing a voice call in a terminal device according to a first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when a voice call connection fails in the terminal device according to the first embodiment of the present invention.
  • 6 is a diagram illustrating a messenger service method for a voice call for converting voice information into text according to a text conversion request in a voice call in a terminal device according to a first embodiment of the present invention.
  • step 1101 the terminal device 100 executes a messenger service by executing a messenger application, and then executes a messenger service on a display unit. Print the screen.
  • the terminal device 100 displays a message of the other party, information of the other party, and “talk” and “free call” menus on the main screen. I can display it.
  • step 1102 the terminal device 100 checks whether there is a voice call request from the user. As a result of the check, when a selection signal for the “free call” menu input by the user is detected, the terminal device 100 switches to a call mode and outputs a call screen as shown in (b) of FIG. 9 in step 1103. Attempt to connect the call by transmitting a call request message to the selected counterpart terminal device 100.
  • step 1104 when the call for a voice call is connected by receiving a response message from the counterpart terminal device 100, the terminal device 100 performs a voice call with the counterpart.
  • the terminal device 100 outputs voice information input from a user, transmits a voice call message including the input voice information to the service device 200 in real time, and transmits the voice call message from the service device 200 to the counterpart terminal device ( Receives a voice call message transmitted in 100) in real time and outputs voice information through a speaker.
  • step 1105 the terminal device 100 checks whether a situation in which a call cannot be made occurs. As a result of the check, if a situation in which a call cannot be made does not occur, the terminal device 100 checks whether the call is terminated in step 1106. If the call is not terminated, the call is continued. If the call is terminated, the call is terminated and the call screen shows the end of the voice call. The message is transmitted to the counterpart terminal device 100 through the service device 200. In this case, the terminal device 100 may notify the talk time with the counterpart by displaying the generated instant message including the talk time information on the conversation screen.
  • step 1107 the terminal device 100 converts the voice information input since the time when the call is disconnected into text, and in step 1108, the terminal device 100 switches to the conversation mode. As shown in FIG. 10 attached thereto, a message (for example, “no answer”) indicating that the call cannot be made is displayed on the conversation screen. Then, in step 1109, the terminal device 100 generates an instant message including the converted text. Thereafter, in step 1110, the terminal device 100 transmits the generated instant message to the counterpart terminal device 100 through the service device 200, and includes an instant message including a converted test (for example, “10 am tomorrow”). Meet ”) on the conversation screen. At this time, if the call is terminated instead of being temporarily disconnected, the terminal device 100 displays an instant message indicating the end of the call, for example, "1 minute 10 seconds call" on the conversation screen.
  • a converted test for example, “10 am tomorrow”. Meet
  • the terminal device 100 may display the instant message received from the counterpart terminal device 100 in response to the instant message transmitted on the chat screen.
  • the instant message displayed on the chat screen may be an instant message including general text input in the chat mode or an instant message converted from voice information.
  • the instant message converted from the voice information may display specified information, for example, a shape of a telephone receiver, to distinguish it from a general instant message.
  • step 1201 after executing the messenger service, the terminal device 100 outputs an execution screen for the messenger service to a display unit. .
  • step 1202 the terminal device 100 checks whether there is a voice call request from the user. As a result of the check, when a selection signal for the “free call” menu input by the user is detected, the terminal device 100 switches to a call mode and outputs a call screen as shown in (b) of FIG. 9 in step 1203. Attempt to connect the call by transmitting a call request message to the selected counterpart terminal device 100.
  • step 1204 the terminal device 100 checks whether there is a response to the call request. As a result of the check, when the response message for the call is received from the counterpart terminal device 100, the terminal device 100 performs a voice call after connecting the call for the voice call in step 1205. Thereafter, in step 1206, the terminal device 100 checks whether the call is ended, and when the call ends, outputs an instant message notifying the end of the call on the messenger conversation screen, and sends an instant message to the other party. send. Otherwise, if the call is not terminated, the voice call message for the voice call can be continuously transmitted and received.
  • step 1208 the terminal device 100 receives voice information to be transferred in the call screen, and in step 1209 converts the input voice information into text and then switches to the chat mode to output the chat screen.
  • the terminal device 100 displays an instant message (for example, “no answer”) indicating that the call is unavailable on the transmission and conversation screen.
  • the terminal device 100 generates an instant message including the converted text, and then transmits the instant message generated in step 1211 to the counterpart terminal device 100 in real time.
  • the generated instant message eg, “Please call me” is displayed on the conversation screen.
  • step 1301 the terminal device 100 executes a messenger service and then performs a voice call.
  • the terminal device 100 detects a signal for the text conversion menu in step 1302. In operation 1303, the terminal device 100 outputs a guide message (for example, “Please input the voice to be delivered!”) For receiving the voice to be transmitted to the call screen.
  • a guide message for example, “Please input the voice to be delivered!”.
  • step 1304 the terminal device 100 receives voice information from the user, and in step 1305, converts the input voice information into text, switches to the chat mode, and outputs a chat screen.
  • the terminal device 100 transmits the instant message generated in step 1307 to the counterpart terminal device 100 in real time, and is attached to FIG. As shown in), the generated instant message is displayed on the chat screen.
  • the voice information input for a certain time period for example, 30 seconds
  • voice information about an appointment location (“Seoul Station Exit 3”, “address 000 000 3-gil 5”) and appointment time inputted for a predetermined time may be converted into text and displayed on the conversation screen.
  • the user may input a voice to be converted into a test while pressing the text conversion menu, release the text conversion menu, and then perform a voice call again.
  • step 1308 when the terminal device 100 detects a specific input signal or passes a predetermined time (for example, 30 seconds), the terminal device 100 releases the text menu selection and continues to perform a voice call. After that, when the voice call ends, the terminal device 100 displays an instant message (“5 minutes and 20 seconds call”) indicating the end of the call on the chat screen, as shown in FIG. 12B.
  • a predetermined time for example, 30 seconds
  • the terminal device 100 when the terminal device 100 receives an instant message including text converted from voice information input from the counterpart terminal device 100, The received instant message is output on the messenger conversation screen in real time.
  • the terminal device 100 converts voice information input by the user into text, and converts the instant message including the converted text into the counterpart terminal device 100.
  • the terminal device 100 includes voice information input from the user in the voice call message and the counterpart terminal device 100.
  • FIG. 7 is a diagram illustrating a messenger service method for a voice call in a service apparatus according to a second embodiment of the present invention.
  • the service device 200 when the terminal device 100 executes a messenger service and transmits a call request message to perform a voice call, the service device 200 confirms the counterpart identification information included in the received call request message. The call request message is transmitted to the confirmed counterpart terminal device 100. Accordingly, in operation 2101, the service device 200 receives a response message from the counterpart terminal device 100, transmits the response message to the requested terminal device 100, and transmits a voice call message between the terminal devices 100 according to the call call connection. Send and receive
  • the service device 100 checks whether the terminal devices 100 cannot make a call when a voice call is performed between the terminal devices 100.
  • step 2103 the service device 100 continuously performs step 2101 when a situation in which a call cannot be made does not occur.
  • the service device 200 checks the time when the call is disconnected between the terminal devices (100) .
  • the signal strength values are received from the terminal devices 100, respectively, and the call quality is determined based on the signal strength or the traffic volume. You can also check
  • the service device 200 detects an undelivered voice call message or receives voice information from the terminal devices 100.
  • the service device 200 converts the voice information or the received voice information included in the detected voice call message into text, and generates an instant message including the converted text in step 2107. Transmit to the terminal devices 100, respectively.
  • the terminal device 100 requesting the vacancy is called the first terminal device 100 and refers to the counterpart terminal devices 100 for performing a group voice call with the first terminal device 100a.
  • the second and third terminal devices 100b and 100c will be referred to.
  • FIG. 8 is a diagram illustrating a messenger service method for a voice call for converting voice information into text during a group voice call in a terminal device according to a third embodiment of the present invention.
  • the first terminal device 100a executes a messenger service and then performs a group voice call with the counterpart terminal devices 100.
  • the first terminal device 100a checks whether there is a request for vacancy from the user.
  • the user may request the away by selecting the away menu displayed on the call screen as shown in FIG. 13A attached to the group voice call.
  • the first terminal device 100a transmits a message indicating the away to the service device 200.
  • the first terminal device 100a outputs an instant message informing that the user is away from the conversation screen.
  • the service device 200 converts the voice information included in the voice call message received from the second and third terminal devices 100a and 100b having a group voice call into text, and converts the instant message including the converted text into text.
  • the vacant space is transmitted to the first terminal device 100a.
  • the service device 200 may store the received voice information and then convert the stored voice information into text or convert the voice information into text in real time.
  • the first terminal device 100a receives an instant message including text converted from voice information from the service device 200, and as shown in FIG. 13 (b) attached in operation 3105,
  • the received instant message is output on the messenger conversation screen.
  • the first terminal device 100a may include texts such as “Let's meet at Seoul station,” “Let's meet at what time” and “Let's meet at three,” such as contents of a call between the second and third terminal devices 100b and 100c. It can be printed on the dialog screen.
  • the first terminal device 100a checks whether there is room release according to a specific input signal. As a result of the check, if the vacancy is not released, step 3104 is continued.
  • the first terminal device (100a), as shown in (b) of Figure 13 attached, an instant message notifying the release of the away (for example, "Away away”. ”) Is displayed on the conversation screen, and a group voice call is performed. Thereafter, in step 3107, the first terminal device 100a checks whether the group voice call is terminated. If the call is not terminated, the first terminal device 100a continuously performs the group voice call. On the other hand, when the call is terminated, an instant message including the talk time information is output.
  • the messenger service method for voice call has been described.
  • the terminal device 100 or the service device 200 monitors whether or not a situation in which a voice call cannot be made during a voice call of a messenger service occurs, and thus a situation in which a voice call cannot be made is generated.
  • the voice information may be controlled to be transmitted and received again through the voice call function.
  • the program instructions for recording the messenger service method for the voice call of the present invention may be those specially designed and configured for the present invention or may be known and available to those skilled in computer software.
  • the recording medium may be magnetic media such as hard disks, floppy disks and magnetic tapes, optical disks such as Compact Disk Read Only Memory (CD-ROM), digital video disks (DVD), Magnetic-Optical Media, such as floppy disks, and hardware devices specially configured to store and execute program instructions, such as ROM, random access memory (RAM), flash memory, and the like. do.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • a computer program (also known as a program, software, software application, script or code) mounted on an apparatus according to the invention and executing a method according to the invention comprises a compiled or interpreted language or a priori or procedural language. It can be written in any form of programming language, and can be deployed in any form, including stand-alone programs or modules, components, subroutines, or other units suitable for use in a computer environment. Computer programs do not necessarily correspond to files in the file system.
  • a program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document).
  • the computer program may be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communication network.
  • the present invention relates to a messenger service system and a messenger service method and apparatus for a voice call in the system.
  • the present invention relates to a messenger service system.
  • the voice information input from the user may be converted into text, and an instant message including the converted text may be transmitted to the other party through a messenger. For this reason, the present invention can clearly recognize the contents of the interrupted call even when the call is terminated due to the temporary disconnection of the call or the call is interrupted, and thus the smooth conversation can be performed.
  • the present invention can make a group voice call with two or more counterpart terminal devices when a voice call is made through a messenger, and when a group voice call is made, the contents of the call are provided as texts through a messenger through a away function. As a result, even if the call is not made, the contents of the call can be confirmed.
  • the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

The present invention relates to a messenger service system, and a messenger service method and device for a voice call in the system, wherein a terminal device executes a messenger service by performing communication for the messenger service in interworking with a service device via a communication network, and when a call-disabled situation occurs during a voice call via a messenger, the terminal device converts voice information input from the user into text, transmits an instant message including the converted text to a counterpart terminal via the messenger, and outputs the instant message including the converted text to a messenger conversation screen. Therefore, even when the conversation is interrupted by a temporary call cut-off incident or the call disconnection due to the call cut-off, a user can clearly recognize call contents and can perform a smooth conversation.

Description

메신저 서비스 시스템, 그 시스템에서의 음성 통화를 위한 메신저 서비스 방법 및 장치Messenger service system, messenger service method and apparatus for voice call in the system
본 발명은 메신저 서비스에 관한 것으로서, 특히 메신저를 통해 음성 통화를 수행 시 음성 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 인스턴트 메시지에 포함하여 메신저를 통해 상대방에게 전송하기 위한 메신저 서비스 시스템, 그 시스템에서의 음성 통화를 위한 메신저 서비스 방법 및 장치에 관한 것이다. The present invention relates to a messenger service. In particular, when a situation in which a voice call cannot be made when a voice call is made through a messenger occurs, the voice information input from the user is converted into text, and the converted text is included in an instant message. A messenger service system for transmitting to a counterpart via a messenger, and a messenger service method and apparatus for a voice call in the system.
이 부분에 기술된 내용은 단순히 본 실시 예들에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the embodiments, and do not constitute a prior art.
최근 정보통신 기술과 반도체 기술 등의 눈부신 발전에 힘입어 휴대 단말기의 보급과 이용이 급속도로 증가하고 있다. 특히, 최근의 휴대 단말기는 성능 향상을 통해서, 각자의 전통적인 고유 영역에 머무르지 않고 다른 단말기들의 영역까지 아우르는 모바일 융/복합(mobile convergence) 단계에 이르고 있다. Recently, thanks to the remarkable development of information and communication technology and semiconductor technology, the spread and use of portable terminals is increasing rapidly. In particular, recent portable terminals have reached the stage of mobile convergence that encompasses the range of other terminals instead of staying in their own traditional areas.
대표적으로 이동 통신 단말기는 음성통화나 메시지 송수신과 같은 일반적인 통신 기능 이외에도 TV 시청 기능(예컨대, DMB(Digital Multimedia Broadcasting)나 DVB(Digital Video Broadcasting)와 같은 이동 방송), 음악 재생 기능(예컨대, MP3(MPEG Audio Layer-3), 사진 촬영 기능, 인터넷 접속 기능 등 다양한 기능들이 부가되고 있다. Typically, a mobile terminal has a TV viewing function (e.g., a mobile broadcasting such as Digital Multimedia Broadcasting (DMB) or Digital Video Broadcasting (DVB)), a music playback function (e.g., an MP3) MPEG Audio Layer-3), picture taking function, and internet access function are being added.
더하여, 최근의 이동 통신 단말기는 개방형 OS를 기반으로 다양한 사용자 기능을 사용자가 임의로 설치할 수 있는 스마트 폰의 형태로 발전하면서 다양한 편리성과 오락성을 제공하고 있으며, 오픈 마켓의 활성화로 고객이 원하는 다양한 기능의 어플리케이션을 쉽게 얻을 수 있도록 지원하고, 고성능화로 PC에서 처리하는 많은 기능을 처리할 수 있다.In addition, recent mobile communication terminals have developed various types of user functions based on an open OS, and provide various conveniences and entertainments as users can install them arbitrarily. The application can be easily obtained, and the high performance can handle many functions processed by the PC.
이동 통신 단말기에서 보편적으로 이용하는 서비스로는, 단문 메시지 서비스(SMS), 멀티미디어 메시지 서비스(MMS), 인스턴트 메신저 혹은 모바일 메신저 등의 메신저 서비스와 같이 다른 사용자가 메시지를 교환할 수 있는 메시지 서비스가 있다. 이러한 메시지 서비스는, 통화 서비스에 비하여 비용이 저렴하고 직접 통화보다 간단하게 자신의 의도나 메시지를 상대 사용자에게 전달할 수 있기 때문에 그 이용도가 매우 높으며, 최근에는 별개로 서비스되던, 다양한 방식의 메시지 서비스를 하나로 통합하며, 파일 전송, 컨텐츠 공유 등과 같은 다양한 부가 기능을 이용할 수 있는 통합 메시지 서비스 형태로 개발이 이루어지고 있다.Commonly used services in a mobile communication terminal include a message service that other users can exchange messages with, such as a short message service (SMS), a multimedia message service (MMS), an instant messenger or a messenger service such as a mobile messenger. Such a message service is very expensive because it is inexpensive compared to a call service and can transmit a person's intention or a message to a counterpart user more easily than a direct call, and has recently been provided separately. Is integrated into one, and development is being made in the form of an integrated message service that can use various additional functions such as file transfer and content sharing.
특히, 메신저 서비스는 인터넷 상에서 특정 사용자와 서로 대화(채팅)을 할 수 있는 서비스로서, 문자 및 각종 파일을 실시간으로 송수신할 수 있으며, 그룹 대화도 가능하다. 이러한 메신저 서비스는 웹 스토어 등에서 간단하게 메신저 프로그램을 다운받아 설치하고, 메신저 프로그램을 설치한 사용자끼리 인터넷이 가능하면 언제 어디서든지 실시간 대화가 가능함에 따라 최근 급속도로 보급 및 사용되고 있다. In particular, a messenger service is a service that allows a user to chat (chat) with a specific user on the Internet, and can send and receive text and various files in real time, and can also have a group chat. These messenger services are simply downloaded and installed from a web store, etc., and users who have installed messenger programs are rapidly spreading and being used in recent years as real-time conversations are possible anytime and anywhere.
최근에는 이러한 메신저 서비스에 다양한 기능이 부가되고 있으며, 그 중 모바일인터넷전화(mVoIP: mobile Voice over Internet Protocol)를 통한 음성 통화(또는 무료통화)에 대한 기술 개발이 활발히 진행되고 있다. mVoIP는 와이파이(Wi-fi, 무선 랜), 3G망과 같은 무선 모바일 인터넷을 이용해 모바일 단말 장치로 인터넷전화를 할 수 있는 기술이다. Recently, various functions have been added to these messenger services, and technology development for voice calls (or free calls) through mobile voice over internet protocol (mVoIP) has been actively performed. mVoIP is a technology that allows users to make Internet calls to mobile terminal devices using wireless mobile Internet such as Wi-Fi and wireless LAN.
그러나 현재까지 메신저 서비스를 통한 음성 통화는 통화 품질이 낮은 수준에 있으며, 이로 인해 통화를 할 수 없는 상황이 빈번히 발생하게 되어 원활한 통화를 할 수 없는 문제점이 있다. However, to date, voice calls through messenger services are at a low call quality, and thus, there is a problem in that a smooth call cannot be made because a situation in which a call cannot be made frequently occurs.
본 발명은 종래의 불편함을 해소하기 위하여 제안된 것으로서, 단말 장치에서 메신저를 통해 음성 통화를 수행 시 음성 통화를 할 수 없는 상황이 발생되면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 메신저를 통해 상대방 단말 장치로 전송하고, 메신저 대화 화면에 변환된 텍스트를 포함한 인스턴트 메시지를 출력하기 위한 메신저 서비스 시스템, 그 시스템에서의 음성 통화를 위한 메신저 서비스 방법 및 장치를 제공하고자 한다. The present invention has been proposed to solve the conventional inconvenience, when a situation in which a voice call cannot be made when a voice call is performed through a messenger in a terminal device, converts the voice information input from the user into text and converts the text. A messenger service system for transmitting an instant message including the converted text to a counterpart terminal device through a messenger and outputting an instant message including the converted text on a messenger conversation screen, and a messenger service method and apparatus for a voice call in the system; To provide.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 단말 장치는, 통신망을 통해 서비스 장치와 연동하여 메신저 서비스를 위한 통신을 수행하는 통신부; 상기 메신저 서비스와 관련된 정보를 출력하는 출력부; 및 상기 메신저 서비스가 실행된 상태에서, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 특정 상대방 단말 장치와 음성 통화가 연결된 상태에서, 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 상기 상대방 단말 장치로 전송하도록 제어하거나, 상기 상대방 단말 장치로부터 음성 정보가 수신되면 수신된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 출력부를 통해 상기 메신저 서비스에 출력하도록 제어하는 제어부;를 포함하여 구성될 수 있다. According to an aspect of the present invention, there is provided a terminal device including: a communication unit configured to perform communication for a messenger service in association with a service device through a communication network; An output unit for outputting information related to the messenger service; And when it is determined that a voice call cannot be made while a voice call is connected to a specific counterpart terminal device through a voice call function supported by the messenger service while the messenger service is executed, input from a user. Converts the converted voice information into text and transmits an instant message including the converted text to the counterpart terminal device through the messenger service, or converts the received voice information into text when the voice information is received from the counterpart terminal device. And a controller configured to control to output the instant message including the converted text to the messenger service through the output unit.
이때, 상기 제어부는, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 판단된 시점을 기준으로 일정 범위의 시간 동안 상기 사용자로부터 입력된 음성 정보를 텍스트로 변환하거나, 상기 상대방 단말 장치로부터 수신된 음성 정보를 텍스트로 변환할 수 있다. In this case, when it is determined that the situation where the voice call cannot be made occurs, the controller converts the voice information input from the user into text for a predetermined range of time based on the determined time point, or from the counterpart terminal device. The received voice information can be converted into text.
또한, 상기 제어부는, 상기 음성 통화가 연결된 상태에서, 무선 신호의 송신 강도 또는 주변 소음 정보를 기반으로 통화 품질을 확인하고, 확인된 통화 품질이 일정 수준 이하로 낮아지면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단할 수 있다. The controller may check the call quality based on the transmission strength or ambient noise information of the wireless signal while the voice call is connected, and when the confirmed call quality is lower than a predetermined level, the voice call may be made. It can be determined that no situation has occurred.
또한, 상기 제어부는, 상기 음성 통화가 연결된 상태에서, 통화 출력 음을 감지하고, 상기 통화 출력 음이 기 설정된 레벨 이하이거나 기 설정된 횟수 이상으로 끊김 현상이 발생되면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단할 수 있다. In addition, the controller detects a call output sound while the voice call is connected, and when the call output sound is disconnected by a predetermined level or less than a preset number of times, the voice call cannot be made. It can be determined that this has occurred.
또한, 상기 제어부는, 상기 음성 통화가 연결된 상태에서, 기 설정된 시간 이상으로 음성 정보가 송수신되지 않을 경우, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단할 수 있다. The controller may determine that a situation in which the voice call cannot be made occurs when voice information is not transmitted or received for a predetermined time or more while the voice call is connected.
또한, 상기 제어부는 상기 음성 통화가 연결된 상태에서, 지정된 특정 단어를 포함한 음성 정보가 입력되거나, 지정된 메뉴의 선택 입력이 발생되면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단할 수 있다. The controller may determine that the voice call cannot be made when voice information including a specified specific word is input or when a selection input of a designated menu occurs while the voice call is connected.
또한, 상기 제어부는 상기 음성 통화가 연결된 상태에서, 사용자 메신저 서비스의 프레즌스 정보가 자리비움 상태로 변경된 것으로 확인되면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단할 수 있다. The controller may determine that the voice call cannot be made when the presence information of the user messenger service is changed to the idle state while the voice call is connected.
또한, 상기 제어부는, 상기 상대방 단말 장치로부터 음성 정보를 변환한 텍스트를 포함한 인스턴트 메시지가 수신되면, 상기 음성 통화 메시지를 수신하기 전까지 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 상기 상대방 단말 장치로 전송하도록 제어할 수 있다. In addition, when an instant message including text converted from voice information is received from the counterpart terminal device, the controller converts the voice information input from the user into text until receiving the voice call message, and includes the converted text. The mobile terminal may control to transmit the instant message to the counterpart terminal device.
또한, 상기 제어부는, 상기 상대방 단말 장치로 음성 통화를 요청한 이후 음성 통화가 연결되기 이전에 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 음성 통화 기능을 통해 음성 정보가 송수신되도록 제어할 수 있다. The controller may control the voice information to be transmitted / received through the voice call function when it is determined that a situation in which a voice call is made after the voice call is requested to the counterpart terminal device but before the voice call is connected. Can be.
또한, 상기 제어부는 상기 출력부를 통해 상기 변환된 텍스트를 포함한 인스턴트 메시지를 출력 시 일반 인스턴트 메시지와 구분될 수 있는 지정된 정보를 더 포함하여 출력할 수 있다. In addition, the controller may further include specified information that can be distinguished from a general instant message when outputting the instant message including the converted text through the output unit.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 서비스 장치는, 통신망을 통해 둘 이상의 단말 장치와 연동하여 메신저 서비스를 위한 통신을 수행하는 통신부; 및 상기 단말 장치들 간에 메신저 서비스의 실행을 지원하며, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 상기 단말 장치 간 음성 통화가 연결된 상태에서, 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 수신된 음성 정보 또는 다른 단말 장치로부터 수신된 음성 정보를 텍스트로 변환하고, 변환된 상기 텍스트를 포함한 인스턴트 메시지를 다른 단말 장치로 전송하거나 상기 단말 장치로 전송되도록 제어하는 메신저 서비스 제공부;를 포함하여 구성될 수 있다. According to an aspect of the present invention, there is provided a service apparatus including: a communication unit configured to perform communication for a messenger service by interworking with two or more terminal apparatuses through a communication network; And executing a messenger service between the terminal devices, and a voice call cannot be made by any one terminal device while a voice call is connected between the terminal devices through a voice call function supported by the messenger service. If it is determined to be generated, the voice information received from the terminal device or voice information received from another terminal device is converted into text, and the instant message including the converted text is transmitted to another terminal device or transmitted to the terminal device. It may be configured to include; messenger service providing unit for controlling.
이때, 상기 메신저 서비스 제공부는, 상기 음성 통화를 할 수 없는 상황이 발생된 단말 장치에서, 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 수신된 음성 정보 또는 다른 단말 장치로부터 수신된 음성 정보를 상기 다른 단말 장치로 전송하거나 상기 단말 장치로 전송되도록 제어할 수 있다. In this case, the messenger service provider, if it is determined that a situation in which a voice call can be made in the terminal device where a situation in which the voice call cannot be made has occurred, from the voice information received from the terminal device or another terminal device; The received voice information may be transmitted to the other terminal device or controlled to be transmitted to the terminal device.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 메신저 서비스 시스템은 서비스 장치가 제공하는 메신저 서비스가 실행된 상태에서, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 특정 상대방 단말 장치와 음성 통화가 연결된 상태에서, 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 사용자로부터 입력된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 상기 서비스 장치로 전송하여 상기 상대방 단말 장치로 전달되도록 요청하거나, 상기 상대방 단말 장치로부터 상기 서비스 장치를 통해 음성 정보가 수신되면 수신된 음성 정보를 변환한 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 출력하는 단말 장치; 및 상기 메신저 서비스를 제공하며, 상기 단말 장치로부터 음성 정보가 변환한 텍스트를 포함하는 인스턴트 메시지가 수신되면, 상기 상대방 단말 장치로 전달하고, 상기 상대방 단말 장치로부터 전달되는 음성 정보를 상기 단말 장치로 전송하는 상기 서비스 장치;를 포함하여 구성될 수 있다. The messenger service system according to a preferred embodiment of the present invention for achieving the above object is provided with a specific counterpart terminal device through a voice call function supported by the messenger service while the messenger service provided by the service device is executed. If it is determined that the voice call cannot be made while the voice call is connected, an instant message including text converted from voice information input from the user is transmitted to the service device to be delivered to the counterpart terminal device. A terminal device for requesting or outputting an instant message including text converted from the received voice information when the voice information is received from the counterpart terminal device through the messenger service; And providing the messenger service, and when the instant message including the text converted by the voice information is received from the terminal device, delivers the instant message to the counterpart terminal device, and transmits the voice information transmitted from the counterpart terminal device to the terminal device. It may be configured to include; the service device.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 단말 장치에서의 음성 통화를 위한 메신저 서비스 방법은 메신저 서비스가 실행된 상태에서, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 특정 상대방 단말 장치와 음성 통화를 연결하는 단계; 상기 상대방 단말 장치와 음성 통화가 연결되면, 상기 상대방 단말 장치와 음성 정보를 포함한 음성 통화 메시지를 송수신하며, 음성 통화를 할 수 없는 상황이 발생되는 지 판단하는 단계; 및 상기 음성 통화를 할 수 없는 상황이 발생되면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 상기 상대방 단말 장치로 전송하는 단계;를 포함하여 이뤄질 수 있다. In a messenger service method for a voice call in a terminal device according to an embodiment of the present invention for achieving the above object, a specific counterpart is provided through a voice call function supported by the messenger service while a messenger service is executed. Connecting a voice call with the terminal device; When a voice call is connected to the counterpart terminal device, transmitting and receiving a voice call message including voice information with the counterpart terminal device and determining whether a situation in which a voice call cannot be made occurs; And converting the voice information input from the user into text and transmitting an instant message including the converted text to the counterpart terminal device through the messenger service when a situation in which the voice call cannot be made occurs. Can be.
이때, 상기 사용자로부터 상기 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 출력하는 단계;를 더 포함하여 이뤄질 수 있다. In this case, the method may further include outputting an instant message including the converted text from the user through the messenger service.
또한, 상기 상대방 단말 장치로부터 음성 정보가 수신되면 수신된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 출력하는 단계;를 더 포함하여 이뤄질 수 있다. In addition, when the voice information is received from the counterpart terminal device, converting the received voice information into text and outputting an instant message including the converted text through the messenger service.
또한, 상기 상대방 단말 장치와 음성 통화가 연결되지 않을 경우, 상기 메신저 서비스를 통해 음성 정보 입력에 대한 안내 메시지를 출력하는 단계; 사용자로부터 안내에 따라 음성 정보가 입력되면, 입력된 음성 정보를 텍스트로 변환하는 단계; 및 상기 변환된 텍스트를 포함한 인스턴트 메시지를 상기 상대방 단말 장치로 전송하는 단계;를 더 포함하여 이뤄질 수 있다. The method may further include: when the voice call is not connected to the counterpart terminal device, outputting a guide message for inputting voice information through the messenger service; Converting the input voice information into text when the voice information is input according to a guide from the user; And transmitting the instant message including the converted text to the counterpart terminal device.
또한, 상기 상대방 단말 장치로 전송하는 단계 이후에, 상기 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 음성 통화 기능을 통해 음성 정보가 송수신되도록 제어하는 단계;를 더 포함하여 이뤄질 수 있다. In addition, after the step of transmitting to the counterpart terminal device, if it is determined that a situation in which the voice call can be made, controlling the voice information to be transmitted and received through the voice call function; may be further included. .
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 서비스 장치에서의 음성 통화를 위한 메신저 서비스 방법은 둘 이상의 단말 장치들 간에 메신저 서비스를 통해 음성 통화 연결을 수행하는 단계; 상기 단말 장치 간 음성 통화가 연결된 상태에서, 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생되는 지 판단하는 단계; 및 상기 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 전송된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 다른 단말 장치로 전송하는 단계;를 포함하여 이뤄질 수 있다. According to a preferred embodiment of the present invention, a messenger service method for a voice call in a service device includes: performing a voice call connection through a messenger service between two or more terminal devices; Determining whether a situation occurs in which one of the terminal devices cannot make a voice call while the voice call is connected between the terminal devices; And when it is determined that a situation in which one of the terminal devices cannot make a voice call occurs, converts the voice information transmitted from the terminal device into text and converts an instant message including the converted text into another terminal through the messenger service. Sending to the device; can be made.
이때, 상기 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 상기 다른 단말 장치로부터 전송된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 단말 장치로 전송하는 단계;를 더 포함하여 이뤄질 수 있다. In this case, when it is determined that a situation in which one of the terminal devices cannot make a voice call occurs, the voice information transmitted from the other terminal device is converted into text and an instant message including the converted text is transmitted to the terminal device. It may be made to include more.
또한, 상기 다른 단말 장치로 전송하는 단계 이후에, 상기 단말 장치에서 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 전송된 음성 정보를 포함한 인스턴트 메시지를 상기 다른 단말 장치로 전송하거나 상기 다른 단말 장치로부터 전송된 음성 정보를 포함한 인스턴트 메시지를 상기 단말 장치로 전송하는 단계;를 더 포함하여 이뤄질 수 있다. In addition, after the step of transmitting to the other terminal device, if it is determined that a situation in which the terminal device can make a voice call occurs, transmits an instant message including voice information transmitted from the terminal device to the other terminal device. Or transmitting the instant message including the voice information transmitted from the other terminal device to the terminal device.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 컴퓨터에서 판독 가능한 기록 매체는 음성 통화를 위한 메신저 서비스 방법을 실행하기 위한 프로그램이 기록되어 있다.In the computer-readable recording medium of the present invention for achieving the above object, a program for executing a messenger service method for a voice call is recorded.
본 발명은 메신저 서비스를 실행하여 메신저를 통해 음성 통화를 수행 시 통화를 할 수 없는 상황이 발생되더라도 통화를 위해 사용자로부터 입력된 음성 정보를 텍스트로 변환하여 메신저를 통해 변환된 텍스트를 포함한 인스턴트 메시지를 상대방에게 전송할 수 있다. 이로 인해 본 발명은 일시적인 통화 끊김 현상이나, 통화 끊김으로 인해 통화가 종료되어 대화가 중단되더라도 중단된 통화 내용을 명확히 인지할 수 있으며, 원활한 대화를 수행할 수 있는 효과가 있다. The present invention converts the voice information input from the user to a text to make an instant message including the text converted through the messenger even if a situation in which a call cannot be made when the voice call is executed through the messenger is executed. You can send it to the other party. For this reason, the present invention can clearly recognize the contents of the interrupted call even when the call is terminated due to the temporary disconnection of the call or the call is interrupted, and thus the smooth conversation can be performed.
도 1은 본 발명의 실시예들에 따른 메신저 서비스 시스템의 구성을 도시한 도면이다. 1 is a diagram illustrating a configuration of a messenger service system according to embodiments of the present invention.
도 2는 본 발명의 실시예들에 따른 메신저 서비스 시스템에서의 단말 장치의 구성을 도시한 도면이다. 2 is a diagram illustrating a configuration of a terminal device in a messenger service system according to embodiments of the present invention.
도 3은 본 발명의 실시예들에 따른 메신저 서비스 시스템에서의 서비스 장치의 구성을 도시한 도면이다. 3 is a diagram illustrating a configuration of a service apparatus in a messenger service system according to embodiments of the present invention.
도 4는 본 발명의 제1 실시예에 따른 단말 장치에서 음성 통화 수행 시 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다. 4 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when performing a voice call in a terminal device according to a first embodiment of the present invention.
도 5는 본 발명의 제1 실시예에 따른 단말 장치에서 음성 통화 연결에 실패한 경우 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다. FIG. 5 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when a voice call connection fails in the terminal device according to the first embodiment of the present invention.
도 6은 본 발명의 제1 실시예에 따른 단말 장치에서 음성 통화 시 텍스트 변환 요청에 따라 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다. FIG. 6 is a diagram illustrating a messenger service method for a voice call for converting voice information into text according to a text conversion request in a voice call in the terminal device according to the first embodiment of the present invention.
도 7은 본 발명의 제2 실시예에 따른 서비스 장치에서의 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다. 7 is a diagram illustrating a messenger service method for a voice call in a service apparatus according to a second embodiment of the present invention.
도 8은 본 발명의 제3 실시예에 따른 단말 장치에서 그룹 음성 통화 시 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다. 8 is a diagram illustrating a messenger service method for a voice call for converting voice information into text during a group voice call in a terminal device according to a third embodiment of the present invention.
도 9는 본 발명의 실시예들에 따른 메신저 서비스에서의 음성 통화를 위한 메인 화면 및 통화 화면의 일 예를 도시한 도면이다. 9 is a diagram illustrating an example of a main screen and a call screen for a voice call in a messenger service according to embodiments of the present invention.
도 10은 본 발명의 제1 실시예에 따라 음성 통화를 할 수 없는 상황이 발생한 경우의 대화 화면의 일 예를 도시한 도면이다. 10 is a diagram illustrating an example of a conversation screen when a situation in which a voice call cannot be made according to the first embodiment of the present invention occurs.
도 11은 본 발명의 제1 실시예에 따라 음성 통화 연결에 실패한 경우의 통화 화면 및 대화 화면의 일 예를 도시한 도면이다.11 is a diagram illustrating an example of a call screen and a conversation screen when a voice call connection fails according to the first embodiment of the present invention.
도 12는 본 발명의 제1 실시예에 따라 텍스 메뉴가 선택된 경우의 통화 화면 및 대화 화면의 일 예를 도시한 도면이다. 12 is a diagram illustrating an example of a call screen and a conversation screen when a text menu is selected according to the first embodiment of the present invention.
도 13은 본 발명의 제3 실시예에 따라 그룹 음성 통화 시 자리 비움 메뉴가 선택된 경우의 통화 화면 및 대화 화면의 일 예를 도시한 도면이다.FIG. 13 is a diagram illustrating an example of a call screen and a conversation screen when a away menu is selected during a group voice call according to a third embodiment of the present invention.
이하, 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in the following description and the accompanying drawings, detailed descriptions of well-known functions or configurations that may obscure the subject matter of the present invention will be omitted. In addition, it should be noted that like elements are denoted by the same reference numerals as much as possible throughout the drawings.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as being limited to ordinary or dictionary meanings, and the inventors are appropriate as concepts of terms for explaining their own invention in the best way. It should be interpreted as meanings and concepts in accordance with the technical spirit of the present invention based on the principle that it can be defined. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, and various alternatives may be substituted at the time of the present application. It should be understood that there may be equivalents and variations.
설명에 앞서, 본 발명의 실시예들에 따른 메신저 서비스 시스템에서 음성 통화를 위한 메신저 서비스 설명을 위해 언급되는 정보 및 메시지들 중 음성 정보는 모바일인터넷전화(mVoIP: mobile Voice over Internet Protocol)를 통한 음성 통화(또는 무료 통화)를 위해 사용자로부터 입력된 음성 신호를 디지털 신호로 변환한 데이터 패킷(data packet)을 포함하는 정보이다. Prior to the description, the voice information among the information and messages mentioned for explaining the messenger service for a voice call in the messenger service system according to the embodiments of the present invention is voiced through a mobile Voice over Internet Protocol (mVoIP). Information including a data packet obtained by converting a voice signal input from a user for a call (or a free call) into a digital signal.
또한, 언급되는 인스턴트 메시지(Instant Message)는 메신저 서비스 시 인터넷을 통해 상대방과 대화를 위해 실시간으로 송수신되는 메시지로서, 대화 내용을 텍스트로 전송하는 메시지를 의미한다. 여기서, 메신저를 통해 송수신되는 인스턴트 메시지 중 사진, 동영상, 음성 등을 송수신하는 메시지를 멀티미디어 메시지라 칭하기로 한다. 아울러, 언급되는 음성 통화 메시지는 음성 통화 시 통화 내용 즉, 입력되는 음성 정보를 송수신하기 위한 메시지로서, 메신저 서비스 시 모바일인터넷전화를 통해 단말 장치간에 송수신되는 메시지를 의미한다. In addition, the instant message referred to as “instant message” is a message that is transmitted and received in real time for a conversation with a counterpart via the Internet in a messenger service, and refers to a message that transmits a conversation content as a text. Herein, a message for transmitting / receiving a picture, video, voice, etc. among instant messages transmitted and received through a messenger will be referred to as a multimedia message. In addition, the voice call message referred to herein refers to a message for transmitting and receiving a call content, that is, input voice information during a voice call, and means a message transmitted and received between terminal devices through a mobile Internet phone during a messenger service.
또한, 설명에 앞서, 본 발명에서 음성 통화를 위한 메신저 서비스 장치 및 방법은 여러 가지 실시예에 따라 설명될 수 있다. 그 중 본 발명의 제1 실시예에서는 음성 통화 시 통화를 할 수 없는 상황이 발생하면, 단말 장치에서 입력된 음성 정보를 텍스트로 변환하기 위한 메신저 서비스에 대해 설명하기로 한다. 그리고 본 발명의 제2 실시예에서는 메신저 서비스를 제공하는 서비스 장치가 단말 장치 간 음성 통화 시 통화를 할 수 없는 상황이 발생된 것으로 감지한 경우, 단말 장치가 전송한 음성 정보를 텍스트로 변환하여 각 단말 장치로 제공할 수 있는 메신저 서비스에 대해 설명하기로 한다. 마지막으로, 본 발명의 제3 실시예에서는 그룹 음성 통화 시 음성 통화를 위한 메신저 서비스에 대해 설명하기로 한다. In addition, prior to the description, the instant messaging device and method for a voice call in the present invention may be described according to various embodiments. In the first exemplary embodiment of the present invention, when a call cannot be made during a voice call, a messenger service for converting voice information input from a terminal device into text will be described. In the second embodiment of the present invention, when a service device providing a messenger service detects that a call cannot be made during a voice call between terminal devices, the voice information transmitted by the terminal device is converted into text. A messenger service that can be provided to a terminal device will be described. Finally, in the third embodiment of the present invention, a description will be given of a messenger service for voice call during group voice call.
우선, 본 발명의 실시예들에 따른 메신저 서비스 시스템에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다. First, a messenger service system according to embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예들에 따른 메신저 서비스 시스템의 구성을 도시한 도면이다. 1 is a diagram illustrating a configuration of a messenger service system according to embodiments of the present invention.
도 1을 참조하면, 메신저 서비스 시스템은 통신망(10)을 통해 연결되는 하나 이상의 단말 장치(100) 및 서비스 장치(200)를 포함하여 구성할 수 있다. Referring to FIG. 1, a messenger service system may include one or more terminal devices 100 and a service device 200 connected through a communication network 10.
단말 장치(100)는 사용자의 키 조작에 따라 통신망(10)을 경유하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 스마트 TV 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. The terminal device 100 refers to a terminal capable of transmitting and receiving various data via the communication network 10 according to a user's key manipulation, and may be a tablet PC, a laptop, or a personal computer. ), A smart phone, a personal digital assistant (PDA), a smart TV, and a mobile communication terminal (Mobile Communication Terminal).
또한, 단말 장치(100)는 통신망(10)을 이용하여 음성 또는 데이터 통신을 수행하는 단말기이며, 통신망(10)을 경유하여 서비스 장치(200)와 통신하기 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 단말 장치(100)는 서비스 장치(200)와 서버-클라이언트 통신이 가능하고, 메신저 서비스를 실행할 수 있다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등의 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다. 한편, 단말 장치(100)는 터치 스크린을 구비한 형태로 제작되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. In addition, the terminal device 100 is a terminal for performing voice or data communication using the communication network 10, and stores a browser, a program, and a protocol for communicating with the service device 200 via the communication network 10. It refers to a terminal having a microprocessor for operating and controlling various programs. That is, the terminal device 100 can perform server-client communication with the service device 200, and any terminal can be used as long as it can execute a messenger service, and all communication computing devices such as a notebook computer, a mobile communication terminal, and a PDA can be used. It is a broad concept to include. On the other hand, the terminal device 100 is preferably manufactured in the form having a touch screen, but is not necessarily limited thereto.
특히, 본 발명의 제1 실시예에 따른 단말 장치(100)는 메신저 서비스를 실행하고, 메신저 서비스를 통해 하나 이상의 상대방 단말 장치(100)와 음성 통화를 수행 시 음성 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 메신저를 통해 상대방 단말 장치(100)로 전송할 수 있다. 아울러, 단말 장치(100)는 상대방 단말 장치(100)로부터 수신된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 수신하면, 메신저 대화 화면에 수신된 인스턴트 메시지를 출력할 수 있다. In particular, when the terminal device 100 according to the first embodiment of the present invention executes a messenger service and performs a voice call with at least one counterpart terminal device 100 through a messenger service, a situation in which a voice call cannot be made Then, the voice information input from the user may be converted into text, and an instant message including the converted text may be transmitted to the counterpart terminal device 100 through a messenger. In addition, when the terminal device 100 receives an instant message including text converted from voice information received from the counterpart terminal device 100, the terminal device 100 may output the received instant message on the messenger conversation screen.
또한, 본 발명의 제2 실시예에 따른 단말 장치(100)는 메신저를 통해 음성 통화를 수행 시 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 서비스 장치(200)로 전송하고, 서비스 장치(200)로부터 전송한 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 수신하여 메신저 대화 화면에 출력할 수 있다. 이때, 서비스 장치(200)는 변환된 텍스트를 포함한 인스턴트 메시지를 상대방 단말 장치(100)로 전송할 수 있다. In addition, the terminal device 100 according to the second embodiment of the present invention transmits the voice information input from the user to the service device 200 when a situation in which a call cannot be made when a voice call is made through a messenger occurs. In addition, an instant message including text converted from voice information transmitted from the service apparatus 200 may be received and output on the messenger conversation screen. In this case, the service device 200 may transmit an instant message including the converted text to the counterpart terminal device 100.
그리고 본 발명의 제3 실시예에 따른 단말 장치(100)는 메신저를 통해 둘 이상의 상대방 단말 장치(100)와 그룹 음성 통화를 수행할 수 있으며, 이러한 그룹 음성 통화 시 통화 화면에 표시된 자리 비움 메뉴에 대한 선택 신호를 감지하면, 서비스 장치(100)로 자리비움 상태를 알리는 메시지를 전송할 수 있다. 이에 따라 단말 장치(100)는 상대방 단말 장치(100)들 간에 송수신된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 서비스 장치(200)로부터 수신할 수 있다. 또한, 본 발명의 제3 실시예에 따른 단말 장치(100)는 그룹 음성 통화 시 음성 통화를 할 수 없는 상황이 발생하는 경우, 본 발명의 제1 실시예와 같이, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 메신저를 통해 상대방 단말 장치들(100)로 전송할 수 있다. In addition, the terminal device 100 according to the third embodiment of the present invention can perform a group voice call with two or more counterpart terminal devices 100 through a messenger. When the selection signal is detected, the service device 100 may transmit a message informing that the user is away. Accordingly, the terminal device 100 may receive an instant message including the text obtained by converting voice information transmitted and received between the counterpart terminal devices 100 from the service device 200. In addition, when a situation in which a voice call cannot be made during a group voice call occurs, the terminal device 100 according to the third embodiment of the present invention uses the voice information input from the user as in the first embodiment of the present invention. The text message may be converted into text and an instant message including the converted text may be transmitted to the counterpart terminal devices 100 through a messenger.
서비스 장치(200)는 하나 이상의 단말 장치들(100)과 통신망(10)을 통해 연동하여 메신저 서비스에 관련된 프로그램 또는 어플리케이션을 제공할 수 있으며, 단말 장치들(100)에서 메신저 서비스가 실행되어, 송수신되는 인스턴트 메시지 및 음성 통화 메시지 등 메신저 서비스에 관련된 메시지들을 송수신할 수 있다. 또한, 서비스 장치(200)는 단말 장치들(100) 간에 메신저를 통해 음성 통화를 수행 시 통화를 할 수 없는 상황이 발생하면, 단말 장치들(100)로부터 수신된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 단말 장치들(100)로 각각 전송할 수 있다. The service device 200 may provide a program or an application related to a messenger service by interworking with one or more terminal devices 100 through the communication network 10, and the messenger service is executed in the terminal devices 100 to transmit and receive. Messages related to a messenger service, such as instant messages and voice call messages, may be transmitted and received. In addition, the service device 200 converts the voice information received from the terminal devices 100 into text when a situation in which a call cannot be made when a voice call is performed through the messenger between the terminal devices 100 occurs. An instant message including the converted text may be transmitted to the terminal devices 100, respectively.
이와 같은 단말 장치(100) 및 서비스 장치(200)는 통신망(10)을 통해 연동되며, 이러한 통신망(10)은 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 인터넷 프로토콜로 데이터를 송수신할 수 있는 망을 말한다. 또한, 통신망(10)은 서비스 장치(200)와 결합되어 하드웨어, 소프트웨어 등의 컴퓨팅 자원을 저장한다. 이러한, 통신망(10)은 LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크, 인터넷(Internet)과 같은 개방형 네트워크뿐만 아니라, CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), LTE(Long Term Evolution), EPC(Evolved Packet Core) 등의 네트워크와 향후 구현될 차세대 네트워크 및 컴퓨팅 네트워크를 통칭하는 개념이다. The terminal device 100 and the service device 200 are interworked through the communication network 10. The communication network 10 uses an internet protocol using various wired / wireless communication technologies such as an internet network, an intranet network, a mobile communication network, and a satellite communication network. A network that can send and receive data. In addition, the communication network 10 is combined with the service device 200 to store computing resources such as hardware and software. Such a communication network 10 is not only an open network such as a local area network (LAN), a wide area network (WAN), an open network such as the Internet, but also code division multiple access (CDMA) and wideband code division (WCDMA). It is a concept that collectively refers to networks such as Multiple Access (GSM), Global System for Mobile Communications (GSM), Long Term Evolution (LTE), and Evolved Packet Core (EPC), as well as next-generation networks and computing networks to be implemented.
이와 같이 구성된 메신저 서비스 시스템에서 본 발명의 실시예들에 따른 단말 장치의 구성을 첨부된 도면을 참조하여 구체적으로 살펴보면 다음과 같다.The configuration of a terminal device according to embodiments of the present invention in the messenger service system configured as described above will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 실시예들에 따른 메신저 서비스 시스템에서의 단말 장치의 구성을 도시한 도면이다.2 is a diagram illustrating a configuration of a terminal device in a messenger service system according to embodiments of the present invention.
도 2를 참조하면, 단말 장치(100)는 제어부(110), 입력부(120), 통신부(130), 저장부(140) 및 출력부(150)를 포함하여 구성할 수 있다. Referring to FIG. 2, the terminal device 100 may include a control unit 110, an input unit 120, a communication unit 130, a storage unit 140, and an output unit 150.
본 발명의 실시예들에 따른 제어부(110)는 단말 장치(100)의 전반적인 제어를 수행하며, 특히 메신저 서비스 및 메신저 서비스에서의 음성 통화를 위해 관련된 동작을 제어할 수 있다. 이를 위해, 제어부(110)는 메신저 서비스를 위한 메신저 서비스 실행 모듈(111)을 포함하여 구성될 수 있다. The controller 110 according to the embodiments of the present invention performs overall control of the terminal device 100, and in particular, may control an operation related to a voice call in a messenger service and a messenger service. To this end, the controller 110 may be configured to include a messenger service execution module 111 for a messenger service.
본 발명의 실시예들에 따른 메신저 서비스 실행 모듈(111)은 통신부(120)와 기능적으로 연결되어, 서비스 장치(200)로부터 수신된 메신저 프로그램 또는 어플리케이션을 설치한 후, 사용자의 요청에 따라 메신저 서비스를 실행할 수 있다. The messenger service execution module 111 according to the embodiments of the present invention is functionally connected to the communication unit 120 to install a messenger program or application received from the service device 200, and then, according to a user's request, a messenger service. You can run
또한, 본 발명의 실시예들에 따른 메신저 서비스 실행 모듈(111)은 첨부된 도 9 (a)에 도시된 바와 같은 메신저 서비스의 일 실행 화면을 통해 “대화하기” 또는 “무료통화”를 선택할 수 있는 메뉴를 제공하고, 이 중 어느 하나의 메뉴의 선택 신호를 감지하면, 대화 화면 또는 통화 화면으로 전환하여 메신저를 통해 대화 또는 음성 통화를 수행할 수 있다. 여기서, 대화란 일반적인 텍스트 기반의 메신저 서비스를 의미하며, 통화란 메신저 서비스를 통해 음성 통화를 수행하는 것을 의미한다.In addition, the messenger service execution module 111 according to embodiments of the present invention may select “talk” or “free call” through one execution screen of the messenger service as shown in FIG. 9 (a). If a menu is provided and a selection signal of any one of the menus is sensed, the user can switch to a chat screen or a call screen and perform a chat or a voice call through a messenger. Here, the conversation refers to a general text-based messenger service, and the call refers to performing a voice call through the messenger service.
아울러, 본 발명의 실시예들에 따른 메신저 서비스 실행 모듈(111)은 메신저 서비스를 통해 음성 통화가 연결된 상태에서, 음성 통화를 할 수 없는 상황이 발생되는 지 여부를 모니터링하여, 음성 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 텍스트로 직접 변환하거나, 서비스 장치(200)로 전송하여 서비스 장치에서 변환된 텍스트를 인스턴트 메시지를 통해 수신하여 메신저 대화 화면에 텍스트로 대화 내용을 표시할 수 있다. In addition, the messenger service execution module 111 according to the embodiments of the present invention may perform a voice call by monitoring whether a situation in which a voice call cannot be made occurs while a voice call is connected through a messenger service. If there is no situation, the voice information input from the user is directly converted into text, or transmitted to the service device 200 to receive the converted text from the service device through an instant message and display the chat contents as text on the messenger chat screen. can do.
본 발명의 제1 실시예에 따른 메신저 서비스 실행 모듈(111)은 메신저를 통해 음성 통화를 수행 시 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 생성하여 생성된 인스턴트 메시지를 메신저를 통해 상대방 단말 장치(100)로 전송하도록 제어할 수 있다. 이때, 메신저 서비스 실행 모듈(111)은 첨부된 도 10에 도시된 바와 같이, 변환된 텍스트를 포함한 인스턴트 메시지를 출력부(150)의 대화 화면에 출력하고, 상대방 단말 장치(100)로부터 수신된 인스턴트 메시지를 대화 화면에 출력하도록 제어할 수 있다. 여기서 수신된 인스턴트 메시지는 상대방 단말 장치(100)에서 입력된 음성 정보를 변환한 텍스트 즉, 통화 내용을 포함한 인스턴트 메시지 또는 메신저 대화를 위해 텍스트로 입력된 대화 내용을 포함한 인스턴트 메시지일 수 있다. The messenger service execution module 111 according to the first embodiment of the present invention converts the voice information input from the user into text and converts the voice information input from the user when a situation in which a call cannot be made when a voice call is made through the messenger occurs. It is possible to control to generate the instant message including the instant message to the counterpart terminal device 100 via a messenger. In this case, as illustrated in FIG. 10, the messenger service execution module 111 outputs an instant message including the converted text to a chat screen of the output unit 150 and receives the instant message received from the counterpart terminal device 100. You can control the output of messages to the chat screen. The received instant message may be text converted from voice information input from the counterpart terminal device 100, that is, an instant message including a call content or an instant message including a conversation content input as text for a messenger conversation.
이러한 본 발명의 제1 실시예에 따른 메신저 서비스 실행 모듈(111)은 다양한 관점에서 음성 통화를 할 수 없는 상황이 발생되는 지 여부를 판단할 수 있다. 여기서, 음성 통화를 할 수 없는 상황이란 음성 통화가 연결된 상태에서, 무선 신호의 송신 강도 또는 주변 소음 정보를 기반으로 통화 품질을 확인하고 확인된 통화 품질이 일정 수준 이하로 낮아진 경우, 통화 출력음을 감지하고 통화 출력음이 기 설정된 레벨 이하이거나 기 설정된 횟수 이상으로 끊김 현상이 발생되는 경우, 기 설정된 시간 이상으로 음성 정보가 송수신되지 않을 경우, 사용자로부터 지정된 특정 단어를 포함한 음성 정보가 입력되거나, 지정된 메뉴의 선택 입력이 발생된 경우, 메신저 서비스의 프레즌스 정보가 자리비움 상태로 변경된 경우를 음성 통화를 할 수 없는 상황으로 판단할 수 있다.The messenger service execution module 111 according to the first embodiment of the present invention may determine whether a situation in which a voice call cannot be made from various viewpoints occurs. Here, when the voice call is not possible, when the voice call is connected, the call quality is checked based on the transmission strength or ambient noise information of the wireless signal, and when the confirmed call quality is lowered below a certain level, the call output sound When the voice signal is detected and the call output sound is below the preset level or the disconnection occurs more than the preset number of times, when the voice information is not transmitted or received for more than the preset time, the voice information including the specific word designated by the user is input or When the selection input of the menu is generated, it may be determined that the voice call cannot be made when the presence information of the messenger service is changed to the vacant state.
구체적으로, 메신저 서비스 실행 모듈(111)은 음성 통화 시 무선 신호의 송신 강도 또는 주변 소음 정보를 기반으로 통화 품질을 확인하고, 확인된 통화 품질이 일정 수준 이하로 낮아지면, 입력된 음성 정보를 텍스트로 변환할 수도 있다. 이때, 메신저 서비스 실행 모듈(111)은 확인된 통화 품질에 대한 정보를 서비스 장치(200)로 전송하고, 수신되지 않은 상대방의 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 서비스 장치(200)로부터 수신하고, 수신된 인스턴트 메시지를 메신저 대화 화면에 출력하도록 제어할 수도 있다. Specifically, the messenger service execution module 111 checks the call quality based on the transmission strength or ambient noise information of the wireless signal during the voice call, and if the confirmed call quality is lowered to a predetermined level or less, the input voice information is texted. You can also convert to. At this time, the messenger service execution module 111 transmits the information on the confirmed call quality to the service device 200, and sends an instant message including text converted from voice information of an unreceived party from the service device 200. It may be controlled to receive and output the received instant message on the messenger conversation screen.
아울러, 메신저 서비스 실행 모듈(111)은 음성 통화 시 통화 출력 음을 감지하고, 통화 출력 음이 기 설정된 레벨(음압감도(dB)) 이하이거나 기 설정된 횟수 이상으로 끊김 현상이 발생되면, 송수신되는 음성 정보를 텍스트로 변환할 수도 있다. In addition, the messenger service execution module 111 detects a call output sound during a voice call, and when the call output sound is cut off at a predetermined level (sound pressure sensitivity (dB)) or a predetermined number of times or more, a voice transmitted and received You can also convert information to text.
또한, 메신저 서비스 실행 모듈(111)은 상대방 단말 장치(100)로부터 음성 정보를 변환한 텍스트를 포함한 인스턴트 메시지를 수신하면, 상대방 단말 장치(100)로부터 음성 통화 메시지를 수신하기 전까지 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 상대방 단말 장치(100)로 전송하도록 제어할 수 있다. 그리고 메신저 서비스 실행 모듈(111)은 호 접속이 연결된 상태로 기 설정된 시간 이상으로 음성 정보가 송수신되지 않은 경우, 마지막으로 송수신된 음성 정보 이후 입력된 음성 정보를 텍스트로 변환할 수도 있다. In addition, when the messenger service execution module 111 receives an instant message including text converted from voice information from the counterpart terminal device 100, the voice input from the user is received until the voice call message is received from the counterpart terminal device 100. The information may be converted into text, and the instant message including the converted text may be transmitted to the counterpart terminal device 100. The messenger service execution module 111 may convert the voice information input after the last transmitted / received voice information into text when the voice information has not been transmitted or received for a predetermined time or more with the call connection connected.
아울러, 메신저 서비스 실행 모듈(111)은 음성 통화 시 사용자로부터 기 설정된 특정 단어를 포함한 음성 정보를 입력 받으면, 입력된 음성 정보를 전송하면서 입력된 음성 정보를 텍스트로 변환할 수도 있다. In addition, the messenger service execution module 111 may convert the input voice information into text while transmitting the input voice information when the voice information including the predetermined specific word is input from the user during the voice call.
또한, 본 발명의 제1 실시예에 따른 메신저 서비스 실행 모듈(111)은 메신저를 통해 음성 통화를 수행 시 사용자로부터 텍스트 변환 요청을 받으면, 텍스트 모드로 전환한 후 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저를 통해 상대방 단말 장치(100)로 전송하도록 제어할 수 있다. 이때, 메신저 서비스 실행 모듈(111)은 통화 화면에 입력된 음성 정보를 텍스트로 변환함을 알리는 안내 메시지를 출력하도록 제어할 수 있다. 그리고 메신저 서비스 실행 모듈(111)은 텍스트 모드 상태에서 특정 입력 신호가 감지되면, 통화 모드로 전환한 후 입력된 음성 정보를 포함한 음성 통화 메시지를 상대방 단말 장치(100)로 전송할 수 있다. In addition, the messenger service execution module 111 according to the first embodiment of the present invention receives a text conversion request from the user when performing a voice call through a messenger, converts the voice information input from the user into text after switching to the text mode. And convert the instant message including the converted text to the counterpart terminal device 100 through the messenger. In this case, the messenger service execution module 111 may control to output a guide message informing that the voice information input on the call screen is converted into text. When a specific input signal is detected in the text mode state, the messenger service execution module 111 may switch to the call mode and transmit a voice call message including the input voice information to the counterpart terminal device 100.
한편, 본 발명의 제2 실시예에 따른 제어부(110)의 메신저 서비스 실행 모듈(111)은 통신부(120)와 기능적으로 연결되어, 메신저를 통해 음성 통화 시 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 서비스 장치(200)로 전송하도록 제어할 수 있다. 이에 따라 서비스 장치(200)에서 수신된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 발신자 및 착신자 단말 장치(100)로 각각 전송할 수 있다. On the other hand, the messenger service execution module 111 of the control unit 110 according to the second embodiment of the present invention is functionally connected with the communication unit 120, when a situation in which a voice call cannot be made through a messenger, The voice information input from the user may be controlled to be transmitted to the service device 200. Accordingly, the voice information received by the service device 200 may be converted into text, and an instant message including the converted text may be transmitted to the caller and the called party terminal device 100, respectively.
또한, 메신저 서비스 실행 모듈(111)은 서비스 장치(200)로부터 발신자 및 착신자로부터 입력된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 수신하고, 수신된 인스턴트 메시지를 메신저 대화 화면에 출력할 수 있도록 제어할 수 있다. In addition, the messenger service execution module 111 may receive an instant message including text converted from voice information input from a caller and a receiver from the service device 200, and output the received instant message on a messenger conversation screen. Can be controlled.
한편, 본 발명의 제3 실시예에 따른 제어부(110)의 메신저 서비스 실행 모듈(111)은 통신부(120)와 기능적으로 연결되어, 메신저 서비스를 실행하고, 메신저를 통해 둘 이상의 상대방 단말 장치(100)와 그룹 음성 통화를 수행할 수 있다. 이러한 경우, 메신저 서비스 실행 모듈(111)은 첨부된 도 13(a)에 도시된 바와 같이, 그룹 음성 통화 시 사용자가 통화 화면에 표시된 자리 비움 메뉴를 선택함에 따라 이에 대한 선택 신호를 감지하면, 서비스 장치(200)로 자리비움 상태를 알리는 메시지를 전송할 수 있다. 이에 따라 메신저 서비스 실행 모듈(111)은 상대방 단말 장치들(100) 간에 송수신된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 서비스 장치(200)로부터 수신하도록 제어할 수 있다. 그리고 메신저 서비스 실행 모듈(111)은 첨부된 도 13(b)에 도시된 바와 같이, 메신저 대화 화면에 변환된 텍스트 즉, 상대방 단말 장치들(100)간에 대화 내용을 포함한 인스턴트 메시지를 출력하도록 제어할 수 있다. Meanwhile, the messenger service execution module 111 of the control unit 110 according to the third embodiment of the present invention is functionally connected to the communication unit 120 to execute a messenger service, and performs two or more counterpart terminal devices 100 through a messenger. And group voice calls. In this case, as shown in FIG. 13A, the messenger service execution module 111 detects a selection signal for the group voice call as the user selects the away menu displayed on the call screen. The device 200 may transmit a message informing that the user is away. Accordingly, the messenger service execution module 111 may control to receive an instant message including the text obtained by converting voice information transmitted and received between the counterpart terminal devices 100 from the service device 200. In addition, as illustrated in FIG. 13B, the messenger service execution module 111 controls to output the converted text on the messenger conversation screen, that is, an instant message including the conversation contents between the counterpart terminal devices 100. Can be.
또한, 본 발명의 제3 실시예에 따른 제어부(110)의 메신저 서비스 실행 모듈(111)은 특정 입력 신호에 따라 자리비움 상태가 해제되면, 자리비움 해제 상태를 알리는 메시지를 서비스 장치(200)로 전송하고, 그룹 음성 통화에 따른 음성 정보를 포함한 음성 통화 메시지를 송수신할 수 있도록 제어할 수 있다. 이때, 메신저 서비스 실행 모듈(111)은 첨부된 도 13 (b)에 도시된 바와 같이, 자리비움 해제를 알리는 메시지를 메신저 대화 화면에 출력하도록 제어할 수 있다. In addition, the messenger service execution module 111 of the control unit 110 according to the third embodiment of the present invention, when the vacant state is released according to a specific input signal, sends a message indicating the vacant release state to the service device 200. And transmit and receive a voice call message including voice information according to a group voice call. In this case, as illustrated in FIG. 13B, the messenger service execution module 111 may control the messenger service execution module to output a message informing about the release of the vacant space on the messenger conversation screen.
이와 같은 본 발명의 제3실시예에서도 제1 실시예와 마찬가지로 통화를 할 수 없는 상황이 발생하면, 메신저 서비스 실행 모듈(111)은 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 메신저를 통해 상대방 단말 장치들(100)로 전송하도록 제어할 수 있다. In the third embodiment of the present invention as described above, when a situation in which a call cannot be made occurs, the messenger service execution module 111 converts the voice information input from the user into text and converts the converted text into text. The instant message may be controlled to be transmitted to the counterpart terminal devices 100 through a messenger.
또한, 메신저 서비스 실행 모듈(111)은 그룹 음성 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 서비스 장치(200)로 전송하고, 서비스 장치(200)로부터 입력된 음성 정보를 변환한 텍스트를 포함한 인스턴트 메시지를 수신하고, 상대방 단말 장치(100)로부터 입력된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 수신하여 메신저 대화 화면에 출력하도록 제어할 수 있다. In addition, when a situation in which the group voice call is not possible, the messenger service execution module 111 transmits the voice information input from the user to the service device 200 and converts the voice information input from the service device 200. An instant message including one text may be received, and an instant message including text converted from voice information input from the counterpart terminal device 100 may be received and output on the messenger conversation screen.
아울러, 메신저 서비스 실행 모듈(111)은 그룹 음성 통화를 할 수 없는 상황이 발생하면, 상대방 단말 장치들(100) 간에 송수신된 음성 정보를 포함하는 멀티미디어 메시지를 서비스 장치(200)로부터 메신저를 통해 수신할 수도 있다. 즉, 상대방 단말 장치들(100) 간에 송수신된 음성 정보를 텍스트로 변환하지 않고 일정 시간 동안의 대화 내용 또는 실시간의 대화 내용에 대한 음성 정보를 그대로 멀티미디어 메시지에 포함하여 수신하여 메신저 대화 화면에 출력하도록 제어할 수 있다. 이는 음성 정보 용량이 많은 경우에 사용자가 출력된 멀티미디어 메시지를 선택하여 한번에 상대방 간에 대화 내용을 음성으로 확인하고자 하는 경우에 적용할 수 있다. 이에 따라 사용자는 자리비움 상태에서도 상대방 간에 대화 내용을 확인할 수 있다. 이때, 메신저 서비스 실행 모듈(111)은 일정 대화 내용 즉, 전체 대화 내용에서 일부분의 음성 패킷 데이터를 텍스트로 변환하여 메신저 대화 화면에 표시할 수 있다. 또한, 음성 패킷 데이터를 확인하여 특정 단어가 포함된 패킷 데이터만을 텍스트로 변환하여 메신저 대화 화면에 표시할 수도 있다. In addition, when a situation in which the group voice call is not possible, the messenger service execution module 111 receives a multimedia message including voice information transmitted and received between the counterpart terminal devices 100 from the service device 200 through a messenger. You may. That is, without converting voice information transmitted and received between the counterpart terminal devices 100 into text, voice information regarding a conversation content or a real-time conversation content for a predetermined time is included in a multimedia message as it is and output on a messenger conversation screen. Can be controlled. This can be applied to a case where the user selects the outputted multimedia message when the voice information capacity is large and wants to confirm the contents of the conversation between the parties at a time by voice. Accordingly, the user can check the conversation contents between the counterparts even when they are away. In this case, the messenger service execution module 111 may convert a part of voice packet data from a certain conversation content, that is, the entire conversation content, into text and display the text on the messenger conversation screen. In addition, the voice packet data may be checked to convert only packet data including a specific word into text and displayed on the messenger conversation screen.
아울러, 메신저 서비스 실행 모듈(111)은 그룹 음성 통화를 할 수 없는 상황이 발생하면, 사용자로부터 입력된 음성 정보를 저장하여 일정 주기 또는 실시간으로 멀티미디어 메시지를 생성하고, 생성된 멀티미디어 메시지를 메신저를 통해 상대방 단말 장치들(100)로 전송하도록 제어할 수도 있다. 이때, 서비스 장치(200)에서는 생성된 멀티미디어 메시지를 수신하여 상대방의 요청에 따라 일정 부분의 음성 패킷 데이터 또는 전체 음성 정보를 텍스트로 변환하여 상대방 단말 장치(100)로 전송할 수도 있다. In addition, the messenger service execution module 111 generates a multimedia message in a predetermined period or real time by storing the voice information input from the user when a situation in which a group voice call cannot be made occurs, and generates the generated multimedia message through a messenger. It may be controlled to transmit to the counterpart terminal devices 100. In this case, the service device 200 may receive the generated multimedia message and convert the voice packet data or the entire voice information of a predetermined portion into text according to a request of the other party, and transmit the text message to the counterpart terminal device 100.
본 발명의 실시예들에 따른 통신부(120)는 통신망(10)을 통해 서비스 장치(200)와 통신을 수행하여 메신저 서비스 및 음성 통화(그룹 음성 통화)를 위한 메시지들을 송수신할 수 있다. 이러한 통신부(120)는 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식을 통해서 데이터를 송수신할 수 있다. 더하여, 통신부(120)는 하나 이상의 통신 방식을 사용하여 데이터를 송수신할 수 있으며, 이를 위하여 통신부(120)는 각각 서로 다른 통신 방식에 따라서 데이터를 송수신하는 복수의 통신 모듈을 포함할 수 있다. The communication unit 120 according to the embodiments of the present invention may communicate with the service apparatus 200 through the communication network 10 to transmit and receive messages for a messenger service and a voice call (group voice call). The communication unit 120 may transmit and receive data through various communication methods as well as wired and wireless methods. In addition, the communication unit 120 may transmit and receive data using one or more communication methods, and for this purpose, the communication unit 120 may include a plurality of communication modules that transmit and receive data according to different communication methods.
본 발명의 실시예들에 따른 입력부(130)는 사용자의 조작에 따라서 사용자의 요청이나 정보에 해당하는 사용자 입력 신호를 발생할 수 있으며, 현재 상용화되어 있거나 향후 상용화가 가능한 다양한 입력 수단으로 구현될 수 있으며, 예를 들면, 키보드, 마우스, 조이스틱, 터치 스크린, 터치 패드 등과 같은 일반적인 입력 장치뿐만 아니라, 사용자의 모션을 감지하여 특정 입력 신호를 발생하는 제스처 입력 수단, 사용자의 음성을 인식하는 음성 인식 수단을 포함할 수 있다. 입력부(130)는 사용자 즉, 발신자로부터 입력된 음성 신호를 제어부(110)로 전달하고, 메신저 서비스 실행에 따라 실행 화면(메인 화면, 통화 화면, 대화 화면 등)에서 메신저 서비스를 위해 입력되는 신호를 제어부(110)로 전달할 수 있다. The input unit 130 according to the embodiments of the present invention may generate a user input signal corresponding to a user's request or information according to a user's operation, and may be implemented by various input means that are currently commercialized or that can be commercialized in the future. For example, not only a general input device such as a keyboard, a mouse, a joystick, a touch screen, a touch pad, but also a gesture input means for detecting a user's motion and generating a specific input signal, and a voice recognition means for recognizing a user's voice. It may include. The input unit 130 transmits a voice signal input from a user, that is, a caller, to the controller 110, and receives a signal input for a messenger service from an execution screen (main screen, call screen, conversation screen, etc.) according to execution of a messenger service. It may be delivered to the control unit 110.
본 발명의 실시예들에 따른 저장부(140)는 단말 장치(100)의 동작에 필요한 정보들을 저장하며, 특히, 서비스 장치(200)로부터 수신된 음성 통화를 위한 메신저 서비스에 대한 프로그램 (또는 어플리케이션) 및 텍스트 변환을 위한 프로그램(또는 어플리케이션) 등을 저장하고, 메신저 서비스 실행에 따라 입력된 정보 및 생성된 메시지들을 저장할 수 있다. 또한, 저장부(140)는 사용자로부터 입력된 음성 정보 및 음성 정보를 변환한 텍스트를 임시 저장할 수 있으며, 상대방 단말 장치(100)와 송수신한 인스턴트 메시지, 멀티미디어 메시지 및 음성 통화 메시지 등을 저장할 수 있다. 이러한 저장부(140)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다. The storage unit 140 stores information necessary for the operation of the terminal device 100, and in particular, a program (or application) for a messenger service for a voice call received from the service device 200. ) And a program (or application) for text conversion and the like, and information input and generated messages according to execution of a messenger service may be stored. In addition, the storage 140 may temporarily store voice information input from a user and text converted from voice information, and may store instant messages, multimedia messages, voice call messages, and the like, which are transmitted and received with the counterpart terminal device 100. . The storage unit 140 may include an optical media such as a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, a compact disk read only memory (CD-ROM), and a digital video disk (DVD). And magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
아울러, 저장부(140)는 본 발명의 실시 예들에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 표시부에 출력될 화면 이미지 등을 저장할 수 있다. 그리고 저장부(140)는 표시부가 터치스크린으로 구성되는 경우 터치스크린 운용을 위한 키 맵이나 메뉴 맵 등을 저장할 수 있다. 여기서 키 맵, 메뉴 맵은 각각 다양한 형태가 될 수 있다. 즉, 키맵은 키보드 맵이나, 3*4 키 맵, 쿼티 키 맵 등이 될 수 있고, 현재 활성화되고 있는 응용 프로그램의 운용 제어를 위한 제어키 맵이 될 수 도 있다. 또한, 메뉴 맵은 현재 활성화되고 있는 응용 프로그램 운용 제어를 위한 메뉴 맵이 될 수 도 있다. 이러한 저장부(140)는 단말 장치(100)의 부팅 및 상술한 각 구성의 운용을 위한 운영체제(OS, Operating System), 다양한 사용자 기능 예를 들면, 단말 장치(100)의 통화기능 지원을 위한 사용자 기능, 기타 음원을 재생하기 위한 MP3 사용자 기능, 사진 등의 이미지를 재생하기 위한 이미지 출력 기능, 동영상 재생 기능 등을 각각 지원하기 위한 응용 프로그램 등을 저장할 수 있다. In addition, the storage 140 may store the screen image to be output to the display unit, as well as the application program required for the operation of the function according to embodiments of the present invention. The storage unit 140 may store a key map or a menu map for operating the touch screen when the display unit is configured as the touch screen. Here, the key map and the menu map may be in various forms. That is, the key map may be a keyboard map, a 3 * 4 key map, a qwerty key map, or the like, or may be a control key map for operation control of an currently activated application program. In addition, the menu map may be a menu map for controlling the currently running application program. The storage 140 is an operating system (OS) for booting the terminal device 100 and operating the above-described components, and various user functions, for example, a user for supporting a call function of the terminal device 100. Function, an MP3 user function for playing other sound sources, an image output function for playing an image such as a photo, and an application program for supporting a video playing function, respectively.
본 발명의 실시예들에 따른 출력부(150)는 단말 장치(100)의 동작 결과나 상태를 사용자가 인식할 수 있도록 제공하는 수단으로서, 예를 들면, 화면을 통해 시각적으로 출력하는 표시부나, 가청음을 출력하는 스피커 등을 포함할 수 있다. 특히, 본 발명에 있어서, 단말 장치(100)에서 구동되는 메신저 서비스 실행 및 음성 통화(그룹 음성 통화)에 관련된 화면 즉, 메신저 서비스의 메인 화면, 통화 화면, 대화 화면 등을 출력할 수 있으며, 대화 화면에 송수신된 인스턴트 메시지, 멀티미디어 메시지 등을 표시할 수 있다. The output unit 150 according to the embodiments of the present invention is a means for providing the user to recognize the operation result or state of the terminal device 100. For example, a display unit for visually outputting through a screen; And a speaker for outputting an audible sound. In particular, according to the present invention, a screen related to the execution of a messenger service and a voice call (group voice call) driven by the terminal device 100, that is, a main screen, a call screen, a chat screen, and the like of a messenger service may be output. Instant messages, multimedia messages, and the like transmitted and received can be displayed on the screen.
다음으로, 메신저 서비스 시스템에서 본 발명의 실시예들에 따른 서비스 장치의 구성을 첨부된 도면을 참조하여 구체적으로 살펴보면 다음과 같다. Next, the configuration of a service apparatus according to embodiments of the present invention in a messenger service system will be described in detail with reference to the accompanying drawings.
도 3은 본 발명의 실시예들에 따른 메신저 서비스 시스템에서의 서비스 장치의 구성을 도시한 도면이다.3 is a diagram illustrating a configuration of a service apparatus in a messenger service system according to embodiments of the present invention.
도 3을 참조하면, 서비스 장치(200)는 통신부(210), 메신저 서비스 제공부(220) 및 저장부(230)를 포함하여 구성할 수 있다. Referring to FIG. 3, the service device 200 may include a communication unit 210, a messenger service providing unit 220, and a storage unit 230.
통신부(210)는 통신망(10)을 통해 하나 이상의 단말 장치(100)와 메신저 서비스 및 메신저를 통한 음성 통화(그룹 음성 통화)를 위한 메시지들을 송수신할 수 있다. 이러한 통신부(210)는 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식을 통해서 데이터를 송수신할 수 있다. 더하여, 통신부(210)는 하나 이상의 통신 방식을 사용하여 데이터를 송수신할 수 있으며, 이를 위하여 통신부(210)는 각각 서로 다른 통신 방식에 따라서 데이터를 송수신하는 복수의 통신 모듈을 포함할 수 있다. The communication unit 210 may transmit / receive messages for one or more terminal devices 100 and a voice call (group voice call) through a messenger service and a messenger through the communication network 10. The communication unit 210 may transmit and receive data through various communication methods as well as wired and wireless methods. In addition, the communication unit 210 may transmit and receive data using one or more communication methods, and for this purpose, the communication unit 210 may include a plurality of communication modules that transmit and receive data according to different communication methods.
본 발명의 실시예들에 따른 메신저 서비스 제공부(220)는 통신망(10)을 통해 둘 이상의 단말 장치(100)와 연동하여 메신저 서비스를 위한 동작을 제어하고, 통신부(210)와 기능적으로 연결되어, 단말 장치들(100) 간에 메신저를 통해 음성 통화를 수행 시 통화를 할 수 없는 상황이 발생하면, 각 단말 장치(100)로부터 수신된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 각 단말 장치(100)로 전송할 수 있다. The messenger service provider 220 according to the embodiments of the present invention controls an operation for a messenger service by interworking with two or more terminal devices 100 through the communication network 10, and is functionally connected to the communication unit 210. When a situation in which a call cannot be made when a voice call is performed through a messenger between the terminal devices 100 occurs, each terminal device receives an instant message including text converted from voice information received from each terminal device 100. 100 can be sent.
특히, 본 발명의 제2 실시예에 따른 메신저 서비스 제공부(220)는 발신자 단말 장치(100)로부터 음성 정보를 수신하면, 수신된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 단말 장치들(100)로 각각 전송할 수 있다. In particular, upon receiving voice information from the caller terminal device 100, the messenger service provider 220 according to the second embodiment of the present invention converts the received voice information into text and converts an instant message including the converted text into text. Each of the terminal devices 100 may transmit.
또한, 본 발명의 제2 실시예에 따른 메신저 서비스 제공부(220)는, 단말 장치들(100) 간의 음성 통화 시 통화를 수행할 수 없는 상태를 확인할 수 있으며, 예를 들어, 끊긴 시점을 확인하여 확인된 시점 이후로 전달되지 않은 음성 통화 메시지를 검출하고, 검출된 음성 통화 메시지에 포함된 음성 정보를 텍스트로 변환할 수 있다. 아울러, 메신저 서비스 제공부(220)는 확인된 시점 이후로 단말 장치들(100)로부터 수신된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 단말 장치들(100)로 각각 전송할 수 있다. In addition, the messenger service provider 220 according to the second exemplary embodiment of the present invention may check a state in which a call cannot be made during a voice call between the terminal devices 100, for example, confirming a disconnected time point. The voice call message which has not been delivered since the identified time point may be detected, and the voice information included in the detected voice call message may be converted into text. In addition, the messenger service provider 220 may convert voice information received from the terminal devices 100 into texts after the identified time point, and transmit an instant message including the converted text to the terminal devices 100, respectively. have.
다른 예로, 본 발명의 제2 실시예에 따른 메신저 서비스 제공부(220)는 음성 통화 시 각 단말 장치(100)로부터 무선 신호의 신호 강도에 대한 정보를 수신하고, 수신된 신호 강도에 대한 정보를 기반으로 통화 품질을 확인하여 확인된 통화 품질이 일정 수준 이하로 낮아지면, 송수신된 음성 통화 메시지에 포함된 음성 정보를 텍스트로 변환할 수 있다. 그런 다음 메신저 서비스 제공부(220)는 변환된 텍스트를 포함한 인스턴트 메시지를 각 단말 장치(100)로 전송할 수 있다. As another example, the messenger service provider 220 according to the second exemplary embodiment of the present invention receives information on a signal strength of a wireless signal from each terminal device 100 and receives information on the received signal strength during a voice call. If the confirmed call quality is lowered below a certain level by checking the call quality, the voice information included in the transmitted and received voice call message may be converted into text. Then, the messenger service provider 220 may transmit an instant message including the converted text to each terminal device 100.
한편, 본 발명의 제3 실시예에 따른 메신저 서비스 제공부(220)는 단말 장치(100)로부터 자리비움을 알리는 메시지를 수신하면, 상대방 단말 장치들(100) 간에 음성 통화 내용 즉, 음성 통화 메시지에 포함된 음성 정보를 일정 주기 또는 실시간으로 텍스트로 변환하여 변환된 텍스트를 포함한 인스턴트 메시지를 자리비움을 요청한 단말 장치(100)로 전송할 수 있다. 또한, 메신저 서비스 제공부(220)는 자리비움 해제 상태를 알리는 메시지를 수신하면, 다시 그룹 음성 통화에 따른 음성 정보를 포함한 음성 통화 메시지를 해당 단말 장치들(100)로 전송할 수 있다.Meanwhile, when the messenger service providing unit 220 according to the third embodiment of the present invention receives a message informing that the user is away from the terminal device 100, the contents of the voice call, that is, the voice call message between the counterpart terminal devices 100 are provided. The voice information included in the may be converted into text at a predetermined period or in real time, and the instant message including the converted text may be transmitted to the terminal device 100 requesting the vacancy. In addition, when the messenger service provider 220 receives a message informing that the user is away from the user, the messenger service provider 220 may transmit voice call messages including voice information corresponding to the group voice call to the corresponding terminal devices 100.
아울러, 메신저 서비스 제공부(220)는 상대방 단말 장치들(100) 간에 송수신된 음성 정보를 텍스트로 변환하지 않고 일정 시간 동안의 대화 내용 또는 실시간의 대화 내용에 대한 음성 정보를 그대로 멀티미디어 메시지에 포함하여 자리비움을 요청한 단말 장치(100)로 전송할 수 있다. In addition, the messenger service provider 220 includes voice information regarding a conversation content for a predetermined time or a conversation content in real time in a multimedia message without converting the voice information transmitted and received between the counterpart terminal devices 100 into text. The terminal device 100 may transmit to the terminal device 100 requesting the vacancy.
저장부(230)는 음성 통화를 위한 메신저 서비스를 제공하기 위해 관련된 정보를 저장한다. 구체적으로, 저장부(230)는 단말 장치들(100) 간에 송수신되는 인스턴트 메시지, 멀티미디어 메시지, 음성 통화 메시지 등을 저장할 수 있으며, 단말 장치(100)로부터 수신된 음성 정보를 변환한 텍스트를 사용자 정보(식별 정보)와 함께 저장할 수 있다. 이러한 저장부(230)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다. The storage unit 230 stores information related to providing a messenger service for a voice call. In detail, the storage unit 230 may store an instant message, a multimedia message, a voice call message, and the like, which are transmitted / received between the terminal devices 100, and converts the text converted from the voice information received from the terminal device 100 into user information. Can be saved with (identification information). The storage unit 230 may include an optical media such as a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, a compact disk read only memory (CD-ROM), and a digital video disk (DVD). And magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
그러면, 이와 같이 구성된 본 발명의 실시예들에 따른 메신저 서비스 시스템에서 음성 통화를 위한 메신저 서비스 방법에 대해 첨부된 도면들을 참조하여 구체적으로 설명하기로 한다. 우선, 본 발명의 제1 실시예에 따른 음성 통화를 위한 메신저 서비스 방법에 대해 설명하기로 한다. Next, a messenger service method for a voice call in the messenger service system according to the embodiments of the present invention configured as described above will be described in detail with reference to the accompanying drawings. First, a messenger service method for a voice call according to a first embodiment of the present invention will be described.
도 4는 본 발명의 제1 실시예에 따른 단말 장치에서 음성 통화 수행 시 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다. 그리고 도 5는 본 발명의 제1 실시예에 따른 단말 장치에서 음성 통화 연결에 실패한 경우 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다. 그리고 도 6은 본 발명의 제1 실시예에 따른 단말 장치에서 음성 통화 시 텍스트 변환 요청에 따라 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다.4 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when performing a voice call in a terminal device according to a first embodiment of the present invention. FIG. 5 is a diagram illustrating a messenger service method for a voice call for converting voice information into text when a voice call connection fails in the terminal device according to the first embodiment of the present invention. 6 is a diagram illustrating a messenger service method for a voice call for converting voice information into text according to a text conversion request in a voice call in a terminal device according to a first embodiment of the present invention.
먼저, 본 발명의 제1 실시예에 따른 일 예를 도 4를 참조하여 설명하면, 1101단계에서 단말 장치(100)는 메신저 어플리케이션을 실행하여 메신저 서비스를 실행한 후, 표시부에 메신저 서비스를 위한 실행 화면을 출력한다. 여기서, 메신저를 통해 대화 또는 음성 통화를 위해 단말 장치(100)는 첨부된 도 9의 (a)에 도시된 바와 같이, 메인 화면에 상대방의 정보와, “대화하기” 및 “무료통화” 메뉴를 표시할 수 있다. 이때, 1102단계에서 단말 장치(100)는 사용자로부터 음성 통화 요청이 있는지를 확인한다. 확인 결과, 사용자로부터 입력된 “무료통화” 메뉴에 대한 선택 신호를 감지하면, 1103단계에서 단말 장치(100)는 첨부된 도 9의 (b)와 같이, 통화 모드로 전환되어 통화 화면을 출력하고, 선택된 상대방 단말 장치(100)로 통화 요청 메시지를 전송하여 통화 연결을 시도한다. First, an example according to the first embodiment of the present invention will be described with reference to FIG. 4. In step 1101, the terminal device 100 executes a messenger service by executing a messenger application, and then executes a messenger service on a display unit. Print the screen. Here, as shown in (a) of FIG. 9, the terminal device 100 displays a message of the other party, information of the other party, and “talk” and “free call” menus on the main screen. I can display it. In step 1102, the terminal device 100 checks whether there is a voice call request from the user. As a result of the check, when a selection signal for the “free call” menu input by the user is detected, the terminal device 100 switches to a call mode and outputs a call screen as shown in (b) of FIG. 9 in step 1103. Attempt to connect the call by transmitting a call request message to the selected counterpart terminal device 100.
이후, 1104단계에서 단말 장치(100)는 상대방 단말 장치(100)로부터 응답 메시지를 수신하여 음성 통화를 위한 호가 연결되면, 상대방과의 음성 통화를 수행한다. 이를 위해, 단말 장치(100)는 사용자로부터 입력된 음성 정보를 출력하고, 입력된 음성 정보를 포함한 음성 통화 메시지를 실시간으로 서비스 장치(200)로 전송하고, 서비스 장치(200)로부터 상대방 단말 장치(100)에서 전송한 음성 통화 메시지를 실시간으로 수신하여 스피커를 통해 음성 정보를 출력한다. Thereafter, in step 1104, when the call for a voice call is connected by receiving a response message from the counterpart terminal device 100, the terminal device 100 performs a voice call with the counterpart. To this end, the terminal device 100 outputs voice information input from a user, transmits a voice call message including the input voice information to the service device 200 in real time, and transmits the voice call message from the service device 200 to the counterpart terminal device ( Receives a voice call message transmitted in 100) in real time and outputs voice information through a speaker.
이러한 음성 통화 수행 시 1105단계에서 단말 장치(100)는 통화를 할 수 없는 상황이 발생하였는지를 확인한다. 확인 결과, 통화를 할 수 없는 상황이 발생하지 않은 경우, 1106단계에서 단말 장치(100)는 통화가 종료되었는지를 확인한다. 확인 결과 통화가 종료되지 않은 경우에는 계속해서 통화를 수행하고, 통화가 종료된 경우에는 통화를 종료한 후 통화 화면에 음성 통화 종료를 나타내고, 통화 시간 정보를 포함한 인스턴트 메시지를 생성하고, 생성된 인스턴트 메시지를 서비스 장치(200)를 통해 상대방 단말 장치(100)로 전송한다. 이때, 단말 장치(100)는 대화 화면에 통화 시간 정보를 포함한 생성된 인스턴트 메시지를 표시함으로써, 상대방과의 통화 시간을 알릴 수 있다. When performing such a voice call, in step 1105, the terminal device 100 checks whether a situation in which a call cannot be made occurs. As a result of the check, if a situation in which a call cannot be made does not occur, the terminal device 100 checks whether the call is terminated in step 1106. If the call is not terminated, the call is continued. If the call is terminated, the call is terminated and the call screen shows the end of the voice call. The message is transmitted to the counterpart terminal device 100 through the service device 200. In this case, the terminal device 100 may notify the talk time with the counterpart by displaying the generated instant message including the talk time information on the conversation screen.
반면, 통화를 할 수 없는 상황이 발생하면, 1107단계를 단말 장치(100)는 통화가 끊긴 시점 이후로 입력된 음성 정보를 텍스트로 변환하고, 1108단계에서 단말 장치(100)는 대화 모드로 전환하여 첨부된 도 10에 도시된 바와 같이, 통화를 할 수 없음을 알리는 메시지(예를 들어, “응답하지 않습니다.”)를 대화 화면에 표시한다. 그런 다음 1109단계에서 단말 장치(100)는 변환된 텍스트를 포함한 인스턴트 메시지를 생성한다. 이후, 1110단계에서 단말 장치(100)는 생성된 인스턴트 메시지를 서비스 장치(200)를 통해 상대방 단말 장치(100)로 전송하고, 변환된 테스트를 포함한 인스턴트 메시지(예를 들어 “내일 오전 10시에 만나”)를 대화 화면에 출력한다. 이때, 통화가 일시적 끊김 현상이 아닌 통화 종료가 된 상태이면, 단말 장치(100)는 대화 화면에 예를 들어, “1분 10초 통화”와 같이 통화 종료를 알리는 인스턴트 메시지를 표시한다. On the other hand, when a situation in which a call cannot be made occurs, in step 1107, the terminal device 100 converts the voice information input since the time when the call is disconnected into text, and in step 1108, the terminal device 100 switches to the conversation mode. As shown in FIG. 10 attached thereto, a message (for example, “no answer”) indicating that the call cannot be made is displayed on the conversation screen. Then, in step 1109, the terminal device 100 generates an instant message including the converted text. Thereafter, in step 1110, the terminal device 100 transmits the generated instant message to the counterpart terminal device 100 through the service device 200, and includes an instant message including a converted test (for example, “10 am tomorrow”). Meet ”) on the conversation screen. At this time, if the call is terminated instead of being temporarily disconnected, the terminal device 100 displays an instant message indicating the end of the call, for example, "1 minute 10 seconds call" on the conversation screen.
이후, 단말 장치(100)는 대화 화면에 전송한 인스턴트 메시지에 대한 응답으로 상대방 단말 장치(100)로부터 수신된 인스턴트 메시지를 표시할 수 있다. 이때, 대화 화면에 표시되는 인스턴트 메시지는 대화 모드에서 입력된 일반적인 텍스트를 포함한 인스턴트 메시지 또는 음성 정보를 변환한 인스턴트 메시지일 수 있다. 여기서, 음성 정보를 변환한 인스턴트 메시지는 일반적인 인스턴트 메시지와 구분하기 위해 지정된 정보, 예컨대 전화 수화기 모양 등을 표시할 수 있다. Thereafter, the terminal device 100 may display the instant message received from the counterpart terminal device 100 in response to the instant message transmitted on the chat screen. In this case, the instant message displayed on the chat screen may be an instant message including general text input in the chat mode or an instant message converted from voice information. Here, the instant message converted from the voice information may display specified information, for example, a shape of a telephone receiver, to distinguish it from a general instant message.
다음으로, 본 발명의 제1 실시예에 따른 다른 예를 도 5를 참조하여 설명하면, 1201단계에서 단말 장치(100)는 메신저 서비스를 실행한 후, 표시부에 메신저 서비스를 위한 실행 화면을 출력한다. 이때, 1202단계에서 단말 장치(100)는 사용자로부터 음성 통화 요청이 있는지를 확인한다. 확인 결과, 사용자로부터 입력된 “무료통화” 메뉴에 대한 선택 신호를 감지하면, 1203단계에서 단말 장치(100)는 첨부된 도 9의 (b)와 같이, 통화 모드로 전환되어 통화 화면을 출력하고, 선택된 상대방 단말 장치(100)로 통화 요청 메시지를 전송하여 통화 연결을 시도한다. Next, another example according to the first embodiment of the present invention will be described with reference to FIG. 5. In step 1201, after executing the messenger service, the terminal device 100 outputs an execution screen for the messenger service to a display unit. . In step 1202, the terminal device 100 checks whether there is a voice call request from the user. As a result of the check, when a selection signal for the “free call” menu input by the user is detected, the terminal device 100 switches to a call mode and outputs a call screen as shown in (b) of FIG. 9 in step 1203. Attempt to connect the call by transmitting a call request message to the selected counterpart terminal device 100.
그런 다음 1204단계에서 단말 장치(100)는 통화 요청에 대한 응답이 있는지를 확인한다. 확인 결과, 상대방 단말 장치(100)로부터 통화를 위한 응답 메시지를 수신하면, 1205단계에서 단말 장치(100)는 음성 통화를 위한 호를 접속한 후 음성 통화를 수행한다. 이후, 1206단계에서 단말 장치(100)는 통화가 종료되었는지를 확인하여 통화가 종료된 경우에는 통화를 종료하고, 메신저 대화 화면에 통화 종료를 알리는 인스턴트 메시지를 출력하고, 상대방에게 이에 대한 인스턴트 메시지를 전송한다. 그렇지 않은 경우, 통화가 종료되지 않은 경우에는 계속해서 음성 통화를 위한 음성 통화 메시지를 송수신할 수 있다. Then, in step 1204, the terminal device 100 checks whether there is a response to the call request. As a result of the check, when the response message for the call is received from the counterpart terminal device 100, the terminal device 100 performs a voice call after connecting the call for the voice call in step 1205. Thereafter, in step 1206, the terminal device 100 checks whether the call is ended, and when the call ends, outputs an instant message notifying the end of the call on the messenger conversation screen, and sends an instant message to the other party. send. Otherwise, if the call is not terminated, the voice call message for the voice call can be continuously transmitted and received.
반면, 통화를 위한 응답이 없는 경우, 1207단계에서 단말 장치(100)는 첨부된 도 11의 (a)에 도시된 바와 같이, 상대방에게 전달할 음성을 입력하도록 안내 메시지(“예를 들어, 전달할 음성을 입력하세요!”)를 팝업창 등을 통해 통화 화면에 출력한다. On the other hand, if there is no answer for the call, the terminal device 100 in step 1207 as shown in (a) of FIG. Enter! ”) On the call screen through a pop-up window.
그런 다음 1208단계에서 단말 장치(100)는 통화 화면에서 전달할 음성 정보를 입력 받고, 1209단계에서 입력된 음성 정보를 텍스트로 변환한 후 대화 모드로 전환하여 대화 화면을 출력한다. 이때, 단말 장치(100)는 첨부된 도 11의 (b)에 도시된 바와 같이, 통화 불가능을 나타내는 인스턴트 메시지(예를 들어, “응답하지 않습니다.”)를 전송 및 대화 화면에 표시한다. Then, in step 1208, the terminal device 100 receives voice information to be transferred in the call screen, and in step 1209 converts the input voice information into text and then switches to the chat mode to output the chat screen. In this case, as illustrated in FIG. 11B, the terminal device 100 displays an instant message (for example, “no answer”) indicating that the call is unavailable on the transmission and conversation screen.
이에 따라 1210단계에서 단말 장치(100)는 변환된 텍스트를 포함한 인스턴트 메시지를 생성한 후, 1211단계에서 생성된 인스턴트 메시지를 실시간으로 상대방 단말 장치(100)로 전송하고, 첨부된 도 11의 (b)에 도시된 바와 같이, 생성된 인스턴트 메시지(예를 들어, “전화 주세요”)를 대화 화면에 표시한다. Accordingly, in step 1210, the terminal device 100 generates an instant message including the converted text, and then transmits the instant message generated in step 1211 to the counterpart terminal device 100 in real time. ), The generated instant message (eg, “Please call me”) is displayed on the conversation screen.
다음으로, 본 발명의 제1 실시예에 따른 다른 예를 도 6을 참조하여 설명하면, 1301단계에서 단말 장치(100)는 메신저 서비스를 실행한 후, 음성 통화를 수행한다. Next, another example according to the first embodiment of the present invention will be described with reference to FIG. 6. In step 1301, the terminal device 100 executes a messenger service and then performs a voice call.
이때, 첨부된 도 12의 (a)에 도시된 바와 같이, 사용자가 음성 통화 시 통화 화면에 표시된 텍스트 변환 메뉴를 선택하면, 1302단계에서 단말 장치(100)는 텍스트 변환 메뉴에 대한 신호를 감지하고, 1303단계에서 단말 장치(100)는 통화 화면에 전달할 음성을 입력받기 위한 안내 메시지(예를 들어, “전달할 음성을 입력하세요!”)를 출력한다.In this case, as shown in FIG. 12A, when the user selects the text conversion menu displayed on the call screen during a voice call, the terminal device 100 detects a signal for the text conversion menu in step 1302. In operation 1303, the terminal device 100 outputs a guide message (for example, “Please input the voice to be delivered!”) For receiving the voice to be transmitted to the call screen.
그런 다음 1304단계에서 단말 장치(100)는 사용자로부터 음성 정보를 입력 받고, 1305단계에서 입력된 음성 정보를 텍스트로 변환한 후 대화 모드로 전환하여 대화 화면을 출력한다. Then, in step 1304, the terminal device 100 receives voice information from the user, and in step 1305, converts the input voice information into text, switches to the chat mode, and outputs a chat screen.
이에 따라 1306단계에서 단말 장치(100)는 변환된 텍스트를 포함한 인스턴트 메시지를 생성한 후, 1307단계에서 생성된 인스턴트 메시지를 실시간으로 상대방 단말 장치(100)로 전송하고, 첨부된 도 12의 (b)에 도시된 바와 같이, 생성된 인스턴트 메시지를 대화 화면에 표시한다. 예를 들어, 사용자가 음성 통화 중 대화 내용을 기억해야 하는 경우, 텍스트 변환 메뉴를 선택한 후 일정 시간 동안(예를 들어, 30초) 입력된 음성 정보 즉, 약속 장소 및 약속 시간 등의 음성을 입력하면, 일정 시간 동안 입력된 약속 장소(“서울역 3번 출구”, “주소는 000로 3길 5”) 및 약속 시간 등에 대한 음성 정보를 텍스트로 변환하여 대화 화면에 표시할 수 있다. 이때, 사용자는 텍스트 변환 메뉴를 누른 상태에서 테스트로 변환할 음성을 입력하고, 텍스트 변환 메뉴 누름을 해제한 후 다시 음성 통화를 수행할 수도 있다. Accordingly, after generating the instant message including the converted text in step 1306, the terminal device 100 transmits the instant message generated in step 1307 to the counterpart terminal device 100 in real time, and is attached to FIG. As shown in), the generated instant message is displayed on the chat screen. For example, if a user needs to remember the conversation during a voice call, select the text conversion menu and enter the voice information input for a certain time period (for example, 30 seconds), such as appointment place and appointment time. Then, voice information about an appointment location (“Seoul Station Exit 3”, “address 000 000 3-gil 5”) and appointment time inputted for a predetermined time may be converted into text and displayed on the conversation screen. In this case, the user may input a voice to be converted into a test while pressing the text conversion menu, release the text conversion menu, and then perform a voice call again.
이후, 1308단계에서 단말 장치(100)는 특정 입력 신호를 감지 또는 일정 시간(예를 들어 30초)가 경과하면, 텍스트 메뉴 선택을 해제하고, 계속해서 음성 통화를 수행한다. 이후, 음성 통화가 종료되면, 단말 장치(100)는 도 12의 (b)에 도시된 바와 같이, 통화 종료를 나타내는 인스턴트 메시지(“5분 20초 통화”)를 대화 화면에 표시한다. Thereafter, in step 1308, when the terminal device 100 detects a specific input signal or passes a predetermined time (for example, 30 seconds), the terminal device 100 releases the text menu selection and continues to perform a voice call. After that, when the voice call ends, the terminal device 100 displays an instant message (“5 minutes and 20 seconds call”) indicating the end of the call on the chat screen, as shown in FIG. 12B.
이와 같은 본 발명의 제1 실시예에 따른 음성 통화를 위한 메신저 서비스 방법에서, 단말 장치(100)는 상대방 단말 장치(100)로부터 입력된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 수신하면, 수신된 인스턴트 메시지를 상기 메신저 대화 화면에 실시간으로 출력한다. 이때, 단말 장치(100)는 상대방 단말 장치(100)로부터 이러한 인스턴트 메시지를 수신함에 따라 이후 자신의 사용자가 입력하는 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 상대방 단말 장치(100)로 전송한다. 이후, 통신이 원활하여 통화가 재개됨에 따라 상대방 단말 장치(100)로부터 음성 통화 메시지를 수신하면, 단말 장치(100)는 사용자로부터 입력된 음성 정보를 음성 통화 메시지에 포함하여 상대방 단말 장치(100)로 전송함으로써, 다시 음성 통화를 수행할 수 있다. In the messenger service method for a voice call according to the first embodiment of the present invention, when the terminal device 100 receives an instant message including text converted from voice information input from the counterpart terminal device 100, The received instant message is output on the messenger conversation screen in real time. In this case, when the terminal device 100 receives such an instant message from the counterpart terminal device 100, the terminal device 100 converts voice information input by the user into text, and converts the instant message including the converted text into the counterpart terminal device 100. To send). Subsequently, when the call is resumed due to communication being smoothly received, when the voice call message is received from the counterpart terminal device 100, the terminal device 100 includes voice information input from the user in the voice call message and the counterpart terminal device 100. By sending a call, the voice call can be performed again.
다음으로, 본 발명의 제2 실시예에 따른 서비스 장치에서의 음성 통화를 위한 메신저 서비스 방법에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다. Next, a messenger service method for a voice call in a service apparatus according to a second embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 7은 본 발명의 제2 실시예에 따른 서비스 장치에서의 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다.7 is a diagram illustrating a messenger service method for a voice call in a service apparatus according to a second embodiment of the present invention.
도 7을 참조하면, 단말 장치(100)에서 메신저 서비스를 실행하여 음성 통화를 수행하기 위해 통화 요청 메시지를 전송하면, 서비스 장치(200)는 수신된 통화 요청 메시지에 포함된 상대방 식별 정보를 확인하여 확인된 상대방 단말 장치(100)로 통화 요청 메시지를 전송한다. 이에 따라 2101단계에서 서비스 장치(200)는 상대방 단말 장치(100)로부터 응답 메시지를 수신하여 요청한 단말 장치(100)로 전송하여 통화 호 접속이 이루어짐에 따라 단말 장치들(100) 간에 음성 통화 메시지를 송수신한다. Referring to FIG. 7, when the terminal device 100 executes a messenger service and transmits a call request message to perform a voice call, the service device 200 confirms the counterpart identification information included in the received call request message. The call request message is transmitted to the confirmed counterpart terminal device 100. Accordingly, in operation 2101, the service device 200 receives a response message from the counterpart terminal device 100, transmits the response message to the requested terminal device 100, and transmits a voice call message between the terminal devices 100 according to the call call connection. Send and receive
이후, 2102단계에서 서비스 장치(100)는 단말 장치들(100) 간에 음성 통화 수행 시 단말 장치들(100)이 통화를 할 수 없는 상황인지를 확인한다. In operation 2102, the service device 100 checks whether the terminal devices 100 cannot make a call when a voice call is performed between the terminal devices 100.
확인 결과, 2103단계에서 서비스 장치(100)는 통화를 할 수 없는 상황이 발생하지 않은 경우에는 계속해서 2101단계를 수행한다. As a result of the check, in step 2103, the service device 100 continuously performs step 2101 when a situation in which a call cannot be made does not occur.
반면, 확인 결과, 통화를 할 수 없는 상황이 발생한 경우, 2104단계에서 서비스 장치(200)는 예를 들어 통화가 끊긴 시점을 확인한 경우라면, 단말 장치들(100) 간에 통화가 끊긴 시점을 확인한다. 여기서, 단말 장치들(100)의 통화 품질을 기반으로 통화를 할 수 없는 상황을 확인하는 경우에는 단말 장치들(100)로부터 각각 신호 강도 값을 수신하여 신호 강도 또는 트래픽 양 등을 기반으로 통화 품질을 확인할 수도 있다. On the other hand, if the check result, the situation that can not be called, the service device 200, for example, in the case of confirming the time when the call is disconnected, in step 2104, checks the time when the call is disconnected between the terminal devices (100) . In this case, when it is determined that the call cannot be made based on the call quality of the terminal devices 100, the signal strength values are received from the terminal devices 100, respectively, and the call quality is determined based on the signal strength or the traffic volume. You can also check
이후, 2105단계에서 서비스 장치(200)는 전달되지 않은 음성 통화 메시지를 검출하거나, 단말 장치들(100)로부터 음성 정보를 수신한다. In operation 2105, the service device 200 detects an undelivered voice call message or receives voice information from the terminal devices 100.
그런 다음 2106단계에서 서비스 장치(200)는 검출된 음성 통화 메시지에 포함된 음성 정보 또는 수신된 음성 정보를 텍스트로 변환하고, 2107단계에서 변환된 텍스트를 포함한 인스턴트 메시지를 생성하여 생성된 인스턴트 메시지를 단말 장치들(100)로 각각 전송한다. In operation 2106, the service device 200 converts the voice information or the received voice information included in the detected voice call message into text, and generates an instant message including the converted text in step 2107. Transmit to the terminal devices 100, respectively.
마지막으로, 본 발명의 제3 실시예에 따른 단말 장치에서 그룹 음성 통화를 수행 시 음성 정보를 텍스트로 변환하기 위한 메신저 서비스에 대해 첨부된 도면을 참조하여 구체적으로 설명하기로 한다. 여기서, 설명의 편의를 위해, 자리비움을 요청한 단말 장치(100)는 제1 단말 장치(100)라 칭하고, 제1 단말 장치(100a)와 그룹 음성 통화를 수행하는 상대방 단말 장치들(100)을 제2 및 제3 단말 장치(100b, 100c)라 칭하기로 한다. Lastly, a messenger service for converting voice information into text when performing a group voice call in the terminal device according to the third embodiment of the present invention will be described in detail with reference to the accompanying drawings. Here, for convenience of description, the terminal device 100 requesting the vacancy is called the first terminal device 100 and refers to the counterpart terminal devices 100 for performing a group voice call with the first terminal device 100a. The second and third terminal devices 100b and 100c will be referred to.
도 8은 본 발명의 제3 실시예에 따른 단말 장치에서 그룹 음성 통화 시 음성 정보를 텍스트로 변환하는 음성 통화를 위한 메신저 서비스 방법을 도시한 도면이다.8 is a diagram illustrating a messenger service method for a voice call for converting voice information into text during a group voice call in a terminal device according to a third embodiment of the present invention.
도 8을 참조하면, 3101단계에서 제1 단말 장치(100a)는 메신저 서비스를 실행한 후 상대방 단말 장치들(100)과 그룹 음성 통화를 수행한다. Referring to FIG. 8, in operation 3101, the first terminal device 100a executes a messenger service and then performs a group voice call with the counterpart terminal devices 100.
이후, 3102단계에서 제1 단말 장치(100a)는 사용자로부터 자리비움 요청이 있는지를 확인한다. 이때, 사용자는 그룹 음성 통화 시 첨부된 도 13의 (a)에 도시된 바와 같이 통화 화면에 표시된 자리비움 메뉴를 선택함으로써, 자리비움 요청을 할 수 있다. In operation 3102, the first terminal device 100a checks whether there is a request for vacancy from the user. In this case, the user may request the away by selecting the away menu displayed on the call screen as shown in FIG. 13A attached to the group voice call.
확인 결과, 자리비움 요청에 따른 자리비움 선택 신호가 감지되면, 3103단계에서 제1 단말 장치(100a)는 서비스 장치(200)로 자리비움을 알리는 메시지를 전송한다. 이때, 제1 단말 장치(100a)는 대화 화면에 자리비움을 알리는 인스턴트 메시지를 출력한다. As a result of the check, when the away selection signal according to the away request is detected, in step 3103, the first terminal device 100a transmits a message indicating the away to the service device 200. In this case, the first terminal device 100a outputs an instant message informing that the user is away from the conversation screen.
이에 따라 서비스 장치(200)는 그룹 음성 통화를 하는 제2 및 제3 단말 장치(100a, 100b)로부터 수신된 음성 통화 메시지에 포함된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 자리비움을 제1 단말 장치(100a)로 전송한다. 이때, 서비스 장치(200)는 수신된 음성 정보들을 저장한 후 일정 주기로 저장된 음성 정보를 텍스트로 변환하거나, 실시간으로 음성 정보를 텍스트로 변환하여 제공할 수 있다. Accordingly, the service device 200 converts the voice information included in the voice call message received from the second and third terminal devices 100a and 100b having a group voice call into text, and converts the instant message including the converted text into text. The vacant space is transmitted to the first terminal device 100a. In this case, the service device 200 may store the received voice information and then convert the stored voice information into text or convert the voice information into text in real time.
그러면 3104단계에서 제1 단말 장치(100a)는 서비스 장치(200)로부터 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 수신하고, 3105단계에서 첨부된 도 13의 (b)에 도시된 바와 같이, 수신된 인스턴트 메시지를 메신저 대화 화면에 출력한다. 예를 들어, 제1 단말 장치(100a)는 제2 및 제3 단말 장치(100b, 100c) 간에 통화 내용인 “서울역에서 만나자”, “몇시에 만나”, “3시에 만나자” 등의 텍스트를 대화 화면에 출력할 수 있다. Then, in operation 3104, the first terminal device 100a receives an instant message including text converted from voice information from the service device 200, and as shown in FIG. 13 (b) attached in operation 3105, The received instant message is output on the messenger conversation screen. For example, the first terminal device 100a may include texts such as “Let's meet at Seoul station,” “Let's meet at what time” and “Let's meet at three,” such as contents of a call between the second and third terminal devices 100b and 100c. It can be printed on the dialog screen.
이후, 3106단계에서 제1 단말 장치(100a)는 특정 입력 신호에 따른 자리비움 해제가 있는지를 확인한다. 확인 결과, 자리비움이 해제되지 않은 경우에는 계속해서 3104단계를 수행한다. In operation 3106, the first terminal device 100a checks whether there is room release according to a specific input signal. As a result of the check, if the vacancy is not released, step 3104 is continued.
반면, 자리비움이 해제된 경우에는 제1 단말 장치(100a)는 첨부된 도 13의 (b)에 도시된 바와 같이, 자리비움 해제를 알리는 인스턴트 메시지(예를 들어, “자리비움이 해제되었습니다.”)를 대화 화면에 출력하고, 그룹 음성 통화를 수행한다. 이후, 3107단계에서 제1 단말 장치(100a)는 그룹 음성 통화가 종료되었는지를 확인하고, 통화가 종료되지 않은 경우에는 계속해서 그룹 음성 통화를 수행한다. 반면, 통화가 종료된 경우에는 통화 시간 정보를 포함한 인스턴트 메시지를 출력한다. On the other hand, when the away is released, the first terminal device (100a), as shown in (b) of Figure 13 attached, an instant message notifying the release of the away (for example, "Away away". ”) Is displayed on the conversation screen, and a group voice call is performed. Thereafter, in step 3107, the first terminal device 100a checks whether the group voice call is terminated. If the call is not terminated, the first terminal device 100a continuously performs the group voice call. On the other hand, when the call is terminated, an instant message including the talk time information is output.
이상으로, 본 발명의 제1 내지 제3 실시예에 따른 음성 통화를 위한 메신저 서비스 방법에 대해 설명하였다. 상기 과정에서, 단말 장치(100) 또는 서비스 장치(200)는 메신저 서비스의 음성 통화를 수행 중에 음성 통화를 할 수 없는 상황이 발생되는 지 여부를 모니터링하여, 음성 통화를 할 수 없는 상황이 발생된 경우, 음성 정보를 텍스트로 변환한 후 변환된 텍스트를 포함한 인스턴트 메시지가 송수신되도록 제어하며, 이러한 과정에서 지속적으로 음성 통화를 할 수 있는 상황이 발생되는 지 여부를 모니터링하여, 음성 통화를 할 수 있는 상황으로 변경된 것으로 판단되면, 다시 음성 통화 기능을 통해 음성 정보가 송수신되도록 제어할 수 있다. In the above, the messenger service method for voice call according to the first to third embodiments of the present invention has been described. In the above process, the terminal device 100 or the service device 200 monitors whether or not a situation in which a voice call cannot be made during a voice call of a messenger service occurs, and thus a situation in which a voice call cannot be made is generated. In this case, after converting the voice information into text and controlling the instant message including the converted text to be sent and received, by monitoring whether or not a situation that can continue to make a voice call during this process, If it is determined that the situation has changed, the voice information may be controlled to be transmitted and received again through the voice call function.
아울러, 본 발명의 음성 통화를 위한 메신저 서비스 방법이 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the program instructions for recording the messenger service method for the voice call of the present invention may be those specially designed and configured for the present invention or may be known and available to those skilled in computer software. For example, the recording medium may be magnetic media such as hard disks, floppy disks and magnetic tapes, optical disks such as Compact Disk Read Only Memory (CD-ROM), digital video disks (DVD), Magnetic-Optical Media, such as floppy disks, and hardware devices specially configured to store and execute program instructions, such as ROM, random access memory (RAM), flash memory, and the like. do. Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.Furthermore, a computer program (also known as a program, software, software application, script or code) mounted on an apparatus according to the invention and executing a method according to the invention comprises a compiled or interpreted language or a priori or procedural language. It can be written in any form of programming language, and can be deployed in any form, including stand-alone programs or modules, components, subroutines, or other units suitable for use in a computer environment. Computer programs do not necessarily correspond to files in the file system. A program may be in a single file provided to the requested program, in multiple interactive files (eg, a file that stores one or more modules, subprograms, or parts of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored in a markup language document). The computer program may be deployed to run on a single computer or on multiple computers located at one site or distributed across multiple sites and interconnected by a communication network.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples for clarity and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.
또한, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.In addition, although the specification includes numerous specific implementation details, these should not be construed as limited to any invention or scope of the claims, but rather to features that may be specific to a particular embodiment of a particular invention. It should be understood as an explanation. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Furthermore, while the features may operate in a particular combination and may be initially depicted as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, the claimed combination being a subcombination Or a combination of subcombinations.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a specific order, it should not be understood that such operations must be performed in the specific order or sequential order shown in order to obtain desirable results or that all illustrated operations must be performed. Moreover, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it can.
본 발명은 메신저 서비스 시스템, 그 시스템에서의 음성 통화를 위한 메신저 서비스 방법 및 장치에 관한 것으로, 메신저 서비스를 실행하여 메신저를 통해 음성 통화를 수행 시 통화를 할 수 없는 상황이 발생되더라도 통화를 위해 사용자로부터 입력된 음성 정보를 텍스트로 변환하여 메신저를 통해 변환된 텍스트를 포함한 인스턴트 메시지를 상대방에게 전송할 수 있다. 이로 인해 본 발명은 일시적인 통화 끊김 현상이나, 통화 끊김으로 인해 통화가 종료되어 대화가 중단되더라도 중단된 통화 내용을 명확히 인지할 수 있으며, 원활한 대화를 수행할 수 있는 효과가 있다. The present invention relates to a messenger service system and a messenger service method and apparatus for a voice call in the system. The present invention relates to a messenger service system. The voice information input from the user may be converted into text, and an instant message including the converted text may be transmitted to the other party through a messenger. For this reason, the present invention can clearly recognize the contents of the interrupted call even when the call is terminated due to the temporary disconnection of the call or the call is interrupted, and thus the smooth conversation can be performed.
또한, 본 발명은 메신저를 통해 음성 통화를 수행 시 둘 이상의 상대 단말 장치와 그룹 음성 통화를 할 수 있으며, 그룹 음성 통화를 수행 시 자리비움 기능을 통해 상대방 간에 통화 내용을 메신저를 통해 텍스트로 제공받음으로써, 통화를 하지 않더라도 상대방 간의 통화 내용을 확인할 수 있다.In addition, the present invention can make a group voice call with two or more counterpart terminal devices when a voice call is made through a messenger, and when a group voice call is made, the contents of the call are provided as texts through a messenger through a away function. As a result, even if the call is not made, the contents of the call can be confirmed.
아울러, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.In addition, the present invention has industrial applicability because the present invention is not only sufficiently commercially available or commercially viable, but also practically clearly implemented.

Claims (22)

  1. 통신망을 통해 서비스 장치와 연동하여 메신저 서비스를 위한 통신을 수행하는 통신부; A communication unit for communicating with a service device through a communication network for a messenger service;
    상기 메신저 서비스와 관련된 정보를 출력하는 출력부; 및An output unit for outputting information related to the messenger service; And
    상기 메신저 서비스가 실행된 상태에서, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 특정 상대방 단말 장치와 음성 통화가 연결된 상태에서, 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 상기 상대방 단말 장치로 전송하도록 제어하거나, 상기 상대방 단말 장치로부터 음성 정보가 수신되면 수신된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 출력부를 통해 상기 메신저 서비스에 출력하도록 제어하는 제어부; If it is determined that a situation in which a voice call cannot be made while a voice call is connected to a specific counterpart terminal device through a voice call function supported by the messenger service while the messenger service is executed, an input from a user is performed. Converts the voice information into text and transmits an instant message including the converted text to the counterpart terminal device through the messenger service, or converts the received voice information into text and receives the voice information from the counterpart terminal device. A controller configured to output an instant message including the text to the messenger service through the output unit;
    를 포함하는 것을 특징으로 하는 단말 장치. Terminal device comprising a.
  2. 제1항에 있어서, 상기 제어부는, The method of claim 1, wherein the control unit,
    상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 판단된 시점을 기준으로 일정 범위의 시간 동안 상기 사용자로부터 입력된 음성 정보를 텍스트로 변환하거나, 상기 상대방 단말 장치로부터 수신된 음성 정보를 텍스트로 변환함을 특징으로 하는 단말 장치. If it is determined that the voice call cannot be made, the voice information input from the user is converted into text or the voice information received from the counterpart terminal device is converted into text for a predetermined range of time based on the determined time point. Terminal device characterized in that the conversion.
  3. 제1항에 있어서, 상기 제어부는, The method of claim 1, wherein the control unit,
    상기 음성 통화가 연결된 상태에서, 무선 신호의 송신 강도 또는 주변 소음 정보를 기반으로 통화 품질을 확인하고, 확인된 통화 품질이 일정 수준 이하로 낮아지면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단함을 특징으로 하는 단말 장치. When the voice call is connected, the call quality is checked based on the transmission strength of the wireless signal or the ambient noise information, and when the confirmed call quality is lower than a certain level, the voice call cannot be made. Terminal device characterized in that the determination.
  4. 제1항에 있어서, 상기 제어부는, The method of claim 1, wherein the control unit,
    상기 음성 통화가 연결된 상태에서, 통화 출력 음을 감지하고, 상기 통화 출력 음이 기 설정된 레벨 이하이거나 기 설정된 횟수 이상으로 끊김 현상이 발생되면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단함을 특징으로 하는 단말 장치. In the state that the voice call is connected, when the call output sound is detected and the call output sound is cut off below a preset level or more than a preset number of times, it is determined that the voice call cannot be made. Terminal device characterized in that.
  5. 제1항에 있어서, 상기 제어부는, The method of claim 1, wherein the control unit,
    상기 음성 통화가 연결된 상태에서, 기 설정된 시간 이상으로 음성 정보가 송수신되지 않을 경우, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단함을 특징으로 하는 단말 장치. And when the voice information is not transmitted / received for a predetermined time or more while the voice call is connected, determining that the voice call cannot be made.
  6. 제1 항에 있어서, 상기 제어부는The method of claim 1, wherein the control unit
    상기 음성 통화가 연결된 상태에서, 지정된 특정 단어를 포함한 음성 정보가 입력되거나, 지정된 메뉴의 선택 입력이 발생되면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단함을 특징으로 하는 단말 장치. And when the voice information including the specified specific word is input or the selection input of the designated menu is generated while the voice call is connected, it is determined that the situation where the voice call cannot be made occurs.
  7. 제1 항에 있어서, 상기 제어부는The method of claim 1, wherein the control unit
    상기 음성 통화가 연결된 상태에서, 사용자 메신저 서비스의 프레즌스 정보가 자리비움 상태로 변경된 것으로 확인되면, 상기 음성 통화를 할 수 없는 상황이 발생된 것으로 판단함을 특징으로 하는 단말 장치. And when the presence information of the user messenger service is changed to the idle state while the voice call is connected, determining that the voice call cannot be made.
  8. 제1항에 있어서, 상기 제어부는, The method of claim 1, wherein the control unit,
    상기 상대방 단말 장치로부터 음성 정보를 변환한 텍스트를 포함한 인스턴트 메시지가 수신되면, 상기 음성 통화 메시지를 수신하기 전까지 사용자로부터 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 포함한 인스턴트 메시지를 상기 상대방 단말 장치로 전송하도록 제어함을 특징으로 하는 단말 장치. When the instant message including the text converted from the voice information is received from the counterpart terminal device, the voice information input from the user is converted into text until the voice call message is received, and the instant message including the converted text is converted into the counterpart terminal. Terminal device characterized in that the control to transmit to the device.
  9. 제1항에 있어서, 상기 제어부는, The method of claim 1, wherein the control unit,
    상기 상대방 단말 장치로 음성 통화를 요청한 이후 음성 통화가 연결되기 이전에 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 음성 통화 기능을 통해 음성 정보가 송수신되도록 제어함을 특징으로 하는 단말 장치. If it is determined that a situation in which a voice call can be made before the voice call is connected after requesting the voice call to the counterpart terminal device occurs, the terminal device is characterized in that the voice information is controlled to be transmitted and received through the voice call function. .
  10. 제1항에 있어서, 상기 제어부는The method of claim 1, wherein the control unit
    상기 출력부를 통해 상기 변환된 텍스트를 포함한 인스턴트 메시지를 출력 시 일반 인스턴트 메시지와 구분될 수 있는 지정된 정보를 더 포함하여 출력함을 특징으로 하는 단말 장치. And outputting designated information that can be distinguished from a general instant message when outputting the instant message including the converted text through the output unit.
  11. 통신망을 통해 둘 이상의 단말 장치와 연동하여 메신저 서비스를 위한 통신을 수행하는 통신부; 및A communication unit performing communication for a messenger service by interworking with two or more terminal devices through a communication network; And
    상기 단말 장치들 간에 메신저 서비스의 실행을 지원하며, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 상기 단말 장치 간 음성 통화가 연결된 상태에서, 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 수신된 음성 정보 또는 다른 단말 장치로부터 수신된 음성 정보를 텍스트로 변환하고, 변환된 상기 텍스트를 포함한 인스턴트 메시지를 다른 단말 장치로 전송하거나 상기 단말 장치로 전송되도록 제어하는 메신저 서비스 제공부;A situation in which a voice call cannot be made in any one terminal device is provided when a messenger service is supported between the terminal devices and a voice call is connected between the terminal devices through a voice call function supported by the messenger service. If it is determined, the voice information received from the terminal device or the voice information received from another terminal device is converted into text, and the instant message including the converted text is transmitted to another terminal device or controlled to be transmitted to the terminal device. Messenger service provider;
    를 포함하는 것을 특징으로 하는 서비스 장치. Service device comprising a.
  12. 제11항에 있어서, 상기 메신저 서비스 제공부는, The method of claim 11, wherein the messenger service providing unit,
    상기 음성 통화를 할 수 없는 상황이 발생된 단말 장치에서, 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 수신된 음성 정보 또는 다른 단말 장치로부터 수신된 음성 정보를 상기 다른 단말 장치로 전송하거나 상기 단말 장치로 전송되도록 제어함을 특징으로 하는 서비스 장치. If it is determined that a situation in which a voice call can be made has occurred in the terminal device in which a situation in which the voice call cannot be made occurs, the voice information received from the terminal device or voice information received from another terminal device is determined. The service device characterized in that the control to be transmitted to the device or transmitted to the terminal device.
  13. 서비스 장치가 제공하는 메신저 서비스가 실행된 상태에서, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 특정 상대방 단말 장치와 음성 통화가 연결된 상태에서, 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 사용자로부터 입력된 음성 정보를 변환한 텍스트를 포함하는 인스턴트 메시지를 상기 서비스 장치로 전송하여 상기 상대방 단말 장치로 전달되도록 요청하거나, 상기 상대방 단말 장치로부터 상기 서비스 장치를 통해 음성 정보가 수신되면 수신된 음성 정보를 변환한 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 출력하는 단말 장치; 및 When a messenger service provided by a service device is executed and it is determined that a voice call cannot be made while a voice call is connected to a specific counterpart terminal device through a voice call function supported by the messenger service, The voice message received by transmitting the instant message including the text converted from the voice information input from the user to the service device to be delivered to the counterpart terminal device, or when the voice information is received from the counterpart terminal device through the service device. A terminal device for outputting an instant message including the converted text through the messenger service; And
    상기 메신저 서비스를 제공하며, 상기 단말 장치로부터 음성 정보가 변환한 텍스트를 포함하는 인스턴트 메시지가 수신되면, 상기 상대방 단말 장치로 전달하고, 상기 상대방 단말 장치로부터 전달되는 음성 정보를 상기 단말 장치로 전송하는 상기 서비스 장치;When the instant message including the text converted from the voice information is received from the terminal device, the messenger service is transmitted to the counterpart terminal device, and the voice information transmitted from the counterpart terminal device is transmitted to the terminal device. The service device;
    를 포함하는 것을 특징으로 하는 메신저 서비스 시스템. Messenger service system comprising a.
  14. 메신저 서비스가 실행된 상태에서, 상기 메신저 서비스가 지원하는 음성 통화 기능을 통해 특정 상대방 단말 장치와 음성 통화를 연결하는 단계;Connecting a voice call with a specific counterpart terminal device through a voice call function supported by the messenger service while a messenger service is executed;
    상기 상대방 단말 장치와 음성 통화가 연결되면, 상기 상대방 단말 장치와 음성 정보를 포함한 음성 통화 메시지를 송수신하며, 음성 통화를 할 수 없는 상황이 발생되는 지 판단하는 단계; 및When a voice call is connected to the counterpart terminal device, transmitting and receiving a voice call message including voice information with the counterpart terminal device and determining whether a situation in which a voice call cannot be made occurs; And
    상기 음성 통화를 할 수 없는 상황이 발생되면, 사용자로부터 입력된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 상기 상대방 단말 장치로 전송하는 단계;Converting voice information input from a user into text and transmitting an instant message including the converted text to the counterpart terminal device through the messenger service when a situation in which the voice call cannot be made occurs;
    를 포함하는 것을 특징으로 하는 단말 장치에서의 음성 통화를 위한 메신저 서비스 방법. Messenger service method for a voice call in the terminal device comprising a.
  15. 제14항에 있어서, The method of claim 14,
    상기 사용자로부터 상기 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 출력하는 단계;Outputting an instant message including the converted text from the user through the messenger service;
    를 더 포함하는 것을 특징으로 하는 단말 장치에서의 음성 통화를 위한 메신저 서비스 방법.Messenger service method for a voice call in the terminal device characterized in that it further comprises.
  16. 제14항에 있어서, The method of claim 14,
    상기 상대방 단말 장치로부터 음성 정보가 수신되면 수신된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 출력하는 단계;Converting the received voice information into text and outputting an instant message including the converted text through the messenger service when voice information is received from the counterpart terminal device;
    를 더 포함하는 것을 특징으로 하는 단말 장치에서의 음성 통화를 위한 메신저 서비스 방법.Messenger service method for a voice call in the terminal device characterized in that it further comprises.
  17. 제14항에 있어서, The method of claim 14,
    상기 상대방 단말 장치와 음성 통화가 연결되지 않을 경우, 상기 메신저 서비스를 통해 음성 정보 입력에 대한 안내 메시지를 출력하는 단계; Outputting a guide message for inputting voice information through the messenger service when the voice call is not connected to the counterpart terminal device;
    사용자로부터 안내에 따라 음성 정보가 입력되면, 입력된 음성 정보를 텍스트로 변환하는 단계; 및Converting the input voice information into text when the voice information is input according to a guide from the user; And
    상기 변환된 텍스트를 포함한 인스턴트 메시지를 상기 상대방 단말 장치로 전송하는 단계;Transmitting the instant message including the converted text to the counterpart terminal device;
    를 더 포함하는 것을 특징으로 하는 단말 장치에서의 음성 통화를 위한 메신저 서비스 방법. Messenger service method for a voice call in the terminal device characterized in that it further comprises.
  18. 제14항에 있어서, The method of claim 14,
    상기 상대방 단말 장치로 전송하는 단계 이후에, After transmitting to the counterpart terminal device,
    상기 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 음성 통화 기능을 통해 음성 정보가 송수신되도록 제어하는 단계;If it is determined that a situation in which the voice call can be made occurs, controlling voice information to be transmitted and received through the voice call function;
    를 더 포함하는 것을 특징으로 하는 단말 장치에서의 음성 통화를 위한 메신저 서비스 방법.Messenger service method for a voice call in the terminal device characterized in that it further comprises.
  19. 둘 이상의 단말 장치들 간에 메신저 서비스를 통해 음성 통화 연결을 수행하는 단계;Performing a voice call connection through a messenger service between two or more terminal devices;
    상기 단말 장치 간 음성 통화가 연결된 상태에서, 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생되는 지 판단하는 단계; 및Determining whether a situation occurs in which one of the terminal devices cannot make a voice call while the voice call is connected between the terminal devices; And
    상기 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 전송된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 메신저 서비스를 통해 다른 단말 장치로 전송하는 단계;If it is determined that a situation in which one of the terminal devices is unable to make a voice call occurs, the terminal device converts the voice information transmitted from the terminal device into text and sends an instant message including the converted text to another terminal device through the messenger service. Transmitting to;
    를 포함하는 것을 특징으로 하는 서비스 장치에서의 음성 통화를 위한 메신저 서비스 방법. Messenger service method for a voice call in the service device comprising a.
  20. 제19항에 있어서, The method of claim 19,
    상기 어느 하나의 단말 장치에서 음성 통화를 할 수 없는 상황이 발생된 것으로 판단되면, 상기 다른 단말 장치로부터 전송된 음성 정보를 텍스트로 변환하고 변환된 텍스트를 포함한 인스턴트 메시지를 상기 단말 장치로 전송하는 단계;If it is determined that a situation in which one of the terminal devices cannot make a voice call occurs, converting the voice information transmitted from the other terminal device into text and transmitting an instant message including the converted text to the terminal device; ;
    를 더 포함하는 것을 특징으로 하는 서비스 장치에서의 음성 통화를 위한 메신저 서비스 방법.Messenger service method for a voice call in the service device further comprising.
  21. 제19항에 있어서, The method of claim 19,
    상기 다른 단말 장치로 전송하는 단계 이후에, After the step of transmitting to the other terminal device,
    상기 단말 장치에서 음성 통화를 할 수 있는 상황이 발생된 것으로 판단되면, 상기 단말 장치로부터 전송된 음성 정보를 포함한 인스턴트 메시지를 상기 다른 단말 장치로 전송하거나 상기 다른 단말 장치로부터 전송된 음성 정보를 포함한 인스턴트 메시지를 상기 단말 장치로 전송하는 단계;If it is determined that a situation in which the terminal device can make a voice call occurs, an instant message including voice information transmitted from the terminal device is transmitted to the other terminal device or an instant including voice information transmitted from the other terminal device. Transmitting a message to the terminal device;
    를 더 포함하는 것을 특징으로 하는 서비스 장치에서의 음성 통화를 위한 메신저 서비스 방법.Messenger service method for a voice call in the service device further comprising.
  22. 제14항 내지 제21항 중 어느 하나에 기재된 음성 통화를 위한 메신저 서비스 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for executing a messenger service method for a voice call according to any one of claims 14 to 21.
PCT/KR2015/000659 2014-03-07 2015-01-22 Messenger service system, messenger service method and device for voice call in same system WO2015133726A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0027168 2014-03-07
KR1020140027168A KR20150105559A (en) 2014-03-07 2014-03-07 Messenger service system, messenger service method and apparatus for voice call in the system

Publications (1)

Publication Number Publication Date
WO2015133726A1 true WO2015133726A1 (en) 2015-09-11

Family

ID=54055490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/000659 WO2015133726A1 (en) 2014-03-07 2015-01-22 Messenger service system, messenger service method and device for voice call in same system

Country Status (2)

Country Link
KR (1) KR20150105559A (en)
WO (1) WO2015133726A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546578B2 (en) 2016-12-26 2020-01-28 Samsung Electronics Co., Ltd. Method and device for transmitting and receiving audio data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348664A (en) * 2002-05-30 2003-12-05 Nec Access Technica Ltd Mobile phone
KR20060083338A (en) * 2005-01-14 2006-07-20 에스케이 텔레콤주식회사 Method and system for providing messenger service
KR100692794B1 (en) * 2005-09-27 2007-03-12 에스케이 텔레콤주식회사 Calling system for text response and calling terminal for text response and calling method for text response
KR20080003494A (en) * 2006-07-03 2008-01-08 (주)에스비엔테크 Ip caption video phone and realtime caption relay system for hard of hearing
KR20130013478A (en) * 2011-07-28 2013-02-06 삼성전자주식회사 Apparatus and method for changing call mode in portable terminal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348664A (en) * 2002-05-30 2003-12-05 Nec Access Technica Ltd Mobile phone
KR20060083338A (en) * 2005-01-14 2006-07-20 에스케이 텔레콤주식회사 Method and system for providing messenger service
KR100692794B1 (en) * 2005-09-27 2007-03-12 에스케이 텔레콤주식회사 Calling system for text response and calling terminal for text response and calling method for text response
KR20080003494A (en) * 2006-07-03 2008-01-08 (주)에스비엔테크 Ip caption video phone and realtime caption relay system for hard of hearing
KR20130013478A (en) * 2011-07-28 2013-02-06 삼성전자주식회사 Apparatus and method for changing call mode in portable terminal

Also Published As

Publication number Publication date
KR20150105559A (en) 2015-09-17

Similar Documents

Publication Publication Date Title
US9622052B1 (en) Methods for using a caption device with a mobile device
EP2342890B1 (en) Method and apparatus for scrolling text display of voice call or message during video display session
CN102859480B (en) Screen sharing
WO2014065631A1 (en) Method for operating application providing group call service using mobile voice over internet protocol
WO2013047968A1 (en) User interface method and device
US8254908B2 (en) Server and method for remotely testing electronic devices
WO2013122310A1 (en) Method and apparatus for smart voice recognition
WO2010047470A2 (en) Content providing system and method for providing data service through wireless local area network, and cpns server and mobile communication terminal for the same
WO2014035171A1 (en) Method and apparatus for transmitting file during video call in electronic device
CN111432386B (en) Connection switching method, device, equipment and storage medium of Bluetooth headset
WO2016076472A1 (en) Call control method and system
WO2013154243A1 (en) Method for managing calls and mobile terminal using the same
WO2018217072A1 (en) Method for acquiring user information and electronic device therefor
WO2014042357A1 (en) Screen synchronization control system, and method and apparatus for synchronizing a screen using same
EP2666256A2 (en) Method and apparatus for phone communication using home network
KR100965702B1 (en) Apparatus and method for furnishing epg information in digital multimedia broadcasting terminal
WO2015133726A1 (en) Messenger service system, messenger service method and device for voice call in same system
EP3868089A1 (en) Electronic apparatus and control method thereof
WO2014104579A1 (en) Method for controlling file name and electronic device thereof
WO2016039497A1 (en) Communication service providing method and system for switching between general communication mode and internet communication mode
KR20110056638A (en) Apparatus and method for changing call mode in portable terminal
WO2014182073A1 (en) Method for controlling voice talk of portable terminal
WO2015137619A1 (en) Messenger service system, and messenger service method and apparatus using useful phrase in system
WO2013015555A2 (en) Enhanced visual voice mail
WO2013002478A1 (en) Method and system for providing multimedia content during a communication service

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15758108

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15758108

Country of ref document: EP

Kind code of ref document: A1