WO2020004717A1 - 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치 - Google Patents

입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치 Download PDF

Info

Publication number
WO2020004717A1
WO2020004717A1 PCT/KR2018/011863 KR2018011863W WO2020004717A1 WO 2020004717 A1 WO2020004717 A1 WO 2020004717A1 KR 2018011863 W KR2018011863 W KR 2018011863W WO 2020004717 A1 WO2020004717 A1 WO 2020004717A1
Authority
WO
WIPO (PCT)
Prior art keywords
translation
input
language
string
user
Prior art date
Application number
PCT/KR2018/011863
Other languages
English (en)
French (fr)
Inventor
강경윤
김봉조
고경은
임진희
신혜진
유소영
이상범
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to JP2020573205A priority Critical patent/JP7145988B2/ja
Publication of WO2020004717A1 publication Critical patent/WO2020004717A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/0225—User interface arrangements, e.g. keyboard, display; Interfaces to other computer systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit

Definitions

  • the present application relates to a translation service providing method using an input application for inputting content such as text into an input window of a first application, and a terminal device using the same.
  • the mobile terminal includes a smart phone, a tablet, a wearable device, and the like, and includes various functions that can be provided by a personal computer (PC) such as communication, games, and multimedia services. It is evolving toward the trend of mounting.
  • PC personal computer
  • the mobile terminal should be provided with information input means for receiving information from the user.
  • a virtual keyboard input method is used as an information input means of a mobile terminal.
  • the virtual keyboard input method may refer to a method of displaying a virtual keyboard on a touch screen and receiving a key value corresponding to the key when the user touches a desired key on the virtual keyboard.
  • the present application is to provide a translation service providing method using an input application and a terminal device using the same, which can translate and input a character string input by a user in real time.
  • the present application is to provide a translation service providing method using an input application and a terminal device using the same that can be automatically translated into a language used by a user when a character string written in a foreign language is selected.
  • a translation service providing method using an input application includes: an input interface output step of outputting an input interface for inputting content to the first application according to a request of a first application running on a terminal device; A translation pair setting step of switching the input interface to a translation input mode according to a user input and setting translation pair information of the input language and the translation language according to an input language and a translation language selected by the user; A target string extracting step of extracting a target string corresponding to the input language from the contents when a user inputs content using the input interface; A translation step of generating a translation string by translating the target string into the translation language; And an input step of inputting the translation string into an input window of the first application.
  • Terminal device for outputting an input interface for inputting content to the first application in response to a request of the running first application;
  • a translation pair setting unit for converting the input interface into a translation input mode according to a user input and setting translation pair information of the input language and the translation language according to the input language and the translation language selected by the user;
  • a target string extracting unit configured to extract a target string corresponding to the input language from the contents when a user inputs content using the input interface;
  • an input unit configured to input the translation string into an input window of the first application.
  • Terminal device a processor; And a memory coupled to the processor, wherein the memory includes one or more modules configured to be executed by the processor, wherein the one or more modules correspond to a request of a first application running on a terminal device.
  • Inputting the translation string into the first application It may include, instructions for input to the window.
  • a character string input by a user may be translated and provided in real time.
  • the character string may be automatically translated into a language used by a user and provided. Therefore, the user can conveniently communicate using the input application without using a separate translation program.
  • a method of providing a translation service using an input application and a terminal device using the same it is possible to translate in consideration of the style of a character string input by a user. Therefore, the user can include his or her style or nuance even when communicating using the translation function.
  • FIG. 1 is a schematic diagram showing a translation service providing system according to an embodiment of the present invention.
  • FIG. 2 and 3 is a block diagram showing a terminal device according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram illustrating a translation input mode of an input application according to an embodiment of the present invention.
  • FIG. 5 is a schematic diagram illustrating input language and translation language selection of an input application according to an embodiment of the present invention.
  • FIG 6 and 7 are schematic diagrams showing translation input of an input application according to an embodiment of the present invention.
  • FIG 8 to 10 are schematic diagrams showing reverse translation of an input application according to an embodiment of the present invention.
  • 11 and 12 are flowcharts illustrating a method of providing a translation service by an input application according to an embodiment of the present invention.
  • module and “unit” for components used in the following description are given or used in consideration of ease of specification, and do not have distinct meanings or roles from each other.
  • the term 'part' used in the present invention refers to a hardware component such as software, FPGA or ASIC, and 'part' plays a role. But wealth is not limited to software or hardware.
  • the 'unit' may be configured to be in an addressable storage medium or may be configured to play one or more processors.
  • a 'part' may include components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or further separated into additional components and 'parts'.
  • FIG. 1 is a schematic diagram illustrating a translation service providing system using an input application according to an embodiment of the present invention.
  • a translation service providing system using an input application may include a terminal device 100 and a service server 200.
  • the terminal device 100 can execute various types of applications, and can display the applications being executed by visual or auditory information and provide them to the user.
  • the terminal device 100 may include a display unit for visually displaying an application, and may include an input device unit receiving a user input, a memory in which at least one program is stored, and a processor.
  • Applications executed in the terminal device 100 may include an input window for receiving content such as text, voice, image, and video from a user.
  • an input window may be included in a messenger application for exchanging messages with a counterpart, a memo application for creating and storing a simple memo, a word processor application for creating a document, and the like.
  • applications including an input window are called first applications.
  • the input application may be executed.
  • the input application is provided separately from the first application and may be executed in conjunction with the first application. That is, the input application may be executed when content such as text is input to the input window of the first application, and may perform a function of inputting content input by the user to the first application.
  • the input application may display and provide a virtual keyboard on a display unit of the terminal device, and the user may input a character string or the like into an input window by applying an input to the virtual keyboard. Can be.
  • the user may activate a microphone or a camera provided in the terminal device 100 to obtain a voice or an image, and then input the same in the first application.
  • the input application can provide a variety of additional services, according to an embodiment, it is also possible to provide a translation service using the input application.
  • a user may chat with a foreigner using a messenger application.
  • the user may have difficulty in communication using a foreign language, but the user's convenience may be improved by using a translation service provided by an input application. That is, when the user inputs Korean, the input application may automatically translate and provide English, and may also provide a reverse translation function for translating the English input by the other party to Korean. Therefore, the user can conveniently be provided with a translation service without having to execute a separate application.
  • the terminal device 100 may download and install various applications including an input application by accessing an app store or a play store, and according to an embodiment, the service server 200 or another device ( It is also possible to download via wired or wireless communication with (not shown).
  • the terminal device 100 may be a mobile terminal such as a smartphone or a tablet PC, and may also include a fixed device such as a desktop according to an embodiment.
  • the terminal device 100 includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a slate PC, a tablet.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • slate PC a tablet
  • a tablet PC, an ultrabook, a wearable device eg, a smartwatch, a glass glass, a head mounted display
  • a wearable device eg, a smartwatch, a glass glass, a head mounted display
  • the terminal device 100 may be connected to the service server 200 through a communication network.
  • the communication network may include a wired network and a wireless network.
  • the communication network may include a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and the like. It may include a network.
  • the communication network may also include a known World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network according to the present invention is not limited to the networks listed above, and may include a known wireless data network, a known telephone network, a known wired or wireless television network, and the like.
  • the service server 200 may be connected to the terminal device 100 through an input application, and may provide various services such as a translation service to the terminal device 100 through the input application. According to an exemplary embodiment, the service server 20 may translate the string received from the input application and provide the translated string to the terminal device 100.
  • FIG. 2 is a block diagram illustrating a terminal device according to an embodiment of the present invention.
  • the terminal device 100 may include an input unit 150 and an inverse translation unit 160.
  • the interface output unit 110 may output an input interface for inputting content to the first application according to a request of a running first application.
  • a user may wish to input content such as a string or voice into the first application in order to receive a service by the first application.
  • the interface output unit 110 may execute an input application and output an input interface for content input to the display unit of the terminal device.
  • the first application a may be a messenger application, and a user may exchange a message with a counterpart through a messenger application.
  • the user may input contents such as a character string, a voice, and an image through the input window a2, and the first application a may display the contents input by the user on the content display window a1.
  • an input application may be executed to input content to the input window a1 of the first application a, and the interface output unit 110 outputs the input interface b so that the user inputs the input interface b. It is possible to input the content using.
  • the display unit of the terminal device 100 may display the first application a in one area and the input interface b in the other area.
  • the area where the input interface b is displayed in the display unit may be preset as the setting area.
  • the interface output unit 110 may determine that the first application a calls the input application. That is, when the cursor is located in the input window a2, it can be considered that the user intends to input content in the corresponding input window a2. Therefore, the cursor is located in the input window a2 of the first application. In this case, the input interface b may be output. According to an embodiment, the user may directly position the cursor in the input window a2 of the first application a, and the first application a may automatically position the cursor in the input window a2. Do.
  • the translation pair setting unit 120 may switch the input interface to a translation input mode according to a user's input.
  • the user may input an input language and a translation language for translation, and the translation pair setting unit 120 may set the translation pair information according to the input language and the translation language selected by the user.
  • the input interface b may include a toolbar b2 including a plurality of operation icons.
  • each operation icon is to execute various services provided by the input application, and the input application may provide a service corresponding to each operation icon. For example, when a user selects a search icon, a separate execution window may be output or a search site or a search application may be executed so that the user can perform an internet search.
  • the input window a2 may input the emoticon selected by the user.
  • the toolbar b2 may include a translation icon t. When the user applies an input to the translation icon t, the toolbar b2 may switch to the translation input mode as shown in FIG.
  • the user may input a character string in the original text input window b3, and a translation string corresponding to the character string input in the original text input window b3 may be displayed in the input window a1 of the first application a.
  • the translation pair setting unit 120 may receive an input language and a translation language from the user, and generate the translation pair information using the input language and the translation language.
  • a setting window b4 for the input language and the translation language may be output as shown in FIG. 5.
  • the plurality of language icons (i) corresponding to the input language and the translation language provided by the input application may be displayed on the setting window b4, and among the language icons, languages corresponding to the language icon selected by the user may be displayed.
  • the target string extractor 130 may extract a target string corresponding to the input language from the content.
  • the content input by the user may include a string, a voice, an image, a video, and the like.
  • the virtual keyboard b1 including the keyboard corresponding to the input language may be displayed on the display unit of the terminal device 100. That is, when the user selects Korean as the input language, the Korean keyboard may be displayed, and when the English language is selected, the English keyboard may be displayed.
  • the input language is Korean and the translation language is English, a virtual keyboard b1 corresponding to Korean may be output.
  • the user may input a character string as an input language using the virtual keyboard b1, and the character string input by the user may be displayed on the original text display window b3. Therefore, the user can check the text created by the user through the text display window b3, and if necessary, modify the text.
  • the target string extractor 130 may receive a string input in the original text display window b3 and extract the received string as a target string. That is, since the user directly inputs a string using the virtual keyboard b1, the received string may be extracted as a target string.
  • the user may input a voice as content.
  • the text recognition window b3 may further include a voice recognition icon, and when a user applies an input to the voice recognition icon, the microphone of the terminal device may be activated. Thereafter, the user may receive a voice spoken by the user as a voice signal using a microphone, and a voice recognition algorithm may be applied to the received voice signal.
  • the target string extractor 130 may generate a string corresponding to the voice signal using a speech recognition algorithm, and extract the generated string as the target string.
  • the terminal device 100 or the service server 200 may include a voice model database, and the voice model database may store a standard voice pattern corresponding to each character.
  • the input voice signal may be compared with a standard voice pattern stored in the voice model database, and a standard voice pattern corresponding to each voice signal may be extracted. Thereafter, the extracted standard speech pattern may be converted into a corresponding character, and a target string may be generated by combining the converted characters.
  • the method of converting the voice into the text by the target string extracting unit 130 is not limited thereto, and may convert the voice into the text in various ways.
  • a user it is also possible for a user to input an image as content.
  • an image may be generated by photographing an object including a character string written in an input language using a camera, and a character recognition algorithm may be applied to the generated image.
  • the target string extractor 130 may recognize a string included in the image by using a character recognition algorithm, and may extract the recognized string as the target string.
  • the distribution of pixel values for an image may be expressed as a shape pattern, which is an electrical signal, and a standard shape pattern corresponding to each letter may be stored in a character model database.
  • the input shape pattern may be compared with the standard shape pattern stored in the character model database, and the standard shape pattern corresponding to each shape pattern may be extracted. Thereafter, the target character string may be generated by converting each character into a character corresponding to the extracted standard shape pattern.
  • the method of recognizing the characters included in the image by the target string extracting unit 130 is not limited thereto, and may also recognize the characters included in the image in various ways.
  • the target string extractor 130 may extract the target string by recognizing the voice included in the video.
  • the translation unit 140 may generate a translation string by translating the target string into a translation language.
  • the translation unit 140 may include a translation engine, and may translate the target string into a translation language by using the translation engine.
  • the translation engine may be to provide statistics-based machine translation or artificial neural network machine translation, and may be formed by learning in a machine learning method such as deep learning.
  • the translation string generated by the translation engine may be displayed in the input window a2 of the first application a.
  • the translation unit 140 may generate a translation string by changing the style of the translation string according to the stylistic information set by the user.
  • the stylistic information may include written, colloquial, and colloquial texts
  • the translation unit 140 may generate a translated string in written, colloquial, or colloquial fonts according to a user's selection.
  • a user may input a character string into an input language including various styles or nuances according to his or her purpose or purpose, but the style or nuance may be omitted in the translation process. Therefore, the user can include the nuances he wishes to convey in the translated string by selecting the desired style from the style information to set the style of the translation string.
  • the style information it is also possible to set the style information as a business method, a social gathering method, an SNS method, or the like.
  • the translation engine may be learned through machine learning, so as to provide a result corresponding to the selectable style in each style information.
  • the translation unit 140 may translate the same target string into different languages and provide the same to the user. For example, there may be a case where a user talks with a plurality of foreigners, and each foreigner may have a different language. In this case, when the user applies a reset input for changing the translation language while maintaining the target string, the target string may be retranslated and displayed in the translation language corresponding to the reset input.
  • the user may first try to translate Korean into English. Thereafter, while maintaining the same target string, the translation language may be reset by applying an input to the translation setting icon s. That is, as illustrated in FIG. 7B, a reset input may be applied to the translation unit 140 by selecting “Japanese” as a translation language from among a plurality of language icons. In this case, as shown in Fig. 7C, the same target character string can be retranslated into Japanese corresponding to the reset input and displayed in the input window a2. Through this, the user can conveniently translate one target string into a plurality of different languages and input the same.
  • the translation may be performed in the service server 200.
  • the translation unit 140 may request translation by transmitting the target string and the translation pair information to the service server 200.
  • the service server 200 may include a translation engine. After the translation is performed using the translation engine, the service server 200 may provide a translation string to the translation unit 140.
  • the input unit 150 may input the translation string into the input window a2 of the first application. That is, as illustrated in FIG. 6A, the translation string generated by the translation unit 140 may be displayed on the input window a1 of the first application a by the input unit 150. Thereafter, when the user inputs an input button of the input window a1, the translation string may be input to the first application and displayed on the content display window a1.
  • the target text input by the user as an input language may be displayed in the original text display window b3, and a translation string may be displayed in the input window a1. Accordingly, the user may check the target string input by the user and the translated translation string. If there is no error, the user may input the translation string through the input window of the first application. Here, the user inputs a character string. However, even when the user inputs a voice or an image, the target character string and the translation string corresponding to the voice or image input by the user are respectively displayed in the input display window b3 and the input window. This can be confirmed through (a2). In the case of translation, since there is a risk of translating to a completely different content in the case of including a typo, it can be provided so that the user can check before input through the input display window (b3) and the input window (a2).
  • the reverse translation unit 160 may reverse-translate the string displayed in the translation language included in the first application into the input language at the request of the user. That is, the reverse translation string may be generated by reverse translation of the selected string selected by the user into the input language, and the generated reverse translation string may be displayed to the user.
  • a plurality of character strings displayed in a translation language may be included in the content display window a1 of the first application a.
  • the user may select a string to be reverse translated from the plurality of strings and copy the string to the clipboard.
  • the control window a3 displayed when selecting the character string is performed by the first application a, and it is difficult to control the operation of the input application using the control window a3. Therefore, when the first application (a) copies the string to the clipboard, the input application can access the clipboard to extract information about the copied string, which can be extracted as the selection string. That is, the first application and the input application may share the selection string through the clipboard.
  • the reverse translation unit 160 may extract an input language corresponding to the translation language from the translation pair information set in the translation pair setting unit 120, and reverse-translate the selected string according to the extracted input language. Can be generated.
  • the reverse translation unit 160 may directly perform reverse translation, but in some embodiments, it may be possible to request reverse translation from the translation unit 140.
  • the reverse translation string b5 can be displayed on the input interface b.
  • the inverse translation unit 160 can control the input application
  • the inverse translation string b5 may be displayed on the input interface b of the input application.
  • the reverse translation string b5 may be displayed only for a set display time (for example, 3 seconds) or may disappear when the user taps or swipes the reverse translation string b5. . Therefore, when chatting with a foreigner, the user can easily check the message transmitted by the counterpart through reverse translation.
  • the reverse translation can be automatically performed without setting a translation language or the like.
  • the reverse translation unit 160 may adjust the size of the reverse translation string b5 to be displayed according to the length of the reverse translation string. As shown in FIG. 9 (a), when the selection string is three lines, the set font size may be displayed. However, when the selection string is 7 lines or more as shown in FIG. The translation string can be displayed simultaneously in one screen.
  • the font size or the length of the inverse translation string to which the font size reduction is applied may be variously set according to an embodiment, and in some embodiments, the inverse translation string b5 may be displayed through scrolling or the like. Do.
  • the inverse translation string is displayed on the input interface (b), and if the input interface (b) is not displayed in the display unit, the inverse translation string may not be displayed.
  • the copying to the clipboard is performed by the user on the first application, and may exist when the user does not intend to generate the reverse translation string. Accordingly, the reverse translation unit 160 may not display the translation string when the input interface b is not displayed in the display unit.
  • the first application a may access the input interface b. There is also a case where it is set not to display. At this time, when the user outputs the input interface again within the set time, it can be seen that the user wants to check the reverse translation string. Accordingly, as shown in FIG. 10 (b), the reverse translation string b5 may be displayed together with the output interface b, thereby providing the reverse translation string b5 to the user.
  • the terminal device 100 may include a physical configuration of the processor 10, memory 40, etc., within the memory 40 May include one or more modules configured to be executed by the processor 10.
  • the one or more modules may include an interface output module, a translation pair setting module, a target string extraction module, a translation module, an input module, and a reverse translation module.
  • the processor 10 may execute various software programs and an instruction set stored in the memory 40 to perform various functions and to process data.
  • the peripheral interface unit 30 may connect an input / output peripheral device of the computer device to the processor 10 and the memory 40, and the memory controller 20 may include the memory 10 of the processor 10 or a component of the computer device. In the case of accessing, the function of controlling the memory access may be performed.
  • the processor 10, the memory controller 20, and the peripheral interface unit 30 may be implemented on a single chip or may be implemented as separate chips.
  • the memory 40 may include fast random access memory, one or more magnetic disk storage devices, nonvolatile memory such as a flash memory device, and the like.
  • the memory 40 may further include a storage device located away from the processor 10, a network-attached storage device accessed through a communication network such as the Internet, and the like.
  • the display unit 50 may be configured to display the contents so that a user may check the contents of the first application or the input application through time.
  • the display unit 50 may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, and a flexible display.
  • the display may be visually performed using a 3D display, an electrophoretic display, or the like.
  • the display unit may be implemented in various ways.
  • the display unit 50 may further include a speaker or the like to allow the user to perceive the sound or the sound.
  • the display unit 50 may further include a haptic unit, and the like, so that the content can be recognized through the tactile sense. That is, the display unit 50 may allow the user to recognize using visual, auditory, and tactile senses.
  • the input device unit 60 receives input from a user, and includes a keyboard, a keypad, a mouse, a touch pen, a touch pad, and a touch panel.
  • a jog wheel, a jog switch, and the like may correspond to the input device unit 60.
  • the terminal device 100 the operating system in the memory 40, the interface output module, translation pair setting module, the target string corresponding to the application program It may include an extraction module, a translation module, an input module and a reverse translation module.
  • each module may be stored in the memory 40 as a set of instructions for performing the above-described function.
  • the terminal device 100 may access the memory 40 so that the processor 10 may execute instructions corresponding to each module.
  • the interface output module, the translation pair setting module, the target string extraction module, the translation module, the input module, and the reverse translation module may include the interface output unit, the translation pair setting unit, the target string extraction unit, the translation unit, the input unit, and the reverse translation unit.
  • 11 and 12 are flowcharts illustrating a translation service providing method using an input application according to an embodiment of the present invention.
  • a translation service providing method includes an input interface output step S10, a translation pair setting step S20, a target string extraction step S30, and a translation step S40. ), The input step (S50) and the reverse translation step (S60). Here, each step may be performed by the terminal device.
  • an input interface for inputting content to the first application may be output according to a request of the first application running in the terminal device.
  • a user may wish to input content such as a string or voice into the first application in order to receive a service by the first application.
  • the input application may be executed to output an input interface for content input to the display unit of the terminal device.
  • the input interface may be output when the cursor is positioned in the input window of the first application, and the input interface may be displayed in the setting area of the display unit included in the terminal device.
  • the input interface may be switched to the translation input mode according to the user's input, and the translation pair information of the input language and the translation language may be set according to the input language and the translation language selected by the user.
  • the input application may include a translation icon for switching to the translation input mode, and may be switched to the translation input mode when the user applies an input to the translation icon.
  • an interface for receiving input languages and translation languages required for translation from a user may be output. That is, each language icon corresponding to a plurality of languages may be displayed, and a user may select a language icon corresponding to an input language and a translation language, respectively, from among the plurality of language icons. Thereafter, a language corresponding to the language icon selected by the user may be set as the input language and the translation language, respectively, and these may be bundled and set as translation pair information.
  • the target string extracting step (S30) when a user inputs content using an input interface, the target string corresponding to the input language may be extracted from the content.
  • the content may include at least one of a character string, a voice, an image, and a video.
  • a character string may be input as the content.
  • the virtual keyboard including the keyboard corresponding to the input language may be displayed on the display unit of the terminal device. Thereafter, the user may receive a string input by the user as an input language through the virtual keyboard, and after receiving the string, the string may be extracted as a target string. That is, the string input by the user with the virtual keyboard may be extracted as the target string.
  • the voice of the input language may be received as a voice signal using a microphone of the terminal device, and a voice recognition algorithm is applied to the received voice signal to correspond to the voice signal. You can extract the target string. Since the extraction of the target string using the speech recognition algorithm has been described above, a detailed description thereof will be omitted.
  • the target string extraction step (S30) an image including a character string written in an input language may be photographed using a camera of the terminal device. Subsequently, a character recognition algorithm may be applied to the image to extract a string included in the image as a target string.
  • a character recognition algorithm may be applied to the image to extract a string included in the image as a target string.
  • the target string may be translated into a translation language to generate a translation string.
  • the translation may be performed using a translation engine that provides statistics-based machine translation or artificial neural network machine translation.
  • the translation step (S40) to send the target string and the translation pair information to the translation server to request a translation, and to generate the translation string by receiving the translation string translated in the translation language from the translation server It is possible.
  • the translation step (S40) according to the stylistic information set by the user, it is possible to generate a translation string by setting the style of the translation string to colloquial, written, hard language and the like.
  • the style information such as business speech, social communication speech, SNS upload speech. That is, by setting the style of the translation string, the user can generate the translation string including various nuances according to his purpose or purpose.
  • the translation string can be input to the input window of the first application. That is, the translation string may be displayed in the input window of the first application. Then, when the user inputs the input button of the input window, the translation string may be input to the first application.
  • the input interface may include a text display window, and the target text input by the user as an input language may be displayed on the text display window. Accordingly, the user may simultaneously check the target string input by the user and the translated translation string. If there is no error, the user may input the translation string through the input window of the first application.
  • the reverse translation string may be generated by inversely translating the string displayed in the translation language included in the first application into the input language. That is, the reverse translation string may be generated by reverse translation of the selected string selected by the user into the input language, and the generated reverse translation string may be displayed to the user.
  • the reverse translation step S60 is shown as being performed after the input step S50, the present invention is not limited thereto, and the reverse translation step S60 may be performed at various times.
  • a selection string copied by a user to a clipboard may be extracted from a plurality of strings displayed as a translation language in the first application (S61). That is, the string copied by the first application may be stored in the clipboard, and the input application may access the clipboard and extract the selection string selected by the user.
  • the input language corresponding to the translation language may be extracted from the translation pair information, and the selected string may be translated back into the input language to generate a reverse translation string (S62).
  • the input application performs a translation function
  • translation pair information is set, and the translation pair information includes an input language selected by the user and a translation language.
  • the reverse translation step (S60) it is possible to reverse translation of the translation language into the input language using the translation pair information. That is, the reverse translation string may be generated by reverse translation of the selection string into the input language.
  • the reverse translation string may be displayed on the input interface (S63). That is, the reverse translation string may be displayed on the display unit and provided to the user.
  • the reverse translation string may be displayed for a set display time (for example, 3 seconds).
  • the user inputs a separate gesture such as tapping or swiping the reverse translation string. It is also possible to make it disappear.
  • the reverse translation string is displayed on the input interface, and if the input interface is not displayed in the display unit included in the terminal device, the reverse translation string may not be displayed. You can copy a string for a variety of reasons, and copying a string is not necessarily equivalent to requiring the display of a reverse translation string. Therefore, when the input interface is not displayed, the reverse translation string may not be displayed.
  • the reverse translation string may be displayed on the input interface. It may be considered that the user intends to check the reverse translation string to generate the input interface again within the set time after generating the reverse translation string. Therefore, the reverse translation string can be displayed simultaneously while displaying the input interface.
  • the present invention described above can be embodied as computer readable codes on a medium in which a program is recorded.
  • the computer readable medium may be to continuously store a computer executable program or temporarily store the program for execution or download.
  • the medium may be a variety of recording means or storage means in the form of a single or several hardware combined, not limited to a medium directly connected to any computer system, it may be distributed on the network. Examples of media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And program instructions may be stored including a ROM, a RAM, a flash memory, and the like.
  • examples of other media may include a recording medium or a storage medium managed by an app store that distributes an application, a site that supplies or distributes various software, a server, or the like. Accordingly, the above detailed description should not be construed as limiting in all aspects and should be considered as illustrative. The scope of the invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the invention are included in the scope of the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 출원은 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 관한 것으로서, 본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 방법은, 단말장치에서 실행 중인 제1 어플리케이션의 요청에 따라, 상기 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력하는 입력 인터페이스 출력단계; 사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 상기 입력언어 및 번역언어의 번역쌍정보를 설정하는 번역쌍 설정단계; 사용자가 상기 입력 인터페이스를 이용하여 컨텐츠를 입력하면, 상기 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출하는 대상문자열 추출단계; 상기 대상문자열을 상기 번역언어로 번역하여, 번역문자열을 생성하는 번역단계; 및 상기 번역문자열을 상기 제1 어플리케이션의 입력창에 입력하는 입력단계를 포함할 수 있다.

Description

입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
본 출원은 제1 어플리케이션의 입력창에 문자 등 컨텐츠를 입력하는 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 관한 것이다.
최근들어, 디지털 기술의 발달로 인하여 모바일 단말의 사용이 보편화되고 있으며, 이를 이용한 다양한 서비스들이 제공되고 있다.
모바일 단말은 스마트폰(smart phone), 태블릿(tablet), 웨어러블 디바이스(wearable device) 등을 포함하며, 통신, 게임, 멀티미디어 서비스 등과 같이 개인용 컴퓨터(PC: Personel Computer)에서 제공할 수 있는 다양한 기능들을 탑재하는 추세로 발전하고 있다.
통상 모바일 단말은 사용자로부터 정보를 입력 받을 수 있는 정보 입력 수단을 구비하여야 한다. 최근에는 모바일 단말의 정보 입력 수단으로서 가상 키보드 입력 방식을 사용하는 추세이다. 가상 키보드 입력 방식이란 터치스크린 상에 가상 키보드를 표시하고 사용자가 가상 키보드에서 원하는 키를 접촉하면 그 키에 대응되는 키 값을 입력 받는 방식을 의미할 수 있다.
가상 키보드 관련 기술은 Arthur, C. Lamb, Jr. 등에게 허여된 미국 특허 제5,276,794호에 개시되어 있다. 해당 기술에서는 데이터 필드를 포인터로 선택하면 가상 키보드가 팝업 되어 디스플레이 된다. 가상 키보드는 키 영역과 표시 영역을 가지며, 사용자에 의해 키 영역 내에 구성된 소정의 키가 선택되면 해당 키의 문자가 표시 영역에 표시된다.
본 출원은, 사용자가 입력하는 문자열 등을 실시간으로 번역하여 입력할 수 있는, 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다.
본 출원은, 외국어로 기재된 문자열을 선택하면 자동으로 사용자가 사용하는 언어로 번역하여 제공할 수 있는, 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다.
본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 방법은, 단말장치에서 실행 중인 제1 어플리케이션의 요청에 따라, 상기 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력하는 입력 인터페이스 출력단계; 사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 상기 입력언어 및 번역언어의 번역쌍정보를 설정하는 번역쌍 설정단계; 사용자가 상기 입력 인터페이스를 이용하여 컨텐츠를 입력하면, 상기 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출하는 대상문자열 추출단계; 상기 대상문자열을 상기 번역언어로 번역하여, 번역문자열을 생성하는 번역단계; 및 상기 번역문자열을 상기 제1 어플리케이션의 입력창에 입력하는 입력단계를 포함할 수 있다.
본 발명의 일 실시예에 의한 단말장치는, 실행 중인 제1 어플리케이션의 요청에 따라, 상기 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력하는 인터페이스 출력부; 사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 상기 입력언어 및 번역언어의 번역쌍정보를 설정하는 번역쌍 설정부; 상기 입력 인터페이스를 이용하여 사용자가 컨텐츠를 입력하면, 상기 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출하는 대상문자열 추출부; 상기 대상문자열을 상기 번역언어로 번역하여, 번역문자열을 생성하는 번역부; 및 상기 번역문자열을 상기 제1 어플리케이션의 입력창에 입력하는 입력부를 포함할 수 있다.
본 발명의 다른 실시예에 의한 단말장치는, 프로세서; 및 상기 프로세서에 커플링된 메모리를 포함하는 것으로서, 상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고, 상기 하나 이상의 모듈은, 단말장치에서 실행 중인 제1 어플리케이션의 요청에 따라, 상기 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력하고, 사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 상기 입력언어 및 번역언어의 번역쌍정보를 설정하며, 사용자가 상기 입력 인터페이스를 이용하여 상기 컨텐츠를 입력하면, 상기 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출하고, 상기 대상문자열을 상기 번역언어로 번역하여 번역문자열을 생성하며, 상기 번역문자열을 상기 제1 어플리케이션의 입력창에 입력하는, 명령어를 포함할 수 있다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 의하면, 사용자가 입력하는 문자열 등을 실시간으로 번역하여 제공할 수 있다. 또한, 외국어로 기재된 문자열을 선택하면 자동으로 사용자가 사용하는 언어로 번역하여 제공할 수 있다. 따라서, 사용자는 별도의 번역 프로그램 등을 사용할 필요없이, 입력 어플리케이션을 이용하여 편리하게 의사소통할 수 있다.
본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 의하면, 사용자가 입력하는 문자열의 문체를 고려하여 번역하는 것이 가능하다. 따라서, 사용자는 번역기능을 이용하여 의사소통을 하는 경우에도, 자신의 문체나 뉘앙스를 포함시킬 수 있다.
다만, 본 발명의 실시예들에 따른 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도1은 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템을 나타내는 개략도이다.
도2 및 도3은 본 발명의 일 실시예에 의한 단말장치를 나타내는 블록도이다.
도4는 본 발명의 일 실시예에 의한 입력 어플리케이션의 번역입력모드를 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 입력 어플리케이션의 입력언어 및 번역언어 선택을 나타내는 개략도이다.
도6 및 도7은 본 발명의 일 실시예에 의한 입력 어플리케이션의 번역입력을 나타내는 개략도이다.
도8 내지 도10은 본 발명의 일 실시예에 의한 입력 어플리케이션의 역번역을 나타내는 개략도이다.
도11 및 도12는 본 발명의 일 실시예에 의한 입력 어플리케이션에 의한 번역 서비스 제공 방법을 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도1은 본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 시스템을 나타내는 개략도이다.
도1을 참조하면 본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 시스템은, 단말장치(100) 및 서비스 서버(200)를 포함할 수 있다.
이하, 도1을 참조하여 본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 시스템을 설명한다.
단말장치(100)는 다양한 종류의 어플리케이션들을 실행할 수 있으며, 실행 중인 어플리케이션을 시각이나 청각 등으로 표시하여 사용자에게 제공할 수 있다. 단말장치(100)는 어플리케이션을 시각적으로 표시하기 위한 디스플레이부를 포함할 수 있으며, 사용자의 입력을 인가받는 입력장치부, 적어도 하나의 프로그램이 저장된 메모리 및 프로세서를 포함할 수 있다.
단말장치(100)에서 실행되는 어플리케이션들은, 사용자로부터 문자나 음성, 이미지, 동영상 등의 컨텐츠를 입력받는 입력창을 포함할 수 있다. 예를들어, 상대방과 메시지를 주고받는 메신저 어플리케이션, 간단한 메모를 작성하고 저장하는 메모 어플리케이션, 문서를 작성하기 위한 워드프로세서 어플리케이션 등에는 입력창이 포함될 수 있다. 이하, 입력창을 포함하는 어플리케이션들을 제1 어플리케이션이라 한다.
사용자가 제1 어플리케이션의 입력창에 문자 등을 입력하고자 하는 경우에는, 입력 어플리케이션이 실행될 수 있다. 입력 어플리케이션은 제1 어플리케이션과는 별도로 구비되는 것으로, 제1 어플리케이션에 부대하여 실행될 수 있다. 즉, 입력 어플리케이션은 제1 어플리케이션의 입력창에 문자 등의 컨텐츠를 입력하는 경우에 실행되어, 제1 어플리케이션에 사용자가 입력하는 컨텐츠를 입력하는 기능을 수행할 수 있다. 예를들어, 사용자가 문자를 입력하고자 하는 경우에는, 입력 어플리케이션이 단말장치의 디스플레이부에 가상 키보드를 표시하여 제공할 수 있으며, 사용자는 가상 키보드에 입력을 인가하여 입력창에 문자열 등을 입력할 수 있다. 이외에도, 사용자가 음성이나 이미지를 입력하고자 하는 경우에는, 단말장치(100)에 구비된 마이크 또는 카메라를 활성화시켜 음성이나 이미지를 획득한 후, 이를 제1 어플리케이션 내에 입력시킬 수 있다.
한편, 입력 어플리케이션은 다양한 부가서비스를 제공할 수 있으며, 실시예에 따라서는, 입력 어플리케이션을 이용하여 번역 서비스를 제공하는 것도 가능하다. 예를들어, 사용자는 메신저 어플리케이션을 이용하여 외국인과 채팅을 수행할 수 있다. 이때 사용자는 외국어를 이용한 커뮤니케이션에 어려움을 겪을 수 있으나, 입력 어플리케이션이 제공하는 번역서비스를 이용하여 사용자의 편의성을 향상시킬 수 있다. 즉, 사용자가 한국어를 입력하면, 입력 어플리케이션에서 자동으로 영어로 번역하여 제공할 수 있으며, 상대방이 입력한 영어를 한국어로 번역하는 역번역 기능도 제공할 수 있다. 따라서, 사용자는 별도의 어플리케이션 등을 실행할 필요없이, 편리하게 번역서비스를 제공받을 수 있다.
단말장치(100)는 앱 스토어(App store) 또는 플레이 스토어(Play store) 등에 접속하여 입력 어플리케이션을 포함하는 다양한 어플리케이션들을 다운로드받아 설치할 수 있으며, 실시예에 따라서는 서비스 서버(200) 또는 타 기기(미도시)와의 유선 또는 무선 통신을 통하여 다운로드받는 것도 가능하다.
단말장치(100)는 스마트폰, 태블릿 PC 등의 이동 단말기일 수 있으며, 실시예에 따라서는 데스크탑 등의 고정형 장치도 포함될 수 있다. 여기서, 단말장치(100)에는 휴대폰, 스마트 폰(Smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
한편, 단말장치(100)는 통신 네트워크를 통하여 서비스 서버(200)와 연결될 수 있다. 여기서, 통신 네트워크는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등 다양한 네트워크를 포함할 수 있다. 또한, 통신 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)을 포함할 수도 있다. 다만, 본 발명에 따른 통신 네트워크는 상기 열거된 네트워크에 국한되지 않으며, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유선 또는 무선 텔레비전 네트워크 등을 포함할 수 있다.
서비스 서버(200)는 입력 어플리케이션을 통하여 단말장치(100)와 연결될 수 있으며, 단말장치(100)에게 입력 어플리케이션을 통하여 번역 서비스 등 다양한 서비스를 제공할 수 있다. 실시예에 따라서는, 서비스 서버(20)가 입력 어플리케이션으로부터 수신된 문자열에 대한 번역을 수행하여, 번역된 문자열을 단말장치(100)로 제공하는 것도 가능하다.
도2는 본 발명의 일 실시예에 의한 단말장치를 나타내는 블록도이다.
도2를 참조하면, 본 발명의 일 실시예에 의한 단말장치(100)는, 인터페이스 출력부(110), 번역쌍 설정부(120), 대상 문자열 추출부(130), 번역부(140), 입력부(150) 및 역번역부(160)를 포함할 수 있다.
이하. 도2를 참조하여 본 발명의 일 실시예에 의한 단말장치를 설명한다.
인터페이스 출력부(110)는, 실행 중인 제1 어플리케이션의 요청에 따라, 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력할 수 있다. 사용자는 제1 어플리케이션에 의한 서비스 등을 제공받기 위하여, 제1 어플리케이션에 문자열이나 음성 등의 컨텐츠를 입력하고자 할 수 있다. 이 경우, 인터페이스 출력부(110)는 입력 어플리케이션을 실행하여, 컨텐츠 입력을 위한 입력 인터페이스를 단말장치의 디스플레이부에 출력할 수 있다.
구체적으로, 도4(a)를 참조하면, 제1 어플리케이션(a)은 메신저 어플리케이션일 수 있으며, 사용자는 메신저 어플리케이션을 통하여 상대방과 메시지를 주고받을 수 있다. 사용자는 입력창(a2)을 통하여 문자열이나 음성, 이미지 등의 컨텐츠를 입력할 수 있으며, 제1 어플리케이션(a)은 사용자가 입력한 컨텐츠들을 컨텐츠 표시창(a1)에 표시할 수 있다.
여기서, 제1 어플리케이션(a)의 입력창(a1)에 컨텐츠를 입력하기 위해 입력 어플리케이션이 실행될 수 있으며, 인터페이스 출력부(110)는 입력 인터페이스(b)를 출력하여, 사용자가 입력 인터페이스(b)를 이용하여 컨텐츠를 입력하도록 할 수 있다. 이 경우, 단말장치(100)의 디스플레이부에는 일 영역에 제1 어플리케이션(a)이 표시되고, 타 영역에는 입력 인터페이스(b)가 표시될 수 있다. 여기서, 입력 인터페이스(b)가 디스플레이부 내에 표시되는 영역은 설정영역으로 미리 설정되어 있을 수 있다.
한편, 인터페이스 출력부(110)는 제1 어플리케이션의 입력창(a2)에 커서(cursor)가 위치하는 경우에는, 제1 어플리케이션(a)이 입력 어플리케이션을 호출하는 것으로 판별할 수 있다. 즉, 커서가 입력창(a2)에 위치하는 경우에는 사용자가 해당 입력창(a2)에 컨텐츠를 입력하고자 하는 의도가 있는 것으로 볼 수 있으므로, 제1 어플리케이션의 입력창(a2)에 커서가 위치하는 경우에는 입력 인터페이스(b)를 출력시킬 수 있다. 실시예에 따라서는, 사용자가 직접 제1 어플리케이션(a)의 입력창(a2)에 커서를 위치시킬 수 있으며, 제1 어플리케이션(a)이 자동으로 입력창(a2)에 커서를 위치시키는 것도 가능하다.
번역쌍 설정부(120)는, 사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환할 수 있다. 여기서, 사용자는 번역을 위한 입력언어 및 번역언어를 입력할 수 있으며, 번역쌍 설정부(120)는 사용자가 선택한 입력언어 및 번역언어에 따라, 번역쌍정보를 설정할 수 있다. 도4(a)를 참조하면, 입력 인터페이스(b)에는 복수의 동작아이콘을 포함하는 툴바(b2)가 포함될 수 있다. 여기서, 각각의 동작아이콘들은 입력 어플리케이션이 제공하는 다양한 서비스를 실행하기 위한 것으로서, 입력 어플리케이션은 각각의 동작아이콘에 대응하는 서비스를 제공할 수 있다. 예를들어, 사용자가 검색아이콘을 선택하면, 사용자가 인터넷 검색을 수행할 수 있도록 별도의 실행창을 출력하거나, 검색 사이트 또는 검색 어플리케이션을 실행할 수 있다. 또한, 이모티콘 아이콘을 선택하면, 캐릭터 등의 동작이나 형상을 포함하는 이모티콘이 표시되며, 사용자가 선택한 이모티콘을 입력창(a2)이 입력할 수 있다. 한편, 툴바(b2)에는 번역아이콘(t)이 포함될 수 있으며, 사용자가 번역아이콘(t)에 입력을 인가하면, 도4(b)에 도시한 바와 같이 번역입력모드로 전환할 수 있다.
이 경우, 사용자는 원문입력창(b3)에 문자열을 입력할 수 있으며, 원문입력창(b3)에 입력한 문자열에 대응하는 번역문자열이 제1 어플리케이션(a)의 입력창(a1)에 표시될 수 있다. 여기서, 입력 어플리케이션이 번역을 수행하기 위해서는, 사용자가 입력하는 입력언어와, 번역하고자 하는 번역언어에 대한 정보를 입력받을 필요가 있다. 이를 위하여, 번역쌍 설정부(120)는 사용자로부터 입력언어와 번역언어를 수신할 수 있으며, 입력언어와 번역언어를 이용하여 번역쌍정보를 생성할 수 있다.
구체적으로, 도4(b)의 번역설정 아이콘(s)에 사용자가 입력을 인가하면, 도5와 같이 입력언어 및 번역언어에 대한 설정창(b4)이 출력될 수 있다. 여기서, 설정창(b4)에는 입력 어플리케이션이 제공하는 입력언어와 번역언어에 대응하는 복수의 언어아이콘(i)들이 표시될 수 있으며, 언어 아이콘 중에서 사용자가 선택한 언어 아이콘에 대응하는 언어들을 각각 입력언어와 번역언어로 설정할 수 있다. 예를들어, 입력언어로 한국어를 선택하고, 번역언어로 영어를 선택하는 경우에는, 한국어와 영어를 묶어서 번역쌍정보를 생성할 수 있다.
대상 문자열 추출부(130)는, 입력 인터페이스(b)를 이용하여 사용자가 컨텐츠를 입력하면, 컨텐츠로부터 입력언어에 대응하는 대상문자열을 추출할 수 있다. 여기서, 사용자가 입력하는 컨텐츠에는 문자열, 음성, 이미지, 동영상 등이 포함될 수 있다.
구체적으로, 도6에 도시한 바와 같이, 사용자가 입력하는 컨텐츠가 문자열인 경우에는, 입력언어에 대응하는 자판을 포함하는 가상 키보드(b1)를 단말장치(100)의 디스플레이부에 표시할 수 있다. 즉, 사용자가 입력언어로 한국어를 선택한 경우에는 한글 키보드가 표시되고, 영어를 선택한 경우에는 영어 키보드가 표시될 수 있다. 여기서는, 입력언어가 한국어이고 번역언어가 영어이므로, 한국어에 대응하는 가상 키보드(b1)가 출력될 수 있다.
이후, 사용자는 가상 키보드(b1)를 이용하여 입력언어로 문자열을 입력할 수 있으며, 사용자가 입력한 문자열은 원문표시창(b3)에 표시될 수 있다. 따라서, 사용자는 자신이 작성한 문자열을 원문표시창(b3)을 통하여 확인할 수 있으며, 필요한 경우에는 수정 등을 할 수 있다. 여기서, 대상 문자열 추출부(130)는 원문표시창(b3)에 입력된 문자열을 수신할 수 있으며, 수신된 문자열을 대상 문자열로 추출할 수 있다. 즉, 사용자가 가상 키보드(b1)를 이용하여 직접 문자열을 입력하는 경우에 해당하므로, 수신한 문자열을 대상 문자열로 추출할 수 있다.
한편, 실시예에 따라서는, 사용자가 음성을 컨텐츠로 입력하는 것도 가능하다. 도시하지는 않았으나, 원문표시창(b3) 내에 음성인식 아이콘을 더 포함할 수 있으며, 사용자가 음성인식 아이콘에 입력을 인가하는 경우에는 단말장치의 마이크를 활성화할 수 있다. 이후, 마이크를 이용하여 사용자가 발화하는 음성을 음성신호로 수신할 수 있으며, 수신한 음성신호에 음성인식 알고리즘을 적용할 수 있다. 이 경우, 대상 문자열 추출부(130)는 음성인식 알고리즘을 이용하여 음성신호에 대응하는 문자열을 생성할 수 있으며, 생성한 문자열을 대상 문자열로 추출할 수 있다. 예를들어, 단말장치(100) 또는 서비스 서버(200)는 음성모델 데이터베이스 등을 구비할 수 있으며, 음성모델 데이터베이스에는 각각의 문자에 대응하는 표준음성패턴이 저장되어 있을 수 있다. 이 경우, 입력되는 음성신호를 음성모델 데이터베이스에 저장된 표준음성패턴과 비교할 수 있으며, 각각의 음성신호에 대응하는 표준음성패턴을 추출할 수 있다. 이후, 추출한 표준음성패턴을 대응하는 문자로 변환할 수 있으며, 변환된 문자들을 결합하여 대상 문자열을 생성할 수 있다. 다만, 대상문자열 추출부(130)가 음성을 문자로 변환하는 방식은 이에 한정되는 것은 아니며, 이외에도 다양한 방식으로 음성을 문자로 변환할 수 있다.
다른 실시예에 의하면, 사용자가 이미지를 컨텐츠로 입력하는 것도 가능하다. 예를들어, 인쇄물이나 표지판 등에 기재된 외국어를 번역하여 입력하고자 하는 경우가 있을 수 있으며, 이 경우 외국어를 직접 입력하는 것보다는 이를 촬영하여 생성한 이미지를 번역하는 것이, 사용자 편의상 유리할 수 있다. 도시하지는 않았으나, 원문표시창(b3) 내에 카메라 아이콘을 더 포함할 수 있으며, 사용자가 카메라 아이콘에 입력을 인가하면 단말장치의 카메라를 활성화시킬 수 있다. 이후, 카메라를 이용하여 입력언어로 작성된 문자열을 포함하는 대상물을 촬영하여 이미지를 생성할 수 있으며, 생성한 이미지에 문자인식 알고리즘을 적용할 수 있다. 이 경우, 대상 문자열 추출부(130)는 문자인식 알고리즘을 이용하여 이미지에 포함된 문자열을 인식할 수 있으며, 인식한 문자열을 대상 문자열로 추출할 수 있다. 예를들어, 이미지에 대한 픽셀값의 분포를 전기적 신호인 형상패턴으로 표현할 수 있으며, 문자모델 데이터베이스 등에는 각각의 문자에 대응하는 표준형상패턴이 저장되어 있을 수 있다. 이 경우, 입력되는 형상패턴을 문자모델 데이터베이스에 저장된 표준형상패턴과 비교할 수 있으며, 각각의 형상패턴에 대응하는 표준형상패턴을 추출할 수 있다. 이후, 추출한 표준형상패턴에 대응하는 문자로 각각 변환하여 대상 문자열을 생성할 수 있다. 다만, 대상문자열 추출부(130)가 이미지에 포함된 문자를 인식하는 방식은 이에 한정되는 것은 아니며, 이외에도 다양한 방식으로 이미지에 포함된 문자를 인식할 수 있다.
이외에도, 대상 문자열 추출부(130)는 동영상에 포함된 음성을 인식하여 대상 문자열을 추출하는 것도 가능하다.
번역부(140)는 대상문자열을 번역언어로 번역하여 번역문자열을 생성할 수 있다. 여기서, 번역부(140)는 번역엔진을 포함할 수 있으며, 번역엔진을 이용하여 대상문자열을 번역언어로 번역할 수 있다. 번역엔진은 통계기반 기계번역 또는 인공신경망 기계번역을 제공하는 것일 수 있으며, 딥러닝 등 머신러닝 방식으로 학습하여 형성할 수 있다. 번역엔진에서 생성된 번역문자열은 제1 어플리케이션(a)의 입력창(a2)에 표시될 수 있다.
실시예에 따라서는, 사용자가 설정한 문체정보에 따라, 번역부(140)가 번역문자열의 문체를 달리하여 번역문자열을 생성하도록 할 수 있다. 예를들어, 문체정보에는 문어체, 구어체, 경어체 등이 포함될 수 있으며, 번역부(140)는 사용자의 선택에 따라, 번역문자열을 문어체, 구어체, 경어체 등으로 생성할 수 있다. 사용자는 자신의 용도나 목적에 따라 다양한 문체나 뉘앙스를 포함하여 입력언어로 문자열을 입력할 수 있으나, 번역과정에서 문체나 뉘앙스가 생략될 수 있다. 따라서, 사용자는 자신이 원하는 문체를 문체정보에서 선택하여 번역문자열의 문체를 설정하도록 함으로써, 번역문자열에 자신이 전달하고자 하는 뉘앙스를 포함시킬 수 있다. 실시예에 따라서는, 문체정보로 비즈니스용 화법, 친목도모용 화법, SNS용 화법 등으로 설정하는 것도 가능하다. 번역엔진은 각각의 문체정보에서 선택가능한 문체에 대응하는 결과를 제공할 수 있도록, 머신러닝 등을 통하여 각각 학습될 수 있다.
추가적으로, 실시예에 따라서는 번역부(140)가 동일한 대상 문자열을 서로다른 언어로 각각 번역하여 사용자에게 제공하는 것도 가능하다. 예를들어, 사용자가 복수의 외국인과 대화하는 경우가 있을 수 있으며, 각각의 외국인들은 사용하는 언어가 상이할 수 있다. 이 경우, 대상 문자열을 유지한 상태에서, 사용자가 번역언어를 변경하는 재설정 입력을 인가하면, 대상문자열을 재설정입력에 대응하는 번역언어로 재번역하여 표시하도록 할 수 있다.
구체적으로, 도7(a)에 도시한 바와 같이, 사용자는 먼저 한국어를 영어로 번역하고자 할 수 있다. 이후 대상 문자열을 동일하게 유지한 상태에서, 번역설정 아이콘(s)에 입력을 인가하여, 번역언어를 재설정할 수 있다. 즉, 도7(b)와 같이, 복수의 언어아이콘들 중에서 번역언어로 "일본어"를 선택하여, 번역부(140)로 재설정 입력을 인가할 수 있다. 이 경우, 도7(c)에 도시한 바와 같이, 동일한 대상 문자열을 재설정 입력에 대응하는 일본어로 재번역하여 입력창(a2) 내에 표시할 수 있다. 이를 통하여, 사용자는 편리하게 하나의 대상문자열을 서로 다른 복수의 언어로 번역하여 입력할 수 있다.
한편, 실시예에 따라서는, 서비스 서버(200)에서 번역을 수행하는 것도 가능하다. 이 경우, 번역부(140)는 서비스 서버(200)로 대상문자열과 번역쌍 정보를 전송하여 번역을 요청할 수 있다. 서비스 서버(200)는 번역엔진을 포함할 수 있으며, 번역엔진을 이용하여 번역을 수행한 후, 번역부(140)로 번역문자열을 제공할 수 있다.
입력부(150)는 번역문자열을 제1 어플리케이션의 입력창(a2)에 입력할 수 있다. 즉, 도6(a)에 도시한 바와 같이, 번역부(140)에서 생성한 번역문자열은 입력부(150)에 의하여, 제1 어플리케이션(a)의 입력창(a1)에 표시될 수 있다. 이후, 사용자가 입력창(a1)의 입력버튼을 입력하면, 번역문자열이 제1 어플리케이션으로 입력되어, 컨텐츠 표시창(a1)에 표시될 수 있다.
한편, 원문표시창(b3)에는 사용자가 입력언어로 입력한 대상 문자열이 표시되고, 입력창(a1)에는 번역문자열이 표시될 수 있다. 따라서, 사용자는 자신이 입력한 대상 문자열과 번역된 번역문자열을 확인할 수 있으며, 이상이 없는 경우에는 번역문자열을 제1 어플리케이션의 입력창을 통하여 입력할 수 있다. 여기서는, 사용자가 문자열을 입력하는 경우를 예시하고 있으나, 사용자가 음성이나 이미지를 입력하는 경우에도, 자신이 입력한 음성이나 이미지에 대응하는 대상 문자열과 번역문자열을 각각 입력표시창(b3)과 입력창(a2)을 통하여 확인할 수 있다. 번역의 경우, 오타 등을 포함하는 경우 전혀 다른 내용으로 번역될 위험이 있으므로, 입력표시창(b3)과 입력창(a2)을 통하여 사용자가 입력 전에 확인가능하도록 제공할 수 있다.
역번역부(160)는, 사용자의 요청에 따라, 제1 어플리케이션에 포함된 번역언어로 표시된 문자열을 입력언어로 역번역할 수 있다. 즉, 사용자가 선택한 선택문자열을 입력언어로 역번역하여 역번역 문자열을 생성할 수 있으며, 생성한 역번역 문자열을 사용자에게 표시할 수 있다.
구체적으로, 도8(a)에 도시한 바와 같이, 제1 어플리케이션(a)의 컨텐츠 표시창(a1) 내에는 번역언어로 표시된 복수의 문자열이 포함될 수 있다. 여기서, 사용자는 복수의 문자열 중에서 역번역하고자 하는 문자열을 선택하여, 클립보드에 복사할 수 있다. 문자열을 선택할 때 표시되는 제어창(a3)은 제1 어플리케이션(a)에 의하여 수행되는 것으로서, 제어창(a3)을 이용하여 입력 어플리케이션의 동작을 제어하기는 어렵다. 따라서, 제1 어플리케이션(a)에서 문자열을 클립보드에 복사하면, 입력 어플리케이션이 클립보드에 접근하여 복사된 문자열에 대한 정보를 추출할 수 있으며, 이를 선택문자열로 추출할 수 있다. 즉, 제1 어플리케이션과 입력 어플리케이션은 클립보드를 통하여 선택문자열을 공유할 수 있다.
이후, 역번역부(160)는 번역쌍설정부(120)에 설정된 번역쌍정보로부터 번역언어에 대응하는 입력언어를 추출할 수 있으며, 추출한 입력언어에 따라 선택문자열을 역번역하여 역번역 문자열을 생성할 수 있다. 여기서, 역번역부(160)가 직접 역번역을 수행할 수 있으나, 실시예에 따라서는 번역부(140)에 역번역을 요청하는 것도 가능하다.
역번역이 완료되면, 도8(b)에 도시한 바와 같이, 역번역 문자열(b5)이 입력 인터페이스(b) 상에 표시할 수 있다. 여기서, 역번역부(160)는 입력 어플리케이션에 대한 제어가 가능하므로, 입력 어플리케이션의 입력 인터페이스(b) 상에 한정하여 역번역 문자열(b5)을 표시할 수 있다. 역번역 문자열(b5)은 설정표시시간(예를들어, 3초) 동안만 표시하거나, 사용자가 역번역 문자열(b5)을 탭(tab) 또는 스와이프(swipe)하는 경우에 사라지도록 할 수 있다. 따라서, 사용자는 외국인과 채팅하는 등의 경우, 상대방이 전송한 메시지를 역번역을 통하여 용이하게 확인할 수 있다. 여기서, 사용자의 번역쌍 정보를 활용하므로, 별도로 번역언어 등을 설정할 필요없이 자동으로 역번역을 수행할 수 있다.
추가적으로, 역번역부(160)는 역번역하는 문자열의 길이에 따라, 표시하는 역번역 문자열(b5)의 크기 등을 조절할 수 있다. 도9(a)에 도시한 바와 같이, 선택문자열이 3줄인 경우에는 설정된 폰트 크기(font size)로 표시할 수 있으나, 도9(b)와 같이 7줄 이상인 경우에는 설정된 폰트 크기를 축소하여 역번역 문자열이 하나의 화면 내에 동시에 표시되도록 할 수 있다. 여기서, 폰트 크기나, 폰트 크기 축소가 적용되는 역번역 문자열의 길이 등은 실시예에 따라 다양하게 설정될 수 있으며, 실시예에 따라서는 역번역 문자열(b5)을 스크롤 등을 통하여 표시하는 것도 가능하다.
한편, 역번역 문자열은 입력 인터페이스(b) 상에 표시되는 것으로, 입력 인터페이스(b)가 디스플레이부 내에 표시되는 않는 경우에는 역번역 문자열이 표시되지 않을 수 있다. 여기서, 클립보드에 복사하는 것은 사용자가 제1 어플리케이션 상에서 수행하는 것으로서, 사용자가 역번역 문자열의 생성을 의도하지 않은 경우도 존재할 수 있다. 따라서, 역번역부(160)는 디스플레이부 내에 입력 인터페이스(b)가 표시되지 않는 경우에는 번역 문자열을 표시하지 않을 수 있다.
다만, 실시예에 따라서는, 사용자가 문자열을 클립보드에 복사하기 위하여, 문자열을 탭 또는 롱탭하면, 도10(a)에 도시한 바와 같이, 제1 어플리케이션(a)이 입력 인터페이스(b)를 표시되지 않도록 설정하는 경우도 존재한다. 이때, 사용자가 설정시간 내에 다시 입력 인터페이스가 출력되도록 하는 경우에는, 사용자가 역번역 문자열을 확인하고자 하는 것으로 볼 수 있다. 따라서, 도10(b)에 도시한 바와 같이, 입력 인터페이스(b)를 출력하면서 역번역 문자열(b5)을 함께 표시하여, 사용자에게 역번역 문자열(b5)을 제공할 수 있다.
한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 단말장치(100)는, 프로세서(10), 메모리(40) 등의 물리적인 구성을 포함할 수 있으며, 메모리(40) 내에는 프로세서(10)에 의하여 실행되도록 구성되는 하나 이상의 모듈이 포함될 수 있다. 구체적으로, 하나 이상의 모듈에는, 인터페이스 출력모듈, 번역쌍 설정모듈, 대상문자열 추출모듈, 번역모듈, 입력모듈 및 역번역모듈 등이 포함될 수 있다.
프로세서(10)는, 다양한 소프트웨어 프로그램과, 메모리(40)에 저장되어 있는 명령어 집합을 실행하여 여러 기능을 수행하고 데이터를 처리하는 기능을 수행할 수 있다. 주변인터페이스부(30)는, 컴퓨터 장치의 입출력 주변 장치를 프로세서(10), 메모리(40)에 연결할 수 있으며, 메모리 제어기(20)는 프로세서(10)나 컴퓨터 장치의 구성요소가 메모리(40)에 접근하는 경우에, 메모리 액세스를 제어하는 기능을 수행할 수 있다. 실시예에 따라서는, 프로세서(10), 메모리 제어기(20) 및 주변인터페이스부(30)를 단일 칩 상에 구현하거나, 별개의 칩으로 구현할 수 있다.
메모리(40)는 고속 랜덤 액세스 메모리, 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리 등을 포함할 수 있다. 또한, 메모리(40)는 프로세서(10)로부터 떨어져 위치하는 저장장치나, 인터넷 등의 통신 네트워크를 통하여 엑세스되는 네트워크 부착형 저장장치 등을 더 포함할 수 있다.
디스플레이부(50)는 사용자가 시각을 통하여 제1 어플리케이션 또는 입력 어플리케이션의 내용을 확인할 수 있도록 표시하는 구성일 수 있다. 예를들어, 디스플레이부(50)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플랙시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등을 이용하여 시각적으로 표시할 수 있다. 다만, 본 발명의 내용은 이에 한정되는 것은 아니며, 이외에도 다양한 방식으로 디스플레이부를 구현할 수 있다. 추가적으로, 디스플레이부(50)에는 스피커 등을 더 포함하여, 사용자가 음성이나 음향 등을 청각적으로 인지하도록 할 수 있다. 나아가, 디스플레이부(50)에 햅틱부 등을 더 포함하여, 촉각을 통하여 컨텐츠를 인지하도록 하는 것도 가능하다. 즉, 디스플레이부(50)는 시각, 청각 및 촉각을 이용하여, 사용자가 인지하도록 할 수 있다.
입력장치부(60)는 사용자로부터 입력을 인가받는 것으로서, 키보드(keyboard), 키패드(keypad), 마우스(mouse), 터치펜(touch pen), 터치 패드(touch pad), 터치 패널(touch panel), 조그 휠(jog wheel), 조그 스위치(jog switch) 등이 입력장치부(60)에 해당할 수 있다.
한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 단말장치(100)는, 메모리(40)에 운영체제를 비롯하여, 응용프로그램에 해당하는 인터페이스 출력모듈, 번역쌍 설정모듈, 대상문자열 추출모듈, 번역모듈, 입력모듈 및 역번역모듈 등을 포함할 수 있다. 여기서, 각각의 모듈들은 상술한 기능을 수행하기 위한 명령어의 집합으로, 메모리(40)에 저장될 수 있다.
따라서, 본 발명의 일 실시예에 의한 단말장치(100)는, 프로세서(10)가 메모리(40)에 액세스하여 각각의 모듈에 대응하는 명령어를 실행할 수 있다. 다만, 인터페이스 출력모듈, 번역쌍 설정모듈, 대상문자열 추출모듈, 번역모듈, 입력모듈 및 역번역모듈은 상술한 인터페이스 출력부, 번역쌍 설정부, 대상문자열 추출부, 번역부, 입력부 및 역번역부에 각각 대응하므로 여기서는 자세한 설명을 생략한다.
도11 및 도12는 본 발명의 일 실시예에 의한 입력 어플리케이션을 이용한 번역 서비스 제공 방법을 나타내는 순서도이다.
도11 및 도12를 참조하면, 본 발명의 일 실시예에 의한 번역 서비스 제공 방법은 입력 인터페이스 출력단계(S10), 번역쌍 설정단계(S20), 대상문자열 추출단계(S30), 번역단계(S40), 입력단계(S50) 및 역번역단계(S60)를 포함할 수 있다. 여기서, 각 단계는 단말장치에 의하여 수행될 수 있다.
이하, 도11 및 도12를 참조하여 본 발명의 일 실시예에 의한 번역 서비스 제공 방법을 설명한다.
입력 인터페이스 출력단계(S10)에서는, 단말장치에서 실행 중인 제1 어플리케이션의 요청에 따라, 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력할 수 있다. 사용자는 제1 어플리케이션에 의한 서비스 등을 제공받기 위하여, 제1 어플리케이션에 문자열이나 음성 등의 컨텐츠를 입력하고자 할 수 있다. 이 경우, 입력 어플리케이션을 실행하여, 컨텐츠 입력을 위한 입력 인터페이스를 단말장치의 디스플레이부에 출력할 수 있다. 실시예에 따라서는, 제1 어플리케이션의 입력창에 커서가 위치하는 경우에 입력 인터페이스를 출력할 수 있으며, 단말장치에 포함되는 디스플레이부의 설정영역 내에 입력 인터페이스를 표시할 수 있다.
번역쌍 설정단계(S20)에서는, 사용자의 입력에 따라 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 입력언어 및 번역언어의 번역쌍정보를 설정할 수 있다. 구체적으로, 입력 어플리케이션에는 번역입력모드로 전환하기 위한 번역아이콘 등이 존재할 수 있으며, 사용자가 번역아이콘에 입력을 인가하면 번역입력모드로 전환할 수 있다. 이 경우, 번역시 필요한 입력언어 및 번역언어를 사용자로부터 입력받기 위한 인터페이스를 출력할 수 있다. 즉, 복수의 언어에 대응하는 각각의 언어아이콘들이 표시될 수 있으며, 사용자는 복수의 언어아이콘 중에서 각각 입력언어와 번역언어에 대응하는 언어 아이콘을 선택할 수 있다. 이후, 사용자가 선택한 언어 아이콘에 대응하는 언어를 각각 상기 입력언어와 번역언어로 설정할 수 있으며, 이들을 묶어 번역쌍 정보로 설정할 수 있다.
대상문자열 추출단계(S30)에서는, 사용자가 입력 인터페이스를 이용하여 컨텐츠를 입력하면, 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출할 수 있다. 여기서, 컨텐츠는 문자열, 음성, 이미지 및 동영상 중 적어도 어느 하나를 포함할 수 있다.
실시예에 따라서는, 컨텐츠로 문자열이 입력될 수 있다. 이 경우, 대상문자열 추출단계(S30)에서는 입력언어에 대응하는 자판을 포함하는 가상 키보드를 단말장치의 디스플레이부에 표시할 수 있다. 이후, 가상 키보드를 통해 사용자가 입력언어로 입력하는 문자열을 수신할 수 있으며, 문자열을 수신한 다음에는 문자열을 대상 문자열로 추출할 수 있다. 즉, 사용자가 가상 키보드로 입력한 문자열을 대상 문자열로 추출할 수 있다.
또한, 실시예에 따라서는, 컨텐츠로 음성을 입력하는 것도 가능하다. 이 경우, 대상문자열 추출단계(S30)에서는 단말장치의 마이크를 이용하여, 입력언어로 발화되는 음성을 음성신호로 수신할 수 있으며, 수신한 음성신호에 음성인식 알고리즘을 적용하여, 음성신호에 대응하는 대상 문자열을 추출할 수 있다. 여기서, 음성인식 알고리즘을 이용한 대상 문자열의 추출은 앞서 설명하였으므로, 여기서는 자세한 설명을 생략한다.
추가적으로, 사용자가 컨텐츠로 이미지를 입력하는 경우에는, 대상문자열 추출단계(S30)에서는 단말장치의 카메라를 이용하여, 입력언어로 작성된 문자열을 포함하는 이미지를 촬영할 수 있다. 이후, 이미지에 문자인식 알고리즘을 적용하여, 이미지에 포함된 문자열을 대상 문자열로 추출할 수 있다. 여기서, 문자인식 알고리즘을 이용한 대상 문자열의 추출은 앞서 설명하였으므로, 여기서는 자세한 설명을 생략한다.
번역단계(S40)에서는, 대상문자열을 번역언어로 번역하여, 번역문자열을 생성할 수 있다. 여기서, 통계기반 기계번역 또는 인공신경망 기계번역을 제공하는 번역엔진을 이용하여 번역을 수행할 수 있다. 실시예에 따라서는, 번역단계(S40)에서 번역서버로 대상문자열과 번역쌍 정보를 전송하여 번역을 요청하고, 번역서버로부터 번역언어로 번역된 번역문자열을 수신하는 방식으로 번역문자열을 생성하는 것도 가능하다.
한편, 사용자가 번역언어를 변경하는 재설정 입력을 인가하면, 대상문자열을 재설정입력에 대응하는 번역언어로 재번역한 재번역 문자열을 생성하는 것도 가능하다. 즉, 재설정입력만으로 동일한 대상문자열을 서로 다른 번역언어로 번역할 수 있으므로, 사용자의 편의성을 높일 수 있다.
추가적으로, 번역단계(S40)에서는 사용자가 설정하는 문체정보에 따라, 번역문자열의 문체를 구어체, 문어체, 경어체 등으로 설정하여 번역문자열을 생성할 수 있다. 또한, 문체정보로 비즈니스용 화법, 친목도모용 화법, SNS 업로드용 화법 등으로 설정하는 것도 가능하다. 즉, 번역문자열이 문체를 설정함으로써, 사용자는 자신의 용도나 목적에 따라 다양한 뉘앙스를 포함하여 번역문자열을 생성할 수 있다.
입력단계(S50)에서는, 번역문자열을 제1 어플리케이션의 입력창에 입력할 수 있다. 즉, 번역문자열은 제1 어플리케이션의 입력창에 표시될 수 있으며, 이후, 사용자가 입력창의 입력버튼을 입력하면, 번역문자열이 제1 어플리케이션으로 입력될 수 있다. 여기서, 입력 인터페이스에는 원문표시창이 포함될 수 있으며, 사용자가 입력언어로 입력한 대상 문자열은 원문표시창에 표시될 수 있다. 따라서, 사용자는 자신이 입력한 대상 문자열과 번역된 번역문자열을 동시에 확인할 수 있으며, 이상이 없는 경우에는 번역문자열을 제1 어플리케이션의 입력창을 통하여 입력할 수 있다.
역번역단계(S60)에서는, 제1 어플리케이션에 포함된 번역언어로 표시된 문자열을, 입력언어로 역번역하여 역번역 문자열을 생성할 수 있다. 즉, 사용자가 선택한 선택문자열을 입력언어로 역번역하여 역번역 문자열을 생성할 수 있으며, 생성한 역번역 문자열을 사용자에게 표시할 수 있다. 여기서는 역번역단계(S60)가 입력단계(S50) 이후에 수행되는 것으로 표시되어 있으나, 이에 한정되는 것은 아니며, 역번역단계(S60)는 다양한 시점에 수행될 수 있다.
역번역단계(S60)는, 도12에 도시한 바와 같이, 먼저 제1 어플리케이션 내에 번역언어로 표시된 복수의 문자열 중에서, 사용자가 클립보드(clipboard)에 복사한 선택문자열을 추출할 수 있다(S61). 즉, 제1 어플리케션이 복사한 문자열은 클립보드에 저장될 수 있으며, 입력 어플리케이션은 클립보드에 접근하여 사용자가 선택한 선택문자열을 추출할 수 있다.
이후, 번역쌍정보로부터 번역언어에 대응하는 입력언어를 추출하고, 선택문자열을 입력언어로 역번역하여 역번역 문자열을 생성할 수 있다(S62). 입력 어플리케이션이 번역기능을 수행하는 경우에는 번역쌍정보가 설정되어 있으며, 해당 번역쌍정보에는 사용자가 선택한 입력언어와 번역언어가 포함되어 있다. 따라서, 역번역단계(S60)에서는 번역쌍정보를 이용하여 번역언어를 입력언어로 역번역할 수 있다. 즉, 선택문자열을 입력언어로 역번역하여 역번역 문자열을 생성할 수 있다.
역번역 문자열이 생성되면, 역번역 문자열을 입력 인터페이스 상에 표시할 수 있다(S63). 즉, 역번역 문자열을 디스플레이부 내에 표시하여 사용자에게 제공할 수 있다. 역번역 문자열은 설정표시시간(예를들어, 3초) 동안 표시될 수 있으며, 실시예에 따라서는 사용자가 역번역 문자열을 탭(tab)이나 스와이프(swipe)하는 등 별도의 제스쳐를 입력하는 경우에 사라지도록 하는 것도 가능하다.
다만, 역번역 문자열은 입력 인터페이스에 표시되는 것으로, 입력 인터페이스가 단말장치에 포함되는 디스플레이부 내에 표시되지 않는 경우에는 역번역 문자열을 표시하지 않을 수 있다. 사용자는 다양한 이유로 문자열을 복사할 수 있으며, 문자열을 복사하는 것이 반드시 역번역 문자열의 표시를 요구하는 것에 해당한다고 볼 수는 없다. 따라서, 입력 인터페이스가 표시되지 않는 경우에는 역번역 문자열을 표시하지 않을 수 있다.
반면에, 역번역 문자열을 생성한 후 설정시간 내에 사용자의 입력 등에 따라 입력 인터페이스가 다시 출력되는 경우에는, 역번역 문자열을 입력 인터페이스 상에 표시할 수 있다. 역번역 문자열을 생성한 후 설정시간 내에, 다시 입력 인터페이스를 출력하도록 하는 것은, 사용자가 역번역 문자열을 확인하고자 하는 의도가 있는 것으로 볼 수 있다. 따라서 입력 인터페이스를 표시하면서 역번역 문자열을 동시에 표시할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

Claims (17)

  1. 입력 어플리케이션을 이용한 번역 서비스 제공 방법에 있어서,
    단말장치에서 실행 중인 제1 어플리케이션의 요청에 따라, 상기 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력하는 입력 인터페이스 출력단계;
    사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 상기 입력언어 및 번역언어의 번역쌍정보를 설정하는 번역쌍 설정단계;
    사용자가 상기 입력 인터페이스를 이용하여 컨텐츠를 입력하면, 상기 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출하는 대상문자열 추출단계;
    상기 대상문자열을 상기 번역언어로 번역하여, 번역문자열을 생성하는 번역단계; 및
    상기 번역문자열을 상기 제1 어플리케이션의 입력창에 입력하는 입력단계를 포함하는 번역 서비스 제공 방법.
  2. 제1항에 있어서, 상기 입력 인터페이스 출력단계는
    상기 단말장치에 포함되는 디스플레이부의 설정영역 내에, 상기 입력 인터페이스를 표시하는 것을 특징으로 하는 번역 서비스 제공 방법.
  3. 제1항에 있어서, 상기 번역쌍 설정단계는
    복수의 언어에 대응하는 각각의 언어아이콘을 표시하고, 상기 언어아이콘 중에서 사용자로부터 선택된 언어 아이콘에 대응하는 언어를, 각각 상기 입력언어와 번역언어로 설정하는 것을 특징으로 하는 번역 서비스 제공 방법.
  4. 제1항에 있어서, 상기 대상문자열 추출단계는
    상기 입력언어에 대응하는 자판을 포함하는 가상 키보드를 상기 단말장치의 디스플레이부에 표시하는 단계; 및
    상기 가상 키보드를 통해 사용자가 상기 입력언어로 입력하는 문자열을 수신하는 단계; 및
    상기 문자열을 상기 대상 문자열로 추출하는 단계를 포함하는 것을 특징으로 하는 번역 서비스 제공 방법.
  5. 제1항에 있어서, 상기 대상문자열 추출단계는
    상기 단말장치의 마이크를 이용하여, 상기 입력언어로 발화되는 음성을 음성신호로 수신하는 단계; 및
    상기 음성신호에 음성인식 알고리즘을 적용하여, 상기 음성신호에 대응하는 상기 대상 문자열을 추출하는 단계를 포함하는 것을 특징으로 하는 번역 서비스 제공 방법.
  6. 제1항에 있어서, 상기 대상문자열 추출단계는
    상기 단말장치의 카메라를 이용하여, 상기 입력언어로 작성된 문자열을 포함하는 이미지를 촬영하는 단계; 및
    상기 이미지에 문자인식 알고리즘을 적용하여, 상기 이미지에 포함된 상기 문자열을 상기 대상 문자열로 추출하는 단계를 포함하는 것을 특징으로 하는 번역 서비스 제공 방법.
  7. 제1항에 있어서, 상기 번역단계는
    번역서버로 상기 대상문자열과 번역쌍 정보를 전송하여 번역을 요청하고, 상기 번역서버로부터 상기 번역언어로 번역된 번역문자열을 수신하는 것을 특징으로 하는 번역 서비스 제공 방법.
  8. 제1항에 있어서, 상기 번역단계는
    상기 번역언어를 변경하는 재설정 입력을 수신하면, 상기 대상문자열을 상기 재설정입력에 대응하는 번역언어로 재번역한 재번역 문자열을 생성하는 것을 특징으로 번역 서비스 제공 방법.
  9. 제1항에 있어서, 상기 입력 인터페이스는
    상기 추출한 대상문자열이 표시되는 원문표시창을 포함하는 것을 특징으로 하는 번역 서비스 제공 방법.
  10. 제1항에 있어서, 상기 번역단계는
    사용자가 설정하는 문체정보에 따라, 상기 번역문자열의 문체를 적어도 구어체, 문어체 및 경어체 중 어느 하나로 설정하여 상기 번역문자열을 생성하는 것을 특징으로 하는 번역서비스 제공 방법.
  11. 제1항에 있어서,
    상기 제1 어플리케이션에 포함된 상기 번역언어로 표시된 문자열을, 상기 입력언어로 역번역하여 역번역 문자열을 생성하는 역번역단계를 더 포함하는 것을 특징으로 하는 번역 서비스 제공 방법.
  12. 제11항에 있어서, 상기 역번역 단계는
    상기 제1 어플리케이션 내에 상기 번역언어로 표시된 복수의 문자열 중에서, 사용자가 클립보드(clipboard)에 복사한 선택문자열을 추출하는 단계;
    상기 번역쌍정보로부터 상기 번역언어에 대응하는 상기 입력언어를 추출하고, 상기 선택문자열을 상기 입력언어로 역번역하여 역번역 문자열을 생성하는 단계; 및
    상기 역번역 문자열을, 상기 입력 인터페이스 상에 표시하는 단계를 포함하는 번역 서비스 제공 방법.
  13. 제12항에 있어서, 상기 입력 인터페이스 상에 표시하는 단계는
    상기 입력 인터페이스가 상기 단말장치에 포함되는 디스플레이부 내에 표시되는 경우에 한하여, 상기 역번역 문자열을 표시하는 것을 특징으로 하는 번역 서비스 제공 방법.
  14. 제13항에 있어서, 상기 입력 인터페이스 상에 표시하는 단계는
    상기 역번역 문자열을 생성한 후 설정시간 내에 상기 입력 인터페이스가 다시 출력되면, 상기 역번역 문자열을 상기 입력 인터페이스 상에 표시하는 것을 특징으로 하는 번역 서비스 제공 방법.
  15. 하드웨어와 결합되어 제1항 내지 제14항 중 어느 한 항의 번역 서비스 제공 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
  16. 실행 중인 제1 어플리케이션의 요청에 따라, 상기 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력하는 인터페이스 출력부;
    사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 상기 입력언어 및 번역언어의 번역쌍정보를 설정하는 번역쌍 설정부;
    상기 입력 인터페이스를 이용하여 사용자가 컨텐츠를 입력하면, 상기 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출하는 대상문자열 추출부;
    상기 대상문자열을 상기 번역언어로 번역하여, 번역문자열을 생성하는 번역부; 및
    상기 번역문자열을 상기 제1 어플리케이션의 입력창에 입력하는 입력부를 포함하는 단말장치.
  17. 프로세서; 및
    상기 프로세서에 커플링된 메모리를 포함하는 것으로서,
    상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고,
    상기 하나 이상의 모듈은,
    단말장치에서 실행 중인 제1 어플리케이션의 요청에 따라, 상기 제1 어플리케이션에 컨텐츠를 입력하는 입력 인터페이스를 출력하고,
    사용자의 입력에 따라 상기 입력 인터페이스를 번역입력모드로 전환하고, 사용자가 선택한 입력언어 및 번역언어에 따라, 상기 입력언어 및 번역언어의 번역쌍정보를 설정하며,
    사용자가 상기 입력 인터페이스를 이용하여 상기 컨텐츠를 입력하면, 상기 컨텐츠로부터 상기 입력언어에 대응하는 대상문자열을 추출하고,
    상기 대상문자열을 상기 번역언어로 번역하여 번역문자열을 생성하며,
    상기 번역문자열을 상기 제1 어플리케이션의 입력창에 입력하는,
    명령어를 포함하는 단말장치.
PCT/KR2018/011863 2018-06-29 2018-10-10 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치 WO2020004717A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020573205A JP7145988B2 (ja) 2018-06-29 2018-10-10 入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0076035 2018-06-29
KR1020180076035A KR102206486B1 (ko) 2018-06-29 2018-06-29 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치

Publications (1)

Publication Number Publication Date
WO2020004717A1 true WO2020004717A1 (ko) 2020-01-02

Family

ID=68987355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011863 WO2020004717A1 (ko) 2018-06-29 2018-10-10 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치

Country Status (3)

Country Link
JP (1) JP7145988B2 (ko)
KR (1) KR102206486B1 (ko)
WO (1) WO2020004717A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220102302A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 클립보드 기능을 제공하기 위한 방법 및 이를 지원하는 전자 장치
WO2024085460A1 (ko) * 2022-10-19 2024-04-25 삼성전자주식회사 이미지 내에 포함된 글자들을 식별하기 위한 전자 장치 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377601B1 (ko) * 2012-09-20 2014-03-25 주식회사 인지소프트 모바일 카메라를 이용한 자연 영상 다국어 문자 인식과 번역 시스템 및 방법
KR101421621B1 (ko) * 2013-07-30 2014-07-22 (주)블루랩스 언어통역기능을 갖는 스마트폰 단말기 및 이를 포함하는 언어통역시스템
KR20150116675A (ko) * 2014-04-08 2015-10-16 네이버 주식회사 다양한 의미 범주에 기반한 번역 결과 제공 방법 및 시스템
KR101781557B1 (ko) * 2011-01-05 2017-09-26 구글 인코포레이티드 텍스트 입력을 용이하게 하기 위한 방법 및 시스템
KR20180017227A (ko) * 2016-05-18 2018-02-20 애플 인크. 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR20180021316A (ko) * 2016-08-19 2018-03-02 네이버 주식회사 문자 입력 및 컨텐츠 추천을 위한 통합 키보드

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282791A (ja) * 2000-03-29 2001-10-12 Brother Ind Ltd 機械翻訳装置
JP2003196278A (ja) * 2001-12-27 2003-07-11 Brother Ind Ltd 文字入力方法、文字入力プログラム及びコンピュータ読み取り可能な記録媒体
JP2006318202A (ja) * 2005-05-12 2006-11-24 Suri Kaiseki Kenkyusho:Kk 翻訳装置、翻訳プログラム及び翻訳システム
JP2008077601A (ja) * 2006-09-25 2008-04-03 Toshiba Corp 機械翻訳装置、機械翻訳方法および機械翻訳プログラム
JP2008152670A (ja) * 2006-12-19 2008-07-03 Fujitsu Ltd 翻訳文入力支援プログラム、該プログラムを記録した記憶媒体、翻訳文入力支援装置、および翻訳文入力支援方法
TW200910117A (en) * 2007-08-31 2009-03-01 Inventec Corp Input system and method for editing translated sentence
JP2015069365A (ja) * 2013-09-27 2015-04-13 シャープ株式会社 情報処理装置、および制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101781557B1 (ko) * 2011-01-05 2017-09-26 구글 인코포레이티드 텍스트 입력을 용이하게 하기 위한 방법 및 시스템
KR101377601B1 (ko) * 2012-09-20 2014-03-25 주식회사 인지소프트 모바일 카메라를 이용한 자연 영상 다국어 문자 인식과 번역 시스템 및 방법
KR101421621B1 (ko) * 2013-07-30 2014-07-22 (주)블루랩스 언어통역기능을 갖는 스마트폰 단말기 및 이를 포함하는 언어통역시스템
KR20150116675A (ko) * 2014-04-08 2015-10-16 네이버 주식회사 다양한 의미 범주에 기반한 번역 결과 제공 방법 및 시스템
KR20180017227A (ko) * 2016-05-18 2018-02-20 애플 인크. 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
KR20180021316A (ko) * 2016-08-19 2018-03-02 네이버 주식회사 문자 입력 및 컨텐츠 추천을 위한 통합 키보드

Also Published As

Publication number Publication date
JP2021528788A (ja) 2021-10-21
JP7145988B2 (ja) 2022-10-03
KR20200002490A (ko) 2020-01-08
KR102206486B1 (ko) 2021-01-25

Similar Documents

Publication Publication Date Title
WO2014123270A1 (ko) 인스턴트 메시징 서비스 제공 방법, 이를 위한 프로그램을 기록한 기록 매체 및 단말
WO2014010974A1 (en) User interface apparatus and method for user terminal
CN101809524B (zh) 用于字符输入的方法和设备
EP3871403A1 (en) Apparatus for vision and language-assisted smartphone task automation and method thereof
WO2012161359A1 (ko) 사용자 인터페이스 방법 및 장치
WO2014035195A2 (en) User interface apparatus in a user terminal and method for supporting the same
WO2016080713A1 (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
WO2021259061A1 (zh) 文档翻译方法和装置、存储介质和电子设备
WO2015072803A1 (ko) 단말기 및 단말기의 제어 방법
WO2016186325A1 (ko) 이미지가 이용되는 소셜 네트워크 서비스 시스템 및 방법
EP2891041A1 (en) User interface apparatus in a user terminal and method for supporting the same
WO2020004717A1 (ko) 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
WO2017018665A1 (ko) 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법
WO2020184935A1 (en) Electronic apparatus and method for controlling thereof
KR20020094760A (ko) 컴퓨터용 소프트웨어의 언어표시방법 및언어표시시스템과, 언어표시방법과 언어표시시스템이저장된 기록매체
WO2010016717A2 (ko) 터치스크린 패드를 이용하는 사용자 입력 장치
KR20200009205A (ko) 번역 서비스 제공 방법 및 이를 이용하는 단말장치
WO2012063981A1 (ko) 터치스크린을 이용한 빠른 문자입력방법 및 문자입력장치
WO2014171613A1 (ko) 메시징 서비스 제공 방법, 이를 위한 프로그램을 기록한 기록 매체 및 단말
TWI830627B (zh) 於行動電子裝置上之媒體內容之裝置上即時翻譯
WO2022108019A1 (en) Electronic device and method for optimizing user interface of application
WO2021100989A1 (ko) 대화형 및 문서형 전자문서 작성 장치 및 방법과 대화형으로 작성 가능한 전자문서 제공 방법
WO2020022645A1 (en) Method and electronic device for configuring touch screen keyboard
WO2014129772A1 (ko) 쓰기 말하기 원리를 적용한 영어 기반 문자 소통 시스템 및 그 방법
WO2009148224A2 (ko) 라틴 문자 입력 장치 및 이를 이용한 휴대용 단말기

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020573205

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18924135

Country of ref document: EP

Kind code of ref document: A1