WO2026005281A1 - 동시 통역을 위한 전자 장치 및 웨어러블 전자 장치 - Google Patents

동시 통역을 위한 전자 장치 및 웨어러블 전자 장치

Info

Publication number
WO2026005281A1
WO2026005281A1 PCT/KR2025/006572 KR2025006572W WO2026005281A1 WO 2026005281 A1 WO2026005281 A1 WO 2026005281A1 KR 2025006572 W KR2025006572 W KR 2025006572W WO 2026005281 A1 WO2026005281 A1 WO 2026005281A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
learning model
translation information
wearable electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/KR2025/006572
Other languages
English (en)
French (fr)
Inventor
정하영
강록희
김현성
박정민
이상현
제성민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240099493A external-priority patent/KR20260002082A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of WO2026005281A1 publication Critical patent/WO2026005281A1/ko
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal

Definitions

  • the present disclosure relates to an electronic device and a wearable electronic device for simultaneous interpretation.
  • LLMs large language models
  • mobile electronic devices are now able to offer a variety of features utilizing LLMs.
  • LLMs large language models
  • mobile electronic devices recently introduced a translation function that uses LLMs to translate a user's voice during a voice call and transmit it to the caller.
  • LLM demonstrates remarkable performance in natural language processing
  • training it requires time and hardware resources to process large amounts of training data. For example, a single training session can take at least several months.
  • directly using LLM on edge devices requires high-spec hardware resources, or indirectly accessing a server containing LLM at the expense of communication costs.
  • a wearable electronic device comprises: a speaker; a microphone; a transceiver; a memory; and at least one processor including a processing circuit
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the wearable electronic device to: receive a first user voice input through the microphone; generate first translation information in which the received first user voice input is translated using a machine learning model stored in the memory based on the received first user voice input, wherein the machine learning model includes a first machine learning model trained to output the translated translation information based on the voice input; transmit the first translation information to an external electronic device connected to the wearable electronic device through the transceiver; receive second translation information in which a second user voice input is translated from the external electronic device through the transceiver; and output the second translation information through the speaker.
  • the machine learning model may include a second machine learning model trained to identify the user's voice based on other voice inputs received through the microphone.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: obtain user voice information based on a portion of the first user voice input using the second learning model, based at least in part on a determination that a portion of the first user voice input corresponds to a user voice; and translate the obtained user voice information using the first machine learning model to generate the first translation information.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: transmit user identification information corresponding to the identified user's voice and the first translation information to the external electronic device.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: convert the first user voice input into text using the machine learning model, and perform a translation on the converted text to generate the first translation information, at least as a part of generating the first translation information.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: receive update information from the external electronic device, and update the machine learning model based on the received update information.
  • the first translation information includes at least one of translated data, an index of the data, or a flag for the end of utterance, wherein the index of the data indicates the order in which the translated data is positioned in a sentence structure, and the flag may indicate whether the utterance has ended as identified by voice activity detection (VAD).
  • VAD voice activity detection
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: detect noise input in a portion of the first user voice input where the user's voice does not exist, remove an input corresponding to the detected noise in the portion of the first user voice input where the user's voice does not exist to obtain user voice information, and translate the obtained user voice information using the first machine learning model to generate the first translation information.
  • a method of operating a wearable electronic device may be provided.
  • the method may receive a first user voice input through a microphone of the wearable electronic device.
  • the method may generate first translation information by translating the received first user voice input using a machine learning model stored in the memory based on the received first user voice input, wherein the machine learning model includes a first machine learning model trained to output translated translation information based on the voice input.
  • the method may transmit the first translation information to an external electronic device connected to the wearable electronic device through the transceiver.
  • the method may receive second translation information by translating a second user voice input from the external electronic device through the transceiver.
  • the method may output the second translation information through the speaker.
  • a storage medium storing at least one computer-readable instruction may be provided.
  • the at least one instruction when executed by at least a portion of at least one processor of a wearable electronic device, may cause the wearable electronic device to perform at least one operation.
  • the at least one operation may receive a first user voice input through a microphone of the wearable electronic device.
  • the at least one operation may generate first translation information by translating the received first user voice input using a machine learning model stored in the memory based on the received first user voice input, wherein the machine learning model includes a first machine learning model trained to output translated translation information based on a voice input.
  • the at least one operation may transmit the first translation information to an external electronic device connected to the wearable electronic device through the transceiver.
  • the at least one operation may receive second translation information by translating a second user voice input from the external electronic device through the transceiver. At least one of the above actions may output the second translation information through the speaker.
  • an electronic device includes a microphone; a display; a transceiver; a memory; and at least one processor including a processing circuit, wherein the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the wearable electronic device to: receive a first user voice input through the microphone; generate first translation information in which the received first user voice input is translated using a machine learning model based on the received first user voice input, wherein the machine learning model includes a first machine learning model trained to output the translated translation information based on the voice input; transmit the first translation information to an external electronic device connected to the electronic device through the transceiver; receive second translation information in which a second user voice input is translated from the external electronic device through the transceiver; and display the second translation information in a first area of the display.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: display the first translation information in a second area of the display, and cause the first translation information displayed in the second area to be displayed in an opposite direction to the second translation information displayed in the first area.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: display the second translation information including user identification information, and a graphical object corresponding to the user identification information, together with the first translation information, in a second area of the display.
  • the machine learning model may include a second machine learning model trained to identify a user's voice based on other voice inputs received via the microphone.
  • the memory may store instructions that, when individually or wholly executed by the at least one processor, cause the electronic device to: obtain user voice information by filtering out a portion corresponding to the other user's voice based on a portion of the first user's voice input using the second machine learning model, based on a determination that at least part of the first user's voice input corresponds to another user's voice, and translate the obtained user voice information using the first machine learning model to generate the first translation information.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: receive the second translation information, convert the received second translation information into speech information (Text to Speech) using the first machine learning model, and output the converted text through the speaker.
  • the electronic device may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: receive the second translation information, convert the received second translation information into speech information (Text to Speech) using the first machine learning model, and output the converted text through the speaker.
  • the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: convert the second translation information into voice information using at least one user voice information previously stored in the electronic device and then output the converted second translation information through the speaker.
  • the electronic device further comprises at least one sensor including a global positioning system (GPS), and the memory may store instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: generate update information including a portion of the first machine learning model based on information input from the at least one sensor; and control the transceiver to transmit the update information to the external electronic device.
  • GPS global positioning system
  • the update information may include update information associated with a translation support language.
  • the electronic device further comprises at least one camera
  • the memory stores instructions that, when individually or collectively executed by the at least one processor, cause the electronic device to: acquire a mouth shape based on a lip image captured through the at least one camera, and identify a user's voice using the machine learning model based on the mouth shape, wherein the machine learning model may include a third learning model learned to identify the content of speech based on the mouth shape.
  • the second translation information includes at least one of translated data, an index of the data, or a flag for the end of utterance, and commands for causing the translated data included in the second translation information to be rearranged and displayed in the first area of the display based on the index of the data may be stored.
  • a method of operating an electronic device may be provided.
  • the method may receive a first user voice input through a microphone of the electronic device.
  • the method may generate first translation information by translating the received first user voice input using a machine learning model based on the received first user voice input, wherein the machine learning model includes a first machine learning model trained to output translated translation information based on the voice input.
  • the method may transmit the first translation information to an external electronic device connected to the electronic device through the transceiver.
  • the method may receive second translation information by translating a second user voice input from the external electronic device through the transceiver.
  • the method may display the second translation information in a first area of the display.
  • a translation system may include a wearable electronic device; and an electronic device connected to the wearable electronic device.
  • the wearable electronic device may: receive a first user voice input through a microphone of the wearable electronic device, and generate first translation information in which the received first user voice input is translated using a machine learning model of the wearable electronic device based on the received first user voice input, wherein the machine learning model includes a model trained to output translation information based on a voice input, transmit the first translation information to the electronic device, receive second translation information in which a second user voice input is translated from the electronic device, and output the second translation information through a speaker of the wearable electronic device.
  • FIG. 1 is a block diagram of an electronic device (101) within a network environment (100) according to various embodiments.
  • FIG. 2 is a block diagram of a wearable electronic device (201) according to one embodiment of the present disclosure.
  • FIG. 3 is an example of simultaneous interpretation operations of an electronic device (101) and a wearable electronic device (201) according to one embodiment of the present disclosure.
  • FIG. 4 illustrates a data flow according to simultaneous interpretation operations of an electronic device (101) and a wearable electronic device (201) according to one embodiment of the present disclosure.
  • FIG. 5 is a flowchart for explaining a simultaneous interpretation method of an electronic device (101) according to one embodiment of the present disclosure.
  • FIG. 6 is a flowchart for explaining a simultaneous interpretation method of a wearable electronic device (201) according to one embodiment of the present disclosure.
  • FIG. 7 is a block diagram of an AI (artificial intelligence) interpretation module according to one embodiment of the present disclosure.
  • FIG. 8 is a flowchart illustrating an operation of an electronic device (101) and a wearable electronic device (201) performing simultaneous interpretation according to one embodiment of the present disclosure.
  • FIG. 9 is an example of translation information data according to one embodiment of the present disclosure.
  • FIG. 10 is an example of user voice input according to one embodiment of the present disclosure.
  • FIG. 11 illustrates a data flow according to a correction translation operation of an electronic device (101) and a wearable electronic device (201) according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating an operation of an electronic device (101) and a wearable electronic device (201) to correct translation according to an embodiment of the present disclosure.
  • FIG. 13 is a flowchart for explaining an operation of an electronic device (101) and a wearable electronic device (201) to output an interpretation result according to an embodiment of the present disclosure.
  • FIGS. 14a and 14b are examples of a real-time interpretation result display screen of an electronic device (101) according to one embodiment of the present disclosure.
  • FIG. 15 is an example of a multi-party simultaneous interpretation operation of an electronic device (101) and a plurality of wearable electronic devices (201) according to one embodiment of the present disclosure.
  • FIGS. 16a and 16b are examples of a multi-party simultaneous interpretation result display screen of an electronic device (101) according to one embodiment of the present disclosure.
  • FIG. 17 is a flowchart illustrating a method for an electronic device (101) to perform simultaneous interpretation using a wearable electronic device (201) according to one embodiment of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device (101) within a network environment (100) according to various embodiments.
  • an electronic device (101) may communicate with an electronic device (102) via a first network (198) (e.g., a short-range wireless communication network), or may communicate with at least one of an electronic device (104) or a server (108) via a second network (199) (e.g., a long-range wireless communication network).
  • the electronic device (101) may communicate with the electronic device (104) via the server (108).
  • the electronic device (101) may include a processor (120), a memory (130), an input module (150), an audio output module (155), a display module (160), an audio module (170), a sensor module (176), an interface (177), a connection terminal (178), a haptic module (179), a camera module (180), a power management module (188), a battery (189), a communication module (190), a subscriber identification module (196), or an antenna module (197).
  • the electronic device (101) may omit at least one of these components (e.g., the connection terminal (178)), or may have one or more other components added.
  • some of these components e.g., the sensor module (176), the camera module (180), or the antenna module (197) may be integrated into one component (e.g., the display module (160)).
  • the processor (120) may control at least one other component (e.g., a hardware or software component) of the electronic device (101) connected to the processor (120) by executing, for example, software (e.g., a program (140)), and may perform various data processing or calculations.
  • the processor (120) may store a command or data received from another component (e.g., a sensor module (176) or a communication module (190)) in a volatile memory (132), process the command or data stored in the volatile memory (132), and store the resulting data in a non-volatile memory (134).
  • the processor (120) may include a main processor (121) (e.g., a central processing unit or an application processor) or a secondary processor (123) (e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor) that can operate independently or together therewith.
  • a main processor (121) e.g., a central processing unit or an application processor
  • a secondary processor (123) e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor
  • the secondary processor (123) may be configured to use less power than the main processor (121) or to be specialized for a specified function.
  • the secondary processor (123) may be implemented separately from the main processor (121) or as a part thereof.
  • the auxiliary processor (123) may control at least a part of functions or states associated with at least one component (e.g., a display module (160), a sensor module (176), or a communication module (190)) of the electronic device (101), for example, on behalf of the main processor (121) while the main processor (121) is in an inactive (e.g., sleep) state, or together with the main processor (121) while the main processor (121) is in an active (e.g., application execution) state.
  • the auxiliary processor (123) e.g., an image signal processor or a communication processor
  • the auxiliary processor (123) may include a hardware structure specialized for processing artificial intelligence models.
  • the artificial intelligence models may be generated through machine learning. This learning can be performed, for example, in the electronic device (101) itself where the artificial intelligence model is executed, or can be performed through a separate server (e.g., server (108)).
  • the learning algorithm can include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited to the examples described above.
  • the artificial intelligence model can include a plurality of artificial neural network layers.
  • the artificial neural network can be one of a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, or a combination of two or more of the above, but is not limited to the examples described above.
  • the artificial intelligence model can additionally or alternatively include a software structure.
  • the processor (120) can control the operations of the electronic device (101) by executing instructions stored in the memory (130).
  • the processor (120) can correspond to a plurality of processors that collectively perform a plurality of operations by dividing them among the processors.
  • the memory (130) can store various data used by at least one component (e.g., processor (120) or sensor module (176)) of the electronic device (101).
  • the data can include, for example, software (e.g., program (140)) and input data or output data for commands related thereto.
  • the memory (130) can include volatile memory (132) or non-volatile memory (134).
  • the program (140) may be stored as software in the memory (130) and may include, for example, an operating system (142), middleware (144), or an application (146).
  • the input module (150) can receive commands or data to be used in a component of the electronic device (101) (e.g., a processor (120)) from an external source (e.g., a user) of the electronic device (101).
  • the input module (150) can include, for example, a microphone, a mouse, a keyboard, a key (e.g., a button), or a digital pen (e.g., a stylus pen).
  • the audio output module (155) can output audio signals to the outside of the electronic device (101).
  • the audio output module (155) can include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes, such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver can be implemented separately from the speaker or as part of the speaker.
  • the display module (160) can visually provide information to an external party (e.g., a user) of the electronic device (101).
  • the display module (160) may include, for example, a display, a holographic device, or a projector and a control circuit for controlling the device.
  • the display module (160) may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module (170) can convert sound into an electrical signal, or vice versa, convert an electrical signal into sound. According to one embodiment, the audio module (170) can acquire sound through the input module (150), output sound through the sound output module (155), or an external electronic device (e.g., electronic device (102)) (e.g., speaker or headphone) directly or wirelessly connected to the electronic device (101).
  • an external electronic device e.g., electronic device (102)
  • speaker or headphone directly or wirelessly connected to the electronic device (101).
  • the sensor module (176) can detect the operating status (e.g., power or temperature) of the electronic device (101) or the external environmental status (e.g., user status) and generate an electrical signal or data value corresponding to the detected status.
  • the sensor module (176) can include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface (177) may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device (101) to an external electronic device (e.g., the electronic device (102)).
  • the interface (177) may include, for example, a high definition multi-media interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multi-media interface
  • USB universal serial bus
  • SD card interface Secure Digital interface
  • connection terminal (178) may include a connector through which the electronic device (101) may be physically connected to an external electronic device (e.g., electronic device (102)).
  • the connection terminal (178) may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • a haptic module (179) can convert electrical signals into mechanical stimuli (e.g., vibration or movement) or electrical stimuli that a user can perceive through tactile or kinesthetic sensations.
  • the haptic module (179) can include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module (180) can capture still images and videos.
  • the camera module (180) may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module (188) can manage power supplied to the electronic device (101).
  • the power management module (188) can be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • a battery (189) may power at least one component of the electronic device (101).
  • the battery (189) may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module (190) may support the establishment of a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device (101) and an external electronic device (e.g., electronic device (102), electronic device (104), or server (108)), and the performance of communication through the established communication channel.
  • the communication module (190) may operate independently from the processor (120) (e.g., application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module (190) may include a wireless communication module (192) (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module (194) (e.g., a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module (192) e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module (194) e.g., a local area network (LAN) communication module, or a power line communication module.
  • the corresponding communication module can communicate with an external electronic device (104) via a first network (198) (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (199) (e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a first network (198) e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network (199) e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)
  • a computer network e.g., a
  • the wireless communication module (192) can verify or authenticate the electronic device (101) within a communication network such as the first network (198) or the second network (199) by using subscriber information (e.g., an international mobile subscriber identity (IMSI)) stored in the subscriber identification module (196).
  • subscriber information e.g., an international mobile subscriber identity (IMSI)
  • the wireless communication module (192) can support 5G networks and next-generation communication technologies following the 4G network, such as NR access technology (new radio access technology).
  • the NR access technology can support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and connection of multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency communications
  • the wireless communication module (192) can support, for example, a high-frequency band (e.g., mmWave band) to achieve a high data transmission rate.
  • a high-frequency band e.g., mmWave band
  • the wireless communication module (192) can support various technologies for securing performance in a high-frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large-scale antenna.
  • the wireless communication module (192) can support various requirements specified in the electronic device (101), an external electronic device (e.g., the electronic device (104)), or a network system (e.g., the second network (199)).
  • the wireless communication module (192) may support a peak data rate (e.g., 20 Gbps or more) for eMBB realization, loss coverage (e.g., 164 dB or less) for mMTC realization, or U-plane latency (e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip) for URLLC realization.
  • a peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 0.5 ms or less for downlink (DL) and uplink (UL), or 1 ms or less for round trip
  • the antenna module (197) can transmit or receive signals or power to or from an external device (e.g., an external electronic device).
  • the antenna module (197) may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (e.g., a PCB).
  • the antenna module (197) may include a plurality of antennas (e.g., an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network, such as the first network (198) or the second network (199), may be selected from the plurality of antennas, for example, by the communication module (190). A signal or power may be transmitted or received between the communication module (190) and an external electronic device via the selected at least one antenna.
  • another component e.g., a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module (197) may form a mmWave antenna module.
  • the mmWave antenna module may include a printed circuit board, an RFIC disposed on or adjacent a first side (e.g., a bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., a mmWave band), and a plurality of antennas (e.g., an array antenna) disposed on or adjacent a second side (e.g., a top side or a side side) of the printed circuit board and capable of transmitting or receiving signals in the designated high-frequency band.
  • a first side e.g., a bottom side
  • a plurality of antennas e.g., an array antenna
  • At least some of the above components can be interconnected and exchange signals (e.g., commands or data) with each other via a communication method between peripheral devices (e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface)).
  • peripheral devices e.g., a bus, GPIO (general purpose input and output), SPI (serial peripheral interface), or MIPI (mobile industry processor interface)).
  • commands or data may be transmitted or received between the electronic device (101) and an external electronic device (104) via a server (108) connected to a second network (199).
  • Each of the external electronic devices (102 or 104) may be the same or a different type of device as the electronic device (101).
  • all or part of the operations executed in the electronic device (101) may be executed in one or more of the external electronic devices (102, 104, or 108). For example, when the electronic device (101) is to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device (101) may, instead of or in addition to executing the function or service by itself, request one or more external electronic devices to perform the function or at least a part of the service.
  • One or more external electronic devices that receive the request may execute at least a portion of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device (101).
  • the electronic device (101) may process the result as is or additionally and provide it as at least a portion of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used, for example.
  • the electronic device (101) may provide an ultra-low latency service by using distributed computing or mobile edge computing, for example.
  • the external electronic device (104) may include an Internet of Things (IoT) device.
  • the server (108) may be an intelligent server using machine learning and/or a neural network.
  • the external electronic device (104) or the server (108) may be included in the second network (199).
  • the electronic device (101) can be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may take various forms. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to the embodiments of this document are not limited to the aforementioned devices.
  • FIG. 2 is a block diagram of a wearable electronic device (201) according to one embodiment of the present disclosure.
  • a wearable electronic device (201) may include an audio module (210), a processor (220), a memory (230), or a transceiver (240). In some embodiments, the wearable electronic device (201) may omit at least one of these components, or may have one or more other components added. In some embodiments, some of these components may be integrated into a single component.
  • the audio module (210) may include at least one microphone (211), at least one speaker (212), or an audio processor (213).
  • the wearable electronic device (201) may be manufactured in a form that can be worn on the ears, and the microphone (211) and the speaker (212) may be arranged in two physically separate electronic devices, respectively.
  • the wearable electronic device (201) may have a first structure (a form that can be worn on the left ear) and a second structure (a form that can be worn on the right ear) corresponding to the first structure so that it can be worn on both ears of the user.
  • the first structure of the wearable electronic device (201) may include a first microphone and a second speaker, and the second structure may include a second microphone and a second speaker.
  • the wearable electronic device (201) may receive an audio signal corresponding to a sound acquired from the outside through a plurality of microphones.
  • a wearable electronic device (201) can output audio signals through multiple speakers.
  • the audio signal processor (213) receives an analog audio signal input through a microphone (211) and converts it into a digital audio signal through an analog to digital converter (ADC), and can perform various processing on the received audio signal.
  • the audio signal processor (213) can change a sampling rate, apply one or more filters, perform interpolation processing, amplify or attenuate all or part of a frequency band, process noise (e.g., noise or echo reduction), change a channel (e.g., switching between mono and stereo), mix, or extract a specified signal on one or more digital audio signals.
  • one or more functions of the audio signal processor (213) can be implemented in the form of an equalizer.
  • the processor (220) may, for example, execute software (e.g., a program) to control at least one other component (e.g., a hardware or software component) of the wearable electronic device (201) connected to the processor (220) and perform various data processing or calculations.
  • the processor (220) may store commands or data received from other components (e.g., an audio module (210) or a transceiver (240)) in a volatile memory, process the commands or data stored in the volatile memory, and store result data in a non-volatile memory.
  • the processor (220) may include a main processor (e.g., a central processing unit or an application processor) or an auxiliary processor (e.g., a neural processing unit (NPU)) that can operate independently or together therewith.
  • the auxiliary processor may perform an operation of the machine learning model (231) included in the memory (230) on an audio signal input from the audio module (210) and transmit the result of the operation to the processor (220).
  • the processor (200) may control the operations of the wearable electronic device (201) by executing instructions stored in the memory (230).
  • the processor (220) may correspond to a plurality of processors that collectively perform a plurality of operations by dividing them among the processors.
  • the memory (230) can store various data used by at least one component (e.g., a processor (220) or an audio module (210)) of the wearable electronic device (201).
  • the data can include, for example, input data or output data for software (e.g., a program) and commands related thereto.
  • the memory (230) may store a machine learning model (231) that performs at least one operation.
  • the machine learning model (231) may include various components that perform detailed operations to achieve an interpretation function.
  • the machine learning model (231) may include at least one of: ASR (automation speech recognition), STT (speech-to-text), LLM (large language model), S2ST (speech-to-speech translation), a first machine learning model trained to output translated translation information based on a voice input (hereinafter, referred to as a translation learning model), a second machine learning model trained to identify a user's voice based on a user's voice input (hereinafter, referred to as a voice identification learning model), or a third machine learning model trained to recognize a mouth shape based on a continuous image or video input of a user's mouth and identify an utterance through the mouth shape (hereinafter, referred to as a mouth shape identification learning model).
  • ASR automatic speech recognition
  • STT speech-to-text
  • the first machine learning model may include at least one of ASR, STT, LLM, or S2ST.
  • the first machine learning model may include S2ST and output a voice signal that has interpreted an input voice signal.
  • the first machine learning model may include ASR, LLM, and STT and output text data (or voice data that has converted text data into voice) that has interpreted an input voice signal.
  • the voice recognition learning model may be trained to identify a specific user voice (e.g., a user of a wearable electronic device (201)) acquired through a microphone, such as during a call or a voice input.
  • the voice recognition learning model may perform supervised learning, semi-supervised learning, or re-training using the user voice continuously input through the microphone as learning data.
  • the wearable electronic device (201) may identify a user voice among voice signals acquired through the microphone (211) and transmit information about the identified user voice to the electronic device (101).
  • the electronic device (101) may include a machine learning model.
  • the machine learning model included in the electronic device (101) and the machine learning model (231) included in the wearable electronic device (201) may differ in some aspects.
  • the machine learning model (231) included in the wearable electronic device (201) may have more limited functions than the machine learning model of the electronic device (101).
  • the translation learning model included in the electronic device (101) may be capable of translating multiple languages (e.g., Korean, English, Spanish), while the translation learning model of the wearable electronic device (201) may only have the function of translating a smaller number of languages (e.g., English).
  • the translation learning model included in the electronic device (101) may be trained with more training data than the training data of the translation learning model included in the wearable electronic device (201).
  • the translation learning model included in the electronic device (101) may provide more accurate or sophisticated expressions, expressions that reflect the user's language habits, etc.
  • the translation learning model of the wearable electronic device (201) is not limited to the translation learning model of the electronic device (101), and the translation learning model of the wearable electronic device (201) may be optimized for the user or may provide functions that are substantially the same as or higher than the translation learning model included in the electronic device (101).
  • the translation learning model of the wearable electronic device (201) may be periodically updated by being connected to the translation learning model of the functionally connected electronic device (101).
  • the machine learning model (231) of the wearable electronic device (201) may include a personalized translation learning model trained to perform personalized translation based on the user's speech patterns or frequently used words.
  • the machine learning model (231) may include neural networks, transformers, sequence-to-sequence models, large language models, and/or bidirectional embeddings.
  • the transceiver (240) can support the establishment of a long-distance or short-distance wireless communication channel between the wearable electronic device (201) and an external electronic device (e.g., the electronic device (101) or a server), and the performance of communication through the established communication channel.
  • the long-distance wireless communication may be, for example, a cellular communication module or a GNSS (global navigation satellite system) communication module.
  • the short-distance wireless communication may be, for example, Bluetooth, WiFi (wireless fidelity) direct, UWB (ultra-wideband), or IrDA (infrared data association).
  • the transceiver (240) can perform pairing between the wearable electronic device (201) and another electronic device (e.g., the electronic device (101)).
  • the transceiver (240) can perform pairing of the wearable electronic device (201) with another electronic device of the user (e.g., a mobile electronic device (101) or a wearable electronic device (e.g., a smart ring, a smart watch)).
  • the wearable electronic device (201) can automatically connect to another electronic device (101) paired through the transceiver (240) while being worn by the user.
  • the configuration of the wearable electronic device (201) may be partially or entirely identical to the configuration of the electronic device (101) of FIG. 1.
  • FIG. 3 is an example for explaining a simultaneous interpretation situation by an electronic device (101) and a wearable electronic device (201) according to one embodiment of the present disclosure.
  • the electronic device (101) and the wearable electronic device (201) may output the result of simultaneous interpretation of a conversation between a user (A) and a counterpart (B) to the speaker of the wearable electronic device (201), the speaker of the electronic device (101), or the display.
  • “interpretation” means translating words so that meaning can be communicated between people who do not speak the same language
  • “translation” means translating a text in one language into another language.
  • interpretation may mean converting the speech of the user (A) into another language appropriate for the situation and outputting it.
  • the electronic device (101) or the wearable electronic device (201) may interpret and process an audio signal and output it as an audio signal.
  • the interpretation process may include a process of converting the audio signal into text, translating the text, and then converting it back into an audio signal.
  • the terms interpretation and translation are used interchangeably to refer to processing a user's speech (audio signal) and outputting it in another language (audio signal or text signal).
  • audio signal audio signal
  • the term “interpretation” may be interpreted as “translation,” and even if it is described as “translation,” it may be interpreted as “interpretation” in terms of meaning.
  • an electronic device (101) and a wearable electronic device (201) can simultaneously interpret a conversation between two speakers.
  • an electronic device (101) and a plurality of wearable electronic devices (201) e.g., wearable electronic devices in the form of clothes, glasses, watches, rings, earphones, etc.
  • a wearable electronic device (201) may receive a user's (A) speech, perform an interpretation, transmit the interpreted result to the electronic device (101), receive information translating the speech of the other party (B), and output it through a speaker.
  • an electronic device (101) may receive a user's (B) speech, perform an interpretation, transmit the interpreted result to the wearable electronic device (201), and receive information translating the speech of the user (A), and output it through a speaker or a display.
  • a user (A) may speak in Korean, and a counterpart (B) conversing with the user (A) may speak in Spanish.
  • the electronic device (101) and the wearable electronic device (201) may receive audio signals for the user's (A) speech and the counterpart's (B) speech, process the interpretation, and output the result as an audio signal or text from the electronic device (101) or the wearable electronic device (201) as appropriate for the situation.
  • the wearable electronic device (201) may be worn on the body (e.g., the ear) of the user (A) so that the user (A) may use the interpretation function.
  • the electronic device (101) may be positioned within the visual range of the counterpart (B) and/or within the reception range of a microphone (e.g., the input module (150) of FIG. 1) so that the counterpart (B) may use the interpretation function.
  • an electronic device (101) and a wearable electronic device (201) may be connected to each other based on short-range wireless communication (e.g., Bluetooth).
  • short-range wireless communication e.g., Bluetooth
  • the electronic device (101) and the wearable electronic device (201) may perform pairing including user authentication.
  • the electronic device (101) and the wearable electronic device (201) can receive audio signals regarding speech of the user (A) or the other party (B) through their respective microphones (e.g., the microphone (211) of the wearable electronic device (201) or the microphone (150) of the electronic device (101)) while the user (A) is carrying or wearing the electronic device.
  • their respective microphones e.g., the microphone (211) of the wearable electronic device (201) or the microphone (150) of the electronic device (101)
  • the wearable electronic device (201) may be positioned closer to the mouth of the user (A) than to the mouth of the counterpart (B) while being worn on the ear of the user (A).
  • the wearable electronic device (201) worn by the user (A) may interpret and process utterances made by the user (A).
  • the electronic device (101) of the user (A) e.g., a mobile electronic device (101) placed on the hand of the user (A)
  • the electronic device (101) or the wearable electronic device (201) may determine whether a voice input is the voice of a user (e.g., user A) by using a machine learning model (hereinafter, referred to as a voice identification learning model) trained to identify the voice of a user (e.g., user A) based on a voice input previously received through each microphone (e.g., microphone (150) of the electronic device (101) or microphone (212) of the wearable electronic device (201).
  • a voice identification learning model trained to identify the voice of a user (e.g., user A) based on a voice input previously received through each microphone (e.g., microphone (150) of the electronic device (101) or microphone (212) of the wearable electronic device (201).
  • the wearable electronic device (201) and the electronic device (101) may each receive voice signals for speech of the two people.
  • the wearable electronic device (201) may filter the voice signal for the speech of the other party (B) in order to process interpretation for the user (A).
  • the electronic device (101) may filter a voice signal of a user's (A) speech in order to process an interpretation for the other party (B).
  • the wearable electronic device (201) may identify the user's voice from a voice input acquired through a microphone (212) and perform an interpretation for the voice information of the user (A) filtered out except for the identified user's voice.
  • the electronic device (101) may identify the user's voice from a voice input acquired through a microphone (150) and perform an interpretation for the voice information of the other party (B) filtered out except for the portion including the identified user's voice.
  • the electronic device (101) may receive a user input for a speech of the other party (B), process the interpretation, display it on the display (160) of the electronic device (101), and transmit it to the wearable electronic device (201) so that it can be output to the speaker (212) of the wearable electronic device (201).
  • the electronic device (101) may receive translation information that translates the speech of the user (A) from the wearable electronic device (201), display it as text on the display (160), or output it as an audio signal through the speaker (155).
  • a wearable electronic device (201) may receive a user input for a user's (A) speech, interpret it, and transmit it to the electronic device (101) so that it can be displayed on the display (160) of the electronic device (101).
  • the wearable electronic device (201) may receive translation information for a counterpart's (B) speech from the electronic device (101) and output it as an audio signal through a speaker (212).
  • the electronic device (101) may obtain a first user voice input for a Spanish utterance (310) of a counterpart (B) such as “Hay algun lugar cerca donde pueda comer pasta deliciosa?” through a microphone (150), generate first translation information (e.g., “Is there a place nearby where I can eat delicious pasta?”) translated into Korean of the first user voice input using a machine learning model included in the memory (130) of the electronic device (101), display the first translation information on a first part (311) of a display (160), and transmit the first translation information to a wearable electronic device (201) through a transceiver (190).
  • the wearable electronic device (201) may output the first translation information translated into Korean for the Spanish utterance (310) of the counterpart (B) received from the electronic device (101) through a speaker (212).
  • the wearable electronic device (201) may obtain a second user voice input for a Korean utterance (320) of a user (A) saying, “I know a delicious pasta restaurant nearby” through a microphone (211), generate second translation information (e.g., “Conozco un delicioso restautant de pasta cerca.”) in which the second user voice input is translated into Spanish using a machine learning model (231) included in a memory (230) of the wearable electronic device (201), and transmit the second translation information to the electronic device (101) through a transceiver (240).
  • the electronic device (101) may display the second translation information translated into Spanish for the Korean utterance (320) of the user (A) received from the wearable electronic device (201) on a second part (321) of the display (160).
  • the electronic device (101) when the other party (B) wears his/her wearable electronic device, the electronic device (101) can transmit a text or audio signal to the other party's wearable electronic device so that the translation result of the user (A) can be output through the speaker or display of the other party's wearable electronic device.
  • the wearable electronic device (201) of the user (A) when the other party (B) wears a wearable electronic device on his/her ear, the wearable electronic device (201) of the user (A) can transmit an audio signal, which is the result of translating the user's speech, to the other party's wearable electronic device so that the audio signal is output through the speaker of the wearable electronic device of the other party (B).
  • the translation of the other party's speech can be performed by the electronic device (101) of the user (A).
  • the display or speaker of the electronic device carried or worn by the other party (B) can be used as an output device for the simultaneous interpretation function of the electronic device (101) and the wearable electronic device (201).
  • the wearable electronic device (201) may be manufactured as a first structure and a second structure that are physically distinct so as to be wearable on both ears of a user.
  • the user (A) and the other party (B) may each wear the first structure and the second structure of the wearable electronic device (201).
  • some speakers of the wearable electronic device (201) e.g., the second structure wearable on the right ear
  • the other party (B) may be worn by the other party (B) to use the speaker function.
  • the interpretation result for the other party's (B) speech may be output through the first speaker included in the first structure.
  • the interpretation result for the user's (A) speech can be output through the second speaker included in the second structure.
  • FIG. 4 illustrates a data flow according to simultaneous interpretation operations of an electronic device (101) and a wearable electronic device (201) according to one embodiment of the present disclosure.
  • an electronic device (101) and a wearable electronic device (201) can interpret and process voice signals generated by speech of two people in a conversation.
  • the wearable electronic device (201) can receive and process speech (410) of a first user (hereinafter, referred to as a user) who wears the wearable electronic device (201) and speaks in a first language through a microphone (211).
  • a user a first user who wears the wearable electronic device (201) and speaks in a first language through a microphone (211).
  • the electronic device (101) connected to the wearable electronic device (201) can receive and process speech (420) of a second user (hereinafter, referred to as a counterpart) who does not wear the wearable electronic device (201) and speaks in a second language through a microphone (150).
  • a counterpart a second user who does not wear the wearable electronic device (201) and speaks in a second language through a microphone (150).
  • a wearable electronic device (201) may obtain a voice input (410) of a first user speaking in a first language through a microphone (211).
  • the wearable electronic device (201) (or the processor (220) of the wearable electronic device (201)) may identify the user's voice from the received voice input (410) of the first user using a voice recognition learning model of a machine learning model (231), obtain user voice information by filtering out the remainder excluding the user's voice, and perform a translation of the user voice information.
  • the machine learning model (231) may include speech-to-text (STT) or text-to-speech (TTS).
  • the wearable electronic device (201) may convert an audio signal into text using STT, translate the converted text into a target language (e.g., a second language spoken by the other party) to generate translation information, and output the translation information in the form of text as an audio signal through TTS.
  • the wearable electronic device (201) can transmit first translation information, which is a translation of a first user's voice input (410), to the electronic device (101) via the transceiver (240).
  • the translation information can include voice data (audio) and text data (text) translated into a target language of the user's voice input, original text data corresponding to the user's voice input, or information about the user's voice input.
  • an electronic device (101) may transmit first translation information received through a transceiver (190) to a processor (120) or a speaker (155).
  • the speaker (155) of the electronic device (101) may output voice data included in the received first translation information as an audio signal.
  • the processor (120) of the electronic device (101) may output text data included in the first translation information on a screen through a display (160).
  • a counterparty conversing with a user may confirm the user's translated speech through the voice output through the speaker (155) of the electronic device (101) or the interpretation function screen displayed on the display (160).
  • an electronic device (101) may obtain a voice input from a second user (e.g., a counterpart) through a microphone (150).
  • the electronic device (101) (or the processor (120) of the electronic device (101)) may identify the user's voice based on the voice input (420) of the second user received using a voice recognition learning model of a machine learning model, obtain the counterpart's voice information by filtering the first user's voice, and perform a translation of the counterpart's voice information.
  • the machine learning model may include STT or TTS.
  • the electronic device (101) may convert an audio signal into text using STT, translate the converted text into a target language (e.g., a first language spoken by the user) to generate translation information, and output the translation information in the form of text as an audio signal through TTS.
  • the electronic device (101) may transmit second translation information, in which a second user voice input (420) is translated, to the wearable electronic device (201) through the transceiver (190), and simultaneously output text data included in the second translation information on the screen through the display (160).
  • the electronic device (101) may use a machine learning model stored in the memory (130) to perform a translation function, or request a translation from a server (not shown) providing an AI interpretation function, and receive the translation result.
  • the machine learning model (231) of the wearable electronic device (201) may be updated based on information detected by the electronic device (101) (e.g., GPS information).
  • the machine learning model of the electronic device (101) may provide translation functions for Spanish, English, Chinese, Japanese, and French.
  • the machine learning model (231) of the wearable electronic device (201) may include a learning model that is lighter than the machine learning model of the electronic device (101), that is, provides translation functions for a smaller number of languages, depending on the size of the memory (230) of the wearable electronic device (201) or the performance of the processor (220).
  • the electronic device (101) may support an update to the machine learning model (231) of the wearable electronic device (201).
  • the wearable electronic device (201) can add necessary information (e.g., languages to be additionally supported for translation) from the electronic device (101) or delete some information (e.g., languages to be translated that are currently unnecessary) considering the hardware status of the wearable electronic device (201). For example, if a user is traveling to Spain, the electronic device (101) can support Korean-to-Spanish translation.
  • the necessary language can be determined using pre-recognized travel information (e.g., travel destinations identified using messages or airplane ticket images) using GPS information, calendar information, or a machine learning model of the electronic device (101). If the wearable electronic device (201) does not support Korean-to-Spanish translation, the electronic device (101) can transmit a learning model for Spanish-to-Korean translation of the electronic device (101) to the machine learning model of the wearable electronic device (201), thereby updating the machine learning model of the wearable electronic device (201).
  • pre-recognized travel information e.g., travel destinations identified using messages or airplane ticket images
  • GPS information e.g., GPS information, calendar information, or a machine learning model of the electronic device (101).
  • the electronic device (101) can determine that the language requiring translation is Korean-Spanish by using pre-recognized travel information (e.g., a travel destination identified using a message or an airplane ticket image) using GPS information, calendar information, or a machine learning model of the electronic device (101). If the machine learning model included in the wearable electronic device (201) does not support Korean-Spanish translation, the electronic device (101) can transmit a machine learning model that supports Spanish-Korean translation of the electronic device (101) to the wearable electronic device (201).
  • pre-recognized travel information e.g., a travel destination identified using a message or an airplane ticket image
  • GPS information e.g., a travel destination identified using a message or an airplane ticket image
  • calendar information e.g., a machine learning model of the electronic device (101). If the machine learning model included in the wearable electronic device (201) does not support Korean-Spanish translation, the electronic device (101) can transmit a machine learning model that supports Spanish-Korean translation of the electronic device (101) to
  • At least one wearable electronic device (201) that supports a translation function may provide a translation function to the user.
  • a first wearable electronic device e.g., Buzz
  • a second wearable electronic device e.g., Watch
  • a message and/or notification e.g., vibration
  • the second wearable electronic device may output a guidance message such as “Please speak closer” on the display of the second wearable electronic device to enable the user to use its translation function.
  • the first wearable electronic device may receive a voice signal corresponding to a user’s speech and transmit the received voice signal to the second wearable electronic device.
  • the second wearable electronic device can receive a voice signal transmitted from the first wearable electronic device, process a real-time translation of the received voice signal, and then transmit the translated information generated by the translation to the electronic device and the first wearable electronic device, respectively.
  • the electronic device (101) may include one or more cameras, and may be positioned on the same surface as the display (160) of the electronic device (101). When two or more speakers speak simultaneously, the electronic device (101) may use an image captured of the mouth shape of speaker B (e.g., speaker B of FIG. 3)) through a camera positioned on the same surface as the display (160) to determine which of the multiple voices included in the voice signal acquired through the microphone is the speech of speaker B.
  • the machine learning model of the electronic device (101) may include a lip shape identification learning model trained to identify the general content of speech through the lip shapes of users during self-camera shooting or video calls. The lip shape identification learning model may be trained and stored in the memory (130), or may be retrained using data acquired while using the translation function as learning data.
  • An electronic device (101) may capture an image of speaker B through a camera, and generate a character of speaker B using a generative AI model based on the captured image of speaker B.
  • the electronic device (101) according to an embodiment may use the character of speaker B for a translation function. For example, in order to display an area for outputting translation information for speaker B's utterance on a translation result screen output by the electronic device (101), the character of speaker B may be displayed together.
  • the generated character may be an image or a moving image. When the character is generated using a moving image, the character may be displayed in a form of speaking in accordance with the utterance of speaker B, which is the target of the character.
  • the generative AI model may be an AI model trained to output another image of a similar form to an input image.
  • the generative AI model may generate a plurality of characters, and the user's character may be determined from among the plurality of characters generated by the user's selection.
  • the character of speaker A (e.g., speaker A in FIG. 3) may be generated through generative AI using an image pre-stored in the electronic device (101).
  • An electronic device (101) may receive identification information identifying a voice for a user input from a wearable electronic device (201) and display a character (graphical object) corresponding to the identification information along with translation information.
  • a wearable electronic device (201) interprets a speaker A's speech and an electronic device (101) interprets a speaker B's speech
  • the interpretation may be performed using active noise cancelling (ANC).
  • the wearable electronic device (201) that has received translation information for a speaker B's speech from the electronic device (101) may output audio for the translation information through the speaker (212) of the wearable electronic device (201) while automatically activating the ANC function.
  • the wearable electronic device (201) may detect ambient noise through the ANC function and remove the detected noise while receiving a voice input for a speaker A's speech through the microphone (211), thereby obtaining a clearer voice input signal.
  • the wearable electronic device (201) can detect ambient noise using a signal acquired through a microphone (211) while speaker A is not speaking, or a signal acquired through a microphone (150) of the electronic device (101) while speakers A and B are not conversing.
  • the wearable electronic device (201) can transmit the second translation information received through the transceiver (240) to the speaker (212).
  • the speaker (212) of the wearable electronic device (201) can output voice data included in the received second translation information as an audio signal.
  • the user (410) can confirm the translated speech of the other party (420) through the voice output through the speaker (212) of the wearable electronic device (201) or the interpretation function screen displayed on the display (160).
  • FIG. 5 is a flowchart for explaining a simultaneous interpretation method of an electronic device (101) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily sequential.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • steps S510 to S541 may be understood to be performed in a processor (e.g., processor (120) of FIG. 1) of an electronic device (e.g., electronic device (101) of FIG. 1).
  • a processor e.g., processor (120) of FIG. 1
  • an electronic device e.g., electronic device (101) of FIG. 1).
  • an electronic device (101) can perform simultaneous interpretation of a conversation between two speakers.
  • the operation of the electronic device (101) of FIG. 5 may correspond to the embodiment of FIG. 4 described above.
  • the electronic device (101) may include at least a portion of a microphone (150), a display (160), a memory (130), a processor (120), or a transceiver (190).
  • the electronic device (101) may execute an interpretation function.
  • the interpretation function may be executed based on a user input for executing the interpretation function.
  • the electronic device (101) may complete the settings for the interpretation function based on initial settings including input language settings, target language settings, or microphone settings.
  • the electronic device (101) can activate the microphone and speaker. It can check whether the wearable electronic device (201) is being worn, and if not, a guidance message such as "Please wear earbuds for interpretation" can be output through the display or speaker of the electronic device (101).
  • the electronic device (101) can detect whether a user's voice is input from a microphone (150) as in step S530 while executing an interpretation function, and can confirm whether translation information is received from a wearable electronic device (201) as in step S540.
  • the electronic device (101) may detect that a user voice is received from the microphone (150).
  • the electronic device (101) may receive a first user voice input through the microphone (150).
  • the electronic device (101) may generate translation information based on a machine learning model in response to the user voice being input (S531).
  • the electronic device (101) may generate first translation information translated from the received first user voice input using the machine learning model based on the received first user voice input.
  • the machine learning model may include a translation learning model trained to output translated translation information based on a voice input.
  • the machine learning model may include a voice identification learning model trained to identify a user voice based on a voice input previously received by the microphone (150).
  • An electronic device (101) may identify a user's voice from among a first user's voice input using a voice recognition learning model, and filter a portion of the first user's voice input containing the identified user's voice to obtain user voice information (e.g., a speaker not wearing a wearable electronic device (201)) to be translated.
  • An electronic device (101) may translate the user's voice information using a translation learning model to generate first translation information.
  • the electronic device (101) can output the first translation information to the display (160) of the electronic device (101) and simultaneously transmit it to an external electronic device (e.g., a wearable electronic device (201)) connected to the electronic device (101).
  • an external electronic device e.g., a wearable electronic device (201)
  • the electronic device (101) may receive second translation information from an external electronic device (e.g., a wearable electronic device (201)) connected to the electronic device (101).
  • the second translation information may include user identification information.
  • the electronic device (101) may receive the second translation information, convert the second translation information into voice information (text to speech) using a translation learning model, and output the converted text through the speaker (155).
  • the electronic device (101) may convert the second translation information into voice information using at least one piece of user voice information pre-stored in the electronic device (101), and then output the converted text through the speaker (155).
  • the electronic device (101) may output the received second translation information to the display (160) and output the second translation information as an audio signal through the speaker (155) (S541).
  • the electronic device (101) may display the second translation information in a first area of the display (160), and the display (160) may display the first translation information in a second area.
  • the first translation information displayed in the second area may be displayed in an opposite direction to the second translation information displayed in the first area.
  • the electronic device (101) according to an embodiment may display a graphical object corresponding to user identification information together with the second translation information.
  • the second translation information may include at least one of translated data, an index of the data, or a flag for the end of utterance.
  • the electronic device (101) according to an embodiment may rearrange translated data included in the second translation information based on the index of the data and display the rearranged translated data in the first area of the display (160).
  • An electronic device (101) may further include at least one sensor including a GPS, and may generate update information including a portion of the translation learning model based on information input from the at least one sensor, and transmit the update information to the external electronic device (e.g., a wearable electronic device (201)).
  • the update information may include update information associated with a translation support language.
  • An electronic device (101) may further include at least one camera, acquire a lip shape based on a lip image captured through the at least one camera, and store instructions for identifying a user's voice using a machine learning model based on the lip shape.
  • the machine learning model may include a third machine learning model trained to identify the content of speech based on the lip shape.
  • FIG. 6 is a flowchart for explaining a simultaneous interpretation method of a wearable electronic device (201) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily sequential.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • steps S610 to S641 may be understood to be performed in a processor (e.g., processor (220) of FIG. 2) of a wearable electronic device (e.g., wearable electronic device (201) of FIG. 2).
  • a processor e.g., processor (220) of FIG. 2
  • a wearable electronic device e.g., wearable electronic device (201) of FIG. 2.
  • a wearable electronic device (201) can perform simultaneous interpretation of a conversation between two speakers.
  • the operation of the wearable electronic device (201) of FIG. 6 may correspond to the embodiment of FIG. 4 described above.
  • the wearable electronic device (201) can execute an interpretation function.
  • the wearable electronic device (201) can execute an interpretation function when a specific gesture preset for the interpretation function is input.
  • the wearable electronic device (201) may activate the microphone (211) and the speaker (212). In one embodiment, the wearable electronic device (201) may be paired with the electronic device (101). According to one embodiment, when the wearing of the wearable electronic device (201) is detected, the wearable electronic device (201) may be set to automatically establish a communication connection with the electronic device (101).
  • the wearable electronic device (201) can detect whether a user's voice is input from a microphone (211) as in step S630 while executing an interpretation function, and can check whether translation information is received from a paired electronic device (101) as in step S640.
  • the wearable electronic device (201) may detect that a user voice is received from a microphone (211).
  • the wearable electronic device (201) may receive a second user voice input through the microphone (211).
  • the wearable electronic device (201) may detect noise input in a portion where the user voice does not exist among the second user voice input, remove an input corresponding to the noise detected in the portion where the user voice does not exist among the second user voice input, obtain user voice information, and translate the obtained user voice information to generate second translation information.
  • a wearable electronic device (201) may generate translation information based on a machine learning model in response to a user voice input (S631).
  • the wearable electronic device (201) may generate second translation information translated from a second user voice input using a machine learning model stored in a memory (230) of the wearable electronic device (201).
  • the machine learning model may include a translation learning model trained to output translated translation information based on a voice input.
  • the machine learning model may include a voice identification learning model trained to identify a user's voice based on a voice input previously received through a microphone (211).
  • the wearable electronic device (201) may convert the second user voice input into text using the machine learning model and translate the converted text to generate the second translation information.
  • a wearable electronic device (201) may receive update information from an external electronic device (e.g., an electronic device (101) or a server connected to the wearable electronic device (201)) and update a machine learning model based on the received update information.
  • a wearable electronic device (201) may identify a user's voice from among a second user's voice input based on a voice recognition learning model, and filter out the remaining voices except for the identified user's voice from among the second user's voice inputs to obtain user voice information (e.g., a user wearing the wearable electronic device (201).
  • a wearable electronic device (201) may translate the obtained user voice information based on a translation learning model to generate first translation information.
  • the first translation information may include at least one of translated data, an index of the data, or a flag for the end of utterance.
  • the index of the data may indicate the order in which the translated data is positioned in a sentence structure, and the flag may indicate whether the utterance has ended as identified by voice activity detection (VAD).
  • VAD voice activity detection
  • the wearable electronic device (201) may transmit second translation information to an external electronic device (e.g., electronic device (101)) connected to the wearable electronic device (201).
  • the second translation information may include an audio signal.
  • the wearable electronic device (201) may transmit user identification information corresponding to the identified user's voice to the electronic device (101) together with the second translation information.
  • the wearable electronic device (201) may receive first translation information translated from a first user voice input from an external electronic device (e.g., electronic device (101)) connected to the wearable electronic device (201). In response to receiving the first translation information, the wearable electronic device (201) may output the first translation information as an audio signal through the speaker (212) (S641).
  • an external electronic device e.g., electronic device (101)
  • the wearable electronic device (201) may output the first translation information as an audio signal through the speaker (212) (S641).
  • FIG. 7 is a block diagram of a machine learning model according to an embodiment of the present disclosure.
  • the electronic device (101) or the wearable electronic device (201) may store a machine learning model in a memory (e.g., the memory (130) of the electronic device (101) or the memory (230) of the wearable electronic device (201), respectively).
  • the machine learning model may be stored in the form of a learning model or a program.
  • the machine learning model may be compiled in whole or in part (e.g., a user voice identification learning model) and executed by a processor (e.g., the processor (120) of the electronic device (101) or the processor (220) of the wearable electronic device (201)).
  • a processor e.g., the processor (120) of the electronic device (101) or the processor (220) of the wearable electronic device (201).
  • the operation by the processor (120) of the electronic device (101) will be described with a focus on the operation.
  • the embodiments described below may be operated by the processor (220) of the wearable electronic device (201).
  • the electronic device (101) or the processor (120) of the electronic device (101) may process audio input using a machine learning model stored in the memory (130) and output a translated audio signal.
  • a machine learning model may include various components that perform detailed operations to achieve the interpretation function.
  • the machine learning model may include automated speech recognition (ASR) (701), speech-to-text (STT) (702), a large language model (LLM) (703), translation (704), proofreading (705), or text-to-speech (TTS) (706).
  • ASR automated speech recognition
  • STT speech-to-text
  • LLM large language model
  • translation 704
  • proofreading 705
  • TTS text-to-speech
  • 705 text-to-speech
  • the processor (120) can recognize the user's voice from a sound signal acquired through a microphone (150) using ASR (automation speech recognition) (701) or STT (speech-to-text) (702) and convert it into a form (e.g., text) that can be processed by the electronic device (101).
  • ASR automatic speech recognition
  • STT speech-to-text
  • the LLM (large language model) (703) is a natural language processing learning model trained based on a large amount of text data, and can understand and generate sentences.
  • the LLM (703) can process converted text, and for example, can perform functions according to a user's request, answer a user's question, or interpret (or translate) the user's speech into another language.
  • the processor (120) can use the LLM (703) to identify a user's voice from an input signal, translate the text converted from the user's voice, and, if necessary, correct the translated text.
  • the LLM (703) may include a voice recognition learning model trained with the user's voice.
  • the voice recognition learning model is trained with user voice data (user voice) acquired by the microphone (150) of the electronic device (101) according to the use of the electronic device (101) (e.g., a call), and can identify whether a voice input is a user's voice.
  • the electronic device (101) can continuously collect user voice input through the microphone (150) as learning data.
  • the electronic device (101) or a server (not shown) can retrain a voice recognition learning model based on the user voice collected through the microphone (150).
  • the processor (120) can generate translation information by translating text converted from a voice input into a target language using the LLM (703).
  • the LLM (703) can support translation for a limited number of input languages or target languages.
  • the LLM (703) can include a separate learning model for translation for each language.
  • the electronic device (101) can train the learning model for translation using user voice data to support personalized translation by taking into account the user's speech habits and frequently used words.
  • the processor (120) can translate data converted into text into a target language using LLM (703) or translation (704).
  • the processor (120) can correct translated information using LLM (703) or correction (705).
  • the processor (120) can correct the translation information using a personalized correction learning model (705) that takes into account the user's speech patterns.
  • the processor (120) can correct the translation information using the user's speech patterns.
  • the processor (120) can convert the translated information of the voice input into an audio signal using TTS (706).
  • the electronic device (101) can transmit the audio signal of the translated voice input to the wearable electronic device (201), so that the audio signal can be directly output through the speaker of the wearable electronic device (201).
  • the electronic device (101) and the wearable electronic device (201) can interpret and process the user's speech and the other party's speech in real time during a conversation between the user and the other party.
  • the processor (120) can convert the interpretation result into an audio signal based on the voice of the user or the other party.
  • the processor (120) can utilize a machine learning model (hereinafter referred to as a voice conversion learning model) trained to input a specific person's voice and text and output an audio signal that utters the text in the specific person's voice.
  • a voice conversion learning model trained to input a specific person's voice and text and output an audio signal that utters the text in the specific person's voice.
  • the machine learning model may include speech-to-speech translation (S2ST) (not shown).
  • S2ST includes an ASR (701) and an LLM (703) that convert an input speech signal into text to quickly process interpretation, and can translate the input speech signal and output a result in the form of a speech signal.
  • a wearable electronic device (201) may use S2ST to output a translated speech signal from a user's voice input.
  • S2ST may include a lightweight LLM (703).
  • An electronic device (101) can convert an input voice signal into text using ASR (701), analyze a text sentence using LLM (703), and provide a translation appropriate to the situation.
  • FIG. 8 is a flowchart illustrating an operation of an electronic device (101) and a wearable electronic device (201) performing simultaneous interpretation according to one embodiment of the present disclosure.
  • the electronic device (101) may receive the interpretation result interpreted by the wearable electronic device (201) and output it to the display (160).
  • the wearable electronic device (201) may interpret an incomplete user speech at regular intervals.
  • a wearable electronic device (201) may input (801) an utterance (e.g., "I go") of speaker A among the entire sentences, first interpret the utterance for "I go to” (802), and transmit the interpretation result ("I go") to an electronic device (101) connected to the wearable electronic device (201) (803).
  • the electronic device (101) may output the interpretation result received from the wearable electronic device (201) to a translation display screen (8041) through a display (160) (804).
  • a wearable electronic device (201) may receive "school after work” uttered by speaker A following "I go to” (805). The wearable electronic device (201) may later interpret the remaining utterance of "school after work” among the entire sentence (806), and transmit the interpretation result ("I go to school after work") to the electronic device (101) by combining it with the previously interpreted result (e.g., "I go") (807). The electronic device (101) may output the interpretation result received from the wearable electronic device (201) to a translation display screen (8081) via the display (160) (808).
  • an electronic device (101) can output the translation information received from a wearable electronic device (201) as is through a display (160) without any separate operation.
  • An electronic device (101) according to one embodiment can only function as an output device that outputs the translation information translated from speaker A's speech as is.
  • FIG. 9 is an example of translation information data according to one embodiment of the present disclosure.
  • the electronic device (101) or the wearable electronic device (201) may use index information to transmit translation information obtained by translating the user's utterance in real time to the wearable electronic device (201) or the electronic device (101).
  • the electronic device (101) or the wearable electronic device (201) may first translate and transmit the utterance for some sentences before the sentence corresponding to the user's utterance is completed, and then transmit the interpretation for the remaining sentences later.
  • the word order of the input language at the time of the user's utterance may be different from the word order of the target language in the translated text.
  • the translation result for the part of the sentence translated first is different from the translation result for the sentence in which the utterance is completed
  • the translation result that has already been output may need to be modified.
  • the structure or order of the sentence may continue to change until the translation of a single sentence is completed. For example, on the translation screen displayed on the display (160) of the electronic device (101), the translated text may display parts of the sentence in chronological order, delete parts of the displayed sentence, and then display the entire sentence again.
  • the sentence "I go to" uttered in English has a different subject/predicate position in the sentence structure when translated into Korean than in the English sentence structure. Therefore, when the translation of the entire sentence is completed, the results of translating "I go to” and "school after work” separately are different from the results of translating the entire sentence "I go to school after work.”
  • the electronic device (101) sequentially outputs the translation information received from the wearable electronic device (201) to the display (160), the translation may not be smooth. For example, when the electronic device (101) receives "I go” and outputs it to the display (160), and then receives "I go to school after work” and outputs it to the display (160), "I go.
  • the wearable electronic device (201) may first transmit translation information for a portion of a sentence ("I am going") (901), and then, upon completion of the sentence, retransmit translation information for the entire sentence ("I am going to school after work") back to the electronic device (101) including the portion of the previously translated sentence (902).
  • some of the translation information may be transmitted redundantly.
  • a wearable electronic device (201) may transmit an interpretation result (e.g., translation information) for a voice input received in real time to the electronic device (101) using index information.
  • the interpretation result may be generated for an entire sentence or a portion of a sentence.
  • the translation information may be stored in the form of an index and data for each word (or phrase), and may include a flag indicating whether the sentence is a completed utterance (903, 904).
  • the index may indicate the order in which the word (or phrase) is located in the sentence structure. For example, data with an index of 100 may be located before data with an index of 300 in the sentence structure.
  • a wearable electronic device (201) may first transmit translation information (903) for a portion of a sentence, and then, when the sentence is completed, transmit only translation information for the remaining sentence to the electronic device (101) (904).
  • the electronic device (101) may output translation information according to the word order structure of the target language by referring to the flags and indices included in the translation information received from the wearable electronic device (201). For example, the electronic device (101) may determine that the first received translation information (903) corresponds to an incomplete sentence and the later received translation information (904) corresponds to a completed sentence, and may combine the two pieces of translation information (903, 904) to output them as a single sentence. In various embodiments, the utterance for the entire sentence may be divided into multiple pieces and interpreted sequentially according to real-time translation. According to an embodiment, the electronic device (101) may combine the two pieces of translation information (903, 904) and rearrange the data in the order of 100, 200, 300, and 1000 according to the indices, and then output them to the display (160) or the speaker (155).
  • FIG. 10 is an example of user voice input according to one embodiment of the present disclosure.
  • an electronic device (101) or a wearable electronic device (201) may receive a continuous analog voice signal for a user's speech and use voice activity detection (VAD) to identify the end of the speech or the completion of a sentence.
  • VAD voice activity detection
  • a wearable electronic device (201) may process (e.g., interpret) a voice signal input in units of windows (e.g., 500 ms) for continuous analog voice input. According to one embodiment, a wearable electronic device (201) may determine that speech has ended by storing a VAD flag as 0 when there is no sound for a specific period of time (e.g., 300 ms) for an input voice signal.
  • a specific period of time e.g. 300 ms
  • a wearable electronic device (201) may process interpretation of a voice signal for each window, and determine the end of a user's speech by checking whether a silent section (e.g., 1001 or 1002) lasts for a specific period of time.
  • the wearable electronic device (201) may determine that a first silent section (1001) lasts within a specific, predetermined period of time (e.g., a threshold value preset according to the user's language habits), and thus determine that the user is speaking.
  • the wearable electronic device (201) according to an embodiment may determine that a second silent section (1002) lasts beyond a specific, predetermined period of time, and thus determine that the speech has ended.
  • the wearable electronic device (201) may determine that the speech for the first sentence has ended based on a silent section (1002) with a flag of 0 using VAD. The wearable electronic device (201) can then process the input voice signal as a new sentence, a second sentence.
  • a wearable electronic device (201) may transmit a text translated using a translation learning model (e.g., S2ST) to the electronic device (101).
  • the wearable electronic device (201) may store an original text for which ASR (701) is performed on a user voice input while transmitting the text translated using S2ST to the electronic device (101).
  • the wearable electronic device (201) may transmit the original text accumulated in the wearable electronic device (201) to the electronic device (101) at the time when the utterance is terminated using VAD.
  • the electronic device (101) may receive a flag for the termination of the user utterance and the original text from the wearable electronic device (201), perform a translation on the original text using a machine learning model (e.g., a correction learning model) of the electronic device (101), and display the translated text by replacing the sentences displayed in real time.
  • a machine learning model e.g., a correction learning model
  • the wearable electronic device (201) can interpret continuously by cutting it into a certain unit (e.g., 500 ms) while receiving continuous utterances of speaker A. For example, the wearable electronic device (201) can first interpret the input "I go to,” store the translation information and the original text, and then transmit the interpretation result "I am going" to the electronic device (101) and display it on the screen. The wearable electronic device (201) can interpret the continuously uttered "school after work,” and then transmit the interpretation result "after work, to school” to the electronic device (101). The wearable electronic device (201) can use the VAD to confirm the end of the utterance after the utterance of "school after work,” and transmit the translation result and the original text together to the electronic device (101). The electronic device (101) can rearrange the translation results received from the wearable electronic device (201) into complete sentences using index information and then display them again. Alternatively, the electronic device (101) can correct the translation results using the received original text and then display them on the screen.
  • a certain unit e.g. 500 ms
  • FIG. 11 illustrates a data flow according to a correction translation operation of an electronic device (101) and a wearable electronic device (201) according to an embodiment of the present disclosure.
  • An electronic device (101) and a wearable electronic device (201) may interpret a conversation between two people in real time and output the interpretation result through a display or speaker. To ensure smooth conversation, the interpretation result output in real time may differ from a complete sentence translated from the original text.
  • An electronic device (101) or a wearable electronic device (201) according to an embodiment may perform an interpretation of an input voice signal, display the interpretation result (e.g., translation information) in real time, perform a translation of the original text, and then display a complete sentence by replacing the sentence displayed in real time.
  • a wearable electronic device (201) can acquire a user voice input (1110) spoken in a first language through a microphone (211), and transmit translated information (text) and original data interpreted using a machine learning model to the electronic device (101) through a transceiver (240).
  • the electronic device (101) can output the translated information text received from the wearable electronic device (201) in real time through a display (160).
  • the wearable electronic device (201) may transmit translation information and the original text to the electronic device (101) along with an end-of-speech flag.
  • the electronic device (101) may verify the end-of-speech flag, translate the original text using a machine learning model, and correct the translation information.
  • the electronic device (101) may display the corrected sentence as a replacement for the real-time displayed interpretation result translation information.
  • the processor (120) of the electronic device (101) can perform translation or proofreading of the original text using a machine learning model. If a translated sentence is incomplete or short, the machine learning model can infer the user's intent and correct it to a complete sentence. For example, if the user utters a short sentence and the translation is mistranslated contrary to the user's intent, the machine learning model can correct the translated sentence to a complete sentence by considering the previous sentence. Alternatively, if the user utters a sentence with a different word order, the translated sentence can be corrected by correcting it to the correct word order. Furthermore, the machine learning model can smooth the translation by considering the relationship between the user and the other party and the current conversational context.
  • real-time interpretation translates the original text as is, so it can be a general translation depending on the initial settings (e.g., polite expressions).
  • the electronic device (101) can perform a personalized translation using the machine learning model. For example, if the relationship between the user and the other party is close, the electronic device (101) can perform the translation by utilizing friendly expressions. If the user is conversing with a child, the electronic device (101) can perform translation using expressions related to children.
  • a machine learning model can be trained to perform personalized translation based on the user's speech patterns and frequently used words.
  • FIG. 12 is a flowchart illustrating an operation of an electronic device (101) and a wearable electronic device (201) to correct translation according to an embodiment of the present disclosure.
  • a wearable electronic device (201) may receive an utterance ("I go to") from speaker A (1201).
  • the wearable electronic device (201) may interpret the input user speech into a target language and generate translation information ("I go") (1202).
  • the wearable electronic device (201) may transmit the translation information ("I go") and the original text ("I go to") together to the electronic device (101) (1203).
  • the electronic device (101) checks the received translation information and the flag for the original text, and if it is not the end of speech (flag 0), it can output the interpretation result of speaker A as it is on the display (160) screen (12041) (1204).
  • the wearable electronic device (201) can continuously receive speaker A's speech ("school after work") (1205).
  • the wearable electronic device (201) can interpret the input user speech into a target language and generate translation information ("school after work") (1206).
  • the wearable electronic device (201) can transmit the translation information ("school after work") and the original text (“school after work”) together to the electronic device (101) (1207).
  • the electronic device (101) checks the received translation information and the flag for the original text, and if it corresponds to the end of the speech (flag 1), it can output the interpretation result of speaker A (“I’m going to school after work”) as it is on the display (160) screen (12081) (1208). In response to the end of the speech, the electronic device (101) can translate the original text to correct the translation information. Referring to FIG. 12, the electronic device (101) can generate the corrected sentence “I’m going to school after work.” If the translation information already outputted is different from the corrected sentence, the electronic device (101) can delete the translation information from the display (160) screen (12091). After deleting the translation information already outputted, the electronic device (101) can newly output the corrected sentence on the display (160) screen (12092) (1209).
  • FIG. 13 is a flowchart for explaining an operation of an electronic device (101) and a wearable electronic device (201) to output an interpretation result according to an embodiment of the present disclosure.
  • an electronic device (101) and a wearable electronic device (201) can output translation information translated from a real-time conversation to a display or a speaker.
  • the electronic device (101) or the wearable electronic device (201) can process interpretation for continuous analog voice inputs in regular units, and can output translation information for a portion of a sentence interpreted before the user's speech ends through the display.
  • a translation of the entire sentence can be performed in consideration of the original text, thereby modifying (or correcting) at least a portion of the translation information displayed in real time.
  • the translation information displayed on the display can be re-displayed to indicate the revised translation result, but if the audio signal is output as is during the translation process, it may be difficult for the user to understand the entire sentence.
  • the electronic device (101) and the wearable electronic device (201) can display and modify in real time each unit that processes voice input through a display. In response to the termination of continuous voice input utterance, the electronic device (101) and the wearable electronic device (201) can output information translating a complete sentence through a speaker.
  • the electronic device (101) can receive and interpret the first voice input for speaker B's speech in chronological order (1301).
  • the electronic device (101) can output the interpretation result for the first voice input of speaker B on the display screen (1302).
  • the electronic device (101) can check whether speaker B has finished speaking.
  • the electronic device (101) can determine that the speech has not ended after the first voice input.
  • the electronic device (101) can output the interpretation result on the display screen before the speech ends.
  • speaker A After confirming speaker B's speech through the display (160) of the electronic device (101), speaker A can begin speaking.
  • the wearable electronic device (201) can receive a second voice input for speaker A's speech and interpret it (1303).
  • the electronic device (101) can receive and interpret a third voice input for the subsequent utterances of speaker B (1304).
  • the electronic device (101) can confirm the end of utterance for the input voice signal.
  • the electronic device (101) can determine the end of utterance using the VAD after the third voice utterance of speaker B.
  • the wearable electronic device (201) can transmit the interpretation result for the second voice input to the electronic device (101) (1305).
  • the electronic device (101) can display the interpretation results for the second voice input of speaker A and the interpretation results for the third voice input of speaker B together on the display screen (1306). Regardless of the interpretation and display output operations for the third voice input of speaker B, the electronic device (101) can display the interpretation results for the second voice input of speaker A received from the wearable electronic device (201) as is on the display screen and speaker.
  • the electronic device (101) can output the interpretation result for the second voice input of speaker A through the speaker (155) (1307).
  • the electronic device (101) can transmit the interpretation results for the first voice input and the third voice input of speaker B as audio signals to the wearable electronic device (201) (1308).
  • the wearable electronic device (201) can output the interpretation results for the first voice input and the third voice input of the received speaker B together through the speaker (212).
  • FIGS. 14a and 14b are examples of a real-time interpretation result display screen of an electronic device (101) according to one embodiment of the present disclosure.
  • an electronic device (101) and a wearable electronic device (201) can each interpret a real-time conversation between two people and output it together through the display (160) of the electronic device (101). Even before the user's speech ends, the electronic device (101) and the wearable electronic device (201) can process user voice inputs received continuously and display them on the display (160). The electronic device (101) and the wearable electronic device (201) can re-edit or delete the translation information displayed on the display (160) and display it again.
  • an electronic device (101) may display translation information (1411, 1412, 1413, 1414) translated from a first user's utterance on a first part (1410) of a display (160), and may display translation information (1421, 1422, 1423, 1424) translated from a second user's utterance on a second part (1420) of the display (160).
  • the electronic device (101) may split the screen of the display (160) and display the translation information in opposite directions on the split screen so that the first user and the second user, who are conversing facing each other, can conveniently check the screens displaying the translation information.
  • the electronic device (101) may display translation information translated from a first user's utterance in the +y direction on the first part (1410), and may display translation information translated from a second user's utterance in the -y direction on the second part (1420).
  • this is an example of displaying translation information for a conversation spoken by a first user, starting with an utterance by a second user.
  • an electronic device (101) may receive voice inputs by continuous utterances of a second user, perform interpretation in regular units, and output translation information. Before the second user's utterances end, the electronic device (101) may output translation information for the received voice inputs on the second part (1420) of the display (160) at each of time points t1, t3, t5, and t7. The electronic device (101) may translate continuously received utterances of the second user while adding utterance content according to the translation process, and output the translation result.
  • the electronic device (101) may output the beginning of the sentence "Wine too” at time point t1 on the second part (1420) of the display (160), and may additionally output the underlined part of " I wish I could have wine too, " following the part output at time point t1 at time point t3. Furthermore, the electronic device (101) can additionally output the underlined part of “I wish I could have some wine with you, and the view was nice ” at time t5 in response to real-time interpretation processing, and can additionally output the underlined part of “I wish I could have some wine with you, and the view was nice” at time T7 .
  • the first user and the second user can check the real-time translation results of each other's speech through the display (160) of the electronic device (101). For example, before the second user finishes speaking, the electronic device (101) can display the interpretation results for the second user's speech at time t1. The first user can check some of the translation results before the second user finishes speaking and then begin speaking.
  • a wearable electronic device (201) may receive voice inputs by continuous utterances of a first user, perform interpretation in regular units, and output translation information. Before the first user's utterances end, the wearable electronic device (201) may output translation information for the received voices on the first part (1410) of the display (160) at time points t2, t4, and t6. The wearable electronic device (201) may translate continuously received utterances of the first user while changing the utterance content according to the translation process and output the translation result.
  • the electronic device (101) may output the beginning of the sentence "Estory cerca” on the first part (1410) of the display (160) at time point t2, delete the previous sentence ("Estory cerca") at time point t4, and then newly output the sentence "Fui a un delicioso restaurant de pasta cercano".
  • the electronic device (101) can output, at time t6, a portion of the previous sentence (“Fui a un” and “cercano”), and an added portion of “Conozco un delicioso restaurant de pasta cerca.” together with the underlined portion of the previous sentence (“ delicioso restaurant de pasta ”).
  • the translated information for the speaking can be modified or added until the speaking ends. Since the electronic device (101) and the wearable electronic device (201) simultaneously process the speaking of the first user and the second user during a real-time conversation, the translation results can be simultaneously output even when the users' speaking overlap.
  • the screen e.g., the first part (1410) or the second part (1420)
  • displays the translation results of the display (160) of the electronic device (101) can have text information corresponding to the translation results added or modified at short time intervals.
  • FIG. 15 is an example of a multi-party simultaneous interpretation operation of an electronic device (101) and a plurality of wearable electronic devices (201) according to one embodiment of the present disclosure.
  • an electronic device (101) may perform multi-party interpretation using a plurality of wearable electronic devices (201).
  • the electronic device (101) may be paired with a wearable electronic device (201) of a user of the electronic device (101) (hereinafter, a first wearable electronic device (1501)).
  • a wearable electronic device (1501) can perform interpretation of a user's speech while the wearable electronic device (1501) is worn by the user.
  • the electronic device (101) can be connected to wearable electronic devices (201) of other users (e.g., 1502, 1503, 1504, 1505, 1506, 1507).
  • the electronic device (101) can receive a voice input signal by a user's speech from a wearable electronic device (201) of other users in which the user is speaking (e.g., 1503, 1506).
  • Each of the wearable electronic devices (201) of other users can be connected to the electronic device (101) based on short-range wireless communication, and when a voice signal by a user's speech is input through each microphone while the wearable electronic device (201) is worn by each other user, the voice signal acquired through the microphone can be transmitted to the electronic device (101).
  • the electronic device (101) can interpret the received voice input signal and output the translation information along with the identification information (e.g., speaker name) of the wearable electronic device (201) that transmitted the voice input signal to the display (1520).
  • identification information e.g., speaker name
  • the display (1520) may include a large screen so that multiple other users can view it.
  • the display (1520) may translate and output the speech of each user on a portion of the screen corresponding to the respective user's location.
  • the electronic device (101) may use beamforming to determine the location of each user at the time each speaker speaks using multiple microphones included in the electronic device (101), and may translate and display the content of the user's speech on a portion of the display screen corresponding to the location of each user.
  • FIGS. 16a and 16b are examples of a multi-party simultaneous interpretation result display screen of an electronic device (101) according to one embodiment of the present disclosure.
  • an electronic device (101) e.g., electronic device (1510)
  • the electronic device (101) may output a simultaneous interpretation result screen through the display (160) of the electronic device (101) or a separate display.
  • the simultaneous interpretation result screen may include a first portion (1610, 1611) that displays multiple speakers and a second portion (1620, 1621) that displays the utterance content and translation information according to the speaker.
  • the second portion (1620, 1621) of the simultaneous interpretation result screen may display the translation information of the speaker in a downward direction according to time.
  • the left simultaneous interpretation result screen (1610, 1620) is a screen displayed at a first time
  • the right simultaneous interpretation result screen (1611, 1621) is a screen displayed at a second time point that is a time point after the first time point as the conversation progresses.
  • the electronic device (101) may consider a wearable electronic device (201) connected to the electronic device (101) via wireless communication as participating in a multi-party conversation and display the result on the first part (1610) of the simultaneous interpretation result screen. For example, at the first time, two speakers (speaker 1, speaker 2) may participate in the multi-party conversation. In response to specifying the user of the wearable electronic device (201) participating in the multi-party conversation, the electronic device (101) may display the specified user on the first part (1611) of the simultaneous interpretation result screen.
  • An electronic device (101) may receive a voice input for a speech of a first speaker from the first speaker's wearable electronic device (201), and display translation information obtained by interpreting the received voice input together with the original text and the translation information on a second portion (1620) of a display (1601).
  • the original text displayed on the second portion (1620) may be a text converted from an input voice signal corresponding to the speaker's native language, and the translation information may be a text translated into a target language.
  • the original text may not be an interpretation or translation, but may be a text signal converted from a voice signal.
  • the electronic device (101) can process multiple input languages (e.g., Korean, English, Spanish), but can interpret or translate into a single target language (e.g., English) without considering the individual languages of the multiple participants.
  • the electronic device (101) can output translation information by interpreting an input voice signal on a display, and simultaneously generate an audio signal for the translation information in the target language and output it through a speaker.
  • the electronic device (101) can interpret or translate into a single target language, and then convert it back into the native language of each participant and output it.
  • the second part (1620) can designate a divided area for each speaker participating in the multi-party conversation, and translation information for a specific speaker's utterance can be displayed in the specific speaker's conversation display area.
  • the timelines of the translation information displayed in the second part (1620) can overlap.
  • Kim Cheol-su's utterance 1603 begins before Danyell Mercer's utterance (1602) ends, and thus the timelines of the translation information (1602 and 1603) displayed for the utterances can be displayed overlappingly.
  • a new speaker (speaker3)'s utterance can be input before Kim Cheol-su's utterance (1603) ends, and translation information (1604) for this can be displayed.
  • FIG. 17 is a flowchart illustrating a method for an electronic device (101) to perform simultaneous interpretation using a wearable electronic device (201) according to one embodiment of the present disclosure.
  • the operations may be performed sequentially, but are not necessarily sequential.
  • the order of the operations may be changed, and at least two operations may be performed in parallel.
  • steps S1701 to S1707 may be understood to be performed in a processor (e.g., processor (120) of FIG. 1) of an electronic device (e.g., electronic device (201) of FIG. 1) or a processor (e.g., processor (220) of FIG. 2) of a wearable electronic device (e.g., wearable electronic device (201) of FIG. 1).
  • a processor e.g., processor (120) of FIG. 1 of an electronic device (e.g., electronic device (201) of FIG. 1) or a processor (e.g., processor (220) of FIG. 2) of a wearable electronic device (e.g., wearable electronic device (201) of FIG. 1).
  • the electronic device (101) can simultaneously interpret a conversation between a user wearing the wearable electronic device (201) and the other party using the wearable electronic device (201), and output the interpretation result to a speaker or display.
  • the electronic device (101) and the wearable electronic device (201) may be paired with each other.
  • the electronic device (101) can receive a voice signal through a microphone (150) of the electronic device (101) or a microphone (211) of the wearable electronic device (201).
  • the electronic device (101) may determine whether the input voice signal is a single voice. According to one embodiment, the electronic device (101) may determine whether the voice signal is composed of a single voice using a machine learning model. For example, the electronic device (101) may determine whether the voice of one speaker has ended and the voice of the next speaker has been input. Determining the end of the voice in the input signal may be the same as the embodiment of FIG. 10 described above. If the voice of another speaker begins before the voice of one speaker ends, the electronic device (101) may determine that the input voice signal includes multiple voices. Alternatively, the electronic device (101) may determine that the input voice signal includes multiple voices even if another voice signal is input before the interpretation processing for the input voice signal is completed. In this case as well, the electronic device (101) may consider it as multiple voices because it must perform interpretation on the multiple voice signals.
  • the electronic device (101) can process interpretation of the voice signal in response to determining that the input voice signal is a single voice (step S1703).
  • the electronic device (101) may output translation information that interprets the input voice signal to a display (160) or a speaker (e.g., a speaker (155) of the electronic device (101) or a speaker (212) of the wearable electronic device (201)).
  • a speaker e.g., a speaker (155) of the electronic device (101) or a speaker (212) of the wearable electronic device (201).
  • step S1705 in response to determining that the input voice signal is a plurality of voices, the electronic device (101) may extract a first voice from among the plurality of voices included in the voice signal.
  • the electronic device (101) may identify the user voice from among the plurality of voices based on the user's voice stored in the memory (130) and extract the user voice as the first voice.
  • the electronic device (101) may transmit a request for interpretation processing for a first voice extracted from among a plurality of voices to an external electronic device (e.g., a wearable electronic device (201)).
  • the wearable electronic device (201) may transmit translation information obtained by processing the interpretation for the first voice to the electronic device (101).
  • the electronic device (101) may be equipped with a separate processor (e.g., an NPU) for simultaneous interpretation, and when conversations between speakers overlap, the separate processor may process simultaneous interpretation for the corresponding voice signals. In this case, simultaneous interpretation for a plurality of speakers may be processed in parallel within the electronic device (101).
  • the electronic device (101) may receive translation information processed for interpretation of the first voice from the wearable electronic device (201) and output it to a display (160) or a speaker (e.g., a speaker (155) of the electronic device (101) or a speaker (212) of the wearable electronic device (201)).
  • a display (160) or a speaker e.g., a speaker (155) of the electronic device (101) or a speaker (212) of the wearable electronic device (201).
  • a wearable electronic device (201) comprises: a speaker (212); a microphone (211); a transceiver (240); a memory (230); And at least one processor (220) including a processing circuit, wherein the memory (230) is configured to cause the wearable electronic device (201) to: receive a first user voice input through the microphone (211), and generate first translation information in which the received first user voice input is translated using a machine learning model (231) stored in the memory (230) based on the received first user voice input, wherein the machine learning model (231) includes a first machine learning model trained to output translated translation information based on a voice input, and transmit the first translation information to an external electronic device (e.g., electronic device (101)) connected to the wearable electronic device (201) through the transceiver (240), and output second translation information in which a second user voice input is translated from the external electronic device (101).
  • an external electronic device e.g., electronic device (101)
  • the wearable electronic device (201) connected to the wearable electronic device (201) through the trans
  • the machine learning model (231) may include a second machine learning model trained to identify the user's voice based on other voice inputs received through the microphone (211).
  • the memory (230) may store instructions that, when individually or collectively executed by the at least one processor (220), cause the wearable electronic device to: obtain user voice information based on a portion of the first user voice input using the second machine learning model, based at least in part on a determination that a portion of the first user voice input corresponds to a user voice; and translate the obtained user voice information using the first machine learning model to generate the first translation information.
  • the memory (230) may store instructions that, when individually or collectively executed by the at least one processor (220), cause the wearable electronic device (201) to: transmit user identification information corresponding to the identified user's voice and the first translation information to the external electronic device (101).
  • the memory (230) may store instructions that, when individually or collectively executed by the at least one processor (220), cause the wearable electronic device (201) to: convert the first user voice input into text using the machine learning model (231), and perform a translation on the converted text to generate the first translation information, as at least part of generating the first translation information.
  • the memory (230) may store instructions that, when individually or collectively executed by the at least one processor (220), cause the wearable electronic device (201) to: receive update information from the external electronic device (101) and update the machine learning model (231) based on the received update information.
  • the first translation information includes at least one of translated data, an index of the data, or a flag for the end of utterance, wherein the index of the data indicates the order in which the translated data is positioned in a sentence structure, and the flag may indicate whether the utterance has ended as identified by voice activity detection (VAD).
  • VAD voice activity detection
  • the memory (230) may store instructions that, when individually or collectively executed by the at least one processor (220), cause the wearable electronic device (201) to: detect noise input in a portion of the first user voice input where the user's voice does not exist, remove an input corresponding to the detected noise in the portion of the first user voice input where the user's voice does not exist to obtain user voice information, and translate the obtained user voice information using the first machine learning model to generate the first translation information.
  • an electronic device (101) includes a microphone (150); a display (160); a transceiver (190); a memory (130); and at least one processor (120) including a processing circuit, wherein the memory (130) is configured to cause the electronic device (101) to:
  • the device may store instructions for receiving a first user voice input through the microphone (150), generating first translation information in which the first user voice input is translated using a machine learning model based on the received first user voice input - the machine learning model including a first machine learning model trained to output translated translation information based on a voice input - transmitting the first translation information to an external electronic device (e.g., a wearable electronic device (201)) connected to the electronic device (101) through the transceiver (190), receiving second translation information in which a second user voice input is translated from the external electronic device (201) through the transceiver (190), and causing the second translation information to be displayed in a first area of the display (160).
  • an external electronic device e.g., a wearable electronic device (201)
  • the memory (130) may store instructions that, when individually or collectively executed by the at least one processor (220), cause the electronic device (101) to: display the first translation information in a second area of the display (160), and cause the first translation information displayed in the second area to be displayed in an opposite direction to the second translation information displayed in the first area.
  • the memory (130) may store instructions that, when individually or collectively executed by the at least one processor (120), cause the electronic device (101) to: display the second translation information including user identification information, and a graphical object corresponding to the user identification information, together with the first translation information, in a second area of the display.
  • the machine learning model may include a second machine learning model trained to identify a user's voice based on other voice inputs received via the microphone (150).
  • the memory (130) may store instructions that, when individually or wholly executed by the at least one processor (120), cause the electronic device (101) to: obtain user voice information by filtering out a portion corresponding to the other user's voice based on a portion of the first user's voice input using the second machine learning model, based on a determination that at least a portion of the first user's voice input corresponds to another user's voice, and translate the obtained user voice information using the first machine learning model to generate the first translation information.
  • the memory (130) may store instructions that, when individually or collectively executed by the at least one processor (120), cause the electronic device (101) to: receive the second translation information, convert the received second translation information into voice information (Text to Speech) using the first machine learning model, and output the converted information through the speaker.
  • the electronic device (101) may store instructions that, when individually or collectively executed by the at least one processor (120), cause the electronic device (101) to: receive the second translation information, convert the received second translation information into voice information (Text to Speech) using the first machine learning model, and output the converted information through the speaker.
  • the memory (130) may store instructions that, when individually or collectively executed by the at least one processor (120), cause the electronic device (101) to: convert the second translation information into voice information using at least one user voice information pre-stored in the electronic device (101) and then output the converted second translation information through the speaker.
  • the electronic device (101) may further include at least one sensor including a global positioning system (GPS), and the memory (130) may store instructions that, when individually or collectively executed by the at least one processor (120), cause the electronic device (101) to: generate update information including a portion of the first learning model based on information input from the at least one sensor, and transmit the update information to the external electronic device (201) via the transceiver (190).
  • GPS global positioning system
  • the update information may include update information associated with a translation support language.
  • the electronic device (101) further includes at least one camera, and the memory stores instructions that, when individually or collectively executed by the at least one processor (120), cause the electronic device (101) to: acquire a mouth shape based on a lip image captured through the at least one camera, and identify a user's voice using the machine learning model based on the mouth shape, wherein the machine learning model may include a third machine learning model trained to identify the content of speech based on the mouth shape.
  • the second translation information includes at least one of translated data, an index of the data, or a flag for the end of utterance, and commands for causing the translated data included in the second translation information to be rearranged and displayed in the first area of the display based on the index of the data may be stored.
  • a translation system may include a wearable electronic device (201); and an electronic device (101) connected to the wearable electronic device (201).
  • the wearable electronic device (201) may: receive a first user voice input through a microphone (211) of the wearable electronic device (201), and generate first translation information in which the received first user voice input is translated using a machine learning model (231) of the wearable electronic device (201) based on the received first user voice input, wherein the machine learning model (231) includes a model trained to output translation information based on a voice input, transmit the first translation information to the electronic device (101), receive second translation information in which a second user voice input is translated from the electronic device (101), and output the second translation information through a speaker (212) of the wearable electronic device (201).
  • the electronic device (101) may: receive the second user voice input through the microphone (150) of the electronic device (101), and generate the second translation information using a machine learning model of the electronic device (101) based on the received second user voice input, wherein the machine learning model of the electronic device (101) includes a model trained to output translated information based on a voice input; transmit the second translation information to the wearable electronic device (201), receive the first translation information from the wearable electronic device (201), and display the first translation information on a first area of a display (160) of the electronic device (101).
  • first,” “second,” or “first” or “second” may be used merely to distinguish one component from another, and do not limit the components in any other respect (e.g., importance or order).
  • a component e.g., a first component
  • another e.g., a second component
  • functionally e.g., a third component
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integral component, or a minimum unit or part of such a component that performs one or more functions.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • each component e.g., a module or a program of the above-described components may include one or more entities, and some of the entities may be separated and arranged in other components.
  • one or more components or operations of the aforementioned components may be omitted, or one or more other components or operations may be added.
  • a plurality of components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration.
  • the operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Telephone Function (AREA)

Abstract

본 개시는 웨어러블 전자 장치를 제공한다. 웨어러블 전자 장치는, 스피커; 마이크; 송수신부; 메모리; 및 프로세싱 회로를 포함하는 적어도 하나의 프로세서를 포함하며, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로(individually) 또는 전체적으로(collectively) 실행 시, 상기 웨어러블 전자 장치로 하여금: 상기 마이크를 통해 제1 사용자 음성 입력을 수신하고, 상기 수신된 제1 사용자 음성 입력을 기반으로 상기 메모리에 저장된 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고, 상기 제1 번역 정보를 상기 웨어러블 전자 장치와 연결된 외부 전자 장치에 전송하도록 상기 송수신부를 제어하고, 상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신하고, 및 상기 제2 번역 정보를 상기 스피커를 통해서 출력하도록 야기하는 명령어들(instructions)을 저장할 수 있다.

Description

동시 통역을 위한 전자 장치 및 웨어러블 전자 장치
본 개시는, 동시 통역을 위한 전자 장치 및 웨어러블 전자 장치에 관한 것이다.
오늘날, 모바일 전자 장치는 사용자 편의를 위한 다양한 기능을 제공한다. 특히 최근 몇 년간 인공지능 분야에서 자연어 처리를 위한 대규모 언어 모델(large language model, LLM)이 등장하면서, 모바일 전자 장치는 LLM을 이용한 다양한 기능을 제공할 수 있게 되었다. 예를 들어, 모바일 전자 장치는 LLM을 이용하여 음성 통화 중에 사용자의 음성을 번역하여 음성 통화의 상대방에 전송하는 번역 기능을 최근 제공하고 있다.
다만, LLM은 자연어 처리에 대한 놀라운 성능을 보여주지만 LLM을 학습시키기 위해서 대규모 학습 데이터를 처리하기 위한 시간 및 하드웨어 자원이 필요하다. 예를 들어, 한번 학습을 위해 최소 몇 달의 시간이 걸리기도 한다. 또한, 엣지 디바이스에서 LLM을 직접 사용하기 위해서는 높은 사양의 하드웨어 자원이 필요하거나, 통신 비용을 지불하며 LLM을 포함하는 서버를 간접적으로 이용할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
본 개시의 일 실시 예에 따른, 웨어러블 전자 장치에 있어서, 스피커; 마이크; 송수신부; 메모리; 및 프로세싱 회로를 포함하는 적어도 하나의 프로세서를 포함하며, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로(individually) 또는 전체적으로(collectively) 실행 시, 상기 웨어러블 전자 장치로 하여금: 상기 마이크를 통해 제1 사용자 음성 입력을 수신하고, 상기 수신된 제1 사용자 음성 입력을 기반으로 상기 메모리에 저장된 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-, 상기 제1 번역 정보를 상기 송수신부를 통해 상기 웨어러블 전자 장치와 연결된 외부 전자 장치에 전송하고, 상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신하고, 및 상기 제2 번역 정보를 상기 스피커를 통해서 출력하도록 야기하는 명령어들(instructions)을 저장할 수 있다.
일 실시 예에 따르면, 상기 머신 러닝 모델은 상기 마이크를 통해 수신된 다른 음성 입력들을 기반으로 사용자의 음성을 식별할 수 있도록 학습된 제2 머신 러닝 모델을 포함할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 적어도 부분적으로 상기 제1 사용자 음성 입력의 일부가 사용자 음성에 해당한다는 판단에 기초하여, 상기 제2 학습 모델을 이용하여 상기 제1 사용자 음성 입력의 일부에 기초하여 사용자 음성 정보를 획득하고, 상기 제1 머신 러닝 모델을 이용하여 상기 획득된 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 식별된 사용자의 음성에 대응하는 사용자 식별 정보 및 상기 제1 번역 정보를 상기 외부 전자 장치로 전송하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 제1 번역 정보를 생성하는 적어도 일부로서, 상기 머신 러닝 모델을 이용하여 상기 제1 사용자 음성 입력을 텍스트(text)로 전환(convert)하고, 상기 전환된 텍스트에 대한 번역을 수행하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 외부 전자 장치로부터 업데이트 정보를 수신하고, 상기 수신된 업데이트 정보에 기반하여 상기 머신 러닝 모델의 업데이트를 수행하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 제1 번역 정보는 번역된 데이터, 데이터의 인덱스, 또는 발화 종료에 대한 플래그 중 적어도 하나를 포함하며, 상기 데이터의 인덱스는, 상기 번역된 데이터가 문장 구조상 위치하는 순서를 나타내고, 상기 플래그는 VAD(voice activity detection)에 의해 식별된 발화 종료 여부를 나타낼 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 제1 사용자 음성 입력 중 상기 사용자의 음성이 존재하지 않는 부분에서 입력된 노이즈를 검출하고, 상기 제1 사용자 음성 입력 중 상기 사용자의 음성이 존재하지 않는 부분에서 상기 검출된 노이즈에 대응하는 입력을 제거하여 사용자 음성 정보를 획득하고, 상기 제1 머신 러닝 모델을 이용하여 상기 획득한 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따라서, 웨어러블 전자 장치의 동작 방법이 제공될 수 있다. 상기 방법은, 상기 웨어러블 전자 장치의 마이크를 통해 제1 사용자 음성 입력을 수신할 수 있다. 상기 방법은, 상기 수신된 제1 사용자 음성 입력을 기반으로 상기 메모리에 저장된 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성할 수 있다-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-. 상기 방법은, 상기 제1 번역 정보를 상기 웨어러블 전자 장치와 연결된 외부 전자 장치에 상기 송수신부를 통해 전송할 수 있다. 상기 방법은, 상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신할 수 있다. 상기 방법은, 상기 제2 번역 정보를 상기 스피커를 통해서 출력할 수 있다.
일 실시 예에 따라서, 컴퓨터로 독출 가능한 적어도 하나의 인스트럭션을 저장하는 저장 매체가 제공될 수 있다. 상기 적어도 하나의 인스트럭션은 웨어러블 전자 장치의 적어도 하나의 프로세서의 적어도 일부에 의하여 실행 시에, 상기 웨어러블 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 야기할 수 있다. 상기 적어도 하나의 동작은, 상기 웨어러블 전자 장치의 마이크를 통해 제1 사용자 음성 입력을 수신할 수 있다. 상기 적어도 하나의 동작은, 상기 수신된 제1 사용자 음성 입력을 기반으로 상기 메모리에 저장된 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성할 수 있다-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-. 상기 적어도 하나의 동작은, 상기 제1 번역 정보를 상기 웨어러블 전자 장치와 연결된 외부 전자 장치에 상기 송수신부를 통해 전송할 수 있다. 상기 적어도 하나의 동작은, 상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신할 수 있다. 상기 적어도 하나의 동작은, 상기 제2 번역 정보를 상기 스피커를 통해서 출력할 수 있다.
본 개시의 다른 일 실시 예에 따른 전자 장치는, 마이크; 디스플레이; 송수신부; 메모리; 및 프로세싱 회로를 포함하는 적어도 하나의 프로세서를 포함하며, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로(individually) 또는 전체적으로(collectively) 실행 시, 상기 웨어러블 전자 장치로 하여금: 상기 마이크를 통해 제1 사용자 음성 입력을 수신하고, 상기 수신된 제1 사용자 음성 입력을 기반으로 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-,상기 제1 번역 정보를 상기 전자 장치와 연결된 외부 전자 장치로 상기 송수신부를 통해 전송하고,상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신하고, 상기 제2 번역 정보를 상기 디스플레이의 제1 영역에 표시하도록 야기하는 명령어들(instructions)을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 제1 번역 정보를 상기 디스플레이의 제2 영역에 표시하고, 상기 제2 영역에 표시된 상기 제1 번역 정보는 상기 제1 영역에 표시된 상기 제2 번역 정보와 반대되는 방향으로 표시되도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 제2 번역 정보는 사용자 식별 정보를 포함하고, 상기 사용자 식별 정보에 대응하는 그래픽 객체(Graphical object)를 상기 디스플레이의 제2 영역에 상기 제1 번역 정보와 함께 표시하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 머신 러닝 모델은 상기 마이크를 통해 수신된 다른 음성 입력들을 기반으로 사용자 음성을 식별할 수 있도록 훈련된 제2 머신 러닝 모델을 포함할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 적어도 부분적으로 상기 제1 사용자 음성 입력의 일부가 다른 사용자 음성에 해당한다는 판단에 기초하여, 상기 제2 머신 러닝 모델을 이용하여 상기 제1 사용자 음성 입력의 일부에 기초하여 상기 다른 사용자의 음성에 해당하는 부분을 필터링한 사용자 음성 정보를 획득하고, 상기 제1 머신 러닝 모델을 이용하여 상기 획득된 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 제2 번역 정보를 수신하고, 상기 수신된 제2 번역 정보를 상기 제1 머신 러닝 모델을 이용하여 음성 정보로 변환(Text to Speech)하여 상기 스피커를 통해 출력하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 제2 번역 정보를 상기 전자 장치에 미리 저장된 적어도 하나의 사용자 음성 정보를 이용하여 상기 음성 정보로 변환한 후 상기 스피커를 통해 출력하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, GPS(global positioning system)를 포함하는 적어도 하나의 센서를 더 포함하고, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 적어도 하나의 센서로부터 입력된 정보에 기반하여, 상기 제1 머신 러닝 모델의 일부를 포함하는 업데이트 정보를 생성하고, 상기 업데이트 정보를 상기 외부 전자 장치에 전송하도록 상기 송수신부를 제어하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 업데이트 정보는 번역 지원 언어와 연관된 업데이트 정보를 포함할 수 있다.
일 실시 예에 따르면, 적어도 하나의 카메라를 더 포함하고, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금: 상기 적어도 하나의 카메라를 통해 촬영된 입술 이미지를 기반으로 입모양을 획득하고, 상기 입모양을 기반으로 상기 머신 러닝 모델을 이용하여 사용자의 음성을 식별하도록 야기하는 명령어들을 저장하고, 상기 머신 러닝 모델은 상기 입모양을 기반으로 발화 내용을 식별할 수 있도록 학습된 제3 학습 모델을 포함할 수 있다.
일 실시 예에 따르면, 상기 제2 번역 정보는 번역된 데이터, 데이터의 인덱스, 또는 발화 종료에 대한 플래그 중 적어도 하나를 포함하며, 상기 데이터의 인덱스를 기준으로 상기 제2 번역 정보에 포함된 번역된 데이터들을 재배열하여 상기 디스플레이의 제1 영역에 표시하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따라서, 전자 장치의 동작 방법이 제공될 수 있다. 상기 방법은, 상기 전자 장치의 마이크를 통해 제1 사용자 음성 입력을 수신할 수 있다. 상기 방법은, 상기 수신된 제1 사용자 음성 입력을 기반으로 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성할 수 있다-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-. 상기 방법은, 상기 제1 번역 정보를 상기 전자 장치와 연결된 외부 전자 장치로 상기 송수신부를 통해 전송할 수 있다. 상기 방법은, 상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신할 수 있다. 상기 방법은, 상기 제2 번역 정보를 상기 디스플레이의 제1 영역에 표시할 수 있다.
일 실시 예에 따라서, 컴퓨터로 독출 가능한 적어도 하나의 인스트럭션을 저장하는 저장 매체가 제공될 수 있다. 상기 적어도 하나의 인스트럭션은 전자 장치의 적어도 하나의 프로세서의 적어도 일부에 의하여 실행 시에, 상기 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 야기할 수 있다. 상기 적어도 하나의 동작은, 상기 전자 장치의 마이크를 통해 제1 사용자 음성 입력을 수신할 수 있다. 상기 적어도 하나의 동작은, 상기 수신된 제1 사용자 음성 입력을 기반으로 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성할 수 있다-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-. 상기 적어도 하나의 동작은, 상기 제1 번역 정보를 상기 전자 장치와 연결된 외부 전자 장치로 상기 송수신부를 통해 전송할 수 있다. 상기 적어도 하나의 동작은, 상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신할 수 있다. 상기 적어도 하나의 동작은, 상기 제2 번역 정보를 상기 디스플레이의 제1 영역에 표시할 수 있다
본 개시의 다른 일 실시 예에 따른 번역 시스템은, 웨어러블 전자 장치; 및 상기 웨어러블 전자 장치와 연결된 전자 장치를 포함할 수 있다. 상기 웨어러블 전자장치는: 상기 웨어러블 전자장치의 마이크를 통해 제1 사용자 음성 입력을 수신하고, 상기 수신된 제1 사용자 음성 입력을 기반으로 상기 웨어러블 전자장치의 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고 - 상기 머신 러닝 모델은 음성 입력을 기반으로 번역 정보를 출력하도록 학습된 모델을 포함함-, 상기 제1 번역 정보를 상기 전자장치로 전송하고, 상기 전자장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 수신하고, 상기 제2 번역 정보를 상기 웨어러블 전자장치의 스피커를 통해서 출력할 수 있다. 상기 전자장치는: 상기 전자장치의 마이크를 통해 상기 제2 사용자 음성 입력을 수신하고, 상기 수신된 제2 사용자 음성 입력을 기반으로 상기 전자장치의 머신 러닝 모델을 이용하여, 상기 제2 번역 정보를 생성하고 - 상기 전자장치의 머신 러닝 모델은 음성 입력을 기반으로 번역된 정보를 출력하도록 학습된 모델을 포함함-; 상기 제2 번역 정보를 상기 웨어러블 전자장치로 전송하고, 상기 웨어러블 전자장치로부터 상기 제1 번역 정보를 수신하고, 상기 제1 번역 정보를 상기 전자장치의 디스플레이의 제1 영역에 표시할 수 있다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 2는 본 개시의 일 실시 예에 따른, 웨어러블 전자 장치(201)의 블록도이다.
도 3은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)의 동시 통역 동작의 일 예시이다.
도 4는 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)의 동시 통역 동작에 따른 데이터 흐름을 도시한다.
도 5는 본 개시의 일 실시 예 따른, 전자 장치(101)의 동시 통역 방법을 설명하기 위한 흐름도이다.
도 6은 본 개시의 일 실시 예에 따른, 웨어러블 전자 장치(201)의 동시 통역 방법을 설명하기 위한 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른, AI(artificial intelligence) 통역 모듈의 블록도이다.
도 8은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)가 동시 통역을 수행하는 동작을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른, 번역 정보 데이터의 일 예시이다.
도 10은 본 개시의 일 실시 예에 따른, 사용자 음성 입력의 일 예시이다.
도 11은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)의 교정 번역 동작에 따른 데이터 흐름을 도시한다.
도 12는 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)가 번역을 교정하는 동작을 설명하기 위한 흐름도이다.
도 13은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)가 통역 결과를 출력하는 동작을 설명하기 위한 흐름도이다.
도 14a 및 14b는 본 개시의 일 실시 예에 따른, 전자 장치(101)의 실시간 통역 결과 표시 화면의 일 예시이다.
도 15는 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 복수 개의 웨어러블 전자 장치(201)들의 다자간 동시 통역 동작의 일 예시이다.
도 16a 및 16b은 본 개시의 일 실시 예에 따른, 전자 장치(101)의 다자간 동시 통역 결과 표시 화면의 일 예시이다.
도 17은 본 개시의 일 실시 예에 따른, 전자 장치(101)가 웨어러블 전자 장치(201)를 이용하여 동시 통역을 수행하는 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 설명한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
프로세서(120)는 메모리(130)에 저장된 명령어들을 실행함으로써 전자 장치(101)의 동작들을 제어할 수 있다. 예를 들면, 프로세서(120)는 복수의 동작들을 프로세서들 사이에서 분할하여 집합적으로 수행하는 복수의 프로세서들에 대응될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multi-media interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(largescale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예:164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102,104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.　 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
도 2는 본 개시의 일 실시 예에 따른, 웨어러블 전자 장치(201)의 블록도이다.
일 실시 예에 따르면, 웨어러블 전자 장치(201)는 오디오 모듈(210), 프로세서(220), 메모리(230) 또는 송수신부(240)를 포함할 수 있다. 어떤 실시예에서는, 웨어러블 전자 장치(201)에는, 이 구성요소들 중 적어도 하나가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 구성요소로 통합될 수 있다.
오디오 모듈(210)은 적어도 하나의 마이크(211), 적어도 하나의 스피커(212) 또는 오디오 처리기(213)를 포함할 수 있다. 일 실시 예에 따르면, 웨어러블 전자 장치(201)는 귀에 착용 가능한 형태로 제작될 수 있으며, 물리적으로 분리된 두 개의 전자 장치에 각각 마이크(211) 및 스피커(212)가 배치될 수 있다. 예를 들어, 웨어러블 전자 장치(201)는 사용자의 양쪽 귀에 착용 가능하도록 제1 구조(왼쪽 귀에 착용 가능한 형태) 및 제1 구조에 대응되는 제2 구조(오른쪽 귀에 착용 가능한 형태)를 가질 수 있다. 웨어러블 전자 장치(201)의 제1 구조는 제1 마이크 및 제2 스피커를 포함할 수 있고, 제2 구조는 제2 마이크 및 제2 스피커를 포함할 수 있다. 웨어러블 전자 장치(201)는 복수의 마이크들을 통해 외부로부터 획득한 소리에 대응하는 오디오 신호를 수신할 수 있다. 웨어러블 전자 장치(201)는 복수의 스피커들을 통해 오디오 신호를 출력할 수 있다.
오디오 신호 처리기(213)는 마이크(211)를 통해 입력된 아날로그 오디오 신호를 ADC(analog to digital converter)를 거쳐 변환된 디지털 오디오 신호로 수신하고, 수신된 오디오 신호에 대하여 다양한 처리를 수행할 수 있다. 예를 들어, 일 실시 예에 따르면, 오디오 신호 처리기(213)는 하나 이상의 디지털 오디오 신호들에 대해 샘플링 비율 변경, 하나 이상의 필터 적용, 보간(interpolation) 처리, 전체 또는 일부 주파수 대역의 증폭 또는 감쇄, 노이즈 처리(예: 노이즈 또는 에코 감쇄), 채널 변경(예: 모노 및 스테레오간 전환), 합성(mixing), 또는 지정된 신호 추출을 수행할 수 있다. 일 실시 예에 따르면, 오디오 신호 처리기(213)의 하나 이상의 기능들은 이퀄라이저(equalizer)의 형태로 구현될 수 있다.
프로세서(220)는, 예를 들면, 소프트웨어(예: 프로그램)을 실행하여 프로세서(220)에 연결된 웨어러블 전자 장치(201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따른, 데이터 처리 또는 연산의 일부로서, 프로세서(220)는 다른 구성요소(예: 오디오 모듈(210) 또는 송수신부(240))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 신경망 처리 장치(NPU: neural processing unit))을 포함할 수 있다. 예를 들어, 보조 프로세서는 오디오 모듈(210)로부터 입력된 오디오 신호에 대하여 메모리(230)에 포함된 머신 러닝 모델(231)의 연산을 수행하고, 연산의 결과를 프로세서(220)로 전송할 수 있다. 프로세서(200)는 메모리(230)에 저장된 명령어들을 실행함으로써 웨어러블 전자 장치(201)의 동작들을 제어할 수 있다. 예를 들면, 프로세서(220)는 복수의 동작들을 프로세서들 사이에서 분할하여 집합적으로 수행하는 복수의 프로세서들에 대응될 수 있다.
메모리(230)는, 웨어러블 전자 장치(201)의 적어도 하나의 구성요소(예: 프로세서(220) 또는 오디오 모듈(210))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
일 실시 예에서, 메모리(230)는 적어도 하나의 연산을 수행하는 머신 러닝 모델(231)을 저장할 수 있다. 일 실시 예에 따른, 머신 러닝 모델(231)은 통역 기능을 달성하기 위한 세부 동작들을 수행하는 다양한 구성요소들을 포함할 수 있다. 예를 들어, 머신 러닝 모델(231)은 ASR(automation speech recognition), STT(speech-to-text), LLM(large language model), S2ST(speech-to-speech translation), 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델(이하, 번역 학습 모델이라 지칭할 수 있다), 사용자 음성 입력을 기반으로 사용자의 음성을 식별할 수 있도록 학습된 제2 머신 러닝 모델(이하, 음성 식별 학습 모델이라 지칭할 수 있다), 또는 사용자 입의 연속된 이미지 또는 영상 입력을 기반으로 입모양을 인식하고, 입모양을 통해 발화를 식별할 수 있도록 학습된 제3 머신 러닝 모델(이하, 입모양 식별 학습 모델이라 지칭할 수 있다) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따른, 제1 머신 러닝 모델은 ASR, STT, LLM, 또는 S2ST 중 적어도 하나를 포함할 수 있다. 예를 들어, 제1 머신 러닝 모델은 S2ST를 포함하고, 입력된 음성 신호를 통역한 음성 신호를 출력할 수 있다. 또는 제1 머신 러닝 모델은 ASR, LLM, 및 STT를 포함하여, 입력된 음성 신호를 통역한 텍스트 데이터(또는 텍스트 데이터를 음성으로 변환한 음성 데이터)를 출력할 수 있다. 일 실시 예에 따른, 음성 식별 학습 모델은 통화 중이나 음성 입력과 같이 마이크를 통해 획득되는 특정 사용자 목소리(예: 웨어러블 전자 장치(201)의 사용자)를 식별할 수 있도록 학습된 것일 수 있다. 음성 식별 학습 모델은 지속적으로 마이크를 통해 들어오는 사용자 음성을 학습 데이터로 지도학습, 준지도학습 또는 재학습이 수행될 수 있다. 일 실시 예에서, 웨어러블 전자 장치(201)는 마이크(211)를 통해 획득된 음성 신호 중 사용자 음성을 식별하고, 식별된 사용자 음성에 대한 정보를 전자 장치(101)에 전송할 수 있다.
일 실시 예에 따른, 전자 장치(101)는 머신 러닝 모델을 포함할 수 있다. 전자 장치(101)에 포함되는 머신 러닝 모델과 웨어러블 전자 장치(201)에 포함되는 머신 러닝 모델(231)은 일부가 상이할 수 있다. 웨어러블 전자 장치(201)에 포함되는 머신 러닝 모델(231)은 전자 장치(101)의 머신 러닝 모델보다 제한된 기능을 가질 수 있다. 예를 들어, 전자 장치(101)에 포함된 번역 학습 모델은 복수의 언어(예: 한국어, 영어, 스페인어)들을 번역할 수 있고, 웨어러블 전자 장치(201)의 번역 학습 모델은 그보다 적은 수의 언어(예: 영어)를 번역할 수 있는 기능만을 포함할 수 있다. 또는, 전자 장치(101)에 포함된 번역 학습 모델은 웨어러블 전자 장치(201)에 포함된 번역 학습 모델의 학습 데이터보다 많은 학습 데이터로 학습된 것일 수 있다. 전자 장치(101)에 포함된 번역 학습 모델은 더 정확하거나 정교한 표현, 사용자 언어 습관을 반영한 표현 등을 제공할 수 있다. 다만, 웨어러블 전자 장치(201)의 번역 학습 모델이 전자 장치(101)의 번역 학습 모델에 의해 제한되는 것은 아니며, 웨어러블 전자 장치(201)의 번역 학습 모델은 사용자에 최적화되거나, 전자 장치(101)에 포함된 번역 학습 모델과 실질적으로 동일하거나 더 높은 수준의 기능을 제공할 수도 있다.
웨어러블 전자 장치(201)의 번역 학습 모델은 기능적으로 연결된 전자 장치(101)의 번역 학습 모델과 주기적으로 연결되어 업데이트될 수 있다. 웨어러블 전자 장치(201)의 머신 러닝 모델(231)은 사용자의 말버릇이나 자주 사용하는 단어에 기반하여 개인화된 번역을 수행할 수 있도록 학습된 개인화 번역 학습 모델을 포함할 수 있다.
일 실시 예에서, 머신 러닝 모델(231)은, 신경망(neural networks), 트랜스포머(transformer), 시퀀스 투 시퀀스 모델(sequence-to-sequence models), 대형 언어 모델(large language models), 및/또는 양방향 임베딩(bidirectional embeddings)을 포함할 수 있다.
송수신부(240)는, 웨어러블 전자 장치(201)와 외부 전자 장치(예: 전자 장치(101) 또는 서버)간의 원거리 또는 근거리 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 일 실시 예에서, 원거리 무선 통신은 예를 들어, 셀룰러 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈일 수 있다. 일 실시 예에서, 근거리 무선 통신은 예를 들어, 블루투스, WiFi(wireless fidelity) direct, UWB(ultra-wideband) 또는 IrDA(infrared data association)일 수 있다.
일 실시 예에 따른, 송수신부(240)는, 웨어러블 전자 장치(201)와 다른 전자 장치(예: 전자 장치(101)) 사이의 페어링을 수행할 수 있다. 예를 들어, 송수신부(240)는 웨어러블 전자 장치(201)의 사용자의 다른 전자 장치(예: 모바일 전자 장치(101) 또는 웨어러블 전자 장치(예: 스마트링, 스마트워치))에 대한 페어링을 수행할 수 있다. 일 실시 예에서, 웨어러블 전자 장치(201)는 사용자에 착용되는 동안, 송수신부(240)를 통해 페어링된 다른 전자 장치(101)와 자동으로 연결할 수 있다.
웨어러블 전자 장치(201)의 구성은, 도 1의 전자 장치(101)의 구성과 일부 또는 전부가 동일할 수 있다.
도 3은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)에 의한 동시 통역 상황을 설명하기 위한 일 예시이다.
일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)는 사용자(A)와 상대방(B) 사이의 대화를 동시 통역한 결과를 웨어러블 전자 장치(201)의 스피커, 전자 장치(101)의 스피커 또는 디스플레이에 출력할 수 있다. 사전적으로 "통역"은, 말이 통하지 아니하는 사람 사이에서 뜻이 통하도록 말을 옮겨주는 것을 의미하고, "번역"은 어떤 언어로 된 글을 다른 언어로 옮기는 것을 의미한다. 본 개시의 실시 예들에서, 통역(interpretation)은 사용자(A)의 발화를 상황에 맞도록 다른 언어로 변환하여 출력하는 것을 의미할 수 있다. 전자 장치(101) 또는 웨어러블 전자 장치(201)는 오디오 신호를 통역 처리하여 오디오 신호로 출력할 수 있으나, 구체적으로 통역 처리 과정에서 오디오 신호를 텍스트로 변환하고, 텍스트를 번역한 후, 다시 오디오 신호로 변환하는 과정을 포함할 수 있다. 본 개시의 다양한 실시 예들에서, 사용자의 발화(오디오 신호)를 처리하여 다른 언어(오디오 신호 또는 텍스트 신호)로 출력하는 것을 통역 또는 번역이라 혼용하여 사용하도록 한다. 또는, 통역이라 기재하였으나 번역이라 해석할 수 있고, 번역이라 기재하여도 의미상 통역이라 해석할 수 있다.
본 개시의 다양한 실시 예에서, 전자 장치(101) 및 웨어러블 전자 장치(201)는 화자가 두 명인 대화를 동시 통역할 수 있다. 본 개시의 다양한 실시예에서는, 전자 장치(101)와 복수의 웨어러블 전자 장치(201)(예: 옷, 안경, 시계, 반지, 이어폰과 같은 형태의 웨어러블 전자 장치)들이 복수의 화자들에 대한 대화를 실시간 통역할 수 있다.
일 실시 예에 따른 웨어러블 전자 장치(201)는 사용자(A)의 발화를 입력 받아, 통역을 수행하고, 통역된 결과를 전자 장치(101)에 전송하며, 상대방(B)의 발화를 번역한 정보를 수신하여 스피커로 출력할 수 있다. 일 실시 예에 따른 전자 장치(101)는 상대방(B)의 발화를 입력 받아, 통역을 수행하고, 통역된 결과를 웨어러블 전자 장치(201)에 전송하며, 사용자(A)의 발화를 번역한 정보를 수신하여 스피커 또는 디스플레이로 출력할 수 있다.
도 3을 참조하면, 예를 들어, 사용자(A)는 한국어(korean)로 발화할 수 있고, 사용자(A)와 대화 중인 상대방(B)는 스페인(spanish)로 발화할 수 있다. 전자 장치(101) 및 웨어러블 전자 장치(201)는 사용자(A)의 발화 및 상대방(B)의 발화에 대한 오디오 신호를 입력 받아 각각 통역을 처리하고, 그 결과를 상황에 맞게 오디오 신호 또는 텍스트로 전자 장치(101) 또는 웨어러블 전자 장치(201)에서 출력할 수 있다. 웨어러블 전자 장치(201)는 사용자(A)가 통역 기능을 이용할 수 있도록, 사용자(A)의 신체(예: 귀)에 착용될 수 있다. 전자 장치(101)는 상대방(B)이 통역 기능을 이용할 수 있도록, 상대방(B)의 가시거리 내 및/또는 마이크(예: 도 1의 입력 모듈(150))의 수신거리 내에 위치할 수 있다.
일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)는 근거리 무선 통신(예: 블루투스)에 기반하여 서로 연결될 수 있다. 예를 들어, 전자 장치(101) 및 웨어러블 전자 장치(201)는 사용자 인증을 포함하는 페어링을 수행할 수 있다.
일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)는 사용자(A)가 소지하거나 착용된 상태에서, 각각의 마이크(예: 웨어러블 전자 장치(201)의 마이크(211) 또는 전자 장치의(101)의 마이크(150))를 통해 사용자(A) 또는 상대방(B)의 발화에 대한 오디오 신호를 입력 받을 수 있다.
일 실시 예에서, 웨어러블 전자 장치(201)는 사용자(A)의 귀에 착용된 상태에서, 상대방(B)보다 사용자(A)의 입에 더 근접하여 위치할 수 있다. 사용자(A)에 의해 착용된 웨어러블 전자 장치(201)는 사용자(A)에 의한 발화를 통역 처리할 수 있다. 사용자(A)의 전자 장치(101)(예: 사용자(A)의 손에 위치하는 모바일 전자 장치(101))는 사용자(A)와 근거리에서 대화하는 상대방(B)에 의한 발화를 통역 처리할 수 있다.
일 실시 예에 따른, 전자 장치(101) 또는 웨어러블 전자 장치(201)는 각각의 마이크(예: 전자 장치(101)의 마이크(150) 또는 웨어러블 전자 장치(201)의 마이크(212))를 통해 이전에 수신된 음성 입력을 기반으로 사용자(예: 사용자(A))의 음성을 식별할 수 있도록 학습된 머신 러닝 모델(이하, 음성 식별 학습 모델이라 지칭할 수 있다)을 이용하여 음성 입력에 대하여 사용자(예: 사용자(A))의 음성인지 판단할 수 있다. 사용자(A)와 상대방(B)의 대화에 의해 웨어러블 전자 장치(201) 및 전자 장치(101)는 두 사람의 발화에 대한 음성 신호를 각각 수신할 수 있다. 일 실시 예에서, 웨어러블 전자 장치(201)는 사용자(A)에 대한 통역을 처리하기 위해, 상대방(B)의 발화에 대한 음성 신호는 필터링할 수 있다. 일 실시 예에서, 전자 장치(101)는 상대방(B)에 대한 통역을 처리하기 위해, 사용자(A)의 발화에 대한 음성 신호를 필터링할 수 있다. 예를 들어, 웨어러블 전자 장치(201)는 마이크(212)를 통해 획득된 음성 입력에서 사용자의 음성을 식별하고, 식별된 사용자의 음성을 제외한 나머지는 필터링한 사용자(A) 음성 정보에 대한 통역을 수행할 수 있다. 전자 장치(101)는 마이크(150)를 통해 획득된 음성 입력에서 사용자의 음성을 식별하고, 식별된 사용자의 음성을 포함하는 부분을 필터링한 상대방(B) 음성 정보에 대한 통역을 수행할 수 있다.
일 실시 예에 따른, 전자 장치(101)는 상대방(B)의 발화에 대한 사용자 입력을 수신하고, 통역 처리하여 전자 장치(101)의 디스플레이(160)에 표시하고, 웨어러블 전자 장치(201)의 스피커(212)에 출력될 수 있도록 웨어러블 전자 장치(201)에 전송할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(201)로부터 사용자(A)의 발화를 번역한 번역 정보를 수신하고, 디스플레이(160)에 텍스트로 표시하거나, 스피커(155)를 통해 오디오 신호로 출력할 수 있다.
일 실시 예에 따른, 웨어러블 전자 장치(201)는 사용자(A)의 발화에 대한 사용자 입력을 수신하고, 통역 처리하여 전자 장치(101)의 디스플레이(160)에 표시될 수 있도록 전자 장치(101)에 전송할 수 있다. 웨어러블 전자 장치(201)는 전자 장치(101)로부터 상대방(B)의 발화에 대한 번역 정보를 수신하고, 스피커(212)를 통해 오디오 신호로 출력할 수 있다.
도 3을 참조하면, 전자 장치(101)는 마이크(150)를 통해 상대방(B)의 "Hay algun lugar cerca donde pueda comer pasta deliciosa?" 스페인어 발화(310)에 대한 제1 사용자 음성 입력을 획득하고, 전자 장치(101)의 메모리(130)에 포함된 머신 러닝 모델을 이용하여 제1 사용자 음성 입력이 한국어로 번역된 제1 번역 정보(예: "근처에 맛있는 파스타를 먹을 수 있는 곳이 있나요?")를 생성하고, 제1 번역 정보를 디스플레이(160)의 제1 부분(311)에 표시하고, 송수신부(190)를 통해 웨어러블 전자 장치(201)에 전송할 수 있다. 웨어러블 전자 장치(201)는 전자 장치(101)로부터 수신한 상대방(B)의 스페인어 발화(310)에 대하여 한국어로 번역된 제1 번역 정보를 스피커(212)로 출력할 수 있다.
도 3을 참조하면, 웨어러블 전자 장치(201)는 마이크(211)를 통해 사용자(A)의 "제가 근처에 있는 맛있는 파스타 집을 알고 있어요." 한국어 발화(320)에 대한 제2 사용자 음성 입력을 획득하고, 웨어러블 전자 장치(201)의 메모리(230)에 포함된 머신 러닝 모델(231)을 이용하여 제2 사용자 음성 입력이 스페인어로 번역된 제2 번역 정보(예: "Conozco un delicioso restautant de pasta cerca.")를 생성하고, 제2 번역 정보를 송수신부(240)를 통해 전자 장치(101)에 전송할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(201)로부터 수신한 사용자(A)의 한국어 발화(320)에 대하여 스페인어로 번역된 제2 번역 정보를 디스플레이(160)의 제2 부분(321)에 표시할 수 있다.
다양한 실시예에서, 상대방(B)이 자신의 웨어러블 전자 장치를 착용한 경우, 전자 장치(101)는 상대방의 웨어러블 전자 장치의 스피커 또는 디스플레이를 통해 사용자(A)의 번역 결과를 출력할 수 있도록 텍스트 또는 오디오 신호를 상대방의 웨어러블 전자 장치에 전송할 수 있다. 예를 들어, 상대방(B)은 자신의 귀에 웨어러블 전자 장치를 착용한 경우, 사용자(A)의 웨어러블 전자 장치(201)가 사용자(A)의 발화를 번역한 결과인 오디오 신호를 상대방(B)의 웨어러블 전자 장치에 전송하여, 상대방(B)의 웨어러블 전자 장치의 스피커로 출력되도록 할 수 있다. 상대방(B)의 발화에 대한 번역은 사용자(A)의 전자 장치(101)가 수행할 수 있다. 단순히, 상대방(B)이 소지하거나 착용한 전자 장치의 디스플레이 또는 스피커를 전자 장치(101) 및 웨어러블 전자 장치(201)의 동시 통역 기능에 대한 출력 장치로서 이용할 수 있다.
다양한 실시예에서, 웨어러블 전자 장치(201)는 사용자의 양쪽 귀에 착용 가능하도록 물리적으로 구분되는 제1 구조 및 제2 구조로 제작될 수 있다. 사용자(A)와 상대방(B)는 웨어러블 전자 장치(201)의 제1 구조 및 제2 구조를 각각 착용할 수 있다. 사용자(A)와 상대방(B)의 대화를 동시 통역하기 위해서, 웨어러블 전자 장치(201)가 사용자(A)의 발화를 통역 처리하고, 전자 장치(101)가 상대방(B)의 발화를 통역 처리하는 상황에서, 웨어러블 전자 장치(201)의 일부 스피커(예: 오른쪽 귀에 착용 가능한 제2 구조)는 상대방(B)가 착용하여 스피커 기능을 사용할 수 있다. 예를 들어, 웨어러블 전자 장치(201)의 제1 구조가 사용자(A)에 착용되는 경우, 제1 구조에 포함된 제1 스피커를 통해 상대방(B)의 발화에 대한 통역 결과를 출력할 수 있다. 반대로, 웨어러블 전자 장치(201)의 제2 구조가 상대방(B)에 착용되는 경우, 제2 구조에 포함된 제2 스피커를 통해 사용자(A)의 발화에 대한 통역 결과를 출력할 수 있다. 하나의 웨어러블 전자 장치(201)에 포함된 두 개의 스피커(212)들에 각각 다른 소리 신호를 출력하는 방법은 한국 공개특허 KR10-2021-01509019호에 개시된 블루투스 통신 환경의 다중 장치간 통신 방법을 참조할 수 있다.
도 4는 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)의 동시 통역 동작에 따른 데이터 흐름을 도시한다.
일 실시 예에 따른 전자 장치(101) 및 웨어러블 전자 장치(201)는 대화 중인 두 사람의 발화에 의한 음성 신호를 각각 통역 처리할 수 있다. 도 4를 참조하면 실선으로 표시된 데이터 흐름과 같이, 일 실시 예에 따른 웨어러블 전자 장치(201)는 웨어러블 전자 장치(201)를 착용하고 제1 언어로 발화하는 제1 사용자(이하, 사용자라 지칭할 수 있다)의 발화(410)를 마이크(211)를 통해 수신하여 처리할 수 있다. 도 4를 참조하면 점선으로 표시된 데이터 흐름과 같이, 웨어러블 전자 장치(201)와 연결된 전자 장치(101)는 웨어러블 전자 장치(201)를 착용하지 않은 제2 언어로 발화하는 제2 사용자(이하, 상대방이라 지칭할 수 있다)의 발화(420)를 마이크(150)를 통해 수신하여 처리할 수 있다.
일 실시 예에 따른, 웨어러블 전자 장치(201)는 마이크(211)를 통해 제1 언어로 발화하는 제1 사용자의 음성 입력(410)을 획득할 수 있다. 웨어러블 전자 장치(201)(또는, 웨어러블 전자 장치(201)의 프로세서(220))는 머신 러닝 모델(231)의 음성 식별 학습 모델을 이용하여 수신한 제1 사용자의 음성 입력(410)에 대하여 사용자의 음성을 식별하여, 사용자의 음성을 제외한 나머지를 필터링한 사용자 음성 정보를 획득하고, 사용자 음성 정보에 대한 번역을 수행할 수 있다. 머신 러닝 모델(231)은 STT(speech-to-text) 또는 TTS(text-to-speech)를 포함할 수 있다. 예를 들어, 웨어러블 전자 장치(201)는 STT를 이용하여 오디오 신호를 텍스트로 변환하고, 변환된 텍스트를 목적 언어(예: 상대방이 발화하는 제2 언어)로 번역하여 번역 정보를 생성하고, TTS를 통해 텍스트 형태의 번역 정보를 오디오 신호로 출력할 수 있다. 웨어러블 전자 장치(201)는 송수신부(240)를 통해 제1 사용자의 음성 입력(410)이 번역된 제1 번역 정보를 전자 장치(101)에 전송할 수 있다. 일 실시 예에서, 번역 정보는, 사용자 음성 입력을 목적 언어로 번역된 음성 데이터(audio) 및 텍스트 데이터(text), 사용자 음성 입력에 대응되는 원문 데이터, 또는 사용자 음성 입력에 대한 정보를 포함할 수 있다.
일 실시 예에 따른 전자 장치(101)는 송수신부(190)를 통해 수신한 제1 번역 정보를 프로세서(120) 또는 스피커(155)에 송신할 수 있다. 일 실시 예에 따른 전자 장치(101)의 스피커(155)는 수신한 제1 번역 정보에 포함된 음성 데이터를 오디오 신호로 출력할 수 있다. 일 실시 예에 따른 전자 장치(101)의 프로세서(120)는 제1 번역 정보에 포함된 텍스트 데이터를 디스플레이(160)를 통해 화면에 출력할 수 있다. 사용자와 대화하는 상대방은 전자 장치(101)의 스피커(155)를 통해 출력된 음성 또는 디스플레이(160)에 표시된 통역 기능 화면을 통해 번역된 사용자의 발화를 확인할 수 있다.
일 실시 예에 따른 전자 장치(101)는 마이크(150)를 통해 제2 사용자(예: 상대방) 음성 입력을 획득할 수 있다. 일 실시 예에 따른 전자 장치(101)(또는, 전자 장치(101)의 프로세서(120))는 머신 러닝 모델의 음성 식별 학습 모델을 이용하여 수신한 제2 사용자의 음성 입력(420)에 대하여 사용자의 음성을 식별하여, 제1 사용자의 음성을 필터링한 상대방 음성 정보를 획득하고, 상대방 음성 정보에 대한 번역을 수행할 수 있다. 머신 러닝 모델은 STT 또는 TTS를 포함할 수 있다. 예를 들어, 전자 장치(101)는 STT를 이용하여 오디오 신호를 텍스트로 변환하고, 변환된 텍스트를 목적 언어(예: 사용자가 발화하는 제1 언어)로 번역하여 번역 정보를 생성하고, TTS를 통해 텍스트 형태의 번역 정보를 오디오 신호로 출력할 수 있다. 일 실시 예에 따른 전자 장치(101)는 송수신부(190)를 통해 제2 사용자 음성 입력(420)이 번역된 제2 번역 정보를 웨어러블 전자 장치(201)에 전송하고, 동시에 제2 번역 정보에 포함된 텍스트 데이터를 디스플레이(160)를 통해 화면에 출력할 수 있다. 일 실시 예에 따른, 전자 장치(101)는 번역 기능을 수행하기 위해 메모리(130)에 저장된 머신 러닝 모델을 이용하거나, AI 통역 기능을 제공하는 서버(미도시)에 번역을 요청하고, 번역 결과를 수신할 수 있다.
일 실시 예에 따른, 웨어러블 전자 장치(201)의 머신 러닝 모델(231)은 전자 장치(101)에서 감지된 정보(예: GPS 정보)에 기반하여 업데이트될 수 있다. 예를 들어, 전자 장치(101)의 머신 러닝 모델은 스페인어, 영어, 중국어, 일본어, 불어에 대한 번역 기능을 제공할 수 있다. 웨어러블 전자 장치(201)의 머신 러닝 모델(231)은 웨어러블 전자 장치(201)의 메모리(230) 크기 또는, 프로세서(220)의 성능에 따라 전자 장치(101)의 머신 러닝 모델보다 경량화된 즉, 적은 수의 언어에 대한 번역 기능을 제공하는 학습 모델을 포함할 수 있다. 웨어러블 전자 장치(201)의 머신 러닝 모델(231)이 지원하는 않는 언어에 대한 번역이 필요한 상황에서, 전자 장치(101)는 웨어러블 전자 장치(201)의 머신 러닝 모델(231)에 대한 업데이트를 지원할 수 있다. 웨어러블 전자 장치(201)는 전자 장치(101)로부터 필요한 정보(예: 번역을 추가 지원할 언어)를 추가하거나, 웨어러블 전자 장치(201)의 하드웨어 상황을 고려할 때 일부 정보(예: 현재 불필요한 번역 대상 언어)를 삭제할 수 있다. 예를 들어, 사용자가 스페인 여행을 가는 경우 전자 장치(101)는 한국어-스페인어 번역을 지원할 수 있다. 이때 전자 장치(101)의 GPS 정보, 캘린더 정보, 또는 전자 장치(101)의 머신 러닝 모델을 이용하여 미리 인식된 여행정보(예를 들면, 메시지나 비행기 티켓 이미지를 이용하여 파악된 여행지)를 이용하여 필요한 언어를 판단할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(201)가 한국어-스페인어 번역을 지원하지 않는 경우, 전자 장치(101)의 스페인어-한국어 번역에 대한 학습 모델을 웨어러블 전자 장치(201)의 머신 러닝 모델에 전송하여, 웨어러블 전자 장치(201)의 머신 러닝 모델을 업데이트 할 수 있다.
일 실시 예에 따른, 전자 장치(101)는 번역을 지원하는 언어마다 별개의 머신 러닝 모델을 포함할 수 있다. 예를 들어, 전자 장치(101)는 스페인어-한국어를 번역하는 머신 러닝 모델, 중국어-영어를 번역하는 머신 러닝 모델, 스페인어-불어-영어를 번역하는 머신 러닝 모델을 포함할 수 있다. 일 실시 예에 따른, 전자 장치(101)는 전자 장치에서 감지된 정보(예: GPS 정보)에 기반하여 번역이 필요한 언어를 식별할 수 있다. 일 실시 예에 따른, 전자 장치(101)는 번역이 필요한 언어에 해당하는 머신 러닝 모델을 선택하여, 번역 기능을 작동시킬 수 있다. 일 실시 예에 따른, 웨어러블 전자 장치(201)가 번역이 필요한 언어에 해당하는 머신 러닝 모델을 포함하지 않은 경우, 전자 장치(101)로부터 해당 머신 러닝을 수신할 수 있다. 예를 들어, 사용자가 스페인 여행을 가는 경우, 전자 장치(101)는 전자 장치(101)의 GPS 정보, 캘린더 정보, 또는 전자 장치(101)의 머신 러닝 모델을 이용하여 미리 인식된 여행정보(예를 들면, 메시지나 비행기 티켓 이미지를 이용하여 파악된 여행지)를 이용하여 번역이 필요한 언어가 한국어-스페인어임을 판단할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(201)에 포함된 머신 러닝 모델이 한국어-스페인어 번역을 지원하지 않는 경우, 전자 장치(101)의 스페인어-한국어 번역을 지원하는 머신 러닝 모델을 웨어러블 전자 장치(201)에 전송할 수 있다.
본 개시의 다양한 실시예에 따르면, 사용자가 복수의 웨어러블 전자 장치(201)들을 소지하거나 또는 착용한 경우, 번역 기능을 지원하는 적어도 하나의 웨어러블 전자 장치(201)는 사용자에게 번역 기능을 제공할 수 있다. 예를 들어, 제1 웨어러블 전자 장치(예: 버즈)는 번역 기능을 지원하지 않고, 제2 웨어러블 전자 장치(예: 워치)는 번역 기능을 지원하는 경우, 제2 웨어러블 전자 장치가 번역 기능을 제공하는 것을 알리는 메시지 및/또는 알림(예: 진동)을 제1 웨어러블 전자 장치 또는 제2 웨어러블 전자 장치를 통해 출력할 수 있다. 예를 들어, 제2 웨어러블 전자 장치는 자신의 번역 기능을 이용하도록 하기 위해, 제2 웨어러블 전자 장치의 디스플레이 상에 "가까이 말해주세요"와 같은 안내 메시지를 출력할 수 있다. 일 실시 예에서, 제1 웨어러블 전자 장치는 사용자의 발화에 대한 음성 신호를 입력 받고, 입력 받은 음성 신호를 제2 웨어러블 전자 장치에 전송할 수 있다. 제2 웨어러블 전자 장치는 제1 웨어러블 전자 장치로부터 전송된 음성 신호를 수신할 수 있고, 수신한 음성 신호에 대한 실시간 번역을 처리한 후, 번역되어 생성된 번역 정보를 각각 전자 장치 및 제1 웨어러블 전자 장치에 전송할 수 있다.
본 개시의 다양한 실시예에 따르면, 전자 장치(101)는 하나 이상의 카메라를 포함할 수 있고, 전자 장치(101)의 디스플레이(160)와 같은 면에 위치할 수 있다. 두 명 이상의 화자가 동시에 발화한 경우, 전자장치(101)는 디스플레이(160)와 같은 면에 위치한 카메라를 통해 화자 B(예: 도 3의 화자 B))의 입모양을 촬영한 영상을 이용하여 마이크를 통해 획득한 음성 신호에 포함된 복수의 음성들 중에 화자 B의 발화가 무엇인지 판단할 수 있다. 일 실시 예에 따른 전자 장치(101)의 머신 러닝 모델은, 셀프 카메라 촬영이나 영상 통화시에 사용자들의 입모양을 통해 대략의 발화 내용을 식별할 수 있도록 학습된 입모양 식별 학습 모델을 포함할 수 있다. 입모양 식별 학습 모델은 학습이 완료되어 메모리(130)에 저장되어 있거나, 번역 기능을 사용하는 동안 획득한 데이터를 학습 데이터로 재학습될 수 있다.
일 실시 예에 따른 전자 장치(101)는 카메라를 통해 화자 B의 영상을 촬영하고, 촬영된 화자 B의 영상에 기초하여 생성형 AI 모델을 이용하여 화자 B의 캐릭터를 생성할 수 있다. 일 실시 예에 따른전자 장치(101)는 화자 B의 캐릭터를 번역 기능에 사용할 수 있다. 예를 들어, 전자 장치(101)에서 출력하는 번역 결과 화면 상에 화자 B의 발화에 대한 번역 정보를 출력하는 영역을 표시하기 위해, 화자 B의 캐릭터를 함께 표시할 수 있다. 생성된 캐릭터는 이미지 또는 움직이는 영상일 수 있다. 움직이는 영상으로 캐릭터를 생성하는 경우, 캐릭터 대상인 화자 B의 발화에 맞추어 말을 하는 형태로 표시될 수 있다. 생성형 AI 모델은 입력 이미지와 유사한 형태의 다른 이미지를 출력하도록 학습된 AI 모델일 수 있다. 생성형 AI 모델은 복수의 캐릭터들을 생성할 수 있고, 사용자의 선택에 의해 생성된 복수의 캐릭터들 중 사용자의 캐릭터가 결정될 수 있다. 화자 A(예: 도 3의 화자 A)의 캐릭터는 전자 장치(101)에 미리 저장되어 있는 이미지를 이용하여 생성형 AI를 통해 생성된 것일 수 있다. 일 실시 예에 따른 전자 장치(101)는 웨어러블 전자 장치(201)로부터 사용자 입력에 대한 음성을 식별한 식별 정보를 수신하여, 식별 정보에 대응하는 캐릭터(graphical object)를 번역 정보와 함께 표시할 수 있다.
본 개시의 다양한 실시 예에 따르면, 웨어러블 전자 장치(201)가 화자 A의 발화를 통역하고, 전자 장치(101)가 화자 B의 발화를 통역하는 경우, ANC(active noise cancelling)를 이용하여 통역을 수행할 수 있다. 예를 들어, 전자 장치(101)로부터 화자 B의 발화에 대한 번역 정보를 수신한 웨어러블 전자 장치(201)는 ANC 기능을 자동으로 활성화한 상태에서 웨어러블 전자 장치(201)의 스피커(212)을 통해 번역 정보에 대한 오디오를 출력할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 ANC 기능을 통해 주변 노이즈(noise)를 검출하고, 마이크(211)를 통해 화자 A의 발화에 대한 음성 입력을 수신하는 동안 검출된 노이즈를 제거하여, 보다 명확한 음성 입력 신호를 획득할 수 있다. 일 실시 예에서, 웨어러블 전자 장치(201)는 화자 A가 발화하지 않는 동안 마이크(211)를 통해 획득되는 신호 또는, 화자 A 및 B가 대화하지 않는 동안 전자 장치(101)의 마이크(150)를 통해 획득되는 신호를 이용하여 주변 노이즈를 검출할 수 있다.
웨어러블 전자 장치(201)는 송수신부(240)를 통해 수신한 제2 번역 정보를 스피커(212)에 송신할 수 있다. 웨어러블 전자 장치(201)의 스피커(212)는 수신한 제2 번역 정보에 포함된 음성 데이터를 오디오 신호로 출력할 수 있다. 사용자(410)는 웨어러블 전자 장치(201)의 스피커(212)를 통해 출력된 음성 또는 디스플레이(160)에 표시된 통역 기능 화면을 통해 번역된 상대방(420)의 발화를 확인할 수 있다.
도 5는 본 개시의 일 실시 예 따른, 전자 장치(101)의 동시 통역 방법을 설명하기 위한 흐름도이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시 예에 따르면, S510 내지 S541 단계는 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))에서 수행되는 것으로 이해될 수 있다.
일 실시 예에 따른, 전자 장치(101)는 두 화자의 대화에 대한 동시 통역을 수행할 수 있다. 도 5의 전자 장치(101)의 동작은 앞서 설명한 도 4의 실시예와 대응될 수 있다. 일 실시 예에 따른 전자 장치(101)는 마이크(150), 디스플레이(160), 메모리(130), 프로세서(120) 또는 송수신부(190) 중 적어도 일부를 포함할 수 있다.
일 실시 예에 따르면, S510 단계에서, 전자 장치(101)는 통역 기능을 실행할 수 있다. 예를 들어, 통역 기능 실행에 대한 사용자 입력에 의해 통역 기능을 실행할 수 있다. 일 실시 예에 따른 전자 장치(101)는 입력 언어 설정, 목적 언어 설정, 또는 마이크 설정을 포함하는 초기 설정에 따라 통역 기능을 위한 설정을 완료할 수 있다.
일 실시 예에 따르면, S520 단계에서, 전자 장치(101)는 마이크 및 스피커를 활성화시킬 수 있다. 웨어러블 전자 장치(201)의 착용 여부를 확인하고, 착용되지 않은 경우, 전자 장치(101)의 디스플레이 또는 스피커를 통해 "통역을 위해 이어 버즈를 착용해주세요"와 같은 안내 메시지를 출력할 수 있다.
일 실시 예에 따른 전자 장치(101)는, 통역 기능 실행 중에 S530 단계와 같이 마이크(150)로부터 사용자 음성이 입력되는지 감지할 수 있고, S540 단계와 같이 웨어러블 전자 장치(201)로부터 번역 정보가 수신되는지 확인할 수 있다.
일 실시 예에 따르면, S530 단계에서, 전자 장치(101)는 마이크(150)로부터 사용자 음성을 수신하는 것을 감지할 수 있다. 일 실시 예에 따른 전자 장치(101)는 마이크(150)를 통해 제1 사용자 음성 입력을 수신할 수 있다. 일 실시 예에 따른 전자 장치(101)는 사용자 음성이 입력되는 것에 응답하여, 머신 러닝 모델에 기초하여 번역 정보를 생성할 수 있다(S531). 전자 장치(101)는 수신된 제1 사용자 음성 입력을 기반으로 머신 러닝 모델을 이용하여, 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성할 수 있다. 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 번역 학습 모델을 포함할 수 있다. 머신 러닝 모델은 마이크(150)에 의해 이전에 수신된 음성 입력을 기반으로 사용자 음성을 식별할 수 있도록 훈련된 음성 식별 학습 모델을 포함할 수 있다. 일 실시 예에 따른 전자 장치(101)는 음성 식별 학습 모델을 이용하여 제1 사용자 음성 입력 중 사용자의 음성을 식별하고, 제1 사용자의 음성 입력 중 식별된 사용자의 음성을 포함하는 부분을 필터링하여 번역 대상인 사용자 음성 정보(예: 웨어러블 전자 장치(201)를 착용하지 않은 화자)를 획득할 수 있다. 일 실시 예에 따른 전자 장치(101)는 번역 학습 모델을 이용하여 사용자 음성 정보를 번역하여 제1 번역 정보를 생성할 수 있다.
일 실시 예에 따르면, S532 단계에서, 전자 장치(101)는 전자 장치(101)의 디스플레이(160)에 제1 번역 정보를 출력하고, 동시에 전자 장치(101)와 연결된 외부 전자 장치(예: 웨어러블 전자 장치(201))에 전송할 수 있다.
일 실시 예에 따르면, S540 단계에서, 전자 장치(101)는 전자 장치(101)와 연결된 외부 전자 장치(예: 웨어러블 전자 장치(201))로부터 제2 번역 정보를 수신할 수 있다. 제2 번역 정보는 사용자 식별 정보를 포함할 수 있다. 일 실시 예에 따른 전자 장치(101)는 제2 번역 정보를 수신하고, 제2 번역 정보를 번역 학습 모델을 이용하여 음성 정보로 변환(text to speech)하여 스피커(155)를 통해 출력할 수 있다. 일 실시 예에 따른 전자 장치(101)는 제2 번역 정보를 전자 장치(101)에 미리 저장된 적어도 하나의 사용자 음성 정보를 이용하여 음성 정보로 변환한 후, 스피커(155)를 통해 출력할 수 있다.
일 실시 예에 따른 전자 장치(101)는 제2 번역 정보를 수신하는 것에 응답하여, 디스플레이(160)에 수신한 제2 번역 정보를 출력하고, 스피커(155)를 통해 제2 번역 정보를 오디오 신호로 출력할 수 있다(S541). 일 실시 예에 따른 전자 장치(101)는 디스플레이(160)의 제1 영역에 제2 번역 정보를 표시하고, 디스플레이(160)이 제2 영역에 제1 번역 정보를 표시할 수 있다. 제2 영역에 표시된 제1 번역 정보는 제1 영역에 표시된 제2 번역 정보와 반대되는 방향으로 표시될 수 있다. 일 실시 예에 따른 전자 장치(101)는 사용자 식별 정보에 대응하는 그래픽 객체(graphical object)를 제2 번역 정보와 함께 표시할 수 있다. 제2 번역 정보는 번역된 데이터, 데이터의 인덱스, 또는 발화 종료에 대한 플래그 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따른 전자 장치(101)는 데이터의 인덱스를 기준으로 제2 번역 정보에 포함된 번역된 데이터들을 재배열하여 디스플레이(160)의 제1 영역에 표시할 수 있다.
일 실시 예에 따른 전자 장치(101)는, GPS를 포함하는 적어도 하나의 센서를 더 포함하고, 적어도 하나의 센서로부터 입력된 정보에 기반하여, 상기 번역 학습 모델의 일부를 포함하는 업데이트 정보를 생성하고, 업데이트 정보를 상기 외부 전자 장치(예: 웨어러블 전자 장치(201))에 전송할 수 있다. 업데이트 정보는 번역 지원 언어와 연관된 업데이트 정보를 포함할 수 있다.
일 실시 예에 따른 전자 장치(101)는, 적어도 하나의 카메라를 더 포함하고, 적어도 하나의 카메라를 통해 촬영된 입술 이미지를 기반으로 입모양을 획득하고, 상기 입모양을 기반으로 머신 러닝 모델을 이용하여 사용자의 음성을 식별하도록 야기하는 명령어들을 저장할 수 있다. 머신 러닝 모델은 입모양을 기반으로 발화 내용을 식별할 수 있도록 학습된 제3 머신 러닝 모델을 포함할 수 있다.
도 6은 본 개시의 일 실시 예에 따른, 웨어러블 전자 장치(201)의 동시 통역 방법을 설명하기 위한 흐름도이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시 예에 따르면, S610 내지 S641 단계는 웨어러블 전자 장치(예: 도 2의 웨어러블 전자 장치(201))의 프로세서(예: 도 2의 프로세서(220))에서 수행되는 것으로 이해될 수 있다.
일 실시 예에 따른, 웨어러블 전자 장치(201)는 두 화자의 대화에 대한 동시 통역을 수행할 수 있다. 도 6의 웨어러블 전자 장치(201)의 동작은 앞서 설명한 도 4의 실시예와 대응될 수 있다.
일 실시 예에 따르면, S610 단계에서, 웨어러블 전자 장치(201)는 통역 기능을 실행할 수 있다. 예를 들어, 웨어러블 전자 장치(201)는 통역 기능에 대하여 미리 설정된 특정 제스처가 입력되는 경우, 통역 기능을 실행할 수 있다.
일 실시 예에 따르면, S620 단계에서, 웨어러블 전자 장치(201)는 마이크(211) 및 스피커(212)를 활성화할 수 있다. 일 실시 예에서, 웨어러블 전자 장치(201)는 전자 장치(101)와 페어링 연결될 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)의 착용이 감지됨에 따라 전자 장치(101)와 자동으로 통신 연결이 되도록 설정될 수 있다.
일 실시 예에 따르면, 웨어러블 전자 장치(201)는, 통역 기능 실행 중에 S630 단계와 같이 마이크(211)로부터 사용자 음성이 입력되는지 감지할 수 있고, S640 단계와 같이 페어링된 전자 장치(101)로부터 번역 정보가 수신되는지 확인할 수 있다.
일 실시 예에 따르면, S630 단계에서, 웨어러블 전자 장치(201)는 마이크(211)로부터 사용자 음성을 수신하는 것을 감지할 수 있다. 웨어러블 전자 장치(201)는 마이크(211)를 통해 제2 사용자 음성 입력을 수신할 수 있다. 일 실시 예에서, 웨어러블 전자 장치(201)는 제2 사용자 음성 입력 중 상기 사용자의 음성이 존재하지 않는 부분에서 입력된 노이즈를 검출하고, 제2 사용자 음성 입력 중 사용자의 음성이 존재하지 않는 부분에서 검출된 노이즈에 대응하는 입력을 제거하여 사용자 음성 정보를 획득하고, 획득한 사용자 음성 정보를 번역하여 제2 번역 정보를 생성할 수 있다.
일 실시 예에 따른 웨어러블 전자 장치(201)는 사용자 음성이 입력되는 것에 응답하여, 머신 러닝 모델에 기초하여 번역 정보를 생성할 수 있다(S631). 일 실시 예에 따른 웨어러블 전자 장치(201)는 웨어러블 전자 장치(201)의 메모리(230)에 저장된 머신 러닝 모델을 이용하여, 제2 사용자 음성 입력이 번역된 제2 번역 정보를 생성할 수 있다. 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 번역 학습 모델을 포함할 수 있다. 머신 러닝 모델은 마이크(211)를 통해 이전에 수신된 음성 입력을 기반으로 사용자의 음성을 식별할 수 있도록 학습된 음성 식별 학습 모델을 포함할 수 있다. 웨어러블 전자 장치(201)는 머신 러닝 모델을 이용하여 제2 사용자 음성 입력을 텍스트(text)로 전환하고, 전환된 텍스트에 대한 번역을 수행하여 제2 번역 정보를 생성할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 외부 전자 장치(예: 웨어러블 전자 장치(201)와 연결된 전자 장치(101) 또는 서버)로부터 업데이트 정보를 수신하고, 수신된 업데이트 정보에 기반하여 머신 러닝 모델의 업데이트를 수행할 수 있다.
일 실시 예에 따른 웨어러블 전자 장치(201)는 음성 식별 학습 모델에 기초하여 제2 사용자 음성 입력 중 사용자의 음성을 식별하고, 제2 사용자의 음성 입력 중 식별된 사용자의 음성을 제외한 나머지를 필터링하여 사용자 음성 정보(예: 웨어러블 전자 장치(201)를 착용한 사용자)를 획득할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 번역 학습 모델에 기초하여 상기 획득한 사용자 음성 정보를 번역하여 제1 번역 정보를 생성할 수 있다. 제1 번역 정보는 번역된 데이터, 데이터의 인덱스, 또는 발화 종료에 대한 플래그 중 적어도 하나를 포함할 수 있다. 여기서, 데이터의 인덱스는, 번역된 데이터가 문장 구조상 위치하는 순서를 나타내고, 플래그는 VAD(voice activity detection)에 의해 식별된 발화 종료 여부를 나타낼 수 있다.
일 실시 예에 따르면, S632 단계에서, 웨어러블 전자 장치(201)는 제2 번역 정보를 웨어러블 전자 장치(201)와 연결된 외부 전자 장치(예: 전자 장치(101))에 전송할 수 있다. 제2 번역 정보는 오디오 신호를 포함할 수 있다. 웨어러블 전자 장치(201)는 식별된 사용자의 음성에 대응하는 사용자 식별 정보를 제2 번역 정보와 함께 전자 장치(101)에 전송할 수 있다.
일 실시 예에 따르면, S640 단계에서, 웨어러블 전자 장치(201)는 웨어러블 전자 장치(201)와 연결된 외부 전자 장치(예: 전자 장치(101))로부터 제1 사용자 음성 입력이 번역된 제1 번역 정보를 수신할 수 있다. 웨어러블 전자 장치(201)는 제1 번역 정보를 수신하는 것에 응답하여, 스피커(212)를 통해 제1 번역 정보를 오디오 신호로 출력할 수 있다(S641).
도 7은 본 개시의 일 실시 예에 따른, 머신 러닝 모델의 블록도이다.
일 실시 예에 따른, 전자 장치(101) 또는 웨어러블 전자 장치(201)는 각각 머신 러닝 모델을 메모리(예: 전자 장치(101)의 메모리(130) 또는 웨어러블 전자 장치(201)의 메모리(230))에 저장할 수 있다. 머신 러닝 모델은 학습 모델 또는 프로그램 형태로 저장될 수 있다. 머신 러닝 모델은 전체 또는 일부(예: 사용자 음성 식별 학습 모델)이 컴파일되어 프로세서(예: 전자 장치(101)의 프로세서(120) 또는 웨어러블 전자 장치(201)의 프로세서(220))에 의해 실행될 수 있다. 이하, 설명의 편의를 위해 전자 장치(101)의 프로세서(120)에 의한 동작을 중심으로 설명한다. 아래 설명의 실시예들은 웨어러블 전자 장치(201)의 프로세서(220)에 의해 동작될 수 있다.
일 실시 예에 따른, 전자 장치(101), 또는 전자 장치(101)의 프로세서(120)(이하, 프로세서(120))는, 메모리(130)에 저장된 머신 러닝 모델을 이용하여 오디오 입력을 처리하여 번역된 오디오 신호를 출력할 수 있다.
머신 러닝 모델은 통역 기능을 달성하기 위한 세부 동작들을 수행하는 다양한 구성요소들을 포함할 수 있다. 예를 들어, 머신 러닝 모델은 ASR(automation speech recognition)(701), STT(speech-to-text)(702), LLM(large language model)(703), 번역(704), 교정(705), 또는 TTS(text-to-speech)(706)를 포함할 수 있다. 번역(704) 또는 교정(705)은 LLM(703)에 포함될 수 있다.
프로세서(120)는, ASR(automation speech recognition)(701) 또는, STT(speech-to-text)(702)를 이용하여, 마이크(150)를 통해 획득된 소리 신호에서 사용자의 음성을 인식하여 전자 장치(101)가 처리할 수 있는 형태(예: 텍스트)로 변환할 수 있다.
LLM(large language model)(703)은 많은 양의 텍스트 데이터를 기반으로 학습된 자연어 처리 학습 모델로, 문장을 이해하고 생성할 수 있다. LLM(703)은 변환된 텍스트에 대한 처리가 가능하며, 예를 들어, 사용자의 요청에 따른 기능을 수행하거나, 사용자의 질문에 답변을 하거나, 사용자의 발화한 내용을 다른 언어로 통역(또는 번역)을 수행할 수 있다. 프로세서(120)는, LLM(703)을 이용하여 입력 신호에서 사용자 음성을 식별하고, 사용자 음성을 변환한 텍스트에 대한 번역을 수행하고, 필요한 경우 번역된 텍스트에 대한 교정을 수행할 수 있다. 예를 들어, LLM(703)은 사용자 음성으로 학습된 음성 식별 학습 모델을 포함할 수 있다. 음성 식별 학습 모델은 전자 장치(101)의 사용(예: 통화)에 따라 전자 장치(101)의 마이크(150)에 의해 획득된 사용자 음성 데이터(사용자 목소리)로 학습되어, 음성 입력에 대하여 사용자 음성인지 식별할 수 있다. 전자 장치(101)는 지속적으로 마이크(150)를 통해 입력되는 사용자 음성을 학습 데이터로 수집할 수 있다. 전자 장치(101) 또는 서버(미도시)는 마이크(150)를 통해 수집된 사용자 음성에 기반하여 음성 식별 학습 모델을 재학습시킬 수 있다.
프로세서(120)는, LLM(703)을 이용하여 음성 입력이 변환된 텍스트를 목적 언어로 번역하여 번역 정보를 생성할 수 있다. 일 실시 예에서, LLM(703)은 제한된 종류의 입력 언어 또는 목적 언어에 대한 번역을 지원할 수 있다. LLM(703)은 언어마다 번역을 위한 각각의 학습 모델을 포함할 수 있다. 전자 장치(101)는 사용자 음성 데이터를 이용하여 사용자의 말버릇, 자주 사용하는 단어를 고려하여 개인화된 번역을 지원할 수 있도록 번역을 위한 학습 모델을 학습시킬 수 있다.
프로세서(120)는, LLM(703) 또는 번역(704)을 이용하여 텍스트로 변환된 데이터를 목적 언어로 번역할 수 있다.
프로세서(120)는, LLM(703) 또는 교정(705)을 이용하여 번역된 번역 정보를 교정할 수 있다. 프로세서(120)는, 사용자의 말버릇이 고려된 개인화된 교정 학습 모델(705)을 이용하여 번역 정보를 교정할 수 있다. 예를 들어, 프로세서(120)는, 번역 정보를 사용자의 어투로 교정할 수 있다.
프로세서(120)는, TTS(706)를 이용하여 음성 입력을 번역한 번역 정보를 오디오 신호로 변환할 수 있다. 전자 장치(101)는 음성 입력을 번역한 오디오 신호를 웨어러블 전자 장치(201)에 전송하여, 웨어러블 전자 장치(201)의 스피커로 곧바로 출력이 가능하다. 전자 장치(101) 및 웨어러블 전자 장치(201)는 사용자와 상대방 간의 대화에서 사용자의 발화와 상대방의 발화를 각각 통역하여 실시간 처리할 수 있다.
프로세서(120)는, 사용자 또는 상대방의 목소리에 기초하여 통역 결과를 오디오 신호로 변환할 수 있다. 프로세서(120)는, 특정인의 목소리 및 텍스트를 입력으로 특정인의 목소리로 텍스트를 발화하는 오디오 신호를 출력하도록 학습된 머신 러닝 모델(이하, 목소리 변환 학습 모델이라 할 수 있다)을 이용할 수 있다.
일 실시 예에서, 머신 러닝 모델은 S2ST(speech-to-speech translation)(미도시)를 포함할 수 있다. S2ST는 통역을 빠르게 처리하기 위해, 입력된 음성 신호를 텍스트로 변환하는 ASR(701) 및 LLM(703)을 포함하고 있으며, 입력된 음성 신호를 번역하여 음성 신호 형태의 결과를 출력할 수 있다. 일 실시 예에 따른, 웨어러블 전자 장치(201)는 S2ST를 이용하여, 사용자의 음성 입력에서 발화 내용을 번역된 음성 신호로 출력할 수 있다. 일 실시 예에서, S2ST는 경량화된 LLM(703)을 포함할 수 있다.
일 실시 예에 따른 전자 장치(101)는 ASR(701)을 이용하여 입력된 음성 신호를 텍스트로 변환하고, LLM(703)을 이용하여 텍스트 문장을 분석하여 상황에 맞는 번역을 제공할 수 있다.
도 8은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)가 동시 통역을 수행하는 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따른, 전자 장치(101)는 웨어러블 전자 장치(201)가 통역한 통역 결과를 수신하여 디스플레이(160)에 출력할 수 있다. 사용자 발화에 응답하여 실시간 통역 처리하기 위해, 웨어러블 전자 장치(201)는 문장이 완료되지 않은 사용자 발화를 일정 시간 단위마다 통역 처리할 수 있다.
도 8을 참조하면, 화자 A가 말한 전체 문장은 "I go to school after work."이다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 전체 문장 중 화자 A의 발화(예: "I go")를 입력(801)받고, "I go to"에 대한 발화를 먼저 통역하고(802), 웨어러블 전자 장치(201)와 연결된 전자 장치(101)에 통역 결과("나는 갑니다")를 전송할 수 있다(803). 전자 장치(101)는 웨어러블 전자 장치(201)로부터 수신한 통역 결과를 디스플레이(160)를 통해 번역 표시 화면(8041)에 출력할 수 있다(804).
일 실시 예에 따른 웨어러블 전자 장치(201)는 "I go to"에 이어서 발화된 화자 A의 "school after work"를 입력 받을 수 있다(805). 웨어러블 전자 장치(201)는 전체 문장 중 나머지 school after work"에 대한 발화를 나중 통역하고(806), 앞에 통역한 결과(예: "나는 갑니다")와 결합하여 통역 결과("나는 일을 마치고 학교에 갑니다.")를 전자 장치(101)에 전송할 수 있다(807). 전자 장치(101)는 웨어러블 전자 장치(201)로부터 수신한 통역 결과를 디스플레이(160)를 통해 번역 표시 화면(8081)에 출력할 수 있다(808).
도 8을 참조하면, 일 실시 예에 따른 전자 장치(101)는 별도의 동작 없이 웨어러블 전자 장치(201)로부터 수신한 번역 정보를 디스플레이(160)를 통해 그대로 출력할 수 있다. 일 실시 예에 따른 전자 장치(101)는 화자 A의 발화를 번역한 번역 정보를 그대로 출력하는 출력 장치의 역할만 할 수 있다.
도 9는 본 개시의 일 실시 예에 따른, 번역 정보 데이터의 일 예시이다.
일 실시 예에 따른 전자 장치(101) 또는 웨어러블 전자 장치(201)는 사용자의 발화를 실시간 번역한 번역 정보를 웨어러블 전자 장치(201) 또는 전자 장치(101)에 전송하기 위해, 인덱스 정보를 이용할 수 있다. 다양한 실시예에서, 사용자 발화를 실시간 번역하여 출력하기 위해서, 전자 장치(101) 또는 웨어러블 전자 장치(201)는 사용자 발화에 해당하는 문장이 완료되기 전에 일부 문장에 대한 발화를 우선 통역하여 전송하고, 나머지 문장에 대한 통역을 나중에 전송할 수 있다. 입력 언어 또는 목적 언어에 따라, 사용자 발화 시의 입력 언어 어순과 번역된 텍스트의 목적 언어 어순이 상이할 수 있다. 전체 문장의 일부가 먼저 번역되는 경우, 먼저 번역된 문장의 일부에 대한 번역 결과는 발화가 완료된 문장에 대한 번역 결과와 상이한 경우, 이미 출력된 번역 결과에 대한 수정이 필요할 수 있다. 번역 대상인 입력 언어와 목적 언어의 어순이 상이한 경우, 한 문장에 대한 번역이 종료될 때까지 문장의 구조 또는 순서가 계속 바뀔 수 있다. 예를 들어, 전자 장치(101)의 디스플레이(160)에 표시되는 번역 화면 상에서 번역 결과 텍스트는 시간 순서대로 문장의 일부가 표시되고, 표시된 문장의 일부가 삭제되고, 전체 문장이 다시 표시될 수 있다.
앞서 설명한 도 8을 예를 들면, 영어로 발화된 "I go to"는 한국어로 번역된 문장에서 문장 구조상 주어/서술어의 위치가 영어의 문장 구조상 위치와 상이하기 때문에, 전체 문장에 대한 번역이 완료되면, "I go to"와 "school after work"를 각각 번역한 것과 전체 문장으로써 "I go to school after work."를 번역한 결과가 상이하다. 전자 장치(101)는 웨어러블 전자 장치(201)로부터 수신한 번역 정보를 순차로 디스플레이(160)로 출력하는 경우, 번역이 매끄럽지 않을 수 있다. 예를 들어, 전자 장치(101)는 "나는 갑니다"를 수신하여 디스플레이(160)에 출력한 후, "일을 마치고 학교에"를 수신하여 디스플레이(160)에 출력하면, 디스플레이(160) 화면 상에서 "나는 갑니다. 일을 마치고 학교에"가 표시될 수 있다. 이러한 문제를 해결하기 위해, 일 실시 예에 따른, 웨어러블 전자 장치(201)는 문장의 일부에 대한 번역 정보("나는 갑니다")를 먼저 전송한 후(901), 문장이 완료되면 이전에 번역한 문장의 일부를 다시 포함하여 전체 문장에 대한 번역 정보("나는 일을 마치고 학교에 갑니다")를 다시 전자 장치(101)에 전송할 수 있다(902). 다만, 번역 정보 중 일부는 중복 전송될 수 있다.
일 실시 예에 따른, 웨어러블 전자 장치(201)는 인덱스 정보를 이용하여 실시간 수신한 음성 입력에 대한 통역 결과(예: 번역 정보)를 전자 장치(101)에 전송할 수 있다. 통역 결과는, 전체 문장 또는 문장의 일부에 대하여 생성될 수 있다. 일 실시 예에서, 번역 정보는 단어(또는 구문)마다 인덱스(index)와 데이터(data) 형식으로 저장되고, 발화가 완료된 문장인지에 대한 플래그(flag)를 포함할 수 있다(903, 904). 인덱스는 문장 구조에서 해당 단어(또는 구문)이 위치하는 순서를 나타낼 수 있다. 예를 들어, 인덱스가 100인 데이터는 인덱스가 300인 데이터보다 문장 구조상 앞에 위치할 수 있다.
일 실시 예에 따른 웨어러블 전자 장치(201)는 문장의 일부에 대한 번역 정보(903)을 먼저 전송한 후, 문장이 완료되면 나머지 문장에 대한 번역 정보만을 전자 장치(101)에 전송할 수 있다(904).
일 실시 예에 따른 전자 장치(101)는 웨어러블 전자 장치(201)로부터 수신한 번역 정보에 포함된 플래그 및 인덱스를 참조하여, 목적 언어의 어순 구조에 따라 번역 정보를 출력할 수 있다. 예를 들어, 전자 장치(101)는 먼저 수신한 번역 정보(903)는 미완성 문장에 해당하고, 나중에 수신한 번역 정보(904)는 완성된 문장에 해당함을 확인하고, 두 개의 번역 정보(903, 904)를 합쳐서 하나의 문장으로 출력할 수 있다. 다양한 실시예에서, 실시간 번역에 따라 전체 문장에 대한 발화는 복수 개로 나뉘어 순차로 통역될 수 있다. 일 실시 예에 따른 전자 장치(101)는 두 개의 번역 정보(903, 904)를 합치면서, 인덱스에 따라 100,200,300,1000 순서로 데이터를 재정렬한 후, 디스플레이(160) 또는 스피커(155)로 출력할 수 있다.
도 10은 본 개시의 일 실시 예에 따른, 사용자 음성 입력의 일 예시이다.
일 실시 예에 따른, 전자 장치(101) 또는 웨어러블 전자 장치(201)는 사용자 발화에 대한 연속된 아날로그 음성 신호를 입력 받아, VAD(voice activity detection)을 이용하여 발화의 종료 또는 문장의 완성을 식별할 수 있다.
일 실시 예에 따른, 웨어러블 전자 장치(201)는 연속된 아날로그 음성 입력에 대하여 윈도우 단위(예: 500ms 단위)로 입력된 음성 신호를 처리(예: 통역)할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 입력된 음성 신호에 대하여 특정 시간(예: 300ms) 동안 소리가 없으면 VAD 플래그(flag)를 0으로 저장하여, 발화가 종료되었음을 판단할 수 있다.
예를 들어 도 10을 참조하면, 일 실시 예에 따른 웨어러블 전자 장치(201)는 윈도우 단위마다 음성 신호에 대한 통역을 처리하고, 소리가 없는 구간(예: 1001 또는 1002)이 특정 시간 지속되는지 확인하여 사용자 발화의 종료를 판단할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 소리가 없는 제1 구간(1001)이 미리 정해진 특정 시간(예: 사용자의 언어 습관에 따라 미리 설정된 임계값) 내에 있다고 판단하여, 발화 중으로 판단할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 소리가 없는 제2 구간(1002)이 미리 정해진 특정 시간을 벗어났다고 판단하여, 발화가 종료되었다고 판단할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 VAD를 이용하여 flag가 0인 소리 없는 구간(1002)를 기준으로 제1 문장에 대한 발화가 종료되었음을 판단할 수 있다. 웨어러블 전자 장치(201)는 이후 입력되는 음성 신호는 새로운 문장인 제2 문장으로 처리할 수 있다.
일 실시 예에 따른, 웨어러블 전자 장치(201)는 번역 학습 모델(예: S2ST)을 이용하여 번역한 텍스트를 전자 장치(101)에 전송할 수 있다. 일 실시 예에 따른 웨어러블 전자 장치(201)는 S2ST를 통해 번역한 텍스트를 전자 장치(101)에 전송하면서, 사용자 음성 입력에 대하여 ASR(701)을 수행한 원문 텍스트를 웨어러블 전자 장치(201)에 저장할 수 있다. 웨어러블 전자 장치(201)는 VAD를 이용하여 발화가 종료되는 시점에 웨어러블 전자 장치(201)에 누적된 원문 텍스트를 전자 장치(101)에 전송할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(201)로부터 사용자 발화 종료에 대한 플래그와 원문 텍스트를 수신하여, 전자 장치(101)의 머신 러닝 모델(예: 교정 학습 모델)을 이용하여 원문 텍스트에 대한 번역을 수행하고, 실시간 전송되어 표시된 문장을 대체하여 표시할 수 있다.
웨어러블 전자 장치(201)는 화자 A의 연속되는 발화를 수신하는 동안, 일정 단위(예: 500ms)로 끊어서 통역 처리할 수 있다. 예를 들어, 웨어러블 전자 장치(201)는 먼저 입력된 "I go to"를 먼저 통역하고, 번역 정보와 원문 텍스트는 저장해두고, 통역 결과인 "나는 갑니다"를 먼저 전자 장치(101)로 전송하여 화면에 표시하도록 할 수 있다. 웨어러블 전자 장치(201)는 연속적으로 발화된"school after work"를 통역한 후, 통역 결과인 "일을 마치고 학교에"를 전자 장치(101)에 전송할 수 있다. 웨어러블 전자 장치(201)는 VAD를 이용하여 "school after work" 발화 이후, 발화 종료를 확인하여 번역 결과와 원문 텍스트를 함께 전자 장치(101)에 전송할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(201)로부터 수신한 번역 결과를 인덱스 정보를 이용하여 완전한 문장으로 재배열한 후, 다시 표시할 수 있다. 또는, 전자 장치(101)는 수신한 원문 텍스르를 이용하여 번역 결과에 대한 교정을 수행한 후 화면에 표시할 수 있다.
도 11은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)의 교정 번역 동작에 따른 데이터 흐름을 도시한다.
일 실시 예에 따른 전자 장치(101) 및 웨어러블 전자 장치(201)는 두 사람의 대화를 실시간 통역하여, 통역 결과를 디스플레이 또는 스피커로 출력할 수 있다. 원활한 대화를 위해, 실시간으로 출력된 통역 결과는 원문 텍스트를 번역한 완전한 문장과 차이가 있을 수 있다. 일 실시 예에 따른 전자 장치(101) 또는 웨어러블 전자 장치(201)는 입력된 음성 신호에 대한 통역을 수행하고, 통역 결과(예: 번역 정보)를 실시간 표시한 후, 원문 텍스트에 대한 번역을 수행한 후, 실시간 표시한 문장을 대체하여 완전한 문장을 표시할 수 있다.
예를 들어 도 11을 참조하면, 웨어러블 전자 장치(201)는 제1 언어로 발화한 사용자 음성 입력(1110)을 마이크(211)로 획득하고, 머신 러닝 모델을 이용하여 통역한 번역 정보(text) 및 원문 데이터를 송수신부(240)를 통해 전자 장치(101)에 전송할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(201)로부터 수신한 번역 정보 텍스트를 디스플레이(160)를 통해 실시간 출력할 수 있다.
웨어러블 전자 장치(201)는 사용자 발화 종료를 판단하는 것에 응답하여, 발화 종료 플래그와 함께 번역 정보와 원문 텍스트를 전자 장치(101)에 전송할 수 있다. 전자 장치(101)는 발화 종료 플래그를 확인하여, 원문 텍스트를 머신 러닝 모델을 이용하여 번역하여 번역 정보를 교정을 수행할 수 있다. 전자 장치(101)는 교정된 문장을 실시간 표시된 통역 결과 번역 정보를 대체하여 표시할 수 있다.
일 실시 예에 따른 전자 장치(101)의 프로세서(120)는, 머신 러닝 모델을 이용하여 원문 텍스트에 대한 번역 또는 교정을 수행할 수 있다. 머신 러닝 모델은 번역된 문장이 불완전한 문장 혹은 짧은 문장인 경우, 사용자의 의도를 추측하여 완전한 전체 문장으로 교정할 수 있다. 예를 들어, 사용자가 짧게 발화하여 사용자의 의도와 다르게 오역된 경우, 이전 문장을 고려하여 완전한 전체 문장으로 교정할 수 있다. 또는 사용자가 어순을 다르게 하여 발화한 경우에도 번역된 문장을 올바른 어순으로 수정하여 교정할 수 있다. 또한 머신 러닝 모델은 사용자와 상대방의 관계, 현재 대화 상황을 고려하여 번역을 매끄럽게 할 수 있다. 예를 들어, 실시간 통역은 원문 그대로 번역하기 때문에 초기 설정(예: 정중한 표현)에 따라 일반적인 번역이 될 수 있다. 일 실시 예에서, 전자 장치(101)는 머신 러닝 모델을 이용하여 사용자 개인에 특화된 번역을 수행할 수 있다. 예를 들어, 전자 장치(101)는 사용자와 대화 중인 상대방 사이의 관계가 친한 사이인 경우, 친근한 표현을 활용하여 번역을 수행할 수 있다. 전자 장치(101)는 사용자와 대화 중인 상대방이 어린 아이인 경우, 어린 아이에 대한 표현을 활용하여 번역을 수행할 수 있다. 다양한 실시예에서, 머신 러닝 모델은 사용자의 말버릇, 자주 사용하는 단어에 기반하여 개인화된 번역을 수행할 수 있도록 학습될 수 있다.
도 12는 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)가 번역을 교정하는 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따른 웨어러블 전자 장치(201)는 화자 A의 발화("I go to")를 입력 받을 수 있다(1201). 웨어러블 전자 장치(201)는 입력된 사용자 음성을 목적 언어로 통역하여, 번역 정보("나는 갑니다")를 생성할 수 있다(1202). 웨어러블 전자 장치(201)는 번역 정보("나는 갑니다")와 원문 텍스트("I go to")를 함께 전자 장치(101)에 전송할 수 있다(1203).
전자 장치(101)는 수신한 번역 정보와 원문 텍스트에 대한 플래그를 확인하고, 발화 종료가 아닌 경우(flag 0), 화자A의 통역 결과를 디스플레이(160) 화면(12041)에 그대로 출력할 수 있다(1204).
웨어러블 전자 장치(201)는 연속해서 화자A의 발화("school after work")를 입력 받을 수 있다(1205). 웨어러블 전자 장치(201)는 입력된 사용자 음성을 목적 언어로 통역하여, 번역 정보("일 후 학교에")를 생성할 수 있다(1206). 웨어러블 전자 장치(201)는 번역 정보("일 후 학교에")와 원문 텍스트("school after work")를 함께 전자 장치(101)에 전송할 수 있다(1207).
전자 장치(101)는 수신한 번역 정보와 원문 텍스트에 대한 플래그를 확인하고, 발화 종료에 해당하는 경우(flag 1), 일단 화자A의 통역 결과("나는 갑니다 일 후 학교에")를 디스플레이(160) 화면(12081)에 그대로 출력할 수 있다(1208). 전자 장치(101)는 발화 종료에 응답하여, 원문 텍스트를 번역하여 번역 정보를 교정할 수 있다. 도 12를 참조하면 전자 장치(101)는 "저는 일을 마치고 학교에 가요"라는 교정된 문장을 생성할 수 있다. 전자 장치(101)는 이미 출력된 번역 정보가 교정된 문장과 상이한 경우, 디스플레이(160) 화면(12091)에서 번역 정보를 삭제할 수 있다. 전자 장치(101)는 이미 출력된 번역 정보를 삭제한 후, 교정된 문장을 디스플레이(160) 화면(12092)에 새로 출력할 수 있다(1209).
도 13은 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)가 통역 결과를 출력하는 동작을 설명하기 위한 흐름도이다.
일 실시 예에 따른 전자 장치(101) 및 웨어러블 전자 장치(201)는 실시간 대화를 번역한 번역 정보를 디스플레이 또는 스피커로 출력할 수 있다. 전자 장치(101) 또는 웨어러블 전자 장치(201)는 연속된 아날로그 음성 입력에 대하여 일정 단위로 통역을 처리할 수 있고, 사용자 발화가 종료되기 전에 문장의 일부에 대한 통역을 처리한 번역 정보를 디스플레이를 통해 출력할 수 있다. 사용자 발화가 종료되면, 원문 텍스트를 고려하여 전체 문장에 대한 번역을 수행하여 실시간 표시된 번역 정보의 적어도 일부를 수정(또는 교정)할 수 있다. 디스플레이에 표시된 번역 정보는 번역 결과를 수정하는 것을 다시 표시할 수 있으나, 오디오 신호는 번역 과정을 그대로 출력하는 경우 사용자가 전체 문장을 이해하기 어려울 수 있다.
일 실시 예에 따른, 전자 장치(101) 및 웨어러블 전자 장치(201)는 음성 입력을 처리하는 단위마다 디스플레이를 통해 실시간 표시 및 수정할 수 있다. 전자 장치(101) 및 웨어러블 전자 장치(201)는 연속된 음성 입력의 발화가 종료되는 것에 응답하여, 완전한 문장을 번역한 정보를 스피커를 통해 출력할 수 있다.
도 13을 참조하면, 시간 순서대로 전자 장치(101)는 화자 B의 발화에 대한 제1 음성 입력을 수신하여 통역할 수 있다(1301).
전자 장치(101)는 화자B의 제1 음성 입력에 대한 통역 결과를 디스플레이 화면에 출력할 수 있다(1302). 전자 장치(101)는 화자 B의 발화 종료 여부를 확인할 수 있다. 전자 장치(101)는 제1 음성 입력 이후 발화가 종료되지 않았음을 판단할 수 있다. 전자 장치(101)는 발화가 종료되기 전에는 통역 결과를 디스플레이 화면을 통해 출력할 수 있다.
전자 장치(101)의 디스플레이(160)를 통해 화자 B의 발화를 확인한 이후, 화자 A가 발화를 시작할 수 있다. 웨어러블 전자 장치(201)는 화자 A의 발화에 대한 제2 음성 입력을 수신하여 통역할 수 있다(1303).
전자 장치(101)는 연속되는 화자 B의 발화에 대한 제3 음성 입력을 수신하여 통역할 수 있다(1304). 전자 장치(101)는 입력된 음성 신호에 대한 발화 종료를 확인할 수 있다. 전자 장치(101)는 화자 B의 제3 음성 발화 이후, VAD를 이용하여 발화 종료를 판단할 수 있다.
웨어러블 전자 장치(201)는 제2 음성 입력에 대한 통역 결과를 전자 장치(101)에 전송할 수 있다(1305).
전자 장치(101)는 화자 A의 제2 음성 입력에 대한 통역 결과와 화자 B의 제3 음성 입력에 대한 통역 결과를 함께 디스플레이 화면에 출력할 수 있다(1306). 전자 장치(101)는 화자 B의 제3 음성 입력에 대한 통역 및 디스플레이 출력 동작과 무관하게, 웨어러블 전자 장치(201)로부터 수신한 화자 A의 제2 음성 입력에 대한 통역 결과를 그대로 디스플레이 화면 및 스피커에 출력할 수 있다.
전자 장치(101)는 화자 A의 제2 음성 입력에 대한 통역 결과를 스피커(155)를 통해 출력할 수 있다(1307).
전자 장치(101)는 화자B의 발화 종료에 응답하여, 화자 B의 제1 음성 입력 및 제3 음성 입력에 대한 통역 결과를 오디오 신호로 웨어러블 전자 장치(201)에 전송할 수 있다(1308).
웨어러블 전자 장치(201)는 수신한 화자 B의 제1 음성 입력 및 제3 음성 입력에 대한 통역 결과를 스피커(212)를 통해 함께 출력할 수 있다.
도 14a 및 14b는 본 개시의 일 실시 예에 따른, 전자 장치(101)의 실시간 통역 결과 표시 화면의 일 예시이다.
일 실시 예에 따른 전자 장치(101) 및 웨어러블 전자 장치(201)는 두 사람의 실시간 대화를 각각 통역하여, 전자 장치(101)의 디스플레이(160)를 통해 함께 출력할 수 있다. 전자 장치(101) 및 웨어러블 전자 장치(201)는 사용자의 발화가 종료되기 전이라도, 각각 연속하여 수신되는 사용자 음성 입력을 처리하여 디스플레이(160)에 표시할 수 있다. 전자 장치(101) 및 웨어러블 전자 장치(201)는 디스플레이(160)에 표시된 번역 정보를 다시 수정하거나, 삭제하고 다시 표시할 수 있다.
일 실시 예에 따른 전자 장치(101)는 디스플레이(160)의 제1 부분(1410)에 제1 사용자의 발화를 번역한 번역 정보(1411,1412,1413,1414)를 표시할 수 있고, 디스플레이(160)의 제2 부분(1420)에 제2 사용자의 발화를 번역한 번역 정보(1421,1422,1423,1424)를 표시할 수 있다. 전자 장치(101)는 디스플레이(160) 화면을 분할하고, 마주보고 대화하는 제1 사용자와 제2 사용자가 각각 번역 정보를 표시하는 화면을 확인하기 편리하도록 분할된 화면에 반대 방향으로 번역 정보를 표시할 수 있다. 예를 들어, 전자 장치(101)는 제1 부분(1410)에 +y 방향으로 제1 사용자의 발화를 번역한 번역 정보를 표시할 수 있고, 제2 부분(1420)에 -y 방향으로 제2 사용자의 발화를 번역한 번역 정보를 표시할 수 있다.
도 14a 및 14b를 참조하면, 제2 사용자의 발화를 시작으로, 제1 사용자가 발화한 대화에 대한 번역 정보를 표시하는 예시이다.
일 실시 예에 따른 전자 장치(101)는 연속된 제2 사용자의 발화에 의한 음성 입력을 수신하고, 일정한 단위로 통역을 수행하여 번역 정보를 출력할 수 있다. 전자 장치(101)는 제2 사용자의 발화가 종료되기 전에, 수신된 음성 입력에 대한 번역을 t1, t3, t5, t7 시점 마다 번역 정보를 디스플레이(160)의 제2 부분(1420)에 출력할 수 있다. 전자 장치(101)는 번역 과정에 따라 발화 내용을 추가하면서, 연속하게 수신되는 제2 사용자의 발화를 번역하여 번역 결과를 출력할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이(160)의 제2 부분(1420)에 t1 시점에 "와인도" 문장이 시작되는 것을 출력하고, t3 시점에 "와인도 같이 먹을 수 있으면 좋겠고,"의 밑줄 부분을 t1 시점에 출력된 부분에 이어서 추가로 출력할 수 있다. 나아가 전자 장치(101)는 실시간 통역 처리에 적응적으로 t5 시점에 "와인도 같이 먹을 수 있으면 좋겠고, 경치도 좋았으면"의 밑줄 부분을 추가로 출력할 수 있고, T7 시점에 "와인도 같이 먹을 수 있으면 좋겠고, 경치도 좋았으면 좋겠어요."의 밑줄 부분을 추가로 출력할 수 있다.
제1 사용자 및 제2 사용자는 전자 장치(101)의 디스플레이(160)를 통해 서로의 발화에 대한 실시간 번역 결과를 확인할 수 있다. 예를 들어, 제2 사용자의 발화가 종료되기 전에, t1 시점에 전자 장치(101)는 제2 사용자의 발화에 대한 통역 결과를 표시할 수 있다. 제1 사용자는 제2 사용자의 발화가 종료되기 전에도 일부 번역 결과를 확인하면, 발화를 시작할 수 있다.
일 실시 예에 따른 웨어러블 전자 장치(201)는 연속된 제1 사용자의 발화에 의한 음성 입력을 수신하고, 일정한 단위로 통역을 수행하여 번역 정보를 출력할 수 있다. 웨어러블 전자 장치(201)는 제1 사용자의 발화가 종료되기 전에, 수신된 음성에 대한 번역을 t2, t4, t6 시점 마다 번역 정보를 디스플레이(160)의 제1 부분(1410)에 출력할 수 있다. 웨어러블 전자 장치(201)는 번역 과정에 따라 발화 내용을 변경하면서, 연속하게 수신되는 제1 사용자의 발화를 번역하여 번역 결과를 출력할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이(160)의 제1 부분(1410)에 t2 시점에 "Estory cerca" 문장이 시작되는 것을 출력하고, t4 시점에 이전 문장("Estory cerca")을 삭제한 후, "Fui a un delicioso restaurant de pasta cercano"문장을 새로 출력할 수 있다. 전자 장치(101)는 t6 시점에 이전 문장의 일부("Fui a un"및 "cercano")를 삭제하고, 이전 문장의 밑줄친 부분("delicioso restaurant de pasta")과 함께 "Conozco un delicioso restaurant de pasta cerca."의 부분을 추가하여, 출력할 수 있다.
전자 장치(101) 및 웨어러블 전자 장치(201)는 제1 사용자 또는 제2 사용자의 발화가 종료되기 전이라도 일정 시간 단위마다 실시간으로 통역하여 출력하기 때문에, 발화가 종료될 때까지 해당 발화를 번역한 정보는 수정 또는 추가될 수 있다. 전자 장치(101) 및 웨어러블 전자 장치(201)는 실시간 대화 중인 제1 사용자 및 제2 사용자의 발화를 동시에 각각 처리하기 때문에, 사용자들의 발화가 겹치는 경우에도 번역 결과가 동시에 출력될 수 있다. 전자 장치(101)의 디스플레이(160)의 번역 결과를 표시하는 화면(예: 제1 부분(1410) 또는 제2 부분(1420))은 짧은 시간 간격마다 번역 결과에 해당하는 텍스트 정보가 추가되거나 수정될 수 있다.
도 15는 본 개시의 일 실시 예에 따른, 전자 장치(101) 및 복수 개의 웨어러블 전자 장치(201)들의 다자간 동시 통역 동작의 일 예시이다.
일 실시 예에 따른 전자 장치(101)(예: 전자 장치(1510))는 복수 개의 웨어러블 전자 장치(201)들을 이용하여 다자간 통시 통역을 수행할 수 있다. 전자 장치(101)는 전자 장치(101)의 사용자의 웨어러블 전자 장치(201)(이하, 제1 웨어러블 전자 장치(1501))와 페어링된 상태일 수 있다.
일 실시 예에 따른 웨어러블 전자 장치(1501)는 웨어러블 전자 장치(1501)가 사용자에 의해 착용된 동안, 사용자의 발화에 대한 통역을 수행할 수 있다.
전자 장치(101)는 다른 사용자의 웨어러블 전자 장치(201)(예: 1502, 1503, 1504, 1505, 1506, 1507)와 연결될 수 있다. 전자 장치(101)는 다른 사용자의 웨어러블 전자 장치(201) 중에서 사용자가 발화 중인 웨어러블 전자 장치(예: 1503, 1506)로부터 사용자 발화에 의한 음성 입력 신호를 수신할 수 있다. 다른 사용자의 웨어러블 전자 장치(201)들 각각은 전자 장치(101)와 근거리 무선 통신을 기반으로 연결될 수 있고, 각 다른 사용자에 의해 웨어러블 전자 장치(201)가 착용된 상태에서 각자의 마이크를 통해 사용자 발화에 의한 음성 신호를 입력 받는 경우, 전자 장치(101)에 마이크를 통해 획득한 음성 신호를 전송할 수 있다.
전자 장치(101)는 수신한 음성 입력 신호를 통역하여, 음성 입력 신호를 송신한 웨어러블 전자 장치(201)의 식별 정보(예: 화자 이름)와 함께 번역 정보를 디스플레이(1520)에 출력할 수 있다.
디스플레이(1520)는 복수의 다른 사용자들이 확인할 수 있도록 큰 화면을 포함할 수 있다. 디스플레이(1520)는 화면 내에 복수의 다른 사용자들 각각의 위치에 대응하는 부분에 해당 사용자의 발화를 번역하여 출력할 수 있다. 예를 들어, 전자 장치(101)는 전자 장치(101)에 포함된 복수의 마이크들을 이용하여 각각의 화자가 발화하는 시점에 빔포밍을 이용하여 각각의 사용자 위치를 판단하고, 각 사용자의 위치에 대응하는 디스플레이 화면 부분에 해당 사용자의 발화 내용을 번역하여 표시할 수 있다.
도 16a 및 16b는 본 개시의 일 실시 예에 따른, 전자 장치(101)의 다자간 동시 통역 결과 표시 화면의 일 예시이다.
도 15의 실시예와 같이, 전자 장치(101)(예를 들면, 전자 장치(1510))는 복수 개의 웨어러블 전자 장치(201)들을 이용하여 다자간 동시 통역을 수행하고, 통역 결과를 하나의 화면에 출력할 수 있다.
도 16a 및 16b를 참조하면, 전자 장치(101)는 전자 장치(101)의 디스플레이(160) 또는 별도의 디스플레이를 통해 동시 통역 결과 화면을 출력할 수 있다. 동시 통역 결과 화면은 복수의 화자들을 표시하는 제1 부분(1610, 1611) 및 화자에 따른 발화 내용 및 번역 정보를 표시하는 제2 부분(1620, 1621)을 포함할 수 있다. 동시 통역 결과 화면의 제2 부분(1620, 1621)은 시간에 따라 아래 방향으로 화자의 번역 정보를 표시할 수 있다. 도 16의 실시예는, 왼쪽 동시 통역 결과 화면(1610, 1620)은 제1 시간에 표시된 화면이고, 오른쪽 동시 통역 결과 화면(1611, 1621)은 대화 진행에 따라 제1 시점으로부터 시간이 지난 제2 시점에 표시된 화면이다.
전자 장치(101)는 전자 장치(101)와 무선 통신을 기반으로 연결된 웨어러블 전자 장치(201)를 다자간 대화에 참여한 것으로 간주하고, 동시 통역 결과 화면의 제1 부분(1610)에 표시할 수 있다. 예를 들면, 제1 시간에 두 면의 화자(speaker 1, speaker 2)가 다자간 대화에 참여할 수 있다. 전자 장치(101)는 다자간 대화에 참여한 웨어러블 전자 장치(201)의 사용자를 특정하는 것에 응답하여, 동시 통역 결과 화면의 제1 부분(1611)과 같이 특정된 사용자를 표시할 수 있다.
전자 장치(101)는 제1 화자에 대한 발화에 대한 음성 입력을 제1 화자의 웨어러블 전자 장치(201)로부터 수신하고, 수신한 음성 입력에 대한 통역을 수행한 번역 정보를 디스플레이의 제2 부분(1620)에 원문과 번역 정보를 함께 표시할 수 있다(1601). 제2 부분(1620)에 표시되는 원문은 화자의 모국어에 해당하는 입력 음성 신호를 텍스트로 변환한 것일 수 있고, 번역 정보는 목적 언어로 번역된 텍스트일 수 있다. 원문은 통역 또는 번역을 수행한 것이 아니라, 음성 신호를 텍스트 신호로 변환한 그대로일 수 있다.
전자 장치(101)는 복수의 입력 언어(예: 한국어, 영어, 스페인어)들을 처리할 수 있으나, 복수의 참여자들 각각의 언어를 고려하지 않고, 하나의 목적 언어(예: 영어)로 통역 또는 번역할 수 있다. 전자 장치(101)는 입력되는 음성 신호를 통역한 번역 정보를 디스플레이에 출력하는 동시에, 목적 언어로 번역 정보에 대한 오디오 신호를 생성하여 스피커를 통해 출력할 수 있다. 다양한 실시예에서, 전자 장치(101)는 하나의 목적 언어로 통역 또는 번역한 후, 각 참여자의 모국어로 다시 변환하여 출력할 수 있다.
제2 시점에서 제2 부분(1620)는 다자간 대화에 참여한 화자마다 분할된 영역을 지정할 수 있고, 특정 화자의 발화에 대한 번역 정보는 특정 화자의 대화 표시 영역에 표시될 수 있다. 다자간 대화에서, 복수의 화자들의 발화가 시간적으로 중첩되는 경우, 제2 부분(1620)에 표시되는 번역 정보의 타임라인이 중첩될 수 있다. 예를 들어, 제2 시점의 동시 통역 결과 화면(1621)에서, Danyell Mercer의 발화(1602)가 종료되기 전에 김철수의 발화(1603)가 시작되어, 발화가 표시된 번역 정보(1602와 1603)의 타임 라인이 중첩되어 표시될 수 있다. 또한, 제2 시점의 동시 통역 결과 화면(1621)은 김철수의 발화(1603)가 종료되기 전 새로운 화자(speaker3)의 발화가 입력되고, 이에 대한 번역 정보(1604)가 표시될 수 있다.
도 17은 본 개시의 일 실시 예에 따른, 전자 장치(101)가 웨어러블 전자 장치(201)를 이용하여 동시 통역을 수행하는 방법을 설명하기 위한 흐름도이다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
일 실시 예에 따르면, S1701 내지 S1707 단계는 전자 장치(예: 도 1의 전자 장치(201))의 프로세서(예: 도 1의 프로세서(120)) 또는 웨어러블 전자 장치(예: 도 1의 웨어러블 전자 장치(201)의 프로세서(예: 도 2의 프로세서(220))에서 수행되는 것으로 이해될 수 있다.
일 실시 예에 따른, 전자 장치(101)는 웨어러블 전자 장치(201)를 이용하여 웨어러블 전자 장치(201)를 착용한 사용자와 상대방 사이의 대화를 동시 통역하고, 통역 결과를 스피커 또는 디스플레이에 출력할 수 있다. 전자 장치(101)와 웨어러블 전자 장치(201)는 서로 페어링된 상태일 수 있다.
일 실시 예에 따르면, S1701 단계에서, 전자 장치(101)는 전자 장치(101)의 마이크(150) 또는 웨어러블 전자 장치(201)의 마이크(211)를 통해 음성 신호를 입력 받을 수 있다.
일 실시 예에 따르면, S1702 단계에서, 전자 장치(101)는 입력된 음성 신호가 단일 음성인지 판단할 수 있다. 일 실시 예에 따른 전자 장치(101)는 머신 러닝 모델을 이용하여 단일 음성으로 구성된 음성 신호인지 판단할 수 있다. 예를 들면, 전자 장치(101)는 한 화자의 발화가 끝나고 다음 화자의 발화가 입력되었는지 확인할 수 있다. 입력 신호에서 발화 종료를 판단하는 것은 앞서 설명한 도 10의 실시예와 동일할 수 있다. 전자 장치(101)는 한 화자의 발화가 끝나기 전에 다른 화자의 발화가 시작되는 경우, 입력된 음성 신호에 복수의 음성들을 포함한다고 판단할 수 있다. 또는, 전자 장치(101)는 입력된 음성 신호에 대한 통역 처리가 종료되기 전에 다른 음성 신호가 입력되는 경우에도 복수의 음성들을 포함한다고 판단할 수 있다. 이 경우에도 전자 장치(101)는 복수의 음성 신호들에 대한 통역을 수행해야 하기 때문에, 복수의 음성들이라 간주할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 입력된 음성 신호가 단일 음성이라고 판단하는 것에 응답하여, 음성 신호에 대한 통역을 처리할 수 있다(S1703 단계).
일 실시 예에 따르면, S1704 단계에서, 전자 장치(101)는 입력된 음성 신호를 통역한 번역 정보를 디스플레이(160) 또는 스피커(예: 전자 장치(101)의 스피커(155) 또는 웨어러블 전자 장치(201)의 스피커(212))로 출력할 수 있다.
일 실시 예에 따르면, S1705 단계에서, 전자 장치(101)는 입력된 음성 신호가 복수 음성이라고 판단하는 것에 응답하여, 음성 신호에 포함된 복수의 음성들 중 제1 음성을 추출할 수 있다. 전자 장치(101)는 메모리(130)에 저장된 사용자의 목소리에 기초하여 복수의 음성들 중 사용자 음성을 식별하고, 사용자 음성을 제1 음성으로 추출할 수 있다.
일 실시 예에 따르면, S1706 단계에서, 전자 장치(101)는 복수의 음성들 중 추출된 제1 음성에 대한 통역 처리 요청을 외부 전자 장치(예: 웨어러블 전자 장치(201))에 전송할 수 있다. 웨어러블 전자 장치(201)는 전자 장치(101)의 요청에 응답하여, 제1 음성에 대한 통역을 처리한 번역 정보를 전자 장치(101)에 송신할 수 있다. 다양한 실시예에서, 전자 장치(101)는 동시 통역을 위한 별도의 프로세서(예: NPU)를 구비할 수 있고, 화자들 간의 대화가 겹치는 경우 별도의 프로세서가 해당 음성 신호에 대한 동시 통역을 처리하도록 할 수 있다. 이 경우, 전자 장치(101) 내에서 복수의 화자들에 대한 동시 통역을 병렬로 처리할 수 있다.
일 실시 예에 따르면, S1707 단계에서, 전자 장치(101)는 웨어러블 전자 장치(201)로부터 제1 음성에 대한 통역을 처리한 번역 정보를 수신하고, 디스플레이(160) 또는 스피커(예: 전자 장치(101)의 스피커(155) 또는 웨어러블 전자 장치(201)의 스피커(212))로 출력할 수 있다.
본 개시의 일 실시 예에 따른, 웨어러블 전자 장치(201)에 있어서, 스피커(212); 마이크(211); 송수신부(240); 메모리(230); 및 프로세싱 회로를 포함하는 적어도 하나의 프로세서(220)를 포함하며, 상기 메모리(230)는, 상기 적어도 하나의 프로세서(220)에 의해 개별적으로(individually) 또는 전체적으로(collectively) 실행 시, 상기 웨어러블 전자 장치(201)로 하여금: 상기 마이크(211)를 통해 제1 사용자 음성 입력을 수신하고, 상기 수신된 제1 사용자 음성 입력을 기반으로 상기 메모리(230)에 저장된 머신 러닝 모델(231)을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고-상기 머신 러닝 모델(231)은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-, 상기 제1 번역 정보를 상기 웨어러블 전자 장치(201)와 연결된 외부 전자 장치(예: 전자 장치(101))에 상기 송수신부(240)를 통해 전송하고, 상기 외부 전자 장치(101)로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부(240)를 통해 수신하고, 및 상기 제2 번역 정보를 상기 스피커(212)를 통해서 출력하도록 야기하는 명령어들(instructions)을 저장할 수 있다.
일 실시 예에 따르면, 상기 머신 러닝 모델(231)은 상기 마이크(211)를 통해 수신된 다른 음성 입력들을 기반으로 사용자의 음성을 식별할 수 있도록 학습된 제2 머신 러닝 모델을 포함할 수 있다.
일 실시 예에 따르면, 상기 메모리(230)는, 상기 적어도 하나의 프로세서(220)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치로 하여금: 적어도 부분적으로 상기 제1 사용자 음성 입력의 일부가 사용자 음성에 해당한다는 판단에 기초하여, 상기 제2 머신 러닝 모델을 이용하여 상기 제1 사용자 음성 입력의 일부에 기초하여 사용자 음성 정보를 획득하고, 상기 제1 머신 러닝 모델을 이용하여 상기 획득된 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리(230)는, 상기 적어도 하나의 프로세서(220)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치(201)로 하여금: 상기 식별된 사용자의 음성에 대응하는 사용자 식별 정보 및 상기 제1 번역 정보를 상기 외부 전자 장치(101)로 전송하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리(230)는, 상기 적어도 하나의 프로세서(220)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치(201)로 하여금: 상기 제1 번역 정보를 생성하는 적어도 일부로서, 상기 머신 러닝 모델(231)을 이용하여 상기 제1 사용자 음성 입력을 텍스트(text)로 전환(convert)하고, 상기 전환된 텍스트에 대한 번역을 수행하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리(230)는, 상기 적어도 하나의 프로세서(220)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치(201)로 하여금: 상기 외부 전자 장치(101)로부터 업데이트 정보를 수신하고, 상기 수신된 업데이트 정보에 기반하여 상기 머신 러닝 모델(231)의 업데이트를 수행하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 제1 번역 정보는 번역된 데이터, 데이터의 인덱스, 또는 발화 종료에 대한 플래그 중 적어도 하나를 포함하며, 상기 데이터의 인덱스는, 상기 번역된 데이터가 문장 구조상 위치하는 순서를 나타내고, 상기 플래그는 VAD(voice activity detection)에 의해 식별된 발화 종료 여부를 나타낼 수 있다.
일 실시 예에 따르면, 상기 메모리(230)는, 상기 적어도 하나의 프로세서(220)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치(201)로 하여금: 상기 제1 사용자 음성 입력 중 상기 사용자의 음성이 존재하지 않는 부분에서 입력된 노이즈를 검출하고, 상기 제1 사용자 음성 입력 중 상기 사용자의 음성이 존재하지 않는 부분에서 상기 검출된 노이즈에 대응하는 입력을 제거하여 사용자 음성 정보를 획득하고, 상기 제1 머신 러닝 모델을 이용하여 상기 획득한 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
본 개시의 다른 일 실시 예에 따른 전자 장치(101)는, 마이크(150); 디스플레이(160); 송수신부(190); 메모리(130); 및 프로세싱 회로를 포함하는 적어도 하나의 프로세서(120)를 포함하며, 상기 메모리(130)는, 상기 적어도 하나의 프로세서(120)에 의해 개별적으로(individually) 또는 전체적으로(collectively) 실행 시, 상기 전자 장치(101)로 하여금:
상기 마이크(150)를 통해 제1 사용자 음성 입력을 수신하고, 상기 수신된 제1 사용자 음성 입력을 기반으로 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-, 상기 제1 번역 정보를 상기 전자 장치(101)와 연결된 외부 전자 장치(예: 웨어러블 전자 장치(201))로 상기 송수신부(190)를 통해 전송하고, 상기 외부 전자 장치(201)로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부(190)를 통해 수신하고, 상기 제2 번역 정보를 상기 디스플레이(160)의 제1 영역에 표시하도록 야기하는 명령어들(instructions)을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리(130)는, 상기 적어도 하나의 프로세서(220)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치(101)로 하여금: 상기 제1 번역 정보를 상기 디스플레이(160)의 제2 영역에 표시하고, 상기 제2 영역에 표시된 상기 제1 번역 정보는 상기 제1 영역에 표시된 상기 제2 번역 정보와 반대되는 방향으로 표시되도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리(130)는, 상기 적어도 하나의 프로세서(120)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치(101)로 하여금: 상기 제2 번역 정보는 사용자 식별 정보를 포함하고, 상기 사용자 식별 정보에 대응하는 그래픽 객체(Graphical object)를 상기 디스플레이의 제2 영역에 상기 제1 번역 정보와 함께 표시하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 머신 러닝 모델은 상기 마이크(150)를 통해 수신된 다른 음성 입력들을 기반으로 사용자 음성을 식별할 수 있도록 훈련된 제2 머신 러닝 모델을 포함할 수 있다.
일 실시 예에 따르면, 상기 메모리(130)는, 상기 적어도 하나의 프로세서(120)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치(101)로 하여금: 적어도 부분적으로 상기 제1 사용자 음성 입력의 일부가 다른 사용자 음성에 해당한다는 판단에 기초하여, 상기 제2 머신 러닝 모델을 이용하여 상기 제1 사용자 음성 입력의 일부에 기초하여 상기 다른 사용자의 음성에 해당하는 부분을 필터링한 사용자 음성 정보를 획득하고, 상기 제1 머신 러닝 모델을 이용하여 상기 획득된 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리(130)는, 상기 적어도 하나의 프로세서(120)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치(101)로 하여금: 상기 제2 번역 정보를 수신하고, 상기 수신된 제2 번역 정보를 상기 제1 머신 러닝 모델을 이용하여 음성 정보로 변환(Text to Speech)하여 상기 스피커를 통해 출력하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 메모리(130)는, 상기 적어도 하나의 프로세서(120)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치(101)로 하여금: 상기 제2 번역 정보를 상기 전자 장치(101)에 미리 저장된 적어도 하나의 사용자 음성 정보를 이용하여 상기 음성 정보로 변환한 후 상기 스피커를 통해 출력하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, GPS(global positioning system)를 포함하는 적어도 하나의 센서를 더 포함하고, 상기 메모리(130)는, 상기 적어도 하나의 프로세서(120)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치(101)로 하여금: 상기 적어도 하나의 센서로부터 입력된 정보에 기반하여, 상기 제1 학습 모델의 일부를 포함하는 업데이트 정보를 생성하고, 상기 업데이트 정보를 상기 외부 전자 장치(201)에 상기 송수신부(190)를 통해 전송하도록 야기하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 상기 업데이트 정보는 번역 지원 언어와 연관된 업데이트 정보를 포함할 수 있다.
일 실시 예에 따르면, 적어도 하나의 카메라를 더 포함하고, 상기 메모리는, 상기 적어도 하나의 프로세서(120)에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치(101)로 하여금: 상기 적어도 하나의 카메라를 통해 촬영된 입술 이미지를 기반으로 입모양을 획득하고, 상기 입모양을 기반으로 상기 머신 러닝 모델을 이용하여 사용자의 음성을 식별하도록 야기하는 명령어들을 저장하고, 상기 머신 러닝 모델은 상기 입모양을 기반으로 발화 내용을 식별할 수 있도록 학습된 제3 머신 러닝 모델을 포함할 수 있다.
일 실시 예에 따르면, 상기 제2 번역 정보는 번역된 데이터, 데이터의 인덱스, 또는 발화 종료에 대한 플래그 중 적어도 하나를 포함하며, 상기 데이터의 인덱스를 기준으로 상기 제2 번역 정보에 포함된 번역된 데이터들을 재배열하여 상기 디스플레이의 제1 영역에 표시하도록 야기하는 명령어들을 저장할 수 있다.
본 개시의 다른 일 실시 예에 따른 번역 시스템은, 웨어러블 전자 장치(201); 및 상기 웨어러블 전자 장치(201)와 연결된 전자 장치(101)를 포함할 수 있다. 상기 웨어러블 전자장치(201)는: 상기 웨어러블 전자장치(201)의 마이크(211)를 통해 제1 사용자 음성 입력을 수신하고, 상기 수신된 제1 사용자 음성 입력을 기반으로 상기 웨어러블 전자장치(201)의 머신 러닝 모델(231)을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고 - 상기 머신 러닝 모델(231)은 음성 입력을 기반으로 번역 정보를 출력하도록 학습된 모델을 포함함-, 상기 제1 번역 정보를 상기 전자장치(101)로 전송하고, 상기 전자장치(101)로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 수신하고, 상기 제2 번역 정보를 상기 웨어러블 전자장치(201)의 스피커(212)를 통해서 출력할 수 있다. 상기 전자장치(101)는: 상기 전자장치(101)의 마이크(150)를 통해 상기 제2 사용자 음성 입력을 수신하고, 상기 수신된 제2 사용자 음성 입력을 기반으로 상기 전자장치(101)의 머신 러닝 모델을 이용하여, 상기 제2 번역 정보를 생성하고 - 상기 전자장치(101)의 머신 러닝 모델은 음성 입력을 기반으로 번역된 정보를 출력하도록 학습된 모델을 포함함-; 상기 제2 번역 정보를 상기 웨어러블 전자장치(201)로 전송하고, 상기 웨어러블 전자장치(201)로부터 상기 제1 번역 정보를 수신하고, 상기 제1 번역 정보를 상기 전자장치(101)의 디스플레이(160)의 제1 영역에 표시할 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체들을 포함할 수 있으며, 복수의 개체들 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 웨어러블 전자 장치에 있어서,
    스피커;
    마이크;
    송수신부;
    메모리; 및
    프로세싱 회로를 포함하는 적어도 하나의 프로세서를 포함하며,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로(individually) 또는 전체적으로(collectively) 실행 시, 상기 웨어러블 전자 장치로 하여금:
    상기 마이크를 통해 제1 사용자 음성 입력을 수신하고,
    상기 수신된 제1 사용자 음성 입력을 기반으로 상기 메모리에 저장된 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-,
    상기 제1 번역 정보를 상기 송수신부를 통해, 상기 웨어러블 전자 장치와 연결된 외부 전자 장치에 전송하고,
    상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신하고, 및
    상기 제2 번역 정보를 상기 스피커를 통해서 출력하도록 야기하는 명령어들(instructions)을 저장하는, 웨어러블 전자 장치.
  2. 제1항에 있어서,
    상기 머신 러닝 모델은 상기 마이크를 통해 수신된 다른 음성 입력들을 기반으로 사용자의 음성을 식별할 수 있도록 학습된 제2 머신 러닝 모델을 포함하는, 웨어러블 전자 장치.
  3. 제2항에 있어서,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치로 하여금:
    적어도 부분적으로 제1 사용자 음성 입력의 일부가 사용자 음성에 해당한다는 판단에 기초하여, 상기 제2 머신 러닝 모델을 이용하여 상기 제1 사용자 음성 입력의 일부에 기초하여 사용자 음성 정보를 획득하고,
    상기 제1 머신 러닝 모델을 이용하여 상기 획득된 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하고, 및
    상기 식별된 사용자의 음성에 대응하는 사용자 식별 정보 및 상기 제1 번역 정보를 상기 외부 전자 장치로 전송하도록 야기하는 명령어들을 저장하는, 웨어러블 전자 장치.
  4. 제1항에 있어서,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치로 하여금:
    상기 제1 번역 정보를 생성하는 적어도 일부로서, 상기 머신 러닝 모델을 이용하여 상기 제1 사용자 음성 입력을 텍스트(text)로 전환(convert)하고, 및
    상기 전환된 텍스트에 대한 번역을 수행하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장하는, 웨어러블 전자 장치.
  5. 제1항에 있어서,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치로 하여금:
    상기 외부 전자 장치로부터 업데이트 정보를 수신하고, 상기 수신된 업데이트 정보에 기반하여 상기 머신 러닝 모델의 업데이트를 수행하도록 야기하는 명령어들을 저장하는, 웨어러블 전자 장치.
  6. 제1항에 있어서,
    상기 제1 번역 정보는 번역된 데이터, 데이터의 인덱스, 또는 발화 종료에 대한 플래그 중 적어도 하나를 포함하며,
    상기 데이터의 인덱스는, 상기 번역된 데이터가 문장 구조상 위치하는 순서를 나타내고,
    상기 플래그는 VAD(voice activity detection)에 의해 식별된 발화 종료 여부를 나타내는, 웨어러블 전자 장치.
  7. 제1항에 있어서,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 웨어러블 전자 장치로 하여금:
    상기 제1 사용자 음성 입력 중 상기 사용자의 음성이 존재하지 않는 부분에서 입력된 노이즈를 검출하고,
    상기 제1 사용자 음성 입력 중 상기 사용자의 음성이 존재하지 않는 부분에서 상기 검출된 노이즈에 대응하는 입력을 제거하여 사용자 음성 정보를 획득하고,
    상기 제1 머신 러닝 모델을 이용하여 상기 획득한 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장하는, 웨어러블 전자 장치.
  8. 전자 장치에 있어서,
    마이크;
    디스플레이;
    송수신부;
    메모리; 및
    프로세싱 회로를 포함하는 적어도 하나의 프로세서를 포함하며,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로(individually) 또는 전체적으로(collectively) 실행 시, 상기 전자 장치로 하여금:
    상기 마이크를 통해 제1 사용자 음성 입력을 수신하고,
    상기 수신된 제1 사용자 음성 입력을 기반으로 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고-상기 머신 러닝 모델은 음성 입력을 기반으로 번역된 번역 정보를 출력하도록 학습된 제1 머신 러닝 모델을 포함함-,
    상기 제1 번역 정보를 상기 송수신부를 통해 상기 전자 장치와 연결된 외부 전자 장치로 전송하고,
    상기 외부 전자 장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 상기 송수신부를 통해 수신하고, 및
    상기 제2 번역 정보를 상기 디스플레이의 제1 영역에 표시하도록 야기하는 명령어들(instructions)을 저장하는, 전자 장치.
  9. 제8항에 있어서,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금:
    상기 제1 번역 정보를 상기 디스플레이의 제2 영역에 표시하고,
    상기 제2 영역에 표시된 상기 제1 번역 정보는 상기 제1 영역에 표시된 상기 제2 번역 정보와 반대되는 방향으로 표시되도록 야기하는 명령어들을 저장하는, 전자 장치.
  10. 제9항에 있어서,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금:
    상기 제2 번역 정보는 사용자 식별 정보를 포함하고,
    상기 사용자 식별 정보에 대응하는 그래픽 객체(Graphical object)를 상기 디스플레이의 제2 영역에 상기 제1 번역 정보와 함께 표시하도록 야기하는 명령어들을 저장하는, 전자 장치.
  11. 제8항에 있어서,
    상기 머신 러닝 모델은 상기 마이크를 통해 수신된 다른 음성 입력들을 기반으로 사용자 음성을 식별할 수 있도록 훈련된 제2 머신 러닝 모델을 포함하는, 전자 장치.
  12. 제11항에 있어서,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금:
    적어도 부분적으로 제1 사용자 음성 입력의 일부가 다른 사용자 음성에 해당한다는 판단에 기초하여, 상기 제2 머신 러닝 모델을 이용하여 상기 제1 사용자 음성 입력의 일부에 기초하여 상기 다른 사용자의 음성에 해당하는 부분을 필터링한 사용자 음성 정보를 획득하고,
    상기 제1 머신 러닝 모델을 이용하여 상기 획득된 사용자 음성 정보를 번역하여 상기 제1 번역 정보를 생성하도록 야기하는 명령어들을 저장하는, 전자 장치.
  13. 제8항에 있어서,
    GPS를 포함하는 적어도 하나의 센서를 더 포함하고,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금:
    상기 적어도 하나의 센서로부터 입력된 정보에 기반하여, 상기 제1 머신 러닝 모델의 일부를 포함하는 업데이트 정보를 생성하고, 상기 업데이트 정보를 상기 외부 전자 장치에 전송하도록 상기 송수신부를 제어하도록 야기하는 명령어들을 저장하는, 전자 장치.
  14. 제8항에 있어서,
    적어도 하나의 카메라를 더 포함하고,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 개별적으로 또는 전체적으로 실행될 시, 상기 전자 장치로 하여금:
    상기 적어도 하나의 카메라를 통해 촬영된 입술 이미지를 기반으로 입모양을 획득하고,
    상기 입모양을 기반으로 상기 머신 러닝 모델을 이용하여 사용자의 음성을 식별하도록 야기하는 명령어들을 저장하고,
    상기 머신 러닝 모델은 상기 입모양을 기반으로 발화 내용을 식별할 수 있도록 학습된 제3 학습 모델을 포함하는, 전자 장치.
  15. 번역 시스템에 있어서,
    웨어러블 전자 장치; 및
    상기 웨어러블 전자 장치와 연결된 전자 장치를 포함하며,
    상기 웨어러블 전자장치는:
    상기 웨어러블 전자장치의 마이크를 통해 제1 사용자 음성 입력을 수신하고,
    상기 수신된 제1 사용자 음성 입력을 기반으로 상기 웨어러블 전자장치의 머신 러닝 모델을 이용하여, 상기 수신된 제1 사용자 음성 입력이 번역된 제1 번역 정보를 생성하고 - 상기 머신 러닝 모델은 음성 입력을 기반으로 번역 정보를 출력하도록 학습된 모델을 포함함-,
    상기 제1 번역 정보를 상기 전자장치로 전송하고,
    상기 전자장치로부터 제2 사용자 음성 입력이 번역된 제2 번역 정보를 수신하고,
    상기 제2 번역 정보를 상기 웨어러블 전자장치의 스피커를 통해서 출력하며,
    상기 전자장치는:
    상기 전자장치의 마이크를 통해 상기 제2 사용자 음성 입력을 수신하고,
    상기 수신된 제2 사용자 음성 입력을 기반으로 상기 전자장치의 머신 러닝 모델을 이용하여, 상기 제2 번역 정보를 생성하고 - 상기 전자장치의 머신 러닝 모델은 음성 입력을 기반으로 번역된 정보를 출력하도록 학습된 모델을 포함함-;
    상기 제2 번역 정보를 상기 웨어러블 전자장치로 전송하고,
    상기 웨어러블 전자장치로부터 상기 제1 번역 정보를 수신하고,
    상기 제1 번역 정보를 상기 전자장치의 디스플레이의 제1 영역에 표시하는, 번역 시스템.
PCT/KR2025/006572 2024-06-28 2025-05-15 동시 통역을 위한 전자 장치 및 웨어러블 전자 장치 Pending WO2026005281A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2024-0085750 2024-06-28
KR20240085750 2024-06-28
KR10-2024-0099493 2024-07-26
KR1020240099493A KR20260002082A (ko) 2024-06-28 2024-07-26 동시 통역을 위한 전자 장치 및 웨어러블 전자 장치

Publications (1)

Publication Number Publication Date
WO2026005281A1 true WO2026005281A1 (ko) 2026-01-02

Family

ID=98222364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2025/006572 Pending WO2026005281A1 (ko) 2024-06-28 2025-05-15 동시 통역을 위한 전자 장치 및 웨어러블 전자 장치

Country Status (1)

Country Link
WO (1) WO2026005281A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100126004A (ko) * 2009-05-22 2010-12-01 삼성전자주식회사 상황 및 의도인지 기반의 언어 표현 장치 및 그 방법
US20160267075A1 (en) * 2015-03-13 2016-09-15 Panasonic Intellectual Property Management Co., Ltd. Wearable device and translation system
KR20170112713A (ko) * 2016-04-01 2017-10-12 삼성전자주식회사 음성 번역을 위한 장치 및 방법
US20200125646A1 (en) * 2018-10-22 2020-04-23 Andi D'oleo Headphones for a real time natural language machine interpretation
KR20240008760A (ko) * 2022-07-12 2024-01-19 삼성전자주식회사 번역 처리 방법 및 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100126004A (ko) * 2009-05-22 2010-12-01 삼성전자주식회사 상황 및 의도인지 기반의 언어 표현 장치 및 그 방법
US20160267075A1 (en) * 2015-03-13 2016-09-15 Panasonic Intellectual Property Management Co., Ltd. Wearable device and translation system
KR20170112713A (ko) * 2016-04-01 2017-10-12 삼성전자주식회사 음성 번역을 위한 장치 및 방법
US20200125646A1 (en) * 2018-10-22 2020-04-23 Andi D'oleo Headphones for a real time natural language machine interpretation
KR20240008760A (ko) * 2022-07-12 2024-01-19 삼성전자주식회사 번역 처리 방법 및 전자 장치

Similar Documents

Publication Publication Date Title
WO2022010157A1 (ko) 인공지능 가상 비서 서비스에서의 화면 제공 방법 및 이를 지원하는 사용자 단말 장치 및 서버
WO2022220559A1 (en) Electronic device for processing user utterance and control method thereof
WO2023017975A1 (ko) 상태 변경에 따라 음성 명령 처리 결과를 출력하는 전자 장치 및 그의 동작 방법
WO2022131566A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022139420A1 (ko) 전자 장치 및 그의 연속성을 가지는 사용자 입력에 대한 실행 정보를 공유하는 방법
WO2024043729A1 (ko) 전자 장치 및 전자 장치의 사용자에 대한 응답 처리 방법
WO2026005281A1 (ko) 동시 통역을 위한 전자 장치 및 웨어러블 전자 장치
WO2024063507A1 (ko) 전자 장치 및 전자 장치의 사용자 발화 처리 방법
WO2022163963A1 (ko) 전자 장치 및 전자 장치의 단축 명령어 수행 방법
WO2022186540A1 (ko) 전자 장치 및 전자 장치에서 레코딩과 음성 입력을 처리하는 방법
WO2022177224A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2025263760A1 (ko) 사용자의 발화에 관련된 요약 데이터를 제공하는 전자 장치 및 방법
WO2026043053A1 (ko) 대화 분석을 통해 요약 정보를 생성하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독 가능 기록 매체
WO2026029471A1 (ko) 통화 번역 서비스를 제공하는 방법 및 그 전자 장치
WO2024080745A1 (ko) 발화 캐시에 기반하여 사용자 발화를 분석하기 위한 방법 및 이를 지원하는 전자 장치
WO2024071946A1 (ko) 음성 특성 기반 번역 방법 및 이를 위한 전자 장치
WO2026005352A1 (ko) 인공 지능 모델을 이용하는 전자 장치 및 전자 장치의 동작 방법
WO2026023826A1 (ko) 번역 서비스를 제공하는 전자 장치 및 이에 의해 수행되는 방법
WO2025023680A1 (ko) 음성 신호 처리 방법 및 상기 방법을 수행하는 전자 장치와, 기록 매체
WO2026071467A1 (ko) 인공지능 모델을 이용하여 대화 맥락에 기반한 응답 메시지를 생성하는 전자 장치, 이의 제어 방법 및 저장 매체
WO2024014869A1 (ko) 번역 처리 방법 및 전자 장치
WO2026010442A1 (ko) 음성 데이터를 출력하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2023054942A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2023043094A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2025216622A1 (ko) 그래픽 객체를 이용한 수어 서비스를 제공하기 위한 전자 장치, 그 동작 방법 및 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25827290

Country of ref document: EP

Kind code of ref document: A1