KR102225401B1 - 음성 문자 통화 서비스를 제공하는 시스템 및 방법 - Google Patents

음성 문자 통화 서비스를 제공하는 시스템 및 방법 Download PDF

Info

Publication number
KR102225401B1
KR102225401B1 KR1020150071231A KR20150071231A KR102225401B1 KR 102225401 B1 KR102225401 B1 KR 102225401B1 KR 1020150071231 A KR1020150071231 A KR 1020150071231A KR 20150071231 A KR20150071231 A KR 20150071231A KR 102225401 B1 KR102225401 B1 KR 102225401B1
Authority
KR
South Korea
Prior art keywords
text
voice
call
user
mobile device
Prior art date
Application number
KR1020150071231A
Other languages
English (en)
Other versions
KR20150135134A (ko
Inventor
김선애
김홍철
신현재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP15169020.3A priority Critical patent/EP2947861B1/en
Priority to EP20205610.7A priority patent/EP3793178B1/en
Priority to PCT/KR2015/005143 priority patent/WO2015178715A1/en
Priority to EP18211175.7A priority patent/EP3496377B1/en
Priority to EP18175636.2A priority patent/EP3393112B1/en
Priority to RU2016150546A priority patent/RU2692763C2/ru
Priority to MX2016015285A priority patent/MX369624B/es
Priority to JP2017514239A priority patent/JP6688783B2/ja
Priority to CN201510271220.2A priority patent/CN105100511B/zh
Priority to AU2015202807A priority patent/AU2015202807B2/en
Priority to CN201911159183.0A priority patent/CN110875878B/zh
Priority to CN201911158150.4A priority patent/CN110933238B/zh
Priority to CN201810288068.2A priority patent/CN108810291B/zh
Priority to US14/721,352 priority patent/US9906641B2/en
Priority to US14/806,105 priority patent/US9456074B2/en
Publication of KR20150135134A publication Critical patent/KR20150135134A/ko
Priority to US15/275,738 priority patent/US9736292B2/en
Priority to US15/664,413 priority patent/US10075578B2/en
Priority to US15/916,883 priority patent/US10284706B2/en
Priority to AU2019202418A priority patent/AU2019202418B2/en
Priority to US16/390,610 priority patent/US10917511B2/en
Priority to JP2020002538A priority patent/JP6925458B2/ja
Application granted granted Critical
Publication of KR102225401B1 publication Critical patent/KR102225401B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/56—Unified messaging, e.g. interactions between e-mail, instant messaging or converged IP messaging [CPM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/65—Recording arrangements for recording a message from the calling party
    • H04M1/6505—Recording arrangements for recording a message from the calling party storing speech in digital form
    • H04M1/651—Recording arrangements for recording a message from the calling party storing speech in digital form with speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42382—Text-based messaging services in telephone networks such as PSTN/ISDN, e.g. User-to-User Signalling or Short Message Service for fixed networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533—Voice mail systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/0024—Services and arrangements where telephone services are combined with data services
    • H04M7/0042—Services and arrangements where telephone services are combined with data services where the data service is a text-based messaging service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/60—Medium conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/60—Details of telephonic subscriber devices logging of communication history, e.g. outgoing or incoming calls, missed calls, messages or URLs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42391—Systems providing special services or facilities to subscribers where the subscribers are hearing-impaired persons, e.g. telephone devices for the deaf

Abstract

음성 문자 통화 서비스를 제공하는 시스템 및 방법이 제공된다. 외부 디바이스와 통화를 수행하는 디바이스는, 상기 디바이스와 상기 외부 디바이스 간의 통화 중에, 상기 디바이스와 상기 외부 디바이스 간에 송수신되는 음성으로부터 변환된 텍스트를 획득하며, 상기 디바이스에 입력된 텍스트 및 상기 외부 디바이스로부터 제공된 텍스트를 획득하는 제어부; 및 상기 변환된 텍스트, 상기 입력된 텍스트 및 상기 제공된 텍스트를 배열하여, 상기 통화 중에, 상기 디바이스의 화면 상에 디스플레이하는 디스플레이부;를 포함한다.

Description

음성 문자 통화 서비스를 제공하는 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING VOICE-MESSAGE CALL SERVICE}
본 개시는 음성 문자 통화 서비스를 제공하는 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 음성 문자 통화 서비스를 통하여 음성 통화 및 문자 서비스를 함께 제공할 수 있는 시스템 및 방법에 관한 것이다.
멀티 미디어 기술 및 네트워크 기술이 발전함에 따라, 사용자는 다양한 디바이스를 이용하여 다른 사용자와 커뮤니케이션을 할 수 있게 되었다. 특히, 음성 통화 서비스 및 문자 송수신 서비스를 통하여, 사용자들은 다른 사용자와 대화를 나눌 수 있게 되었다.
그러나, 사용자가 디바이스를 통하여 다른 디바이스의 사용자와 대화를 나눌 수 있는 환경이, 음성 통화에 적합하지 않거나, 문자 송수신에 적합하지 않을 수 있다.
따라서, 사용자가 음성 통화 서비스 및 문자 송수신 서비스를 함께하여 이용할 수 있으며, 음성 통화 서비스 및 문자 송수신 서비스를 효과적으로 전환하여 이용할 수 있는 기술이 요구되고 있다.
일부 실시예는 음성 문자 통화 서비스를 통하여 음성 통화 및 문자 서비스를 함께 제공할 수 있는 음성 문자 통화 서비스를 제공하는 시스템 및 방법을 제공할 수 있다.
또한, 일부 실시예는 음성 문자 통화 중에 사용자 간의 대화를 나타내는 텍스트를 구별하여 표시할 수 있는 음성 문자 통화 서비스를 제공하는 시스템 및 방법을 제공할 수 있다.
또한, 일부 실시예는 음성 문자 통화 중에 통화 모드의 변경을 사용자에게 알릴 수 있는 음성 문자 통화 서비스를 제공하는 시스템 및 방법을 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 상기 디바이스와 상기 외부 디바이스 간의 통화 중에, 상기 디바이스와 상기 외부 디바이스 간에 송수신되는 음성으로부터 변환된 텍스트를 획득하며, 상기 디바이스에 입력된 텍스트 및 상기 외부 디바이스로부터 제공된 텍스트를 획득하는 제어부; 및 상기 변환된 텍스트, 상기 입력된 텍스트 및 상기 제공된 텍스트를 배열하여, 상기 통화 중에, 상기 디바이스의 화면 상에 디스플레이하는 디스플레이부;를 포함하는, 디바이스를 제공할 수 있다.
또한, 상기 배열된 텍스트는 시간 순으로 배열되며, 상기 디스플레이부는, 상기 배열된 텍스트를 포함하는 채팅창을 상기 디바이스의 화면 상에 디스플레이할 수 있다.
또한, 상기 디스플레이부는, 상기 디스플레이된 텍스트 중에서, 상기 음성으로부터 변환된 텍스트를, 상기 입력된 텍스트와 구별되게 표시할 수 있다.
또한, 상기 음성으로부터 변환된 텍스트는, 음성 변환의 신뢰도에 따라 다른 변환된 텍스트와 구별되게 표시될 수 있다.
또한, 상기 변환된 텍스트가 선택됨에 따라, 상기 변환된 텍스트에 대응되는 원본 음성 데이터를 출력하는 음향 출력부;를 더 포함할 수 있다.
또한, 상기 선택된 텍스트는, 문장 또는 문장 내의 단어일 수 있다.
또한, 상기 외부 디바이스의 상기 통화 중의 출력 방법이 변경됨에 따라, 상기 변경된 출력 방법이 상기 디바이스의 사용자에게 알려지며, 상기 출력 방법은, 음성만 출력하는 방법, 텍스트만 출력하는 방법, 및 음성 및 텍스트를 함께 출력하는 방법을 포함할 수 있다.
또한, 음성, 텍스트 및 진동 중 적어도 하나를 이용하여, 상기 변경된 출력 방법이 상기 디바이스의 사용자에게 알려질 수 있다.
또한, 상기 제어부는, 상기 외부 디바이스의 출력 방법에 따라, 상기 디바이스의 사용자에게 상기 디바이스의 상기 통화의 입력 방법의 변경을 추천하며, 상기 입력 방법은, 음성만 입력하는 방법, 텍스트만 입력하는 방법, 및 음성 및 텍스트를 함께 입력하는 방법을 포함할 수 있다.
또한, 상기 제어부는, 상기 외부 디바이스와의 통화 이력을 포함하는 통화 목록과, 상기 배열된 텍스트를 연관지어 저장할 수 있다.
또한, 상기 제어부는, 상기 배열된 텍스트의 일부를 저장하며, 상기 배열된 텍스트의 일부는, 상기 음성 문자 통화 중에 소정 이벤트가 발생되기 이전의 기 설정된 시간 동안에 획득된 텍스트일 수 있다.
또한, 본 개시의 제 2 측면은, 상기 디바이스와 상기 외부 디바이스 간의 통화 중에, 상기 디바이스와 상기 외부 디바이스 간에 송수신되는 음성으로부터 변환된 텍스트를 획득하는 단계; 상기 디바이스에 입력된 텍스트를 획득하는 단계; 상기 외부 디바이스로부터 제공된 텍스트를 획득하는 단계; 및 상기 변환된 텍스트, 상기 입력된 텍스트 및 상기 제공된 텍스트를 배열하여, 상기 통화 중에, 상기 디바이스의 화면 상에 디스플레이하는 단계;를 포함하는, 디바이스가 외부 디바이스와 통화를 수행하는 방법을 제공할 수 있다.
또한, 상기 배열된 텍스트는 시간 순으로 배열되며, 상기 디스플레이하는 단계는, 상기 배열된 텍스트를 포함하는 채팅창을 상기 디바이스의 화면 상에 디스플레이할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 디스플레이된 텍스트 중에서, 상기 음성으로부터 변환된 텍스트를, 상기 입력된 텍스트와 구별되게 표시할 수 있다.
또한, 상기 음성으로부터 변환된 텍스트는, 음성 변환의 신뢰도에 따라 다른 변환된 텍스트와 구별되게 표시될 수 있다.
또한, 상기 변환된 텍스트가 선택됨에 따라, 상기 변환된 텍스트에 대응되는 원본 음성 데이터를 출력하는 단계;를 더 포함할 수 있다.
또한, 상기 선택된 텍스트는, 문장 또는 문장 내의 단어일 수 있다.
또한, 상기 외부 디바이스의 상기 통화 중의 출력 방법이 변경됨에 따라, 상기 변경된 출력 방법이 상기 디바이스의 사용자에게 알려지며, 상기 출력 방법은, 음성만 출력하는 방법, 텍스트만 출력하는 방법, 및 음성 및 텍스트를 함께 출력하는 방법을 포함할 수 있다.
또한, 음성, 텍스트 및 진동 중 적어도 하나를 이용하여, 상기 변경된 출력 방법이 상기 디바이스의 사용자에게 알려질 수 있다.
또한, 상기 외부 디바이스의 출력 방법에 따라, 상기 디바이스의 사용자에게 상기 디바이스의 상기 통화의 입력 방법의 변경을 추천하는 단계;를 더 포함하며, 상기 입력 방법은, 음성만 입력하는 방법, 텍스트만 입력하는 방법, 및 음성 및 텍스트를 함께 입력하는 방법을 포함할 수 있다.
또한, 상기 외부 디바이스와의 통화 이력을 포함하는 통화 목록과, 상기 배열된 텍스트를 연관지어 저장하는 단계를 더 포함할 수 있다.
또한, 상기 저장하는 단계는, 상기 배열된 텍스트의 일부를 저장하며, 상기 배열된 텍스트의 일부는, 상기 음성 문자 통화 중에 소정 이벤트가 발생되기 이전의 기 설정된 시간 동안에 획득된 텍스트인 것일 수 있다.
또한, 본 개시의 제 3 측면은, 제 1 디바이스로부터 제 1 사용자의 음성을 수신하는 통신부; 및 상기 수신된 제 1 사용자의 음성을 텍스트로 변환하는 제어부;를 포함하며, 상기 통신부는, 상기 제 1 사용자의 음성으로부터 변환된 텍스트를 상기 제 2 디바이스에게 전송하는 서버, 및 상기 서버에게 상기 제 1 사용자의 음성을 제공하는 제 1 디바이스; 상기 제 2 디바이스에게 전송된, 상기 제 1 사용자의 음성으로부터 변환된 텍스트를, 상기 통화 중에 상기 제 2 디바이스의 화면 상에 디스플레이되는, 상기 제 1 사용자와 상기 제 2 사용자 간의 대화 내용을 나타내는 채팅창 내에 표시하는 제 2 디바이스;를 포함하는, 제 1 디바이스와 제 2 디바이스 간의 통화를 제공하는 시스템을 제공할 수 있다.
또한, 상기 사용자의 음성으로부터 변환된 텍스트는 상기 서버 내에 저장될 수 있다.
또한, 상기 제 1 디바이스로부터 수신된 상기 사용자의 음성이 상기 서버 내에 저장될 수 있다.
또한, 본 개시의 제 4 측면은, 제 2 측면의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 일부 실시예에 따른 음성 문자 통화 서비스를 설명하기 위한 도면이다.
도 2는 일부 실시예에 따른, 제 1 디바이스(1000)가 음성 문자 통화 중에, 음성으로부터 변환된 텍스트 및 사용자로부터 입력된 텍스트를 디스플레이하는 방법의 흐름도이다.
도 3 내지 도 5는 일부 실시예에 따른 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 4는 일부 실시예에 따른, 전화 수신 시에, 제 1 디바이스(1000)의 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 5는 일부 실시예에 따른, 음성 통화 중에, 제 1 디바이스(1000)의 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 6은 일부 실시예에 따른, 음성 문자 통화 기능이 활성화된 제 1 디바이스(1000)가, 음성 문자 통화 기능이 활성화되지 않은 제 2 디바이스(2000)와 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 7은 일부 실시예에 따른 제 1 디바이스(1000)와 제 2 디바이스(2000)가 서로 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 8은 일부 실시예에 따른 제 1 디바이스(1000)와 제 2 디바이스(2000)가 서로 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 9는 일부 실시예에 따른 제 1 디바이스(1000)와 제 2 디바이스(2000)가 서로 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 10은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 채팅창을 디스플레이하는 방법의 흐름도이다.
도 11A 및 도 11B는 일부 실시예에 따른 음성 문자 통화 중에 디스플레이된 채팅창의 예시를 나타내는 도면이다.
도 12는, 일부 실시예에 따른, 제 1 디바이스(1000) 및 제 2 디바이스(2000)가, 특정 채팅 애플리케이션을 통하여, 음성으로부터 변환된 텍스트를 서로 송수신하는 예시를 나타내는 도면이다.
도 13은 일부 실시에에 따른, 음성 문자 통화 기능이 활성화되는 경우에, 제 1 디바이스(1000)가, 음성 통화와 연동되어 실행될 채팅 애플리케이션을, 결정하는 방법의 흐름도이다.
도 14는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 이용될 채팅 애플리케이션을 결정하는 방법의 흐름도이다.
도 15는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 이용될 채팅 애플리케이션을 설치하는 방법의 흐름도이다.
도 16A는 일부 실시예에 따른 제 1 디바이스(1000)가 채팅 서비스를 이용하는 도중에, 음성 문자 통화 기능을 활성화하는 예시를 나타내는 도면이다.
도 16B는 일부 실시예에 따른 제 1 디바이스(1000)가 채팅 애플리케이션의 사용자 목록 화면을 통한 사용자 입력에 따라, 음성 문자 통화를 시작하는 예시를 나타내는 도면이다.
도 17은 일부 실시예에 따른 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 채팅 서비스를 이용하는 도중에, 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 18 내지 도 21은, 일부 실시예에 따른, 음성 문자 통화 중에 통화 모드가 변경되는 예시를 나타내는 도면이다.
도 22는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화의 모드를 전환하는 방법의 흐름도이다.
도 23은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 모드에서 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 24는 일부 실시예에 따른 제 1 디바이스(1000)가 문자 모드에서 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 25는 일부 실시예에 따른 제 1 디바이스(1000)가 제 2 디바이스(2000)의 통화 모드를 식별하는 방법의 흐름도이다.
도 26은 일부 실시예에 따른, 음성 모드로 동작하는 제 1 디바이스(1000)와 문자 모드로 동작하는 제 2 디바이스(2000)가 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 27은 일부 실시예에 따른, 음성 모드로 동작하는 제 1 디바이스(1000)와 문자 모드로 동작하는 제 2 디바이스(2000)가 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 28은 일부 실시예에 따른, 음성 모드로 동작하는 제 1 디바이스(1000)와 문자 모드로 동작하는 제 2 디바이스(2000)가 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 29A, 도 29B, 및 도 29C는 일부 실시예에 따른 음성 문자 통화의 통화 모드 중 하나인 혼합 모드의 예시를 나타내는 도면이다.
도 30은 일부 실시예에 따른 음성 문자 통화를 수행하고 있는 제 1 디바이스(1000)의 통화 모드가 음성 모드로부터 혼합 모드로 전환되거나 혼합 모드로부터 음성 모드로 전환되는 일례를 도시한 도면이다.
도 31은 일부 실시예에 따른 음성 문자 통화를 수행하고 있는 제 1 디바이스(1000)의 통화 모드가 문자 모드로부터 혼합 모드로 전환되거나 혼합 모드로부터 문자 모드로 전환되는 일례를 도시한 도면이다.
도 32는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화의 모드를 전환하는 방법의 흐름도이다.
도 33은 일부 실시예에 따른 제 1 디바이스(1000)가 혼합 모드에서 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 34는 일부 실시예에 따른 혼합 모드로 동작하는 제 1 디바이스(1000)가 제 2 디바이스(2000)와 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 35A는 일부 실시예에 따른 제 1 디바이스(1000)가 제 2 디바이스(2000)의 통화 모드 변경을 제 1 사용자에게 알리고, 제 1 사용자에게 통화 모드의 변경을 추천하는 방법의 흐름도이다.
도 35B는 일부 실시예에 따른 제 1 디바이스(1000)가 제 2 디바이스(2000)의 혼합 모드의 입출력 기능의 변경을 제 1 사용자에게 알리고, 제 1 사용자에게 통화 모드의 변경을 추천하는 방법의 흐름도이다.
도 36은 일부 실시예에 따른 제 1 디바이스(1000)가 제 1 사용자에게 음성 모드로부터 문자 모드로의 통화 모드 변경을 추천하는 일례를 도시한 도면이다.
도 37은 일부 실시예에 따른 제 1 디바이스(1000)가 제 1 사용자에게 문자 모드로부터 음성 모드로의 통화 모드 변경을 추천하는 일례를 도시한 도면이다.
도 38은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화의 통화 목록을 생성하는 방법의 흐름도이다.
도 39는 일부 실시예에 따른 제 1 디바이스(1000)의 통화 목록을 통하여 제 1 사용자와 제 2 사용자 간의 대화를 나타내는 텍스트를 디스플레이하는 방법의 흐름도이다.
도 40 내지 도 42는 일부 실시예에 따른 통화 목록의 일례를 도시한 도면이다.
도 43은 일부 실시예에 따른 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 서버(3000)를 통하여, 음성 문자 통화를 수행하는 예시를 도시한 도면이다.
도 44는 일부 실시예에 따른 서버(3000)가 제 1 사용자 및 제 2 사용자의 음성을 텍스트로 변환함으로써, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 음성 문자 통화를 지원하는 방법의 흐름도이다.
도 45는 일부 실시예에 따른 서버(3000)가 제 1 사용자 및 제 2 사용자의 텍스트를 음성으로 변환함으로써, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 음성 문자 통화를 지원하는 방법의 흐름도이다.
도 46은 일부 실시예에 따른 서버(3000)가 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 음성 문자 통화와 관련된 음성 데이터 및 텍스트 데이터를 저장하는 방법의 흐름도이다.
도 47은 일부 실시예에 따른 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000)가 서로 음성 문자 통화를 수행하는 예시를 나타내는 도면이다.
도 48는 일부 실시예에 따른 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000)가, 서버(3000)를 통하여, 서로 음성 문자 통화를 수행하는 예시를 나타내는 도면이다.
도 49 및 도 50은 일부 실시예에 따른 제 1 디바이스(1000)의 블록도이다.
도 51은 일부 실시예에 따른 서버(3000)의 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에서, 음성 문자 통화 서비스는, 음성 통화 서비스 및 채팅 서비스를 병행하여 제공하는 서비스일 수 있다. 사용자는 디바이스를 이용하여 상대 디바이스와 음성 통화를 수행할 수 있으며, 음성 통화 중에 상대 디바이스와 메시지 송수신을 함께 수행할 수 있다. 또한, 음성 문자 통화 서비스의 통화 모드는, 예를 들어, 음성 모드, 문자 모드 및 혼합 모드 중 적어도 둘 이상을 포함할 수 있다.
또한, 본 명세서에서, 음성 모드는, 사용자가 음성 통화를 하듯이 다른 사용자와 통화를 할 수 있는 통화 모드일 수 있다.
또한, 본 명세서에서, 문자 모드는, 사용자가 문자 메시지의 송수신을 통하여 다른 사용자와 커뮤니케이션할 수 있는 통화 모드일 수 있다.
또한, 본 명세서에서, 혼합 모드는, 사용자가 다른 사용자와 음성 통화를 하는 동시에, 다른 사용자와 메시지 송수신을 할 수 있도록 하는 통화 모드일 수 있다.
예를 들어, 혼합 모드에서, 사용자는 디바이스의 스피커폰을 통하여 다른 사용자와 음성 통화를 하면서, 문자 메시지의 송수신을 통하여 다른 사용자와 커뮤니케이션을 할 수 있다. 또한, 예를 들어, 혼합 모드에서, 사용자는 다른 사용자와, 스피커폰을 사용하지 않는 음성 통화를 하면서, 문자 메시지의 송수신을 통하여 다른 사용자와 커뮤니케이션을 할 수 있다.
또한, 본 명세서에서 디바이스들 간에 음성과 문자를 전송하는 방식은 다양한 방식이 이용될 수 있다. 예를 들어, 사용자가 가입한 이동 통신 서비스 또는 디바이스들에서 사용 가능한 무선 기술 (Wi-Fi, 블루투스 등) 등을 이용하여 음성 및 문자가 디바이스들 간에 송수신될 수 있다. 예를 들어, LTE 또는 Wi-Fi 통신 기술이 사용되는 경우에, 음성과 문자 모두 패킷망을 통해 디바이스들 간에 송수신될 수 있다. 이 경우, 음성은 VoLTE 기술을 사용하여 전송될 수 있다. 또한, WCDMA가 사용되는 경우 음성은 서킷망을 통하여 전송되고 문자는 패킷망을 통하여 전송될 수도 있다. 음성과 문자는 각각 별도의 통신 연결을 통해 전송될 수 있다. 패킷망이 이용되는 경우 디바이스들 간의 통신 연결은 TCP/IP 연결이 될 수 있다. 서킷망이 이용되는 경우 디바이스들 간의 통신 연결은 호(call) 연결이 될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 일부 실시예에 따른 음성 문자 통화 서비스를 설명하기 위한 도면이다.
도 1을 참조하면, 제 1 디바이스(1000)는 제 2 디바이스(2000)와 음성 문자 통화를 수행할 수 있다. 제 1 디바이스(1000) 및 제 2 디바이스(2000)는 서로 음성 통화를 수행할 수 있으며, 제 1 디바이스(1000)는 음성 통화 도중에 제 1 디바이스(1000)의 화면 상에 사용자들 간의 대화를 나타내는 텍스트를 디스플레이할 수 있다. 또한, 제 2 디바이스(2000)도 음성 통화 도중에 제 2 디바이스(2000)의 화면 상에 사용자들 간의 대화를 나타내는 텍스트를 디스플레이할 수 있다. 예를 들어, 제 1 디바이스(1000) 및 제 2 디바이스(2000)는 사용자들 간의 대화를 나타내는 채팅창을 각각 제 1 디바이스(1000)의 화면 및 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 채팅창은 메시지창일 수 있으며, 채팅창에 디스플레이되는 텍스트를 통하여 제 1 디바이스(1000)의 사용자와 제 2 디바이스(2000)의 사용자는 서로 커뮤니케이션을 할 수 있다.
이에 따라, 제 1 디바이스(1000)의 사용자 및 제 2 디바이스(2000)의 사용자는, 음성 문자 통화 중에, 음성 통화 서비스 및 채팅 서비스를 병행하여 이용할 수 있게 된다.
또한, 제 1 디바이스(1000) 및 제 2 디바이스(2000)는, 예를 들어, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 웨어러블 디바이스 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 제 1 디바이스(1000) 및 제 2 디바이스(2000)는, 전자 칠판, 터치 테이블 등과 같이 터치 입력을 수신할 수 있는 다양한 장치를 포함할 수 있다. 또한, 제 1 디바이스(1000) 및 제 2 디바이스(2000)는, 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지일 수 있다.
도 2는 일부 실시예에 따른, 제 1 디바이스(1000)가 음성 문자 통화 중에, 음성으로부터 변환된 텍스트 및 사용자로부터 입력된 텍스트를 디스플레이하는 방법의 흐름도이다.
단계 S200에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 전화를 발신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 전화를 수신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)와의 통화 중에 음성 문자 통화 기능을 활성화할 수 있다.
또한, 음성 문자 통화 기능이 활성화됨에 따라, 제 1 디바이스(1000)는 제 1 디바이스(1000)에서 음성 문자 통화 기능이 활성화되었음을 제 2 디바이스(2000)에게 알릴 수 있다. 이 경우, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 음성 문자 통화의 통화 모드를 제 2 디바이스(2000)에게 알릴 수도 있다. 음성 문자 통화의 통화 모드에 대하여는, 후술하기로 한다.
또한, 음성 문자 통화 활성화 시 음성과 문자를 전송하는 방식은 다양한 방식이 이용될 수 있다. 예를 들어, 사용자가 가입한 이동 통신 서비스 또는 사용자 디바이스에서 사용 가능한 무선 기술 (Wi-Fi, 블루투스 등) 등을 이용하여 음성 및 문자가 제1 디바이스(1000) 및 제 2 디바이스(2000) 간에 송수신될 수 있다. 예를 들어, LTE 또는 Wi-Fi 통신 기술이 사용되는 경우에, 음성과 문자 모두 패킷망을 통해 제1 디바이스(1000) 및 제 2 디바이스(2000) 간에 송수신될 수 있다. 이 경우, 음성은 VoLTE 기술을 사용하여 전송될 수 있다. 또한, WCDMA를 사용하는 경우 음성은 서킷망, 문자는 패킷망을 통하여 전송될 수도 있다.
음성과 문자는 각각 별도의 통신 연결을 통해 전송될 수 있다. 패킷망이 이용되는 경우 통신 연결은 TCP/IP 연결일 수 있다. 서킷망이 이용되는 경우 통신 연결은 호(call) 연결일 수 있다.
단계 S210에서 제 1 디바이스(1000)는, 제 1 디바이스의 사용자와 제 2 디바이스(2000)의 사용자 간의 음성으로부터 변환된 텍스트를, 획득할 수 있다. 제 1 디바이스(1000)는 제 1 디바이스(1000)의 사용자의 음성을 텍스트로 변환함으로써, 변환된 텍스트를 획득할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 사용자의 음성을 제 2 디바이스(2000)로부터 수신하고, 수신된 음성을 텍스트로 변환함으로써, 변환된 텍스트를 획득할 수 있다. 그러나, 제 1 디바이스(1000)가 변환된 텍스트를 획득하는 방법은, 이에 제한되지 않는다. 제 1 디바이스(1000)의 사용자의 음성 및 제 2 디바이스(2000)의 사용자의 음성은, 다양한 장치 또는 서버에 의해 텍스트로 변환될 수 있으며, 제 1 디바이스(1000)는 변환된 텍스트를 다양한 장치 및 서버로부터 수신할 수 있다.
단계 S220에서 제 1 디바이스(1000)는 사용자에 의해 입력된 텍스트를 획득할 수 있다. 제 1 디바이스(1000)는, 음성 문자 통화 중에 제 1 디바이스(1000)의 사용자로부터 입력된 텍스트를 획득할 수 있다. 또한, 제 1 디바이스(1000)는, 음성 문자 통화 중에 제 2 디바이스(2000)의 사용자로부터 제 2 디바이스(2000)에 입력된 텍스트를, 제 2 디바이스(2000)로부터 수신할 수 있다.
단계 S230에서 제 1 디바이스(1000)는 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열하여, 사용자 간의 통화 중에, 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는, 음성 및 텍스트의 입력 시간에 기초하여, 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열할 수 있다. 예를 들어, 제 1 디바이스(1000)는, 제 1 디바이스(1000)의 사용자가 제 1 디바이스(1000)에 음성을 입력한 시간, 제 2 디바이스(2000)의 사용자가 제 2 디바이스(2000)에 음성을 입력한 시간, 제 1 디바이스(1000)의 사용자가 제 1 디바이스(1000)에 텍스트를 입력한 시간 및 제 2 디바이스(2000)의 사용자가 제 2 디바이스(2000)에 텍스트를 입력한 시간에 기초하여, 제 1 디바이스(1000)는 변환된 텍스트 및 입력된 텍스트를 배열할 수 있다.
도 3 내지 도 5는 일부 실시예에 따른 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 3A는 일부 실시예에 따른, 전화 발신 시에, 제 1 디바이스(1000)의 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 3A를 참조하면, 제 1 디바이스(1000)의 사용자는 제 2 디바이스(2000)의 전화 번호를 입력한 이후에, “음성 문자 통화” 버튼(30)을 선택할 수 있다. 이에 따라, 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화하고, 제 2 디바이스(2000)에게 전화를 걸 수 있다.
도 3B는 일부 실시예에 따른, 제 1 디바이스(1000)의 화면 상에 디스플레이된 폰북에서 소정 버튼을 선택하는 사용자 입력에 기초하여, 제 1 디바이스(1000)의 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 3B를 참조하면, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 화면 상에 폰북을 디스플레이할 수 있으며, 제 1 디바이스(1000)의 사용자는 디스플레이된 폰북에 포함된 사용자 목록에서, 제 2 디바이스(2000)의 전화 번호가 표시된 필드에 포함된, 음성 문자 통화를 하기 위한 버튼(32)를 선택할 수 잇다. 이에 따라, 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화하고, 제 2 디바이스(2000)에게 전화를 걸 수 있다.
도 4는 일부 실시예에 따른, 전화 수신 시에, 제 1 디바이스(1000)의 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 4를 참조하면, 제 1 디바이스(1000)의 사용자는 제 2 디바이스(2000)로부터의 전화 통화를 수신하는 경우에, “음성 문자 통화” 버튼(40)을 선택할 수 있다. 이에 따라, 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화하고, 제 2 디바이스(2000)로부터의 전화 통화를 수신할 수 있다.
도 5는 일부 실시예에 따른, 음성 통화 중에, 제 1 디바이스(1000)의 음성 문자 통화 기능이 활성화되는 예시를 도시한 도면이다.
도 5를 참조하면, 제 1 디바이스(1000)의 사용자는 제 2 디바이스(2000)와의 음성 통화 중에, “음성 문자 통화” 버튼(50)을 선택할 수 있다. 이에 따라, 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화하고, 제 2 디바이스(2000)와 음성 문자 통화를 수행할 수 있다.
도 6은 일부 실시예에 따른, 음성 문자 통화 기능이 활성화된 제 1 디바이스(1000)가, 음성 문자 통화 기능이 활성화되지 않은 제 2 디바이스(2000)와 음성 문자 통화를 수행하는 방법의 흐름도이다.
도 6을 참조하면, 음성 문자 통화 기능이 활성화된 제 1 디바이스(1000)는 제 2 디바이스(2000)와 음성 문자 통화를 수행할 수 있으며, 음성 문자 통화 기능이 활성화되지 않은 제 2 디바이스(2000)는 제 1 디바이스(1000)와 음성 통화를 수행할 수 있다.
단계 S600에서 제 1 디바이스(1000)는 제 2 디바이스(2000)와 통화 연결된다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 통화 연결을 위한 호를 전송하거나, 제 2 디바이스(2000)로부터 통화 연결을 위한 호를 수신함으로써, 제 1 디바이스(1000)는 제 2 디바이스(2000)와 통화 연결될 수 있다.
단계 S610에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 1 디바이스(1000)는 사용자 입력에 기초하여 음성 문자 통화 기능을 활성화할 수 있다. 단계 S610에서는 제 1 디바이스(1000)가 제 2 디바이스(2000)와 통화 연결된 이후에, 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 1 디바이스(1000)는, 예를 들어, 발신 시, 수신 시 또는 통화 중에, 음성 문자 통화 기능을 활성화할 수 있다.
단계 S620에서 제 1 디바이스(1000)는 제 1 디바이스(1000)의 사용자(이하, 제 1 사용자라고 함)의 음성을 제 2 디바이스(2000)에게 전송할 수 있다. 제 1 디바이스(1000)는 마이크를 통하여 제 1 사용자의 음성을 획득할 수 있으며, 획득된 음성을 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S630에서 제 1 디바이스(1000)는 제 1 사용자의 음성을 텍스트로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S640에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 사용자(이하, 제 2 사용자라고 함)의 음성을 제 2 디바이스(2000)로부터 수신할 수 있다. 이 경우, 제 2 디바이스(2000)는 제 2 디바이스(2000) 내의 마이크를 이용하여 제 2 사용자의 음성을 획득하고, 획득된 제 2 사용자의 음성을 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S650에서 제 1 디바이스(1000)는 제 2 사용자의 음성을 텍스트로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S660에서 제 1 디바이스(1000)는 변환된 텍스트들을 시간 순으로 배열할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각, 및 제 2 사용자의 음성이 수신된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)는, 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각, 및 제 2 사용자의 음성이 제 2 디바이스(2000)에 입력된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S670에서 제 1 디바이스(1000)는 배열된 텍스트들을 포함하는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드에 따라, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이하거나, 제 1 디바이스(1000)의 화면 상에서 채팅창을 숨길 수 있다.
도 7은 일부 실시예에 따른 제 1 디바이스(1000)와 제 2 디바이스(2000)가 서로 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 7에서는 제 1 디바이스(1000)가 제 1 사용자의 음성 및 제 2 사용자의 음성을 텍스트로 변환하고, 제 2 디바이스(2000)도 제 1 사용자의 음성 및 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S700에서, 제 1 디바이스(1000)와 제 2 디바이스(2000)는 서로 통화 연결된다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 통화 연결을 위한 호를 전송하거나, 제 2 디바이스(2000)로부터 통화 연결을 위한 호를 수신함으로써, 제 1 디바이스(1000)는 제 2 디바이스(2000)와 통화 연결될 수 있다.
단계 S705에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 1 디바이스(1000)는 사용자 입력에 기초하여 음성 문자 통화 기능을 활성화할 수 있다. 단계 S705에서는 제 1 디바이스(1000)가 제 2 디바이스(2000)와 통화 연결된 이후에, 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 1 디바이스(1000)는, 예를 들어, 발신 시, 수신 시 또는 통화 중에, 음성 문자 통화 기능을 활성화할 수 있다.
단계 S710에서 제 2 디바이스(2000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 2 디바이스(2000)는 사용자 입력에 기초하여 음성 문자 통화 기능을 활성화할 수 있다. 단계 S710에서는 제 2 디바이스(2000)가 제 1 디바이스(1000)와 통화 연결된 이후에, 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 2 디바이스(2000)는, 예를 들어, 발신 시, 수신 시 또는 통화 중에, 음성 문자 통화 기능을 활성화할 수 있다.
단계 S715에서 제 1 디바이스(1000)는 제 1 사용자의 음성을 제 2 디바이스(2000)에게 전송할 수 있다. 제 1 디바이스(1000)는 제 1 디바이스(1000) 내의 마이크를 통하여 제 1 사용자의 음성을 획득할 수 있으며, 획득된 음성을 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S720에서 제 1 디바이스(1000)는 제 1 사용자의 음성을 텍스트로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S725에서 제 2 디바이스(2000)는 제 1 디바이스(1000)로부터 수신된 제 1 사용자의 음성을 텍스트로 변환할 수 있다. 제 2 디바이스(2000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S730에서 제 2 디바이스(2000)는 제 2 사용자의 음성을 제 1 디바이스(1000)에게 전송할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000) 내의 마이크를 통하여 제 2 사용자의 음성을 획득할 수 있으며, 획득된 음성을 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S735에서 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 제 2 사용자의 음성을 텍스트로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S740에서 제 2 디바이스(2000)는 제 2 사용자의 음성을 텍스트로 변환할 수 있다. 제 2 디바이스(2000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S745에서 제 1 디바이스(1000)는 변환된 텍스트들을 시간 순으로 배열할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각, 및 제 2 사용자의 음성이 수신된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)는, 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각, 및 제 2 사용자의 음성이 제 2 디바이스(2000)에 입력된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S750에서 제 2 디바이스(2000)는 변환된 텍스트들을 시간 순으로 배열할 수 있다. 제 2 디바이스(2000)는, 예를 들어, 제 2 사용자의 음성이 제 2 디바이스(2000)에 입력된 시각, 및 제 1 사용자의 음성이 수신된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 또한, 예를 들어, 제 2 디바이스(2000)는, 제 2 사용자의 음성이 제 2 디바이스(2000)에 입력된 시각, 및 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S755에서 제 1 디바이스(1000)는 배열된 텍스트들을 포함하는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드에 따라, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이하거나, 제 1 디바이스(1000)의 화면 상에서 채팅창을 숨길 수 있다.
단계 S760에서 제 2 디바이스(2000)는 배열된 텍스트들을 포함하는 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 제 2 디바이스(2000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 또한, 제 2 디바이스(2000)는 음성 문자 통화의 통화 모드에 따라, 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이하거나, 제 2 디바이스(2000)의 화면 상에서 채팅창을 숨길 수 있다.
도 8은 일부 실시예에 따른 제 1 디바이스(1000)와 제 2 디바이스(2000)가 서로 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 8에서는 제 1 디바이스(1000)가 제 1 사용자의 음성을 텍스트로 변환하고, 제 2 디바이스(2000)가 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S800에서 제 1 디바이스(1000)와 제 2 디바이스(2000)는 서로 통화 연결된다.
단계 S805에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화하고, 단계 S810에서 제 2 디바이스(2000)는 음성 문자 통화 기능을 활성화할 수 있다. 도 8에서는, 제 1 디바이스(1000)와 제 2 디바이스(2000)가 서로 통화 연결된 이후에, 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다.
단계 S815에서, 제 1 디바이스(1000)는 제 1 사용자의 음성을 제 2 디바이스(2000)에게 전송할 수 있다. 제 1 디바이스(1000)는 제 1 디바이스(1000) 내의 마이크를 통하여 제 1 사용자의 음성을 획득할 수 있으며, 획득된 음성을 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S820에서 제 1 디바이스(1000)는 제 1 사용자의 음성을 텍스트로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S825에서 제 1 디바이스(1000)는 제 1 사용자의 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S830에서 제 2 디바이스(2000)는 제 1 디바이스(1000)에게 제 2 사용자의 음성을 전송할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000) 내의 마이크를 통하여 제 2 사용자의 음성을 획득할 수 있으며, 획득된 음성을 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S835에서 제 2 디바이스(2000)는 제 2 사용자의 음성을 텍스트로 변환할 수 있다. 제 2 디바이스(2000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S840에서 제 2 디바이스(2000)는 제 2 사용자의 텍스트를 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S845에서 제 1 디바이스(1000)는 변환된 텍스트 및 수신된 텍스트를 시간 순으로 배열할 수 있다. 제 1 디바이스(1000)는 제 1 사용자의 음성으로부터 제 1 디바이스(1000)에 의해 변환된 텍스트, 및 제 2 디바이스(2000)로부터 수신된 제 2 사용자의 텍스트를 시간 순으로 배열할 수 있다.
단계 S850에서 제 1 디바이스(1000)는 배열된 텍스트들을 포함하는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
단계 S855에서 제 2 디바이스(2000)는 변환된 텍스트 및 수신된 텍스트를 시간 순으로 배열할 수 있다. 제 2 디바이스(2000)는 제 2 사용자의 음성으로부터 제 2 디바이스(2000)에 의해 변환된 텍스트, 및 제 1 디바이스(1000)로부터 수신된 제 1 사용자의 텍스트를 시간 순으로 배열할 수 있다.
단계 S860에서 제 2 디바이스(2000)는 배열된 텍스트들을 포함하는 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 제 2 디바이스(2000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다.
도 9는 일부 실시예에 따른 제 1 디바이스(1000)와 제 2 디바이스(2000)가 서로 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 9에서는 제 1 디바이스(1000)가 제 1 사용자의 음성 및 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
도 9의 단계 S900 내지 단계 S930은, 도 8의 단계 S800 내지 단계 S830에 대응되므로, 이에 대한 설명은 생략하기로 한다.
단계 S935에서 제 1 디바이스(1000)는 제 2 사용자의 음성을 텍스트로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S940에서 제 1 디바이스(1000)는 제 2 사용자의 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S945에서 제 1 디바이스(1000)는 변환된 텍스트를 시간 순으로 배열할 수 있다. 제 1 디바이스(1000)는 제 1 사용자의 음성으로부터 제 1 디바이스(1000)에 의해 변환된 텍스트, 및 제 2 사용자의 음성으로부터 제 1 디바이스(1000)에 의해 변환된 텍스트를 시간 순으로 배열할 수 있다.
단계 S950에서 제 1 디바이스(1000)는 배열된 텍스트들을 포함하는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
단계 S955에서 제 2 디바이스(2000)는 수신된 텍스트를 시간 순으로 배열할 수 있다. 제 2 디바이스(2000)는 제 1 디바이스(1000)로부터 수신된 제 1 사용자의 텍스트 및 제 2 사용자의 텍스트를 시간 순으로 배열할 수 있다.
단계 S960에서 제 2 디바이스(2000)는 배열된 텍스트들을 포함하는 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 제 2 디바이스(2000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다.
도 10은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 채팅창을 디스플레이하는 방법의 흐름도이다.
단계 S1000에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 전화를 발신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 전화를 수신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)와의 통화 중에 음성 문자 통화 기능을 활성화할 수 있다.
단계 S1010에서 제 1 디바이스(1000)는 제 1 사용자와 제 2 사용자 간의 음성으로부터 변환된 텍스트를 획득할 수 있다. 제 1 디바이스(1000)는 제 1 디바이스(1000)의 사용자의 음성을 텍스트로 변환함으로써, 변환된 텍스트를 획득할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 사용자의 음성을 제 2 디바이스(2000)로부터 수신하고, 수신된 음성을 텍스트로 변환함으로써, 변환된 텍스트를 획득할 수 있다. 그러나, 제 1 디바이스(1000)가 변환된 텍스트를 획득하는 방법은, 이에 제한되지 않는다. 제 1 디바이스(1000)의 사용자의 음성 및 제 2 디바이스(2000)의 사용자의 음성은, 다양한 장치 또는 서버에 의해 텍스트로 변환될 수 있으며, 제 1 디바이스(1000)는 변환된 텍스트를 다양한 장치 및 서버로부터 수신할 수 있다.
단계 S1020에서 제 1 디바이스(1000)는 변환된 텍스트의 원본 음성 데이터를 백업할 수 있다. 제 1 디바이스(1000)는 제 1 사용자의 음성으로부터 변환된 텍스트에 대응되는 제 1 사용자의 음성 데이터를 백업할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 사용자의 음성으로부터 변환된 텍스트에 대응되는 제 2 사용자의 음성 데이터를 백업할 수 있다.
단계 S1030에서, 제 1 디바이스(1000)는, 제 1 사용자 및 제 2 사용자 간의 통화 중에, 제 1 디바이스(1000)의 화면 상에 채팅창을 디스플레이할 수 있다. 제 1 디바이스(1000)는 제 1 사용자와 제 2 사용자 간의 대화의 내용을 나타내기 위하여 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
단계 S1040에서 제 1 디바이스(1000)는 채팅창을 통하여 제 1 사용자로부터 입력된 텍스트를 획득할 수 있다. 또한, 제 1 디바이스(1000)는, 음성 문자 통화 중에 제 2 사용자로부터 제 2 디바이스(2000)에 입력된 텍스트를, 제 2 디바이스(2000)로부터 수신할 수 있다.
단계 S1050에서 제 1 디바이스(1000)는 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열하여 채팅창 내에 표시할 수 있다. 제 1 디바이스(1000)는, 음성 및 텍스트의 입력 시간에 기초하여, 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열할 수 있다. 예를 들어, 제 1 디바이스(1000)는, 제 1 사용자가 제 1 디바이스(1000)에 음성을 입력한 시간, 제 2 사용자가 제 2 디바이스(2000)에 음성을 입력한 시간, 제 1 사용자가 제 1 디바이스(1000)에 텍스트를 입력한 시간 및 제 2 사용자가 제 2 디바이스(2000)에 텍스트를 입력한 시간에 기초하여, 제 1 디바이스(1000)는 변환된 텍스트 및 입력된 텍스트를 배열할 수 있다.
단계 S1060에서 제 1 디바이스(1000)는 변환된 텍스트를 입력된 텍스트와 구별하여 표시할 수 있다. 제 1 디바이스(1000)는 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로 변환된 텍스트를, 제 1 사용자로부터 입력된 텍스트 및 제 2 사용자로부터 입력된 텍스트와 구별되게 표시할 수 있다.
예를 들어, 제 1 디바이스(1000)는 변환된 텍스트를 구별하여 표시하기 위하여, 별도의 아이콘을 변환된 텍스트의 주변에 디스플레이할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)는 변환된 텍스트의 색상, 굵기 또는 서체 등을 구별되게 표시할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S1070에서 제 1 디바이스(1000)는, 변환된 텍스트가 선택되면, 변환된 텍스트의 원본 음성 데이터를 출력할 수 있다. 변환된 텍스트가 채팅창 내에서 제 1 사용자에 의해 선택되면, 제 1 디바이스(1000)는 선택된 텍스트의 원본 음성 데이터를 메모리로부터 추출하고, 추출된 원본 음성 데이터를 제 1 디바이스(1000) 내의 스피커를 통하여 출력할 수 있다.
단계 S1080에서 제 1 디바이스(1000)는 배열된 텍스트들 중에서, 소정의 이벤트가 발생되기 이전의 기 설정된 시간 동안에 획득된 텍스트를 백업할 수 있다. 소정의 이벤트는, 예를 들어, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 통화 종료, 또는 텍스트 백업을 위한 사용자 입력 수신 등을 포함할 수 있다. 예를 들어, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 통화가 종료되면, 제 1 디바이스(1000)는 통화가 종료되기 전 5분 동안에 제 1 디바이스(1000)에 의해 획득된 텍스트를 백업할 수 있다. 예를 들어, 제 1 디바이스(1000)는, 텍스트를 백업하기 위한 사용자 입력을 수신하면, 사용자 입력이 수신되기 전의 3분 동안에 제 1 디바이스(1000)에 의해 획득된 텍스트를 백업할 수 있다. 그러나, 텍스트 백업을 위하여 설정된, 이벤트의 종류 및 시간 값은 이에 제한되지 않는다.
한편, 제 1 디바이스(1000)는 배열된 텍스트 전체를 서버(3000)에 백업할 수 있다. 이 경우, 제 1 디바이스(1000)는 배열된 텍스트 중에서 일부를 제 1 디바이스(1000) 내에 백업하고, 배열된 텍스트의 전부를 서버(3000)에 백업할 수 있다. 또한, 제 1 디바이스(1000)는 배열된 텍스트 중에서 일부 텍스트 및 배열된 텍스트의 전체 텍스트를 서버(3000)에 저장할 수도 있다.
한편, 도 10에서는, 제 1 디바이스(1000)가 배열된 텍스트들 중에서, 소정의 이벤트가 발생되기 이전의 기 설정된 시간 동안에 획득된 텍스트를 백업하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 1 디바이스(1000)는 배열된 텍스트 전체를 다양한 자연어 해석 방법을 통하여 사용자 간의 대화를 분석할 수 있으며, 배열된 텍스트로부터 사용자 간의 주요 대화 내용을 나타내는 부분을 추출할 수 있다. 또한, 제 1 디바이스(1000)는 추출된 일부 대화를 나타내는 텍스트를 제 1 디바이스(1000) 내에 백업할 수 있다.
도 11A 및 도 11B는 일부 실시예에 따른 음성 문자 통화 중에 디스플레이된 채팅창의 예시를 나타내는 도면이다.
도 11A는 일부 실시예에 따른 음성 문자 통화 중에 디스플레이된 채팅창 내에서, 음성으로부터 변환된 텍스트가 구별되게 표시된 일례를 나타내는 도면이다.
도 11A를 참조하면, 음성 문자 통화 중에 제 1 디바이스(1000) 화면 상에는 채팅창이 디스플레이될 수 있으며, 채팅 창 내에 사용자의 음성으로부터 변환된 텍스트인 “SureWhat are you going?”이 디스플레이될 수 있다. 또한, 제 1 디바이스(1000)는 “What are you going?”이 음성으로부터 변환된 텍스트임은 나타내기 위하여, “What are you going?”의 주변에 아이콘(110)을 디스플레이할 수 있다.
또한, 제 1 사용자가 “What are you going?”을 터치하면, 제 1 디바이스(1000)는 터치된 텍스트인 “What are you going?”에 대응되는 원본 음성 데이터를 제 1 디바이스(1000)의 스피커를 통하여 출력할 수 있다. 제 1 디바이스(1000)는 “What are you doing?”을 발음하는 사용자의 음성을 출력할 수 있다.
이에 따라, 사용자의 음성으로부터 변환된 텍스트에 오타 “going”이 존재하더라도, 사용자는 변환된 텍스트의 원본 음성 데이터를 청취함으로써, 보다 정확하게 사용자의 대화 내용을 확인할 수 있게 된다.
또한, 제 1 디바이스(1000)는 음성으로부터 변환된 텍스트가 얼마나 신뢰할 수 있는 정도로 변환되었는지를 나타낼 수 있다. 예를 들어, “Sure.”의 신뢰도가, “What are you going?”의 신뢰도 보다 높은 경우, “Sure.”의 글자 크기 및 글자 두께를, “What are you going?”의 글자 크기 및 글자 두께보다 크게 표시할 수 있다. 그러나, 이에 제한되지 않으며, “Sure.”의 글자 색상, 글꼴 등을 구별되게 표시할 수도 있다. 또한, 변환된 텍스트의 주변에 신뢰도의 수치를 나타내는 특정 객체를 디스플레이할 수도 있다.
도 11B는 일부 실시예에 따른 음성 문자 통화 중에 디스플레이된 채팅창 내에서, 음성으로부터 변환된 텍스트의 신뢰도가, 단어 단위로, 구별되게 표시된 일례를 나타내는 도면이다.
도 11B를 참조하면, 일부 실시예에 따른 제 1 디바이스(1000)는 음성으로부터 변환된 텍스트 “What are you going?”의 신뢰도를 단어 단위로 구별되게 표시할 수 있다. 예를 들어, 텍스트 “What are you going?” 내에서, “What” 및 “you”의 신뢰도가, “are” 및 “going”의 신뢰도보다 높은 경우에, “What” 및 “you”의 글자 크기 및 글자 두께를, “are” 및 “going”의 글자 크기 및 글자 두께보다 크게 표시할 수 있다. 그러나, 이에 제한되지 않으며, “What” 및 “you”의 글자 색상, 글꼴 등을 구별되게 표시할 수도 있다.
또한, 제 1 사용자가 “What are you going?”에서 “What”을 터치하면, 제 1 디바이스(1000)는 터치된 단어인 “What”에 대응되는 원본 음성 데이터를 제 1 디바이스(1000)의 스피커를 통하여 출력할 수 있다. 제 1 디바이스(1000)는 단어 “What”을 발음하는 사용자의 음성을 출력할 수 있다.
도 12는, 일부 실시예에 따른, 제 1 디바이스(1000) 및 제 2 디바이스(2000)가, 특정 채팅 애플리케이션을 통하여, 음성으로부터 변환된 텍스트를 서로 송수신하는 예시를 나타내는 도면이다.
도 12를 참조하면, 제 1 디바이스(1000)에서 채팅 애플리케이션(120)이 실행되고, 제 2 디바이스(2000)에서 채팅 애플리케이션(122)이 실행될 수 있다. 채팅 애플리케이션(120) 및 채팅 애플리케이션(122)는 서로 동일한 애플리케이션이거나, 서로 호환 가능한 애플리케이션일 수 있다.
또한, 제 1 디바이스(1000)는 제 1 디바이스(1000)에 의해 획득된, 음성으로부터 변환된 텍스트를 채팅 애플리케이션(120)에 입력하고, 입력된 텍스트를 채팅 애플리케이션(120)을 통하여, 제 2 디바이스(2000)의 채팅 애플리케이션(122)로 전송할 수 있다.
또한, 제 2 디바이스(2000)는 제 2 디바이스(2000)에 의해 획득된, 음성으로부터 변환된 텍스트를 채팅 애플리케이션(122)에 입력하고, 입력된 텍스트를 채팅 애플리케이션(122)을 통하여, 제 1 디바이스(1000)의 채팅 애플리케이션(120)로 전송할 수 있다.
도 13은 일부 실시에에 따른, 음성 문자 통화 기능이 활성화되는 경우에, 제 1 디바이스(1000)가, 음성 통화와 연동되어 실행될 채팅 애플리케이션을, 결정하는 방법의 흐름도이다.
단계 S1300에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 전화를 발신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 전화를 수신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)와의 통화 중에 음성 문자 통화 기능을 활성화할 수 있다.
단계 S1310에서 제 1 디바이스(1000)는 채팅 애플리케이션을 결정할 수 있다. 제 1 디바이스(1000)는 음성 문자 통화 중에 이용될 채팅 애플리케이션을 결정할 수 있다. 예를 들어, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 음성 문자 통화 기능과 연동되어 실행될 수 있는 채팅 애플리케이션을, 음성 문자 통화 중에 이용될 채팅 애플리케이션으로 결정할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)는 제 1 디바이스(1000) 및 제 2 디바이스(2000) 모두에 설치된 채팅 애플리케이션을, 음성 문자 통화 중에 이용될 채팅 애플리케이션으로 결정할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S1320에서 제 1 디바이스(1000)는 결정된 채팅 애플리케이션을 실행하고, 단계 S1325에서 제 1 디바이스(1000)는 음성으로부터 변환된 텍스트를, 실행된 채팅 애플리케이션에 입력할 수 있다. 예를 들어, 제 1 디바이스(1000)는 실행된 채팅 애플리케이션에, 텍스트 자동 입력을 위한 플러그인을 설치하고, 설치된 플러그인을 통하여 채팅 애플리케이션에, 음성으로부터 변환된 텍스트를 입력할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S1330에서 제 1 디바이스(1000)는 사용자들 간의 통화 중에, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는 제 1 사용자의 음성으로부터 변환된 텍스트, 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 텍스트, 제 2 사용자의 음성으로부터 변환된 텍스트, 및 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 텍스트를, 채팅창 내에 배열할 수 있다.
또한, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 음성 문자 통화의 통화 모드에 따라, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이하거나, 제 1 디바이스(1000)의 화면 상에서 채팅창을 숨길 수 있다.
도 14는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 이용될 채팅 애플리케이션을 결정하는 방법의 흐름도이다.
단계 S1400에서 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 제 2 디바이스(2000)에 설치된 채팅 애플리케이션의 목록을 요청하며, 단계 S1410에서 제 2 디바이스(2000)는 제 2 디바이스(2000)에 설치된 채팅 애플리케이션의 목록을 제 1 디바이스(1000)에게 제공할 수 있다.
단계 S1420에서 제 1 디바이스(1000)는 제 1 디바이스(1000)에 설치된 채팅 애플리케이션들 중에서, 제 2 디바이스(2000)로부터 수신된 채팅 애플리케이션의 목록에 포함된 채팅 애플리케이션과 호환 가능한 채팅 애플리케이션을 선택할 수 있다.
예를 들어, 채팅 애플리케이션 ‘A’와 호환 가능한 채팅 애플리케이션은, 채팅 애플리케이션 ‘A’와 동일한 채팅 애플리케이션일 수 있다. 또한, 예를 들어, 채팅 애플리케이션 ‘A’와 호환 가능한 채팅 애플리케이션은, 채팅 애플리케이션 ‘A’와 상이하지만 채팅 애플리케이션 ‘A’와 메시지를 송수신할 수 있는 채팅 애플리케이션일 수 있다.
한편, 도 14에서는, 제 1 디바이스(1000)가 제 2 디바이스(2000)에게 채팅 애플리케이션의 목록을 요청함으로써, 제 2 디바이스(2000)로부터 채팅 애플리케이션의 목록을 수신하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 음성 문자 통화를 위해 연결되면서, 제 1 디바이스(1000)는 별도의 요청없이 제 2 디바이스(2000)로부터 채팅 애플리케이션의 목록을 수신할 수도 있다.
도 15는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 이용될 채팅 애플리케이션을 설치하는 방법의 흐름도이다.
단계 S1500에서 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 제 2 디바이스(2000)에 설치된 채팅 애플리케이션의 목록을 요청하며, 단계 S1510에서 제 2 디바이스(2000)는 제 2 디바이스(2000)에 설치된 채팅 애플리케이션의 목록을 제 1 디바이스(1000)에게 제공할 수 있다.
단계 S1520에서 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 채팅 애플리케이션의 목록에 포함된 채팅 애플리케이션과 호환 가능한 채팅 애플리케이션을 설치할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 채팅 애플리케이션의 목록에 포함된 채팅 애플리케이션과 호환 가능한 채팅 애플리케이션을 선택하고, 선택된 채팅 애플리케이션을 소정의 서버로부터 다운로드할 수 있다. 또한, 제 1 디바이스(1000)는 다운로드된 채팅 애플리케이션을 제 1 디바이스(1000) 내에 설치할 수 있다.
한편, 도 15에서는, 제 1 디바이스(1000)가 제 2 디바이스(2000)에게 채팅 애플리케이션의 목록을 요청함으로써, 제 2 디바이스(2000)로부터 채팅 애플리케이션의 목록을 수신하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 음성 문자 통화를 위해 연결되면서, 제 1 디바이스(1000)는 별도의 요청없이 제 2 디바이스(2000)로부터 채팅 애플리케이션의 목록을 수신할 수도 있다.
도 16A는 일부 실시예에 따른 제 1 디바이스(1000)가 채팅 서비스를 이용하는 도중에, 음성 문자 통화 기능을 활성화하는 예시를 나타내는 도면이다.
도 16A를 참조하면, 제 1 디바이스(1000)는 채팅 애플리케이션을 실행하고 소정의 채팅 서비스를 이용할 수 있다. 또한, 제 1 사용자가 채팅 애플리케이션의 실행 화면 상에 표시된 버튼(160)을 선택함으로써, 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다.
도 16B는 일부 실시예에 따른 제 1 디바이스(1000)가 채팅 애플리케이션의 사용자 목록 화면을 통한 사용자 입력에 따라, 음성 문자 통화를 시작하는 예시를 나타내는 도면이다.
도 16B를 참조하면, 제 1 디바이스(1000)는 채팅 애플리케이션을 실행하고, 채팅 애플리케이션의 사용자 목록을 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)는 사용자 목록에서 “John”과 음성 통화를 하기 위한 버튼(165)을 선택하는 사용자 입력을 수신할 수 있다. 이에 따라, 제 1 디바이스(1000)는 John의 디바이스와 음성 문자 통화를 시작할 수 있다.
도 17은 일부 실시예에 따른 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 채팅 서비스를 이용하는 도중에, 음성 문자 통화를 수행하는 방법의 흐름도이다.
단계 S1700에서 제 1 디바이스(1000) 및 제 2 디바이스(2000)는 채팅 서비스를 위하여 서로 통신 연결된다. 또한, 단계 S1710에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이하고, 단계 S1720에서 제 2 디바이스(2000)는 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 이후, 제 1 디바이스(1000)와 제 2 디바이스(2000)는 서로 메시지를 송수신할 수 있다.
단계 S1730에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화하고, 단계 S1740에서 제 2 디바이스(2000)는 음성 문자 통화 기능을 활성화할 수 있다.
또한, 단계 S1750에서 제 1 디바이스(1000)와 제 2 디바이스(2000)는 서로 음성 문자 통화를 수행할 수 있다.
도 18 내지 도 21은, 일부 실시예에 따른, 음성 문자 통화 중에 통화 모드가 변경되는 예시를 나타내는 도면이다.
음성 문자 통화의 통화 모드는, 예를 들어, 음성 모드 및 문자 모드를 포함할 수 있다. 음성 모드는, 사용자가 음성 통화를 하듯이 다른 사용자와 통화를 할 수 있는 모드일 수 있으며, 문자 모드는, 사용자가 문자 메시지의 송수신을 통하여 다른 사용자와 커뮤니케이션할 수 있는 모드일 수 있다.
도 18은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 음성 모드로부터 문자 모드로, 통화 모드를 자동 전환하는 일례를 도시한 도면이다.
도 18을 참조하면, 제 1 디바이스(1000)가 사용자의 얼굴에 근접해 있으면, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 화면을 비활성화하고, 음성 모드로 동작할 수 있다. 이후, 제 1 디바이스(1000)가 사용자의 얼굴로부터 이격되면, 제 1 디바이스(1000)는 통화 모드를 음성 모드로부터 문자 모드로 전환하고, 제 1 디바이스(1000)의 화면 상에 채팅창을 디스플레이할 수 있다.
도 19는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에, 문자 모드로부터 음성 모드로, 통화 모드를 자동 전환하는 일례를 도시한 도면이다.
도 19를 참조하면, 제 1 디바이스(1000)가 사용자의 얼굴로부터 이격되어 있으면, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 화면 상에 채팅창을 디스플레이하고, 문자 모드로 동작할 수 있다. 이후, 제 1 디바이스(1000)가 사용자의 얼굴에 근접되면, 제 1 디바이스(1000)는 통화 모드를 문자 모드로부터 음성 모드로 전환하고, 제 1 디바이스(1000)의 화면을 비활성화할 수 있다.
도 20은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 음성 모드로부터 문자 모드로, 통화 모드를 수동 전환하는 일례를 도시한 도면이다.
도 20을 참조하면, 제 1 디바이스(1000)가 음성 모드로 동작하는 도중에, 제 1 사용자가 제 1 디바이스(1000)의 화면 상에 표시된 버튼(200)을 선택하면, 제 1 디바이스(1000)는 통화 모드를 음성 모드로부터 문자 모드로 전환하고, 제 1 디바이스(1000)의 화면 상에 채팅창을 디스플레이할 수 있다.
도 21은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화 중에 문자 모드로부터 음성 모드로, 통화 모드를 수동 전환하는 일례를 도시한 도면이다.
도 21을 참조하면, 제 1 디바이스(1000)가 문자 모드로 동작하는 도중에, 제 1 사용자가 제 1 디바이스(1000)의 화면 상에 표시된 버튼(210)을 선택하면, 제 1 디바이스(1000)는 통화 모드를 문자 모드로부터 음성 모드로 전환하고, 제 1 디바이스(1000)의 화면을 비활성화할 수 있다.
도 22는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화의 모드를 전환하는 방법의 흐름도이다.
단계 S2200에서 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드가 음성 모드인지를 판단할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 1 디바이스(1000) 내의 근접 센서를 이용하여, 제 1 디바이스(1000)가 제 1 사용자의 얼굴에 근접되었는지를 판단함으로써, 통화 모드가 음성 모드인지를 판단할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)는 음성 모드로 전환하기 위한 버튼이 제 1 사용자에 의해 선택되었는지를 판단함으로써, 통화 모드가 음성 모드인지를 판단할 수 있다.
단계 S2200에서의 판단 결과, 통화 모드가 음성 모드라고 판단되면, 단계 S2210에서 제 1 디바이스(1000)는 제 1 디바이스(1000) 내의 스피커 및 마이크를 활성화할 수 있다. 이에 따라, 제 1 디바이스(1000)는 활성화된 마이크를 통하여 제 1 사용자의 음성을 획득할 수 있으며, 제 1 디바이스(1000)는 활성화된 스피커를 통하여 제 2 사용자의 음성을 출력할 수 있다.
또한, 단계 S2220에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에서 숨긴다. 예를 들어, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 화면을 비활성화함으로써, 제 1 디바이스(1000)의 화면 상에서 채팅창을 숨길 수 있다.
한편, 단계 S2200에서의 판단 결과, 통화 모드가 음성 모드가 아니면, 단계 S2230에서 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드가 문자 모드인지를 판단할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 1 디바이스(1000) 내의 근접 센서를 이용하여, 제 1 디바이스(1000)가 제 1 사용자의 얼굴로부터 이격되었는지를 판단함으로써, 통화 모드가 문자 모드인지를 판단할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)는 문자 모드로 전환하기 위한 버튼이 제 1 사용자에 의해 선택되었는지를 판단함으로써, 통화 모드가 문자 모드인지를 판단할 수 있다.
단계 S2230에서의 판단 결과, 통화 모드가 문자 모드라고 판단되면, 단계 S2240에서 제 1 디바이스(1000)는 제 1 디바이스(1000) 내의 스피커 및 마이크를 비활성화할 수 있다.
또한, 단계 S2250에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)는 채팅창을 통하여 제 1 사용자로부터 입력되는 텍스트를 채팅창 내에 표시할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자가 제 2 디바이스(2000)에 입력한 텍스트를 채팅창 내에 표시할 수 있다.
단계 S2260에서 제 1 디바이스(1000)는 통화 모드가 전환되었는지를 판단할 수 있다. 단계 S2260에서 통화 모드가 전환되었다고 판단되면, 제 1 디바이스(1000)는 단계 S2200을 수행할 수 있다.
도 23은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 모드에서 음성 문자 통화를 수행하는 방법의 흐름도이다.
단계 S2300에서 제 1 디바이스(1000)는 제 1 디바이스(1000)가 제 1 사용자의 얼굴에 근접하였는지를 결정할 수 있다. 제 1 디바이스(1000)는 제 1 디바이스(1000) 내에 포함된 근접 센서를 이용하여, 제 1 디바이스(1000)가 제 1 사용자의 얼굴에 근접하였는지를 판단할 수 있다.
단계 S2310에서 제 1 디바이스(1000)는 스피커 및 마이크를 활성화할 수 있다. 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드가 음성 모드임을 판단하고, 제 1 디바이스(1000) 내의 스피커 및 마이크를 활성화할 수 있다. 이에 따라, 제 1 디바이스(1000)는 마이크를 통하여 제 1 사용자의 음성 입력을 수신하고, 제 2 사용자의 음성을 스피커를 통하여 출력할 수 있다.
단계 S2320에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성을 텍스트로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S2330에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에서 숨긴다. 제 1 디바이스(1000)는, 예를 들어, 제 1 디바이스(1000)의 화면을 비활성화함으로써, 채팅창을 제 1 디바이스(1000)의 화면 상에서 숨길 수 있다.
단계 S2340에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000)의 통화 모드를 나타내는 정보를 제 1 디바이스(1000)에게 전송할 수 있으며, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 통화 모드를 나타내는 정보에 기초하여, 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다.
단계 S2350에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성 및 제 1 사용자로부터 입력된 음성으로부터 변환된 텍스트 중 적어도 하나를, 선택적으로 제 2 디바이스(2000)에게 전송할 수 있다. 예를 들어, 제 2 디바이스(2000)의 통화 모드가 음성 모드인 경우에, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성을 제 2 디바이스(2000)에게 전송할 수 있다. 또한, 예를 들어, 제 2 디바이스(2000)의 통화 모드가 문자 모드인 경우에, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성으로부터 변환된 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다. 그러나, 이에 제한되지 않는다.
도 24는 일부 실시예에 따른 제 1 디바이스(1000)가 문자 모드에서 음성 문자 통화를 수행하는 방법의 흐름도이다.
단계 S2400에서 제 1 디바이스(1000)는 제 1 디바이스(1000)가 제 1 사용자의 얼굴로부터 이격되었는지를 결정할 수 있다. 제 1 디바이스(1000)는 제 1 디바이스(1000) 내에 포함된 근접 센서를 이용하여, 제 1 디바이스(1000)가 제 1 사용자의 얼굴로부터 이격되었는지를 판단할 수 있다.
단계 S2410에서 제 1 디바이스(1000)는 스피커 및 마이크를 비활성화할 수 있다. 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드가 문자 모드임을 판단하고, 제 1 디바이스(1000) 내의 스피커 및 마이크를 비활성화할 수 있다.
단계 S2420에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는 제 1 사용자와 제 2 사용자 간의 대화를 나타내기 위한 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
단계 S2430에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 텍스트를 음성으로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 TTS (Text To Speech) 기술을 이용하여 제 1 사용자의 텍스트를 음성으로 변환할 수 있다. 이 경우, 제 1 디바이스(1000)는 제 1 사용자의 성별 및 나이 등을 고려하여, 변환된 제 1 사용자의 음성의 음색을 결정할 수 있다.
단계 S2440에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000)의 통화 모드를 나타내는 정보를 제 1 디바이스(1000)에게 전송할 수 있으며, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 통화 모드를 나타내는 정보에 기초하여, 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다.
단계 S2450에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 텍스트 및 제 1 사용자로부터 입력된 텍스트로부터 변환된 음성 중 적어도 하나를, 선택적으로 제 2 디바이스(2000)에게 전송할 수 있다. 예를 들어, 제 2 디바이스(2000)의 통화 모드가 음성 모드인 경우에, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 텍스트로부터 변환된 음성을 제 2 디바이스(2000)에게 전송할 수 있다. 또한, 예를 들어, 제 2 디바이스(2000)의 통화 모드가 문자 모드인 경우에, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다. 그러나, 이에 제한되지 않는다.
도 25는 일부 실시예에 따른 제 1 디바이스(1000)가 제 2 디바이스(2000)의 통화 모드를 식별하는 방법의 흐름도이다.
단계 S2500에서 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 제 2 디바이스(2000)의 통화 모드를 문의할 수 있다. 제 1 디바이스(1000)는 기 설정된 주기로 제 2 디바이스(2000)에게 통화 모드를 문의할 수 있으나, 이에 제한되지 않는다.
또한, 단계 S2510에서 제 2 디바이스(2000)는 제 2 디바이스(2000)의 통화 모드를 식별하고, 단계 S2520에서 제 2 디바이스(2000)는 제 2 디바이스(2000)의 통화 모드에 관한 정보를 제 1 디바이스(1000)에게 전송할 수 있다.
도 25에서는 제 2 디바이스(2000)가 제 1 디바이스(1000)로부터의 문의에 응답하여 제 2 디바이스(2000)의 통화 모드에 관한 정보를 전송하는 것으로 설명하였지만, 이에 제한되지 않는다. 예를 들어, 제 2 디바이스(2000)는 제 1 디바이스(1000)로부터의 문의가 없더라고, 제 2 디바이스(2000)의 통화 모드가 변경되면 제 1 디바이스(1000)에게 제 2 디바이스(2000)의 통화 모드에 관한 정보를 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S2530에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 제 2 디바이스(2000)의 통화 모드에 관한 정보에 기초하여, 제 2 디바이스(2000)의 통화 모드가 음성 모드인지 문자 모드인지를 식별할 수 있다.
단계 S2540에서 제 1 디바이스(1000)는 제 1 사용자의 음성 또는 제 1 사용자의 텍스트를 선택적으로 제 2 디바이스(2000)에게 전송할 수 있다. 예를 들어, 제 2 디바이스(2000)의 통화 모드가 음성 모드인 경우에, 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 제 1 사용자의 음성을 전송할 수 있다. 또한, 예를 들어, 제 2 디바이스(2000)의 통화 모드가 문자 모드인 경우에, 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 제 1 사용자의 텍스트를 전송할 수 있다.
도 26은 일부 실시예에 따른, 음성 모드로 동작하는 제 1 디바이스(1000)와 문자 모드로 동작하는 제 2 디바이스(2000)가 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 26에서는 제 1 디바이스(1000)가 제 1 사용자의 음성을 텍스트로 변환하며, 제 2 디바이스(2000)가 제 2 사용자의 텍스트를 음성으로 변환할 수 있다.
단계 S2600에서 제 1 디바이스(1000)와 제 2 디바이스(2000)는 서로 통화 연결된다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 통화 연결을 위한 호를 전송하거나, 제 2 디바이스(2000)로부터 통화 연결을 위한 호를 수신함으로써, 제 1 디바이스(1000)는 제 2 디바이스(2000)와 통화 연결될 수 있다.
단계 S2605에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 1 디바이스(1000)는 사용자 입력에 기초하여 음성 문자 통화 기능을 활성화할 수 있다. 단계 S2605에서는 제 1 디바이스(1000)가 제 2 디바이스(2000)와 통화 연결된 이후에, 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 1 디바이스(1000)는, 예를 들어, 발신 시, 수신 시 또는 통화 중에, 음성 문자 통화 기능을 활성화할 수 있다.
단계 S2610에서 제 2 디바이스(2000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 2 디바이스(2000)는 사용자 입력에 기초하여 음성 문자 통화 기능을 활성화할 수 있다. 단계 S2610에서는 제 2 디바이스(2000)가 제 1 디바이스(1000)와 통화 연결된 이후에, 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 2 디바이스(2000)는, 예를 들어, 발신 시, 수신 시 또는 통화 중에, 음성 문자 통화 기능을 활성화할 수 있다.
단계 S2615에서 제 1 디바이스(1000)는 음성 모드에서 동작할 수 있다. 제 1 디바이스(1000)가 제 1 사용자의 얼굴에 근접하거나, 제 1 디바이스(1000)가 음성 모드에서 동작하도록 하는 사용자 입력이 수신되면, 제 1 디바이스(1000)는 음성 모드에서 동작할 수 있다.
단계 S2620에서 제 1 디바이스(1000)는 제 1 디바이스(1000) 내의 마이크 및 스피커를 활성화하고, 제 1 사용자와 제 2 사용자 간의 대화를 나타내기 위한 채팅창을 제 1 디바이스(1000)의 화면 상에서 숨길 수 있다.
단계 S2625에서 제 2 디바이스(2000)는 문자 모드에서 동작할 수 있다. 제 2 디바이스(2000)가 제 2 사용자의 얼굴로부터 이격되거나, 제 2 디바이스(2000)가 문자 모드에서 동작하도록 하는 사용자 입력이 수신되면, 제 2 디바이스(2000)는 문자 모드에서 동작할 수 있다.
단계 S2630에서 제 2 디바이스(2000)는 제 2 디바이스(2000) 내의 스피커 및 마이크를 비활성화하고, 제 1 사용자와 제 2 사용자 간의 대화를 나타내기 위한 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다.
단계 S2635에서 제 1 디바이스(1000)는 제 1 사용자의 음성 입력을 수신하고, 단계 S2640에서 제 1 디바이스(1000)는 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
또한, 단계 S2645에서 제 1 디바이스(1000)는 제 1 사용자의 음성으로부터 변환된 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)가 문자 모드에서 동작함을 식별하고, 제 2 디바이스(2000)에게 제 1 사용자의 음성으로부터 변환된 텍스트를 전송할 수 있다.
단계 S2650에서 제 2 디바이스(2000)는 제 1 사용자와 제 2 사용자 간의 대화를 나타내는 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이하며, 단계 S2655에서 제 2 디바이스(2000)는 채팅창을 통한 제 2 사용자의 텍스트 입력을 수신할 수 있다. 또한, 제 2 디바이스(2000)는 제 1 디바이스(1000)로부터 수신된 텍스트 및 제 2 디바이스(2000)에 입력된 텍스트를 시간 순으로 배열하여, 채팅창 내에 표시할 수 있다.
단계 S2660에서 제 2 디바이스(2000)는 제 2 사용자의 텍스트를 음성으로 변환할 수 있다. 제 2 디바이스(2000)는, 예를 들어, 제 2 사용자의 나이 및 성별을 고려하여, 제 2 사용자의 텍스트로부터 변환된 음성의 음색을 결정할 수 있다.
단계 S2665에서 제 2 디바이스(2000)는 제 2 사용자의 텍스트로부터 변환된 음성 및 제 2 사용자의 텍스트를 제 1 디바이스(1000)에게 전송할 수 있다.
또한, 단계 S2670에서 제 1 디바이스(1000)는 제 2 사용자의 텍스트로부터 변환된 음성을 제 1 디바이스(1000)의 스피커를 통하여 출력할 수 있다.
도 27은 일부 실시예에 따른, 음성 모드로 동작하는 제 1 디바이스(1000)와 문자 모드로 동작하는 제 2 디바이스(2000)가 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 27에서는 제 1 디바이스(1000)가 제 1 사용자의 음성을 텍스트로 변환하고, 제 2 사용자의 텍스트를 음성으로 변환할 수 있다.
도 27의 단계 S2700 내지 단계 S2755는, 도 26의 단계 S2600 내지 단계 S2655에 대응되므로, 단계 S2700 내지 단계 S2755에 대한 설명은 생략하기로 한다.
단계 S2760에서 제 2 디바이스(2000)는 제 2 사용자로부터 입력된 텍스트(제 2 사용자의 텍스트)를 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S2765에서 제 1 디바이스(1000)는 제 2 사용자의 텍스트를 음성으로 변환할 수 있다. 제 1 디바이스(1000)는 다양한 TTS(Text To Speech) 기술을 이용하여, 제 2 사용자의 텍스트를 제 2 사용자의 음성으로 변환할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 사용자의 성별 및 나이 등에 관한 사용자 정보를 미리 획득할 수 있으며, 제 2 사용자의 성별 및 나이 등을 고려하여, 제 2 사용자의 텍스트로부터 변환된 음성의 음색을 결정할 수 있다.
단계 S2770에서 제 1 디바이스(1000)는 제 2 사용자의 텍스트로부터 변환된 음성을 제 1 디바이스(1000)의 스피커를 통하여 출력할 수 있다.
도 28은 일부 실시예에 따른, 음성 모드로 동작하는 제 1 디바이스(1000)와 문자 모드로 동작하는 제 2 디바이스(2000)가 음성 문자 통화를 수행하는 방법의 흐름도이다. 도 28에서는 제 2 디바이스(2000)가 제 1 사용자의 음성을 텍스트로 변환하고, 제 2 사용자의 텍스트를 음성으로 변환할 수 있다.
도 28의 단계 S2800 내지 단계 S2835는, 도 27의 단계 S2700 내지 단계 S2735에 대응되므로, 단계 S2800 내지 단계 S2835에 대한 설명은 생략하기로 한다.
단계 S2840에서 제 1 디바이스(1000)는 제 1 사용자의 음성을 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S2845에서 제 2 디바이스(2000)는 제 1 사용자의 음성을 텍스트로 변환하고, 단계 S2850에서 제 2 디바이스(2000)는 제 1 사용자와 제 2 사용자와의 대화를 나타내는 텍스트를 채팅창 내에 디스플레이할 수 있다.
또한, 단계 S2855에서 제 2 디바이스(2000)는, 채팅창을 통한 제 2 사용자의 텍스트 입력을 수신하고, 단계 S2860에서 제 2 디바이스(2000)는 제 2 사용자로부터 입력된 텍스트(제 2 사용자의 텍스트)를 음성으로 변환할 수 있다. 제 2 디바이스(2000)는, 예를 들어, 제 2 사용자의 성별 및 나이를 고려하여, 변환된 음성의 음색을 결정할 수 있다.
단계 S2865에서 제 2 디바이스(2000)는 제 2 사용자의 텍스트로부터 변환된 음성, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 텍스트를 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S2870에서 제 1 디바이스(1000)는 제 2 사용자의 텍스트로부터 변환된 음성을 제 1 디바이스(1000)의 스피커를 통하여 출력할 수 있다.
도 29A, 도 29B, 및 도 29C는 일부 실시예에 따른 음성 문자 통화의 통화 모드 중 하나인 혼합 모드의 예시를 나타내는 도면이다.
혼합 모드에서는, 음성 통화를 위한 음성 입력 기능 및 음성 출력 기능이 활성화된 상태에서, 텍스트 송수신을 위한 문자 입력 기능 및 문자 출력 기능이 활성화될 수 있다. 따라서, 혼합 모드에서 사용자는 제 1 디바이스(1000)를 통하여 음성 통화를 하는 동안에 문자 송수신을 함께 할 수 있다.
또한, 혼합 모드에서는, 음성 통화를 위한 음성 입력 기능 및 음성 출력 기능 중 일부가 활성화된 상태에서, 텍스트 송수신을 위한 문자 입력 기능 및 문자 출력 기능 중 일부가 활성화될 수 있다.
예를 들어, 혼합 모드에서는, 음성 통화를 위한 음성 입력 기능이 활성화된 상태에서, 텍스트 송수신을 위한 문자 입력 기능 및 문자 출력 기능이 활성화될 수 있다.
또한, 예를 들어, 혼합 모드에서는, 음성 통화를 위한 음성 출력 기능이 활성화된 상태에서, 텍스트 송수신을 위한 문자 입력 기능 및 문자 출력 기능이 활성화될 수 있다.
또한, 예를 들어, 혼합 모드에서는, 음성 통화를 위한 음성 입력 기능 및 음성 출력 기능이 활성화된 상태에서, 텍스트 송수신을 위한 문자 입력 기능이 활성화될 수 있다.
또한, 예를 들어, 혼합 모드에서는, 음성 통화를 위한 음성 입력 기능 및 음성 출력 기능이 활성화된 상태에서, 텍스트 송수신을 위한 문자 출력 기능이 활성화될 수 있다.
도 29A를 참조하면, 제 1 디바이스(1000)의 스피커폰 기능이 활성화되고, 제 1 디바이스(1000)의 화면 상에 디스플레이된 채팅창을 통한 메시지 송수신 기능이 활성화될 수 있다.
혼합 모드에서는, 제 1 디바이스(1000)는 제 2 디바이스(2000)와 음성 통화를 하는 도중에, 제 2 디바이스(2000)와 메시지 송수신을 함께 수행할 수 있다.
도 29B를 참조하면, 제 1 디바이스(1000)의 스피커폰을 이용하지 않는 음성 통화 기능이 활성화된 상태에서, 제 1 디바이스(1000)의 화면 상에 디스플레이된 채팅창을 통한 메시지 송수신 기능이 활성화될 수 있다. 스피커폰을 이용하지 않는 음성 통화는, 제 1 디바이스(1000)가 사용자의 얼굴에 근접한 상태에서, 사용자의 귀에 근접한 스피커 및 사용자의 입에 근접한 마이크를 이용하여 수행하는 음성 통화일 수 있다.
이 경우, 제 1 디바이스(1000)는 음성 통화 기능이 활성화된 상태에서 음성 입출력이 수행되는 도중에, 제 2 디바이스(2000)와 메시지 송수신을 하기 위한 채팅창을 통한 입출력이 함께 수행될 수 있다.
도 29C를 참조하면, 사용자가, 제 1 디바이스(1000)에 유선 또는 무선으로 연결된 웨어러블 디바이스(290)를 착용하고 있는 상태에서, 제 1 디바이스(1000)는 혼합 모드에서 음성 문자 통화를 수행할 수 있다. 이 경우, 제 1 디바이스(1000)는 혼합 모드에서의 음성 문자 통화를 위한, 음성 입출력 및 문자 입출력 중 일부를 웨어러블 디바이스(290)가 수행하도록 할 수 있다.
예를 들어, 웨어러블 디바이스(290)가 헤드폰인 경우에, 제 1 디바이스(1000)는 혼합 모드에서 음성 문자 통화를 수행하면서, 제 1 디바이스(1000)에서 출력되는 음성을 헤드폰을 통하여 출력되도록 할 수 있다.
또한, 예를 들어, 예를 들어, 웨어러블 디바이스(290)가 스마트 안경인 경우에, 제 1 디바이스(1000)는 혼합 모드에서 음성 문자 통화를 수행하면서, 제 1 디바이스(1000)에서 출력되는 채팅창을 스마트 안경을 통하여 출력되도록 할 수 있다.
도 30은 일부 실시예에 따른 음성 문자 통화를 수행하고 있는 제 1 디바이스(1000)의 통화 모드가 음성 모드로부터 혼합 모드로 전환되거나 혼합 모드로부터 음성 모드로 전환되는 일례를 도시한 도면이다.
도 30을 참조하면, 음성 모드에서 음성 문자 통화를 수행 중인 제 1 디바이스(1000)의 화면 상에 표시된 버튼(300)이 선택되면, 제 1 디바이스(1000)의 통화 모드는 음성 모드에서 혼합 모드로 전환될 수 있다. 또한, 혼합 모드에서 음성 문자 통화를 수행 중인 제 1 디바이스(1000)의 화면 상에 표시된 버튼(301)이 선택되면, 제 1 디바이스(1000)의 통화 모드는 혼합 모드에서 음성 모드로 전환될 수 있다.
도 31은 일부 실시예에 따른 음성 문자 통화를 수행하고 있는 제 1 디바이스(1000)의 통화 모드가 문자 모드로부터 혼합 모드로 전환되거나 혼합 모드로부터 문자 모드로 전환되는 일례를 도시한 도면이다.
도 31을 참조하면, 문자 모드에서 음성 문자 통화를 수행 중인 제 1 디바이스(1000)의 화면 상에 표시된 버튼(310)이 선택되면, 제 1 디바이스(1000)의 통화 모드는 문자 모드에서 혼합 모드로 전환될 수 있다. 또한, 혼합 모드에서 음성 문자 통화를 수행 중인 제 1 디바이스(1000)의 화면 상에 표시된 버튼(311)이 선택되면, 제 1 디바이스(1000)의 통화 모드는 혼합 모드에서 문자 모드로 전환될 수 있다.
도 32는 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화의 모드를 전환하는 방법의 흐름도이다.
도 32의 단계 S3200 내지 S3220, 및 단계 S3260 내지 S3290은, 도 22의 단계 S2200 내지 S2220, 및 단계 S2230 내지 S2260에 대응되므로, 도 32의 단계 S3200 내지 S3220, 및 단계 S3260 내지 S3290에 대한 설명은 편의상 생략하기로 한다.
단계 S3200에서의 판단 결과, 통화 모드가 음성 모드가 아니면, 단계 S3230에서 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드가 혼합 모드인지를 판단할 수 있다. 예를 들어, 제 1 디바이스(1000)는 혼합 모드로 전환하기 위한 버튼이 제 1 사용자에 의해 선택되었는지를 판단함으로써, 통화 모드가 혼합 모드인지를 판단할 수 있다.
단계 S3230에서의 판단 결과, 통화 모드가 혼합 모드라고 판단되면, 단계 S3240에서 제 1 디바이스(1000)는 제 1 디바이스(1000) 내의 스피커 및 마이크를 활성화할 수 있다.
또한, 단계 S3250에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)는 채팅창을 통하여 제 1 사용자로부터 입력되는 텍스트를 채팅창 내에 표시할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자가 제 2 디바이스(2000)에 입력한 텍스트를 채팅창 내에 표시할 수 있다.
한편, 단계 S3230에서의 판단 결과, 통화 모드가 혼합 모드가 아니라고 판단되면, 제 1 디바이스(1000)는 단계 S3260을 수행할 수 있다.
도 33은 일부 실시예에 따른 제 1 디바이스(1000)가 혼합 모드에서 음성 문자 통화를 수행하는 방법의 흐름도이다.
단계 S3300에서 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드가 혼합 모드임을 판단할 수 있다. 예를 들어, 제 1 디바이스(1000)는 혼합 모드로 전환하기 위한 버튼이 제 1 사용자에 의해 선택되었는지를 판단함으로써, 통화 모드가 혼합 모드인지를 판단할 수 있다.
통화 모드가 혼합 모드이면, 단계 S3310에서 제 1 디바이스(1000)는 스피커 및 마이크를 활성화하며, 단계 S3320에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)는 채팅창을 통하여 제 1 사용자로부터 입력되는 텍스트를 채팅창 내에 표시할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자가 제 2 디바이스(2000)에 입력한 텍스트를 채팅창 내에 표시할 수 있다.
단계 S3330에서 제 1 디바이스(1000)는 제 1 사용자의 음성 입력 및/또는 제 1 사용자의 텍스트 입력을 수신할 수 있다. 제 1 디바이스(1000)는 활성화된 마이크를 통하여 제 1 사용자의 음성 입력을 수신할 수 있으며, 제 1 디바이스(1000)는 디스플레이된 채팅창을 통한 사용자의 텍스트 입력을 수신할 수 있다. 또한, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성을 텍스트로 변환할 수 있으며, 제 1 사용자로부터 입력된 텍스트를 음성으로 변환할 수 있다.
단계 S3340에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000)의 통화 모드를 나타내는 정보를 제 1 디바이스(1000)에게 전송할 수 있으며, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 통화 모드를 나타내는 정보에 기초하여, 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다.
단계 S3350에서 제 1 디바이스(1000)는 제 1 사용자의 음성 및 텍스트 중 적어도 하나를 선택적으로 제 2 디바이스(2000)에게 전송할 수 있다. 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성, 제 1 사용자로부터 입력된 텍스트, 제 1 사용자로부터 입력된 음성으로부터 변환된 텍스트, 및 제 1 사용자로부터 입력된 텍스트로부터 변환된 음성 중 적어도 하나를 제 2 디바이스(2000)에게 전송할 수 있다.
예를 들어, 제 2 디바이스(2000)의 통화 모드가 음성 모드인 경우에, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성 및 제 1 사용자로부터 입력된 텍스트로부터 변환된 음성을 제 2 디바이스(2000)에게 전송할 수 있다. 또한, 예를 들어, 제 2 디바이스(2000)의 통화 모드가 문자 모드인 경우에, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 텍스트, 및 제 1 사용자로부터 입력된 음성으로부터 변환된 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다. 그러나, 이에 제한되지 않는다.
도 34는 일부 실시예에 따른 혼합 모드로 동작하는 제 1 디바이스(1000)가 제 2 디바이스(2000)와 음성 문자 통화를 수행하는 방법의 흐름도이다.
단계 S3400에서 제 1 디바이스(1000)는 제 2 디바이스(2000)와 통화 연결된다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 통화 연결을 위한 호를 전송하거나, 제 2 디바이스(2000)로부터 통화 연결을 위한 호를 수신함으로써, 제 1 디바이스(1000)는 제 2 디바이스(2000)와 통화 연결될 수 있다.
단계 S3405에서, 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드가 혼합 모드임을 판단할 수 있다. 예를 들어, 제 1 디바이스(1000)는 혼합 모드로 전환하기 위한 버튼이 제 1 사용자에 의해 선택되었는지를 판단함으로써, 통화 모드가 혼합 모드인지를 판단할 수 있다.
통화 모드가 혼합 모드이면, 단계 S3410에서 제 1 디바이스(1000)는 스피커 및 마이크를 활성화하며, 단계 S3415에서 제 1 디바이스(1000)는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
단계 S3420에서 제 1 디바이스(1000)는 제 1 사용자의 음성 입력을 수신할 수 있다. 제 1 디바이스(1000)는 활성화된 마이크를 통하여 제 1 사용자의 음성 입력을 수신할 수 있다.
단계 S3425에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성을 제 2 디바이스(2000)에게 전송하며, 단계 S3430에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성을 텍스트로 변환할 수 있다. 또한, 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 음성으로부터 변환된 텍스트를 채팅창 내에 디스플레이할 수 있다.
단계 S3435에서 제 2 디바이스(2000)는 제 2 사용자의 음성을 제 1 디바이스(1000)에게 전송하며, 단계 S3440에서 제 1 디바이스(1000)는 제 2 사용자의 음성을 출력할 수 있다. 제 1 디바이스(1000)는 활성화된 스피커를 통하여 제 2 사용자의 음성을 출력할 수 있다.
단계 S3445에서 제 1 디바이스(1000)는 제 2 사용자의 음성을 텍스트로 변환할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 사용자의 음성으로부터 변환된 텍스트를 채팅창 내에 디스플레이할 수 있다.
단계 S3450에서 제 1 디바이스(1000)는 제 1 사용자의 텍스트 입력을 수신할 수 있다. 제 1 디바이스(1000)는 채팅창을 통한 제 1 사용자의 텍스트 입력을 수신할 수 있으며, 입력된 제 1 사용자의 텍스트를 채팅창 내에 디스플레이할 수 있다.
단계 S3455에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 텍스트를 음성으로 변환할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 1 사용자의 성별 및 나이를 고려하여, 제 1 사용자로부터 입력된 텍스트로부터 변환된 음성의 음색을 결정할 수 있다. 그러나, 이에 제한되지 않으며, 변환된 음성의 음색은 미리 설정되어 있을 수도 있다.
단계 S3460에서 제 1 디바이스(1000)는 제 1 사용자로부터 입력된 텍스트로부터 변환된 음성을 제 2 디바이스(2000)에게 전송할 수 있다.
도 35A는 일부 실시예에 따른 제 1 디바이스(1000)가 제 2 디바이스(2000)의 통화 모드 변경을 제 1 사용자에게 알리고, 제 1 사용자에게 통화 모드의 변경을 추천하는 방법의 흐름도이다.
단계 S3500에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000)의 통화 모드를 나타내는 정보를 제 1 디바이스(1000)에게 전송할 수 있으며, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 통화 모드를 나타내는 정보에 기초하여, 제 2 디바이스(2000)의 통화 모드를 식별할 수 있다.
단계 S3510에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드가 변경되었는지를 판단할 수 있다. 예를 들어, 제 2 디바이스(2000)의 통화 모드는 음성 모드에서 문자 모드로 변경되거나, 음성 모드에서 혼합 모드로 변경되거나, 문자 모드에서 음성 모드로 변경되거나, 문자 모드에서 혼합 모드로 변경되거나, 혼합 모드에서 음성 모드로 변경되거나, 혼합 모드에서 문자 모드로 변경될 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법의 변경을 판단할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)가 음성 문자 통화를 위하여, 음성 입력만 수신하는지, 텍스트 입력만 수신하는지, 음성 및 텍스트 입력을 수신하는지를 판단할 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법의 변경을 판단할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)가 음성 문자 통화를 위하여, 음성 출력만 제공하는지, 텍스트 출력만 제공하는지, 음성 및 텍스트 출력을 제공하는지를 판단할 수 있다.
단계 S3510에서의 판단 결과, 제 2 디바이스(2000)의 통화 모드가 변경되었다고 판단되면, 단계 S3520에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 변경된 통화 모드를 제 1 사용자에게 알릴 수 있다. 예를 들어, 제 1 디바이스(1000)의 통화 모드가 음성 모드인 경우에, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드가 변경됨을 알리기 위한 음성을 출력할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)의 통화 모드가 문자 모드인 경우에, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드가 변경됨을 알리기 위한 텍스트를 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)의 통화 모드가 혼합 모드인 경우에, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 통화 모드가 변경됨을 알리기 위한 음성을 출력하면서 제 2 디바이스(2000)의 통화 모드가 변경됨을 알리기 위한 텍스트를 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 그러나, 이에 제한되지 않는다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 변경된 통화 모드의 출력 방법을 제 1 사용자에게 알릴 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법이 변경된 경우에, 변경된 입력 방법을 제 1 사용자에게 알릴 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법이 변경된 경우에, 제 1 디바이스(1000)는 변경된 출력 방법을 제 1 사용자에게 알릴 수 있다.
단계 S3520에서 제 1 디바이스(1000)는 제 1 디바이스(1000)의 통화 모드의 변경을 추천할 수 있다. 예를 들어, 음성 모드로 동작 중인 제 1 디바이스(1000)가 제 2 디바이스(2000)와 음성 문자 통화를 수행하는 도중에, 제 2 디바이스(2000)의 통화 모드가 음성 모드에서 문자 모드로 변경되면, 제 1 디바이스(1000)는 제 1 사용자에게 통화 모드를 음성 모드에서 문자 모드로 변경할 것을 추천할 수 있다. 이 경우, 제 1 디바이스(1000)는, 예를 들어, “통화 모드를 문자 모드로 변경하겠습니까?”라는 음성을 스피커를 통하여 출력할 수 있다. 또한, 제 1 디바이스(1000)가 통화 모드를 음성 모드에서 문자 모드로 변경하면, 제 1 디바이스(1000)는 제 1 디바이스(1000)와 제 2 디바이스(2000) 간에 형성된 음성 통화 채널을 잠정적으로 끊을 수 있다.
또한, 예를 들어, 문자 모드로 동작 중인 제 1 디바이스(1000)가 제 2 디바이스(2000)와 음성 문자 통화를 수행하는 도중에, 제 2 디바이스(2000)의 통화 모드가 문자 모드에서 음성 모드로 변경되면, 제 1 디바이스(1000)는 제 1 사용자에게 통화 모드를 문자 모드에서 음성 모드로 변경할 것을 추천할 수 있다. 이 경우, 제 1 디바이스(1000)는, 예를 들어, “통화 모드를 음성 모드로 변경하겠습니까?”라는 텍스트를 제 1 디바이스(1000)의 화면 상의 채팅창 내에 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)가 통화 모드를 문자 모드에서 음성 모드로 변경하면, 제 1 디바이스(1000)는 제 1 디바이스(1000)와 제 2 디바이스(2000) 간에 형성된 문자 송수신을 위한 채널을 잠정적으로 끊을 수 있다.
또한, 예를 들어, 제 2 디바이스(2000)의 통화 모드가 변경됨에 따라, 제 1 디바이스(1000)는 소정의 진동을 발생시키면서 제 1 디바이스(1000)의 화면 상에 모드 변경을 알리는 메시지를 디스플레이할 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 입력 방법을 추천할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 출력 방법을 추천할 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 입력 방법을 추천할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 출력 방법을 추천할 수 있다.
도 35B는 일부 실시예에 따른 제 1 디바이스(1000)가 제 2 디바이스(2000)의 혼합 모드의 입출력 기능의 변경을 제 1 사용자에게 알리고, 제 1 사용자에게 통화 모드의 변경을 추천하는 방법의 흐름도이다.
단계 S3540에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 혼합 모드의 입출력 기능이 변경되었음을 식별할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000)의 혼합 모드에서의 입출력 기능 변경을 나타내는 정보를 제 1 디바이스(1000)에게 전송할 수 있으며, 제 1 디바이스(1000)는 제 2 디바이스(2000)로부터 수신된 정보에 기초하여, 제 2 디바이스(2000)의 혼합 모드의 입출력 기능 변경을 식별할 수 있다.
단계 S3550에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 혼합 모드의 입출력 기능이 변경되었는지를 판단할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 2 디바이스(2000)의 혼합 모드에서, 음성 통화를 위한 음성 입력 기능 및 음성 출력 기능 중 일부가 변경되거나, 문자 송수신을 위한 문자 입력 기능 및 문자 출력 기능 중 일부가 변경되었는지를 판단할 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법의 변경을 판단할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)가 음성 문자 통화를 위하여, 음성 입력만 수신하는지, 텍스트 입력만 수신하는지, 음성 및 텍스트 입력을 수신하는지를 판단할 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법의 변경을 판단할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)가 음성 문자 통화를 위하여, 음성 출력만 제공하는지, 텍스트 출력만 제공하는지, 음성 및 텍스트 출력을 제공하는지를 판단할 수 있다.
단계 S3550에서의 판단 결과, 제 2 디바이스(2000)의 혼합 모드에서의 입출력 기능이 변경되었다고 판단되면, 단계 S3560에서 제 1 디바이스(1000)는 제 2 디바이스(2000)의 변경된 입출력 기능을 제 1 사용자에게 알릴 수 있다. 예를 들어, 제 2 디바이스(2000)의 변경된 출력 방법을 제 1 사용자에게 알릴 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법이 변경된 경우에, 변경된 입력 방법을 제 1 사용자에게 알릴 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법이 변경된 경우에, 제 1 디바이스(1000)는 변경된 출력 방법을 제 1 사용자에게 알릴 수 있다.
단계 S3570에서 제 1 디바이스(1000)는 제 1 디바이스(1000)의 통화 모드의 변경을 추천할 수 있다. 이 경우, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 혼합 모드에서의 입출력 기능이 어떻게 변경되었는지에 따라, 제 1 디바이스(1000)의 통화 모드를 사용자에게 추천할 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 입력 방법을 추천할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 입력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 출력 방법을 추천할 수 있다.
또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 입력 방법을 추천할 수 있다. 또한, 제 1 디바이스(1000)는 제 2 디바이스(2000)의 출력 방법이 변경된 경우에, 음성 문자 통화를 수행하기 위한, 제 1 디바이스(1000)의 출력 방법을 추천할 수 있다.
도 36은 일부 실시예에 따른 제 1 디바이스(1000)가 제 1 사용자에게 음성 모드로부터 문자 모드로의 통화 모드 변경을 추천하는 일례를 도시한 도면이다.
도 36을 참조하면, 제 1 디바이스(1000)는 음성 모드로 동작하면서 음성 문자 통화를 수행할 수 있으며, 제 2 디바이스(2000)의 통화 모드가 음성 모드로부터 문자 모드로 변경되면, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 스피커를 통하여, “상대방의 통화 모드가 음성 모드에서 문자 모드로 변경되었습니다. 문자 모드로 변경하시겠습니까?”라는 음성을 출력할 수 있다.
또한, 제 1 사용자는 제 1 디바이스(1000)를 제 1 사용자의 얼굴로부터 이격시킬 수 있으며, 이에 따라, 제 1 디바이스(1000)는 통화 모드를 음성 모드로부터 문자 모드로 변경할 수 있다.
도 37은 일부 실시예에 따른 제 1 디바이스(1000)가 제 1 사용자에게 문자 모드로부터 음성 모드로의 통화 모드 변경을 추천하는 일례를 도시한 도면이다.
도 37을 참조하면, 제 1 디바이스(1000)는 문자 모드로 동작하면서 음성 문자 통화를 수행할 수 있으며, 제 2 디바이스(2000)의 통화 모드가 문자 모드로부터 음성 모드로 변경되면, 제 1 디바이스(1000)는 제 1 디바이스(1000)의 화면 상에 디스플레이된 채팅창 내에, “상대방의 통화 모드가 음성 모드에서 문자 모드로 변경되었습니다. 문자 모드로 변경하시겠습니까?”라는 텍스트를 표시할할 수 있다.
또한, 제 1 사용자는 제 1 디바이스(1000)를 제 1 사용자의 얼굴에 근접시킬 수 있으며, 이에 따라, 제 1 디바이스(1000)는 통화 모드를 문자 모드로부터 음성 모드로 변경할 수 있다.
도 38은 일부 실시예에 따른 제 1 디바이스(1000)가 음성 문자 통화의 통화 목록을 생성하는 방법의 흐름도이다.
단계 S3800에서 제 1 디바이스(1000)는, 제 1 디바이스(1000)와 음성 문자 통화를 수행한 제 2 디바이스(2000)의 디바이스 정보를 획득할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 2 디바이스(2000)의 SSID, 제 2 디바이스(2000)의 전화 번호, 제 2 디바이스(2000)의 제 2 사용자의 이름 및 제 2 디바이스(2000)의 종류 등에 관한 정보를 획득할 수 있다.
단계 S3810에서 제 1 디바이스(1000)는 제 2 디바이스(2000)와의 통화 시간에 관한 정보를 획득할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 1 디바이스(1000)와 제 2 디바이스(2000)가 음성 문자 통화를 시작한 시각, 제 1 디바이스(1000)와 제 2 디바이스(2000)가 음성 문자 통화를 종류한 시각, 및 제 1 디바이스(1000)와 제 2 디바이스(2000)가 음성 문자 통화를 수행한 시간에 관한 정보를 획득할 수 있다.
단계 S3820에서 제 1 디바이스(1000)는 제 1 디바이스(1000)의 통화 위치에 관한 정보를 획득할 수 있다. 제 1 디바이스(1000)는 제 2 디바이스(2000)와 음성 문자 통화를 수행한 때의 제 1 디바이스(1000)의 위치에 관한 정보를 획득할 수 있다.
단계 S3830에서 제 1 디바이스(1000)는 음성 문자 통화 시에 생성된 채팅창 내의 텍스트 정보를 백업할 수 있다. 제 1 디바이스(1000)는 채팅창 내에서 제 1 사용자와 제 2 사용자 간의 대화 내용을 나타내는 텍스트를 백업할 수 있다.
또한, 제 1 디바이스(1000)는 소정의 이벤트가 발생되기 이전의 기 설정된 시간 동안에 획득된 텍스트를 백업할 수 있다. 소정의 이벤트는, 예를 들어, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 통화 종료, 또는 텍스트 백업을 위한 사용자 입력 수신 등을 포함할 수 있다. 예를 들어, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 통화가 종료되면, 제 1 디바이스(1000)는 통화가 종료되기 전 5분 동안에 제 1 디바이스(1000)에 의해 획득된 텍스트를 백업할 수 있다. 예를 들어, 제 1 디바이스(1000)는, 텍스트를 백업하기 위한 사용자 입력을 수신하면, 사용자 입력이 수신되기 전의 3분 동안에 제 1 디바이스(1000)에 의해 획득된 텍스트를 백업할 수 있다. 그러나, 텍스트 백업을 위하여 설정된, 이벤트의 종류 및 시간 값은 이에 제한되지 않는다.
또한, 제 1 디바이스(1000)는 제 1 사용자와 제 2 사용자 간의 대화 내용을 나타내는 텍스트의 일부를 제 1 디바이스(1000) 내에 백업하고, 제 1 사용자와 제 2 사용자 간의 대화 내용을 나타내는 텍스트의 전부를 서버(3000)에 백업할 수 있다.
단계 S3840에서 제 1 디바이스(1000)는 단계 S3800 내지 단계 S3820에서 획득된 정보에 기초하여, 통화 목록을 생성할 수 있다.
단계 S3850에서 제 1 디바이스(1000)는 생성된 통화 목록을 단계 S3830에서 백업된 텍스트 정보와 연관하여 저장할 수 있다. 통화 목록이 백업된 텍스트 정보와 연관되어 저장됨으로써, 제 1 디바이스(1000)는 통화 목록에 대한 사용자 입력에 따라, 통화 목록에 대응되는 통화 내용을 제 1 사용자에게 제공할 수 있다. 이 경우, 제 1 디바이스(1000)는 통화 목록에서 제 1 버튼이 선택되면, 통화 목록에 대응되는 통화 내용의 일부를 먼저 제 1 디바이스(1000)의 화면 상에 디스플레이하고, 통화 내용의 일부가 표시된 화면 내의 제 2 버튼이 선택되면, 통화 목록에 대응되는 통화 내용의 전부를 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
도 39는 일부 실시예에 따른 제 1 디바이스(1000)의 통화 목록을 통하여 제 1 사용자와 제 2 사용자 간의 대화를 나타내는 텍스트를 디스플레이하는 방법의 흐름도이다.
단계 S3900에서 제 1 디바이스(1000)는 통화 목록에서 제 2 디바이스(2000)를 선택할 수 있다. 제 1 디바이스(1000)는 사용자 입력에 기초하여 통화 목록에서 제 2 디바이스(2000)의 전화 번호를 선택하거나 제 2 사용자의 이름을 선택할 수 있다.
단계 S3910에서 제 1 디바이스(1000)는 제 2 디바이스(2000)가 선택됨에 따라, 제 1 사용자와 제 2 사용자 간의 대화를 나타내는 텍스트를 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
도 40 내지 도 42는 일부 실시예에 따른 통화 목록의 일례를 도시한 도면이다.
도 40을 참조하면, 일부 실시예에 따른 제 1 디바이스(1000)의 화면 상에 디스플레이된 통화 목록에는 제 2 디바이스(2000)의 전화 번호가 표시될 수 있다. 또한, 제 1 사용자는 특정 통화에 관련된 대화 내용을 보기 위하여, 통화 목록 내의 버튼(350)을 선택할 수 있다.
제 1 사용자가 버튼(350)을 선택하면, 선택된 버튼(350)에 대응되는 대화 내용을 나타내는 텍스트가 도 41에서와 같이 제 1 디바이스(1000)의 화면 전체에 디스플레이될 수 있다. 이 경우, 대화 내용을 나타내는 텍스트는, 대화의 일부 내용을 나타내는 텍스트일 수 있다. 또한, 대화의 일부 내용을 나타내는 텍스트는 제 1 디바이스(1000) 내에 저장될 수 있다. 그러나, 이에 제한되지 않는다.
또한, 도 41을 참조하면, 대화의 일부 내용을 나타내는 텍스트를 포함하는 창 내에는, 대화의 전체 내용을 보기 위한 버튼(410)이 표시될 수 있다. 또한, 사용자가 버튼(410)을 누르면, 제 1 디바이스(1000)는 대화의 전체 내용을 나타내는 텍스트를 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 이 경우, 대화의 전체 내용을 나타내는 텍스트는 서버(3000)에 저장되어 있을 수 있으며, 제 1 디바이스(1000)는 대화의 전체 내용을 나타내는 텍스트를 서버(3000)로부터 수신하여 디스플레이할 수 있다.
또한, 제 1 사용자가 버튼(350)을 선택하면, 선택된 버튼(350)에 대응되는 대화 내용을 나타내는 텍스트를 포함하는 팝업창이 도 42에서와 같이 제 1 디바이스(1000)의 화면 일부에 디스플레이될 수 있다.
한편, 제 1 사용자가 버튼(350)을 선택하면, 선택된 버튼(350)에 대응되는 대화의 전체 내용이 디스플레이될 수 있다. 그러나, 이에 제한되지 않는다.
도 43은 일부 실시예에 따른 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 서버(3000)를 통하여, 음성 문자 통화를 수행하는 예시를 도시한 도면이다.
도 43을 참조하면, 제 1 디바이스(1000)는 서버(3000)를 경유하여 제 2 디바이스(2000)와 음성 문자 통화를 수행할 수 있다. 또한, 서버(3000)는, 음성 문자 통화를 위하여 필요한 TTS(Text To Speech) 기능 및 STT(Speech To Text) 기능을 수행할 수 있다. 예를 들어, 서버(3000)는 제 1 디바이스(1000)에서 입력된 제 1 사용자의 음성을 텍스트로 변환하고, 제 1 디바이스(1000)에서 입력된 제 1 사용자의 텍스트를 음성으로 변환할 수 있다. 또한, 서버(3000)는 제 2 디바이스(2000)에서 입력된 제 2 사용자의 음성을 텍스트로 변환하고, 제 2 디바이스(2000)에서 입력된 제 2 사용자의 텍스트를 음성으로 변환할 수 있다.
도 44는 일부 실시예에 따른 서버(3000)가 제 1 사용자 및 제 2 사용자의 음성을 텍스트로 변환함으로써, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 음성 문자 통화를 지원하는 방법의 흐름도이다.
단계 S4400에서, 제 1 디바이스(1000)와 제 2 디바이스(2000)는 서로 통화 연결된다. 제 1 디바이스(1000)는 제 2 디바이스(2000)에게 통화 연결을 위한 호를 전송하거나, 제 2 디바이스(2000)로부터 통화 연결을 위한 호를 수신함으로써, 제 1 디바이스(1000)는 제 2 디바이스(2000)와 통화 연결될 수 있다.
단계 S4405에서 제 1 디바이스(1000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 1 디바이스(1000)는 사용자 입력에 기초하여 음성 문자 통화 기능을 활성화할 수 있다. 단계 S4405에서는 제 1 디바이스(1000)가 제 2 디바이스(2000)와 통화 연결된 이후에, 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 1 디바이스(1000)는, 예를 들어, 발신 시, 수신 시 또는 통화 중에, 음성 문자 통화 기능을 활성화할 수 있다.
단계 S4410에서 제 2 디바이스(2000)는 음성 문자 통화 기능을 활성화할 수 있다. 제 2 디바이스(2000)는 사용자 입력에 기초하여 음성 문자 통화 기능을 활성화할 수 있다. 단계 S4410에서는 제 2 디바이스(2000)가 제 1 디바이스(1000)와 통화 연결된 이후에, 음성 문자 통화 기능을 활성화하는 것으로 설명하였지만, 이에 제한되지 않는다. 제 2 디바이스(2000)는, 예를 들어, 발신 시, 수신 시 또는 통화 중에, 음성 문자 통화 기능을 활성화할 수 있다.
단계 S4415에서 제 1 디바이스(1000)는 제 1 사용자의 음성을 서버(3000)에게 전송할 수 있다. 제 1 디바이스(1000)는 제 1 디바이스(1000) 내의 마이크를 통하여 제 1 사용자의 음성을 획득할 수 있으며, 획득된 음성을 서버(3000)에게 전송할 수 있다.
또한, 단계 S4420에서 서버(3000)는 제 1 사용자의 음성을 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S4425에서 서버(3000)는 제 1 사용자의 음성을 텍스트로 변환할 수 있다. 서버(3000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 1 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S4430에서 서버(3000)는 제 1 사용자의 음성으로부터 변환된 텍스트를 제 2 디바이스(2000)에게 전송하며, 단계 S4435에서 서버(3000)는 제 1 사용자의 음성으로부터 변환된 텍스트를 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S4440에서 제 2 디바이스(2000)는 제 2 사용자의 음성을 서버(3000)에게 전송할 수 있다. 제 2 디바이스(2000)는 제 2 디바이스(2000) 내의 마이크를 통하여 제 2 사용자의 음성을 획득할 수 있으며, 획득된 음성을 서버(3000)에게 전송할 수 있다.
또한, 단계 S4445에서 서버(3000)는 제 2 사용자의 음성을 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S4450에서 서버(3000)는 제 2 사용자의 음성을 텍스트로 변환할 수 있다. 서버(3000)는 다양한 STT(Speech To Text) 기술을 이용하여 제 2 사용자의 음성을 텍스트로 변환할 수 있다.
단계 S4455에서 서버(3000)는 제 2 사용자의 음성으로부터 변환된 텍스트를 제 1 디바이스(1000)에게 전송하며, 단계 S4460에서 서버(3000)는 제 2 사용자의 음성으로부터 변환된 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S4465에서 제 1 디바이스(1000)는 수신된 텍스트들을 시간 순으로 배열할 수 있다. 제 1 디바이스(1000)는, 예를 들어, 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각, 및 제 2 사용자의 음성이 수신된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000)는, 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각, 및 제 2 사용자의 음성이 제 2 디바이스(2000)에 입력된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S4470에서 제 1 디바이스(1000)는 배열된 텍스트들을 포함하는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제 1 디바이스(1000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 또한, 제 1 디바이스(1000)는 음성 문자 통화의 통화 모드에 따라, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이하거나, 제 1 디바이스(1000)의 화면 상에서 채팅창을 숨길 수 있다.
단계 S4475에서 제 2 디바이스(2000)는 수신된 텍스트들을 시간 순으로 배열할 수 있다. 제 2 디바이스(2000)는, 예를 들어, 제 2 사용자의 음성이 제 2 디바이스(2000)에 입력된 시각, 및 제 1 사용자의 음성이 수신된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 또한, 예를 들어, 제 2 디바이스(2000)는, 제 2 사용자의 음성이 제 2 디바이스(2000)에 입력된 시각, 및 제 1 사용자의 음성이 제 1 디바이스(1000)에 입력된 시각에 따라, 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로부터 변환된 텍스트를 배열할 수 있다. 그러나, 이에 제한되지 않는다.
단계 S4480에서 제 2 디바이스(2000)는 배열된 텍스트들을 포함하는 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 제 2 디바이스(2000)는, 음성 문자 통화를 수행하는 도중에, 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다. 또한, 제 2 디바이스(2000)는 음성 문자 통화의 통화 모드에 따라, 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이하거나, 제 2 디바이스(2000)의 화면 상에서 채팅창을 숨길 수 있다.
도 45는 일부 실시예에 따른 서버(3000)가 제 1 사용자 및 제 2 사용자의 텍스트를 음성으로 변환함으로써, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 음성 문자 통화를 지원하는 방법의 흐름도이다.
도 45의 단계 S4500 내지 S4510은, 도 44의 단계 S4400 내지 S4410에 대응되므로, 이에 대한 설명은 생략하기로 한다.
단계 S4515에서 제 1 디바이스(1000)는 제 1 사용자에 의해 입력된 텍스트를 서버(3000)에게 전송하며, 단계 S4520에서 서버(3000)는 제 1 사용자에 의해 입력된 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S4525에서 서버(3000)는 제 1 사용자로부터 입력된 텍스트를 음성으로 변환할 수 있다. 서버(3000)는 제 1 사용자의 사용자 정보(예를 들어, 성별 및 나이)를 고려하여, 제 1 사용자의 텍스트로부터 변환된 음성의 음색을 결정할 수 있다.
단계 S4530에서 서버(3000)는 제 1 사용자의 텍스트로부터 변환된 음성을 제 2 디바이스(2000)에게 전송하며, 단계 S4535에서 서버(3000)는 제 1 사용자의 텍스트로부터 변환된 음성을 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S4540에서 제 2 디바이스(2000)는 제 2 사용자에 의해 입력된 텍스트를 서버(3000)에게 전송하며, 단계 S4545에서 서버(3000)는 제 2 사용자에 의해 입력된 텍스트를 제 1 디바이스(1000)에게 전송할 수 있다.
단계 S4550에서 서버(3000)는 제 2 사용자로부터 입력된 텍스트를 음성으로 변환할 수 있다. 서버(3000)는 제 2 사용자의 사용자 정보(예를 들어, 성별 및 나이)를 고려하여, 제 2 사용자의 텍스트로부터 변환된 음성의 음색을 결정할 수 있다.
단계 S4555에서 서버(3000)는 제 2 사용자의 텍스트로부터 변환된 음성을 제 1 디바이스(1000)에게 전송하며, 단계 S4560에서 서버(3000)는 제 2 사용자의 텍스트로부터 변환된 음성을 제 2 디바이스(2000)에게 전송할 수 있다.
단계 S4565에서 제 1 디바이스(1000)는 제 1 사용자와 제 2 사용자와의 대화를 나타내는 채팅창을 제 1 디바이스(1000)의 상황에 따라 디스플레이할 수 있다. 예를 들어, 제 1 디바이스(1000)의 통화 모드가 문자 모드이거나 혼합 모드인 경우에, 제 1 디바이스(1000)는 제 1 사용자와 제 2 사용자와의 대화를 나타내는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
단계 S4570에서 제 1 디바이스(1000)는 제 2 사용자의 음성을 제 1 디바이스(1000)의 상황에 따라 출력할 수 있다. 예를 들어, 제 1 디바이스(1000)의 통화 모드가 음성 모드이거나 혼합 모드인 경우에, 제 1 디바이스(1000)는 제 2 사용자의 음성을 출력할 수 있다.
단계 S4575에서 제 2 디바이스(2000)는 제 1 사용자와 제 2 사용자와의 대화를 나타내는 채팅창을 제 2 디바이스(2000)의 상황에 따라 디스플레이할 수 있다. 예를 들어, 제 2 디바이스(2000)의 통화 모드가 문자 모드이거나 혼합 모드인 경우에, 제 2 디바이스(2000)는 제 1 사용자와 제 2 사용자와의 대화를 나타내는 채팅창을 제 2 디바이스(2000)의 화면 상에 디스플레이할 수 있다.
단계 S4580에서 제 2 디바이스(2000)는 제 1 사용자의 음성을 제 2 디바이스(2000)의 상황에 따라 출력할 수 있다. 예를 들어, 제 2 디바이스(2000)의 통화 모드가 음성 모드이거나 혼합 모드인 경우에, 제 2 디바이스(2000)는 제 1 사용자의 음성을 출력할 수 있다.
도 46은 일부 실시예에 따른 서버(3000)가 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 음성 문자 통화와 관련된 음성 데이터 및 텍스트 데이터를 저장하는 방법의 흐름도이다.
단계 S4600에서 제 1 디바이스(1000)는 제 2 디바이스(2000)와 음성 문자 통화를 수행할 수 있다. 제 1 디바이스(1000) 및 제 2 디바이스(2000)는 음성 문자 통화 기능을 활성화할 수 있다. 또한, 제 1 디바이스(1000)와 제 2 디바이스(2000)는 서버(3000)를 경유하여, 음성 문자 통화를 수행할 수 있으나, 이에 제한되지 않는다. 제 1 디바이스(1000)는 제 2 디바이스(2000)와 직접 음성 문자 통화를 수행할 수도 있다.
단계 S4610에서 제 1 디바이스(1000)는 사용자 간의 대화 내용의 일부를 나타내는 텍스트를 저장할 수 있다. 제 1 디바이스(1000)는 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 음성으로부터 변환된 텍스트, 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 음성으로부터 변환된 텍스트, 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 텍스트 및 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 텍스트를 획득할 수 있다.
또한, 제 1 디바이스(1000)는 사용자 간의 대화 내용를 나타내는 텍스트를, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 서버(3000) 중 적어도 하나로부터 획득할 수 있다. 또한, 제 1 디바이스(1000)는 획득된 텍스트 중 일부를 제 1 디바이스(1000) 내에 저장할 수 있다.
단계 S4620에서 제 1 디바이스(1000)는 사용자 간의 대화 내용의 전부를 나타내는 텍스트를 서버(3000)에게 전송하며, 단계 S4630에서 서버(3000)는 사용자 간의 대화 내용의 전부를 나타내는 텍스트를 저장할 수 있다. 단계 S4620 및 S4630에서는 서버(3000)가 사용자 간의 대화 내용의 전부를 나타내는 텍스트를 제 1 디바이스(1000)로부터 수신하고 저장하는 것으로 설명하였지만, 이에 제한되지 않는다. 서버(3000)는 사용자 간의 대화 내용의 일부를 나타내는 텍스트를 제 1 디바이스(1000)로부터 수신하고, 사용자가 대화 내용의 다른 일부를 나타내는 텍스트를 제 2 디바이스(2000)로부터 수신하고, 사용자 간의 대화 내용의 또 다른 일부를 나타내는 텍스트를 직접 생성할 수 있다. 또한, 서버(3000)는 제 1 디바이스(1000)로부터 수신된 텍스트, 제 2 디바이스(2000)로부터 수신된 텍스트 및 서버(3000)에서 생성된 텍스트를 조합함으로써, 사용자 간의 대화 내용의 전부를 나타내는 텍스트를 획득할 수도 있다.
단계 S4640에서 제 1 디바이스(1000)는 사용자 간의 대화 내용의 일부를 나타내는 음성 데이터를 저장할 수 있다. 제 1 디바이스(1000)는 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 텍스트로부터 변환된 음성 데이터, 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 텍스트로부터 변환된 음성 데이터, 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 음성 데이터 및 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 음성 데이터를 획득할 수 있다.
또한, 제 1 디바이스(1000)는 사용자 간의 대화 내용를 나타내는 음성 데이터를, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 서버(3000) 중 적어도 하나로부터 획득할 수 있다. 또한, 제 1 디바이스(1000)는 획득된 음성 데이터 중 일부를 제 1 디바이스(1000) 내에 저장할 수 있다.
단계 S4650에서 제 1 디바이스(1000)는 사용자 간의 대화 내용의 전부를 나타내는 음성 데이터를 서버(3000)에게 전송하며, 단계 S4660에서 서버(3000)는 사용자 간의 대화 내용의 전부를 나타내는 음성 데이터를 저장할 수 있다. 단계 S4650 및 S4660에서는 서버(3000)가 사용자 간의 대화 내용의 전부를 나타내는 음성 데이터를 제 1 디바이스(1000)로부터 수신하고 저장하는 것으로 설명하였지만, 이에 제한되지 않는다. 서버(3000)는 사용자 간의 대화 내용의 일부를 나타내는 음성 데이터를 제 1 디바이스(1000)로부터 수신하고, 사용자 간의 대화 내용의 일부를 나타내는 음성 데이터를 제 2 디바이스(2000)로부터 수신하고, 사용자 간의 대화 내용의 일부를 나타내는 음성 데이터를 직접 생성할 수 있다. 또한, 서버(3000)는 제 1 디바이스(1000)로부터 수신된 음성 데이터, 제 2 디바이스(2000)로부터 수신된 음성 데이터 및 서버(3000)에서 생성된 음성 데이터를 조합함으로써, 사용자 간의 대화 내용의 전부를 나타내는 음성 데이터를 획득할 수도 있다.
도 47은 일부 실시예에 따른 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000)가 서로 음성 문자 통화를 수행하는 예시를 나타내는 도면이다.
도 47를 참조하면, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000) 간에 음성 문자 통화가 수행될 수 있다. 예를 들어, 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 음성 문자 통화를 수행하는 도중에, 제 3 디바이스(4000)가 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 음성 문자 통화에 참여할 수 있다. 또한, 예를 들어, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000)가 음성 문자 통화를 함께 시작할 수 있다.
제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000) 간에 음성 문자 통화가 수행하는 경우에, i)음성 문자 통화를 수행하기 위한 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 동작, ii)음성 문자 통화를 수행하기 위한 제 1 디바이스(1000)와 제 3 디바이스(4000)간의 동작, 및 iii)음성 문자 통화를 수행하기 위한 제 2 디바이스(2000)와 제 3 디바이스(4000) 간의 동작은, 도 1 내지 도 42에 도시된 동작에 대응될 수 있다.
도 48는 일부 실시예에 따른 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000)가, 서버(3000)를 통하여, 서로 음성 문자 통화를 수행하는 예시를 나타내는 도면이다.
도 48을 참조하면, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000)가, 서버(3000)를 통하여, 서로 음성 문자 통화를 수행하는 경우에, 제 1 디바이스(1000)에 입력된 음성, 제 2 디바이스(2000)에 입력된 음성 및 제 3 디바이스(4000)에 입력된 음성의 일부 또는 전부가 서버(3000)에 의해 텍스트로 변환될 수 있다. 또한, 제 1 디바이스(1000)에 입력된 텍스트, 제 2 디바이스(2000)에 입력된 텍스트 및 제 3 디바이스(4000)에 입력된 텍스트의 일부 또는 전부가 서버(3000)에 의해 음성으로 변환될 수 있다.
또한, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000) 간에, 서버(3000)를 통하여, 음성 문자 통화가 수행하는 경우에, i)음성 문자 통화를 수행하기 위한 제 1 디바이스(1000), 제 2 디바이스(2000) 및 서버(3000) 간의 동작, ii)음성 문자 통화를 수행하기 위한 제 1 디바이스(1000), 제 3 디바이스(4000) 및 서버(3000) 간의 동작, 및 iii)음성 문자 통화를 수행하기 위한 제 2 디바이스(2000), 제 3 디바이스(4000) 및 서버(3000) 간의 동작은, 도 43 내지 도 46에 도시된 동작에 대응될 수 있다.
도 49 및 도 50은 일부 실시예에 따른 제 1 디바이스(1000)의 블록도이다.
도 49에 도시된 바와 같이, 일부 실시예에 따른 제 1 디바이스(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500)를 포함할 수 있다. 그러나, 도 49에 도시된 구성 요소 모두가 제 1 디바이스(1000)의 필수 구성 요소인 것은 아니다. 도 49에 도시된 구성 요소보다 많은 구성 요소에 의해 제 1 디바이스(1000)가 구현될 수도 있고, 도 47에 도시된 구성 요소보다 적은 구성 요소에 의해 제 1 디바이스(1000)가 구현될 수도 있다.
예를 들어, 도 50에 도시된 바와 같이, 일부 실시예에 따른 제 1 디바이스(1000)는, 사용자 입력부(1100), 출력부(1200), 제어부(1300), 및 통신부(1500) 이외에 센싱부(1400), A/V 입력부(1600), 및 메모리(1700)를 더 포함할 수도 있다.
사용자 입력부(1100)는, 사용자가 제 1 디바이스(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(1100)는, 음성 문자 통화를 위한 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 입력부(1100)는, 사용자의 음성 입력, 사용자의 문자 입력 및 사용자의 터치 입력을 수신할 수 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.
디스플레이부(1210)는 제 1 디바이스(1000)에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이부(1210)는, 음성 문자 통화 중에 사용자 간의 대화 내용을 나타내는 텍스트를 포함하는 채팅창을 디스플레이할 수 있다.
한편, 디스플레이부(1210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(1210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(1210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 제 1 디바이스(1000)의 구현 형태에 따라 제 1 디바이스(1000)는 디스플레이부(1210)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1210)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향 출력부(1220)는 제 1 디바이스(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수 있다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(1230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1230)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(1300)는, 통상적으로 제 1 디바이스(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다. 제어부(1300)는 도 1 내지 도 49에서의 제 1 디바이스(1000)의 동작을 수행하기 위하여, 사용자 입력부(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 등을 전반적으로 제어할 수 있다.
구체적으로, 제어부(1300)는, 음성 문자 통화 기능을 활성화할 수 있다. 제어부(1300)는 제 2 디바이스(2000)에게 전화를 발신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제어부(1300)는 제 2 디바이스(2000)로부터 전화를 수신하는 때에, 음성 통화 기능을 활성화할 수 있다. 또한, 제어부(1300)는 제 2 디바이스(2000)와의 통화 중에 음성 문자 통화 기능을 활성화할 수 있다.
또한, 음성 문자 통화 기능이 활성화됨에 따라, 제어부(1300)는 제 1 디바이스(1000)에서 음성 문자 통화 기능이 활성화되었음을 제 2 디바이스(2000)에게 알릴 수 있다. 이 경우, 제어부(1300)는 제 1 디바이스(1000)의 음성 문자 통화의 통화 모드를 제 2 디바이스(2000)에게 알릴 수도 있다. 음성 문자 통화의 통화 모드에 대하여는, 후술하기로 한다.
또한, 제어부(1300)는, 제 1 디바이스의 사용자와 제 2 디바이스(2000)의 사용자 간의 음성으로부터 변환된 텍스트를, 획득할 수 있다. 제어부(1300)는 제 1 디바이스(1000)의 사용자의 음성을 텍스트로 변환함으로써, 변환된 텍스트를 획득할 수 있다. 또한, 제어부(1300)는 통신부(1500)를 통하여 제 2 디바이스(2000)의 사용자의 음성을 제 2 디바이스(2000)로부터 수신하고, 수신된 음성을 텍스트로 변환함으로써, 변환된 텍스트를 획득할 수 있다. 그러나, 제 1 디바이스(1000)가 변환된 텍스트를 획득하는 방법은, 이에 제한되지 않는다. 제 1 디바이스(1000)의 사용자의 음성 및 제 2 디바이스(2000)의 사용자의 음성은, 다양한 장치 또는 서버에 의해 텍스트로 변환될 수 있으며, 제 1 디바이스(1000)는 변환된 텍스트를, 통신부(1500)를 통하여, 다양한 장치 및 서버로부터 수신할 수 있다.
또한, 제어부(1300)는 사용자에 의해 입력된 텍스트를 획득할 수 있다. 제 1 디바이스(1000)는, 음성 문자 통화 중에 제 1 디바이스(1000)의 사용자로부터 입력된 텍스트를 획득할 수 있다. 또한, 제어부(1300)는, 음성 문자 통화 중에 제 2 디바이스(2000)의 사용자로부터 제 2 디바이스(2000)에 입력된 텍스트를, 제 2 디바이스(2000)로부터 수신할 수 있다.
제어부(1300)는 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열하여, 사용자 간의 통화 중에, 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제어부(1300)는, 음성 및 텍스트의 입력 시간에 기초하여, 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열할 수 있다. 예를 들어, 제어부(1300)는, 제 1 디바이스(1000)의 사용자가 제 1 디바이스(1000)에 음성을 입력한 시간, 제 2 디바이스(2000)의 사용자가 제 2 디바이스(2000)에 음성을 입력한 시간, 제 1 디바이스(1000)의 사용자가 제 1 디바이스(1000)에 텍스트를 입력한 시간 및 제 2 디바이스(2000)의 사용자가 제 2 디바이스(2000)에 텍스트를 입력한 시간에 기초하여, 제 1 디바이스(1000)는 변환된 텍스트 및 입력된 텍스트를 배열할 수 있다.
한편, 제어부(1300)는 제 1 사용자와 제 2 사용자 간의 음성으로부터 변환된 텍스트의 원본 음성 데이터를 메모리(1700) 또는 서버(2000)에 백업할 수 있다. 제어부(1300)는 제 1 사용자의 음성으로부터 변환된 텍스트에 대응되는 제 1 사용자의 음성 데이터를 백업할 수 있다. 또한, 제어부(1300)는 제 2 사용자의 음성으로부터 변환된 텍스트에 대응되는 제 2 사용자의 음성 데이터를 백업할 수 있다.
또한, 제어부(1300)는 제 1 사용자 및 제 2 사용자 간의 통화 중에, 제 1 디바이스(1000)의 화면 상에 채팅창을 디스플레이할 수 있다. 제어부(1300)는 제 1 사용자와 제 2 사용자 간의 대화의 내용을 나타내기 위하여 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다.
제어부(1300)는 채팅창을 통하여 제 1 사용자로부터 입력된 텍스트를 획득할 수 있다. 또한, 제어부(1300)는, 음성 문자 통화 중에 제 2 사용자로부터 제 2 디바이스(2000)에 입력된 텍스트를, 제 2 디바이스(2000)로부터 수신할 수 있다.
또한, 제어부(1300)는 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열하여 채팅창 내에 표시할 수 있다. 제어부(1300)는, 음성 및 텍스트의 입력 시간에 기초하여, 변환된 텍스트 및 입력된 텍스트를, 시간 순으로 배열할 수 있다. 예를 들어, 제어부(1300)는, 제 1 사용자가 제 1 디바이스(1000)에 음성을 입력한 시간, 제 2 사용자가 제 2 디바이스(2000)에 음성을 입력한 시간, 제 1 사용자가 제 1 디바이스(1000)에 텍스트를 입력한 시간 및 제 2 사용자가 제 2 디바이스(2000)에 텍스트를 입력한 시간에 기초하여, 제 1 디바이스(1000)는 변환된 텍스트 및 입력된 텍스트를 배열할 수 있다.
또한, 제어부(1300)는 변환된 텍스트를 입력된 텍스트와 구별하여 표시할 수 있다. 제어부(1300)는 제 1 사용자의 음성으로부터 변환된 텍스트 및 제 2 사용자의 음성으로 변환된 텍스트를, 제 1 사용자로부터 입력된 텍스트 및 제 2 사용자로부터 입력된 텍스트와 구별되게 표시할 수 있다.
예를 들어, 제어부(1300)는 변환된 텍스트를 구별하여 표시하기 위하여, 별도의 아이콘을 변환된 텍스트의 주변에 디스플레이할 수 있다. 또한, 예를 들어, 제어부(1300)는 변환된 텍스트의 색상, 굵기 또는 서체 등을 구별되게 표시할 수 있다. 그러나, 이에 제한되지 않는다.
또한, 제어부(1300)는, 변환된 텍스트가 선택되면, 변환된 텍스트의 원본 음성 데이터를 출력할 수 있다. 변환된 텍스트가 채팅창 내에서 제 1 사용자에 의해 선택되면, 제어부(1300)는 선택된 텍스트의 원본 음성 데이터를 메모리로부터 추출하고, 추출된 원본 음성 데이터를 제 1 디바이스(1000) 내의 스피커를 통하여 출력할 수 있다.
또한, 제어부(1300)는 배열된 텍스트들 중에서, 소정의 이벤트가 발생되기 이전의 기 설정된 시간 동안에 획득된 텍스트를 백업할 수 있다. 소정의 이벤트는, 예를 들어, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 통화 종료, 또는 텍스트 백업을 위한 사용자 입력 수신 등을 포함할 수 있다. 예를 들어, 제 1 디바이스(1000)와 제 2 디바이스(2000) 간의 통화가 종료되면, 제어부(1300)는 통화가 종료되기 전 5분 동안에 제 1 디바이스(1000)에 의해 획득된 텍스트를 백업할 수 있다. 예를 들어, 제어부(1300)는, 텍스트를 백업하기 위한 사용자 입력을 수신하면, 사용자 입력이 수신되기 전의 3분 동안에 제 1 디바이스(1000)에 의해 획득된 텍스트를 백업할 수 있다. 그러나, 텍스트 백업을 위하여 설정된, 이벤트의 종류 및 시간 값은 이에 제한되지 않는다.
한편, 제어부(1300)는 배열된 텍스트 전체를 서버(3000)에 백업할 수 있다. 이 경우, 제어부(1300)는 배열된 텍스트 중에서 일부를 제 1 디바이스(1000) 내에 백업하고, 배열된 텍스트의 전부를 서버(3000)에 백업할 수 있다. 또한, 제어부(1300)는 배열된 텍스트 중에서 일부 텍스트 및 배열된 텍스트의 전체 텍스트를 서버(3000)에 저장할 수도 있다.
한편, 제어부(1300)는 배열된 텍스트 전체를 다양한 자연어 해석 방법을 통하여 사용자 간의 대화를 분석할 수 있으며, 배열된 텍스트로부터 사용자 간의 주요 대화 내용을 나타내는 부분을 추출할 수 있다. 또한, 제어부(1300)는 추출된 일부 대화를 나타내는 텍스트를 제 1 디바이스(1000) 내에 백업할 수 있다.
한편, 제어부(1300)는 음성 문자 통화 기능을 활성화하고, 음성 문자 통화 중에 이용될 채팅 애플리케이션을 결정할 수 있다. 예를 들어, 제어부(1300)는 제 1 디바이스(1000)의 음성 문자 통화 기능과 연동되어 실행될 수 있는 채팅 애플리케이션을, 음성 문자 통화 중에 이용될 채팅 애플리케이션으로 결정할 수 있다. 또한, 예를 들어, 제어부(1300)는 제 1 디바이스(1000) 및 제 2 디바이스(2000) 모두에 설치된 채팅 애플리케이션을, 음성 문자 통화 중에 이용될 채팅 애플리케이션으로 결정할 수 있다. 그러나, 이에 제한되지 않는다.
또한, 제어부(1300)는 결정된 채팅 애플리케이션을 실행하고, 음성으로부터 변환된 텍스트를, 실행된 채팅 애플리케이션에 입력할 수 있다. 예를 들어, 제어부(1300)는 실행된 채팅 애플리케이션에, 텍스트 자동 입력을 위한 플러그인을 설치하고, 설치된 플러그인을 통하여 채팅 애플리케이션에, 음성으로부터 변환된 텍스트를 입력할 수 있다. 그러나, 이에 제한되지 않는다.
또한, 제어부(1300)는 사용자들 간의 통화 중에, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이할 수 있다. 제어부(1300)는 제 1 사용자의 음성으로부터 변환된 텍스트, 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 텍스트, 제 2 사용자의 음성으로부터 변환된 텍스트, 및 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 텍스트를, 채팅창 내에 배열할 수 있다.
또한, 제어부(1300)는 제 1 디바이스(1000)의 음성 문자 통화의 통화 모드에 따라, 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이하거나, 제 1 디바이스(1000)의 화면 상에서 채팅창을 숨길 수 있다.
한편, 제어부(1300)는 제 1 디바이스(1000) 및 제 2 디바이스(2000)가 채팅 서비스를 이용하는 도중에, 음성 문자 통화를 시작할 수 있다.
또한, 제어부(1300)는 음성 문자 통화 중에 통화 모드가 변경할 수 있다. 통화 모드는, 음성 모드, 문자 모드 및 혼합 모드를 포함할 수 있다. 제어부(1300)는 통화 모드가 변경됨에 따라, 제 1 디바이스(1000)의 스피커 및 마이크 중 적어도 하나를 활성화 또는 비활성화할 수 있다. 또한, 제어부(1300)는 통화 모드가 변경됨에 따라, 음성 문자 통화에 이용되는 채팅창을 제 1 디바이스(1000)의 화면 상에 디스플레이하거나 숨길 수 있다. 또한, 제어부(1300)는 제 2 디바이스(2000)의 통화 모드에 따라, 사용자의 음성 또는 텍스트를 선택적으로 제 2 디바이스(2000)에게 제공할 수 있다.
한편, 제어부(1300)는 제 2 디바이스(2000)의 통화 모드 변경을 제 1 사용자에게 알릴 수 있으며, 제 1 사용자에게 통화 모드의 변경을 추천할 수 있다. 또한, 제어부(1300)는 제 2 디바이스(2000)의 혼합 모드의 입출력 기능의 변경을 제 1 사용자에게 알리고, 제 1 사용자에게 통화 모드의 변경을 추천할 수 있다.
한편, 제어부(1300)는 채팅창 내의 텍스트 정보의 일부 또는 전부를 제 1 디바이스(1000) 또는 서버(3000)에 백업할 수 있다. 또한, 한편, 제어부(1300)는 채팅창 내의 텍스트 정보를, 통화 목록과 연관하여 저장할 수 있다.
센싱부(1400)는, 제 1 디바이스(1000)의 상태 또는 제 1 디바이스(1000) 주변의 상태를 감지하고, 감지된 정보를 제어부(1300)로 전달할 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
통신부(1500)는, 제 1 디바이스(1000)가 제 2 디바이스(2000), 제 3 디바이스(4000) 및 서버(3000) 중 적어도 하나와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(151)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신할 수 있다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 제 1 디바이스(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
또한, 통신부(1500)는, 음성 문자 통화를 하기 위하여 필요한 정보를, 제 1 디바이스(1000)가 제 2 디바이스(2000), 제 3 디바이스(4000) 및 서버(3000) 중 적어도 하나와 송수신할 수 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(1610)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1500)를 통하여 외부로 전송될 수 있다. 카메라(1610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 제어부(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 제 1 디바이스(1000)로 입력되거나 제 1 디바이스(1000)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 제 1 디바이스(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(1300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(1730)은 제 1 디바이스(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 제 1 디바이스(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 51은 일부 실시예에 따른 서버(3000)의 블록도이다.
도 51을 참조하면, 일부 실시예에 따른 서버(3000)는 통신부(3100), 제어부(3200) 및 DB(3300)를 포함할 수 있다. 또한, DB(3300)는 음성 DB(3310), 텍스트 DB(3320) 및 통화 목록 DB(3330)를 포함할 수 있다.
통신부(3100)는 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000) 중 적어도 둘 이상 간의 음성 문자 통화를 수행하기 위하여 필요한 데이터를, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000) 중 적어도 둘 이상에게 전송할 수 있다.
제어부(3200)는 통상적으로 서버(3000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(3200)는, DB(3300)에 저장된 프로그램들을 실행함으로써, 서버(3000)의 전반적인 동작을 제어할 수 있다.
구체적으로 제어부(3200)는, 제 1 디바이스(1000)로부터 수신된 제 1 사용자의 텍스트 및 제 2 디바이스(2000)로부터 수신된 제 2 사용자의 텍스트 중 적어도 하나를 음성으로 변환할 수 있다. 제어부(3200)는 제 1 사용자의 사용자 정보(예를 들어, 성별 및 나이)를 고려하여, 제 1 사용자의 텍스트로부터 변환된 음성의 음색을 결정할 수 있다. 또한, 제어부(3200)는 제 2 사용자의 사용자 정보(예를 들어, 성별 및 나이)를 고려하여, 제 2 사용자의 텍스트로부터 변환된 음성의 음색을 결정할 수 있다.
또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 1 사용자의 텍스트로부터 변환된 음성을 제 1 디바이스(1000) 및 제 2 디바이스(2000) 중 적어도 하나에게 전송할 수 있다. 또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 2 사용자의 텍스트로부터 변환된 음성을 제 1 디바이스(1000) 및 제 2 디바이스(2000) 중 적어도 하나에게 전송할 수 있다.
또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 1 사용자에 의해 입력된 텍스트를 제 1 디바이스(1000)로부터 수신할 수 있으며, 수신된 텍스트를 제 2 디바이스(2000)에게 전송할 수 있다. 또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 2 사용자에 의해 입력된 텍스트를 제 2 디바이스(2000)로부터 수신할 수 있으며, 수신된 텍스트를 제 1 디바이스(1000)에게 전송할 수 있다.
한편, 제어부(3200)는, 제 1 디바이스(1000)로부터 수신된 제 1 사용자의 음성 및 제 2 디바이스(2000)로부터 수신된 제 2 사용자의 음성 중 적어도 하나를 텍스트로 변환할 수 있다. 제어부(3200)제어부(3200)
또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 1 사용자의 음성으로부터 변환된 텍스트를 제 1 디바이스(1000) 및 제 2 디바이스(2000) 중 적어도 하나에게 전송할 수 있다. 또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 2 사용자의 음성으로부터 변환된 텍스트를 제 1 디바이스(1000) 및 제 2 디바이스(2000) 중 적어도 하나에게 전송할 수 있다.
또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 1 사용자에 의해 입력된 음성을 제 1 디바이스(1000)로부터 수신할 수 있으며, 수신된 음성을 제 2 디바이스(2000)에게 전송할 수 있다. 또한, 제어부(3200)는, 통신부(3100)를 통하여, 제 2 사용자에 의해 입력된 음성을 제 2 디바이스(2000)로부터 수신할 수 있으며, 수신된 음성을 제 1 디바이스(1000)에게 전송할 수 있다.
한편, 제어부(3200)는, 음성 문자 통화를 하는 사용자들 간의 대화 내용을 나타내는 텍스트를 저장할 수 있다. 제어부(3200)는 음성 문자 통화를 하는 사용자들 간의 대화 내용의 일부 및/또는 전부를 나타내는 텍스트를 저장할 수 있다. 제어부(3200)는 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 음성으로부터 변환된 텍스트, 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 음성으로부터 변환된 텍스트, 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 텍스트 및 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 텍스트를 획득할 수 있다.
또한, 제어부(3200)는 사용자 간의 대화 내용를 나타내는 텍스트를, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 서버(3000) 중 적어도 하나로부터 획득할 수 있다. 또한, 제어부(3200)는 획득된 텍스트 중 일부 및/또는 전부를 DB(3300)에 저장할 수 있다.
한편, 제어부(3200)는, 음성 문자 통화를 하는 사용자들 간의 대화 내용을 나타내는 음성 데이터를 저장할 수 있다. 제어부(3200)는, 음성 문자 통화를 하는 사용자들 간의 대화 내용의 일부 및/또는 전부를 나타내는 음성 데이터를 저장할 수 있다. 제어부(3200)는 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 텍스트로부터 변환된 음성 데이터, 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 텍스트로부터 변환된 음성 데이터, 제 1 사용자에 의해 제 1 디바이스(1000)에 입력된 음성 데이터 및 제 2 사용자에 의해 제 2 디바이스(2000)에 입력된 음성 데이터를 획득할 수 있다.
또한, 제어부(3200)는 사용자 간의 대화 내용를 나타내는 음성 데이터를, 제 1 디바이스(1000), 제 2 디바이스(2000) 및 서버(3000) 중 적어도 하나로부터 획득할 수 있다. 또한, 제어부(3200)는 획득된 음성 데이터 중 일부 및/또는 전부를 DB(3300) 내에 저장할 수 있다.
한편, 제어부(3200)는 사용자간 음성 문자 통화에 관한 통화 목록을 생성할 수 있다. 또한, 제어부(3200)는 저장된 텍스트 및 음성 데이터를, 사용자간 음성 문자 통화에 관한 통화 목록에 매칭할 수 있다.
DB(3300)는 제 1 디바이스(1000), 제 2 디바이스(2000) 및 제 3 디바이스(4000) 중 적어도 2이상 간의 음성 문자 통화를 위하여 필요한 데이터를 저장할 수 있다.
음성 DB(3310)는 사용자들의 음성 데이터를 저장할 수 있다. 음성 DB(3310)는 사용자에 의해 입력된 음성 데이터 및 사용자에 의해 입력된 텍스트로부터 변환된 음성 데이터를 저장할 수 있다. 또한, 음성 DB(3310)는 사용자들의 음성 데이터에 관한 속성 정보를 저장할 수 있다. 음성 데이터의 속성 정보는, 사용자에 의해 입력된 음성 및 사용자에 의해 입력된 텍스트로부터 변환된 음성을 구별하기 위한 정보일 수 있다. 그러나, 이에 제한되지 않는다.
텍스트 DB(3320)는 사용자들의 텍스트를 저장할 수 있다. 텍스트 DB(3320)는 사용자에 의해 입력된 텍스트 및 사용자에 의해 입력된 음성으로부터 변환된 텍스트를 저장할 수 있다. 또한, 텍스트 DB(3320)는 사용자들의 텍스트에 관한 속성 정보를 저장할 수 있다. 텍스트의 속성 정보는, 사용자에 의해 입력된 텍스트 및 사용자에 의해 입력된 음성으로부터 변환된 텍스트를 구별하기 위한 정보일 수 있다. 그러나, 이에 제한되지 않는다.
통화 목록 DB(3330)는 사용자들 간의 음성 문자 통화에 관한 통화 목록을 저장할 수 있다. 또한, 통화 목록 DB(3330)에 관한 다양한 정보를 저장할 수 있다. 통화 목록 DB(3330)에 저장된 데이터는, 음성 DB(3310)에 저장된 데이터 및 텍스트 DB(3320)에 저장된 데이터와 서로 매칭될 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (26)

  1. 외부 모바일 디바이스와 통화를 하는 모바일 디바이스에 있어서,
    인스트럭션을 저장하는 메모리;
    디스플레이; 및
    상기 저장된 인스트럭션을 실행하는 프로세서;
    를 포함하며,
    상기 프로세서는,
    상기 모바일 디바이스와 상기 외부 모바일 디바이스간의 음성 통화를 실행하고,
    상기 음성 통화를 실행하는 중, 사용자의 입력에 기초하여 상기 외부 모바일 디바이스와 음성-문자 통화 기능을 활성화시켜, 상기 외부 모바일 디바이스와의 상기 음성 통화로부터의 음성 데이터에 기초하여 생성된 제 1 텍스트를 획득하고,
    상기 모바일 디바이스와 상기 외부 모바일 디바이스와의 음성 통화 실행 중, 상기 모바일 디바이스에, 상기 모바일 디바이스의 사용자에 의해, 입력된 제 2 텍스트, 및 상기 외부 모바일 디바이스로부터 수신된 제 3 텍스트를 획득하고,
    상기 외부 모바일 디바이스와 상기 모바일 디바이스와의 상기 음성 통화 실행 중, 상기 디스플레이 상에 상기 제 1 텍스트, 상기 제 2 텍스트, 및 상기 제 3 텍스트를 디스플레이하며,
    상기 외부 모바일 디바이스와 수행 중인 음성 통화로부터의 음성 데이터는, 상기 모바일 디바이스로부터 상기 외부 모바일 디바이스로 보내진 음성 데이터, 및 상기 외부 모바일 디바이스로부터 상기 모바일 디바이스에 의해 수신된 음성 데이터를 포함하며,
    상기 모바일 디바이스에 의해 수신된 음성 데이터는 상기 모바일 디바이스에서 상기 통화를 위해 제공되는 것을 특징으로 하는, 모바일 디바이스.
  2. 제 1 항에 있어서,
    상기 제 1 텍스트, 상기 2 텍스트 및 상기 제 3 텍스트는, 상기 제 1 텍스트, 상기 제 2 텍스트 및 상기 제 3 텍스트가 수신된 순서에 의해 시간순으로 배열되는 것을 특징으로하는, 모바일 디바이스.
  3. 제 2 항에 있어서,
    상기 프로세서는 상기 인스트럭션을 수행하여, 상기 배열된 상기 제 1 텍스트, 상기 제 2 텍스트 및 상기 제 3 텍스트를 포함한 채팅 창을 디스플레이하는 것을 특징으로하는, 모바일 디바이스.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 인스트럭션을 수행하여, 상기 제 1 텍스트의 음성 변환의 신뢰도에 따라 상기 제 1 텍스트의 신뢰도를 디스플레이하는 것을 특징으로하는, 모바일 디바이스.
  5. 제 1 항에 있어서,
    상기 프로세서는 상기 인스트럭션을 수행하여, 상기 제 1 텍스트가 선택됨으로써, 상기 제 1 텍스트에 해당하는 원본 음성 데이터를 출력하는 것을 특징으로하는, 모바일 디바이스.
  6. 제 5 항에 있어서,
    상기 선택된 제 1 텍스트는 문장 또는 문장의 단어인 것을 특징으로하는, 모바일 디바이스.
  7. 제 1 항에 있어서,
    상기 외부 모바일 디바이스의 상기 음성 통화 실행 중 출력 방법이 변경 됨으로써, 상기 변경된 출력 방법이 상기 모바일 디바이스의 사용자에게 알려지며,
    상기 출력 방법은, 음성만 출력하는 방법, 텍스트만 출력하는 방법, 및 음성 및 텍스트를 함께 출력하는 방법을 포함하는 것을 특징으로하는, 모바일 디바이스.
  8. 제 7 항에 있어서,
    음성, 텍스트 및 진동 중 적어도 하나를 이용하여 상기 변경된 출력 방법이 상기 모바일 디바이스의 사용자에게 알려지는 것을 특징으로하는, 모바일 디바이스.
  9. 제 1 항에 있어서,
    상기 제 2 텍스트는 상기 모바일 디바이스의 사용자 인터페이스를 통해 상기 모바일 디바이스에 입력되는 것을 특징으로하는, 모바일 디바이스.
  10. 제 1 항에 있어서,
    상기 프로세서는 상기 인스트럭션을 수행하여, 상기 외부 모바일 디바이스와의 통화 기록을 포함한 통화 목록과, 상기 제 1 텍스트, 상기 제 2 텍스트, 및 상기 제 3 텍스트를 연관시켜 저장하는 것을 특징으로하는, 모바일 디바이스.
  11. 모바일 디바이스가 외부 모바일 디바이스와 통화를 하는 방법에 있어서,
    상기 모바일 디바이스와 상기 외부 모바일 디바이스간의 음성 통화를 실행하는 단계;
    상기 음성 통화를 실행하는 중, 사용자의 입력에 기초하여 상기 외부 모바일 디바이스와의 음성-문자 통화 기능을 활성화시켜, 상기 외부 모바일 디바이스와의 상기 음성 통화로부터의 음성 데이터에 기초하여 생성된 제 1 텍스트를 획득하는 단계;
    상기 모바일 디바이스와 상기 외부 모바일 디바이스간의 음성 통화 실행 중, 상기 모바일 디바이스에 상기 모바일 디바이스의 사용자에 의해 입력된 제 2 텍스트, 및 상기 외부 모바일 디바이스에서 제공된 제 3 텍스트를 획득하는 단계; 및
    상기 음성 통화 실행 중, 상기 모바일 디바이스의 화면상에 상기 제 1 텍스트, 상기 제 2 텍스트 및 상기 제 3 텍스트를 디스플레이하는 단계;
    를 포함하며,
    상기 음성 통화로부터의 음성 데이터는, 상기 모바일 디바이스로부터 상기 외부 모바일 디바이스로 보내진 음성 데이터, 및 상기 외부 모바일 디바이스로부터 상기 모바일 디바이스에 의해 수신된 음성 데이터를 포함하며,
    상기 모바일 디바이스에 의해 수신된 음성 데이터는 상기 모바일 디바이스에서 상기 통화를 위해 제공되는 것을 특징으로 하는, 방법.
  12. 제 11 항에 있어서, 상기 제 1 텍스트, 상기 2 텍스트 및 상기 제 3 텍스트는, 상기 제 1 텍스트, 상기 2 텍스트 및, 상기 제 3 텍스트가 수신된 순서에 의해 시간순으로 배열되는 것을 특징으로하는, 방법.
  13. 제 11 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
KR1020150071231A 2014-05-23 2015-05-21 음성 문자 통화 서비스를 제공하는 시스템 및 방법 KR102225401B1 (ko)

Priority Applications (21)

Application Number Priority Date Filing Date Title
EP20205610.7A EP3793178B1 (en) 2014-05-23 2015-05-22 System and method of providing voice-message call service
PCT/KR2015/005143 WO2015178715A1 (en) 2014-05-23 2015-05-22 System and method of providing voice-message call service
EP18211175.7A EP3496377B1 (en) 2014-05-23 2015-05-22 System and method of providing voice-message call service
EP18175636.2A EP3393112B1 (en) 2014-05-23 2015-05-22 System and method of providing voice-message call service
RU2016150546A RU2692763C2 (ru) 2014-05-23 2015-05-22 Система и метод обеспечения службы голосовых вызовов с сообщениями
MX2016015285A MX369624B (es) 2014-05-23 2015-05-22 Sistema y metodo para proporcionar servicio de llamada de mensajes de voz.
JP2017514239A JP6688783B2 (ja) 2014-05-23 2015-05-22 モバイルデバイス及び通話方法
EP15169020.3A EP2947861B1 (en) 2014-05-23 2015-05-22 System and method of providing voice-message call service
CN201911159183.0A CN110875878B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法
AU2015202807A AU2015202807B2 (en) 2014-05-23 2015-05-25 System and method of providing voice-message call service
CN201510271220.2A CN105100511B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法
CN201911158150.4A CN110933238B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法
CN201810288068.2A CN108810291B (zh) 2014-05-23 2015-05-25 提供“语音-消息”呼叫服务的系统和方法
US14/721,352 US9906641B2 (en) 2014-05-23 2015-05-26 System and method of providing voice-message call service
US14/806,105 US9456074B2 (en) 2014-05-23 2015-07-22 System and method of providing voice-message call service
US15/275,738 US9736292B2 (en) 2014-05-23 2016-09-26 System and method of providing voice-message call service
US15/664,413 US10075578B2 (en) 2014-05-23 2017-07-31 System and method of providing voice-message call service
US15/916,883 US10284706B2 (en) 2014-05-23 2018-03-09 System and method of providing voice-message call service
AU2019202418A AU2019202418B2 (en) 2014-05-23 2019-04-08 System and method of providing voice-message call service
US16/390,610 US10917511B2 (en) 2014-05-23 2019-04-22 System and method of providing voice-message call service
JP2020002538A JP6925458B2 (ja) 2014-05-23 2020-01-10 モバイルデバイス及び通話方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140062569 2014-05-23
KR1020140062569 2014-05-23

Publications (2)

Publication Number Publication Date
KR20150135134A KR20150135134A (ko) 2015-12-02
KR102225401B1 true KR102225401B1 (ko) 2021-03-09

Family

ID=54883406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150071231A KR102225401B1 (ko) 2014-05-23 2015-05-21 음성 문자 통화 서비스를 제공하는 시스템 및 방법

Country Status (6)

Country Link
EP (1) EP3793178B1 (ko)
JP (2) JP6688783B2 (ko)
KR (1) KR102225401B1 (ko)
CN (2) CN110875878B (ko)
MX (1) MX369624B (ko)
RU (1) RU2692763C2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230035502A (ko) 2021-09-05 2023-03-14 박윤학 스마트폰의 문자 메시지를 노래로 만들어 송수신하는 방법 및 이를 위한 노래 문자 송수신 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6836768B2 (ja) * 2016-07-01 2021-03-03 大都販売株式会社 通信システム
KR101968669B1 (ko) * 2017-08-22 2019-04-12 네이버 주식회사 통화 서비스 제공 방법 및 컴퓨터 프로그램
JP7037426B2 (ja) * 2018-04-25 2022-03-16 京セラ株式会社 電子機器及び処理システム
JP7307228B2 (ja) * 2019-03-19 2023-07-11 Ｌｉｎｅ株式会社 プログラム、情報処理方法、端末
JP6832971B2 (ja) * 2019-03-19 2021-02-24 Ｌｉｎｅ株式会社 プログラム、情報処理方法、端末
KR102166264B1 (ko) * 2019-05-08 2020-10-15 포인트아이 주식회사 텍스트 통화 서비스 제공 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060565B1 (en) 2007-01-31 2011-11-15 Avaya Inc. Voice and text session converter
US20120059651A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Mobile communication device for transcribing a multi-party conversation
US20130058471A1 (en) 2011-09-01 2013-03-07 Research In Motion Limited. Conferenced voice to text transcription
WO2018061876A1 (ja) 2016-09-29 2018-04-05 株式会社ニコン 撮像装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100208634A1 (en) * 1994-10-11 2010-08-19 Arbinet Corporation System and Method For Managing Multimedia Communications Across Convergent Networks
US20030055649A1 (en) * 2001-09-17 2003-03-20 Bin Xu Methods for accessing information on personal computers using voice through landline or wireless phones
AU2003222156A1 (en) * 2002-04-02 2003-10-20 Worldcom, Inc. Telephony services system with instant communications enhancements
JP2004129174A (ja) * 2002-08-06 2004-04-22 Ricoh Co Ltd 情報通信装置、情報通信プログラム、及び記録媒体
JP3938033B2 (ja) * 2002-12-13 2007-06-27 株式会社日立製作所 通信端末およびそれを用いたシステム
US7158779B2 (en) * 2003-11-11 2007-01-02 Microsoft Corporation Sequential multimodal input
US7917178B2 (en) * 2005-03-22 2011-03-29 Sony Ericsson Mobile Communications Ab Wireless communications device with voice-to-text conversion
KR100735700B1 (ko) * 2005-06-03 2007-07-06 엘지전자 주식회사 방송용 단말기 및 이를 이용한 문자음성통화 방법
US20100030557A1 (en) * 2006-07-31 2010-02-04 Stephen Molloy Voice and text communication system, method and apparatus
RU2324296C1 (ru) * 2007-03-26 2008-05-10 Закрытое акционерное общество "Ай-Ти Мобайл" Способ обмена сообщениями и устройства для его реализации
US8478598B2 (en) * 2007-08-17 2013-07-02 International Business Machines Corporation Apparatus, system, and method for voice chat transcription
CN101610465A (zh) * 2008-06-18 2009-12-23 朗讯科技公司 用于将文本信息转换为语音信息的通信方法及通信系统
US20090326939A1 (en) * 2008-06-25 2009-12-31 Embarq Holdings Company, Llc System and method for transcribing and displaying speech during a telephone call
JP5685702B2 (ja) * 2009-11-10 2015-03-18 株式会社アドバンスト・メディア 音声認識結果管理装置および音声認識結果表示方法
JP5243646B2 (ja) * 2011-05-24 2013-07-24 株式会社エヌ・ティ・ティ・ドコモ サービスサーバ装置、サービス提供方法、サービス提供プログラム
JP5755944B2 (ja) * 2011-06-10 2015-07-29 京セラ株式会社 電子機器、その制御方法及び制御プログラム
US20130055099A1 (en) * 2011-08-22 2013-02-28 Rose Yao Unified Messaging System with Integration of Call Log Data
CN102447782A (zh) * 2011-10-21 2012-05-09 于梦媛 一种能够在通话中实时呈现通话内容的电话终端
US8886169B2 (en) * 2011-10-25 2014-11-11 At&T Intellectual Property I, Lp Apparatus and method for providing enhanced telephonic communications
CN102710539A (zh) * 2012-05-02 2012-10-03 中兴通讯股份有限公司 语音信息传送方法及装置
KR101954774B1 (ko) * 2012-08-16 2019-03-06 삼성전자주식회사 문자 데이터를 이용한 음성 통화를 제공하기 위한 전자 장치 및 방법
KR20140052797A (ko) * 2012-10-21 2014-05-07 에스케이플래닛 주식회사 메신저 제어 방법을 위한 기록 매체, 이를 위한 장치 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060565B1 (en) 2007-01-31 2011-11-15 Avaya Inc. Voice and text session converter
US20120059651A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Mobile communication device for transcribing a multi-party conversation
US20130058471A1 (en) 2011-09-01 2013-03-07 Research In Motion Limited. Conferenced voice to text transcription
WO2018061876A1 (ja) 2016-09-29 2018-04-05 株式会社ニコン 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230035502A (ko) 2021-09-05 2023-03-14 박윤학 스마트폰의 문자 메시지를 노래로 만들어 송수신하는 방법 및 이를 위한 노래 문자 송수신 시스템

Also Published As

Publication number Publication date
JP6925458B2 (ja) 2021-08-25
RU2016150546A (ru) 2018-06-25
MX369624B (es) 2019-11-14
EP3793178A1 (en) 2021-03-17
CN110933238B (zh) 2022-02-08
JP2020065293A (ja) 2020-04-23
MX2016015285A (es) 2017-03-03
CN110875878B (zh) 2021-12-14
KR20150135134A (ko) 2015-12-02
JP6688783B2 (ja) 2020-04-28
RU2016150546A3 (ko) 2018-12-27
RU2692763C2 (ru) 2019-06-27
EP3793178B1 (en) 2022-06-29
CN110875878A (zh) 2020-03-10
CN110933238A (zh) 2020-03-27
JP2017517228A (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
AU2019202418B2 (en) System and method of providing voice-message call service
JP6925458B2 (ja) モバイルデバイス及び通話方法
KR102315921B1 (ko) 생체 정보를 이용하여 파일을 실행하는 시스템 및 방법
KR102345649B1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
CN107636541B (zh) 计算设备上的方法、用于闹铃的系统和机器可读介质
KR20140133763A (ko) 디바이스의 위치에 기초한 콘텐트 제공 시스템 및 방법
CN111078448A (zh) 一种处理音频异常的方法及电子设备
CN106612370B (zh) 移动设备及其控制方法
KR20170001423A (ko) 전자 장치 및 전자 장치에서 메시지를 제공하는 방법
CN110192177B (zh) 用于生成用于控制外部设备的gui的设备和方法
ES2870619T3 (es) Sistemas y métodos para compartir datos seleccionados mediante llamada telefónica
CN105190580A (zh) 用于提供关于无线通信装置的时区的信息的方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant