KR20170014589A - 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법 - Google Patents

번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20170014589A
KR20170014589A KR1020150108233A KR20150108233A KR20170014589A KR 20170014589 A KR20170014589 A KR 20170014589A KR 1020150108233 A KR1020150108233 A KR 1020150108233A KR 20150108233 A KR20150108233 A KR 20150108233A KR 20170014589 A KR20170014589 A KR 20170014589A
Authority
KR
South Korea
Prior art keywords
message
translation
touch gesture
gesture
input
Prior art date
Application number
KR1020150108233A
Other languages
English (en)
Inventor
윤윤진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150108233A priority Critical patent/KR20170014589A/ko
Priority to CN201680043189.XA priority patent/CN107851096A/zh
Priority to US15/572,400 priority patent/US20180150458A1/en
Priority to PCT/KR2016/006585 priority patent/WO2017018665A1/ko
Publication of KR20170014589A publication Critical patent/KR20170014589A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G06F17/2809—
    • G06F17/289—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/454—Multi-language systems; Localisation; Internationalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/063—Content adaptation, e.g. replacement of unsuitable content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

번역 서비스를 제공하는 사용자 단말 장치가 제공된다. 사용자 단말 장치는 외부 장치와 통신을 수행하는 통신부, 외부 장치와의 통신에 의해 송수신되는 메시지를 디스플레이하는 디스플레이, 사용자 단말 장치에 대한 제스처를 감지하는 감지부 및 기 설정된 제스처가 감지되면, 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공하는 프로세서를 포함한다.

Description

번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법 { USER TERMINAL APPARATUS FOR PROVIDING TRANSLATION SERVICE AND CONTROL METHOD THEREOF }
본 발명은 사용자 단말 장치 및 그 제어 방법에 대한 것으로 보다 상세하게는 번역 서비스를 제공할 수 있는 사용자 단말 장치 및 그 제어 방법에 대한 것이다.
스마트 폰의 보급과 정보통신 기술의 발달로 인하여 모바일 메신저(mobile messenger), 소셜 네트워크 서비스(SNS: Social Network Service) 등의 인스턴트 메시지 전송 어플리케이션이 확산되고 이용자들 역시 폭발적으로 늘어나고 있는 추세이다. 인스턴트 메시지 전송 어플리케이션과 같은 활발한 서비스가 이루어짐에 따라 일반인들도 다른 언어를 사용하는 국가의 외국인과의 자유로운 의사소통이 필요하게 되었다.
그러나, 메시지 전송 어플리케이션에서 서로 다른 언어를 사용하는 사용자 간에 대화를 함에 있어서는 언어 차이로 인해 대화의 불편이 존재한다. 종래에는 송수신되는 외국어 메시지를 번역하기 위해서, 따로 설치된 번역 어플리케이션이나 번역 서비스를 제공하는 웹 페이지 등을 이용하여 번역을 수행하였다. 그러나, 이러한 방식은 번역 어플리케이션의 설치 및 실행, 웹 페이지의 접속 등의 작업을 필요로 하고, 매번 외국어 메시지를 복사하고 붙여넣어 번역을 수행하여야 하므로 사용자에게 불편이 따르고 연속적인 대화가 어려운 문제가 있다.
따라서, 이러한 불편을 해결하기 위하여, 송수신되는 메시지에 적합한 형태의 번역 솔루션이 요구되고 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 다른 사용자 단말 장치와 주고 받는 메시지를 좀 더 편리하게 번역하여 제공할 수 있는 사용자 단말 장치 및 그 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 번역 서비스를 제공하는 사용자 단말 장치는 외부 장치와 통신을 수행하는 통신부, 상기 외부 장치와의 통신에 의해 송수신되는 메시지를 디스플레이하는 디스플레이, 상기 사용자 단말 장치에 대한 제스처를 감지하는 감지부 및 기 설정된 제스처가 감지되면, 상기 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공하는 프로세서를 포함한다.
또한, 상기 프로세서는 상기 송수신되는 메시지를 메시지 단위로 구분하여 디스플레이하고, 상기 메시지 단위로 상기 디스플레이된 메시지에 대한 번역 서비스를 제공할 수 있다.
또한, 상기 프로세서는 상기 디스플레이된 메시지 중 적어도 하나에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 메시지가 기 설정된 언어로 번역된 번역 메시지를 디스플레이하도록 제어할 수 있다.
또한, 상기 프로세서는 상기 번역 메시지에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 번역 메시지를 번역되기 전의 원문으로 디스플레이하도록 제어할 수 있다.
또한, 상기 메시지에 대한 터치 제스처는 제1 방향으로의 터치 드래그이고, 상기 번역 메시지에 대한 터치 제스처는 상기 제1 방향과 반대인 제2 방향으로의 터치 드래그일 수 있다.
또한, 상기 프로세서는 상기 터치 제스처가 입력된 메시지를 상기 번역 메시지로 대체하여 디스플레이하거나, 상기 터치 제스처가 입력된 메시지와 함께 상기 번역 메시지를 디스플레이하도록 제어할 수 있다.
또한, 상기 프로세서는 상기 번역 메시지에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 번역 메시지에 대한 발음 정보를 디스플레이하도록 제어할 수 있다.
또한, 본 발명의 사용자 단말 장치는 스피커를 더 포함하고, 상기 프로세서는 상기 발음 정보에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 발음 정보를 음성으로 변환하고, 상기 변환된 음성을 상기 스피커를 통해 출력할 수 있다.
또한, 상기 프로세서는 상기 사용자 단말 장치에 대한 모션 제스처가 감지되면, 상기 디스플레이된 메시지 전체를 기 설정된 언어로 번역하여 디스플레이하도록 제어할 수 있다.
또한, 상기 통신부는 번역 서비스를 제공하는 외부 서버와 통신을 수행하고, 상기 프로세서는 상기 디스플레이된 메시지 중 적어도 하나의 메시지를 상기 외부 서버로 전송하고, 상기 외부 서버로부터 수신된 상기 적어도 하나의 메시지에 대한 번역 메시지를 디스플레이하도록 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른, 번역 서비스를 제공하는 사용자 단말 장치의 제어 방법은 외부 장치와의 통신에 의해 송수신되는 메시지를 디스플레이하는 단계, 상기 사용자 단말 장치에 대한 제스처를 감지하는 단계 및 상기 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공하는 단계를 포함한다.
또한, 상기 디스플레이하는 단계는 상기 송수신되는 메시지를 메시지 단위로 구분하여 디스플레이하고, 상기 번역 서비스를 제공하는 단계는 상기 메시지 단위로 상기 디스플레이된 메시지에 대한 번역 서비스를 제공할 수 있다.
또한, 상기 번역 서비스를 제공하는 단계는 상기 디스플레이된 메시지 중 적어도 하나에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 메시지가 기 설정된 언어로 번역된 번역 메시지를 디스플레이할 수 있다.
또한, 상기 번역 서비스를 제공하는 단계는 상기 번역 메시지에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 번역 메시지를 번역되기 전의 원문으로 디스플레이할 수 있다.
또한, 상기 메시지에 대한 터치 제스처는 제1 방향으로의 터치 드래그이고, 상기 번역 메시지에 대한 터치 제스처는 상기 제1 방향과 반대인 제2 방향으로의 터치 드래그일 수 있다.
또한, 상기 번역 서비스를 제공하는 단계는 상기 터치 제스처가 입력된 메시지를 상기 번역 메시지로 대체하여 디스플레이하거나, 상기 터치 제스처가 입력된 메시지와 함께 상기 번역 메시지를 디스플레이할 수 있다.
또한, 상기 번역 메시지에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 번역 메시지에 대한 발음 정보를 디스플레이할 수 있다.
또한, 상기 발음 정보에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 발음 정보를 음성으로 변환하는 단계 및 상기 변환된 음성을 스피커를 통해 출력할 수 있다.
또한, 상기 번역 서비스를 제공하는 단계는 상기 사용자 단말 장치에 대한 모션 제스처가 감지되면, 상기 디스플레이된 메시지 전체를 기 설정된 언어로 번역하여 디스플레이할 수 있다.
또한, 상기 번역 서비스를 제공하는 단계는 상기 디스플레이된 메시지 중 적어도 하나의 메시지를 상기 외부 서버로 전송하는 단계, 상기 외부 서버로부터 상기 적어도 하나의 메시지에 대한 번역 메시지를 수신하는 단계 및 상기 수신된 번역 메시지를 디스플레이하는 단계를 포함할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 다른 사용자 단말 장치와 주고 받는 메시지를 즉각적으로 번역할 수 있으므로, 다른 언어를 사용하는 사용자 간에 소통이 좀 더 원활하게 이루어질 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말 장치가 외부 서버와 통신하여 번역을 수행하는 시스템을 나타낸 도면,
도 3 내지 5는 본 발명의 일 실시 예에 따른, 메시지를 번역하기 위한 터치 제스처를 설명하기 위한 도면,
도 6은 본 발명의 다른 실시 예에 따른, 메시지를 번역하기 위한 터치 제스처를 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른, 메시지의 발음 정보를 디스플레이하는 방법을 설명하기 위한 도면,
도 8 및 9는 본 발명의 일 실시 예에 따른, 디스플레이된 전체 메시지를 번역하기 위한 모션 제스처를 설명하기 위한 도면,
도 10은 본 발명의 일 실시 예에 따른, 소셜 네트워크 서비스에서 포스팅되는 메시지를 번역하기 위한 터치 제스처를 설명하기 위한 도면,
도 11은 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 구성을 상세히 도시한 블럭도,
도 12는 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 1은 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도이다.
도 1에 따르면 본 발명의 일 실시 예에 따른 사용자 단말 장치(100)는 통신부(110), 디스플레이(120), 감지부(130) 및 프로세서(140)를 포함한다.
통신부(110)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 여기서, 외부 장치는 메시지 서비스 제공 서버(200), 번역 서비스 제공 서버(300) 및 타 사용자 단말 장치 중 적어도 하나를 포함할 수 있다.
통신부(110)는 타 사용자 단말 장치 또는 메시지 서비스 제공 서버(200)와 통신을 수행하여 사용자 단말 장치(100)에서 작성된 메시지를 전송하거나, 타 사용자 단말 장치 또는 메시지 송수신 서비스를 제공하는 메시지 서비스 제공 서버(200)로부터 메시지를 수신할 수 있다. 메시지 서비스 제공 서버(200)는 타 사용자 단말 장치와의 메시지 송수신을 중계하는 서비스를 제공하는 서버를 의미한다.
또한, 통신부(110)는 번역 서비스 제공 서버(300)와 통신을 수행할 수 있다. 통신부(110)는 사용자에 의해 선택된 메시지에 대하여 기 설정된 번역 옵션에 따른 언어로 번역을 요청하기 위한 번역 요청 메시지를 생성하고, 생성된 번역 요청 메시지를 번역 서비스 제공 서버(300)로 전송할 수 있다. 통신부(110)는 번역 서비스 제공 서버(300)로부터 선택된 메시지가 번역된 번역 메시지를 수신할 수 있다.
통신부(110)는 와이파이 칩, 블루투스 칩, 무선 통신 칩 및 NFC 칩 등을 포함할 수 있다. 제어부(140)는 통신부(110)를 이용하여 상술한 외부 장치들과 통신을 수행할 수 있다.
특히, 와이파이 칩, 블루투스 칩은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
디스플레이(120)는 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트와 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다. 본 발명에서 디스플레이(120)는 외부 장치에 송신되거나 외부 장치로부터 수신되는 메시지 및 송수신된 메시지가 번역된 번역 메시지를 사용자에게 표시할 수 있다.
디스플레이(120)의 구현 방식은 한정되지 않으며, 예컨대, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(120)는 그 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 디스플레이(120)가 액정 방식인 경우, 디스플레이(120)는 LCD 디스플레이 패널(미도시), 이에 광을 공급하는 백라이트 유닛(미도시), 패널(미도시)을 구동시키는 패널 구동기판(미도시)을 포함할 수 있다. 특히, 본 발명에서 디스플레이(120)는 감지부(130)의 터치 감지부와 결합되어 터치 스크린으로 제공됨이 바람직하다.
감지부(130)는 다양한 사용자 인터렉션을 감지한다. 감지부(130)는 모션 제스처 감지부(미도시) 및 터치 제스처 감지부(미도시)를 포함하여 구성될 수 있다.
모션 제스처 감지부는 사용자 단말 장치(100)의 움직임을 감지할 수 있는 가속도 센서(acceleration sensor) 및 자이로 센서(gyro sensor) 중 적어도 하나를 포함할 수 있다.
또한, 터치 제스처 감지부는 터치 센서(touch sensor)를 포함할 수 있다. 터치 제스처 감지부는 디스플레이 패널의 뒷면에 부착된 터치 센서를 이용하여 사용자의 터치 입력을 감지할 수 있다. 프로세서(140)는 터치 제스처 감지부로부터 터치 좌표 및 터치 시간 등의 정보를 획득하여, 감지된 터치 입력의 종류(예로, 탭 제스처, 더블 탭 제스처, 패닝 제스처, 플릭 제스처, 터치 드래그 제스처 등)를 결정할 수 있다. 또한, 획득한 터치 좌표 및 터치 시간 등을 이용하여 터치 제스처 감지부가 터치 입력의 종류를 집적 결정할 수도 있다.
프로세서(140)는 사용자 단말 장치(100)의 전반적인 동작을 제어하는 구성이다.
프로세서(140)는 감지부(130)에 의해 기 설정된 제스처가 감지되면 디스플레이(120)에 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공할 수 있다. 구체적으로, 프로세서(140)는 디스플레이된 메시지 중 적어도 하나의 메시지를 번역 서비스를 제공하는 외부 서버로 전송하고, 외부 서버로부터 번역 메시지를 수신하면 수신된 번역 메시지를 디스플레이하도록 디스플레이(120)를 제어할 수 있다.
특히, 프로세서(140)는 송수신되는 메시지를 메시지 단위로 구분하여 디스플레이하고, 메시지 단위로 디스플레이된 메시지에 대한 번역 서비스를 제공할 수 있다. 즉, 프로세서(140)는 개별적으로 송수신되는 메시지가 구분되어 디스플레이되는 말풍선, 코멘트 창 등을 포함하는 메시지 박스를 하나의 단위로 하여 사용자에 의해 선택된 메시지에 대한 번역 서비스를 제공한다.
일 실시 예에서, 프로세서(140)는 디스플레이된 메시지 중 적어도 하나에 대한 터치 제스처가 감지되면, 감지된 터치 제스처가 입력된 메시지가 기 설정된 언어로 번역된 번역 메시지를 디스플레이하도록 제어할 수 있다. 여기서, 메시지에 대한 터치 제스처는 일 방향을의 터치 드래그일 수 있다. 프로세서(140)는 터치 제스처가 입력된 메시지를 번역 메시지로 대체하여 디스플레이하거나 터치 제스처가 입력된 메시지와 함께 번역 메시지를 디스플레이하도록 다스플레이(120)를 제어할 수 있다.
다른 실시 예에서, 프로세서(140)는 사용자 단말 장치(100)에 대한 모션 제스처가 감지되면, 디스플레이된 메시지 전체를 기 설정된 언어로 번역하여 디스플레이하도록 디스플레이(120)를 제어할 수 있다. 여기서, 모션 제스처는 사용자 단말 장치(100)의 회전 또는 직선 움직임, 흔들기(shaking) 등의 왕복 움직임 등을 포함하는 다양한 모션일 수 있다.
도 2는 본 발명의 일 실시 예에 따른, 사용자 단말 장치가 외부 서버와 통신하여 번역을 수행하는 시스템을 나타낸 도면이다.
네트워크(20)는 메시지 서비스 제공 서버(message service providing server, 200) 및 번역 서비스 제공 서버(300)를 포함할 수 있다.
네트워크(20)는 번역 서비스 제공 서버(300), 사용자 단말 장치(100), 메시지 서비스 제공 서버(200)를 무선으로 연결하여 메시지와 관련된 데이터를 상호 통신할 수 있도록 하는 단독 또는 복합의 어떤 네트워크이더라도 좋다.
본 발명에 따른 사용자 단말 장치(100)는 일반적으로 스마트 폰 등의 소형의 장치로 구현됨에 따라, 사용자 단말 장치(100)에 저장되는 데이터는 메모리 상의 측면에서 한계가 있을 수 밖에 없다. 따라서, 본 발명에 따른 사용자 단말 장치(100)는 통신부(110)를 통하여 번역 서비스 제공 서버(300)로부터 번역 데이터를 제공받는 것을 하나의 특징으로 한다.
번역 서비스 제공 서버(300)는 사용자 단말 장치(100)로부터 선택된 메시지를 수신하고, 수신된 메시지의 번역을 수행한다. 구체적으로, 번역 서비스 제공 서버(300)는 내부에 탑재된 번역 DB에 포함된 번역 데이터를 기반으로 번역 대상 메시지에 대한 번역을 수행하고, 번역이 수행된 번역 메시지를 사용자 단말 장치(100)로 전송할 수 있다. 여기서 번역 DB는 다양한 국가 언어에 따라 번역을 수행하기 위한 데이터를 저장한다. 사용자 단말 장치(100)는 번역 서비스 제공 서버(300)에 대하여 번역 대상이 되는 메시지를 전송하면서, 번역될 국가 언어가 설정된 언어 설정 정보를 전송할 수 있다. 예를 들어, 사용자는 사용자 단말 장치(100)에서 메시지가 번역될 국가 언어를 한국어로 설정할 수 있으며 이 경우, 번역 대상 메시지를 전송하면서, 언어 설정 정보를 같이 전송할 수 있다. 번역 서비스 제공 서버(300)는 수신된 언어 설정 정보에 기초하여 번역될 국가 언어에 따른 번역을 수행할 수 있다.
메시지 서비스 제공 서버(200)는 이동 통신 사업자 서버로서, 메시지 서비스를 제공하는 서버이다. 메시지 서비스 제공 서버(200)는 타 사용자 단말 장치에 대하여 SMS(Short Message Service), MMS(Multimedia Message Service) 등의 메시지 등의 메시지의 전송을 중계하는 서버, 모바일 메신저 서비스(mobile messenger service)에 의한 메시지의 전송을 중계하는 서버 및 소셜 네트워크 서비스를 제공하는 서버 중 적어도 하나를 포함할 수 있다.
사용자 단말 장치(100)는 메시지 서비스 제공 서버(200)를 통해 타 사용자 단말 장치와 메시지를 송수신하거나 소셜 네트워트 서비스를 제공하는 서버에 메시지를 전송할 수 있다.
도 3 내지 5는 본 발명의 일 실시 예에 따른, 메시지를 번역하기 위한 터치 제스처를 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 사용자는 사용자 단말 장치(100)상에서 메시지 어플리케이션을 실행하여 사용자 단말 장치(100)에 수신된 메시지를 볼 수 있으며, 메시지를 작성하여 다른 사용자 단말 장치로 전송할 수 있다.
일반적으로 메시지 어플리케이션에서는 도 3에 도시된 바와 같이 개별적으로 송수신되는 메시지 별로 메시지가 구별되어 디스플레이된다. 송수신되는 메시지는 각각의 메시지를 둘러싸는 메시지 박스(31, 32)에 의해 구별될 수 있다.
도 4a에 도시된 바와 같이, 사용자는 번역하고자 하는 번역 대상 메시지(41)에 대하여 기 설정된 터치 제스처를 수행하여 해당 메시지에 대하여 번역을 수행할 수 있다. 여기서 번역이 수행될 국가 언어는 메시지 어플리케이션 또는 사용자 단말 장치(100) 자체에서 제공되는 옵션 메뉴에 의해 설정되거나 변경될 수 있다.
사용자가 번역 대상 메시지(41)에 대하여 좌에서 우 방향으로 터치 드래그를 수행하면 해당 메시지(41)가 설정된 국가의 언어로 번역될 수 있다. 즉, 번역이 수행되는 단위는 송수신되는 메시지 단위로 구분된 메시지 박스가 될 수 있다.
도 4b는 터치 제스처가 수행된 메시지가 번역된 화면을 도시한 것이다. 설정된 국가의 언어가 영어인 경우, 사용자 단말 장치(100)는 제스처가 수행된 "어디서 만날까요?"의 메시지(41)를 번역 서비스 제공 서버(300)로 전송하고, 번역 서비스 제공 서버(300)로부터 "어디서 만날까요?"가 영어인 "Where shall we meet?"으로 번역된 번역 메시지(43)를 수신할 수 있다. 이때, 사용자 단말 장치(100)는 제스처가 수행된 메시지와 함께 번역될 언어 설정 정보(영어)를 전송할 수 있다.
사용자 단말 장치(100)는 도 4b에 도시된 바와 같이, 터치 제스처가 입력된 메시지(41)를 번역 메시지(43)로 대체하여 디스플레이할 수 있다.
다른 실시 예로서, 사용자 단말 장치(100)는 터치 제스처가 입력된 메시지("어디서 만날까요?")와 함께 번역 메시지("Where shall we meet?")를 추가적으로 디스플레이할 수도 있다. 예를 들어, 터치 제스처가 입력된 메시지 박스의 영역을 분할하거나 메시지 박스 아래에 또 다른 메시지 박스를 추가적으로 생성하고, 분할된 메시지 박스 영역 또는 추가적으로 생성된 메시지 박스에 번역 메시지("Where shall we meet?")를 디스플레이할 수도 있다.
또 다른 실시 예로서, 사용자 단말 장치(100)는 스피커를 추가로 구비하고, 사용자가 터치 제스처가 입력된 메시지 또는 번역 메시지에 대한 기 설정된 터치 제스처를 수행하는 경우, 프로세서(140)는 번역 메시지를 음성으로 변환하고, 변환된 음성을 스피커를 통해 출력할 수 있다. 이 경우, 통신부(110)는 텍스트를 음성으로 변환하는 TTS(Text to speech) 서버로 번역 메시지를 전송하고, TTS 서버로부터 번역 메시지가 변환된 음성 신호를 수신할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 도 5에 도시된 바와 같이 번역 메시지를 번역되기 전의 메시지로 되돌릴 수도 있다. 구체적으로, 프로세서(140)는 번역 메시지(51)에 대한 기 설정된 터치 제스처가 감지되면, 터치 제스처가 입력된 번역 메시지(51)를 번역되기 전의 원문(52)으로 디스플레이하도록 제어할 수 있다.
여기서, 번역 메시지(51)를 원문(52)으로 되돌리기 위한 터치 제스처는 원문(52)을 번역하기 위해 수행되는 터치 제스처와 반대 방향의 제스처일 수 있다. 예를 들어, 번역이 수행되기 전에 수신된 메시지를 번역하기 위한 터치 제스처는 제1 방향으로의 터치 드래그이고, 번역 메시지를 번역이 수행되기 전의 원문으로 되돌리기 위한 터치 제스처는, 제1 방향과 반대인 제2 방향으로의 터치 드래그일 수 있다.
도 6은 본 발명의 다른 실시 예에 따른, 메시지를 번역하기 위한 터치 제스처를 설명하기 위한 도면이다.
본 발명의 다른 실시 예에 따르면, 사용자 단말 장치(100)는 번역하고자 하는 메시지(41)에 대하여 기 설정된 터치 제스처, 예를 들어 도 6의 (a)와 같이 좌에서 우 방향의 터치 드래그를 수행하면 터치 드래그가 수행되는 도중에 "번역문 보기"(61)와 같이 터치 드래그에 따라 수행될 동작을 안내하는 안내 문구가 표시될 수 있다. 여기서, 좌에서 우 방향으로의 터치 드래그가 완료되지 않는 경우, 해당 메시지에 대한 번역이 수행되지 않을 수 있다. 터치 드래그가 완료되면, 안내 문구가 사라지고 메시지에 대한 번역문이 표시될 수 있다.
이와 마찬가지로, 도 6의 (b)에 도시된 바와 같이 번역 메시지에 대하여 우에서 좌 방향의 터치 드래그가 수행되는 도중에 "원문 보기"(62)와 같은 안내 문구가 표시될 수 있다. 터치 드래그가 완료되면, 안내 문구가 사라지고 번역문에 대한 원문이 표시될 수 있다.
도 7은 본 발명의 일 실시 예에 따른, 메시지의 발음 정보를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 7에 따르면, 프로세서(140)는 디스플레이(120)에 디스플레이된 메시지 중 어느 하나에 대한 발음 정보를 디스플레이하도록 제어할 수 있다. 구체적으로, 사용자가 발음 정보가 존재하는 메시지에 대하여 기 설정된 터치 제스처를 수행하는 경우, 해당 메시지의 발음 기호 등의 발음 정보를 디스플레이할 수 있다. 이때, 발음 정보는 해당 메시지와 함께 추가적으로 디스플레이되는 정보일 수 있다.
예를 들어, 도 7의 (a)에 도시된 바와 같이 사용자가 중국어 메시지에 대하여 핀치 아웃(pinch out) 제스처를 수행하는 경우, 프로세서(140)는 해당 중국어 메시지에 대한 발음 기호를 디스플레이할 수 있다. 이때, 도 7의 (b)에 도시된 바와 같이 핀치 아웃 제스처에 따라 제스처가 수행된 메시지 박스(71)의 영역이 분할되고, 분할된 각각의 영역에 중국어 메시지(72) 및 해당 중국어 메시지의 발음 기호(73)가 디스플레이될 수 있다.
여기서, 중국어의 발음 정보는 사용자 단말 장치(100)에 저장되어 있는 정보일 수 있다. 또는, 프로세서(140)는 번역 서비스 제공 서버(300)로 제스처가 수행된 메시지를 전송하고, 번역 서비스 제공 서버(300)로부터 해당 메시지의 발음 정보를 수신하여 디스플레이할 수도 있다.
이때, 본 발명의 사용자 단말 장치(100)는 스피커를 더 포함할 수 있으며, 프로세서(140)는 발음 정보에 대한 기 설정된 터치 제스처가 입력되면, 터치 제스처가 입력된 발음 정보를 음성으로 변환하고, 변환된 음성을 스피커를 통해 출력할 수 있다. 예를 들어, 사용자가 중국어 메시지의 발음 정보(73)가 디스플레이된 영역을 더블 터치하는 경우, 스피커를 통해 해당 발음 정보에 따른 음성이 출력될 수 있다.
도 8 및 9는 본 발명의 일 실시 예에 따른, 디스플레이된 전체 메시지를 번역하기 위한 모션 제스처를 설명하기 위한 도면이다.
도 8에 따르면 사용자는 모바일 메신저(mobile messenger)를 이용하여 단수 또는 복수의 사용자와 대화할 수 있다. 여기서, 모바일 메신저는 카카오톡(Kakao Talk), 라인(Line), 왓츠앱(WhatsApp) 등과 같은 상용(commercial) 메신저 어플리케이션을 포함한다.
도 8은 사용자가 영어를 사용하는 미국인 마이크, 일본어를 사용하는 일본인 미치코를 포함하는 다수 간에 실시간으로 메시지를 주고받는 실시 예를 도시한 것이다. 이때, 각 사용자가 서로 다른 언어로 메시지를 전송한다고 하더라도, 각 메시지에 대하여 기 설정된 제스처를 수행하여 해당 메시지에 대한 실시간 번역이 실행될 수 있다. 이때, 번역될 언어를 한국어로 설정한 경우, 영어 메시지(81) 및 일본어 메시지(82)는 모두 한국어로 번역이 수행될 수 있다.
이에 따라, 각 사용자는 번역 어플리케이션 등의 번역을 위한 별도의 어플리케이션을 실행하지 않더라도, 해당 메시지 어플리케이션 상에서 각 메시지가 번역된 화면을 볼 수 있으므로 대화가 끊어지지 않고 원활한 소통이 가능할 수 있다.
한편, 사용자는 사용자 단말 장치(100)에 대하여 기 설정된 모션 제스처를 수행하여 디스플레이(120)에 디스플레이된 메시지 전체에 대한 각 번역 메시지를 볼 수 있다. 예를 들어, 도 9에 도시된 바와 같이 사용자가 사용자 단말 장치(100)를 잡고 흔드는 모션을 수행하는 경우, 프로세서(140)는 디스플레이(120)에 디스플레이된 메시지 중 번역이 수행될 수 있는 외국어 메시지(81, 82)를 모두 기 설정된 언어로 번역하고, 번역된 번역 메시지(91, 92)로 각 메시지(81, 82)를 대체하여 디스플레이할 수 있다. 이때, 프로세서(140)는 디스플레이된 모든 외국어 메시지(81, 82)를 번역 서비스 제공 서버(300)로 전송하고, 이에 대한 번역 메시지(91, 92)를 수신하여 디스플레이한다.
이를 통해 사용자는 각 메시지에 대하여 개별적으로 터치 제스처를 수행할 필요 없이 하나의 모션 제스처를 수행하여 디스플레이된 전체 메시지를 기 설정된 국가 언어로 번역할 수 있다.
도 10은 본 발명의 일 실시 예에 따른, 소셜 네트워크 서비스에서 포스팅되는 메시지를 번역하기 위한 터치 제스처를 설명하기 위한 도면이다.
도 10에 따르면, 소셜 네트워크 서비스(Social Network Service, 이하 SNS)를 통해 제공되는 모바일 페이지상에서 포스팅되는 게시물 또는 그 게시물에 대한 코멘트와 같은 메시지에 대하여 실시간 번역이 이루어질 수 있다. 여기서, SNS는 페이스북(Facebook), 트위터(Twitter)와 같이 온라인 상에서 인터넷 사용자들의 관계망을 구축해주는 온라인 서비스를 포함한다. 소셜 네트워크 서비스는 사용자 단말 장치(100) 상에서 소셜 네트워크 서비스를 제공하는 어플리케이션을 플랫폼으로 하여 실행될 수도 있다,
도 10의 (a)는 사용자 단말 장치(100)가 SNS에 접속된 화면을 나타낸 것이다. 도 10의 (a)에 도시된 바와 같이, SNS는 포스팅되는 메시지(1010) 및 이에 대한 코멘트 형식의 메시지(1020 ~ 1040)를 기본적인 템플릿으로 하여 구성될 수 있다. 여기서, 포스팅되는 메시지(1010) 및 코멘트되는 메시지(1020 ~ 1040)는 각각 메시지 단위로 구별되어 디스플레이되며 이 경우, 각각의 메시지는 메시지 단위로 번역이 수행될 수 있다.
예를 들어, 도 10의 (b)에 도시된 바와 같이 사용자는 코멘트되는 메시지(1020 ~ 1040) 중 어느 하나의 메시지(1040)에 대하여 터치 드래그 제스처를 수행할 수 있으며, 터치 드래그 제스처가 수행된 메시지(1040)는 기 설정된 언어로 번역된 번역 메시지(1050)로 대체되어 디스플레이될 수 있다
도 11은 본 발명의 다른 실시 예에 따른, 사용자 단말 장치의 구성을 상세히 도시한 블럭도이다. 도 11에 도시된 바와 같이, 본 발명의 다른 실시 예에 따른 사용자 단말 장치(100')는 통신부(110), 디스플레이(120), 감지부(130), 프로세서(140), 저장부(150), 영상 처리부(160), 오디오 처리부(170), 오디오 출력부(180) 및 사용자 인터페이스부(190)를 포함한다. 이하에서는 도 1에서의 설명과 중복되는 부분에 대한 설명은 생략하기로 한다.
프로세서(140)는 RAM(141), ROM(142), 그래픽 처리부(1430, CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 및 버스(146)를 포함한다. 여기서, RAM(141), ROM(142), 그래픽 처리부(1430, CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(145-1 ~ 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
CPU(144)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, CPU(144)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠 및 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
RAM(141)에는 시스템 부팅을 위한 명렁어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(144)는 ROM(142)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(144)는 저장부(150)에 저장된 각종 애플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 애플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(143)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
한편, 상술한 프로세서(140)의 동작은 저장부(150)에 저장된 프로그램이 실행되어 이루어질 수 있다.
저장부(150)는 사용자 단말 장치(100')를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장할 수 있다.
구체적으로 저장부(150)는 사용자 단말 장치(100')에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하는 베이스 모듈, 데이터베이스(DB)나 레지스트리를 관리하는 스토리지 모듈, 레이아웃의 화면을 생성하기 위한 그래픽 처리 모듈, 보안 모듈 등을 저장할 수 있다. 특히, 저장부(150)는 본 발명의 일 실시 예에 따른 번역 서비스 제공을 구현하는데 필요한 통신 모듈, 번역 모듈 등의 프로그램이 저장되어 있을 수 있다.
프로세서(140)는 통신 모듈을 이용하여 타 사용자 단말 장치(200), 메시지 서비스 제공 서버(300), 번역 서비스 제공 서버(300) 등과 통신을 수행할 수 있다.
영상 처리부(160)는 컨테츠에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행하는 구성요소이다.
오디오 처리부(170)는 오디오 데이터에 대한 처리를 수행하는 구성요소이다. 구체적으로, 오디오 처리부(170)는 터치 제스처가 입력된 발음 정보를 처리하여 음성 데이터로 변환하고, 변환된 음성 데이터를 오디오 출력부(180)로 전달할 수 있다.
오디오 출력부(180)는 오디오 처리부(170)에서 처리된 오디오 데이터를 출력하는 구성이다. 오디오 출력부(180)는 변환된 음성 데이터를 출력하며, 리시버 또는 스피커로 출력할 수 있다.
사용자 인터페이스부(190)는 사용자 단말 장치(100')의 전반적인 동작을 제어하기 위한 사용자 인터렉션을 감지하기 위한 구성요소이다.
도 12는 본 발명의 일 실시 예에 따른, 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 외부 장치와의 통신에 의해 송수신되는 메시지를 디스플레이하도록 제어한다(S1210). 이때, 송수신되는 메시지는 메시지 단위로 구분되어 디스플레이된다.
이후, 사용자 단말 장치에 대한 제스처를 감지한다(S1220). 이때, 메시지에 대한 제스처는 제1 방향으로의 터치 드래그일 수 있다. 또한, 메시지가 번역된 번역 메시지에 대한 터치 제스처는 제1 방향과 반대인 제2 방향으로의 터치 드래그일 수 있다.
이후, 제스처가 감지되면, 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공한다(S1230). 이때, 메시지 단위로 디스플레이된 메시지에 대한 번역 서비스를 제공할 수 있다. 또한, 디스플레이된 메시지 중 적어도 하나에 대한 터치 제스처가 감지되면, 터치 제스처가 입력된 메시지가 기 설정된 언어로 번역된 번역 메시지를 디스플레이하도록 제어할 수 있다. 또한, 번역 메시지에 대한 터치 체스처가 감지되면, 터치 제스처가 입력된 번역 메시지를 번역되기 전의 원문으로 디스플레이하도록 제어할 수 있다.
이때, 터치 제스처가 입력된 메시지는 번역 메시지로 대체되어 디스플레이되도록 제어할 수 있다. 또한, 터치 제스처가 입력된 메시지는 터치 제스처가 입력된 메시지와 함께 번역 메시지를 디스플레이되도록 제어할 수도 있다.
또한, 번역 메시지에 대한 터치 제스처가 입력되면, 터치 제스처가 입력된 번역 메시지에 대한 발음 정보를 디스플레이하도록 제어할 수도 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 다른 사용자 단말 장치와 주고 받는 메시지를 즉각적으로 번역할 수 있으므로, 다른 언어를 사용하는 사용자 간에 소통이 좀 더 원활하게 이루어질 수 있다.
상술한 다양한 실시 예에 따른 사용자 단말 장치의 제어 방법은 프로그램으로 구현되어 다양한 기록 매체에 저장될 수 있다. 즉, 각종 프로세서에 의해 처리되어 상술한 다양한 제어 방법을 실행할 수 있는 컴퓨터 프로그램이 기록 매체에 저장된 상태로 사용될 수도 있다.
일 예로, 외부 장치와의 통신에 의해 송수신되는 메시지를 디스플레이하는 단계, 사용자 단말 장치에 대한 제스처를 감지하는 단계 및 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 사용자 단말 장치 110: 통신부
120: 디스플레이 130: 감지부
140: 프로세서 200: 메시지 서비스 제공 서버
300: 번역 서비스 제공 서버

Claims (20)

  1. 번역 서비스를 제공하는 사용자 단말 장치에 있어서,
    외부 장치와 통신을 수행하는 통신부;
    상기 외부 장치와의 통신에 의해 송수신되는 메시지를 디스플레이하는 디스플레이;
    상기 사용자 단말 장치에 대한 제스처를 감지하는 감지부; 및
    기 설정된 제스처가 감지되면, 상기 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공하는 프로세서;를 포함하는 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 송수신되는 메시지를 메시지 단위로 구분하여 디스플레이하고, 상기 메시지 단위로 상기 디스플레이된 메시지에 대한 번역 서비스를 제공하는 것을 특징으로 하는 사용자 단말 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이된 메시지 중 적어도 하나에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 메시지가 기 설정된 언어로 번역된 번역 메시지를 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 번역 메시지에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 번역 메시지를 번역되기 전의 원문으로 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제4항에 있어서,
    상기 메시지에 대한 터치 제스처는,
    제1 방향으로의 터치 드래그이고,
    상기 번역 메시지에 대한 터치 제스처는,
    상기 제1 방향과 반대인 제2 방향으로의 터치 드래그인 것을 특징으로 하는 사용자 단말 장치.
  6. 제3항에 있어서,
    상기 프로세서는,
    상기 터치 제스처가 입력된 메시지를 상기 번역 메시지로 대체하여 디스플레이하거나, 상기 터치 제스처가 입력된 메시지와 함께 상기 번역 메시지를 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  7. 제3항에 있어서,
    상기 프로세서는,
    상기 번역 메시지에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 번역 메시지에 대한 발음 정보를 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  8. 제7항에 있어서,
    스피커;를 더 포함하고,
    상기 프로세서는,
    상기 발음 정보에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 발음 정보를 음성으로 변환하고, 상기 변환된 음성을 상기 스피커를 통해 출력하는 것을 특징으로 하는 사용자 단말 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자 단말 장치에 대한 모션 제스처가 감지되면, 상기 디스플레이된 메시지 전체를 기 설정된 언어로 번역하여 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  10. 제1항에 있어서,
    상기 통신부는,
    번역 서비스를 제공하는 외부 서버와 통신을 수행하고,
    상기 프로세서는,
    상기 디스플레이된 메시지 중 적어도 하나의 메시지를 상기 외부 서버로 전송하고, 상기 외부 서버로부터 수신된 상기 적어도 하나의 메시지에 대한 번역 메시지를 디스플레이하도록 제어하는 것을 특징으로 하는 사용자 단말 장치.
  11. 번역 서비스를 제공하는 사용자 단말 장치의 제어 방법에 있어서,
    외부 장치와의 통신에 의해 송수신되는 메시지를 디스플레이하는 단계;
    상기 사용자 단말 장치에 대한 제스처를 감지하는 단계; 및
    상기 디스플레이된 메시지 중 적어도 하나의 메시지에 대한 번역 서비스를 제공하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 디스플레이하는 단계는,
    상기 송수신되는 메시지를 메시지 단위로 구분하여 디스플레이하고,
    상기 번역 서비스를 제공하는 단계는,
    상기 메시지 단위로 상기 디스플레이된 메시지에 대한 번역 서비스를 제공하는 것을 특징으로 하는 제어 방법.
  13. 제11항에 있어서,
    상기 번역 서비스를 제공하는 단계는,
    상기 디스플레이된 메시지 중 적어도 하나에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 메시지가 기 설정된 언어로 번역된 번역 메시지를 디스플레이하는 것을 특징으로 하는 제어 방법.
  14. 제13항에 있어서,
    상기 번역 서비스를 제공하는 단계는,
    상기 번역 메시지에 대한 터치 제스처가 감지되면, 상기 터치 제스처가 입력된 번역 메시지를 번역되기 전의 원문으로 디스플레이하는 것을 특징으로 하는 제어 방법.
  15. 제14항에 있어서,
    상기 메시지에 대한 터치 제스처는,
    제1 방향으로의 터치 드래그이고,
    상기 번역 메시지에 대한 터치 제스처는,
    상기 제1 방향과 반대인 제2 방향으로의 터치 드래그인 것을 특징으로 하는 제어 방법.
  16. 제13항에 있어서,
    상기 번역 서비스를 제공하는 단계는,
    상기 터치 제스처가 입력된 메시지를 상기 번역 메시지로 대체하여 디스플레이하거나, 상기 터치 제스처가 입력된 메시지와 함께 상기 번역 메시지를 디스플레이하는 것을 특징으로 하는 제어 방법.
  17. 제13항에 있어서,
    상기 번역 메시지에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 번역 메시지에 대한 발음 정보를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  18. 제17항에 있어서,
    상기 발음 정보에 대한 터치 제스처가 입력되면, 상기 터치 제스처가 입력된 발음 정보를 음성으로 변환하는 단계; 및
    상기 변환된 음성을 스피커를 통해 출력하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  19. 제11항에 있어서,
    상기 번역 서비스를 제공하는 단계는,
    상기 사용자 단말 장치에 대한 모션 제스처가 감지되면, 상기 디스플레이된 메시지 전체를 기 설정된 언어로 번역하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  20. 제11항에 있어서,
    상기 번역 서비스를 제공하는 단계는,
    상기 디스플레이된 메시지 중 적어도 하나의 메시지를 상기 외부 서버로 전송하는 단계;
    상기 외부 서버로부터 상기 적어도 하나의 메시지에 대한 번역 메시지를 수신하는 단계; 및
    상기 수신된 번역 메시지를 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.

KR1020150108233A 2015-07-30 2015-07-30 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법 KR20170014589A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150108233A KR20170014589A (ko) 2015-07-30 2015-07-30 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법
CN201680043189.XA CN107851096A (zh) 2015-07-30 2016-06-22 用于提供翻译服务的用户终端装置及其控制方法
US15/572,400 US20180150458A1 (en) 2015-07-30 2016-06-22 User terminal device for providing translation service, and method for controlling same
PCT/KR2016/006585 WO2017018665A1 (ko) 2015-07-30 2016-06-22 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150108233A KR20170014589A (ko) 2015-07-30 2015-07-30 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20170014589A true KR20170014589A (ko) 2017-02-08

Family

ID=57884609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150108233A KR20170014589A (ko) 2015-07-30 2015-07-30 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법

Country Status (4)

Country Link
US (1) US20180150458A1 (ko)
KR (1) KR20170014589A (ko)
CN (1) CN107851096A (ko)
WO (1) WO2017018665A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3407550A1 (en) * 2017-05-26 2018-11-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for sending messages and mobile terminal
KR20190012464A (ko) * 2017-07-27 2019-02-11 이병두 텍스트 메시지에 감정을 표시하는 메시징 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6382475B1 (ja) * 2017-01-17 2018-08-29 初実 田中 多言語コミュニケーションシステムおよび多言語コミュニケーション提供方法
CA3114989A1 (en) * 2018-11-27 2020-06-04 Inventio Ag Method and device for outputting an audible voice message in an elevator system
CN110995919B (zh) * 2019-11-08 2021-07-20 维沃移动通信有限公司 一种消息处理方法和电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366023A (zh) * 2005-11-14 2009-02-11 野田文隆 多语言交流系统
KR101498028B1 (ko) * 2008-04-29 2015-03-03 엘지전자 주식회사 단말기 및 그 제어 방법
US8583373B2 (en) * 2008-11-17 2013-11-12 At&T Services, Inc. Methods and apparatuses for providing enhanced navigation services
JP5500818B2 (ja) * 2008-11-18 2014-05-21 シャープ株式会社 表示制御装置および表示制御方法
CN102737238A (zh) * 2011-04-01 2012-10-17 洛阳磊石软件科技有限公司 基于手势动作的字符识别系统、方法、及其应用
KR20130071958A (ko) * 2011-12-21 2013-07-01 엔에이치엔(주) 인스턴트 메시징 어플리케이션에서 메시지 통번역을 제공하는 시스템 및 방법
KR101375166B1 (ko) * 2012-05-14 2014-03-20 전남대학교산학협력단 문자화장단말기 및 제어방법
US9087046B2 (en) * 2012-09-18 2015-07-21 Abbyy Development Llc Swiping action for displaying a translation of a textual image
KR102001218B1 (ko) * 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9411801B2 (en) * 2012-12-21 2016-08-09 Abbyy Development Llc General dictionary for all languages
US8761513B1 (en) * 2013-03-15 2014-06-24 Translate Abroad, Inc. Systems and methods for displaying foreign character sets and their translations in real time on resource-constrained mobile devices
US9436287B2 (en) * 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US8965129B2 (en) * 2013-03-15 2015-02-24 Translate Abroad, Inc. Systems and methods for determining and displaying multi-line foreign language translations in real time on mobile devices
KR102088911B1 (ko) * 2013-04-18 2020-03-13 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
CN104281399B (zh) * 2013-07-12 2017-08-25 英业达科技有限公司 依据手势翻译对应目标文字的系统及其方法
CN104298491B (zh) * 2013-07-18 2019-10-08 腾讯科技（深圳）有限公司 消息处理方法及装置
KR101421621B1 (ko) * 2013-07-30 2014-07-22 (주)블루랩스 언어통역기능을 갖는 스마트폰 단말기 및 이를 포함하는 언어통역시스템
US9792896B2 (en) * 2015-12-15 2017-10-17 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3407550A1 (en) * 2017-05-26 2018-11-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for sending messages and mobile terminal
KR20190012464A (ko) * 2017-07-27 2019-02-11 이병두 텍스트 메시지에 감정을 표시하는 메시징 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
CN107851096A (zh) 2018-03-27
WO2017018665A1 (ko) 2017-02-02
US20180150458A1 (en) 2018-05-31

Similar Documents

Publication Publication Date Title
CN105849743B (zh) 用户终端设备、通信系统及其控制方法
US20170185373A1 (en) User terminal device, and mode conversion method and sound system for controlling volume of speaker thereof
US20160313966A1 (en) User terminal device providing user interaction and method therefor
EP3873073A1 (en) Method for connecting mobile terminal and external display and apparatus implementing the same
KR20140144104A (ko) 전자기기 및 이의 서비스 제공 방법
US9829706B2 (en) Control apparatus, information processing apparatus, control method, information processing method, information processing system and wearable device
US20150339018A1 (en) User terminal device and method for providing information thereof
KR20140092873A (ko) 적응식 입력 언어 전환
KR20170014589A (ko) 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법
US20140173516A1 (en) Display apparatus and method of providing user interface thereof
KR102368044B1 (ko) 사용자 단말 장치 및 이의 제어 방법
JP6439266B2 (ja) タッチスクリーンを有する電子装置におけるテキスト入力方法及び装置
EP2806622B1 (en) Displaying a group message
US20220129230A1 (en) Electronic apparatus, display apparatus and controlling method thereof
US20200293168A1 (en) Electronic apparatus and method for controlling thereof
US11243679B2 (en) Remote data input framework
US20210067476A1 (en) Intelligent chat object sending animations
WO2015014138A1 (zh) 一种显示框显示的方法、装置和设备
KR20140072737A (ko) 디스플레이 장치 및 이의 사용자 메뉴 제공 방법
CN115390707A (zh) 分享处理方法、装置、电子设备及存储介质
KR101667721B1 (ko) 다중 디스플레이 방법 및 이를 이용하는 이동 단말기
JP6259225B2 (ja) 電子機器およびこれに接続された携帯端末のジェスチャ認識操作方法、車載システム
KR20220037285A (ko) 대화형 이모티콘 생성 장치 및 방법
KR101799413B1 (ko) 스크롤 입력 기반 인터랙티브 노선정보 제공 시스템 및 방법, 그리고 이를 위한 사용자 장치 및 컴퓨터 프로그램이 기록된 기록매체
KR20140062799A (ko) 디스플레이 장치 및 이의 메시지 전달 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application