KR20160071400A - A gesture based system for translation and transliteration of input text and a method thereof - Google Patents

A gesture based system for translation and transliteration of input text and a method thereof Download PDF

Info

Publication number
KR20160071400A
KR20160071400A KR1020167011036A KR20167011036A KR20160071400A KR 20160071400 A KR20160071400 A KR 20160071400A KR 1020167011036 A KR1020167011036 A KR 1020167011036A KR 20167011036 A KR20167011036 A KR 20167011036A KR 20160071400 A KR20160071400 A KR 20160071400A
Authority
KR
South Korea
Prior art keywords
user
electrical signal
input character
user interface
input
Prior art date
Application number
KR1020167011036A
Other languages
Korean (ko)
Inventor
데시무크 라케시
방가람반디 수디르
동그레 아카쉬
파드마나반 하리하란
Original Assignee
오에스랩스 피티이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오에스랩스 피티이 리미티드 filed Critical 오에스랩스 피티이 리미티드
Priority claimed from PCT/IN2014/000623 external-priority patent/WO2015049697A1/en
Publication of KR20160071400A publication Critical patent/KR20160071400A/en

Links

Images

Classifications

    • G06F17/289—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Abstract

본 발명에 의하면, 입력문자의 번역 및 음역용 손동작을 기반으로 하는 시스템 및 대응하는 방법이 개시된다. 본 발명에 의한 시스템 및 방법은 사용자에 의하여 수행되는 손동작에 근거하여 입력문자의 선택적인 번역 및 음역을 제공한다. 본 발명에 따르면, 사용자가 예컨대 좌측 문지름 손동작을 행할 때, 제1 언어로 된 입력문자는 사용자에 의하여 미리 정해진 언어로 음역된다. 사용자가 예컨대 우측 문지름을 수행하면, 입력문자는 제1 언어로부터 사용자에 의하여 미리 정해진 언어로 번역된다. 본 발명에 의한 시스템 및 방법은 또한, 사용자로 하여금 미리 정해진 손동작을 수행함으로써 입력문자의 원래 언어, 즉 제1 언어로 되돌릴 수 있도록 한다. According to the present invention, a system and a corresponding method based on the translation of input characters and the hand operation for transliteration are disclosed. The system and method according to the present invention provides a selective translation and transliteration of input characters based on hand gestures performed by the user. According to the present invention, when the user performs, for example, the left-hand rubbing operation, the input character in the first language is translated in a predetermined language by the user. If the user performs, for example, right-side rubbing, the input character is translated from the first language into a predetermined language by the user. The system and method of the present invention also allows the user to return to the original language of the input character, i.e., the first language, by performing a predetermined hand gesture.

Description

손 동작을 기반으로 한 입력문자의 번역 및 음역용 시스템 및 방법 {A GESTURE BASED SYSTEM FOR TRANSLATION AND TRANSLITERATION OF INPUT TEXT AND A METHOD THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and a method for translating and translating an input character based on hand movements,

본 출원은, 2013년 10월 4일자로 인도 특허청에 출원된 출원번호 3161/MUM/2013 호로서 발명의 명칭이 "실시간 언어번역 및 음역용 방법 및 시스템"인 특허출원의 우선권을 주장하는 것으로서, 그의 내용은 본 명세서에 결합되어 있다.This application claims priority to a patent application entitled " Method and System for Real-Time Language Translation and Translation, " filed on October 4, 2013, with application number 3161 / MUM / 2013, filed with the Indian Intellectual Property Office, The contents of which are incorporated herein.

본 발명은 사용자 인터페이스 분야에 관한 것으로서, 특히, 본 발명은 인도 언어 인터페이스에 관한 것이다. 보다 상세하게는, 본 발명은 번역 및 음역 능력을 가지는 사용자 인터페이스에 관한 것이다.The present invention relates to the field of user interfaces, and more particularly, the present invention relates to an Indian language interface. More particularly, the present invention relates to a user interface having translation and transliteration capabilities.

통신분야에서의 최근의 기술적 발전상태를 감안할 때, 상호간에 통신을 목적으로 휴대전화를 사용하는 사람들의 수가 상당수 증가되었다. 현재 상용 휴대전화는 사용자들로 하여금 음성으로 상호간에 통신을 가능하게 함과 동시에 문자 메시지를 교환하는 것도 가능하게 한다.Given the recent technological advances in the communications field, the number of people using cell phones for communication purposes has increased significantly. Currently, commercial mobile phones enable users to communicate with each other by voice and also exchange text messages.

또한, 일부 휴대전화는 사용자들에게 기계 번역 기능을 제공하기도 한다. 전형적으로, 기계 번역기는 휴대전화 상에서 별도의 설치가능한 소프트웨어 어플리케이션으로서 제공된다. 또한, 사용자는 인터넷 상에서 제공되는 기계 번역기를 이용하도록 휴대전화 상에서 월드와이드웹에 액세스할 수 있는 선택이 주어지기도 한다.In addition, some mobile phones also provide users with machine translation capabilities. Typically, the machine translator is provided as a separate, installable software application on the mobile phone. In addition, the user may be given the option of accessing the World Wide Web on a mobile phone to use a machine translator provided on the Internet.

하지만, 종래의 기계 번역기 및 그의 어플리케이션과 관련된 결점 중의 하나는, 이들 어플리케이션들이 휴대전화의 운용 시스템과 일체로 되어 있지 않다는 점으로서, 입력된 문자가 번역되도록 하기 위하여 이들 기능을 사용하려면 사용자는 입력된 문자를 수작업으로 복사하고 이들을 번역 어플리케이션에 넣어야만 한다. 이와 같이 종래 기술에서의 번역기(어플리케이션) 상의 기계번역 과정은 번역과정이 귀찮고 또한 실행하기도 용이하지 않다. However, one of the drawbacks associated with conventional machine translation and its applications is that these applications are not integrated with the operating system of the mobile phone, so that in order to use these functions to translate input characters, You have to manually copy the characters and put them into your translation application. As described above, the machine translation process on the translator (application) in the prior art is troublesome and difficult to perform.

상술한 문제점을 해결하고, 입력된 문자의 번역/음역의 전체 과정을 단순화하기 위하여, 미국 특허출원공개 US20070255554 호에는 '통신 네트워크 내에서 자동 언어번역을 제공하는 시스템 및 방법'이 제안되어 있다. 그러나, US20070255554 호에 의한 시스템은 자동 번역을 위하여 서비스 센터를 통한 통신 호출을 보내는 것을 포함한다. 자동 번역을 위하여 제 3의 서비스 센터를 이용한다는 것은, 무엇보다도 입력된 문자가 제 3의 서비스센터로 재전송되기 때문에 비밀유지/비밀보장이 훼손될 수 밖에 없으며, 두번째로 실제의 번역은 메시지가 전송 중에 있을 때 발생하기 때문에 사용자로서는 원래의 문자와 번역된 문자를 비교해볼 수 없다는 것을 의미한다. 또한, 종래 기술의 시스템은 인도 언어를 영어로 음역(音譯)하는 기능을 제공하지 않는다.In order to solve the above problems and to simplify the entire process of translation / transliteration of input characters, U.S. Patent Application Publication No. US20070255554 proposes a system and method for providing automatic language translation in a communication network. However, the system according to US20070255554 involves sending a communication call through a service center for automatic translation. The use of a third service center for automatic translation means that the input letter is retransmitted to the third service center, which inevitably leads to damage to the confidentiality / confidentiality, and secondly, It means that the user can not compare the original character with the translated character. Also, the prior art system does not provide the ability to translate the Indian language into English.

본 발명의 목적은 입력된 문자의 효율적이며 효과적인 번역을 가능하게 하는 시스템을 제공함에 있다.It is an object of the present invention to provide a system which enables efficient and effective translation of inputted characters.

본 발명의 다른 목적은 입력된 문자의 효율적이며 효과적인 음역을 가능하게 하는 시스템을 제공함에 있다.It is another object of the present invention to provide a system that enables efficient and effective transliteration of inputted characters.

본 발명의 다른 목적은 사용자에 의해 수행된 미리 정해진 손동작(gesture)에 근거하여 입력된 문자의 번역 및 음역을 가능하게 하는 시스템을 제공함에 있다.It is another object of the present invention to provide a system that enables translation and transliteration of inputted characters based on a predetermined gesture performed by a user.

본 발명의 또 하나의 목적은 사용자 친화적이며 사용하기에 용이한 시스템을 제공하는 것이다.It is another object of the present invention to provide a user friendly and easy to use system.

본 발명의 다른 목적은 다수 개의 인도 언어로부터 영어로 입력문자를 번역 및 음역하고 그 반대의 경우도 가능한 시스템을 제공함에 있다.Another object of the present invention is to provide a system capable of translating and translating input characters from a plurality of Indian languages to English, and vice versa.

본 발명의 다른 목적은 사용자에게 모국어(인도 언어)로 된 입력문자를 제공하고, 그 후 입력문자를 SMS/이메일로 발송하기 전에 영어로 된 입력문자로 변환할 수 있도록 하는 시스템을 제공하는 것이다.Another object of the present invention is to provide a system for providing a user with an input character in a native language (Indian language) and then converting the input character into an input character in English before sending it via SMS / e-mail.

본 발명의 다른 목적은 사용자로 하여금 영어로 된 문자열을 수신하고, 그 후 수신된 문자열을 미리 정해진 인도 언어 중의 하나로 변환할 수 있는 시스템을 제공함에 있다.It is another object of the present invention to provide a system in which a user can receive a string in English and then convert the received string into one of a predetermined delivery language.

본 발명은, 입력 언어 이외의 다른 언어로 입력문자를 선택적으로 표시하기 위한 컴퓨터 구현 시스템을 제공한다. 본 발명에 의한 시스템은 사용자에 의하여 수행된 손동작에 근거하여 입력문자를 번역/음역한다. 이 시스템은 사용자로부터의 입력으로서, 문자를 받아들이도록 구성되는 사용자 인터페이스를 포함한다. The present invention provides a computer implemented system for selectively displaying input characters in a language other than the input language. The system according to the present invention translates / translates input characters based on a hand gesture performed by a user. The system includes, as input from a user, a user interface configured to accept characters.

이 시스템은 사용자 인터페이스와 협력하는 인식모듈을 포함한다. 이 인식모듈은 사용자 인터페이스 상에서 사용자에 의하여 수행되는 손동작을 인식하고, 미리 정해진 사용자의 손동작을 대응하는 전기신호로 변환하도록 구성된다. 그 전기신호는 입력문자를 그 입력된 언어 이외의 언어로 표현하기 위한 지령을 포함한다.The system includes a recognition module cooperating with a user interface. The recognition module is configured to recognize a hand gesture performed by a user on a user interface and to convert a predetermined user's hand gesture into a corresponding electric signal. The electric signal includes an instruction to express the input character in a language other than the input language.

상기 시스템은 상기 전기 신호를 선택적으로 수신하도록 인식모듈과 협력하는 번역모듈을 더 포함하며, 번역모듈은 인식모듈로부터의 전기신호를 수신한 후에 입력문자를 번역하도록 구성된다.The system further comprises a translation module cooperating with the recognition module to selectively receive the electrical signal, wherein the translation module is configured to translate the input character after receiving the electrical signal from the recognition module.

상기 시스템은 또한 상기 전기 신호를 선택적으로 수신하도록 인식모듈과 협력하는 음역모듈을 더 포함하며, 음역모듈은 인식모듈로부터의 전기신호를 수신한 후에 입력문자를 음역하도록 구성된다.The system also includes a transliteration module cooperating with the recognition module to selectively receive the electrical signal, wherein the transliteration module is configured to translate the input character after receiving the electrical signal from the recognition module.

본 발명에 따르면, 사용자 인터페이스는 번역된 문자 및 음역된 문자를 수신하도록 번역모듈 및 음역모듈과 협력하고, 또한 사용자 인터페이스는 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여 적어도 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하도록 구성된다.According to the present invention, the user interface cooperates with a translation module and a transliteration module to receive translated characters and transliterated characters, and the user interface also includes at least input characters, translated characters, and characters based on a predetermined hand gesture performed by the user. And is configured to selectively display transliteration characters.

본 발명에 따르면, 인식모듈은 사용자 인터페이스 상에서, 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하도록 구성된다.According to the present invention, the recognition module is configured to recognize, on the user interface, at least a left-hand rubbing hand gesture and a right-hand gesture hand gesture performed by the user.

본 발명에 따르면, 인식모듈은 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 인식모듈은 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하도록 구성된다.According to the invention, the recognition module converts the left rubbing hand gesture into an electrical signal to translate the input character provided by the user, and the recognition module also converts the right rubbing gesture into an electrical signal to translate the input character provided by the user .

본 발명은 또한 사용자에 의하여 수행된 손동작에 근거하여 입력문자를 선택적으로 입력 언어 이외의 언어로 표시하기 위한 컴퓨터 구현 방법을 제공한다. 본 발명에 따르면, 컴퓨터 구현 방법은; 사용자 인터페이스를 통하여 사용자로부터의 입력문자를 수신하는 단계; 인식모듈을 사용하여 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하는 단계; 사용자로부터의 미리 정해진 손동작을 대응하는 전기신호로 변환하며, 전기신호는 입력언어 이외의 언어로 입력문자를 표시하기 위한 지령을 포함하는 단계; 전기신호들을 선택적으로 번역모듈 및 음역모듈로 전송하는 단계; 인식모듈로부터의 전기신호를 수신한 후, 입력문자를 번역하는 단계; 인식모듈로부터 전기신호를 수신한 후, 입력문자를 음역하는 단계 및; 사용자 인터페이스를 사용하여 번역된 문자 및 음역된 문자를 수신하고, 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여, 사용자 인터페이스 상에서 그 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하는 단계를 포함한다. The present invention also provides a computer implemented method for selectively displaying input characters in a language other than the input language based on a hand gesture performed by a user. According to the present invention, a computer implemented method comprises: Receiving an input character from a user through a user interface; Recognizing a predetermined hand gesture performed by the user on the user interface using the recognition module; Converting a predetermined hand gesture from a user into a corresponding electrical signal, the electrical signal including an instruction to display an input character in a language other than the input language; Selectively transmitting electrical signals to a translating module and a translucent module; Translating an input character after receiving an electrical signal from the recognition module; Receiving an electrical signal from the recognition module and translating the input character; Translating and transliterating characters using the user interface and selectively displaying the input character, translated character and transliterated character on the user interface based on a predetermined hand gesture performed by the user do.

본 발명에 따르면, 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하는 단계는, 사용자 인터페이스 상에서 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하는 단계를 더 포함한다.According to the present invention, recognizing the predetermined hand gesture performed by the user on the user interface further comprises recognizing at least the left gesture gesture and the right gesture gesture performed by the user on the user interface.

본 발명에 따르면, 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하는 단계는, 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하는 단계를 더 포함한다.According to the present invention, the step of recognizing at least the left hand rubbing hand gesture and the right hand rubbing hand gesture comprises the steps of converting the left rubbing hand gesture into an electrical signal to translate the input character provided by the user and also translating the input character provided by the user And converting the right rubbing hand gesture into an electrical signal.

컴퓨터로 실행가능한 지령들이 저장된 컴퓨터로 판독가능한 비일시적 매체로서, 상기 컴퓨터로 판독가능한 지령들은, 프로세서에 의하여 실행될 때, 컴퓨터로 실행되는 장치로 하여금, 사용자 인터페이스를 통하여 사용자로부터의 입력문자를 수신하고; 인식모듈을 사용하여 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하고; 사용자로부터의 미리 정해진 손동작을 대응하는 전기신호로 변환하며, 전기신호는 입력언어 이외의 언어로 입력문자를 표시하기 위한 지령을 포함하고; 전기신호들을 선택적으로 번역모듈 및 음역모듈로 전송하고; 인식모듈로부터의 전기신호를 수신한 후, 입력문자를 번역하고; 인식모듈로부터 전기신호를 수신한 후, 입력문자를 음역하고; 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여, 사용자 인터페이스 상에 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하도록 하는 컴퓨터로 판독가능한 비일시적 매체이다.A computer-readable non-volatile medium having computer-executable instructions stored thereon, the computer-readable instructions, when executed by a processor, cause a computer-implemented device to receive input characters from a user via a user interface ; Recognizing a predetermined hand gesture performed by the user on the user interface using the recognition module; Converting a predetermined hand gesture from a user into a corresponding electrical signal, the electrical signal including an instruction to display an input character in a language other than the input language; Selectively transmitting electrical signals to a translation module and a transliteration module; After receiving the electrical signal from the recognition module, translating the input character; After receiving an electrical signal from the recognition module, translating the input character; And is a computer-readable non-volatile medium for selectively displaying input characters, translated characters and transliterated characters on a user interface based on a predetermined hand gesture performed by a user.

본 발명에 따르면, 상기 컴퓨터로 판독가능한 지령은, 컴퓨터로 실행되는 장치가 사용자 인터페이스 상에서 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하도록 구성된다. According to the present invention, the computer-readable instructions are configured so that a computer-implemented device recognizes at least a left-hand rubbing hand gesture and a right-hand rubbing hand gesture performed by a user on a user interface.

본 발명에 따르면, 상기 컴퓨터로 판독가능한 지령은, 컴퓨터로 실행되는 장치가 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하도록 구성된다. According to the present invention, the computer-readable instructions are programmed so that the computer-implemented device converts the left-hand rubbing hand gesture into an electrical signal to translate the input character provided by the user and also translates the input character provided by the user And to convert the right rubbing hand gesture to an electrical signal.

본 발명에 의하여 나타나는 기술적인 효과는, 입력문자의 효율적이고 유효한 번역을 가능하게 하는 시스템의 실현을 포함한다. 또한, 본 발명에 의한 기술적인 효과는 입력문자의 효율적이고 유효한 음역을 가능하게 하는 시스템의 실현을 포함한다. 또한, 본 발명에 의한 기술적인 효과는 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여 입력문자의 번역 및 음역을 가능하게 한다. 본 발명에 의하여 제공되는 시스템은 사용하기에 용이하며 사용자 친화적이다. 이 시스템은 입력문자를 다수 개의 인도 언어로부터 영어로, 혹은 그 반대의 경우로의 번역 및 음역을 제공한다. 본 발명에 의한 시스템은 사용자로 하여금 모국어(인도 언어)로 된 입력문자를 제공하고, 그 후 입력문자를 SMS/이메일로 발송하기 전에 영어로 된 입력문자로 변환할 수 있도록 한다. 또한, 본 발명에 의한 시스템은 사용자로 하여금 영어로 된 문자열을 수신하고, 그 후 수신된 문자열을 미리 정해진 인도 언어 중의 하나로 변환할 수 있도록 해준다. The technical effects presented by the present invention include the realization of a system that enables efficient and efficient translation of input characters. Further, the technical effect according to the present invention includes the realization of a system that enables an efficient and effective range of input characters. Further, the technical effect according to the present invention makes it possible to translate and translate the input character based on a predetermined hand gesture performed by the user. The system provided by the present invention is easy to use and user friendly. The system provides translation and transliteration of input characters from multiple Indian languages to English, and vice versa. The system according to the present invention allows the user to provide input characters in the native language (Indian language) and then convert the input characters into input characters in English before sending them via SMS / E-mail. The system also allows the user to receive a string in English and then convert the received string to one of a predetermined delivery language.

본 발명은, 첨부된 도면을 참조하는 이하의 상세한 설명으로부터 보다 잘 이해될 수 있다.
도 1은 입력문자의 번역 및 음역을 위한 시스템에 대응하는 컴퓨터 구현 시스템-레벨 블록 다이어그램을 나타낸다.
도 2는 입력문자의 번역 및 음역을 위한 컴퓨터 구현 방법에 포함되는 단계를 나타내는 플로우 차트이다.
도 3A 및 3B는 입력문자를 번역하기 위한 예시적인 사용자 인터페이스를 나타낸다.
도 4A 및 4B는 입력문자를 음역하기 위한 예시적인 사용자 인터페이스를 나타낸다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention can be better understood from the following detailed description with reference to the accompanying drawings, in which: FIG.
Figure 1 shows a computer implemented system-level block diagram corresponding to a system for translation and transliteration of input characters.
2 is a flow chart illustrating the steps involved in a computer implemented method for translating and transliterating input characters.
Figures 3A and 3B illustrate an exemplary user interface for translating input characters.
4A and 4B show an exemplary user interface for translating input characters.

본 발명은 컴퓨터로 구현되며 손동작을 기반으로 하는, 입력문자의 선택적인 번역 및 음역용 시스템을 제공한다. 번역 및 음역은, 사용자에 의하여 수행된 미리 정해진 손동작에 반응해서만 그 번역된/음역된 입력문자가 사용자에게 표시된다는 맥락에서 선택적이라 할 수 있다. 본 발명에 의하여 제공되는 시스템은 영어로부터 다수 개의 인도 언어로의 입력문자의 효율적이며 효과적인 번역 및 음역과, 그 반대의 작용을 가능하게 한다. 본 발명에 의하여 제공되는 시스템은 사용자에게 모국어(인도 언어)로 입력문자를 제공한 후, SMS/이메일로서 입력문자를 전송하기 전에 그 입력문자를 영어로 변환할 수 있도록 한다. 또한, 이 시스템은 사용자가 영어로 된 문자열을 수신한 후, 그 수신된 문자열을 미리 정해진 인도 언어 중의 하나로 변환할 수 있도록 한다.The present invention provides a system for selectively translating and translating input characters based on a computer-generated hand gesture. The translation and transliteration may be optional in the context that the translated / translated input character is displayed to the user only in response to a predetermined hand gesture performed by the user. The system provided by the present invention enables efficient and effective translation and transliteration of input characters from English to multiple Indian languages and vice versa. The system provided by the present invention provides the user with the input character in native language (Indian language) and then converts the input character to English before sending the input character as SMS / E-mail. The system also allows a user to receive a string in English and then convert the received string to one of a predetermined delivery language.

도면을 참조하면, 도 1은 컴퓨터로 구현되는, 손동작(gesture)을 기반으로 하는 입력문자의 번역 및 음역용 시스템(100)을 나타낸다. 본 발명에 따른 시스템(100)은 사용자 인터페이스(10)를 포함한다. 사용자 인터페이스(10)는, 사용자로부터의 입력된 문자를 받아들이도록 구성된다. 사용자에 의한 문자입력은, 영어이거나, 또는 한정되는 것은 아니지만, 벵골어 (Bengali), 구자라트어 (Guajarati), 아삼어 (Assamese), 오리야어 (Oriya), 칸나다어 (Kannada), 타밀어 (Tamil), 텔루구어 (Telugu) 및 말라얄람어 (Malayalam)를 포함하는 미리 정해진 인도 언어 중의 하나가 될 수 있다. 또한, 사용자 인터페이스(10)는 이메일/SMS/웹페이지 등의 형태로 수신된 문자를 표시하도록 구성된다.Referring to the drawings, FIG. 1 illustrates a computer-implemented gesture-based input character translation and translation system 100. The system 100 according to the present invention includes a user interface 10. The user interface 10 is configured to accept input characters from the user. Character input by the user may be in English or in other languages such as, but not limited to, Bengali, Guajarati, Assamese, Oriya, Kannada, Tamil, It can be one of the pre-determined Indian languages, including Telugu and Malayalam. In addition, the user interface 10 is configured to display received characters in the form of an e-mail / SMS / web page.

본 발명에 따른 사용자 인터페이스(10)는 사용자가 미리 정해진 여러 개의 손동작을 통하여 사용자 인터페이스(10)와 교류할 수 있도록 한다. 바람직한 실시예에서, 사용자 인터페이스(10)는 접촉 감지/감응 디스플레이 스크린 상에서 진행되며, 한정되는 것은 아니지만, 좌측 문지름 손동작, 우측 문지름 손동작, 두드림 손동작, 두드리고 정지하는 손동작, 원운동 손동작, 반원운동 손동작, 및 두번 두드림 손동작 등을 포함하는 특정한 손동작들을 수행함으로써, 사용자로 하여금 상호교류할 수 있도록 구성된다.The user interface 10 according to the present invention enables a user to interact with the user interface 10 through a plurality of predetermined hand motions. In a preferred embodiment, the user interface 10 is performed on a touch sensitive / sensitive display screen and includes, but is not limited to, left hand rubbing, right rubbing, tapping, tapping and stopping, circular motion, And by performing specific hand gestures including a double tapping operation and the like, the user can interact with each other.

본 발명에 따른 시스템(100)은 사용자 인터페이스(10)와 협력하는 인식모듈(12)을 더 포함한다. 본 발명에 따른 인식모듈(12)은 사용자 인터페이스(10) 상에서 사용자에 의하여 수행된 손동작을 인식 및 해석하도록 구성된다. 인식모듈(12)은 사용자 인터페이스(10) 상에서 사용자 손가락의 접촉점을 인식하고 (저항성 기술, 용량성 기술 및 표면 음향파 기술을 포함하는 주지의 기술들을 사용함), 사용자로부터의 '접촉'을 선택 가능한 문자 키의 형태로 표시되는 대응하는 글자/숫자/기능의 선택으로서 해석하도록 구성된다. The system 100 according to the present invention further comprises a recognition module 12 cooperating with the user interface 10. The recognition module 12 according to the present invention is configured to recognize and interpret the hand gestures performed by the user on the user interface 10. [ The recognition module 12 recognizes the touch points of the user's fingers on the user interface 10 (using known techniques including resistive technology, capacitive technology and surface acoustic wave technology) and selects ' contacts ' Number / function displayed in the form of a character key.

또한, 사용자에 의해서 대응하는 키들이 접촉되거나 선택된 글자/숫자들은, 인식모듈(12)에 의하여 입력문자로서 간주된다. 본 발명에 있어서 '입력문자'라는 용어는 글자열인 것으로 해석된다. 또한, '입력문자'는 알파벳 및 숫자의 조합을 포함하는 것으로서 이해될 수 있다. 또한, '입력문자'는, 알파벳, 숫자 및 특수문자들의 조합으로서 이해될 수도 있다. 하지만, 본 발명의 바람직한 실시예에 있어서는, 설명의 편의상, 입력문자는 알파벳의 글자열인 것으로 가정한다.Also, the letters / numbers that the corresponding keys are touched or selected by the user are considered by the recognition module 12 as input characters. In the present invention, the term 'input character' is interpreted as a character string. Also, 'input character' can be understood as including a combination of alphabets and numbers. Also, 'input characters' may be understood as a combination of alphabets, numbers, and special characters. However, in the preferred embodiment of the present invention, for convenience of explanation, it is assumed that the input character is a character string of an alphabet.

본 발명에 따르면, 인식모듈(12)은 사용자의 미리 정해진 손동작을 입력문자의 번역 및 음역에 대한 요청을 표시하는 손동작으로 해석하도록 구성될 수 있다.According to the present invention, the recognition module 12 may be configured to interpret a predetermined hand gesture of the user as a gesture to indicate a translation of the input character and a request for the transliteration.

본 발명의 바람직한 실시예에 따르면, 사용자 인터페이스(10) 상에서 사용자에 의하여 수행된 좌측 문지름 손동작은, 인식모듈(12)에 의하여 입력문자의 음역을 요청하는 것으로서 해석된다. 본 발명의 바람직한 실시예에 따르면, 사용자 인터페이스(10) 상에서 사용자에 의하여 수행된 우측 문지름 손동작은, 인식모듈(12)에 의하여 입력문자의 번역을 요청하는 것으로서 해석된다. 좌측 문지름 손동작 및 우측 문지름 손동작에 응답하여 인식모듈(12)에 의해 수행되는 해석은, 본 발명의 바람직한 실시예에 따라서, 인식모듈(12) 상에 쉽게 변경하지 못하도록 기록된다. 하지만, 좌측 문지름 손동작 및 우측 문지름 손동작을 다른 적절한 손동작들로 대체하고 그 대체 손동작들을 번역 및 음역요청으로 기록하는 것은 본 발명의 범위 내에 있는 것이다.According to a preferred embodiment of the present invention, the left hand rubbing gesture performed by the user on the user interface 10 is interpreted by the recognition module 12 as requesting the transliteration of the input character. According to a preferred embodiment of the present invention, the right rubbing hand gesture performed by the user on the user interface 10 is interpreted as requiring the recognition module 12 to translate the input character. The interpretation performed by the recognition module 12 in response to the left and right rub gestures is recorded on the recognition module 12 so as not to be easily altered, according to the preferred embodiment of the present invention. However, it is within the scope of the present invention to replace the left hand rubbing and right hand rubbing handwritings with other suitable handwritings and to record the replacement handwritings as translation and transliteration requests.

본 발명의 바람직한 실시예에 따르면, 인식모듈(12)은 사용자 인터페이스와 협력하여 좌측 문지름 손동작 및 우측 문지름 손동작을 각각 확인하게 된다. 입력문자의 입력이 끝난 후에, 사용자가 사용자 인터페이스(10) 상에서 좌측 문지름 손동작을 수행하게 되며, 인식모듈(12)은 음역모듈(16)을 기동하고, 계속하여 음역모듈(16)로 하여금 사용자에 의하여 선택된 언어로 입력문자를 음역하도록 지시한다. 입력문자를 입력한 후에 사용자가 우측 문지름 손동작을 수행하게 되는 경우, 인식모듈(12)은 번역모듈(14)을 기동하고, 계속하여 번역모듈(14)로 하여금 사용자에 의하여 선택된 언어로 입력문자를 번역하도록 지시한다. 비록 사용자에 의한 문자입력을 참조하여 번역모듈(14)과 음역모듈(16)의 기능들이 설명되었으나, 번역모듈(14)과 음역모듈(16)은 어떠한 문자, 예를 들어 SMS/이메일/웹페이지 등의 형태로 입력된 문자라도, 사용자의 모국어로부터 지정한 언어로 각각 번역 및 음역하도록 구성될 수도 있다. In accordance with a preferred embodiment of the present invention, the recognition module 12 cooperates with the user interface to identify the left hand rubbing hand and the right hand rubbing hand, respectively. After inputting the input characters, the user performs a left hand rubbing operation on the user interface 10, and the recognition module 12 starts the transliteration module 16 and continues translating the transliteration module 16 to the user To indicate that the input character is to be translated in the selected language. The recognition module 12 activates the translation module 14 and subsequently causes the translation module 14 to input the input character in the language selected by the user Instruct to translate. Although the functions of the translation module 14 and the translucent module 16 have been described with reference to the character input by the user, the translation module 14 and transliteration module 16 can be any character, e.g. SMS / email / Or the like, may be configured to translate and transliterate in the language specified by the user's native language, respectively.

도 3A를 참조하면, 하나의 사용자 인터페이스(10)의 예를 도시하며, 이를 이용하여 사용자는 영어로 'how are you'라는 문장을 입력한다. 입력문자에 대한 입력 후, 사용자가 좌측으로 문지름 손동작을 수행하게 되면, 음역모듈(16)이 기동되고 영어문장 'how are you'는 도 3B에 나타낸 바와 같이 사용자에 의하여 선택된 인도 언어 중의 하나로 음역된다.Referring to FIG. 3A, an example of one user interface 10 is shown, and a user inputs a sentence 'how are you' in English. After inputting the input character, if the user carries out the rubbing operation to the left, the transliteration module 16 is activated and the English sentence 'how are you' is translated to one of the Indian languages selected by the user as shown in FIG. 3B .

도 4A를 참조하면, 하나의 사용자 인터페이스(10)의 예를 도시하며, 이를 이용하여 사용자는 영어로 'how are you'라는 문장을 입력한다. 입력문자에 대한 입력 후, 사용자가 우측으로 문지름 손동작을 수행하게 되면, 번역모듈(14)이 기동되고 영어문장 'how are you'는 도 4B에 나타낸 바와 같이 사용자에 의하여 선택된 인도 언어 중의 하나로 번역된다.Referring to FIG. 4A, an example of one user interface 10 is shown, and the user inputs a sentence 'how are you' in English. After inputting the input character, if the user carries out the rubbing operation to the right, the translation module 14 is activated and the English sentence 'how are you' is translated into one of the Indian languages selected by the user as shown in FIG. 4B .

본 발명에 따르면, 사용자 인터페이스(10)는 사용자로 하여금 입력문자를 입력하기 위한 언어를 먼저 선택할 수 있도록 구성된다. 사용자에 의하여 선택된 언어는, 한정하는 것은 아니지만 힌디어 (Hindi), 벵골어, 구자라트어, 아삼어, 오리야어, 우르두어 (Urdu), 타밀어, 텔루구어, 말라얄람어 및 칸나다어를 포함한다. 또한, 상술한 언어의 리스트는 한정되는 것은 아니며, 입력문자로 번역 및/또는 음역되어야 하는 언어로서 어떤 것이든 선택될 수 있다. 또한, 인식모듈(12)은 번역모듈(14)과 음역모듈(16)을 활성화하기 위하여 내장되는 명령어들을 가지는 전기신호를 전송함으로써 번역모듈(14)과 음역모듈(16)을 기동하도록 구성된다. According to the present invention, the user interface 10 is configured to allow a user to first select a language for inputting characters. The language selected by the user includes, but is not limited to, Hindi, Bengali, Gujarati, Assamese, Oriya, Urdu, Tamil, Telugu, Malayalam and Kannada. Further, the list of the above-mentioned languages is not limited, and any language can be selected as a language to be translated and / or translated as an input character. The recognition module 12 is also configured to activate the translation module 14 and transliteration module 16 by transmitting electrical signals having embedded instructions to activate the translation module 14 and transliteration module 16.

또한 본 발명에 따르면, 사용자 인터페이스의 디폴트 화면은 입력문자를 입력하는데 사용되는 화면 (도 3A에 도시한 것과 같음)이며, 입력문자가 입력되고 사용자가 좌측 문지름 손동작을 수행하는 경우에, 사용자 인터페이스(10)는 도 3B에 나타낸 것과 같이 바뀌고, 도 3B에서 예시된 사용자 인터페이스(10) 상에서 사용자가 우측 문지름 손동작을 수행하게 되면, 사용자 인터페이스(10)는 도 3A에 나타낸 디폴트 화면으로 복귀된다.According to the present invention, the default screen of the user interface is a screen (shown in FIG. 3A) used for inputting an input character, and when an input character is input and the user performs a left-handed rubbing operation, 10 is changed as shown in FIG. 3B, and when the user performs the right rubbing hand operation on the user interface 10 illustrated in FIG. 3B, the user interface 10 returns to the default screen shown in FIG. 3A.

또한, 본 발명에 따르면, 사용자 인터페이스(10)의 디폴트 화면은 입력문자를 입력하는데 사용되는 화면 (도 4A에 도시한 것과 같음)이며, 입력문자가 입력되고 사용자가 우측 문지름 손동작을 수행하는 경우에, 사용자 인터페이스(10)는 도 4B에 나타낸 것과 같이 바뀌고, 도 4B에서 예시된 사용자 인터페이스(10) 상에서 사용자가 좌측 문지름 손동작을 수행하게 되면, 사용자 인터페이스(10)는 도 4A에 나타낸 디폴트 화면으로 복귀된다.In addition, according to the present invention, the default screen of the user interface 10 is a screen (as shown in FIG. 4A) used for inputting an input character, and when an input character is input and the user performs the right hand rubbing operation , The user interface 10 is changed as shown in FIG. 4B. When the user performs the left hand rubbing operation on the user interface 10 illustrated in FIG. 4B, the user interface 10 returns to the default screen shown in FIG. 4A do.

도 2를 참조하면, 입력문자의 번역 및 음역을 위한 방법에 관계된 단계들을 나타내는 플로우 차트가 도시된다. 본 발명에 의하여 제공되는 방법은 사용자에 의하여 수행된 손동작에 응답하는 것이다. 본 발명에 따른 방법은 다음의 단계를 포함한다.Referring to FIG. 2, there is shown a flowchart depicting the steps involved in a method for translation and transliteration of input characters. The method provided by the present invention is in response to a hand gesture performed by a user. The method according to the invention comprises the following steps.

사용자 인터페이스를 통하여 사용자로부터의 입력문자를 수신하는 단계(200);Receiving (200) an input character from a user via a user interface;

인식모듈을 사용하여, 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하는 단계(202); Recognizing (202) a predetermined hand gesture performed by the user on the user interface using the recognition module;

사용자로부터의 미리 정해진 손동작을 대응하는 전기신호로 변환하며, 전기신호는 입력언어 이외의 언어로 입력문자를 표시하기 위한 지령을 포함하는 단계(204); Converting the predetermined hand gesture from the user into a corresponding electrical signal, the electrical signal including instructions for displaying an input character in a language other than the input language;

상기 전기신호들을 번역모듈 및 음역모듈로 선택적으로 전송하는 단계(206);Selectively transmitting (206) the electrical signals to a translation module and a transliteration module;

인식모듈로부터 상기 전기신호를 수신한 후, 입력문자를 번역하는 단계(208); Translating (208) the input character after receiving the electrical signal from the recognition module;

인식모듈로부터 상기 전기신호를 수신한 후, 입력문자를 음역하는 단계(210) 및; A step 210 of translating an input character after receiving the electric signal from the recognition module;

사용자 인터페이스를 사용하여 번역된 문자 및 음역된 문자를 수신하고, 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여, 사용자 인터페이스 상에서 그 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하는 단계(212).Translating and transliterating characters using the user interface and selectively displaying the input character, translated character and transliterated character on the user interface based on a predetermined hand gesture performed by the user ).

본 발명에 따르면, 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하는 단계는, 사용자 인터페이스 상에서 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하는 단계를 더욱 포함한다.According to the present invention, recognizing the predetermined hand gesture performed by the user on the user interface further comprises recognizing at least the left gesture gesture and the right gesture gesture performed by the user on the user interface.

본 발명에 따르면, 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하는 단계는, 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하는 단계를 더욱 포함한다.According to the present invention, the step of recognizing at least the left hand rubbing hand gesture and the right hand rubbing hand gesture comprises the steps of converting the left rubbing hand gesture into an electrical signal to translate the input character provided by the user and also translating the input character provided by the user And converting the right rubbing hand gesture into an electrical signal.

본 발명의 다른 실시형태는, 컴퓨터로 실행가능한 지령들이 저장된, 컴퓨터로 판독가능한 비일시적 매체로서, 상기 컴퓨터로 판독가능한 지령들은, 프로세서에 의하여 실행될 때 컴퓨터로 실행되는 장치로 하여금, 사용자 인터페이스를 통하여 사용자로부터의 입력문자를 수신하고; 인식모듈을 사용하여 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하고; 사용자로부터의 미리 정해진 손동작을 대응하는 전기신호로 변환하며, 전기신호는 입력언어 이외의 언어로 입력문자를 표시하기 위한 지령을 포함하고; 전기신호들을 선택적으로 번역모듈 및 음역모듈로 전송하고; 인식모듈로부터의 전기신호를 수신한 후, 입력문자를 번역하고; 인식모듈로부터 전기신호를 수신한 후, 입력문자를 음역하고; 사용자 인터페이스를 사용하여 번역된 문자 및 음역된 문자를 수신하고; 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여, 사용자 인터페이스 상에 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하도록 하는, 비일시적 저장매체를 개시한다.Another embodiment of the present invention is a computer-readable non-volatile medium having computer-executable instructions stored thereon, the computer-readable instructions comprising instructions that, when executed by a processor, cause a computer- Receiving an input character from a user; Recognizing a predetermined hand gesture performed by the user on the user interface using the recognition module; Converting a predetermined hand gesture from a user into a corresponding electrical signal, the electrical signal including an instruction to display an input character in a language other than the input language; Selectively transmitting electrical signals to a translation module and a transliteration module; After receiving the electrical signal from the recognition module, translating the input character; After receiving an electrical signal from the recognition module, translating the input character; Receiving translated and transliterated characters using a user interface; A non-volatile storage medium is disclosed that selectively displays input characters, translated characters, and transliterated characters on a user interface based on a predetermined hand gesture performed by a user.

본 발명에 따르면, 상기 컴퓨터로 판독가능한 지령은, 컴퓨터로 실행되는 장치가 사용자 인터페이스 상에서 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하도록 구성된다. According to the present invention, the computer-readable instructions are configured so that a computer-implemented device recognizes at least a left-hand rubbing hand gesture and a right-hand rubbing hand gesture performed by a user on a user interface.

본 발명에 따르면, 상기 컴퓨터로 판독가능한 지령은, 컴퓨터로 실행되는 장치가 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하도록 구성된다.According to the present invention, the computer-readable instructions are programmed so that the computer-implemented device converts the left-hand rubbing hand gesture into an electrical signal to translate the input character provided by the user and also translates the input character provided by the user And to convert the right rubbing hand gesture to an electrical signal.

Claims (9)

사용자에 의하여 수행된 손동작 (gesture)에 근거하여, 입력문자를 입력 언어 이외의 다른 언어로 선택적으로 표시하기 위한 컴퓨터 구현 시스템으로서:
사용자가 접근가능하며, 사용자로부터의 입력으로서 문자를 받아들이도록 구성되는 사용자 인터페이스;
사용자 인터페이스와 협력하며, 사용자 인터페이스 상에서 사용자에 의하여 수행되는 손동작을 인식하고, 사용자의 미리 정해진 손동작을 대응하는 전기신호로 변환하도록 구성되며, 상기 전기신호는 입력문자를 그 입력된 언어 이외의 언어로 표현하기 위한 지령을 포함하는 인식모듈;
상기 전기 신호를 선택적으로 수신하도록 상기 인식모듈과 협력하며, 상기 인식모듈로부터의 전기신호를 수신한 후에 그 입력문자를 번역하도록 구성되는 번역모듈: 및
상기 전기 신호를 선택적으로 수신하도록 상기 인식모듈과 협력하며, 상기 인식모듈로부터의 전기신호를 수신한 후에 그 입력문자를 음역하도록 구성되는 음역모듈;
을 포함하며,
상기 사용자 인터페이스는 번역된 문자 및 음역된 문자를 수신하도록 상기 번역모듈 및 음역모듈과 협력하고, 또한 사용자 인터페이스는 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하도록 구성되는 컴퓨터 구현 시스템.
A computer-implemented system for selectively displaying input characters in a language other than an input language based on a gesture performed by a user, the system comprising:
A user interface accessible to the user and configured to accept text as input from a user;
And is configured to cooperate with a user interface to recognize a hand gesture performed by a user on a user interface and to convert a predetermined hand gesture of the user into a corresponding electrical signal, A recognition module including an instruction for expressing;
A translation module configured to cooperate with the recognition module to selectively receive the electrical signal and to translate the input character after receiving an electrical signal from the recognition module;
A transliteration module cooperating with the recognition module to selectively receive the electrical signal and configured to translate the input character after receiving the electrical signal from the recognition module;
/ RTI >
The user interface cooperates with the translation module and the transliteration module to receive translated characters and transliterated characters, and the user interface also includes input characters, translated characters, and transliterated characters based on a predetermined hand gesture performed by the user Wherein the computer system is configured to selectively display the computer program.
제 1 항에 있어서,
상기 인식모듈은, 사용자 인터페이스 상에서 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하도록 구성되는 시스템.
The method according to claim 1,
Wherein the recognition module is configured to recognize at least a left rub gesture and a right rub gesture performed by a user on a user interface.
제 2 항에 있어서,
상기 인식모듈은, 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하도록 구성되는 시스템.
3. The method of claim 2,
Wherein the recognition module is configured to convert the left rubbing hand gesture to an electrical signal to translate the input character provided by the user and to convert the right rubbing gesture to an electrical signal to translate the input character provided by the user.
사용자에 의하여 수행된 손동작 (gesture)에 근거하여, 입력문자를 입력 언어 이외의 언어로 선택적으로 표시하기 위한 컴퓨터 구현 방법으로서:
사용자 인터페이스를 통하여, 사용자로부터의 입력문자를 수신하는 단계;
인식모듈을 사용하여, 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하는 단계;
상기 사용자로부터의 미리 정해진 손동작을 대응하는 전기신호로 변환하며, 상기 전기신호는 입력문자를 입력언어 이외의 언어로 표시하기 위한 지령을 포함하는 단계;
상기 전기신호들을 선택적으로 번역모듈 및 음역모듈로 전송하는 단계;
인식모듈로부터 상기 전기신호를 수신한 후, 입력문자를 번역하는 단계;
인식모듈로부터 상기 전기신호를 수신한 후, 입력문자를 음역하는 단계; 및
사용자 인터페이스를 사용하여 번역된 문자 및 음역된 문자를 수신하고, 또한 사용자에 의하여 수행된 미리 정해진 손동작에 근거하여, 사용자 인터페이스 상에서 그 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하는 단계
를 포함하는 컴퓨터 구현 방법.
A computer-implemented method for selectively displaying an input character in a language other than an input language based on a gesture performed by a user, the method comprising:
Receiving an input character from a user through a user interface;
Recognizing a predetermined hand gesture performed by the user on the user interface using the recognition module;
Converting a predetermined hand gesture from the user into a corresponding electrical signal, the electrical signal including instructions for displaying an input character in a language other than the input language;
Selectively transmitting the electrical signals to a translating module and a translating module;
Translating the input character after receiving the electrical signal from the recognition module;
Translating an input character after receiving the electrical signal from the recognition module; And
Translating and transliterating characters using the user interface and selectively displaying the input characters, translated characters and transliterated characters on the user interface based on a predetermined hand gesture performed by the user
Lt; / RTI >
제 4 항에 있어서,
사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하는 상기 단계는, 사용자 인터페이스 상에서 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하는 단계를 더욱 포함하는 방법.
5. The method of claim 4,
Wherein the step of recognizing a predetermined hand gesture performed by the user on the user interface further comprises recognizing at least the left gesture gesture and the right gesture gesture performed by the user on the user interface.
제 5 항에 있어서,
적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하는 상기 단계는, 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하는 단계를 더욱 포함하는 방법.
6. The method of claim 5,
The step of recognizing at least the left hand rubbing hand gesture and the right hand rubbing hand gesture comprises the steps of converting the left hand gesture hand gesture to an electrical signal to translate the input character provided by the user and also performing a right gesture hand gesture to translate the input character provided by the user And converting the signal into an electrical signal.
컴퓨터로 실행가능한 지령들이 저장된, 컴퓨터로 판독가능한 비일시적 저장매체로서, 상기 컴퓨터로 판독가능한 지령들은, 프로세서에 의하여 실행될 때, 컴퓨터로 실행되는 장치로 하여금:
사용자 인터페이스를 통하여 사용자로부터의 입력문자를 수신하고;
인식모듈을 사용하여, 사용자 인터페이스 상에서 사용자에 의하여 수행된 미리 정해진 손동작을 인식하고;
사용자로부터의 미리 정해진 손동작을 대응하는 전기신호로 변환하며, 상기 전기신호는 입력문자를 입력언어 이외의 언어로 표시하기 위한 지령을 포함하고;
상기 전기신호들을 선택적으로 번역모듈 및 음역모듈로 전송하고;
인식모듈로부터의 상기 전기신호를 수신한 후, 입력문자를 번역하고;
인식모듈로부터의 상기 전기신호를 수신한 후, 입력문자를 음역하고;
사용자에 의하여 수행된 미리 정해진 손동작에 근거하여, 사용자 인터페이스 상에 입력문자, 번역된 문자 및 음역된 문자를 선택적으로 표시하도록 하는,
컴퓨터로 판독가능한 비일시적 저장매체.
18. A computer-readable non-volatile storage medium having stored thereon computer-executable instructions, the computer-readable instructions comprising instructions that, when executed by a processor, cause a computer-
Receiving an input character from a user via a user interface;
Using the recognition module to recognize a predetermined hand gesture performed by the user on the user interface;
Converting a predetermined hand gesture from a user into a corresponding electrical signal, the electrical signal including an instruction to display an input character in a language other than the input language;
Selectively transmitting the electrical signals to a translating module and a translating module;
After receiving the electrical signal from the recognition module, translating the input character;
After receiving the electrical signal from the recognition module, translating the input character;
Translating and transliterating characters on the user interface based on a predetermined hand gesture performed by the user,
Computer readable non-volatile storage medium.
제 1 항에 있어서,
상기 컴퓨터로 판독가능한 지령은, 컴퓨터로 실행되는 장치가, 사용자 인터페이스 상에서 사용자에 의하여 수행된 적어도 좌측 문지름 손동작 및 우측 문지름 손동작을 인식하도록 구성되는, 컴퓨터로 판독가능한 비일시적 저장매체.
The method according to claim 1,
Readable instructions are configured such that a computer-implemented device is configured to recognize at least a left-hand rubbing hand gesture and a right-hand rubbing gesture performed by a user on a user interface.
제 8 항에 있어서,
상기 컴퓨터로 판독가능한 지령은, 컴퓨터로 실행되는 장치가, 사용자에 의하여 제공된 입력문자를 음역하기 위하여 좌측 문지름 손동작을 전기신호로 변환하고, 또한 사용자에 의하여 제공된 입력문자를 번역하기 위하여 우측 문지름 손동작을 전기신호로 변환하도록 구성되는, 컴퓨터로 판독가능한 비일시적 저장매체. 9. The method of claim 8,
The computer-readable instructions cause the computer-implemented device to perform a right rubbing operation to translate the left rubbing hand gesture into an electrical signal to translate the input character provided by the user and to translate the input character provided by the user Readable < / RTI > non-volatile storage medium.
KR1020167011036A 2013-10-04 2014-09-29 A gesture based system for translation and transliteration of input text and a method thereof KR20160071400A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN3161/MUM/2013 2013-10-04
IN13MU3161 2013-10-04
PCT/IN2014/000623 WO2015049697A1 (en) 2013-10-04 2014-09-29 A gesture based system for translation and transliteration of input text and a method thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187022878A Division KR101995741B1 (en) 2013-10-04 2014-09-29 A gesture based system for translation and transliteration of input text and a method thereof

Publications (1)

Publication Number Publication Date
KR20160071400A true KR20160071400A (en) 2016-06-21

Family

ID=57124943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167011036A KR20160071400A (en) 2013-10-04 2014-09-29 A gesture based system for translation and transliteration of input text and a method thereof

Country Status (1)

Country Link
KR (1) KR20160071400A (en)

Similar Documents

Publication Publication Date Title
US8892782B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
US10078437B2 (en) Method and apparatus for responding to a notification via a capacitive physical keyboard
KR102045585B1 (en) Adaptive input language switching
US8756527B2 (en) Method, apparatus and computer program product for providing a word input mechanism
WO2015088669A1 (en) Multiple character input with a single selection
US8745280B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
US9292203B2 (en) Providing a vertical candidate bar with an on-screen keyboard
TW201312445A (en) Semantic zoom animations
EP2909702B1 (en) Contextually-specific automatic separators
JP2006338667A (en) User-machine communication method, device, interface processor and program
CN108829686B (en) Translation information display method, device, equipment and storage medium
KR20160009054A (en) Multiple graphical keyboards for continuous gesture input
US20140123036A1 (en) Touch screen display process
US9395826B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
CN106354276B (en) Hybrid input method and device suitable for multiple input methods and electronic equipment
US10394964B2 (en) Gesture based system for translation and transliteration of input text and a method thereof
KR102260989B1 (en) Inputting tone and diacritic marks by gesture
US20150309590A1 (en) Inputting method and associated electronic device
KR102206486B1 (en) Method for proving translation service by using input application and terminal device using the same
CN108052212A (en) A kind of method, terminal and computer-readable medium for inputting word
US9904461B1 (en) Method and system for remote text selection using a touchscreen device
KR101995741B1 (en) A gesture based system for translation and transliteration of input text and a method thereof
KR20160071400A (en) A gesture based system for translation and transliteration of input text and a method thereof
US10671272B2 (en) Touchscreen oriented input integrated with enhanced four-corner indexing
KR101668476B1 (en) Letter input apparatus for simple conversion between korean and english

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment