KR20090119871A

KR20090119871A - Machine translation feedback

Info

Publication number: KR20090119871A
Application number: KR1020097018153A
Authority: KR
Inventors: 제프리 친; 대니얼 로사트
Original assignee: 구글 인코포레이티드
Priority date: 2007-02-14
Filing date: 2008-02-12
Publication date: 2009-11-20
Also published as: WO2008100949A2; CN102880601A; CN102880601B; US20120284013A1; US8510094B2; US20110282644A1; EP2126736A2; CN101657810B; US8239186B2; US20080195372A1; WO2008100949A3; CN101657810A; BRPI0808127A2; US7983897B2

Abstract

Methods, program products and systems for first receiving an indication of when a user-manipulable cursor is positioned in proximity to a first presentation of first text in a graphical user interface (GUI), the first text being in a first language. In response to the first receiving, causing a second presentation in the GUI of second text in a distinct second language, where the second text represents a translation of the first text into the second language or the first text represents a translation of the second text into the first language. Second user input to the GUI is received providing an alternate translation of the first text to the second text or the second text to the first text.

Description

Machine translation feedback

본 발명은 기계 번역 시스템에 관한 것이다. The present invention relates to a machine translation system.

하나의 인간 언어(소스 언어)로부터 다른 인간 언어(타겟 언어)로의 번역은 여러 방식으로 실시될 수 있다. 기계 번역은 컴퓨터를 사용해 번역 프로세스의 일부 또는 전부를 자동화한다. 인터넷상의 많은 웹페이지는 상이한 언어로 된 정보에 대하여 쉬운 접근을 허용하기 위하여 기계 번역을 제공한다. 규칙-기반 기계 번역과 통계적 기계 번역이 기계 번역 시스템(Machine Translation System; MTS)의 2가지 예이다. 하지만, 통상 이러한 웹사이트들은 번역 품질에 대한 피드백을 사용자가 쉽게 제공하기 위한 수단을 마련하고 있지 않다. 예를 들어, 번역이 부정확하거나 문화적으로 모욕적임을 사용자가 발견하면, 사용자가 취할 수 있는 방책은 웹 관리자에게 이메일 메시지를 보내는 것뿐이고, 웹 관리자는 이메일 메시지를 적절한 담당자에게 보낼 수도, 보내지 않을 수도 있다. 게다가, 메시지는 텍스트의 소스 언어 버전, 문제되는 번역, 또는 그 번역의 정확한 버전을 누락할 수 있다. 이 누락은 번역 오류를 분석하고, 기계 번역의 품질을 사용자 피드백에 기초하여 개선하는 것을 매우 어렵게 한다.Translation from one human language (source language) to another human language (target language) can be carried out in several ways. Machine translation uses a computer to automate some or all of the translation process. Many web pages on the Internet provide machine translation to allow easy access to information in different languages. Rule-based machine translation and statistical machine translation are two examples of the Machine Translation System (MTS). However, these websites typically do not provide a means for the user to easily provide feedback on the quality of translation. For example, if a user finds that a translation is inaccurate or culturally insulting, the only solution a user can take is to send an e-mail message to the web administrator, who may or may not send the e-mail message to the appropriate person. . In addition, the message may be missing the source language version of the text, the translation in question, or the exact version of the translation. This omission makes it very difficult to analyze translation errors and improve the quality of machine translation based on user feedback.

일반적으로, 본 명세서에 기재된 주제의 일 국면(aspect)은 사용자-조작가능 커서(user-manipulable cursor)가 그래픽 사용자 인터페이스(GUI) 내 제1 텍스트(제1 텍스트는 제1 언어로 되어 있음)의 제1 제시(presentation) 부근에 위치한 때의 지시(indication)를 제1 수신하는 것을 포함하는 방법으로 구체화될 수 있다. 상기 제1 수신에 응답하여, 별개의 제2 언어로 된 제2 텍스트의 제2 제시가 상기 GUI에 표시되며, 여기서 상기 제2 텍스트는 상기 제1 텍스트의 상기 제2 언어로의 번역을 나타내거나, 또는 상기 제1 텍스트는 상기 제2 텍스트의 상기 제1 언어로의 번역을 나타낸다. 상기 제1 텍스트의 상기 제2 텍스트로의 대체(alternate) 번역 또는 상기 제2 텍스트의 상기 제1 텍스트로의 대체 번역을 제공하는, 상기 GUI로의 사용자 입력이 수신된다. 이 국면의 다른 구현예들은 상응하는 시스템, 장치 및 컴퓨터 프로그램 제품을 포함한다. In general, one aspect of the subject matter described herein is that a user-manipulable cursor may be used to determine the first text in the graphical user interface (GUI), where the first text is in a first language. It may be embodied in a method that includes first receiving an indication when located near a first presentation. In response to the first reception, a second presentation of the second text in a separate second language is displayed in the GUI, where the second text indicates a translation of the first text into the second language or Or the first text indicates a translation of the second text into the first language. A user input to the GUI is received that provides an alternate translation of the first text into the second text or an alternate translation of the second text into the first text. Other implementations of this aspect include corresponding systems, devices, and computer program products.

이들 및 그 밖의 구현예들은 다음 특징들을 하나 이상 선택적으로 포함할 수 있다. 상기 대체 번역이 SPAM으로 판단되면 그 대체 번역은 폐기되며, 여기서, 상기 판단은, 상기 대체 번역이 빈(empty) 것, 상기 제1 텍스트 또는 상기 제2 텍스트와 동일한 것, 상기 제1 언어 또는 상기 제2 언어에서 출현할 확률이 낮은 것, 외설적 언어를 담고 있는 것, 또는 의심스러운 사용자가 제출한 것 중 하나 이상에 해당하는지를 결정하는 것을 포함한다. 상기 제1 텍스트, 상기 제2 텍스트, 및 상기 대체 번역은 인간 검토자(reviewer)에게 자동적으로 제공된다. 상기 제1 텍스트, 상기 제2 텍스트, 및 상기 대체 번역은 집단 검토 프로세스(community review process)에 자동적으로 제공된다. 상기 제1 텍스트는, 상기 커서 부근에 있는 상기 제1 제시에 나타내진 텍스트를 조사하여 식별(identify)된다. 상기 제1 텍스트는 상기 제1 제시 내 텍스트의 서브세트(subset)를 나타낸다. 상기 제1 텍스트는 문장이다. 상기 제2 제시는 상기 GUI에서 상기 제1 제시 위에 놓인다. 하나 이상의 미리 제공된 대체 번역을 구비하는 제3 제시가 상기 GUI에 디스플레이된다. These and other implementations may optionally include one or more of the following features. If the alternative translation is determined to be SPAM then the alternative translation is discarded, wherein the decision is that the alternative translation is empty, the same as the first text or the second text, the first language or the Determining whether one or more of a low probability of appearing in a second language, containing obscene language, or submitted by a suspicious user. The first text, the second text, and the alternate translation are automatically provided to a human reviewer. The first text, the second text, and the alternate translation are automatically provided to a community review process. The first text is identified by examining the text shown in the first presentation near the cursor. The first text represents a subset of text in the first presentation. The first text is a sentence. The second presentation overlies the first presentation in the GUI. A third presentation with one or more pre-supplied alternative translations is displayed in the GUI.

일반적으로, 본 명세서에 기재된 주제의 일 국면은 사용자-조작가능 커서가 그래픽 사용자 인터페이스(GUI) 내 제1 텍스트(제1 텍스트는 제1 언어로 되어 있음)의 제1 제시 부근에 위치한 때의 지시를 수신하는 것을 포함하는 방법으로 구현될 수 있다. 상기 수신에 응답하여, 별개의 제2 언어로 된 제2 텍스트의 제2 제시가 상기 GUI에 표시되며, 여기서, 상기 제2 텍스트는 상기 제1 텍스트의 상기 제2 언어로의 번역을 나타내거나, 또는 상기 제1 텍스트는 상기 제2 텍스트의 상기 제1 언어로의 번역을 나타낸다. 상기 제1 텍스트의 상기 제2 텍스트로의 번역 또는 상기 제2 텍스트의 상기 제1 텍스트로의 번역에 관한 피드백―여기서, 상기 피드백은 등급 매기기(rating), 대체 번역의 선택, 또는 상기 번역이 적절한지 여부의 지시 중 하나임―을 제공하는, 상기 GUI로의 사용자 입력이 수신된다. 이 국면의 다른 구현예들은 상응하는 시스템, 장치 및 컴퓨터 프로그램 제품을 포함한다. In general, one aspect of the subject matter described herein is an indication when a user-operable cursor is located near a first presentation of a first text (the first text in a first language) in a graphical user interface (GUI). It may be implemented in a method comprising receiving a. In response to said receiving, a second presentation of a second text in a separate second language is displayed in said GUI, wherein said second text represents a translation of said first text into said second language, or Or the first text represents a translation of the second text into the first language. Feedback relating to the translation of the first text into the second text or the translation of the second text into the first text, wherein the feedback is rated, selection of alternative translation, or the translation is appropriate User input to the GUI is received, which provides one of an indication of whether or not. Other implementations of this aspect include corresponding systems, devices, and computer program products.

이들 및 그 밖의 구현예들은 다음 특징들을 하나 이상 선택적으로 포함할 수 있다: 상기 대체 번역이 빈 것, 상기 제1 텍스트 또는 상기 제2 텍스트와 동일한 것, 상기 제1 언어 또는 상기 제2 언어에서 출현할 확률이 낮은 것, 외설적 언어를 담고 있는 것, 또는 의심스러운 사용자가 제출한 것 중 하나 이상에 해당하는지를 판단한다. These and other implementations can optionally include one or more of the following features: the alternate translation is empty, the same as the first text or the second text, appears in the first language or the second language. Determine if one or more of the things you are less likely to do, contain obscene language, or are submitted by a suspicious user.

본 명세서에 기재된 주제의 특정 구현예들은 다음 장점들 중 하나 이상을 실현하도록 구현될 수 있다. 텍스트는 커서의 위치에 기초하여 자동적으로 선택된다. 상기 선택된 텍스트에 대한 번역 피드백 윈도우가 자동적으로 디스플레이된다. 사용자는 선택된 텍스트의 번역된 부분과 소스 언어로 된 상응하는 텍스트를 쉽게 비교하고, 필요하다면 대체(좀더 우수한) 번역을 제출한다. 사용자 제공 대체 번역과 함께, 소스 텍스트와 원 번역이 사용자 피드백에 자동적으로 포함된다. 기계 번역 오류의 분석을 더욱 지원하기 위하여 부가적 정보가 상기 피드백에 자동적으로 포함될 수 있다. 사용자 제공 대체 번역들은 자동적으로 분석되어 그들이 SPAM인지 여부가 판단된다. SPAM으로 판단되면 그들은 폐기된다. 사용자 피드백은 개인적 또는 집단적 검토를 위해 적절한 당사자들에게 자동적으로 보내진다. 단일 언어 사용 화자(monolingual speaker)도, 번역의 주위 맥락으로부터 오류가 있음이 명확하면, 대체 번역을 제출할 수 있다. 사용자 번역 피드백은 전체 번역된 문서에 대하여 또는 번역된 텍스트의 단지 일부에 대하여 가능하다. 사용자 피드백 수집(collection)은 사용자의 읽기에 방해가 되지 않는다. 피드백을 획득하는 기술은 언어의 순서를 바꾸어서(languages reversed) 구현될 수 있다. Particular implementations of the subject matter described in this specification can be implemented to realize one or more of the following advantages. The text is automatically selected based on the position of the cursor. A translation feedback window for the selected text is automatically displayed. The user can easily compare the translated portion of the selected text with the corresponding text in the source language and, if necessary, submit an alternative (more excellent) translation. In addition to user-supplied alternative translations, source text and original translations are automatically included in user feedback. Additional information may be automatically included in the feedback to further support analysis of machine translation errors. User-supplied alternative translations are automatically analyzed to determine if they are SPAM. If it is judged SPAM, they are discarded. User feedback is automatically sent to the appropriate parties for personal or collective review. A monolingual speaker may also submit an alternative translation if it is clear that there is an error from the surrounding context of the translation. User translation feedback is possible for the entire translated document or for only a portion of the translated text. User feedback collections do not interfere with user reading. Techniques for obtaining feedback can be implemented by languages reversed.

본 발명의 하나 이상 구현예들은 첨부 도면과 아래의 설명에 상세히 기재된다. 본 발명의 다른 특징, 국면 및 장점은 아래의 설명, 도면 및 청구항으로부터 명확해 진다.One or more embodiments of the invention are described in detail in the accompanying drawings and the description below. Other features, aspects, and advantages of the invention will be apparent from the following description, drawings, and claims.

도1a는 러시아어로부터 영어로 번역된 웹페이지를 도시한다.1A shows a web page translated from Russian into English.

도1b는 번역 피드백 윈도우를 도시한다.1B shows a translation feedback window.

도1c는 사용자-제공 대체 번역을 도시한다.1C shows a user-provided alternative translation.

도2a는 다른 번역 피드백 윈도우를 도시한다.2A shows another translation feedback window.

도2b는 등급 매김 피드백 윈도우를 도시한다.2B shows a rating feedback window.

도2c는 번역 선택 윈도우를 도시한다. 2C shows a translation selection window.

도3은 사용자 번역 피드백을 획득하기 위한 시스템의 개략도이다. 3 is a schematic diagram of a system for obtaining user translation feedback.

도4는 사용자 번역 피드백을 보내기 위한 시스템의 개략도이다. 4 is a schematic diagram of a system for sending user translation feedback.

도5는 사용자 번역 피드백을 획득하기 위한 흐름도이다.5 is a flowchart for obtaining user translation feedback.

여러 도면에 있어서, 동일한 참조 번호는 동일한 요소를 나타낸다.In the various drawings, like reference numerals refer to like elements.

도1a는 그래픽 사용자 인터페이스(GUI)에서 전자 문서(100)의 렌더링(rendering) 또는 "제시(presentation)"를 도시한다. 일반적으로, 전자 문서 또는 "문서"는 적어도 하나의 인간 언어로 된 텍스트를 포함한다. 문서는 예를 들어, HTML(hypertext markup language) 문서, XML(eXtensible Markup Language) 문서, 워드 프로세싱 문서를 포함한다. 일부 문서는 텍스트에 더하여, 이미지 또는 그 밖의 데이터와 같은 콘텐츠(내장(embedded) 콘텐츠 포함)를 포함한다. 더욱이, 하나의 문서는 하나의 파일에 반드시 상응하지 않는다. 하나의 문서는 다른 문서들을 포함하는 한 파일의 일부에 저장되거나, 당해 문서 전용의 단일 파일에 저장되거나, 또는 다중 조화 파일들(multiple coordinated files)에 저장될 수 있다. 문서들은 파일에 먼저 저장되지 않고, 메모리에 저장될 수 있다. 1A illustrates the rendering or “presentation” of the electronic document 100 in a graphical user interface (GUI). In general, an electronic document or “document” includes text in at least one human language. Documents include, for example, hypertext markup language (HTML) documents, eXtensible Markup Language (XML) documents, word processing documents. Some documents contain, in addition to text, content such as images or other data (including embedded content). Moreover, one document does not necessarily correspond to one file. One document may be stored in a portion of one file containing other documents, in a single file dedicated to that document, or in multiple coordinated files. Documents may be stored in memory without first being stored in a file.

GUI는 컴퓨터 모니터 또는 그 밖의 디스플레이와 같은 디스플레이 디바이스에 문서의 텍스트를 제시할 수 있다. 문서들을 디스플레이 디바이스에 제시할 수 있는 모질라(Mozilla)나 파이어폭스(Firefox)와 같은 웹브라우저는 호스트 운영 시스템(예를 들어, 워싱톤 레드폰드에 위치한 마이크로소프트사로부터 입수할 수 있는 마이크로소프트 윈도우, 캘리포니아 큐페티노에 위치한 애플사로부터 입수할 수 있는 맥 OS X)에 통합된 GUI 라이브러리들을 활용한다. GUI들은 사용자들이 상호작용적으로 문서 제시들을 조작할 수 있게 하는 기능성(functionality)을 전형적으로 포함한다. GUI들은 개인용 컴퓨터, 모바일 전화기, 개인 정보 단말(PDA), 디지털 미디어 플레이어, 전자 게임 디바이스 및 전자북 리더(electronic book reader)와 같은 대부분의 소비자 컴퓨터에 제공된다. 본 명세서에 기재된 사용자 번역 피드백을 획득하기 위한 기술은 이러한 디바이스 모두에 응용가능하다. 또한, 이들 기술은 웹브라우저, 워드 프로세서, 문서 리딩 소프트웨어, 및 텍스트를 디스플레이하는 그 밖의 애플리케이션을 포함하는 매우 다양한 소프트웨어 애플리케이션들과 조합하여 사용될 수 있다. 소프트웨어 애플리케이션들은 위의 예에 한정되지 않는다.The GUI may present the text of the document on a display device, such as a computer monitor or other display. Web browsers such as Mozilla or Firefox that can present documents on display devices are available from host operating systems (e.g., Microsoft Windows, available from Microsoft, Washington, Redford). It takes advantage of the GUI libraries integrated with Mac OS X, available from Apple at Cupertino. GUIs typically include functionality that allows users to manipulate document presentations interactively. GUIs are provided in most consumer computers such as personal computers, mobile telephones, personal digital assistants (PDAs), digital media players, electronic game devices, and electronic book readers. Techniques for obtaining user translation feedback described herein are applicable to all such devices. In addition, these techniques can be used in combination with a wide variety of software applications, including web browsers, word processors, document reading software, and other applications that display text. Software applications are not limited to the above example.

사용자는 GUI에서 문서(예를 들어, 100)의 제시와, 마우스 또는 그 밖의 적절한 디바이스와 같은 입력 디바이스를 사용해 상호작용한다. 입력 디바이스는 디스플레이 디바이스 상에 시각적 표시(예를 들어, 102), 즉 "커서"를 가지며, 사용자는 커서를 이용하여 제시 내의 텍스트를 선택한다. 사용자는 커서(102)를 제시(100)의 부분(section) 위에 위치시킬 수 있다. 도1b에 도시한 바와 같이, 마우스 커서(102) 부근에 있는 텍스트(110)는 자동적으로 선택된다. 다양한 구현예에 서, 선택된 텍스트는 제시(100) 내에서 자동적으로 강조(highlight)될 수 있다. 일부 구현예에서, 커서(102)의 부근 내에 있는 것으로 간주되는 텍스트는 커서의 핫스폿(hotspot) 아래에 있는 문장이다. 다른 구현예에서, 선택된 텍스트는 커서의 핫스폿 아래에 있는 단락이다. 또 다른 구현예에서, 선택된 텍스트는 커서(102)의 핫스폿을 둘러싸는 동적으로 결정된 또는 미리 결정된 영역 내에 있는 텍스트이고, 단어, 문장 또는 단락 경계에서 한계가 결정된다.The user interacts with the presentation of a document (eg, 100) in the GUI using an input device such as a mouse or other suitable device. The input device has a visual indication (eg, 102), or “cursor,” on the display device, and the user selects text in the presentation using the cursor. The user can position the cursor 102 over a section of the presentation 100. As shown in Fig. 1B, the text 110 near the mouse cursor 102 is automatically selected. In various implementations, the selected text can be automatically highlighted in the presentation 100. In some implementations, the text considered to be within the vicinity of cursor 102 is a sentence below the hotspot of the cursor. In another embodiment, the selected text is a paragraph below the hot spot of the cursor. In another implementation, the selected text is text that is within a dynamically determined or predetermined area surrounding the hot spot of the cursor 102, and limits are determined at word, sentence, or paragraph boundaries.

문서는 소스 언어의 소스 텍스트를 포함한다. 문서의 소스 텍스트는 MTS에 의해 타겟 언어로 자동적으로 번역될 수 있다. 예를 들어, 문서 제시(100)는 러시아어 뉴스 웹페이지의 영어 번역이다. 다양한 구현예에 있어서, 이러한 번역은 캘리포니아 마운트뷰에 소재한 구글사로부터 입수 가능한 Google Translate와 같은 MTS를 사용하여 이루어질 수 있다. Google Translate는 전체 웹페이지를 포함하는 임의 분량의 텍스트를 소스 언어(예를 들어, 한국어, 중국어, 일본어 및 베트남어)로부터 타겟 언어(예를 들어, 영어, 프랑스어, 러시아어)로 번역할 수 있다. 예를 들어서, 사용자는 번역하고자 하는 웹페이지의 URL(uniform resource locator)를 Google Translate 웹페이지의 텍스트 필드에 입력하고, 소스 언어와 타겟 언어를 선택할 수 있다. Google Translate는 MTS를 사용하여 웹페이지의 가시 텍스트(visible text)를 소스 언어에서 타겟 언어로 번역한다. 사용자의 브라우저는 웹페이지의 번역된 버전으로 리다이렉트(redirect)된다.The document contains the source text of the source language. The source text of the document can be automatically translated into the target language by the MTS. For example, document presentation 100 is an English translation of a Russian news web page. In various embodiments, such translation may be made using an MTS such as Google Translate, available from Google Inc., Mountview, California. Google Translate can translate any amount of text, including the entire web page, from a source language (eg, Korean, Chinese, Japanese, and Vietnamese) to a target language (eg, English, French, Russian). For example, a user may enter a uniform resource locator (URL) of a web page to be translated into a text field of a Google Translate web page and select a source language and a target language. Google Translate uses MTS to translate the visible text of web pages from the source language to the target language. The user's browser is redirected to the translated version of the web page.

번역 피드백 윈도우(106)는 사용자가 커서(102)를 문서의 텍스트(예를 들어, 110) 위에 위치시키면, GUI에 자동적으로 제시된다. 예를 들어, 피드백 윈도 우(106)는 문서 제시(100) 위의 커서(102) 부근에 디스플레이되거나, 또는 문서 제시(100)가 가려지지 않도록 GUI의 다른 부분에 배치될 수 있다. 제시(100)가 번역된 텍스트(타겟 언어임)이면, 피드백 윈도우(106)는 상응하는 소스 텍스트(소스 언어임)를 피드백 윈도우 영역(104)에 디스플레이한다. 대안적으로, 제시(100)가 문서의 소스 텍스트이면, 피드백 윈도우 영역(104)은 소스 텍스트(110)의 타겟 언어로의 번역을 디스플레이한다. 또 다른 대안으로는, 피드백 윈도우(106)를 디스플레이하는 대신에, 영역(104)에 디스플레이되었을 텍스트가, 미리 결정된 시간동안 커서(102)가 선택된 텍스트(110) 부근에 있으면, 제시(100)의 선택된 텍스트(110)를 대체할 수 있다. 선택된 텍스트(110)는, 커서가 선택된 텍스트(110)로부터 이동하면, 자동적으로 이전 상태로 돌아온다.The translation feedback window 106 is automatically presented to the GUI when the user places the cursor 102 over the text of the document (eg, 110). For example, the feedback window 106 can be displayed near the cursor 102 on the document presentation 100 or placed in another portion of the GUI such that the document presentation 100 is not obscured. If the presentation 100 is translated text (in the target language), the feedback window 106 displays the corresponding source text (in the source language) in the feedback window area 104. Alternatively, if presentation 100 is the source text of the document, feedback window region 104 displays the translation of source text 110 into the target language. In another alternative, instead of displaying the feedback window 106, the text that would have been displayed in the area 104 is present in the presentation 100 if the cursor 102 is near the selected text 110 for a predetermined time. It may replace the selected text 110. The selected text 110 automatically returns to its previous state when the cursor is moved from the selected text 110.

사용자는 제시(100) 또는 피드백 윈도우(106)에 도시된 주어진 번역이 정확하지 않다는 것을 발견할 수 있다. 피드백 윈도우(106)를 통해 사용자는 대체 번역을 제안할 수 있다. "더욱 나은 번역 제안(suggest a better translation)" 링크(108)를 선택함으로써, 피드백 윈도우(106)에 텍스트 입력 영역(112)이 열리고(도1c 도시된 바와 같음), 이 영역에 사용자는 대체 번역을 입력할 수 있다. 일부 구현예에서, 텍스트 입력 영역(112)은 사용자가 편집할 수 있는 텍스트로 미리 채워질 수 있다. 제시(100)가 번역된 텍스트이면, 텍스트 입력 영역(112)은 선택된 텍스트(110)로 미리 채워진다. 그 외에는, 텍스트 입력 영역(112)은 타겟 언어로 번역된 선택된 텍스트(110)로 미리 채워진다. 사용자는 텍스트를 편집하거나, 이를 전체적으로 대체할 수 있다. 사용자는 "기여(contribute)" 버튼(114)을 선택하여 대체 번역을, 아래에 설명되는 번역 피드백 시스템에 제출한다. 대체 번역에 더하여, 이러한 피드백은 소스 언어로 된 소스 텍스트, 및 타겟 언어로의 소스 텍스트의 번역을 자동적으로 포함한다.The user may find that a given translation shown in presentation 100 or feedback window 106 is incorrect. The feedback window 106 allows the user to suggest alternate translations. By selecting the " suggest a better translation " link 108, a text entry area 112 is opened in the feedback window 106 (as shown in FIG. 1C), in which the user can alternately translate. Can be entered. In some implementations, the text input area 112 can be prefilled with text that the user can edit. If the presentation 100 is translated text, the text input area 112 is prefilled with the selected text 110. Otherwise, the text input area 112 is pre-filled with the selected text 110 translated into the target language. The user can edit the text or replace it entirely. The user selects a "contribute" button 114 to submit an alternative translation to the translation feedback system described below. In addition to the alternate translation, this feedback automatically includes translation of the source text into the source language and the source text into the target language.

도2a는 다른 피드백 윈도우(200)를 도시하며, 사용자는 다른 유형의 피드백을 이 윈도우(200)를 통해 제공할 수 있다. 상술한 바와 같이, 제시(100)가 번역된 텍스트이면, 영역(104)은 상응하는 소스 텍스트를 디스플레이한다. 대안적으로는, 제시(100)가 문서의 소스 텍스트이면, 영역(104)은 선택된 텍스트(110)의 타겟 언어로의 번역을 디스플레이한다. 사용자는 번역의 품질, 정확성 또는 유용성을 예를 들어, 별 등급 매김(star rating; 202) 또는 다른 평가 메커니즘을 이용하여 평가할 기회를 갖는다. 예를 들어, 5개의 별을 받은 번역은 우수한 것으로 판단되고, 하나의 별을 받은 번역은 용인될 수 없는 것으로 판단된다. 대안적으로는, 또는 등급 매김에 더하여, 사용자는 번역 품질에 대한 의견을 적어 제출할 수 있다. 사용자는 GUI 버튼(208; 또는 다른 GUI 요소)을 통해, 도2b의 윈도우 영역(212)에 도시된 바와 같이, 다른 사용자의 등급 매김이나 의견을 볼 수 있다. 또 다른 구현예에 있어서, 사용자는 번역이 문화적으로 부적절한 것임을 단순한 GUI 체크 상자(204; 도2a) 또는 다른 GUI 요소를 사용하여 또한 나타낼 수 있다. 2A shows another feedback window 200, and a user may provide other types of feedback through this window 200. As discussed above, if presentation 100 is translated text, region 104 displays the corresponding source text. Alternatively, if presentation 100 is the source text of the document, area 104 displays a translation of the selected text 110 into the target language. The user has the opportunity to rate the quality, accuracy or usefulness of the translation, for example using a star rating 202 or other rating mechanism. For example, a five-star translation is judged to be excellent, and a one-star translation is considered unacceptable. Alternatively, or in addition to grading, the user may write down and submit comments on translation quality. The user can view other users' ratings or comments, as shown in the window area 212 of FIG. 2B, through the GUI button 208 (or other GUI element). In another implementation, the user may also indicate using a simple GUI check box 204 (FIG. 2A) or other GUI element that the translation is culturally inappropriate.

도2c를 참조하면, 사용자는 선택된 텍스트(100)에 대하여 MTS가 고려한 대체 번역들, 다른 사용자가 제출한 대체 번역들(예를 들어, 도1c에 도시됨) 또는 이들을 조합을, 피드백 윈도우(200)를 통해 검토하고 현재의 번역보다 낫다고 생각되는 하나를 고른다. 도2c에 도시된 바와 같이, 사용자는 "대체 번역 선택(Select Alternative Translation)" 버튼(206; 또는 다른 GUI　요소)을 선택하여, 대체 번역들의 리스트(210)가 디스플레이되도록 한다. 사용자는 체크박스(예를 들어, 214) 또는 다른 GUI 요소를 선택함으로써 더 나은 번역을 고를 수 있다. MTS가 통계적 시스템이면, 리스트(210)는 현재 번역보다 낮은 점수를 얻는 상위 번역 가능성(top translation possibilities)을 포함할 수 있다.Referring to FIG. 2C, a user may select alternate translations considered by the MTS, alternate translations submitted by another user (eg, shown in FIG. 1C), or a combination thereof, for the selected text 100, the feedback window 200. ) And pick one that you think is better than the current translation. As shown in FIG. 2C, the user selects a " Select Alternative Translation " button 206 (or other GUI element) to cause a list 210 of alternative translations to be displayed. The user can select a better translation by selecting a check box (eg 214) or other GUI element. If the MTS is a statistical system, the list 210 may include top translation possibilities that score lower than the current translation.

도2a~c를 참조하여 설명한 부가적 피드백은 번역 피드백 시스템에 자동적으로 제공되고, 또한 이 피드백은 소스 언어로 된 소스 텍스트, 및 소스 텍스트의 타겟 언어로의 번역을 포함한다. 부가적으로, 피드백은 예를 들어, 선택된 텍스트(110)에 대하여 MTS가 고려하였지만 채택하지 않은 대체 번역들과 같은, 번역이 수행될 때 MTS의 상태(state)에 관한 그 밖의 정보를 포함할 수 있다. 이 정보 모두는 MTS의 품질을 개선하기 위해 사용될 수 있다.Additional feedback described with reference to FIGS. 2A-C is automatically provided to the translation feedback system, which also includes source text in the source language, and translation of the source text into the target language. In addition, the feedback may include other information about the state of the MTS when the translation is performed, such as, for example, alternative translations considered by the MTS but not adopted for the selected text 110. have. All of this information can be used to improve the quality of the MTS.

도3은 기계 번역에 대한 사용자 피드백을 획득하기 위한 시스템의 개략도이다. 클라이언트(304; 예를 들어, 웹브라우저 또는 그 밖의 애플리케이션)와 서버(306) 각각은 개인용 컴퓨터, 모바일 폰, 워크스테이션, 서버 및 그 밖의 적절한 디바이스와 같이, 하나 이상의 네트워크(예를 들어, 인터넷)에 의해 접속된 동일 또는 상이한 컴퓨팅 디바이스 상에 상주할 수 있는 컴포넌트(component)를 포함한다. 더욱이, 컴포넌트는 도시된 것보다 더 많거나 적을 수 있다. 다양한 구현예에 있어서, 사용자는 문서 또는 문서에 대한 참조(예를 들어, 웹페이지에 대한 URL; 322)를, 웹 서버(324)가 운영하는 웹 포털(예를 들어, Google Translate)을 통해 MTS(326)에 제출한다. 웹 서버(324)는 문서(322)를 가져와 MTS(326)에 제공한다. MTS(326)는 소스 언어의 문서 텍스트를 웹 서버(324)를 대신하여 타겟 언어로 번역한다. 3 is a schematic diagram of a system for obtaining user feedback for machine translation. Each of the client 304 (e.g., a web browser or other application) and the server 306 are one or more networks (e.g., the Internet), such as a personal computer, mobile phone, workstation, server, and other suitable device. Components that can reside on the same or different computing devices that are connected by. Moreover, components may be more or less than shown. In various implementations, a user may create a document or a reference to a document (eg, a URL to a web page; 322) via a web portal (eg, Google Translate) operated by a web server 324. Submit to (326). Web server 324 retrieves document 322 and provides it to MTS 326. The MTS 326 translates the document text of the source language into the target language on behalf of the web server 324.

예를 들자면, MTS(326)는 규칙 기반(rule-based)적이거나 또는 통계적일 수 있다. 통계적 MTS의 경우에, 번역은 이전에 번역된 텍스트들로부터 학습된다. 언어 모델(320)은 타겟 언어에서 출현하는 단어들 및 단어 조합들의 가능성을 MTS(326)에 제공한다. 번역 모델(318)은 소스 언어에서 주어진 단어 또는 단어들의 조합이 타겟 언어에서 하나 이상의 단어로 번역될 가능성을 제공한다. MTS(326)는 번역 모델(318)에서 소스 텍스트의 가장 가능성 있는 번역을 찾기 위하여 그 소스 텍스트에서 하나 이상 단어들의 인접 순서(adjacent sequences)를 조사하여 텍스트를 번역한다. 타겟 언어에서 출현할 확률이 낮은 단어들 또는 단어의 조합들이 있는 가능한 번역들을 강등시켜 유창함(fluency)을 보장하도록, 언어 모델(320)이 사용된다. For example, MTS 326 may be rule-based or statistical. In the case of statistical MTS, the translation is learned from previously translated texts. The language model 320 provides the MTS 326 with the possibility of words and word combinations appearing in the target language. The translation model 318 offers the possibility that a given word or combination of words in the source language is translated into one or more words in the target language. The MTS 326 translates the text by examining the adjacent sequences of one or more words in the source text to find the most probable translation of the source text in the translation model 318. The language model 320 is used to ensure fluency by demoting possible translations with words or combinations of words that are less likely to appear in the target language.

웹 서버(324)는 번역된 웹페이지(330)를 클라이언트(304)에 제공한다. 일부 구현예에서, 번역된 웹페이지(330)는 클라이언트(304)가 웹페이지를 렌더링할 때 보이지 않는, 소스 언어의 원 소스 텍스트를 포함한다(예를 들어, 원 소스 텍스트는 은닉(hidden)으로 표시됨). 대안적으로, 웹 서버(324)는 클라이언트(305)가 웹페이지를 렌더링할 때 원 소스 텍스트는 보이고, 번역된 텍스트는 보이지 않도록, 웹페이지(330)를 클라이언트(304)에 제공한다. 클라이언트는 문서 객체 모델(Document Object Model; DOM, 316)을 웹페이지(330)의 표현(representation)으로 채워서(by populating), 웹페이지(330)를 처리한다. DOM은 HTML 문서와 같이 구 조화된 문서의 표현이다. 렌더링 엔진(315)은 DOM을 사용하여 문서를 디스플레이 디바이스(302) 상에 제시한다. The web server 324 provides the translated web page 330 to the client 304. In some implementations, translated webpage 330 includes original source text in a source language that is invisible when client 304 renders the webpage (eg, the original source text is hidden). Displayed). Alternatively, web server 324 provides web page 330 to client 304 such that the original source text is visible and the translated text is not visible when client 305 renders the web page. The client processes the web page 330 by populating a Document Object Model (DOM) 316 with a representation of the web page 330. The DOM is a representation of a structured document, such as an HTML document. The rendering engine 315 uses the DOM to present the document on the display device 302.

웹페이지(330)에 더하여, 또는 웹페이지의 일부로서, 웹 서버(324)는 텍스트 선택 컴포넌트(308), 초기화 컴포넌트(310), 및 피드백 윈도우 컴포넌트(312)를 제공한다. 대안적으로, 이 컴포넌트들은 미리 클라이언트(304)에 상주한다. 컴포넌트들(308, 310 및 312)은 자바스크립트 코드(또는 다른 프로그래밍 언어의 코드)로 이루어지고, 이 코드는 클라이언트(304)에 의해 실행되어 웹페이지(330)를 디스플레이 디바이스(302)에 제시하는데 일부 기능한다. 초기화 컴포넌트(310)는 텍스트 선택 컴포넌트(308)에 대한 이벤트 핸들러(event handler) 및 피드백 윈도우 컴포넌트(312)에 대한 타이머(timers)를 설정한다. 텍스트 선택 컴포넌트(308)는 커서(예를 들어, 102)가 번역된 텍스트 위로 이동되면 호출되고, 커서 부근의 텍스트(예를 들어, 110)를 DOM(316)의 선택된 텍스트 속성들을 변경시켜 자동적으로 선택( 및 강조)한다.In addition to or as part of webpage 330, web server 324 provides text selection component 308, initialization component 310, and feedback window component 312. Alternatively, these components reside in client 304 in advance. Components 308, 310, and 312 are composed of JavaScript code (or code in another programming language), which is executed by client 304 to present web page 330 to display device 302. Some functions. The initialization component 310 sets up event handlers for the text selection component 308 and timers for the feedback window component 312. The text selection component 308 is called when the cursor (eg 102) is moved over the translated text and automatically changes the text near the cursor (eg 110) by changing the selected text attributes of the DOM 316. Select (and highlight).

선택된 텍스트 위에 커서가 미리 결정된 시간 동안 있으면, 피드백 윈도우 컴포넌트(312)는 커서 부근에 피드백 윈도우(예를 들어, 106 또는 200)의 제시를 표시한다. 피드백 윈도우 컴포넌트는 윈도우를 그 선택된 텍스트에 상응하는 원 소스 텍스트 또는 번역된 텍스트로 미리 채운다. 이 텍스트는 DOM(316)으로부터(예를 들어, 은닉 텍스트로부터) 획득되거나 또는 웹 서버(324)에 요청하여 획득될 수 있다. 사용자가 피드백 윈도우를 통해 피드백을 제출하면, 피드백 윈도우 컴포넌트(312)는 그 정보를 도4를 참조하여 아래에 설명될 번역 피드백 시스템(302)에 전 송한다. 피드백 정보는 소스 텍스트, 번역된 텍스트, 및 선택적으로는, 그 밖의 정보(선택된 텍스트가 번역될 때 MTS의 상태와 같은 정보)를 포함한다. MTS 상태 정보는 웹페이지(330) 내에 은닉 정보로서 부호화되거나, 또는 웹서버(324)에 요청하여 획득될 수 있다.If the cursor is over the selected text for a predetermined time, the feedback window component 312 displays the presentation of the feedback window (eg, 106 or 200) near the cursor. The feedback window component prefills the window with the original source text or translated text corresponding to the selected text. This text may be obtained from the DOM 316 (eg, from hidden text) or by requesting the web server 324. When the user submits feedback via the feedback window, the feedback window component 312 sends the information to the translation feedback system 302, which will be described below with reference to FIG. The feedback information includes source text, translated text, and optionally other information (such as the status of the MTS when the selected text is translated). The MTS state information may be encoded as hidden information in the web page 330 or obtained by requesting the web server 324.

도4는 번역 피드백 시스템(302)의 개략도이다. 시스템(302)이 사용자 피드백을 수신하면, 이 피드백은 번역 저장부(402)에 우선 저장된다. 필터 컴포넌트(404)는 초대되지 않거나, 불완전하거나, 관련이 없거나 또는 부적절한 사용자 피드백(소위, 스팸(SPAM))을 시스템(302)으로부터 제거한다. 필터 컴포넌트(404)는 하나 이상의 다음 조건이 참이면, 사용자-제공 대체 번역들을 스팸으로 간주한다. 4 is a schematic diagram of a translation feedback system 302. When the system 302 receives user feedback, this feedback is first stored in the translation store 402. The filter component 404 removes uninvited, incomplete, unrelated or inappropriate user feedback (so-called spam (SPAM)) from the system 302. The filter component 404 considers user-provided alternative translations as spam if one or more of the following conditions are true.

·대체 번역이 빈(empty) 것이거나 원 번역과 차이가 없다;The alternative translation is empty or no difference from the original translation;

·대체 번역이 외설적 언어를 담고 있다;Alternative translations contain obscene language;

·동일 사용자가 의심스럽다: 사용자가 정해진 시간 기간동안 정해진 횟수보다 많은 대언 번역을 제출하였거나 또는 사용자가 스팸을 제출한 이력이 있다; The same user is suspicious: the user has submitted more than the specified number of translations in a given time period, or there is a history of user submitting spam;

·MTS에 따르면, 대체 번역이 타겟 언어에서 출현할 가능성이 낮다; 또는According to MTS, it is unlikely that alternate translations will appear in the target language; or

·대체 번역이 중복적인(redundant) 단어들을 담고 있다.Alternative translations contain redundant words.

대체 번역에서 오자들을 자동 교정하는 필터를 포함하여, 그 밖의 필터들도 가능하다. 스팸으로 제거되지 않은 대체 번역은, 대체 번역을 평가하는 신뢰된 개인(trusted individual; 404)에게나, 또는 개인들이 대체 번역의 승인 여부를 투표할 수 있는 집단 검토 프로세스(406)로 자동적으로 보내진다. 원 소스 텍스트와 번 역된 텍스트가 대체 번역에 부수되기 때문에, 피드백을 검토하는 개인(들)은 판단하는데 완전한 정보를 가진다. 다양한 구현예에 있어서, 대체 번역이 승인되면, 그 대체 번역은 이후에 원 번역 대신에 사용되도록 MTS(326)용 번역 캐시(cache)에 부가될 수 있다. 대안적으로는, 대체 번역은 언어 모델(320)과 번역 모델(318)에 탑재되어서, MTS(326)를 추가로 훈련시키는데 사용될 수 있다. Other filters are possible, including filters that automatically correct typos in alternate translations. Alternate translations not removed by spam are automatically sent to a trusted individual 404 evaluating the alternate translation or to a group review process 406 where individuals can vote whether to approve the alternate translation. Since the original source text and the translated text accompany the alternative translation, the individual (s) reviewing the feedback have complete information to judge. In various implementations, if an alternate translation is approved, the alternate translation can be added to the translation cache for MTS 326 for later use in place of the original translation. Alternatively, alternate translations may be mounted on language model 320 and translation model 318 and used to further train MTS 326.

도5는 사용자로부터 대체 번역을 획득하는 방법을 도시하는 흐름도이다. 사용자-조작가능 커서(예를 들어, 커서(102))가 GUI 내 제1 텍스트(예를 들어, 100)의 제1 제시 부근에 위치할 때를 나타내는 지시(indication)가 수신된다. 제1 텍스트는 제1 언어로 되어 있다(단계 502). 별개의 제2 언어인 제2 텍스트의 제2 제시(예를 들어, 피드백 윈도우(106))가 GUI에 디스플레이된다(단계 504). 제2 텍스트는 제1 텍스트의 제2 언어로의 번역을 나타내거나, 또는 제1 텍스트는 제2 텍스트의 제1 언어로의 번역을 나타낸다. 마지막으로, 제1 텍스트의 제2 텍스트로의 대체 번역 또는 제2 텍스트의 제1 텍스트로의 대체 번역을 제공하는, GUI로의 사용자 입력이 수신된다(단계 506). 5 is a flowchart illustrating a method of obtaining an alternate translation from a user. An indication is received indicating when the user-operable cursor (eg, cursor 102) is positioned near the first presentation of the first text (eg, 100) in the GUI. The first text is in the first language (step 502). A second presentation of the second text in a separate second language (eg, feedback window 106) is displayed in the GUI (step 504). The second text represents the translation of the first text into the second language, or the first text represents the translation of the second text into the first language. Finally, user input to the GUI is received (step 506), which provides an alternative translation of the first text into the second text or an alternative translation of the second text into the first text.

본 명세서에 설명된 주제와 기능 동작은 디지털 전자 회로로 구현되거나, 본 명세서에 개시된 구조 및 이들 구조의 등가물을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로 구현되거나, 또는 이들 중 하나 이상의 조합으로 구현될 수 있다. 본 명세서에 개시된 주제는 하나 이상의 컴퓨터 프로그램 제품으로서 구현될 수 있다. 즉, 데이터 처리 장치에 의해 실행되거나, 데이터 처리 장치의 동작을 제어하도록, 컴퓨터 판독가능 매체 상에 부호화된 컴퓨터 프로그램 명령들의 하나 이 상 모듈로서 구현될 수 있다. 컴퓨터-판독가능 매체는 기계-판독가능 저장 디바이스, 기계-판독가능 저장 기판, 메모리 디바이스, 기계-판독가능 전파 신호를 초래하는 물질의 조성(composition), 또는 이들 중 하나 이상의 조합일 수 있다.The subject matter and functional operations described herein may be implemented in digital electronic circuitry, in computer software, firmware, or hardware, including the structures disclosed herein and equivalents thereof, or in a combination of one or more of these. Can be. The subject matter disclosed herein may be embodied as one or more computer program products. That is, it may be implemented as one or more modules of computer program instructions encoded on a computer readable medium to be executed by the data processing apparatus or to control the operation of the data processing apparatus. The computer-readable medium may be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of a substance resulting in a machine-readable radio signal, or a combination of one or more of these.

용어 "데이터 처리 장치"는 프로그래머블 프로세서, 컴퓨터, 또는 다중 프로세서 또는 컴퓨터를 예로서 포함하는, 데이터 처리를 위한 모든 장치, 디바이스 및 기계를 포괄한다. 하드웨어에 더하여, 상기 장치는 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 또는 이들 중 하나 이상의 조합을 구성하는 코드와 같이, 당해 컴퓨터 프로그램에 대한 실행 환경을 만드는 코드를 포함할 수 있다. 전파 신호는 인공적으로 발생된 신호이다. 예를 들어, 적절한 수신 장치에 전송하도록 정보를 부호화하기 위해 생성된 기계-발생 전기, 광, 또는 전자기 신호이다. The term “data processing device” encompasses all devices, devices and machines for data processing, including by way of example a programmable processor, a computer, or a multiprocessor or computer. In addition to hardware, the apparatus may include code that creates an execution environment for the computer program, such as, for example, code configuring processor firmware, protocol stacks, database management systems, operating systems, or combinations of one or more thereof. Can be. The propagation signal is an artificially generated signal. For example, a machine-generated electrical, optical, or electromagnetic signal generated to encode information for transmission to a suitable receiving device.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로도 알려짐)은, 컴파일(compiled) 또는 인터프리트(interpreted) 언어를 포함하는 임의 형태의 프로그래밍 언어로 작성될 수 있고, 또한, 컴퓨터 프로그램은 독립형 프로그램 또는 모듈로서 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에 적합한 그 밖의 유닛을 포함하는 임의 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템의 한 파일에 반드시 상응하지 않는다. 프로그램은 다른 프로그램들 또는 데이터를 보유하는 한 파일의 일부에 저장되거나(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트), 당해 프로그램 전용의 단일 파일에 저장되거나, 또는 다중 조화　파일들(예를 들어, 하나 이상의 모듈들, 서브프로그램들, 또는 코 드의 부분들을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 일 컴퓨터상에서, 또는 한 장소에 위치하거나 다중 장소에 걸쳐 분포되고 통신 네트워크에 의해 상호 접속된 다중 컴퓨터들 상에서 실행되도록 배치될 수 있다. Computer programs (also known as programs, software, software applications, scripts, or code) may be written in any form of programming language, including compiled or interpreted languages, and computer programs may be It may be distributed as a standalone program or module in any form including components, subroutines, or other units suitable for a computing environment. A computer program does not necessarily correspond to a file in the file system. A program is stored in a portion of a file that holds other programs or data (e.g., one or more scripts stored in a markup language document), stored in a single file dedicated to that program, or multiple harmonic files (e.g., For example, one or more modules, subprograms, or files that store portions of code. The computer program may be arranged to run on one computer or on multiple computers located at one location or distributed across multiple locations and interconnected by a communication network.

본 명세서에 설명된 처리와 논리 흐름은, 입력 데이터에 작용하여 출력을 생성하는 기능을 실현하는 하나 이상의 컴퓨터 프로그램들을 실행하는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 예를 들어, FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)와 같은 특수 목적 논리 회로가 상기 처리와 논리 흐름을 수행하거나, 또는 상기 장치를 구현할 수 있다. The processes and logic flows described herein may be performed by one or more programmable processors executing one or more computer programs that implement a function of operating on input data to produce an output. For example, special purpose logic circuits such as field programmable gate arrays (FPGAs) or application-specific integrated circuits (ASICs) may perform the processing and logic flow or implement the apparatus.

컴퓨터 프로그램을 실행하는데 적절한 프로세서들에는, 예를 들어, 범용 마이크로프로세서와 전용 마이크로프로세서 및 임의 종류의 디지털 컴퓨터의 하나 이상의 프로세서들이 있다. 일반적으로, 프로세서는 명령과 데이터를, 읽기 전용 메모리(ROM) 또는 랜덤 액세스 메모리(RAM) 또는 이들 양자로부터 수신한다. 컴퓨터의 필수 요소는, 명령을 수행하는 프로세서, 명령과 데이터를 저장하는 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하는 하나 이상의 대용량 저장 디바이스들(예를 들어, 자기 디스크, 광자기 디스크 또는 광 디스크)을 포함하거나, 또는 이러한 저장 디바이스들에 동작적으로(operatively) 연결되어 데이터를 송수신한다. 하지만, 컴퓨터는 그와 같은 디바이스들을 구비할 필요는 없다. 또한, 컴퓨터는 예를 들어, 모바일 전화기, 개인 휴대 단말(PDA), 모바일 오디오 재생기, GPS(Global Positioning System) 수신기 등과 같은 다른 디바이 스에 내장(embed)될 수 있다. 컴퓨터 프로그램 명령과 데이터를 저장하는데 적합한 컴퓨터 판독가능 매체에는, 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스와 같은 반도체 메모리 디바이스를 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들; 예를 들어, 내장 하드 디스크 또는 착탈식 디스크와 같은 자기 디스크들; 광자기 디스크; 및 CD-ROM과 DVD-ROM 디스크들이 있다. 프로세서와 메모리는 전용 논리 회로에 의해 보완되거나 또는 그 회로 내에 탑재될 수 있다. Processors suitable for executing a computer program include, for example, a general purpose microprocessor and a dedicated microprocessor, and one or more processors of any kind of digital computer. Generally, a processor receives instructions and data from read-only memory (ROM) or random access memory (RAM) or both. Essential elements of a computer are a processor that executes instructions, and one or more memory devices that store instructions and data. Generally, a computer also includes one or more mass storage devices (eg, magnetic disks, magneto-optical disks or optical disks) that store data, or are operatively coupled to such storage devices. Send and receive. However, the computer does not need to have such devices. In addition, the computer may be embedded in other devices such as, for example, a mobile telephone, a personal digital assistant (PDA), a mobile audio player, a global positioning system (GPS) receiver, or the like. Computer-readable media suitable for storing computer program instructions and data include, for example, all forms of nonvolatile memory, media, and memory devices, including semiconductor memory devices such as EPROM, EEPROM, and flash memory devices; Magnetic disks such as, for example, internal hard disks or removable disks; Magneto-optical disks; And CD-ROM and DVD-ROM disks. The processor and memory may be complemented by, or mounted within, the dedicated logic circuit.

사용자와 상호작용을 제공하기 위하여, 본 명세서에 설명된 주제는, 정보를 사용자에게 디스플레이하는 예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터와 같은 디스플레이 디바이스, 및 사용자가 입력을 컴퓨터에 제공하는데 사용하는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 구비한 컴퓨터상에서 구현될 수 있다. 사용자와 상호작용을 제공하기 위하여 다른 종류의 디바이스들이 사용될 수 있다. 예를 들어, 사용자에게 제공된 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같이 임의 형태의 지각(sensory) 피드백일 수 있다. 사용자로부터의 입력은 또한 음향, 음성(speech) 또는 촉각 입력을 포함하는 임의 형태로 수신될 수 있다. In order to provide interaction with a user, the subject matter described herein includes a display device such as, for example, a cathode ray tube (CRT) or liquid crystal display (LCD) monitor that displays information to the user, and a user input. Can be implemented on a computer having a keyboard and pointing device (eg, a mouse or trackball) that is used to provide the computer to a computer. Other kinds of devices can be used to provide for interaction with the user. For example, the feedback provided to the user may be any form of sensory feedback, such as visual feedback, auditory feedback, or tactile feedback. Input from the user may also be received in any form, including acoustic, speech or tactile input.

본 명세서에 기재된 주제는 컴퓨팅 시스템으로 구현될 수 있고, 상기 컴퓨팅 시스템은 데이터 서버와 같은 백엔드(back-end) 컴포넌트; 애플리케이션 서버와 같은 미들웨어(middle) 컴포넌트; 사용자가 본 명세서에 기재된 주제의 구현과 상호작용하기 위해 사용하는 그래픽 사용자 인터페이스(GUI) 또는 웹브라우저를 구비한 클라이언트 컴퓨터와 같은 프론트엔드(front-end) 컴포넌트; 또는 그러한 백엔드, 미들웨어 또는 프론트엔드 중 하나 이상의 임의 조합을 포함한다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의 형태 또는 매체(예를 들어, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예에는 LAN(local area network)과, 인터넷과 같은 WAN(wide area network)가 있다. The subject matter described in this specification can be implemented as a computing system, which includes a back-end component such as a data server; Middleware components such as application servers; A front-end component, such as a client computer with a graphical user interface (GUI) or web browser that the user uses to interact with implementations of the subject matter described herein; Or any combination of one or more of such backends, middleware, or frontends. The components of the system may be interconnected by any form or medium of digital data communication (eg, a communication network). Examples of communication networks include local area networks (LANs) and wide area networks (WANs), such as the Internet.

컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로는 서로 떨어져 있고, 통신 네트워크를 통해 통상 상호작용한다. 클라이언트와 서버의 관계는 각 컴퓨터상에서 실행되며, 서로에 대하여 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 때문에 발생한다. The computing system can include a client and a server. Clients and servers are generally distant from each other and typically interact via a communication network. The relationship of client and server runs on each computer and occurs because of computer programs that have a client-server relationship to each other.

본 명세서는 많은 상세 사항(specifics)을 포함하고 있지만, 이들은 본발명 또는 청구 사항의 범위를 한정하는 것으로 해석되어서는 안 되고, 오히려, 본 발명의 특정 구현예에 특정된 특징들의 설명으로서 해석되어야 한다. 개별 구현예의 맥락으로 본 명세서에서 설명된 소정 특징들은 조합되어서 또는 단일 구현예로서 구현될 수 있다. 역으로, 단일 구현예의 맥락으로 설명된 다양한 특징들이 다수의 개별 구현예나 또는 임의의 적절한 서브 조합으로 구현될 수 있다. 더욱이, 상기한 바와 같이, 특징들이 소정 조합으로 동작하는 것으로 설명되고 또한 그렇게 청구되었지만, 청구된 조합으로부터 하나 이상의 특징들이, 일부 경우에, 제거될 수 있고, 청구된 조합은 서브 조합이나 서브 조합의 변형에 관계될 수 있다. While this specification contains many specifics, these should not be construed as limiting the scope of the invention or claims, but rather as descriptions of features specific to particular embodiments of the invention. . Certain features that are described in this specification in the context of separate embodiments can be implemented in combination or as a single embodiment. Conversely, various features that are described in the context of a single embodiment can be implemented in a number of separate embodiments or in any suitable subcombination. Moreover, as noted above, while features have been described and claimed to operate in certain combinations, one or more features from the claimed combination can, in some cases, be removed, and the claimed combination be a combination of subcombinations or subcombinations. May be related to variations.

유사하게, 동작들이 도면들에서 특정 순서로 묘사되었지만, 바람직한 결과를 얻기 위하여, 그러한 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되거나, 또는 예시된 모든 동작이 수행되어야 하는 것이 요구되는 것은 아님을 알아야 한 다. 소정 상황에서는, 다중 또는 병렬 처리가 바람직할 수 있다. 또한, 상술한 구현예에서, 다양한 시스템 컴포넌트들의 분리가 모든 구현예에서 그러한 분리를 요구하는 것은 아님을 알아야 한다. 또한, 설명된 프로그램 컴포넌트들과 시스템들은 일반적으로 단일 소프트웨어 제품으로 통합되거나, 다중 소프트웨어 제품들로 패키지 될 수 있음을 알아야 한다. Similarly, although the operations are depicted in a particular order in the drawings, it should be understood that in order to obtain desirable results, such operations are not required to be performed in the specific order or sequential order shown, or that all illustrated operations are required to be performed. do. In certain circumstances, multiple or parallel processing may be desirable. In addition, in the above-described embodiments, it should be understood that the separation of various system components does not require such separation in all implementations. In addition, it should be understood that the described program components and systems may generally be integrated into a single software product or packaged into multiple software products.

이상과 같이, 본 발명의 특정 구현예들이 기술되었다. 그 밖의 구현예들은 후술하는 청구항의 범위 내에 있다. 예를 들어, 청구항에 인용된 동작들은 다른 순서로 수행되어도 바람직한 결과들을 여전히 달성할 수 있다.As above, certain embodiments of the present invention have been described. Other embodiments are within the scope of the following claims. For example, the actions recited in the claims may still achieve desirable results even if they are performed in a different order.

본 발명은 사용자로 하여금, 기계 번역의 품질에 대한 피드백을 쉽게 제공하게 하는 방법, 시스템 및 프로그램 제품을 제공한다. The present invention provides methods, systems, and program products that allow a user to easily provide feedback on the quality of machine translation.

Claims

As a computer-implemented method,

Indication when the user-manipulable cursor is located near the first presentation of the first text (the first text in the first language) in the graphical user interface (GUI). First receiving;

In response to said first receiving, presenting in said GUI a second presentation of a second text in a separate second language, said second text representing a translation of said first text into said second language. Or the first text is indicative of a translation of the second text into the first language; And

Receiving a second user input to the GUI, providing an alternate translation of the first text into the second text or an alternate translation of the second text into the first text. How to implement.

The method according to claim 1,

Determining if the alternate translation is SPAM, and if the alternate translation is SPAM, discarding the alternate translation.

The method according to claim 2,

The determining step,

The alternative translation is empty, the same as the first text or the second text, is less likely to appear in the first language or the second language, contains obscene language, or is suspicious Determining whether the user corresponds to one or more of the submissions.

The method according to claim 1,

Automatically providing the first text, the second text, and the alternate translation to a human reviewer.

The method according to claim 1,

And automatically providing the first text, the second text, and the alternate translation to a community review process.

The method according to claim 1,

And identifying the first text by examining the text represented in the first presentation in proximity to the cursor.

The method according to claim 6,

And wherein the first text is indicative of a subset of the text in the first presentation.

The computer-implemented method of claim 1, wherein the first text is a sentence.

The computer-implemented method of claim 1, wherein the second presentation overlies the first presentation in the GUI.

The method according to claim 1,

Displaying a third presentation in the GUI, wherein the third presentation has one or more pre-supplied alternative translations.

A computer program product encoded on a computer readable medium,

Data processing device,

First receiving an indication when the user-operable cursor is located near the first presentation of the first text (the first text is in a first language) in the graphical user interface (GUI);

And receiving a second user input to the GUI providing an alternative translation of the first text into the second text or an alternative translation of the second text into the first text. Program product.

The method of claim 11, wherein the operation is

The method according to claim 12,

The determining step,

The alternative translation is empty, the same as the first text or the second text, is less likely to appear in the first language or the second language, contains obscene language, or is submitted by a suspicious user A computer program product comprising the step of determining whether one or more of the above.

The method of claim 11, wherein the operation is

And automatically providing the human reviewer with the first text, the second text, and the alternate translation.

The method of claim 11, wherein the operation is

And automatically providing the first text, the second text, and the alternate translation to a collective review process.

The method of claim 11, wherein the operation is

And identifying the first text by examining the text represented in the first presentation near the cursor.

The method according to claim 16,

Said first text representing a subset of said text in said first presentation.

The computer program product of claim 11, wherein the first text is a sentence.

The computer program product of claim 11, wherein the second presentation overlies the first presentation in the GUI.

The method of claim 11, wherein the operation is

Displaying a third presentation in the GUI, the third presentation having one or more pre-supplied alternative translations.

A display device for presenting a graphical user interface (GUI) to a user;

One or more input devices configured to receive input from the user; And

A system comprising processor electronics configured to perform an operation, the system comprising:

The operation is,

And receiving a second user input to the GUI providing an alternative translation of the first text into the second text or an alternative translation of the second text into the first text.

The method of claim 21, wherein the operation is

The method according to claim 22,

The determining step,

The alternative translation is empty, the same as the first text or the second text, is less likely to appear in the first language or the second language, contains obscene language, or is submitted by a suspicious user Determining whether one or more of the above correspond.

The method of claim 21, wherein the operation is

Automatically providing the first text, the second text, and the alternate translation to a population review process.

The method of claim 21, wherein the operation is

And examining the text represented in the first presentation near the cursor to identify the first text.

The method of claim 26,

The first text is indicative of a subset of the text in the first presentation.

The system of claim 21, wherein the first text is a sentence.

The system of claim 21, wherein the second presentation overlies the first presentation in the GUI.

The method of claim 21, wherein the operation is

As a computer-implemented method,

Feedback relating to the translation of the first text into the second text or the translation of the second text into the first text, wherein the feedback is rated, selection of alternative translation, or the translation is appropriate And receiving a second user input to the GUI, wherein the second input is one of the instructions.

The method of claim 31,

The alternative translation is empty, the same as the first text or the second text, is less likely to appear in the first language or the second language, contains obscene language, or is submitted by a suspicious user And determining whether one or more of the above correspond.