KR102407630B1 - 서버, 사용자 단말 및 이들의 제어 방법. - Google Patents
서버, 사용자 단말 및 이들의 제어 방법. Download PDFInfo
- Publication number
- KR102407630B1 KR102407630B1 KR1020150126986A KR20150126986A KR102407630B1 KR 102407630 B1 KR102407630 B1 KR 102407630B1 KR 1020150126986 A KR1020150126986 A KR 1020150126986A KR 20150126986 A KR20150126986 A KR 20150126986A KR 102407630 B1 KR102407630 B1 KR 102407630B1
- Authority
- KR
- South Korea
- Prior art keywords
- image information
- server
- text
- translated text
- user terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000000284 extract Substances 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims description 72
- 238000012937 correction Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 206010000087 Abdominal pain upper Diseases 0.000 description 5
- 235000014443 Pyrus communis Nutrition 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Information Transfer Between Computers (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
서버, 사용자 단말 및 이들의 제어 방법이 제공된다. 본 서버의 제어 방법은 사용자 단말로부터 텍스트를 수신하고, 수신된 텍스트를 번역하여 번역 텍스트를 생성하며, 번역 텍스트에서 적어도 하나의 핵심 어휘를 추출하고, 적어도 하나의 핵심 어휘 각각에 대하여 적어도 하나의 핵심 어휘에 대응되는 이미지 정보를 추출하여 사용자 단말로 번역 텍스트 및 추출된 이미지 정보를 제공한다.
Description
본 발명은 서버, 사용자 단말 및 이들의 제어 방법에 관한 것으로, 더욱 상세하게는 번역 텍스트와 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 제공하는 서버, 서버의 제어 방법, 사용자 단말 및 사용자 단말의 제어 방법에 관한 것이다.
종래 통/번역 기술의 경우, 입력된 원본 언어의 번역을 담당하는 디코딩 부를 거쳐 대상 언어로 변환하고, 변환된 대상 언어를 텍스트, 합성음 등을 통해 출력하는 방식이 대부분이다. 이러한 방식의 경우, 사용자가 모르는 대상 언어로 통/변역 한다면, 사용자는 통/번역이 정확히 이루어졌는지 평가하는데 어려움이 있다.
어려움을 극복하기 위하여, 대상 언어로 번역된 결과를 원본 언어로 역번역하여 사용자로 하여금 문장의 오번역 여부를 확인할 수 있도록 하는 방식이 제공되었으나, 순번역/역번역을 수행함으로써 번역 오차가 누적될 가능성이 크기 때문에 번역의 정확도가 높지 않을 수 있다.
따라서, 대상 언어를 모르는 사용자가 원본 언어가 대상 언어로 번역된 번역 언어가 정확히 번역되었는지 직관적으로 알 필요성과 정확도를 높이기 위한 수정에 대한 필요성이 대두되고 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 통/번역된 텍스트의 핵심 어휘를 추출하여, 핵심 어휘에 대응되는 이미지를 함께 디스플레이함으로써 수정 가능한 통/번역 텍스트를 제공하는 서버, 서버의 제어 방법, 사용자 단말, 사용자 단말의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 서버의 제어 방법은, 사용자 단말로부터 텍스트를 수신하는 단계; 상기 수신된 텍스트를 번역하여 번역 텍스트를 생성하는 단계; 상기 번역 텍스트에서 적어도 하나의 핵심 어휘를 추출하는 단계; 상기 적어도 하나의 핵심 어휘 각각에 대하여 상기 적어도 하나의 핵심 어휘에 대응되는 이미지 정보를 추출하는 단계; 및 상기 사용자 단말로 상기 번역 텍스트 및 상기 추출된 이미지 정보를 송신하는 단계;를 포함한다.
그리고, 상기 이미지 정보를 수정하기 위한 사용자 명령이 수신되면, 상기 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 송신하는 단계;를 더 포함할 수 있다.
또한, 상기 수정 이미지 정보를 선택하기 위한 사용자 명령이 수신되면, 상기 사용자 명령에 의해 선택된 수정 이미지 정보를 바탕으로 상기 번역 텍스트를 수정하는 단계; 및 상기 수정된 번역 텍스트를 송신하는 단계;를 더 포함할 수 있다.
그리고, 상기 핵심 어휘를 추출하는 단계는, 동음이의어 사전 또는 유사 발음 사전에 기재된 어휘를 핵심 어휘로 추출할 수 있다.
또한, 상기 적어도 하나의 수정 이미지 정보는, 상기 선택된 이미지 정보가 나타내는 핵심 어휘와 동음이의어이거나 유사 발음을 가지는 단어에 대응될 수 있다.
그리고, 상기 이미지 정보를 추출하는 단계는, 상기 핵심 어휘와 복수의 이미지 정보의 관련 정도를 판단하는 단계; 및 상기 판단된 관련 정도가 가장 높은 이미지 정보를 상기 핵심 어휘에 대응되는 이미지 정보로 추출하는 단계;를 포함할 수 있다.
또한, 상기 이미지 정보는 사진, 동영상, 아이콘 중 하나일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 서버는, 사용자 단말과 통신하는 통신부; 및 상기 사용자 단말로부터 텍스트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 텍스트를 번역하여 번역 텍스트를 생성하고, 상기 번역된 텍스트에서 적어도 하나의 핵심 어휘를 추출하고, 상기 적어도 하나의 핵심 어휘 각각에 대하여 상기 적어도 하나의 핵심 어휘에 대응되는 이미지 정보를 추출하고, 상기 사용자 단말로 상기 번역된 텍스트 및 상기 추출된 이미지 정보를 송신하도록 상기 통신부를 제어하는 제어부를 포함한다.
그리고, 상기 제어부는, 상기 이미지 정보를 수정하기 위한 사용자 명령이 수신되면, 상기 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 송신하도록 상기 통신부를 제어할 수 있다.
또한, 상기 제어부는, 상기 수정 이미지 정보를 선택하기 위한 사용자 명령이 수신되면, 상기 사용자 명령에 의해 선택된 수정 이미지 정보를 이용하여 상기 번역 텍스트를 수정하고, 상기 수정된 번역 텍스트를 송신하도록 상기 통신부를 제어할 수 있다.
그리고, 상기 제어부는, 동음이의어 사전 또는 유사 발음 사전에 기재된 어휘를 핵심 어휘로 추출할 수 있다.
또한, 상기 적어도 하나의 수정 이미지 정보는, 상기 번역 텍스트와 동음이의어 또는 유사 발음을 가지는 단어에 대응될 수 있다.
그리고, 상기 제어부는, 상기 핵심 어휘와 복수의 이미지 정보의 관련 정도를 판단하고, 상기 판단된 관련 정도가 가장 높은 이미지 정보를 상기 핵심 어휘로 추출할 수 있다.
또한, 상기 이미지 정보는 사진, 동영상, 아이콘 중 하나일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 사용자 단말의 제어 방법은, 텍스트를 입력받는 단계; 상기 입력된 텍스트를 서버로 전송하는 단계; 상기 서버로부터 번역된 번역 텍스트 및 상기 번역된 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하는 단계; 및 상기 수신된 번역 텍스트 및 상기 이미지 정보를 디스플레이하는 단계;를 포함한다.
그리고, 텍스트를 입력받는 단계는, 음성을 인식하는 단계; 및 인식된 음성을 텍스트로 변환하는 단계;를 포함할 수 있다.
또한, 이미지 정보를 수정하기 위한 사용자 명령을 입력되면, 상기 서버로 상기 수정하기 위한 사용자 명령을 전송하는 단계; 상기 서버로부터 상기 수정하기 위한 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 수신하는 단계; 상기 수신된 적어도 하나의 수정 이미지 정보를 디스플레이하는 단계;를 더 포함할 수 있다.
그리고, 상기 적어도 하나의 수정 이미지 정보 중 하나를 선택하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 선택하기 위한 사용자 명령을 전송하는 단계; 상기 서버로부터 상기 선택하기 위한 사용자 명령에 의해 선택된 수정 이미지 정보를 이용하여 수정된 번역 텍스트를 수신하는 단계; 및 상기 수신된 수정된 번역 텍스트 및 선택된 수정 이미지 정보를 디스플레이하는 단계;를 더 포함할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 입력된 텍스트 및 상기 이미지 정보와 대칭되도록 상기 번역 텍스트를 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 사용자 단말은, 텍스트를 입력받는 입력부; 서버와 통신하는 통신부; 디스플레이부; 및 상기 입력된 텍스트를 서버로 전송하고, 상기 서버로부터 번역된 번역 텍스트 및 상기 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하도록 상기 통신부를 제어하고, 상기 수신된 번역 텍스트 및 상기 이미지 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 음성을 입력받도록 상기 입력부를 제어하고, 상기 인식된 음성을 텍스트로 변환할 수 있다.
또한, 상기 제어부는, 이미지 정보를 수정하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 수정하기 위한 사용자 명령을 전송하고, 상기 서버로부터 상기 수정하기 위한 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 수신하도록 상기 통신부를 제어하고, 상기 수신된 적어도 하나의 수정 이미지 정보를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 적어도 하나의 수정 이미지 정보 중 하나를 선택하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 선택하기 위한 사용자 명령을 전송하고, 상기 서버로부터 상기 선택하기 위한 사용자 명령에 의해 선택된 수정 이미지 정보를 이용하여 상기 수정된 번역 텍스트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 수정된 번역 텍스트 및 선택된 수정 이미지 정보를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 입력된 텍스트 및 상기 이미지 정보와 대칭되도록 상기 번역 텍스트를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
상술한 바와 같이, 본 발명의 다양한 실시 예에 따라, 사용자 단말은 사용자에게 더욱 정확한 통/번역을 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른, 서버와 사용자 단말을 포함하는 시스템도,
도 2는 본 발명의 일 실시 예에 따른, 서버의 구성을 간략히 도시한 블럭도,
도 3은 본 발명의 일 실시 예에 따른, 동음이의어의 혼동에 의한 오역의 예시를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 유사 발음 단어의 혼동에 의한 오역의 예시를 설명하기위한 도면,
도 5는 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 간략히 도시한 블럭도,
도 6은 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 상세히 도시한 블럭도,
도 7 내지 도 13은 본 발명의 다양한 실시 예에 따른, 번역된 텍스트와 핵심 어휘에 대응하는 이미지 정보를 함께 제공하는 다양한 실시 예를 설명하기 위한 도면들,
도 14 및 도 15는 본 발명의 다양한 실시 예에 따른, 서버의 제어 방법을 설명하기 위한 흐름도들, 그리고,
도 16은 본 발명의 일 실시 예에 따른, 시스템을 설명하기 위한 시퀀스도이다.
도 2는 본 발명의 일 실시 예에 따른, 서버의 구성을 간략히 도시한 블럭도,
도 3은 본 발명의 일 실시 예에 따른, 동음이의어의 혼동에 의한 오역의 예시를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 유사 발음 단어의 혼동에 의한 오역의 예시를 설명하기위한 도면,
도 5는 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 간략히 도시한 블럭도,
도 6은 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 상세히 도시한 블럭도,
도 7 내지 도 13은 본 발명의 다양한 실시 예에 따른, 번역된 텍스트와 핵심 어휘에 대응하는 이미지 정보를 함께 제공하는 다양한 실시 예를 설명하기 위한 도면들,
도 14 및 도 15는 본 발명의 다양한 실시 예에 따른, 서버의 제어 방법을 설명하기 위한 흐름도들, 그리고,
도 16은 본 발명의 일 실시 예에 따른, 시스템을 설명하기 위한 시퀀스도이다.
본 발명의 실시 예에서 사용되는 용어에 대해 간략히 설명하고, 본 실시예들에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시 예들의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시 예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시 예들의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시 예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 발명의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
또한, 본 발명의 실시 예에서, 사용자 입력은, 터치 입력, 벤딩 입력, 음성 입력, 버튼 입력 및 다중(multimodal) 입력 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 발명의 실시 예에서, “어플리케이션”은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 말한다. 본 발명의 실시 예에서, 어플리케이션은 다양할 수 있다. 예를 들어, 게임 어플리케이션, 동영상 재생 어플리케이션, 지도 어플리케이션, 메모 어플리케이션, 캘린더 어플리케이션, 폰 북 어플리케이션, 방송 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 사진 폴더 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 도면을 참조하여 본 발명에 대해 설명하기로 한다. 도 1은 본 발명의 일 실시 예에 따른, 번역 시스템(10)을 나타내는 도면이다. 도 1에 도시된 바와 같이, 시스템(10)은 서버(100) 및 사용자 단말(200)을 포함한다. 한편, 본 발명의 일 실시 예에 따라, 사용자 단말(200)이 하나인 것으로 도시하였지만, 이에 제한되지 않는다. 또한, 본 발명의 일 실시 예에 따른, 사용자 단말(200)은 스마트 폰, 스마트 워치, 태블릿 PC, 노트북 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.
사용자 단말(200)은 원문 텍스트를 입력받아 입력된 원문 텍스트를 바탕으로 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 함께 디스플레이할 수 있다. 특히, 이미지 정보를 이용하여 번역 텍스트를 수정하기 위한 사용자 명령이 입력되면, 사용자 단말(200)은 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 디스플레이할 수 있다. 그리고, 수정 이미지 정보를 선택하기 위한 사용자 명령이 입력되면, 사용자 단말(200)은 수정 이미지 정보를 바탕으로 수정된 번역 텍스트를 디스플레이할 수 있다.
구체적으로, 사용자 단말(200)은 원문 텍스트를 입력받을 수 있다. 원문 텍스트가 음성으로 입력되는 경우, 사용자 단말(200)은 입력된 음성을 텍스트로 전환하여 원문 텍스트를 서버(100)로 전송할 수 있다.
원문 텍스트가 수신되면, 서버(100)는 원문 텍스트를 번역하여 번역 텍스트를 생성할 수 있다. 구체적으로, 서버(100)는 번역기(Machine Translation Decoder)를 이용함으로써 수신된 원문 텍스트를 대상 언어로 번역하여 번역 텍스트를 생성할 수 있다.
그리고, 서버(100)는 번역 텍스트의 핵심 어휘를 추출할 수 있다. 이때, 핵심 어휘는 명사 또는 서술어 등일 수 있다. 특히, 서버(100)는 번역 텍스트에 포함된 어휘 중 동음이의어 또는 유사 발음 단어에 해당하는 어휘를 핵심 어휘로 추출할 수 있다.
서버(100)는 추출된 핵심 어휘 각각에 대응되는 이미지 정보를 추출할 수 있다. 이때, 이미지 정보는 아이콘, 사진, 그림, 동영상 또는 동영상의 캡쳐 사진일 수 있다. 그리고, 서버(100)는 번역 텍스트와 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 사용자 단말(200)로 전송할 수 있다.
번역 텍스트와 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하면, 사용자 단말(200)은 번역 텍스트와 이미지 정보를 함께 디스플레이할 수 있다. 그리고, 번역 텍스트를 수정하기 위하여 이미지 정보를 선택하는 사용자 명령이 입력되면, 사용자 단말(200)은 이미지 정보를 선택하기 위한 사용자 명령을 서버(100)로 전송할 수 있다.
이미지 정보를 선택하기 위한 사용자 명령이 수신되면, 서버(100)는 선택된 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 추출한다. 이때, 수정 이미지 정보는 선택된 이미지 정보에 대응되는 핵심 어휘의 동음이의어 또는 유사 발음 단어에 대응되는 이미지 정보일 수 있다. 그리고, 서버(100)는 추출된 적어도 하나의 이미지 정보를 사용자 단말(200)로 전송할 수 있다.
적어도 하나의 수정 이미지 정보가 수신되면, 사용자 단말(200)은 수정 이미지 정보를 선택하기 위한 사용자 명령을 입력받기 위하여 적어도 하나의 수정 이미지 정보를 포함하는 UI를 디스플레이할 수 있다. 사용자 단말(200)은 수정 이미지 정보와 함께 번역을 요하지 않는 어휘(예를 들어, 고유명사)를 지정받기 위한 UI 엘리먼트를 함께 디스플레이할 수 있다. 그리고, 수정 이미지 정보를 선택하기 위한 사용자 명령이 입력되면, 사용자 단말(200)은 선택된 수정 이미지 정보를 서버(100)로 전송할 수 있다.
선택된 수정 이미지 정보가 수신되면, 서버(100)는 선택된 수정 이미지 정보를 바탕으로 번역 텍스트를 수정한다. 그리고, 번역을 요하지 않는 어휘를 지정받기 위한 UI 엘리먼트를 선택하는 사용자 명령이 입력되면, 서버(100)는 해당 어휘를 고유 명사로 판단하고, 입력 텍스트를 수정할 수 있다. 서버(100)는 수정된 번역 텍스트를 사용자 단말(200)로 전송할 수 있다.
수정된 번역 텍스트가 수신되면, 사용자 단말(200)은 수정된 번역 텍스트와 수정 이미지 정보를 함께 디스플레이할 수 있다.
도 2는 본 발명의 일 실시 예에 따른, 서버(100)의 구성을 나타내는 도면이다. 도 2에 도시된 바와 같이, 서버(100)는 통신부(110), 데이터 베이스(120), 제어부(130)를 포함한다.
통신부(110)는 외부 장치와 통신을 수행한다. 특히, 통신부(110)는 사용자 단말(200)로부터 원문 텍스트 및 사용자 명령을 수신할 수 있다. 또한, 통신부(110)는 사용자 단말(200)에 번역 텍스트, 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보 및 수정된 번역 텍스트, 수정 이미지 정보를 송신할 수 있다.
데이터 베이스(120)는 원문 텍스트를 번역하거나 번역 텍스트의 핵심 어휘를 추출하거나 추출된 핵심 어휘에 대응되는 이미지 정보를 추출하기 위하여 다양한 데이터를 저장한다. 특히, 데이터 베이스(120)는 번역 텍스트의 핵심 어휘를 추출하기 위하여 동음이의어 및 유사 발음 단어에 대한 정보를 저장할 수 있다. 또한, 데이터 베이스(120)는 핵심 어휘 및 이미지 정보를 매칭하여 저장할 수 있다.
제어부(130)는 서버(100)의 전반적인 동작을 제어한다. 특히, 제어부(130)는 번역 텍스트의 핵심 어휘를 추출하고, 핵심 어휘에 대응되는 이미지 정보를 추출할 수 있다. 또한, 번역 텍스트의 오류를 수정하기 위한 사용자 명령이 수신되면, 제어부(130)는 이미지 정보를 대체하기 위한 수정 이미지 정보를 추출할 수 있다.
구체적으로, 제어부(130)는 원문 텍스트를 수신하도록 통신부(110)를 제어할 수 있다. 제어부(130)는 수신된 원문 텍스트를 번역하여 번역 텍스트를 생성할 수 있다. 구체적으로, 제어부(130)는 수신된 원문 텍스트를 대상 언어로 번역하여 번역 텍스트를 생성할 수 있다. 본 발명의 일 실시 예에 따르면, 제어부(130)는 번역 모델의 파라미터 값을 바탕으로 수신된 원문 텍스트를 번역하여 번역 텍스트를 생성할 수 있다. 제어부(130)가 구 기반 번역(Phrase-based Machine Translation)을 수행하는 경우, 제어부(130)는 번역 테이블(Decoder Phrase Table)을 이용하여 번역 모델의 파라미터 값을 구할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 제어부(130)는 기존의 사용자 로그(log)를 바탕으로 동일한 원문 텍스트를 상이한 의미로 번역할 수 있다. 예를 들어, 통신부(110)를 통해 "공항에서 신고할 내용이 없습니다"가 수신된 경우, 제어부(130)는 general domain이라면, "There is nothing to report at the airport"로 번역할 수 있고, air port domain이라면, "There is nothing to declare"로 번역할 수 있고, call domain이라면, "There is nothing to call at the airport"로 번역할 수 있다.
그리고, 제어부(130)는 번역 텍스트에서 적어도 하나의 핵심 어휘를 추출할 수 있다. 제어부(130)는 번역 텍스트에 포함된 명사 및 서술어를 핵심 어휘로 추출할 수 있다. 특히, 제어부(130)는 번역 텍스트에 포함된 명사 및 서술어 중 동음이의어 사전에 기재된 어휘이거나 유사 발음 사전에 기재된 어휘에 해당하는 명사 및 서술어를 핵심 어휘로 추출할 수 있다.
그리고, 제어부(130)는 핵심 어휘 각각에 대하여 적어도 하나의 핵심 어휘에 대응되는 이미지 정보를 추출할 수 있다. 구체적으로, 제어부(130)는 핵심 어휘 각각에 대응되는 복수의 이미지 정보를 추출할 수 있다. 제어부(130)는 핵심 어휘와 핵심 어휘에 대응되는 복수의 이미지 정보의 관련 정도를 판단할 수 있다. 제어부(130)는 핵심 어휘에 대응되는 복수의 이미지 정보 중 핵심 어휘와 관련 정도가 가장 높은 이미지 정보를 핵심 어휘에 대응되는 이미지 정보로 추출할 수 있다. 제어부(130)는 기존에 번역 텍스트를 수정하기 위하여 선택된 적이 있는 이미지 정보를 대응되는 핵심 어휘와의 관련 정도가 낮은 이미지 정보로 판단할 수 있다. 반면에, 제어부(130)는 수정 이미지 정보로 추출된 적이 있는 이미지 정보를 대응되는 핵심 어휘와의 관련 정도가 높은 이미지 정보로 판단할 수 있다. 이때, 이미지 정보는 사진, 동영상, 아이콘 중 하나일 수 있다.
그리고, 제어부(130)는 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 적어도 하나의 이미지 정보를 사용자 단말(200)로 전송하도록 통신부(110)를 제어할 수 있다.
그리고, 이미지 정보를 수정하기 위한 사용자 명령이 수신되면, 제어부(130)는 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 추출할 수 있다. 수정 이미지 정보를 선택하기 위한 사용자 명령이 수신되면, 제어부(130)는 선택된 수정 이미지 정보를 바탕으로 번역 텍스트를 수정할 수 있다. 이때, 적어도 하나의 수정 이미지 정보는 선택된 이미지 정보에 대응되는 핵심 어휘와 동음이의어이거나 유사 발음을 가지는 단어에 대응되는 이미지 정보일 수 있다.
구체적으로, 번역 텍스트를 수정하기 위하여 이미지 정보를 선택하는 사용자 명령이 수신되면, 제어부(130)는 사용자 명령을 바탕으로 번역 모델의 파라미터 값을 변경할 수 있다. 제어부(130)는 선택된 이미지 정보에 대응되는 파라미터 값을 감소시킬 수 있다. 이미지 정보가 번역 텍스트를 수정하기 위하여 선택된 이미지 정보가 아니거나, 번역 텍스트가 오류가 없음을 알리는 사용자 명령이 입력되면, 서버(100)는 이미지 정보에 대응되는 파라미터 값을 증가시킬 수 있다. 본 발명의 일 실시 예에 따르면, 제어부(130)는 특정 구(Phrase)가 대상 언어의 구로 번역될 확률 또는 점수 정보를 저장할 수 있고, 사용자의 수정 명령에 따라 확률 또는 점수 정보를 조정할 수 있다.
동음이의어 또는 유사 발음 단어에 해당하는 경우, 오역이 발생하는 예에 대하여 도 3 및 도 4를 참조하여 설명하기로 한다.
통계적 번역의 경우, 의미 분석 결과를 기반한 방법이 아니므로 동음이의어 또는 발음이 유사한 단어 사이의 혼동으로 인해 번역이 잘못될 확률이 높다. 따라서, 제어부(130)는 오역이 일어날 확률이 큰 동음이의어 또는 발음이 유사한 단어에 해당하는 단어를 핵심 어휘로 추출할 수 있다. 도 3은 본 발명의 다양한 실시 예에 따른, 동음이의어의 혼동에 의한 잘못된 번역의 예시를 나타내는 도면이다. 예를 들어, 사용자 단말(200)로부터 통신부(110)를 통해 "나는 지금 배가 고픈 것 같아"가 수신된 경우, 제어부(130)는 통계적 번역의 결과로 "배(310)"를 stomach가 아닌 "ship(315)"으로 혼동하여 오류가 있는 "Now I think ship and land I"를 생성할 수 있다. 또는 사용자 단말(200)로부터 통신부(110)를 통해 "밥을 많이 먹어서 배가 부르다"가 수신된 경우, 제어부(130)는 통계적 번역의 결과로 "배가(320)" "부르다(330)"를 full이 아닌 "doubled(325)" "sing(335)"로 혼동하여 오류가 있는 "Eat a lot of rice doubled sing"을 생성할 수 있다.
본 발명의 또 다른 실시 예들에 따르면, 도 4는 발음이 유사한 단어의 혼동을 나타내는 예시이다. 예를 들어, 사용자 단말(200)로부터 통신부(110)를 통해 "결제(140) 올립니다"가 수신된 경우, 제어부(130)는 통계적 번역을 하여 "raise payment(415)"를 생성할 수 있다. 그리고, 사용자 단말(200)로부터 통신부(110)를 통해 "결재(420) 올립니다"가 수신된 경우, 제어부(130)는 통계적 번역을 하여 "raise approval(425)"를 생성할 수 있다. 결제(410)와 결재(420)는 발음이 유사하지만 의미가 상이한 단어이므로, 특히 음성 인식을 통해 원문 텍스트를 입력받는 경우 오역이 발생할 확률이 크다. 따라서, 제어부(130)는 번역 텍스트에 포함된 발음이 유사한 단어를 핵심 어휘로 추출하여 정확도 높은 수정을 유도할 수 있다.
도 5는 본 발명의 일 실시 예에 따른, 사용자 단말의 구성을 나타내는 도면이다. 도 5에 도시된 바와 같이, 사용자 단말(200)은 통신부(210), 디스플레이부(220), 입력부(230) 및 제어부(240)를 포함한다. 한편, 본 발명의 일 실시 예에 따른, 사용자 단말(200)은 스마트 폰, 스마트 워치, 태블릿 PC, 노트북 PC 등과 같은 다양한 전자 장치로 구현될 수 있다.
통신부(210)는 외부 장치와 통신을 수행한다. 특히, 통신부(210)는 서버(100)와 텍스트 및 이미지 정보를 송수신할 수 있다.
디스플레이부(220)는 영상 데이터를 출력한다. 특히, 디스플레이부(220)는 서버에서 수신된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 디스플레이할 수 있다.
입력부(230)는 사용자 단말을 제어하기 위한 사용자 명령을 입력받는다. 입력부(230)는 음성, 텍스트, 이미지 등을 입력받을 수 있다. 이때, 입력부(230)는 사용자 단말(200)의 본체에 구비될 수 있으나, 이는 일 실시 예에 불과할 뿐, 본체의 외부(예를 들어, 별도의 마이크, 키보드 등)에 구비될 수 있다. 입력부(230)가 본체의 외부에 구비되는 경우, 입력부(230)는 유/무선 인터페이스(예를 들어, 와이파이, 블루투스 등)를 통해 생성된 사용자의 명령 신호를 사용자 단말(200)의 본체에 전송할 수 있다.
제어부(240)는 사용자 단말(200)의 전반적인 동작을 제어한다. 특히, 제어부(240)는 입력부(230)를 통해 입력된 텍스트를 서버(100)로 전송하고, 서버(100)로부터 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하도록 통신부(210)를 제어할 수 있다. 수신된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 디스플레이하도록 디스플레이부(220)를 제어할 수 있다.
구체적으로, 제어부(240)는 입력부(230)를 통해 입력된 텍스트를 서버(100)로 전송하도록 통신부(210)를 제어할 수 있다. 원문 텍스트가 음성 인식되어 입력된 경우, 제어부(240)는 인식된 음성을 텍스트로 변환하고, 텍스트를 서버(100)로 전송하도록 통신부(210)를 제어할 수 있다.
그리고, 제어부(240)는 서버(100)로부터 번역된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하도록 통신부(210)를 제어할 수 있다. 이때, 이미지 정보는 사진, 동영상, 아이콘 중 하나일 수 있다.
그리고, 제어부(240)는 수신된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 적어도 하나의 이미지 정보를 디스플레이하도록 디스플레이부(220)를 제어할 수 있다.
그리고, 번역 텍스트를 수정하기 위하여 이미지 정보를 선택하는 사용자 명령이 입력되면, 제어부(240)는 서버(100)로 이미지 정보를 선택하는 사용자 명령을 전송하고, 이미지 정보를 선택하는 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 수신하도록 통신부(210)를 제어할 수 있다. 적어도 하나의 수정 이미지 정보가 수신되면, 제어부(240)는 수신된 적어도 하나의 수정 이미지 정보를 포함하는 UI를 디스플레이하도록 디스플레이부(220)를 제어할 있다. 또한, 적어도 하나의 수정 이미지 정보를 포함하는 UI는 핵심 어휘가 번역을 요하지 않는 단어(예를 들어, 고유 명사 등)로 지정하는 사용자 명령을 입력받기 위한 UI 엘리먼트를 포함할 수 있다.
적어도 하나의 수정 이미지 정보 중 하나의 수정 이미지 정보를 선택하는 사용자 명령이 입력되면, 제어부(240)는 서버(100)로 하나의 수정 이미지 정보를 선택하는 사용자 명령을 전송하고, 서버(100)로부터 선택된 수정 이미지 정보를 이용하여 수정된 번역 텍스트를 수신하도록 통신부(210)를 제어할 수 있다. 그리고, 핵심 어휘가 번역을 요하지 않는 단어로 지정하는 사용자 명령이 입력되면, 제어부(240)는 서버(100)로 사용자 명령을 전송하고, 서버(100)로부터 사용자 명령에 대응하는 핵심 어휘를 고유 명사 등으로 판단하여 수정된 번역 텍스트를 수신하도록 통신부(210)를 제어할 수 있다. 수정된 번역 텍스트가 수신되면, 제어부(240)는 수신된 수정된 번역 텍스트 및 선택된 수정 이미지 정보를 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
상술한 바와 같은 사용자 단말(200)에 의해, 사용자는 보다 높은 정확도로 번역 텍스트를 제공받을 수 있게 된다.
이하에서는 도 6 내지 도 13을 참조하여 본 발명의 다양한 실시 예에 대해 설명하기로 한다. 도 6은 본 발명의 일 실시 예에 따른, 사용자 단말(200)이 구성을 상세히 도시한 블럭도이다. 도 6에 도시된 바와 같이, 사용자 단말(200)은 디스플레이부(610), 오디오 출력부(620), 통신부(630), 저장부(640), 감지부(650), 입력부(660) 및 제어부(670)를 포함한다.
한편, 도 6은 사용자 단말(200)이 텍스트 입력 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 6에 도시된 구성요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
디스플레이부(610)는 영상수신부(미도시)로부터 수신한 영상 데이터를 영상 처리부(미도시)에서 처리한 비디오 프레임 및 그래픽 처리부(673)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다. 특히, 디스플레이부(610)는 서버와 송수신된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 디스플레이할 수 있다. 또한, 디스플레이부(610)는 번역 텍스트를 수정하기 위하여 이미지 정보를 선택하는 사용자 명령을 입력받기 위한 UI를 디스플레이할 수 있다.
오디오 출력부(620)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 본 발명의 일 실시 예에 따라, 오디오 출력부(620)는 번역 텍스트를 음성으로 출력할 수 있다. 특히, 오디오 출력부(620)는 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
통신부(630)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(630)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(630)는 서버(100)와 텍스트 및 이미지를 송수신할 수 있다.
저장부(640)는 사용자 단말(200)을 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(640)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(640)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말(200)이 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
특히, 저장부(640)는 수신된 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 저장할 수 있다.
한편 본 발명의 일 실시 예에서, 저장부(640)는 제어부(670) 내 롬(672), 램(671) 또는 사용자 단말(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하여 정의될 수 있다.
감지부(650)는 사용자 단말(200)의 주변 환경을 감지한다. 특히, 감지부(650)는 위치 정보를 감지할 수 있는 GPS 센서, 사용자 단말(200)의 움직임을 감지할 수 있는 움직임 감지 센서(예를 들어, 자이로 센서, 가속도 센서 등), 압력 센서, 노이즈 센서 등과 같은 다양한 센서를 포함할 수 있다.
입력부(660)는 원문 텍스트 및 사용자 단말(200)을 제어하기 위한 사용자 명령을 입력받는다. 특히, 입력부(660)는 원문 텍스트 및 사용자 명령을 입력받기 위해 터치 입력부, 버튼, 음성 입력부, 모션 입력부, 키보드 마우스 등과 같은 다양한 입력 장치를 포함할 수 있다.
제어부(670)는 도 6에 도시된 바와 같이, RAM(671), ROM(672), 그래픽 처리부(673), 메인 CPU(674), 제1 내지 n 인터페이스(675-1 ~ 675-n), 버스(676)를 포함한다. 이때, RAM(671), ROM(672), 그래픽 처리부(673), 메인 CPU(674), 제1 내지 n 인터페이스(675-1 ~ 675-n) 등은 버스(676)를 통해 서로 연결될 수 있다.
ROM(672)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(674)는 ROM(672)에 저장된 명령어에 따라 저장부(640)에 저장된 O/S를 RAM(671)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(674)는 저장부(640)에 저장된 각종 어플리케이션 프로그램을 RAM(671)에 복사하고, RAM(671)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(673)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(610)의 디스플레이 영역 내에 표시된다.
메인 CPU(674)는 저장부(640)에 액세스하여, 저장부(640)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(674)는 저장부(640)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(675-1 내지 675-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(670)는 입력부(660)를 통해 입력된 원문 텍스트를 서버(100)로 전송하고, 서버(100)로부터 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하도록 통신부(630)를 제어한다. 그리고, 제어부(670)는 수신된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 디스플레이하도록 디스플레이부(610)를 제어할 수 있다.
구체적으로, 제어부(670)는 입력부(660)를 통해 원문 텍스트를 입력받는다. 입력부(660)를 통해 원문 텍스트가 음성으로 입력되는 경우, 제어부(670)는 입력된 음성을 텍스트로 전환할 수 있다.
그리고, 제어부(670)는 원문 텍스트를 서버(100)로 전송하도록 통신부(630)를 제어할 수 있다. 제어부(670)는 서버(100)로부터 원문 텍스트를 번역하여 생성된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하도록 통신부(630)를 제어할 수 있다.
그리고, 제어부(670)는 수신된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 디스플레이하도록 디스플레이부(610)를 제어할 수 있다. 이때, 이미지 정보는 사진, 동영상, 아이콘 중 하나일 수 있고, 핵심 어휘의 의미를 나타낼 수 있다.
구체적으로, 도 7에 도시된 바와 같이, 입력부(660)를 통해 "배가 아플땐 어느 병원을 가나요(740)"라는 원문 텍스트가 입력된 경우, 제어부(670)는 서버(100)로 "배가 아플땐 어느 병원을 가나요(740)"를 전송하도록 통신부(630)를 제어할 수있다. 제어부(670)는 서버(100)로부터 "배가 아플땐 어느 병원을 가나요(740)"를 번역하여 생성된 번역 텍스트 "Which hospital ship types(750)" 및 번역 텍스트의 핵심 어휘에 대응되는 배 이미지(710), 병원 이미지(720), 지도 이미지(730)를 수신하도록 통신부(630)를 제어할 수 있다.
그리고, 제어부(670)는 수신된 "Which hospital ship types(750)" 및 "Which hospital ship types(750)"의 핵심 어휘에 대응되는 배 이미지(710), 병원 이미지(720), 지도 이미지(730)를 디스플레이하도록 디스플레이부(610)를 제어할 수 있다. 도 7에 도시된 바와 같이, 원문 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보가 디스플레이되고, 디스플레이된 원문 텍스트 및 이미지와 선 대칭되는 구조로 번역 텍스트를 디스플레이하는 것은 일 실시 예에 불과할 뿐, 다양한 구조로 디스플레이될 수 있다.
입력 텍스트 "배가 아플땐 어느 병원을 가나요(740)"에 포함된 "배"는 통계적으로 번역 텍스트 "Which hospital ship types(750)"에 포함된 "ship"으로 번역될 확률이 높지만, 원문 텍스트 "배가 아플땐 어느 병원을 가나요(740)"에 포함된 "배"와 상이한 의미를 갖는 어휘로 오역에 해당한다. 대상 언어를 전혀 모르는 사용자라 하더라도 "배가 아플땐 어느 병원을 가나요(740)"와 관련성이 낮은 배 이미지(710)를 통해 오역 되었음을 판단할 수 있게 된다.
따라서, 번역 텍스트 "Which hospital ship types"를 수정하기 위하여 배 이미지(810)를 선택하는 사용자 명령이 입력되면, 제어부(670)는 배 이미지(810)를 선택하는 사용자 명령을 서버(100)로 전송하고, 서버(100)로부터 배 이미지(810)를 대체하기 위한 적어도 하나의 수정 이미지 정보를 수신하도록 통신부(630)를 제어할 수 있다.
그리고, 도 8에 도시된 바와 같이, 제어부(670)는 배 이미지(810)를 대체하기 위한 수정 이미지(820,830,840)를 디스플레이하도록 디스플레이부(610)를 제어할 수 있다. 예를 들어, 수정 이미지(820,830,840)는 선택된 배 이미지(810)가 나타내는 "배"의 동음이의어에 해당하는 과일 배 이미지(820), 신체 배 이미지(830)를 포함할 수 있고, 번역을 요하지 않는 고유 명사임을 나타내는 아이콘(840)을 포함할 수 있다.
그리고, "배가 아플땐 어느 병원을 가나요"에서의 "배"에 해당하는 신체 배 이미지(830)가 선택되면, 제어부(670)는 선택된 이미지(830) 정보를 서버(100)로 전송하고, 선택된 이미지(830) 정보를 바탕으로 수정된 번역 텍스트를 수신하도록 통신부(630)를 제어할 수 있다. 또한, 고유명사 아이콘(840)이 선택되면, 제어부(670)는 선택된 고유명사 아이콘(840) 정보를 서버(100)로 전송하고, "배"를 고유명사로 판단하여 수정된 번역 텍스트를 수신하도록 통신부(630)를 제어할 수 있다.
그리고, 도 9에 도시된 바와 같이, 제어부(670)는 수정된 번역 텍스트 "Have a stomachache which hospital go(950)" 및 "Have a stomachache which hospital go(950)"의 핵심 어휘에 대응되는 배 이미지(910), 병원 이미지(920), 지도 이미지(930)를 디스플레이하도록 디스플레이부(610)를 제어할 수 있다. "Have a stomachache which hospital go(950)"의 핵심 어휘에 대응되는 배 이미지(910), 병원 이미지(920), 지도 이미지(930)를 함께 디스플레이함으로써 상술한 수정 방법을 반복하는 것이 가능하다.
본 발명의 일 실시 예에 따라, 도 10에 도시된 바와 같이, 제어부(670)는 번역 텍스트의 핵심 어휘 각각을 대응되는 이미지 정보와 연결하여 디스플레이하도록 디스플레이부(610)를 제어할 수 있다. 예를 들어, 번역 텍스트 "Which hospital ship types"의 핵심 어휘 "Which(1051)", "hospital(1053)", "ship(1055)" 각각에 대응하는 이미지가 연결되어 디스플레이되도록 "Which(1051)"와 지도 이미지(1030) 사이에 연결 선을 표시하고, "hospital(1053)"와 병원 이미지(1053) 사이에 연결 선을 표시하고, "ship(1055)" 배 이미지(1010) 사이에 연결 선을 표시하여 디스플레이하도록 디스플레이부(610)를 제어할 수 있다. 또는, 제어부(670)는 핵심 어휘 각각을 대응하는 이미지 정보로 치환하여 디스플레이하도록 디스플레이부(610)를 제어할 수 있다.
본 발명의 또 다른 실시 예에 따라, 도 11에 도시된 바와 같이, 제어부(670)는 번역 텍스트와 번역 텍스트에 대응되는 영화 자막의 장면(1110)을 클립(clip) 형태로 디스플레이하도록 디스플레이부(610)를 제어할 수 있다. 이때, 번역 텍스트에 대응되는 영화 자막의 장면(1110)은 번역 텍스트와 기 설정된 퍼센트 이상 일치하는 자막의 장면일 수 있다. 번역 텍스트와 기 설정된 퍼센트 이상 일치하는 자막이 복수 개인 경우, 제어부(670)는 복수 개의 자막의 장면 시작 화면을 동시에 디스플레이하도록 디스플레이부(610)를 제어함으로써 한 개의 자막의 장면을 선택하여 재생하기 위한 사용자 명령을 입력받을 수 있다. 한편, 제어부(670)는 서버(100)로부터 번역 텍스트에 대응되는 영화 자막의 장면(1110)을 수신하도록 통신부(630)를 제어할 수도 있고, 저장부(640)에 저장된 영화 자막 중 번역 텍스트에 대응되는 영화 자막의 장면(1110)을 추출할 수도 있다.
본 발명의 또 다른 실시 예에 따르면, 도 12 및 도 13에 도시된 바와 같이, 번역 텍스트의 핵심 어휘에 대응되는 하나 이상의 이미지 정보를 대체하는 사용자 명령이 입력되면, 제어부(670)는 사용자 명령을 전송하고, 대체 이미지 정보를 수신하도록 통신부(630)를 제어할 수 있다. 예를 들어, 제어부(670)는 입력부(640)를 통해 "파란 셔츠를 보여주세요(1230)"를 입력받을 수 있다. 그리고, 제어부(670)는 "파란 셔츠를 보여주세요(1230)"를 서버(100)로 전송하고, "Show me a blue shirts(1240)" 및 "Show me a blue shirts(1240)"의 핵심 어휘에 대응되는 파란 셔츠 이미지(1210), 두 눈 이미지(1220)를 수신하도록 통신부(630)를 제어할 수 있다. 그리고, 제어부(670)는 "Show me a blue shirts(1240)" 및 "Show me a blue shirts(1240)"의 핵심 어휘에 대응되는 파란 셔츠 이미지(1210), 두 눈 이미지(1220)를 디스플레이하도록 디스플레이부(610)를 제어할 수 있다.
그리고, "보여주세요"에 대응되는 두 눈 이미지(1220)를 대체하기 위한 사용자 명령이 입력되면, 제어부(670)는 두 눈 이미지(1220)에 대한 정보를 서버(100)로 전송하고, 대체 이미지 정보를 수신하도록 통신부(630)를 제어할 수 있다. 이때, 두 눈 이미지(1220)를 대체하기 위한 대체 이미지 정보는 "살게요", "얼마인가요" 등의 의미를 나타내는 이미지 정보일 수 있다.
그리고, "살게요"의 의미를 나타내는 카트 이미지(1320)를 선택하는 사용자 명령이 입력되면, 제어부(670)는 카트 이미지(1320) 정보를 서버(100)로 전송하고, 카트 이미지(1320)를 바탕으로 수정된 번역 텍스트를 수신하도록 통신부(630)를 제어할 수 있다. 도 13에 도시된 바와 같이, 제어부(670)는 원문 텍스트 "파란 셔츠를 살게요(1330)", 수정된 번역 텍스트 "I will take the blue shirt(1340)", 파란 셔츠 이미지(1310), 카트 이미지(1320)를 디스플레이하도록 디스플레이부(610)를 제어할 수 있다.
이하에서는 도 14를 참조하여 본 발명의 일 실시 예에 따른, 서버(100)의 제어 방법을 설명하기로 한다.
우선, 서버(100)는 사용자 단말(200)로부터 원문 텍스트를 수신한다(S1410).
그리고, 서버(100)는 원문 텍스트를 번역하여 번역 텍스트를 생성한다(S1420). 구체적으로, 서버(100)는 번역 모델의 파라미터 값을 바탕으로 수신된 원문 텍스트를 번역하여 번역 텍스트를 생성할 수 있다.
그리고, 서버(100)는 번역 텍스트의 핵심 어휘를 추출한다(S1430). 구체적으로, 번역 텍스트의 명사, 서술어 등을 핵심 어휘로 추출할 수 있다. 특히, 서버(100)는 번역 텍스트의 명사, 서술어 중 동음이의어에 해당하거나 유사 발음을 가지는 단어에 해당하는 명사, 서술어 등을 핵심 어휘로 추출할 수 있다.
그리고, 서버(100)는 추출된 핵심 어휘에 대응되는 이미지 정보를 추출한다(S1440). 이때, 이미지 정보는 사진, 동영상, 아이콘 중 하나일 수 있으며, 기 저장된 이미지 정보이거나 외부(예를 들어, 인터넷)로부터 검색될 수도 있다.
그리고, 서버(100)는 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 사용자 단말(200)로 전송한다(S1450).
이하에서는 도 15를 참조하여 본 발명의 일 실시 예에 따른, 번역 텍스트를 수정하기 위한 서버(100)의 제어 방법을 설명하기로 한다.
우선, 서버(100)는 이미지 정보를 수정하기 위한 사용자 명령을 수신한다(S1510).
그리고, 서버(100)는 사용자 명령에 대응하는 이미지 정보를 대체하기 위한 수정 이미지 정보를 추출한다. 그리고, 서버(100)는 수정 이미지 정보를 사용자 단말(200)로 전송한다(S1520). 구체적으로, 서버(100)는 사용자 명령에 대응되는 이미지 정보가 나타내는 어휘의 동음이의어이거나 유사 발음을 가지는 단어에 대한 이미지 정보를 수정 이미지 정보로 추출할 수 있다.
그리고, 사용자 단말(200)로부터 수정 이미지 정보를 선택하는 명령이 수신되면(S1530), 서버(100)는 수정 이미지 정보를 바탕으로 번역 텍스트를 수정한다(S1540).
그리고, 서버(100)는 수정된 번역 텍스트를 사용자 단말(200)로 전송한다(S1550).
이하에서는 도 16을 참조하여 본 발명의 일 실시 예에 따른, 시스템(10)의 제어 방법을 설명하기로 한다.
우선, 사용자 단말(200)은 원문 텍스트를 입력받는다(S1605). 사용자 단말(200)은 텍스트, 음성 등으로 원문 텍스트를 입력받을 수 있다. 원문 텍스트가 입력되면, 사용자 단말(200)은 입력 텍스트를 서버(100)로 전송한다(S1610).
입력 텍스트가 수신되면, 서버(100)는 입력 텍스트를 번역하여 번역 텍스트를 생성한다(S1615). 구체적으로, 서버(100)는 번역 모델의 파라미터 값을 바탕으로 수신된 원문 텍스트를 번역하여 번역 텍스트를 생성할 수 있다.
그리고, 서버(100)는 번역 텍스트의 핵심 어휘를 추출한다(S1620). 구체적으로, 번역 텍스트의 명사, 서술어 등을 핵심 어휘로 추출할 수 있다. 특히, 서버(100)는 번역 텍스트의 명사, 서술어 중 동음이의어에 해당하거나 유사 발음을 가지는 단어에 해당하는 명사, 서술어 등을 핵심 어휘로 추출할 수 있다.
그리고, 서버(100)는 추출된 핵심 어휘에 대응되는 이미지 정보를 추출한다(S1625). 이때, 이미지 정보는 사진, 동영상, 아이콘 중 하나일 수 있으며, 기 저장된 이미지 정보 이거나 외부(예를 들어, 인터넷)로부터 검색될 수도 있다.
그리고, 서버(100)는 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 사용자 단말(200)로 전송한다(S1630).
그리고, 사용자 단말(200)은 수신된 번역 텍스트 및 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 디스플레이한다. 번역 텍스트를 수정하기 위하여 이미지 정보를 선택하는 사용자 명령이 입력(S1635)되면, 사용자 단말(200)은 이미지 정보 선택 명령을 서버(100)로 전송한다(S1640).
이미지 정보 선택을 위한 사용자 명령이 수신되면, 서버(100)는 선택된 이미지 정보를 대체하기 위한 수정 이미지 정보를 추출한다(S1645). 구체적으로, 서버(100)는 선택된 이미지 정보가 나타내는 핵심 어휘의 동음이의어에 대응되거나 유사 발음을 가지는 단어에 대응되는 이미지 정보를 수정 이미지 정보로 추출할 수 있다. 서버(100)는 추출된 수정 이미지 정보를 사용자 단말(200)로 전송한다(S1650).
그리고, 사용자 단말(200)은 수신된 수정 이미지 정보를 포함하는 UI를 디스플레이하고, 수정 이미지 정보를 선택하기 위한 사용자 명령을 입력받는다(S1655). 사용자 단말(200)은 수정 이미지 정보를 선택하는 사용자 명령을 서버(100)로 전송한다.
수정 이미지 정보를 선택하는 사용자 명령이 수신되면, 서버(100)는 선택된 수정 이미지 정보를 바탕으로 번역 텍스트를 수정하고(S1665), 수정된 번역 텍스트를 사용자 단말(200)로 전송한다(S1670).
그리고, 사용자 단말(200)은 수정된 번역 텍스트 및 수정 이미지 정보를 디스플레이한다(S1675). 수정 이미지 정보를 선택하는 사용자 명령이 입력되면, 상술한 바와 같은 수정 방법이 반복될 수 있다.
한편, 상술한 바와 같은 본 발명의 다양한 실시 예에 의해, 사용자는 대상 언어를 모르는 상황에서 더욱 정확한 번역이 이루어진 번역 텍스트를 제공받을 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 시스템
100: 서버
110: 통신부
120: 데이터베이스
130: 제어부
200: 사용자 단말
100: 서버
110: 통신부
120: 데이터베이스
130: 제어부
200: 사용자 단말
Claims (24)
- 서버의 제어 방법에 있어서,
사용자 단말로부터 타겟 언어에 대한 정보 및 텍스트를 수신하는 단계;
상기 수신된 텍스트를 상기 타겟 언어로 번역하여 번역 텍스트를 생성하는 단계;
상기 번역 텍스트에서 적어도 하나의 핵심 어휘를 추출하는 단계;
상기 적어도 하나의 핵심 어휘 각각에 대하여 상기 적어도 하나의 핵심 어휘에 대응되는 이미지 정보를 추출하는 단계;
상기 사용자 단말로 상기 번역 텍스트 및 상기 추출된 이미지 정보를 송신하는 단계;
상기 사용자 단말로부터 상기 이미지 정보의 수정을 위한 제1 명령을 수신하면, 상기 이미지 정보를 대체하기 위한 상기 제1 명령에 대응하는 수정 이미지 정보 항목을 송신하는 단계:
상기 사용자 단말로부터 상기 수정 이미지 정보를 선택하는 제2 명령을 수신하면, 상기 선택된 수정 이미지 정보를 바탕으로, 상기 번역 텍스트를 수정하는 단계;
상기 사용자 단말로 상기 수정된 번역 텍스트를 송신하는 단계;
상기 사용자 단말로부터 상기 수정된 번역 텍스트에 대응하는 컨텐츠를 획득하기 위한 제3 명령을 수신하면, 상기 수정된 번역 텍스트에 기초하여 컨텐츠 정보를 획득하는 단계; 및
상기 사용자 단말로 상기 컨텐츠 정보를 송신하는 단계;를 포함하며,
상기 컨텐츠 정보는 상기 수정된 번역 텍스트에 해당되는 장면의 시간 정보를 포함하는 것을 특징으로 하는 서버의 제어 방법.
- 삭제
- 삭제
- 제1항에 있어서,
상기 핵심 어휘를 추출하는 단계는,
동음이의어 사전 또는 유사 발음 사전에 기재된 어휘를 핵심 어휘로 추출하는 것을 특징으로 하는 서버의 제어 방법. - 제4항에 있어서,
상기 수정 이미지 정보는,
상기 선택된 이미지 정보가 나타내는 핵심 어휘와 동음이의어이거나 유사 발음을 가지는 단어에 대응되는 것을 특징으로 하는 서버의 제어 방법. - 제1항에 있어서,
상기 이미지 정보를 추출하는 단계는,
상기 핵심 어휘와 복수의 이미지 정보의 관련 정도를 판단하는 단계; 및
상기 판단된 관련 정도가 가장 높은 이미지 정보를 상기 핵심 어휘에 대응되는 이미지 정보로 추출하는 단계;를 포함하는 것을 특징으로 하는 서버의 제어 방법. - 제1항에 있어서,
상기 이미지 정보는 사진, 동영상, 아이콘 중 하나인 것을 특징으로 하는 서버의 제어 방법. - 서버에 있어서,
사용자 단말과 통신하는 통신부; 및
상기 사용자 단말로부터 타겟 언어에 대한 정보 및 텍스트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 텍스트를 상기 타겟 언어로 번역하여 번역 텍스트를 생성하고, 상기 번역된 텍스트에서 적어도 하나의 핵심 어휘를 추출하고, 상기 적어도 하나의 핵심 어휘 각각에 대하여 상기 적어도 하나의 핵심 어휘에 대응되는 이미지 정보를 추출하고, 상기 사용자 단말로 상기 번역된 텍스트 및 상기 추출된 이미지 정보를 송신하도록 상기 통신부를 제어하는 제어부를 포함하며,
상기 제어부는,
상기 사용자 단말로부터 상기 이미지 정보의 수정을 위한 제1 명령을 수신하면, 상기 이미지 정보를 대체하기 위한 상기 제1 명령에 대응하는 수정 이미지 정보 항목을 송신하도록 상기 통신부를 제어하고, 상기 사용자 단말로부터 상기 수정 이미지 정보를 선택하는 제2 명령을 수신하면, 상기 선택된 수정 이미지 정보를 바탕으로 상기 번역 텍스트를 수정하고, 상기 사용자 단말로 상기 수정된 번역 텍스트를 송신하도록 상기 통신부를 제어하고,
상기 사용자 단말로부터 상기 수정된 번역 텍스트에 대응하는 컨텐츠를 획득하기 위한 제3 명령을 수신하면, 상기 수정된 번역 텍스트에 기초하여 컨텐츠 정보를 획득하고, 상기 사용자 단말로 상기 컨텐츠 정보를 송신하도록 상기 통신부를 제어하고,
상기 컨텐츠 정보는 상기 수정된 번역 텍스트에 해당되는 장면의 시간 정보를 포함하는 것을 특징으로 하는 서버.
- 삭제
- 삭제
- 제8항에 있어서,
상기 제어부는,
동음이의어 사전 또는 유사 발음 사전에 기재된 어휘를 핵심 어휘로 추출하는 것을 특징으로 하는 서버. - 제11항에 있어서,
상기 수정 이미지 정보는,
상기 번역 텍스트와 동음이의어 또는 유사 발음을 가지는 단어에 대응되는 것을 특징으로 하는 서버. - 제8항에 있어서,
상기 제어부는,
상기 핵심 어휘와 복수의 이미지 정보의 관련 정도를 판단하고, 상기 판단된 관련 정도가 가장 높은 이미지 정보를 상기 핵심 어휘로 추출하는 것을 특징으로 하는 서버. - 제8항에 있어서,
상기 이미지 정보는 사진, 동영상, 아이콘 중 하나인 것을 특징으로 하는 서버. - 사용자 단말의 제어 방법에 있어서,
텍스트를 입력받는 단계;
상기 입력된 텍스트를 서버로 전송하는 단계;
상기 서버로부터 번역된 번역 텍스트 및 상기 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하는 단계;
상기 수신된 번역 텍스트 및 상기 이미지 정보를 디스플레이하는 단계;
상기 이미지 정보를 수정하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 수정하기 위한 사용자 명령을 전송하고, 상기 서버로부터 상기 수정하기 위한 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 수신하고, 상기 수신된 적어도 하나의 수정 이미지 정보를 디스플레이하는 단계;
상기 적어도 하나의 수정 이미지 정보 중 하나를 선택하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 선택하기 위한 사용자 명령을 전송하고, 상기 서버로부터 상기 선택하기 위한 사용자 명령에 의해 선택된 수정 이미지 정보를 이용하여 상기 수정된 번역 텍스트를 수신하고, 상기 수신된 수정된 번역 텍스트 및 선택된 수정 이미지 정보를 디스플레이하는 단계; 및
상기 수정된 번역 텍스트에 대응하는 컨텐츠를 획득하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 컨텐츠를 획득하기 위한 사용자 명령을 전송하고, 상기 서버로부터 컨텐츠 정보를 수신하고, 상기 컨텐츠 정보를 디스플레이하는 단계;를 포함하는 사용자 단말의 제어 방법. - 제15항에 있어서,
텍스트를 입력받는 단계는,
음성을 인식하는 단계; 및
인식된 음성을 텍스트로 변환하는 단계;를 포함하는 것을 특징으로 하는 사용자 단말의 제어 방법. - 삭제
- 삭제
- 제15항에 있어서,
상기 디스플레이하는 단계는,
상기 입력된 텍스트 및 상기 이미지 정보와 대칭되도록 상기 번역 텍스트를 디스플레이하는 것을 특징으로 하는 사용자 단말의 제어 방법. - 사용자 단말에 있어서,
텍스트를 입력받는 입력부;
서버와 통신하는 통신부;
디스플레이부; 및
상기 입력된 텍스트를 서버로 전송하고, 상기 서버로부터 번역된 번역 텍스트 및 상기 번역 텍스트의 핵심 어휘에 대응되는 이미지 정보를 수신하도록 상기 통신부를 제어하고, 상기 수신된 번역 텍스트 및 상기 이미지 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고,
상기 제어부는,
상기 이미지 정보를 수정하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 수정하기 위한 사용자 명령을 전송하고, 상기 서버로부터 상기 수정하기 위한 사용자 명령에 대응되는 이미지 정보를 대체하기 위한 적어도 하나의 수정 이미지 정보를 수신하도록 상기 통신부를 제어하고, 상기 수신된 적어도 하나의 수정 이미지 정보를 디스플레이하도록 상기 디스플레이부를 제어하고,
상기 적어도 하나의 수정 이미지 정보 중 하나를 선택하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 선택하기 위한 사용자 명령을 전송하고, 상기 서버로부터 상기 선택하기 위한 사용자 명령에 의해 선택된 수정 이미지 정보를 이용하여 상기 수정된 번역 텍스트를 수신하도록 상기 통신부를 제어하고, 상기 수신된 수정된 번역 텍스트 및 선택된 수정 이미지 정보를 디스플레이하도록 상기 디스플레이부를 제어하고,
상기 수정된 번역 텍스트에 대응하는 컨텐츠를 획득하기 위한 사용자 명령이 입력되면, 상기 서버로 상기 컨텐츠를 획득하기 위한 사용자 명령을 전송하고, 상기 서버로부터 컨텐츠 정보를 수신하도록 상기 통신부를 제어하고, 상기 컨텐츠 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로하는 사용자 단말. - 제20항에 있어서,
상기 제어부는,
음성을 입력받도록 상기 입력부를 제어하고, 상기 입력된 음성을 텍스트로 변환하는 것을 특징으로 하는 사용자 단말.
- 삭제
- 삭제
- 제20항에 있어서,
상기 제어부는,
상기 입력된 텍스트 및 상기 이미지 정보와 대칭되도록 상기 번역 텍스트를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 사용자 단말.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150126986A KR102407630B1 (ko) | 2015-09-08 | 2015-09-08 | 서버, 사용자 단말 및 이들의 제어 방법. |
| US15/012,206 US10055406B2 (en) | 2015-09-08 | 2016-02-01 | Server, user terminal, and method for controlling server and user terminal |
| PCT/KR2016/001168 WO2017043715A1 (en) | 2015-09-08 | 2016-02-03 | Server, user terminal, and method for controlling server and user terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150126986A KR102407630B1 (ko) | 2015-09-08 | 2015-09-08 | 서버, 사용자 단말 및 이들의 제어 방법. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170029866A KR20170029866A (ko) | 2017-03-16 |
| KR102407630B1 true KR102407630B1 (ko) | 2022-06-10 |
Family
ID=58191111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150126986A KR102407630B1 (ko) | 2015-09-08 | 2015-09-08 | 서버, 사용자 단말 및 이들의 제어 방법. |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10055406B2 (ko) |
| KR (1) | KR102407630B1 (ko) |
| WO (1) | WO2017043715A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10984318B2 (en) * | 2016-06-15 | 2021-04-20 | University Of Ulsan Foundation For Industry Cooperation | Word semantic embedding apparatus and method using lexical semantic network and homograph disambiguating apparatus and method using lexical semantic network and word embedding |
| KR102667413B1 (ko) * | 2016-10-27 | 2024-05-21 | 삼성전자주식회사 | 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치 |
| WO2019123854A1 (ja) * | 2017-12-18 | 2019-06-27 | パナソニックＩｐマネジメント株式会社 | 翻訳装置、翻訳方法、及びプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120072202A1 (en) | 2010-09-21 | 2012-03-22 | Inventec Corporation | Sentence-based paragraphic online translating system and method thereof |
| US20140282030A1 (en) | 2013-03-14 | 2014-09-18 | Prateek Bhatnagar | Method and system for outputting information |
Family Cites Families (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02288960A (ja) * | 1989-02-27 | 1990-11-28 | Hitachi Ltd | 文書作成支援方法及びそのシステム |
| JP2880601B2 (ja) * | 1992-01-22 | 1999-04-12 | シャープ株式会社 | 言語処理装置 |
| JPH05314166A (ja) * | 1992-05-08 | 1993-11-26 | Sharp Corp | 電子化辞書および辞書検索装置 |
| DE69333568T2 (de) * | 1992-09-04 | 2004-10-21 | Caterpillar Inc | Integriertes entwurf- und übersetzungssystem. |
| US6022222A (en) * | 1994-01-03 | 2000-02-08 | Mary Beth Guinan | Icon language teaching system |
| JPH07282055A (ja) * | 1994-04-06 | 1995-10-27 | Fujitsu Ltd | 文解析方法および装置 |
| US5995920A (en) * | 1994-12-22 | 1999-11-30 | Caterpillar Inc. | Computer-based method and system for monolingual document development |
| JPH08329105A (ja) * | 1995-05-31 | 1996-12-13 | Canon Inc | 文書処理方法及びその装置 |
| US6470306B1 (en) * | 1996-04-23 | 2002-10-22 | Logovista Corporation | Automated translation of annotated text based on the determination of locations for inserting annotation tokens and linked ending, end-of-sentence or language tokens |
| US6233544B1 (en) * | 1996-06-14 | 2001-05-15 | At&T Corp | Method and apparatus for language translation |
| US6275789B1 (en) * | 1998-12-18 | 2001-08-14 | Leo Moser | Method and apparatus for performing full bidirectional translation between a source language and a linked alternative language |
| US6784918B1 (en) * | 1998-12-22 | 2004-08-31 | Intel Corporation | System for obtaining state information from consumer electronic devices |
| US20010003214A1 (en) * | 1999-07-15 | 2001-06-07 | Vijnan Shastri | Method and apparatus for utilizing closed captioned (CC) text keywords or phrases for the purpose of automated searching of network-based resources for interactive links to universal resource locators (URL's) |
| US7146358B1 (en) * | 2001-08-28 | 2006-12-05 | Google Inc. | Systems and methods for using anchor text as parallel corpora for cross-language information retrieval |
| JP3953886B2 (ja) * | 2002-05-16 | 2007-08-08 | セイコーエプソン株式会社 | 字幕抽出装置 |
| EP1576586A4 (en) | 2002-11-22 | 2006-02-15 | Transclick Inc | LANGUAGE TRANSLATION SYSTEM AND METHOD |
| US7346487B2 (en) * | 2003-07-23 | 2008-03-18 | Microsoft Corporation | Method and apparatus for identifying translations |
| EP1654727A4 (en) * | 2003-07-23 | 2007-12-26 | Nexidia Inc | INTERROGATIONS FOR THE DETECTION OF WORDS |
| US7539619B1 (en) * | 2003-09-05 | 2009-05-26 | Spoken Translation Ind. | Speech-enabled language translation system and method enabling interactive user supervision of translation and speech recognition accuracy |
| JP2007518164A (ja) * | 2004-01-06 | 2007-07-05 | イン−ソプ リ | 自動翻訳装置及びその自動翻訳装置を利用した自動翻訳方法並びにその自動翻訳装置が記録された記録媒体 |
| US7505894B2 (en) * | 2004-11-04 | 2009-03-17 | Microsoft Corporation | Order model for dependency structure |
| US20090058860A1 (en) * | 2005-04-04 | 2009-03-05 | Mor (F) Dynamics Pty Ltd. | Method for Transforming Language Into a Visual Form |
| US7765098B2 (en) * | 2005-04-26 | 2010-07-27 | Content Analyst Company, Llc | Machine translation using vector space representations |
| US7991607B2 (en) * | 2005-06-27 | 2011-08-02 | Microsoft Corporation | Translation and capture architecture for output of conversational utterances |
| US7382933B2 (en) * | 2005-08-24 | 2008-06-03 | International Business Machines Corporation | System and method for semantic video segmentation based on joint audiovisual and text analysis |
| KR100750886B1 (ko) | 2005-12-09 | 2007-08-22 | 한국전자통신연구원 | 학습 데이터 구축 장치 및 방법 |
| KR100792261B1 (ko) * | 2006-07-19 | 2008-01-07 | 삼성전자주식회사 | 토픽 기반의 비디오 관리 시스템 및 방법과 비디오 검색방법 |
| JP2008061120A (ja) * | 2006-09-01 | 2008-03-13 | Sony Corp | 再生装置、検索方法、およびプログラム |
| US9633005B2 (en) * | 2006-10-10 | 2017-04-25 | Abbyy Infopoisk Llc | Exhaustive automatic processing of textual information |
| US8566077B2 (en) * | 2007-02-13 | 2013-10-22 | Barbara Ander | Sign language translator |
| US8959011B2 (en) * | 2007-03-22 | 2015-02-17 | Abbyy Infopoisk Llc | Indicating and correcting errors in machine translation systems |
| US8051061B2 (en) * | 2007-07-20 | 2011-11-01 | Microsoft Corporation | Cross-lingual query suggestion |
| US8209164B2 (en) * | 2007-11-21 | 2012-06-26 | University Of Washington | Use of lexical translations for facilitating searches |
| US8521512B2 (en) * | 2008-04-30 | 2013-08-27 | Deep Sky Concepts, Inc | Systems and methods for natural language communication with a computer |
| JP2008243222A (ja) | 2008-05-01 | 2008-10-09 | Toshiba Corp | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
| US20100121630A1 (en) * | 2008-11-07 | 2010-05-13 | Lingupedia Investments S. A R. L. | Language processing systems and methods |
| GB2468278A (en) * | 2009-03-02 | 2010-09-08 | Sdl Plc | Computer assisted natural language translation outputs selectable target text associated in bilingual corpus with input target text from partial translation |
| US20100251291A1 (en) * | 2009-03-24 | 2010-09-30 | Pino Jr Angelo J | System, Method and Computer Program Product for Processing Video Data |
| EP2341450A1 (en) * | 2009-08-21 | 2011-07-06 | Mikko Kalervo Väänänen | Method and means for data searching and language translation |
| US8571330B2 (en) * | 2009-09-17 | 2013-10-29 | Hewlett-Packard Development Company, L.P. | Video thumbnail selection |
| US8763067B2 (en) * | 2009-12-18 | 2014-06-24 | Samir ABED | Systems and methods for automated extraction of closed captions in real time or near real-time and tagging of streaming data for advertisements |
| US8589396B2 (en) * | 2010-01-06 | 2013-11-19 | International Business Machines Corporation | Cross-guided data clustering based on alignment between data domains |
| JP2011248827A (ja) | 2010-05-31 | 2011-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 言語横断型情報検索方法、言語横断型情報検索システム及び言語横断型情報検索プログラム |
| JP5697202B2 (ja) * | 2011-03-08 | 2015-04-08 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 用語の対応を見出す方法、プログラム及びシステム |
| US8484218B2 (en) * | 2011-04-21 | 2013-07-09 | Google Inc. | Translating keywords from a source language to a target language |
| US9398322B2 (en) * | 2011-04-27 | 2016-07-19 | Time Warner Cable Enterprises Llc | Multi-lingual audio streaming |
| US8620139B2 (en) * | 2011-04-29 | 2013-12-31 | Microsoft Corporation | Utilizing subtitles in multiple languages to facilitate second-language learning |
| US8676937B2 (en) * | 2011-05-12 | 2014-03-18 | Jeffrey Alan Rapaport | Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging |
| JP2012243060A (ja) | 2011-05-19 | 2012-12-10 | Dat Japan Kk | 翻訳システム |
| US8719003B1 (en) * | 2011-06-24 | 2014-05-06 | Google Inc. | Translation access |
| US9058751B2 (en) * | 2011-11-21 | 2015-06-16 | Age Of Learning, Inc. | Language phoneme practice engine |
| US8891907B2 (en) * | 2011-12-06 | 2014-11-18 | Google Inc. | System and method of identifying visual objects |
| US9256597B2 (en) * | 2012-01-24 | 2016-02-09 | Ming Li | System, method and computer program for correcting machine translation information |
| KR20130088575A (ko) | 2012-01-31 | 2013-08-08 | 김호군 | 터치교정기능을 갖는 통역장치 및 그 제어방법 |
| US9229928B2 (en) * | 2012-03-13 | 2016-01-05 | Nulu, Inc. | Language learning platform using relevant and contextual content |
| US8874429B1 (en) * | 2012-05-18 | 2014-10-28 | Amazon Technologies, Inc. | Delay in video for language translation |
| CN102802044A (zh) * | 2012-06-29 | 2012-11-28 | 华为终端有限公司 | 视频处理方法、终端及字幕服务器 |
| US9081762B2 (en) * | 2012-07-13 | 2015-07-14 | Enyuan Wu | Phrase-based dictionary extraction and translation quality evaluation |
| US20140093846A1 (en) * | 2012-09-28 | 2014-04-03 | Tammy Bird | Learning word game and method of instruction |
| KR20140049150A (ko) | 2012-10-16 | 2014-04-25 | 한국전자통신연구원 | 사용자 참여 기반의 자동 번역 생성 후처리 시스템 |
| KR20140072670A (ko) * | 2012-12-05 | 2014-06-13 | 한국전자통신연구원 | 사용자 음성 처리용 인터페이스 장치 및 방법 |
| CN103902611A (zh) * | 2012-12-28 | 2014-07-02 | 鸿富锦精密工业（深圳）有限公司 | 视频内容搜索系统及方法 |
| KR102061044B1 (ko) * | 2013-04-30 | 2020-01-02 | 삼성전자 주식회사 | 수화 번역 및 화면 해설 서비스 방법 및 시스템 |
| FR3006472B1 (fr) * | 2013-05-31 | 2016-12-30 | Xilopix | Procede de recherche dans une base de donnees |
| US9946712B2 (en) * | 2013-06-13 | 2018-04-17 | Google Llc | Techniques for user identification of and translation of media |
| WO2014205810A2 (en) * | 2013-06-28 | 2014-12-31 | Chan Shu Hung | Method and system of providing picture matching game play to learn languages |
| US9117280B2 (en) * | 2013-08-29 | 2015-08-25 | Microsoft Technology Licensing, Llc | Determining images of article for extraction |
| TW201523421A (zh) * | 2013-09-25 | 2015-06-16 | Microsoft Corp | 決定用於擷取的文章之圖像 |
| CN103646074B (zh) * | 2013-12-11 | 2017-06-23 | 北京奇虎科技有限公司 | 一种确定图片簇描述文本核心词的方法及装置 |
| US20150347399A1 (en) * | 2014-05-27 | 2015-12-03 | Microsoft Technology Licensing, Llc | In-Call Translation |
| US9398326B2 (en) * | 2014-06-11 | 2016-07-19 | Arris Enterprises, Inc. | Selection of thumbnails for video segments |
| GB2534535A (en) * | 2014-10-08 | 2016-08-03 | Lancaster Univ Business Entpr Ltd | Data structuring and searching methods and apparatus |
| US9965704B2 (en) * | 2014-10-31 | 2018-05-08 | Paypal, Inc. | Discovering visual concepts from weakly labeled image collections |
| JP6250013B2 (ja) * | 2014-11-26 | 2017-12-20 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | コンテンツ参加翻訳装置、及びそれを利用したコンテンツ参加翻訳方法 |
| US9940321B2 (en) * | 2015-03-15 | 2018-04-10 | Graham MOREHEAD | System for machine translation |
-
2015
- 2015-09-08 KR KR1020150126986A patent/KR102407630B1/ko active IP Right Grant
-
2016
- 2016-02-01 US US15/012,206 patent/US10055406B2/en active Active
- 2016-02-03 WO PCT/KR2016/001168 patent/WO2017043715A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120072202A1 (en) | 2010-09-21 | 2012-03-22 | Inventec Corporation | Sentence-based paragraphic online translating system and method thereof |
| US20140282030A1 (en) | 2013-03-14 | 2014-09-18 | Prateek Bhatnagar | Method and system for outputting information |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017043715A1 (en) | 2017-03-16 |
| KR20170029866A (ko) | 2017-03-16 |
| US10055406B2 (en) | 2018-08-21 |
| US20170068661A1 (en) | 2017-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12056454B2 (en) | Named entity recognition visual context and caption data | |
| US10074381B1 (en) | Augmented reality speech balloon system | |
| US20180137097A1 (en) | Electronic device and control method therefor | |
| US11676578B2 (en) | Information processing device, information processing method, and program | |
| KR102247533B1 (ko) | 음성 인식 장치 및 그 제어 방법 | |
| KR101897492B1 (ko) | 디스플레이 장치 및 이의 하이퍼링크 실행 방법 및 음성 인식 방법 | |
| JP6618223B2 (ja) | 音声処理方法及び装置 | |
| US10452777B2 (en) | Display apparatus and character correcting method thereof | |
| CN108369585B (zh) | 用于提供翻译服务的方法及其电子装置 | |
| EP3279809A1 (en) | Control device, control method, computer and program | |
| US20200112771A1 (en) | Electronic apparatus and method for controlling the electronic apparatus | |
| WO2019223394A1 (zh) | 生成歌词、显示歌词的方法、装置、电子设备及存储介质 | |
| KR20160060110A (ko) | 온스크린 키보드에 대한 빠른 작업 | |
| US11361148B2 (en) | Electronic device sharing content with an external device and method for sharing content thereof | |
| CN104978045B (zh) | 一种汉字输入方法及装置 | |
| US20150347461A1 (en) | Display apparatus and method of providing information thereof | |
| US20240022532A1 (en) | Multimodal named entity recognition | |
| KR102407630B1 (ko) | 서버, 사용자 단말 및 이들의 제어 방법. | |
| CN108304412A (zh) | 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置 | |
| CN108255939A (zh) | 一种跨语言搜索方法和装置、一种用于跨语言搜索的装置 | |
| WO2022235394A1 (en) | Intelligent identification and modification of references in content | |
| US20180136904A1 (en) | Electronic device and method for controlling electronic device using speech recognition | |
| EP3617907A1 (en) | Translation device | |
| KR102327790B1 (ko) | 정보 처리 방법, 장치 및 저장 매체 | |
| US20170091316A1 (en) | Electronic device and controlling method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |