KR101263332B1 - 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법 - Google Patents

모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법 Download PDF

Info

Publication number
KR101263332B1
KR101263332B1 KR1020090086064A KR20090086064A KR101263332B1 KR 101263332 B1 KR101263332 B1 KR 101263332B1 KR 1020090086064 A KR1020090086064 A KR 1020090086064A KR 20090086064 A KR20090086064 A KR 20090086064A KR 101263332 B1 KR101263332 B1 KR 101263332B1
Authority
KR
South Korea
Prior art keywords
recognition
character
automatic translation
translation
text
Prior art date
Application number
KR1020090086064A
Other languages
English (en)
Other versions
KR20110028123A (ko
Inventor
이기영
권오욱
최승권
노윤형
김창현
서영애
양성일
김운
황금하
오영순
박은진
김영길
박상규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090086064A priority Critical patent/KR101263332B1/ko
Priority to US12/642,557 priority patent/US8504350B2/en
Priority to CN2009102618934A priority patent/CN102023971A/zh
Publication of KR20110028123A publication Critical patent/KR20110028123A/ko
Application granted granted Critical
Publication of KR101263332B1 publication Critical patent/KR101263332B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법에 관한 것으로, 카메라 렌즈를 포함한 모바일 기기 상에서 촬영한 정지 영상에 대하여 사용자 인터페이스를 통해 자동 번역하고자 하는 문자열 영역이 지정될 경우, 지정된 문자열 영역에 대하여 문자 인식 후에 전자화된 텍스트로 변환하고 이 변환된 텍스트에 대한 인식 오류를 사용자 피드백을 통해 직접 오류가 수정 완료된 텍스트 문자열을 자동 번역함으로써, 식당에서의 메뉴, 도로에서의 표지판, 다양한 외국 서적, 외국 브랜드 제품의 메뉴얼 등의 번역 대상에 대하여 휴대 가능한 모바일 기기를 통해 국내뿐만 아니라 외국에서 편리하게 번역 기능을 수행할 수 있으며, 또한 사용자와의 상호작용을 통하여 문자 인식 오류를 최소화하여 고품질의 자동 번역의 성능을 얻을 수 있다.
카메라, 문자인식, 텍스트, 사용자, 상호작용, 번역문

Description

모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법{AUTOMATIC TRANSLATION APPARATUS BY USING USER INTERACTION IN MOBILE DEVICE AND ITS METHOD}
본 발명은 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법에 관한 것으로, 보다 상세하게는 카메라 렌즈를 포함한 모바일 기기(예컨대, 핸드폰, PDA, PDP 등)를 통해 촬영된 영상에 포함된 단어 및 문장들에 대하여 사용자 상호작용을 통해 인식된 문자열에 대해 문장의 범위를 자동으로 인식 및 번역하도록 하는 장치 및 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2009-S-034-01, 과제명: 한중영 대화체 및 기업문서 자동 번역 기술개발].
자동 번역 장치는 많은 연구를 통해 계속적으로 그 성능이 향상되고 있으나 최종 번역결과에는 여전히 오류가 많이 내포되어 있다. 특히 규칙기반이나 패턴기반으로 자동 번역을 수행하는 장치의 경우에는 최종적으로 생성된 문장이 비문의 형태이거나 자연스럽지 못한 문장의 형태를 띠는 경우가 대부분이다.
이러한 오류들은 번역 엔진내의 개별모듈의 성능 향상으로도 일부 해소가 가능하지만, 이들 개별모듈은 생성된 문장 전체를 고려하지 않기 때문에 여전히 오류의 가능성이 높아 자동 번역 장치의 성능 향상을 위해서는 최종 번역문에 발생한 오류를 자동으로 수정해주는 기능이 필요하다.
한편, 자동 번역 장치의 사용은 현재 주로 데스크 탑 버전 혹은 서버 버전의 형태로 사용되고 있다. 이러한 현재의 자동 번역 장치들은 대부분 이미 전자화된 텍스트 파일이나 웹문서 및 pdf 파일들을 대상으로 자동 번역 기능을 수행한다.
하지만, 실제로 자동 번역을 필요로 하는 다양한 종류의 오프라인 텍스트들이 존재한다. 예컨대, 식당의 메뉴, 거리의 표지판, 하드카피 문서들이 오프라인 텍스트의 대표적인 예이다.
이러한 오프라인 텍스트를 자동으로 번역하기 위하여 종래 기술에 따른 자동 번역 장치는 단순히 문자 인식 모듈을 탑재한 모바일 기기에서의 번역 기능을 제공하는 시도가 있다.
하지만, 상술한 바와 같이 종래 기술에서 언급된 자동 번역 장치는, 문자인식 기술의 한계로 인하여 정확한 문자열이 인식되지 않는다는 것이며, 이러한 문자열의 부정확한 인식으로 자동 번역 결과의 수준이 상대적으로 낮아지게 되는 문제 점이 있다.
이에, 본 발명의 기술적 과제는 상술한 바와 같은 문제점을 해결하기 위해 안출한 것으로, 카메라 렌즈를 포함한 모바일 기기 상에서 촬영한 정지 영상에 대하여 사용자 인터페이스를 통해 자동 번역하고자 하는 문자열 영역이 지정될 경우, 지정된 문자열 영역에 대하여 문자 인식 후에 전자화된 텍스트로 변환하고 이 변환된 텍스트에 대한 인식 오류를 사용자 피드백을 통해 직접 오류가 수정 완료된 텍스트 문자열을 자동 번역하도록 하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법을 제공한다.
본 발명의 일 관점에 따른 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치는, 카메라를 통해 촬영된 이미지를 디지털 영상으로 변환하는 카메라 영상 제어부와, 디지털 영상에서 번역하고자 하는 문자열 영역을 사용자 상호작용을 통해 지정하고, 문자열 영역에 대하여 광학 문자 판독 및 문자 인식 지식을 통해 문자 인식을 수행하며, 문자 인식된 텍스트 문자열에 대하여 사용자 상호작용을 기반으로 오류를 수정하는 영상 문자인식 제어부와, 오류를 수정한 텍스트 문자열을 전송하는 텍스트 전송 제어부와, 전송한 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 번역용 지식들을 통해 형태소 분석 및 태깅과 구조분석과 구조변환 및 어휘변환시킨 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 자동 번역 제어부를 포함한다.
상술한 영상 문자인식 제어부는, 디지털 영상에 대하여 문자열 영역을 지정하도록 사용자에게 인터페이스를 제공하고, 사용자에 의해 지정된 자동 번역하고자 하는 문자열 영역을 입력받는 영역 지정 사용자 인터페이스부와, 입력받은 문자열 영역을 대상으로 광학 문자 판독기(optical character reader)의 기능과 문자 인식 지식 DB에 저장된 문자 인식 지식을 통해 문자열로 문자 인식을 수행하는 문자 인식부와, 문자 인식된 문자열을 표준 텍스트 문자열로 변환하는 텍스트 변환부와, 표준 텍스트 문자열에 대하여 사용자 인터페이스(user interface)를 통해 디스플레이 창으로 제시하고, 상기 사용자 인터페이스를 통해 오류가 수정 완료된 텍스트 문자열을 입력받는 사용자 상호작용 기반 인식오류 보정부를 포함한다.
상술한 사용자 상호작용 기반 인식오류 보정부는, 표준 텍스트 문자열 중 최적의 단어 인식 후보와 최적의 단어 인식 후보의 하단에 단어에 대한 가중치가 상대적으로 높은 순으로 인식 후보들을 콤보 박스의 형태로 출력하고, 사용자 인터페이스를 통해 인식 후보들중 임의의 인식 후보가 클릭되는 경우 오류가 발생된 최적의 단어 인식 후보를 클릭된 임의의 인식 후보로 대체하여 문자 인식 오류를 수정하는 것을 특징으로 한다.
상술한 사용자 상호작용 기반 인식오류 보정부는, 인식 후보들이 비등록되어 있을 경우, 오류가 발생된 최적의 단어 인식 후보에 대하여 사용자 입력을 통해 제공되는 단어 혹은 문자로 대체하여 문자 인식 오류를 수정하는 것을 특징으로 한다.
상술한 텍스트 변환부는, 문자열내 최적의 단어 인식 후보와 최적의 단어 인 식 후보로 구성되는 단어에 대응하는 인식 후보들을 텍스트로 변환하는 것을 특징으로 한다.
상술한 자동 번역 제어부는, 전송한 텍스트 문자열에 대하여 문장 단위로 구분하여 문장을 인식하는 문장 인식 전처리부와, 문장 단위로 인식된 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 제1자동번역 지식을 통해 원시언어 형태소를 분석하고, 태깅을 수행하여 텍스트 문자열을 구성하는 각 어휘의 원형으로 복원하고, 복원된 텍스트 문자열에 대해서 품사를 적용하는 원시언어 형태소 분석 및 태깅부와, 어휘의 원형 및 품사가 적용되어 복원된 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 제2자동번역 지식을 통해 한 문장을 구성하는 각 어휘의 문법적 상관 관계 및 수식 구조를 분석하는 원시언어 구조 분석부와, 상관 관계 및 수식 구조가 분석된 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 제3자동번역 지식을 통해 원시언어를 목적언어로 구조변환을 수행하고, 원시언어의 어휘를 목적언어의 어휘로 어휘변환을 수행하는 원시언어/목적언어 변환부와, 구조변환과 어휘변환된 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 목적 언어 생성부를 포함한다.
상술한 문장 인식 전처리부는, 전송한 텍스트 문자열에 대하여 광학 문자 판독기로 문장 분리 기능을 수행하는 것을 특징으로 한다.
상술한 제1자동번역 지식은, 원시언어 형태소 분석 사전과 확률사전과 문맥 확률 데이터로 이루어진 것을 특징으로 한다.
상술한 제2자동번역 지식은, 구조분석 규칙과 번역 패턴으로 이루어진 것을 특징으로 한다.
상술한 제3자동번역 지식은, 번역사전과 번역패턴 및 번역메모리로 이루어진 것을 특징으로 한다.
상술한 태깅은, 트라이그램 또는 HMM(hidden markov model)에 의해 수행되는 것을 특징으로 한다.
또한, 본 발명의 다른 관점에 따른 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법은, 카메라를 이용하여 피사체를 촬영하는 단계와, 피사체에 대한 이미지를 디지털 영상으로 변환하는 단계와, 디지털 영상에서 번역하고자 하는 문자열 영역을 사용자 상호작용을 통해 지정하고, 문자열 영역에 대하여 광학 문자 판독 및 문자 인식 지식을 통해 문자 인식을 수행하며, 문자 인식된 텍스트 문자열에 대하여 사용자 상호작용을 기반으로 오류를 수정하는 단계와, 오류를 수정한 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 번역용 지식들을 통해 형태소 분석 및 태깅과 구조분석과 구조변환 및 어휘변환시킨 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 단계를 포함한다.
상술한 수정하는 단계는, 디지털 영상에 대하여 문자열 영역을 지정하도록 사용자 인터페이스를 제공하는 단계와, 사용자 인터페이스를 통해 자동 번역하고자 하는 문자열 영역을 지정하는 단계와, 지정되는 문자열 영역을 대상으로 광학 문자 판독기(optical character reader)의 기능과 문자 인식 지식 DB에 저장된 문자 인식 지식을 통해 문자열로 문자 인식을 수행하는 단계와, 문자 인식된 문자열을 표준 텍스트 문자열로 변환하는 단계와, 표준 텍스트 문자열에 대하여 사용자 인터페 이스(user interface)를 통해 디스플레이 창으로 출력하는 단계와, 사용자 인터페이스를 통해 텍스트 문자열을 수정하는 단계를 포함한다.
상술한 출력하는 단계는, 표준 텍스트 문자열 중 최적의 단어 인식 후보에 오류가 발생되는 경우 오류에 대해 수동으로 수정되도록 최적의 단어 인식 후보의 하단에 단어에 대한 가중치가 상대적으로 높은 순으로 인식 후보들을 콤보 박스의 형태로 출력되는 것을 특징으로 한다.
상술한 수정하는 단계는, 사용자 인터페이스를 통해 인식 후보들중 임의의 인식 후보가 클릭되는 경우 오류가 발생된 최적의 단어 인식 후보가 클릭되는 임의의 인식 후보로 대체되어 문자 인식 오류가 수정되는 것을 특징으로 한다.
상술한 수정하는 단계는, 인식 후보들이 비등록되어 있는 경우, 오류가 발생된 최적의 단어 인식 후보에 대하여 사용자 입력을 통해 제공되는 단어 혹은 문자로 대체되어 문자 인식 오류가 수정되는 것을 특징으로 한다.
상술한 변환하는 단계는, 문자열내 최적의 단어 인식 후보와 최적의 단어 인식 후보로 구성되는 단어에 대응하는 인식 후보들이 텍스트로 변환되는 것을 특징으로 한다.
상술한 번역문을 생성하는 단계는, 오류를 수정한 텍스트 문자열에 대하여 문장 단위로 구분하여 문장을 인식하는 단계와, 문장 단위로 인식된 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 제1자동번역 지식을 통해 원시언어 형태소 분석 및 태깅을 수행하여 텍스트 문자열을 구성하는 각 어휘의 원형으로 복원하는 단계와, 어휘의 원형으로 복원된 텍스트 문자열에 대하여 자동 번역 지식 DB에 저 장된 제2자동번역 지식을 통해 한 문장을 구성하는 각 어휘의 문법적 상관 관계 및 수식 구조를 분석하는 단계와, 상관 관계 및 수식 구조가 분석된 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 제3자동번역 지식을 통해 원시언어를 목적언어로 구조변환을 수행하고, 원시언어 어휘를 목적언어 어휘로 어휘변환을 수행하는 단계와, 구조변환과 어휘변환된 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 단계를 포함한다.
상술한 제1자동번역 지식은, 원시언어 형태소 분석 사전과 확률사전과 문맥 확률 데이터인 것을 특징으로 한다.
상술한 제2자동번역 지식은, 구조분석 규칙과 번역 패턴인 것을 특징으로 한다.
상술한 제3자동번역 지식은, 번역사전과 번역패턴 및 번역메모리인 것을 특징으로 한다.
상술한 태깅은, 트라이그램 또는 HMM(hidden markov model)에 의해 수행되는 것을 특징으로 한다.
본 발명은 카메라 렌즈를 포함한 모바일 기기 상에서 촬영한 정지 영상에 대하여 사용자 인터페이스를 통해 자동 번역하고자 하는 문자열 영역이 지정될 경우, 지정된 문자열 영역에 대하여 문자 인식 후에 전자화된 텍스트로 변환하고 이 변환된 텍스트에 대한 인식 오류를 사용자 피드백을 통해 직접 오류가 수정 완료된 텍 스트 문자열을 자동 번역함으로써, 기존에서와 같이 문자열의 부정확한 인식으로 자동 번역 결과의 수준이 상대적으로 낮아지게 되는 문제점을 해결할 수 있다.
또한, 본 발명은 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법을 제공함으로써, 식당에서의 메뉴, 도로에서의 표지판, 다양한 외국 서적, 외국 브랜드 제품의 메뉴얼 등의 번역 대상에 대하여 휴대 가능한 모바일 기기를 통해 국내뿐만 아니라 외국에서 편리하게 번역 기능을 수행할 수 있으며, 또한 사용자와의 상호작용을 통하여 문자 인식 오류를 최소화하여 고품질의 자동 번역의 성능을 얻을 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치(100)에 대한 블록 구성도로서, 카메라 영상 제어부(101)와 영 상 문자인식 제어부(103)와 텍스트 전송 제어부(105)와 자동 번역 제어부(107) 등을 포함할 수 있다.
카메라 영상 제어부(101)는 카메라(예컨대, 모바일 기기에서 지원하는 내장 카메라)(S1)를 통해 촬영된 피사체에 대한 이미지를 디지털화하여 생성시킨 디지털 영상(예컨대, 디지털 정지 영상)을 영상 문자인식 제어부(103)에 제공한다.
영상 문자인식 제어부(103)는 도 2에 도시된 바와 같이 영역 지정 사용자 인터페이스부(1031)와 문자 인식부(1033)와 텍스트 변환부(1035)와 사용자 상호작용 기반 인식오류 보정부(1037)와 문자 인식 지식 데이터베이스(DataBase, 이하 DB라 함)(1039) 등을 포함할 수 있다.
영역 지정 사용자 인터페이스부(1031)는 카메라 영상 제어부(101)로부터 입력되는 디지털 영상에 대해서 자동 번역하고자 하는 문자열 영역을 지정할 수 있도록 사용자에게 인터페이스 기능을 제공하고, 이에 대한 응답으로 사용자에 의해 사각형 형태의 영역 지정 도구를 통해 정확하게 지정된 자동 번역하고자 하는 문자열 영역을 문자 인식부(1033)에 제공한다.
문자 인식부(1033)는 영역 지정 사용자 인터페이스부(1031)로부터 입력되는 사용자에 의해 지정된 자동 번역하고자 하는 문자열 영역을 대상으로 광학 문자 판독기(Optical Character Reader, 이하 OCR이라 함)의 기능과 문자 인식 지식 DB(1039)에 저장된 문자 인식을 위한 지식 등을 통해 문자 인식을 수행하고, 이 수행된 문자 인식 결과인 문자열을 텍스트 변환부(1035)에 제공한다.
텍스트 변환부(1035)는 문자 인식부(1033)로부터 입력되는 문자열을 미국 정 보 교환 표준 부호(American Standard Code for Information Interchange, 이하 ASCII라 함) 형태의 표준 텍스트 문자열로 변환하여 사용자 상호작용 기반 인식오류 보정부(1037)에 제공한다.
사용자 상호작용 기반 인식오류 보정부(1037)는 텍스트 변환부(1035)로부터 입력되는 최적의 인식 단어인 ASCII 형태의 표준 텍스트 문자열에 대하여 문자 인식에서 발생될 수도 있는 오류를 사용자가 직접 수정하도록 각 단어에 대한 인식 후보들과 함께 사용자 인터페이스(User Interface, 이하 UI라 함)를 통해 사용자에게 제시하고, 이에 대한 응답으로 다양한 입력 도구(예컨대, 디지털 펜, 모바일 기기 상의 키보드 등의 장치)를 통해 사용자에 의해 직접 오류가 수정 완료된 텍스트 문자열을 입력받아 텍스트 전송 제어부(105)에 제공한다.
문자 인식 지식 DB(1039)는 문자 인식을 위한 기설정된 각종 지식 등을 저장한다.
텍스트 전송 제어부(105)는 사용자 상호작용 기반 인식오류 보정부(1037)로부터 입력되는 수정 완료된 텍스트 문자열을 자동 번역 제어부(107)에 제공한다.
자동 번역 제어부(107)는 도 3에 도시된 바와 같이 문장 인식 전처리부(1071)와 원시언어 형태소 분석 및 태깅부(1073)와 원시언어 구조 분석부(1075)와 원시언어/목적언어 변환부(1077)와 목적 언어 생성부(1079)와 자동 번역 지식 DB(1081) 등을 포함할 수 있다.
문장 인식 전처리부(1071)는 텍스트 전송 제어부(105)로부터 입력되는 수정 완료된 텍스트 문자열에 대하여 문장 단위로 구분하여 문장을 인식하고, 문장 단위 로 인식된 텍스트 문자열을 원시언어 형태소 분석 및 태깅부(1073)에 제공한다. 여기서, 문장 인식 전처리부(1071)는 수정 완료된 텍스트 문자열에 대하여 OCR로 해결될 수 없는 문장 분리 기능을 수행할 수 있다.
원시언어 형태소 분석 및 태깅부(1073)는 문장 인식 전처리부(1071)로부터 입력되는 문장 단위로 인식된 텍스트 문자열에 대하여 자동 번역 지식 DB(1081)에 저장된 원시언어 형태소 분석 사전과 확률사전과 문맥 확률 데이터 등의 지식을 통해 원시언어 형태소를 분석하고 트라이그램 또는 HMM(hidden markov model) 등의 다양한 방법론으로 태깅을 수행하여 텍스트 문자열을 구성하는 각 어휘의 원형으로 복원하고, 이 각 어휘의 원형으로 복원된 텍스트 문자열에 대해서 해당 문맥에 적합한 최적의 품사를 적용하여 원시언어 구조 분석부(1075)에 제공한다.
원시언어 구조 분석부(1075)는 원시언어 형태소 분석 및 태깅부(1073)로부터 입력되는 어휘의 원형 및 품사가 적용되어 복원된 텍스트 문자열에 대하여 자동 번역 지식 DB(1081)에 저장된 구조분석 규칙과 번역 패턴 등의 지식을 통해 한 문장을 구성하는 각 어휘의 문법적 상관 관계 및 수식 구조를 분석하고, 이 관계 및 구조가 분석된 텍스트 문자열을 원시언어/목적언어 변환부(1077)에 제공한다.
원시언어/목적언어 변환부(1077)는 원시언어 구조 분석부(1075)로부터 입력되는 관계 및 구조가 분석된 텍스트 문자열에 대하여 자동 번역 지식 DB(1081)에 저장된 번역사전과 번역패턴 및 번역메모리 등의 지식을 통해 원시언어를 목적언어로 구조변환을 수행하고, 더불어 원시언어 어휘를 목적언어 어휘로 어휘변환을 수행하며, 이 수행된 구조변환 및 어휘변환된 텍스트 문자열을 목적 언어 생성 부(1079)에 제공한다.
목적 언어 생성부(1079)는 원시언어/목적언어 변환부(1077)로부터 입력되는 구조변환 및 어휘변환된 텍스트 문자열에 대하여 목적 언어의 문법에 적합하도록 활용 등의 처리를 수행하여 최종적인 번역문을 생성한다.
자동 번역 지식 DB(1081)는 원시언어 형태소 분석 사전과 확률사전과 문맥 확률 데이터 등의 지식과 구조분석 규칙과 번역 패턴 등의 지식과 번역사전과 번역패턴 및 번역메모리 등의 지식을 저장한다.
따라서, 본 발명은 카메라 렌즈를 포함한 모바일 기기 상에서 촬영한 정지 영상에 대하여 사용자 인터페이스를 통해 자동 번역하고자 하는 문자열 영역이 지정될 경우, 지정된 문자열 영역에 대하여 문자 인식 후에 전자화된 텍스트로 변환하고 이 변환된 텍스트에 대한 인식 오류를 사용자 피드백을 통해 직접 오류가 수정 완료된 텍스트 문자열을 자동 번역함으로써, 기존에서와 같이 문자열의 부정확한 인식으로 자동 번역 결과의 수준이 상대적으로 낮아지게 되는 문제점을 해결할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 본 발명의 일 실시예에서 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 과정에 대하여 설명한다.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법에 대하여 순차적으로 도시한 흐름도이다.
먼저, 사용자 상호작용을 이용한 자동 번역 장치(100)에는 카메라(예컨대, 모바일 기기에서 지원하는 내장 카메라)(S1)가 장착되어 자동 번역을 위한 피사체 를 촬영(S501)한다.
그러면, 카메라 영상 제어부(101)에서는 카메라(S1)를 통해 촬영된 피사체에 대한 이미지를 입력받아(S503) 디지털화하여 생성(S505)시킨 디지털 영상(예컨대, 디지털 정지 영상)을 영상 문자인식 제어부(103)내 영역 지정 사용자 인터페이스부(1031)에 제공(S507)한다.
영역 지정 사용자 인터페이스부(1031)에서는 카메라 영상 제어부(101)로부터 입력되는 디지털 영상에 대해서 자동 번역하고자 하는 문자열 영역을 지정할 수 있도록 사용자에게 인터페이스 기능을 제공(S509)한다.
그리고, 영역 지정 사용자 인터페이스부(1031)에서는 이에 대한 응답으로 사용자에 의해 사각형 형태의 영역 지정 도구를 통해 정확하게 지정된 자동 번역하고자 하는 문자열 영역을 입력(S511)받아 문자 인식부(1033)에 제공(S513)한다.
문자 인식부(1033)에서는 영역 지정 사용자 인터페이스부(1031)로부터 입력되는 사용자에 의해 지정된 자동 번역하고자 하는 문자열 영역을 대상으로 OCR의 기능과 문자 인식 지식 DB(1039)에 저장된 문자 인식을 위한 지식 등을 통해 문자 인식을 수행(S515)하고, 이 수행된 문자 인식 결과인 문자열을 텍스트 변환부(1035)에 제공(S517)한다.
텍스트 변환부(1035)에서는 문자 인식부(1033)로부터 입력되는 문자열을 ASCII 형태의 표준 텍스트 문자열로 변환(S519)하여 사용자 상호작용 기반 인식오류 보정부(1037)에 제공(S521)한다.
여기서, 텍스트 변환부(1035)는 문자 인식부(1033)에 의해 결정된 문자열내 최적의 단어 인식 후보(도 4의 401)뿐만 아니라, 이 최적의 단어 인식 후보로 구성되는 각 단어에 대응하는 가능성 있는 인식 후보들(도 4의 402)도 모두 함께 텍스트로 변환하는 것이 바람직하다.
사용자 상호작용 기반 인식오류 보정부(1037)에서는 텍스트 변환부(1035)로부터 입력되는 최적의 인식 단어인 ASCII 형태의 표준 텍스트 문자열에 대하여 문자 인식에서 발생될 수도 있는 오류를 사용자가 직접 수정하도록 결정된 최적의 단어 인식 후보에 대한 가능성 있는 인식 후보들과 함께 UI를 통해 사용자에게 제시(S523)한다.
사용자 상호작용 기반 인식오류 보정부(1037)에서는 이에 대한 응답으로 다양한 입력 도구(예컨대, 디지털 펜, 모바일 기기 상의 키보드 등의 장치)를 통해 사용자에 의해 직접 오류가 수정 완료된 텍스트 문자열을 입력받아(S525) 텍스트 전송 제어부(105)에 제공(S527)한다.
예컨대, 사용자에 의해 직접 오류가 수정 완료되는 방법은, 도 4의 문자 인식 오류 디스플레이 창을 통해 수행할 수 있다.
즉, 사용자는 텍스트 변환부(1035)에 의해 변환된 ASCII 형태의 표준 텍스트 문자열 중 최적의 단어 인식 후보(401)와 이 최적의 단어 인식 후보(401) 아래에 각 단어에 대한 가중치가 높은 순으로 인식 후보들(402)이 콤보 박스와 같은 형태로 도 4의 문자 인식 오류 디스플레이 창을 통해 출력되는 경우, 터치 혹은 클릭 방식으로 최적의 단어 인식 후보(401)중 예컨대, 단어1이 인식 오류이면, 이 인식 오류인 단어1에 대해서 인식 후보 단어인 예컨대, 후보1-2를 터치 혹은 클릭함으로 써 문자 인식 오류를 수정할 수 있다.
또한, 사용자는 도 4의 디스플레이 창내 입력수단(예컨대, 키패드)(403) 및 입력창(404)이 있어서 인식 후보들로 등록되어 올라오지 않은 오류 단어에 대해서는 키패드(403)를 통해 직접 단어 타이핑 또는 문자를 입력하고 입력창(404)을 통해 식별하는 과정을 통해 문자 인식 오류를 수정할 수 있다.
텍스트 전송 제어부(105)에서는 사용자 상호작용 기반 인식오류 보정부(1037)로부터 입력되는 수정 완료된 텍스트 문자열을 자동 번역 제어부(107)내 문장 인식 전처리부(1071)에 제공(S529)한다.
문장 인식 전처리부(1071)에서는 텍스트 전송 제어부(105)로부터 입력되는 수정 완료된 텍스트 문자열에 대하여 문장 단위로 구분하여 문장을 인식(S531)하고, 문장 단위로 인식된 텍스트 문자열을 원시언어 형태소 분석 및 태깅부(1073)에 제공(S533)한다.
원시언어 형태소 분석 및 태깅부(1073)에서는 문장 인식 전처리부(1071)로부터 입력되는 문장 단위로 인식된 텍스트 문자열에 대하여 자동 번역 지식 DB(1081)에 저장된 원시언어 형태소 분석 사전과 확률사전과 문맥 확률 데이터 등의 지식을 통해 원시언어 형태소를 분석하고 트라이그램 또는 HMM(hidden markov model) 등의 다양한 방법론으로 태깅을 수행(S535)하여 텍스트 문자열을 구성하는 각 어휘의 원형으로 복원하고, 이 각 어휘의 원형으로 복원된 텍스트 문자열에 대해서 해당 문맥에 적합한 최적의 품사를 적용하여 원시언어 구조 분석부(1075)에 제공(S537)한다.
원시언어 구조 분석부(1075)에서는 원시언어 형태소 분석 및 태깅부(1073)로부터 입력되는 어휘의 원형 및 품사가 적용되어 복원된 텍스트 문자열에 대하여 자동 번역 지식 DB(1081)에 저장된 구조분석 규칙과 번역 패턴 등의 지식을 통해 한 문장을 구성하는 각 어휘의 문법적 상관 관계 및 수식 구조를 분석(S539)하고, 이 관계 및 구조가 분석된 텍스트 문자열을 원시언어/목적언어 변환부(1077)에 제공(S541)한다.
원시언어/목적언어 변환부(1077)에서는 원시언어 구조 분석부(1075)로부터 입력되는 관계 및 구조가 분석된 텍스트 문자열에 대하여 자동 번역 지식 DB(1081)에 저장된 번역사전과 번역패턴 및 번역메모리 등의 지식을 통해 원시언어를 목적언어로 구조변환을 수행하고, 더불어 원시언어 어휘를 목적언어 어휘로 어휘변환을 수행(S543)하며, 이 수행된 구조변환 및 어휘변환된 텍스트 문자열을 목적 언어 생성부(1079)에 제공(S545)한다.
목적 언어 생성부(1079)에서는 원시언어/목적언어 변환부(1077)로부터 입력되는 구조변환 및 어휘변환된 텍스트 문자열에 대하여 목적 언어의 문법에 적합하도록 활용 등의 처리를 수행하여 최종적인 번역문을 생성(S547)한다.
한편, 상술한 바와 같이 다양한 실시예를 제시하고 있는 본 발명의 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 실행할 수 있는 코드로서 구현할 수 있는데, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치 등을 포함할 수 있다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예 로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치와 캐리어 웨이브(예컨대, 인터넷을 통한 전송 등) 등이 있으며, 컴퓨터로 실행할 수 있는 코드 또는 프로그램은 본 발명의 기능을 분산적으로 수행하기 위해 네트워크로 연결된 컴퓨터 시스템에 분산되어 실행될 수 있다.
이상에서와 같이, 본 발명은 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법을 제공함으로써, 식당에서의 메뉴, 도로에서의 표지판, 다양한 외국 서적, 외국 브랜드 제품의 메뉴얼 등의 번역 대상에 대하여 휴대 가능한 모바일 기기를 통해 국내뿐만 아니라 외국에서 편리하게 번역 기능을 수행할 수 있으며, 또한 사용자와의 상호작용을 통하여 문자 인식 오류를 최소화하여 고품질의 자동 번역의 성능을 얻을 수 있다.
지금까지 본 발명에 대하여 그 일부 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치에 대한 블록 구성도,
도 2는 도 1에 도시된 영상 문자인식 제어부에 대한 상세 블록 구성도,
도 3은 도 1에 도시된 자동 번역 제어부에 대한 상세 블록 구성도,
도 4는 본 발명의 일 실시예에 따른 문자 인식 오류 디스플레이 창을 도시한 도면,
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법에 대하여 순차적으로 도시한 흐름도.
<도면의 주요부분에 대한 부호의 설명>
100 : 사용자 상호작용을 이용한 자동 번역 장치
101 : 카메라 영상 제어부 103 : 영상 문자인식 제어부
1031 : 영역 지정 사용자 인터페이스부
1033 : 문자 인식부 1035 : 텍스트 변환부
1037 : 사용자 상호작용 기반 인식오류 보정부
1039 : 문자 인식 지식 DB 105 : 텍스트 전송 제어부
107 : 자동 번역 제어부 1071 : 문장 인식 전처리부
1073 : 원시언어 형태소 분석 및 태깅부
1075 : 원시언어 구조 분석부 1077 : 원시언어/목적언어 변환부
1079 : 목적 언어 생성부
S1 : 카메라

Claims (22)

  1. 카메라를 통해 촬영된 이미지를 디지털 영상으로 변환하는 카메라 영상 제어부와,
    상기 디지털 영상에서 번역하고자 하는 문자열 영역을 사용자 상호작용을 통해 지정하고, 상기 문자열 영역에 대하여 광학 문자 판독 및 문자 인식 지식을 통해 문자 인식을 수행하며, 문자 인식된 텍스트 문자열에 대하여 상기 사용자 상호작용을 기반으로 오류를 수정하는 영상 문자인식 제어부와,
    상기 오류를 수정한 상기 텍스트 문자열을 전송하는 텍스트 전송 제어부와,
    전송한 상기 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 번역용 지식들을 통해 형태소 분석 및 태깅과 구조분석과 구조변환 및 어휘변환시킨 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 자동 번역 제어부
    를 포함하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  2. 제 1 항에 있어서,
    상기 영상 문자인식 제어부는,
    상기 디지털 영상에 대하여 상기 문자열 영역을 지정하도록 사용자에게 인터페이스를 제공하고, 상기 사용자에 의해 지정된 자동 번역하고자 하는 상기 문자열 영역을 입력받는 영역 지정 사용자 인터페이스부와,
    입력받은 상기 문자열 영역을 대상으로 광학 문자 판독기(optical character reader)의 기능과 문자 인식 지식 DB에 저장된 상기 문자 인식 지식을 통해 문자열로 문자 인식을 수행하는 문자 인식부와,
    문자 인식된 상기 문자열을 표준 텍스트 문자열로 변환하는 텍스트 변환부와,
    상기 표준 텍스트 문자열에 대하여 사용자 인터페이스(user interface)를 통해 디스플레이 창으로 제시하고, 상기 사용자 인터페이스를 통해 오류가 수정 완료된 텍스트 문자열을 입력받는 사용자 상호작용 기반 인식오류 보정부
    를 포함하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  3. 제 2 항에 있어서,
    상기 사용자 상호작용 기반 인식오류 보정부는,
    상기 표준 텍스트 문자열 중 최적의 단어 인식 후보와 상기 최적의 단어 인식 후보의 하단에 단어에 대한 가중치가 상대적으로 높은 순으로 인식 후보들을 콤보 박스의 형태로 출력하고, 상기 사용자 인터페이스를 통해 상기 인식 후보들중 임의의 인식 후보가 클릭되는 경우 오류가 발생된 상기 최적의 단어 인식 후보를 클릭된 상기 임의의 인식 후보로 대체하여 문자 인식 오류를 수정하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  4. 제 3 항에 있어서,
    상기 사용자 상호작용 기반 인식오류 보정부는,
    상기 인식 후보들이 비등록되어 있을 경우, 상기 오류가 발생된 상기 최적의 단어 인식 후보에 대하여 사용자 입력을 통해 제공되는 단어 혹은 문자로 대체하여 문자 인식 오류를 수정하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  5. 제 2 항에 있어서,
    상기 텍스트 변환부는,
    상기 문자열내 최적의 단어 인식 후보와 상기 최적의 단어 인식 후보로 구성되는 단어에 대응하는 인식 후보들을 텍스트로 변환하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  6. 제 1 항에 있어서,
    상기 자동 번역 제어부는,
    전송한 상기 텍스트 문자열에 대하여 문장 단위로 구분하여 문장을 인식하는 문장 인식 전처리부와,
    상기 문장 단위로 인식된 상기 텍스트 문자열에 대하여 상기 자동 번역 지식 DB에 저장된 제1자동번역 지식을 통해 원시언어 형태소를 분석하고, 태깅을 수행하여 상기 텍스트 문자열을 구성하는 각 어휘의 원형으로 복원하고, 복원된 상기 텍스트 문자열에 대해서 품사를 적용하는 원시언어 형태소 분석 및 태깅부와,
    상기 어휘의 원형 및 상기 품사가 적용되어 복원된 상기 텍스트 문자열에 대하여 상기 자동 번역 지식 DB에 저장된 제2자동번역 지식을 통해 한 문장을 구성하는 각 어휘의 문법적 상관 관계 및 수식 구조를 분석하는 원시언어 구조 분석부와,
    상기 상관 관계 및 수식 구조가 분석된 상기 텍스트 문자열에 대하여 상기 자동 번역 지식 DB에 저장된 제3자동번역 지식을 통해 원시언어를 목적언어로 구조변환을 수행하고, 상기 원시언어의 어휘를 목적언어의 어휘로 어휘변환을 수행하는 원시언어/목적언어 변환부와,
    상기 구조변환과 어휘변환된 상기 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 목적 언어 생성부
    를 포함하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  7. 제 6 항에 있어서,
    상기 문장 인식 전처리부는,
    전송한 상기 텍스트 문자열에 대하여 광학 문자 판독기로 문장 분리 기능을 수행하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  8. 제 6 항에 있어서,
    상기 제1자동번역 지식은, 원시언어 형태소 분석 사전과 확률사전과 문맥 확률 데이터로 이루어진 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  9. 제 6 항에 있어서,
    상기 제2자동번역 지식은, 구조분석 규칙과 번역 패턴으로 이루어진 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  10. 제 6 항에 있어서,
    상기 제3자동번역 지식은, 번역사전과 번역패턴 및 번역메모리로 이루어진 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  11. 제 6 항에 있어서,
    상기 태깅은, 트라이그램 또는 HMM(hidden markov model)에 의해 수행되는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치.
  12. 카메라를 이용하여 피사체를 촬영하는 단계와,
    상기 피사체에 대한 이미지를 디지털 영상으로 변환하는 단계와,
    상기 디지털 영상에서 번역하고자 하는 문자열 영역을 사용자 상호작용을 통해 지정하고, 상기 문자열 영역에 대하여 광학 문자 판독 및 문자 인식 지식을 통해 문자 인식을 수행하며, 문자 인식된 텍스트 문자열에 대하여 상기 사용자 상호작용을 기반으로 오류를 수정하는 단계와,
    상기 오류를 수정한 상기 텍스트 문자열에 대하여 자동 번역 지식 DB에 저장된 번역용 지식들을 통해 형태소 분석 및 태깅과 구조분석과 구조변환 및 어휘변환시킨 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 단계
    를 포함하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  13. 제 12 항에 있어서,
    상기 수정하는 단계는,
    상기 디지털 영상에 대하여 상기 문자열 영역을 지정하도록 사용자 인터페이스를 제공하는 단계와,
    상기 사용자 인터페이스를 통해 자동 번역하고자 하는 상기 문자열 영역을 지정하는 단계와,
    지정되는 상기 문자열 영역을 대상으로 광학 문자 판독기(optical character reader)의 기능과 문자 인식 지식 DB에 저장된 상기 문자 인식 지식을 통해 문자열로 문자 인식을 수행하는 단계와,
    문자 인식된 상기 문자열을 표준 텍스트 문자열로 변환하는 단계와,
    상기 표준 텍스트 문자열에 대하여 사용자 인터페이스(user interface)를 통해 디스플레이 창으로 출력하는 단계와,
    상기 사용자 인터페이스를 통해 텍스트 문자열을 수정하는 단계
    를 포함하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  14. 제 13 항에 있어서,
    상기 출력하는 단계는,
    상기 표준 텍스트 문자열 중 최적의 단어 인식 후보에 오류가 발생되는 경우 상기 오류에 대해 수동으로 수정되도록 상기 최적의 단어 인식 후보의 하단에 단어에 대한 가중치가 상대적으로 높은 순으로 인식 후보들을 콤보 박스의 형태로 출력되는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  15. 제 14 항에 있어서,
    상기 수정하는 단계는,
    상기 사용자 인터페이스를 통해 상기 인식 후보들중 임의의 인식 후보가 클릭되는 경우 오류가 발생된 상기 최적의 단어 인식 후보가 클릭되는 상기 임의의 인식 후보로 대체되어 문자 인식 오류가 수정되는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  16. 제 15 항에 있어서,
    상기 수정하는 단계는,
    상기 인식 후보들이 비등록되어 있는 경우, 상기 오류가 발생된 상기 최적의 단어 인식 후보에 대하여 사용자 입력을 통해 제공되는 단어 혹은 문자로 대체되어 문자 인식 오류가 수정되는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  17. 제 13 항에 있어서,
    상기 변환하는 단계는,
    상기 문자열내 최적의 단어 인식 후보와 상기 최적의 단어 인식 후보로 구성되는 단어에 대응하는 인식 후보들이 텍스트로 변환되는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  18. 제 12 항에 있어서,
    상기 번역문을 생성하는 단계는,
    상기 오류를 수정한 상기 텍스트 문자열에 대하여 문장 단위로 구분하여 문장을 인식하는 단계와,
    상기 문장 단위로 인식된 상기 텍스트 문자열에 대하여 상기 자동 번역 지식 DB에 저장된 제1자동번역 지식을 통해 원시언어 형태소 분석 및 태깅을 수행하여 상기 텍스트 문자열을 구성하는 각 어휘의 원형으로 복원하는 단계와,
    상기 어휘의 원형으로 복원된 텍스트 문자열에 대하여 상기 자동 번역 지식 DB에 저장된 제2자동번역 지식을 통해 한 문장을 구성하는 각 어휘의 문법적 상관 관계 및 수식 구조를 분석하는 단계와,
    상기 상관 관계 및 수식 구조가 분석된 상기 텍스트 문자열에 대하여 상기 자동 번역 지식 DB에 저장된 제3자동번역 지식을 통해 원시언어를 목적언어로 구조변환을 수행하고, 원시언어 어휘를 목적언어 어휘로 어휘변환을 수행하는 단계와,
    상기 구조변환과 어휘변환된 상기 텍스트 문자열에 대하여 목적 언어의 문법에 적용하여 번역문을 생성하는 단계
    를 포함하는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  19. 제 18 항에 있어서,
    상기 제1자동번역 지식은, 원시언어 형태소 분석 사전과 확률사전과 문맥 확률 데이터인 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  20. 제 18 항에 있어서,
    상기 제2자동번역 지식은, 구조분석 규칙과 번역 패턴인 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  21. 제 18 항에 있어서,
    상기 제3자동번역 지식은, 번역사전과 번역패턴 및 번역메모리인 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
  22. 제 18 항에 있어서,
    상기 태깅은, 트라이그램 또는 HMM(hidden markov model)에 의해 수행되는 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 방법.
KR1020090086064A 2009-09-11 2009-09-11 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법 KR101263332B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090086064A KR101263332B1 (ko) 2009-09-11 2009-09-11 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법
US12/642,557 US8504350B2 (en) 2009-09-11 2009-12-18 User-interactive automatic translation device and method for mobile device
CN2009102618934A CN102023971A (zh) 2009-09-11 2009-12-31 用于移动装置的用户交互式自动翻译装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090086064A KR101263332B1 (ko) 2009-09-11 2009-09-11 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110028123A KR20110028123A (ko) 2011-03-17
KR101263332B1 true KR101263332B1 (ko) 2013-05-20

Family

ID=43731394

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090086064A KR101263332B1 (ko) 2009-09-11 2009-09-11 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법

Country Status (3)

Country Link
US (1) US8504350B2 (ko)
KR (1) KR101263332B1 (ko)
CN (1) CN102023971A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014200163A1 (ko) * 2013-06-10 2014-12-18 Kim Do-Hyung 광학 문자 인식을 이용하는 정보 암호화 시스템 및 정보 암호화 방법

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767095B2 (en) * 2010-05-21 2017-09-19 Western Standard Publishing Company, Inc. Apparatus, system, and method for computer aided translation
US8839379B2 (en) * 2010-10-26 2014-09-16 Cisco Technology, Inc. Using an image to provide credentials for service access
US9330323B2 (en) 2012-04-29 2016-05-03 Hewlett-Packard Development Company, L.P. Redigitization system and service
KR20140030361A (ko) * 2012-08-27 2014-03-12 삼성전자주식회사 휴대단말기의 문자 인식장치 및 방법
KR102068604B1 (ko) * 2012-08-28 2020-01-22 삼성전자 주식회사 휴대단말기의 문자 인식장치 및 방법
US9519641B2 (en) * 2012-09-18 2016-12-13 Abbyy Development Llc Photography recognition translation
US9600473B2 (en) 2013-02-08 2017-03-21 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US9031829B2 (en) 2013-02-08 2015-05-12 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US8990068B2 (en) 2013-02-08 2015-03-24 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US8996352B2 (en) 2013-02-08 2015-03-31 Machine Zone, Inc. Systems and methods for correcting translations in multi-user multi-lingual communications
US9231898B2 (en) 2013-02-08 2016-01-05 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US8996355B2 (en) 2013-02-08 2015-03-31 Machine Zone, Inc. Systems and methods for reviewing histories of text messages from multi-user multi-lingual communications
US9298703B2 (en) 2013-02-08 2016-03-29 Machine Zone, Inc. Systems and methods for incentivizing user feedback for translation processing
US8996353B2 (en) 2013-02-08 2015-03-31 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US10650103B2 (en) 2013-02-08 2020-05-12 Mz Ip Holdings, Llc Systems and methods for incentivizing user feedback for translation processing
US20150193088A1 (en) * 2013-07-15 2015-07-09 Intel Corporation Hands-free assistance
CN103488626B (zh) * 2013-09-03 2017-04-12 深圳Tcl新技术有限公司 一种对终端的与参数名称映射的字符串纠错的方法和装置
KR102147670B1 (ko) * 2013-10-14 2020-08-25 에스케이텔레콤 주식회사 복합 문장 분석 장치, 이를 위한 기록매체
US9208243B2 (en) * 2014-01-07 2015-12-08 Google Inc. Systems and methods for processing machine readable codes by a locked device
US9436682B2 (en) * 2014-06-24 2016-09-06 Google Inc. Techniques for machine language translation of text from an image based on non-textual context information from the image
US10162811B2 (en) 2014-10-17 2018-12-25 Mz Ip Holdings, Llc Systems and methods for language detection
US9372848B2 (en) 2014-10-17 2016-06-21 Machine Zone, Inc. Systems and methods for language detection
KR20160071144A (ko) * 2014-12-11 2016-06-21 엘지전자 주식회사 이동단말기 및 그 제어 방법
US9836456B2 (en) * 2015-01-12 2017-12-05 Google Llc Techniques for providing user image capture feedback for improved machine language translation
CN107797754B (zh) * 2015-03-03 2021-02-09 Oppo广东移动通信有限公司 一种文本复制的方法及装置和介质产品
CN104881405A (zh) * 2015-05-22 2015-09-02 东莞中山大学研究院 一种基于智能手机实现拍照翻译的方法及智能手机
CN105159893A (zh) * 2015-08-31 2015-12-16 小米科技有限责任公司 字符串保存方法及装置
CN105488036A (zh) * 2015-11-23 2016-04-13 百度在线网络技术（北京）有限公司 基于人工智能机器人的翻译提供方法及装置
CN105468586A (zh) * 2015-11-26 2016-04-06 百度在线网络技术（北京）有限公司 翻译功能的实现方法和装置
CN105512112A (zh) * 2015-12-01 2016-04-20 百度在线网络技术（北京）有限公司 提供翻译的方法和装置
US10765956B2 (en) 2016-01-07 2020-09-08 Machine Zone Inc. Named entity recognition on chat data
CN106971134A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种可纠错的图像识别装置及方法
CN105718930A (zh) * 2016-01-26 2016-06-29 北京纽思曼教育科技有限公司 一种多功能翻译笔及其翻译方法
US20180033175A1 (en) * 2016-07-28 2018-02-01 Sharp Kabushiki Kaisha Image display device and image display system
CN106412008A (zh) * 2016-08-26 2017-02-15 乐视控股（北京）有限公司 标识纠错方法及装置
CN107168627B (zh) * 2017-07-06 2020-08-07 三星电子（中国）研发中心 用于触摸屏的文本编辑方法和装置
US10769387B2 (en) 2017-09-21 2020-09-08 Mz Ip Holdings, Llc System and method for translating chat messages
CN109670189B (zh) * 2017-10-13 2022-11-18 北京搜狗科技发展有限公司 一种翻译纠错方法、装置和用于翻译纠错的装置
CN108319592B (zh) * 2018-02-08 2022-04-19 广东小天才科技有限公司 一种翻译的方法、装置及智能终端
KR102008789B1 (ko) * 2018-03-26 2019-08-08 한국카카오은행 주식회사 은행 업무 처리 에이전트, 은행 업무 처리 시스템, 및 이를 이용한 계좌 개설 방법
SG11202008857WA (en) * 2018-03-26 2020-11-27 Kakaobank Corp Banking processing method and computer-readable storage medium having application for banking processing stored therein
JP2019200729A (ja) * 2018-05-18 2019-11-21 シャープ株式会社 電子機器、制御装置、制御方法、及びプログラム
KR102592595B1 (ko) 2018-12-07 2023-10-23 한국전자통신연구원 영상 내 문자 자동번역 시스템 및 방법
KR102279164B1 (ko) * 2019-03-27 2021-07-19 네이버 주식회사 인공지능 모델을 이용한 이미지 편집 방법 및 장치
US11373048B2 (en) 2019-09-11 2022-06-28 International Business Machines Corporation Translation of multi-format embedded files
CN111126045A (zh) * 2019-11-25 2020-05-08 泰康保险集团股份有限公司 一种文本纠错方法和装置
CN111339788B (zh) * 2020-02-18 2023-09-15 北京字节跳动网络技术有限公司 交互式机器翻译方法、装置、设备和介质
CN111665956B (zh) * 2020-04-17 2023-07-25 北京百度网讯科技有限公司 候选字符串的处理方法、装置、电子设备及存储介质
CN114332882A (zh) * 2021-12-30 2022-04-12 安徽淘云科技股份有限公司 文本翻译方法、装置、电子设备和存储介质
CN115457557B (zh) * 2022-09-21 2024-03-05 惠州市学之友电子有限公司 一种扫描式翻译笔控制方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010032070A1 (en) 2000-01-10 2001-10-18 Mordechai Teicher Apparatus and method for translating visual text
KR100700141B1 (ko) 2005-11-01 2007-03-28 엘지전자 주식회사 이동통신 단말기의 명함인식방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330530B1 (en) * 1999-10-18 2001-12-11 Sony Corporation Method and system for transforming a source language linguistic structure into a target language linguistic structure based on example linguistic feature structures
US6778949B2 (en) * 1999-10-18 2004-08-17 Sony Corporation Method and system to analyze, transfer and generate language expressions using compiled instructions to manipulate linguistic structures
US7496230B2 (en) * 2003-06-05 2009-02-24 International Business Machines Corporation System and method for automatic natural language translation of embedded text regions in images during information transfer
US7310605B2 (en) * 2003-11-25 2007-12-18 International Business Machines Corporation Method and apparatus to transliterate text using a portable device
KR20050054007A (ko) 2003-12-03 2005-06-10 삼성전자주식회사 캠코더 기능의 카메라가 구비된 이동 통신 단말기에서번역 기능을 구현하는 방법
US20050197825A1 (en) * 2004-03-05 2005-09-08 Lucent Technologies Inc. Personal digital assistant with text scanner and language translator
CN1606030A (zh) * 2004-11-12 2005-04-13 无敌科技(西安)有限公司 一种电子摄相翻译释义方法及其装置
KR20060093206A (ko) 2005-02-21 2006-08-24 주식회사 팬택 사전정보 제공을 위한 이동통신 단말기 및 방법
CN101127036A (zh) * 2006-08-14 2008-02-20 英华达股份有限公司 影像识别翻译装置及方法
CN101193158B (zh) * 2006-11-30 2010-12-08 财团法人工业技术研究院 应用行动通信设备翻译影像文字的方法及其系统
CN201035576Y (zh) * 2006-12-20 2008-03-12 北京恒基伟业投资发展有限公司 一种利用数码照相技术实现即时翻译的装置
CN101354748A (zh) * 2007-07-23 2009-01-28 英华达(上海)电子有限公司 一种文字识别装置和方法、及移动终端
KR100912502B1 (ko) * 2007-07-27 2009-08-17 한국전자통신연구원 Ｐｄｆ 파일을 대상으로 하는 자동 번역 방법
US20090198486A1 (en) * 2008-02-05 2009-08-06 National Tsing Hua University Handheld electronic apparatus with translation function and translation method using the same
KR101044652B1 (ko) 2009-04-15 2011-06-29 한국과학기술원 터치스크린을 통한 카메라 영상의 문자열 인식 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010032070A1 (en) 2000-01-10 2001-10-18 Mordechai Teicher Apparatus and method for translating visual text
KR100700141B1 (ko) 2005-11-01 2007-03-28 엘지전자 주식회사 이동통신 단말기의 명함인식방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014200163A1 (ko) * 2013-06-10 2014-12-18 Kim Do-Hyung 광학 문자 인식을 이용하는 정보 암호화 시스템 및 정보 암호화 방법
KR101489446B1 (ko) * 2013-06-10 2015-02-03 김도형 광학 문자 인식을 이용하는 정보 암호화 시스템 및 정보 암호화 방법
US10019913B2 (en) 2013-06-10 2018-07-10 Poze Co., Ltd. Information encryption system and information encryption method using optical character recognition

Also Published As

Publication number Publication date
US8504350B2 (en) 2013-08-06
KR20110028123A (ko) 2011-03-17
US20110066421A1 (en) 2011-03-17
CN102023971A (zh) 2011-04-20

Similar Documents

Publication Publication Date Title
KR101263332B1 (ko) 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법
CN1205572C (zh) 对拼写、打字和转换错误具有容错能力的将一种文本形式转换为另一种文本形式的语言输入体系结构
US6278968B1 (en) Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system
US6266642B1 (en) Method and portable apparatus for performing spoken language translation
US6356865B1 (en) Method and apparatus for performing spoken language translation
CN1954315B (zh) 用于将汉语拼音翻译成汉字的系统和方法
US6282507B1 (en) Method and apparatus for interactive source language expression recognition and alternative hypothesis presentation and selection
KR20130018205A (ko) 언어 변환에 있어서 다중 리딩 모호성 해결을 위한 방법
CN105404621A (zh) 一种用于盲人读取汉字的方法及系统
CN1384940A (zh) 以无模式输入将一种文本形式转换成另一种文本形式的语言输入体系结构
KR20230009564A (ko) 앙상블 스코어를 이용한 학습 데이터 교정 방법 및 그 장치
KR101023209B1 (ko) 문서 번역 장치 및 그 방법
CN103164397A (zh) 汉哈电子辞典及其自动转译汉哈语的方法
CN103164398A (zh) 汉维电子辞典及其自动转译汉维语的方法
CN102135957A (zh) 一种翻译短句的方法及装置
CN117034909A (zh) 一种智能搜索内容纠错改写方法及系统
Juan et al. Handwritten text recognition for ancient documents
Andrés et al. Search for hyphenated words in probabilistic indices: a machine learning approach
CN103164395A (zh) 汉柯电子辞典及其自动转译汉柯语的方法
CN103164396A (zh) 汉维哈柯电子辞典及其自动转译汉维哈柯语的方法
Bekarystankyzy et al. Integrated End-to-End automatic speech recognition for languages for agglutinative languages
JP2006024114A (ja) 機械翻訳装置および機械翻訳コンピュータプログラム
Rijhwani Improving Optical Character Recognition for Endangered Languages
Alzuru et al. Quality-Aware Human-Machine Text Extraction for Biocollections using Ensembles of OCRs
Prasad et al. Developing spell check and transliteration tools for Indian regional language–Kannada

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160427

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180426

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190425

Year of fee payment: 7