KR101727953B1 - 문자를 번역하는 방법 및 그 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따르면, 문자 번역 장치가 수행하는 문자를 번역하는 방법은, 이미지 컨텐츠를 획득하는 단계와 상기 이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계와 상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계와 사용자 이벤트 정보를 이용하여, 상기 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성하는 단계와 상기 생성된 번역 대상 문장을 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이하는 단계를 포함할 수 있다.

Description

문자를 번역하는 방법 및 그 장치 {METHOD FOR TRANSLATING CHARACTER AND APPARATUS THEREOF}

본 발명은 문자를 번역하는 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 입력된 이미지 상의 문자를 인식하고, 인식된 문자에 대한 문장 단위의 번역을 제공하는 방법 및 그 장치에 관한 것이다.

이미지 또는 디지털 문서 상의 문자를 인식하는데 있어, 광학적 문자 인식(Optical Character Recognition, 이하 OCR) 기술이 널리 이용되고 있다.

OCR 기술에 따르면, OCR 프로그램을 통해 읽혀진 문자와 미리 저장되어 있는 문자의 비교를 통해 문자 인식이 수행된다. 즉, OCR 기술에 있어, 문자 인식을 위한 고려 대상은 개별 문자의 형상일 뿐이며, 인식되는 문자들이 구성하는 단어 및 문장은 고려되지 않는다.

이 같은 OCR 기술로 인식된 문자에 대하여, 번역 프로그램이 다른 언어로 기계 번역을 수행하는 경우, 번역 프로그램은 OCR 프로그램의 문자 인식 결과에 대하여 단순히 번역을 수행할 뿐이어서. 번역 정확도가 떨어지는 문제점이 발생한다. 예를 들어, OCR 기술로 인식된 문자들이 구성하는 하나의 문장이 복수의 행으로 분할되어 입력되는 경우, 번역 프로그램은 문장 단위와 무관하게 입력된 행 단위로 번역을 수행하기 때문에 하나의 문장에 대한 번역이 이뤄지지 않는다.

그럼에도, OCR 프로그램을 통해 인식된 문자들에 대한 번역 단위를 문장 단위로 결정하는 방법은 제공되지 않고 있다.

또한, 사용자 이벤트 정보를 OCR 프로그램의 문자 인식 결과에 반영시킴으로써 번역 대상에 대한 신뢰도를 향상시키는 방법은 제공되지 않고 있다.

본 발명이 해결하고자 하는 기술적 과제는, 입력된 이미지 컨텐츠 상의 문자를 인식하고, 인식된 문자에 대하여 문장 단위의 번역을 수행하는 방법 및 그 장치를 제공하는 것이다.

구체적으로 본 발명이 해결하고자 하는 기술적 과제는, OCR 프로그램에 의해 인식된 문자들로 구성된 문장을 식별하고, 식별된 문장을 기준으로 번역 서비스를 제공하는 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 기술적 과제는, 번역 대상 및 번역 결과를 표시하는 그래픽 유저 인터페이스(Graphic User Interface, 이하 GUI)를 제공하는 방법 및 그 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 입력된 이미지 컨텐츠의 종류에 따라 맞춤형 번역 단위를 결정하는 방법 및 그 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 사용자 이벤트 정보에 기초하여 번역 대상 또는 번역 결과를 보정하는 방법 및 그 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위하여 문자 번역 장치가 수행하는 문자를 번역하는 방법의 일 실시예에 따르면, 문자 번역 방법은 이미지 컨텐츠를 획득하는 단계와 상기 이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계와 상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계와 사용자 이벤트 정보를 이용하여, 상기 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성하는 단계와 상기 생성된 번역 대상 문장을 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이하는 단계를 포함할 수 있다.

또한, 상기 기술적 과제를 해결하기 위한 문자 번역 장치의 일 실시예에 따르면, 문자 번역 장치는, 제공 이미지 컨텐츠를 획득하는 카메라와 사용자 이벤트 정보를 입력 받는 입력부와 상기 획득된 이미지 컨텐츠의 전부 또는 일부를 디스플레이하는 디스플레이부와 상기 이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하고, 상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 하고, 상기 사용자 이벤트 정보를 이용하여, 상기 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성하고, 상기 생성된 번역 대상 문장을 제2 언어로 번역함에 따라, 상기 제2 언어로 번역된 문장이 디스플레이되도록 제어하는 제어부를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한, 기록매체에 저장된 컴퓨터 프로그램의 일실시예에 따르면, 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계와 상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계와 사용자 이벤트 정보를 이용하여, 상기 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성하는 단계와 상기 생성된 번역 대상 문장을 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이하는 단계를 실행시킬 수 있다.

본 발명의 일 실시예에 따르면, OCR 처리된 문자에 대하여 문장 단위의 번역이 수행되므로, 사용자가 보다 정확한 번역 결과를 제공받는 효과가 있다.

본 발명의 일 실시예에 따르면, 입력되는 컨텐츠의 종류에 따라 맞춤형 번역 단위가 결정되고, 결정된 번역 단위로 번역이 수행되므로, 사용자가 보다 정확한 번역 결과를 제공받는 효과가 있다.

본 발명의 일 실시예에 따르면, 사용자 이벤트 정보를 기초로 번역 대상 또는 번역 결과가 보정되므로, 사용자가 보다 정확한 번역 결과를 제공받는 효과가 있다.

또한, 본 발명의 일 실시예에 따르면, GUI를 통해 번역 대상 문장이 표시되므로, 사용자가 번역 정확성에 대한 예측 가능성을 제공받고, 번역 대상에 대한 수정 기능을 제공받는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른, 문자 번역 프로세스의 예시이다.
도 2는 본 발명의 다른 실시예에서 따른, 문자 번역 장치의 블록도이다.
도 3a은 본 발명의 또 다른 실시예에 따른, 문자 번역 방법의 순서도이다.
도 3b는 본 발명의 또 다른 실시예에 따른, 콘텍스트 식별 방법의 순서도이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는, 이미지 컨텐츠의 예시이다.
도 5는 본 발명의 몇몇 실시예에서 참조되는, 번역 대상 문장의 예시이다.
도 6 및 도 7a은 본 발명의 몇몇 실시예에서 참조되는, 문장 추출 방식을 설명하기 위한 예시도이다.
도 7b는 도 7a에서 예시된 문장 추출 과정에서 이용되는 데이터의 규격을 설명하기 위한 예시도이다.
도 8은 본 발명의 몇몇 실시예에서 참조되는, GUI의 예시도이다.
도 9는 본 발명의 또 다른 실시예에 따른, 번역 대상 문장의 수정 방법을 설명하기 위한 예시도이다.
도 10은 본 발명의 몇몇 실시예에서 참조되는, 문자 번역 장치의 출력 UI의 예시이다.
도 11은 본 발명의 몇몇 실시예에서 참조되는, 문자 번역 장치의 음차 출력 UI의 예시이다.
도 12는 본 발명의 몇몇 실시예에서 참조되는, 레이아웃 식별에 따른 번역 대상 문장 결정 방식을 설명하기 위한 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서, 문장 결정 기호란, 문자열 또는 연결된 복수의 문자가 배열된 경우, 다른 문자로부터 일련의 문자 그룹을 구별해 내고, 구별된 문자 그룹이 문장임을 결정할 수 있는 기호를 의미한다. 예를 들어서, 복수의 문자가 나열되어 있는 중간에, 구두점으로 기호 ".", "?", "!", ":", "/" 등이 나오는 경우, 상기 기호들을 경계로 앞의 문자 그룹은 뒤에 나오는 문자 그룹과 구별된다. 또한, 이와 같이 구별된 문자 그룹은 문장을 구성한다. 이때, 상기 문자 그룹을 구별하는 기호들을 본 명세서에서 문장 결정 기호라 칭하기로 한다. 한편, 상기 예시적으로 소개된 문장 결정 기호로 본 명세서의 문장 결정 기호가 한정되는 것은 아니다. 예를 들어, '(작은 따옴표) 또는 "(큰 따옴표)가 짝을 이뤄 배열된 경우, 작은 따옴표 짝 또는 큰 따옴표 짝 내부의 문자 그룹들은 외부의 문자 그룹과 구별되므로, 본 명세서의 문장 결정 기호에 해당된다.

한편, 복수의 문자 그룹 상의 문장은 반드시 문장 결정 기호로만 구별되지 않는다. 예를 들어 복수의 문자 그룹이 소정의 공간, 예를 들어 빈 칸, 탭(tab), 줄 등을 경계로 구별되는 경우, 또는 문자 그룹이 위치하는 레이아웃을 달리하여 공간적으로 구별되는 경우, 상기 경계의 전후에 위치하거나 서로 다른 레이아웃 상의 문자 그룹은 서로 다른 문장일 수 있다. 또한, 복수의 문자 그룹 내에 상기 소정의 공간이 일정한 패턴으로 반복되는 경우, 상기 공간은 문장을 결정하는 것이 아니라, 문장 내의 단어를 구별하는 공간일 수도 있다.

따라서, 본 명세서에서 문장이란, 특히, 문장 결정 기호로 구별되는 하나의 문자 그룹 단위로 이해되어야 한다. 또는, 복수의 문자 그룹 내에 소정의 공간으로 구별되는 하나의 문자 그룹 단위 역시 본 발명의 일 실시예에 따른 문장으로 이해되어야 한다. 즉, 본 명세서에서 문장은 반드시 주어와 동사를 구성요소로 포함해야 하는 것은 아니며, 특정 의미를 가지는 제목, 표어 같은 경우에도 본 명세서의 문장으로 이해될 수 있다. 따라서, 문장 내의 단락, 특정 주제를 가지는 단어를 포함하는 문자 그룹 역시, 본 발명의 다른 실시예에 따른 문장으로 이해되어야 한다.

본 명세서에서 사용자 이벤트 정보란, 본 발명의 실시예에 따른 문장 번역 장치가 입력 받는 모든 사용자 정보를 포함한다. 즉, 본 발명의 실시예에 따른 문자 번역 장치가 사용자로부터 문자 인식 대상인 이미지 컨텐츠에 대한 정보를 입력 받거나, 사용자가 특정 장소 정보를 입력하는 경우, 사용자 이벤트 정보는 상기 입력되는 정보를 포함할 수 있다.

이때, 문자 번역 장치는 사용자 이벤트 정보를 다양한 방식으로 입력 받을 수 있다. 예를 들어, 문자 번역 장치의 입력부, 카메라, 센서부 등 다양한 구성요소를 통해 입력되는 정보를 포함한다.

구체적으로, 사용자의 활동이 특정 이벤트에 해당되는 경우, 예를 들어, 사용자가 식사를 위해 특정 레스토랑에 위치하거나, 공항에 위치하는 경우에, 사용자 이벤트 정보는 문자 번역 장치의 센서부가 입력 받는 위치 정보를 포함할 수도 있다. 이때, 문자 번역 장치가 상기 문자 번역 장치의 위치 정보가 미리 설정된 시간 기준으로 임계 범위 이상 변동되는 것을 감지하면, 예를 들어 사용자가 여행 중인 이벤트가 감지되면, 이와 같이 위치 정보의 변동에 관한 정보 역시 본 명세서의 사용자 이벤트 정보에 포함될 수 있다.

도 1은 본 발명의 일 실시예에 따른, 문자 번역 프로세스의 예시이다.

도 1을 참조하면, 문자 번역 프로세스는, 문자 번역 장치(100)에 의해 수행된다. 특히, 도 1에서 문자 번역 장치(100)를 통해, 사용자가 이미지 컨텐츠를 촬영하여(S10) 문자를 인식하고, 인식된 문자에 대한 기계 번역을 수행하는 경우가 예로써 도시되었다. 문자 번역 장치(100)는 이미지 컨텐츠를 촬영하기 전에, 사용자로부터 언어 선택 정보 및/또는 사용자 이벤트 정보를 입력 받을 수도 있다.

촬영에 의해 획득된 이미지 컨텐츠는 적어도 하나의 언어로 기재된 문자 그룹을 포함할 수 있다. 문자 번역 장치(100)는 획득된 이미지 컨텐츠 상의 문자 그룹의 전부 또는 일부를 사용자로부터 문자 인식 범위로 지정 받을 수 있다. 이때, 문자 인식 방법으로, OCR 기술을 이용하는 것이 도 1에서 예로써 도시되었다. 이하, 본 명세서에서 제시되는 문자 인식 방식은, 문자 인식 방식의 일 예인 OCR 기술인 것으로 가정한다.

다음으로, 문자 번역 장치(100)는 OCR 후처리 과정을 수행한다(S20).

문자 번역 장치(100)는 언어 별로 미리 정의된 문장 분할 규칙을 이용하여, 언어별 다양한 폰트를 학습하고, 입력되는 이미지 컨텐츠 상의 문자를 인식할 수 있다. 예를 들어, 문자 번역 장치(100)는 SRX (Segmentation Rule eXchange format) - LISA.org에서 규정한 문장 분할 규칙을 이용할 수 있다.

또한, 본 발명의 실시예에 따르면, 문자 번역 장치(100)는 상기 언어별 다양한 폰트를 학습함으로써 문자 그룹 내에서 문장 결정 기호를 인식할 수 있다. 즉, OCR 후처리 과정(S20)에서 문자 번역 장치(100)는 이미지 컨텐츠 상의 문자 및/또는 문장 결정 기호를 인식할 수 있다.

또한, 문자 번역 장치(100)는 이미지 컨텐츠 상의 문자열을 인식할 수 있으며, 이하, 도 6에서 설명되는 번역 대상 문장 생성 방법에 관한 실시예를 이용하여 하나의 문자열, 또는 복수의 문자열을 각각 하나의 문장 단위로 추출해낼 수 있다. 이에 대한 구체적인 설명은 도 6에 대한 설명에서 후술한다.

또한, 문자 번역 장치(100)는 문자 인식에 있어, 각 문자간의 확률적 결합 관계를 이용하여 문자 인식의 정확도를 향상시킬 수 있다. 예를 들어, 문자 번역 장치(100)는 N-Best 탐색 알고리즘을 이용하여 상기 문자간의 확률적 결합 관계를 판단할 수 있다. 이에 대한 자세한 설명은 도 7에 대한 설명에서 후술한다.

다음으로, 문자 번역 장치(100)는 번역 전처리 과정을 수행한다(S30).

번역 전처리 과정에서, 문자 번역 장치(100)는 인식된 문자로부터 추출된 문장 단위의 문장에 대하여, 미리 설정된 언어 모델을 이용하여 문장의 정확성을 검사할 수 있다. 즉, OCR로 인식된 문자로 구성된 문장을 이용하여 번역을 수행하는데 있어 번역 정확도를 높이려면, 번역 대상이 되는 문장이 정확한 문장이어야 하므로, 번역 전처리 과정은 기계 번역의 수행 전에 번역 대상 문장의 신뢰성을 담보하기 위한 프로세스이다.

이때, 문자 번역 장치(100)는 미리 설정된 언어 모델을 이용하여, 웹 상의 출현 빈도, 각 언어 모델에서 미리 학습된 문자 결합 관계 등을 기초로 번역 대상 문장을 최종적으로 결정할 수 있다. 즉, OCR 후처리 과정(S20)에서 OCR 인식을 거친 문자가 문장 단위의 문장으로 추출되고, 추출된 문장 단위의 문장이 번역 전처리 과정(S30)에서 가공되어, 번역 대상 문장이 확정된다.

마지막으로, 문자 번역 장치(100)는 번역 대상 문장에 대하여 기계 번역을 수행(S40)하고, 디스플레이부를 통해 번역 결과를 출력한다.

도 2는 본 발명의 다른 실시예에서 따른, 문자 번역 장치의 블록도이다.

이하, 도 2를 참조하여, 문자 번역 장치(100)의 구조와 동작에 대하여 자세히 설명한다.

문자 번역 장치(100)은 입력부(110), 카메라(120), 디스플레이부(130), 및 제어부(140)로 구성될 수 있다.

입력부(110)는 사용자로부터 각종 데이터, 명령 및/또는 정보를 입력 받는다. 특히, 입력부(110)는 문자 번역 장치(100)에 사용자로부터 입력되는 사용자 이벤트 정보 및/또는 이미지 컨텐츠에 대한 정보를 입력 받을 수 있다. 또한, 입력부(110)는 본 발명의 실시예에 따른, 문자 인식 범위에 대한 사용자 지정을 입력 받을 수 있으며, 번역 대상 문장에 대한 수정 입력을 입력 받을 수도 있다.

입력부(110)는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 형태의 입력 수단을 포함하여 구성될 수 있다. 예를 들어, 입력부(110)는 사용자 입력을 수신하기 위한 키패드, 버튼, 터치 스크린 중 적어도 하나를 포함하여 구성될 수 있다. 또한 입력부(110)는 사용자의 음성을 수신하기 위한 마이크를 포함하여 구성될 수도 있다.

카메라(120)는 본 발명의 실시예에 따라 이미지 컨텐츠를 획득할 수 있다. 카메라(120)는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 이미지 센서를 구비하여 구성될 수 있다. 문자 번역 장치(100)는 하나 이상의 카메라를 포함할 수도 있다.

디스플레이부(130)는 사용자에게 각종 데이터, 명령, 정보 및/또는 GUI를 디스플레이한다. 디스플레이부(130)는 카메라(120)로부터 획득된 이미지 컨텐츠의 전부 또는 일부를 디스플레이할 수 있다. 또한, 디스플레이부(130)는 OCR을 통한 문자 인식 결과, 추출된 문장, 변역 대상 문장 및/또는 번역 결과를 디스플레이할 수도 있다.

본 발명의 디스플레이부(130)는 본 발명이 속하는 기술분야에서 잘 알려진 임의의 형태의 디스플레이 수단을 더 포함하여 구성될 수 있다. 예를 들어, 디스플레이부(130)는 터치 센서를 구비한 터치스크린으로 구성될 수 있으며, 이 경우, 디스플레이부(130)는 입력부(110)로 기능할 수도 있다.

제어부(140)은 문자 번역 장치(100)의 각 구성의 전반적인 동작을 제어한다. 제어부(140)은 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 제어부(140)는 메모리, 예를 들어 RAM을 구성으로 포함할 수도 있다. 또한, 제어부(140)는 본 발명의 실시예에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램을 저장할 수도 있다. 예를 들어 제어부(140)는 본 발명의 실시예에 따른 문자 번역 프로그램을 저장하고, 이를 실행할 수 있다. 제어부(140)가 문자 번역 프로그램을 실행함으로써, 본 발명의 실시예에 따른 문자 번역 방법이 수행될 수 있다.

구체적으로, 제어부(140)는 사용자 입력, 문자 인식, 문장 추출 및/또는 번역과 같은 본 발명의 실시예에 따른 문자 번역 프로세스가 수행됨에 따라 디스플레이부(130)의 디스플레이 객체를 변경시킬 수 있다.

본 발명의 실시예에 따르면, 제어부(140)는 본 발명의 실시예에 따른 기능을 수행하기 위하여 복수의 하부 모듈을 저장할 수 있다.

예를 들어, 제어부(140)는 검출부를 포함하여, 이미지 컨텐츠 상의 문자의 언어를 식별할 수 있다. 즉, 검출부는 이미지 컨텐츠 상의 하나 이상의 언어를 식별할 수 있다. 이에 따라. 문자 번역 장치(100)는 하나의 이미지 컨텐츠 상에서 식별된 언어를 번역 대상인 제1 언어로 결정할 수 있다. 예를 들어, 상기 제1 언어는 중국어, 영어와 같이 복수 개일 수도 있다. 예를 들어, 제어부(140)는 콘텍스트(context) 결정부를 포함할 수 있다. 콘텍스트 결정부는 검출부에서 식별된 언어에 대하여 언어 모델을 이용하여 문자열의 문자 그룹이 단어인지, 문장인지 여부를 판단할 수 있다. 이때, 콘텍스트 결정부는 문자열 내부의 공백에 대한 검출을 수행할 수 있으며, 검출 결과에 따라 문자 그룹이 단어인지 문장인지 여부를 결정할 수 있다.

또한, 콘텍스트 검출부는 문장 추출 알고리즘을 이용하여, 문자열의 문자 그룹이 단행 문장인지, 다행 문장인지 판단할 수도 있다.

예를 들어, 제어부(140)는 변환부를 포함할 수도 있다. 변환부는 콘텍스트 검출부에서 판단된 단어, 문장에 대한 번역 전처리, 음차 생성, 번역 기능을 수행할 수 있다. 변환부는 N-best 탐색 알고리즘을 이용하여, 최종 번역 대상에 포함될 단어 또는 문장을 결정할 수 있다. 이 경우, OCR 후처리 및 번역 전처리 과정에서 N-best 탐색 알고리즘을 이용하여 번역 대상에 포함된 단어 또는 문장이 결정되며, 변환부는 이를 위해 문자 조합 데이터를 생성할 수 있다. 상기 문자 조합 데이터는 미리 정의된 프로토콜에 따른 데이터 구조를 가질 수 있다. 이에 대한 설명은, 도 7b에 대한 설명에서 후술한다.

또한, 변환부는 제2 언어를 결정하여, 결정된 문장에 대하여, 제1 언어에서 제2 언어로 자동 번역을 수행하며, 결정된 번역 대상에 대하여 제2 언어의 음차를 생성할 수도 있다.

한편, 도시되지 않았으나, 문자 번역 장치(100)는 통신부를 포함할 수도 있다. 통신부는 문자 번역 장치(100)의 유무선 인터넷 통신 또는 인트라넷 통신을 지원하며, 외부 장치와 각종 정보를 송수신할 수 있다. 통신부는 외부 장치로부터 언어 모델 및 미리 정의된 문장 분할 규칙을 제공받을 수도 있다. 또는, 통신부는 언어 모델, OCR, 미리 정의된 문장 분할 규칙을 외부 장치에서 처리하기 위하여, 문자 인식에 관련된 데이터를 외부 장치로 송신할 수 있으며, 처리 결과를 외부 장치로부터 수신할 수도 있다. 구체적으로 통신부는 미리 정의된 프로토콜에 따른 구조를 갖는 문자 조합 데이터를 외부 장치로 송신하고, 이에 대한 처리 결과를 수신할 수도 있다.

또한, 통신부는 본 발명의 실시예에 따른 문자 인식의 대상이 되는 이미지 컨텐츠를 외부 장치로부터 수신할 수도 있으며, 이러한 실시예에 있어서, 통신부는 입력부(110)로 기능할 수도 있다. 통신부는 본 발명이 속한 기술분야의 잘 알려진 각종 통신 모듈을 적어도 하나 구비하여 구성될 수 있다.

또한, 도시되지 않았으나, 문자 입력 장치(100)는 저장부를 포함할 수 있다. 저장부는 각종 데이터, 명령 및/또는 정보를 저장한다. 저장부는, 본 발명의 실시예에 따른 문자 인식 방법을 제공 받기 위한 하나 이상의 애플리케이션을 저장할 수 있다. 또한, 저장부는 통신부를 통해 수신되는 각종 정보, 입력부를 통해 입력되는 각종 정보를 저장할 수도 있다.

저장부는 외부 장치로부터 전달된 데이터 등을 임시적으로 또는 비임시적으로 저장할 수 있다. 저장부는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

도 3a는 본 발명의 또 다른 실시예에 따른, 문자 번역 방법의 순서도이다. 도 3b는 본 발명의 또 다른 실시예에 따른, 콘텍스트 식별 방법의 순서도이다.

이하, 문자 번역 방법은, 제어부(140)가 문자 번역 프로그램을 실행함으로써 문자 번역 장치(100)에 의해 수행되는 것으로 가정한다.

도 3a를 참조하면, 문자 번역 장치(100)는 이미지 컨텐츠를 획득할 수 있다(S11). 이때, 이미지 컨텐츠는, 카메라(120)를 통해 입력되거나 통신부를 통해 수신됨으로써 획득될 수 있다.

문자 번역 장치(100)는 이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식할 수 있다(S21). 예를 들어 제1 언어는 중국어일 수 있다. 이 경우, 문자 번역 장치(100)는 언어 선택 정보를 포함하는 사용자 이벤트 정보를 입력 받을 수 있다.

문자 번역 장치(100)는 언어 선택 정보로서 사용자로부터 인식 대상 문자의 언어로 중국어를 설정 받을 수 있다. 또한, 문자 번역 장치(100)는 인식 대상 문자가 인식된 후, 번역의 대상이 되는 다른 언어에 대한 설정을 입력 받을 수도 있다.

문자 번역 장치(100)는 언어 선택 정보와 함께 다른 정보를 사용자 이벤트 정보로 입력 받을 수도 있다. 예를 들어, 이미지 컨텐츠가 중국어로 기재된 음식 메뉴인 경우, 언어 선택 정보로 중국어를 설정 받고, 이미지의 종류가 메뉴임을 나타내는 정보를 사용자 이벤트 정보로 입력 받을 수도 있다. 이 경우, 문자 번역 장치(100)는 인식된 문자 간의 확률적 결합 관계를 이용하여 음식 메뉴에 해당하는 문자를 인식하고, 인식된 문자로부터 문장 추출 및 번역 대상 문장의 생성을 더욱 정확히 수행할 수 있다.

문자 번역 장치(100)는 입력된 언어 선택 정보를 기초로, 상기 제1 언어의 문자를 인식할 수 있으며, 미리 정의된 언어별 문장 분할 규칙에 따라, 제1 언어의 문장 결정 기호를 인식할 수 있다. 상기 예에서 문자 번역 장치(100)는 중국어를 인식 대상 문자로 설정 받았으므로, 이미지 컨텐츠 상의 문자를 중국어로 인식한다. 또한, 문자 번역 장치(100)는 미리 정의된 언어별 문장 분할 규칙에 따라, 학습된 다양한 중국어 폰트와 비교 과정을 통해, 문자 인식 및 문장 결정 기호를 인식할 수 있다. 문자 번역 장치(100)는 이미지 컨텐츠 상의 문자가 학습되지 않은 중국어 폰트를 포함하는 경우, 통신부를 통해 웹 검색을 수행함으로써 미리 정의된 문장 분할 규칙을 보완할 수도 있다. 구체적으로, 도 3b를 참조하면, 문자 번역 장치(100)는 이미지 컨텐츠 상의 제1 언어의 문자로 구성된 문자열을 인식하고, 상기 제1 언어의 문자의 문자로 구성된 문자열의 콘텍스트(Context)를 판단할 수 있다(S23). 즉, 문자 번역 장치(100)는 인식된 제1 언어의 문자로 구성된 문자열이 단어인지 문장인지 여부, 문장이라면 단행 문장인지 다행 문장인지 여부를 판단할 수 있다.

먼저, 문자 번역 장치(100)는 문자열이 단어인지 문장인지 여부를 판단할 수 있다(S25). 이때, 문자 번역 장치(100)는 문자열에 포함된 복수의 문자 그룹 사이의 공백이 미리 설정된 넓이 영역 이상인 경우, 공백으로 구별되는 문자 그룹은 서로 다른 단어로 판단할 수 있다. 문자 번역 장치(100)는 상기 공백이 패턴을 가지고 반복되는 경우, 공백으로 구별되는 문자 그룹을 서로 다른 단어로 판단할 수도 있다. 여기에서 단어란, 사전적 의미의 단어를 뜻할 수도 있으나, 본 발명의 실시예에 따르면 이에 한정되지 않는다. 즉, 단어란, 사전적 의미의 단어와 조사로 구성된 문장 내 단락을 포함할 수 있다. 특히, 의미 단위를 가지는 주제어, 제목, 표어 등 본 명세서 상에서 문장으로 정의되어 하나의 번역 단위가 되는 문자 그룹 역시 상기 단어에 포함될 수 있다.

문자 번역 장치(100)는, 문자열이 단어로 판단되는 경우, 이를 제1 언어의 문장으로 추출할 수 있다(S31').

반면, 문자 번역 장치(100)는, 미리 설정된 넓이 영역 이상인 공백이 식별되지 않거나, 상기 공백이 패턴을 가지고 반복되지 않는 경우, 문자열을 단어가 아닌 문장으로 판단할 수 있다. 문자 번역 장치(100)는, 문자열이 문장으로 판단되면, 문자열에 대하여 미리 설정된 문장 추출 알고리즘을 적용할 수 있다(S27).

문자 번역 장치(100)는, 상기 문장 추출 알고리즘을 수행하여, 문자열의 문장이 단행 문장인지, 다행 문장인지 여부를 판단할 수 있다(S29). 문장 추출 알고리즘에 대한 구체적인 실시예는, 도 6에 대한 설명에서 후술하도록 한다.

문자 번역 장치(100)는, 문자열 내부의 공백의 존재 여부를 판단하여 문자열을 단어로 판단하거나, 문장 추출 알고리즘을 이용하여 다행 또는 단행의 문장을 식별함으로써, 제1 언어의 문장을 추출할 수 있다(S31').

본 발명의 실시예에 따르면, 이때, 문장이 단행인지 다행 인지 여부의 판단에 문장 결정 기호가 이용될 수 있다. 즉, 문자 번역 장치(100)는, 문장 결정 기호를 식별하고, 식별된 문장 결정 기호를 기준으로 전후에 위치하는 문자 그룹을 서로 다른 문장으로 식별할 수 있다. 이에 따라, 하나의 줄 상의 문자 그룹이 문장 결정 기호를 기준으로 구별되는 경우, 하나의 줄에는 복수 개의 문장이 존재할 수 있다.

이 경우, 문자 번역 장치(100)는, 줄의 전단, 후단에 위치하는 문자 그룹에 대하여, 줄의 상단 또는 하단에 또 다른 문자 결정 기호가 등장할 때까지 복수의 행이 하나의 문장으로 계속 연결되는 것으로 판단할 수 있다.

문자 번역 장치(100)는 인식된 문장 결정 기호를 기초로, 인식된 문자로 구성된 제1 언어의 문장을 추출할 수 있다(S31). 즉, 문자 번역 장치(100)는 문장 결정 기호를 기준으로 문장 단위로 문자 그룹을 식별할 수 있다. 따라서, 문자 번역 장치(100)는 인식된 문자로 구성된 문자열이 하나의 문장을 구성하는지, 하나의 문장의 일부 구성에 해당하는지 판단할 수 있다. 이와 같은 판단을 통해, 문자 번역 장치(100)는 하나의 문자열을 하나의 문장으로 추출하거나, 복수의 문자열을 하나의 문장으로 추출할 수 있다. 또한, 문자 번역 장치(100)는 사용자 이벤트 정보를 이용하여, 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성할 수 있다(S35). 이때, 문자 번역 장치(100)는 미리 설정된 언어 모델을 이용하여, 추출된 문장을 번역 대상 문장으로 가공할 수 있다. 추출된 문장은 번역 대상 문장과 동일할 수도 있고, 변경될 수도 있다.

마지막으로, 문자 번역 장치(100)는 생성된 번역 대상 문장을 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이할 수 있다(S41).

도 4는 본 발명의 몇몇 실시예에서 참조되는, 이미지 컨텐츠의 예시이다.

도 4를 참조하면, 문자 번역 장치(100)는 통신부, 입력부(110) 또는 카메라(120) 중 어느 하나를 통해 컨텐츠 이미지를 획득할 수 있다. 또한, 문자 번역 장치(100)는 디스플레이부(130)를 통해 획득된 컨텐츠 이미지를 출력할 수 있다. 도 4에서, 디스플레이부(130)를 통해 출력된 컨텐츠 이미지의 예로써 이미지(401) 및 이미지(402)가 도시되었다.

이미지(401)을 참조하면, 문자 번역 장치(100)의 인식 대상으로 문자 그룹(410)이 도시되었다. 문자 그룹(410)의 각각의 문자열은 하나의 문장 단위에 해당한다. 문자 번역 장치(100)는 이미지(401) 상의 문자를 인식할 수 있으며, 특히, 문자 그룹(410) 내의 각 문자열을 각각 하나의 문장으로 추출할 수 있다.

이미지(402)를 참조하면, 문자 번역 장치(100)의 인식 대상으로 문자 그룹(420)이 도시되었다. 문자 그룹(420)의 각각의 문자열은 하나의 문장 단위에 해당하지 않는다. 즉, 문자 그룹(420) 내의 문자열은 하나의 문장의 일부를 구성한다. 이 경우, 문자 번역 장치(100)는 이미지(402) 상의 문자를 인식할 수 있으며, 특히, 문자 그룹(420) 내의 복수의 문자열을 하나의 문장으로 추출할 수 있다.

도 5는 본 발명의 몇몇 실시예에서 참조되는, 번역 대상 문장의 예시이다.

도 5를 참조하면, 문자 번역 장치(100)는 단계(S21)에서 제1 언어의 문자를 인식하고, 이미지 컨텐츠 상의 문자열을 적어도 하나 인식할 수 있다.

또한, 문자 번역 장치(100)는 단계(S31)에서 상기 인식된 문자열 중, 제1 문자열 및 제2 문자열의 문자 사이즈 또는 문자의 굵기를 식별할 수 있다. 즉, 도 5에 도시된 바와 같이, 문자 그룹(510)에 속하는 문자열과 문자 그룹(520)에 속하는 문자열이 서로 다른 폰트 사이즈를 가지거나, 문자열의 문자 굵기가 다른 경우, 문자 번역 장치(100)는 이를 식별할 수 있다.

문자 번역 장치(100)는 식별된 문자 사이즈를 기초로, 제1 문자열을 상기 제1 언어의 문장으로 추출할 수 있다. 즉, 도 5에서 문자 그룹(510)에 속하는 문자열은 이미지 컨텐츠(500)의 주제를 나타내는 제목, 강조 어구로서 상대적으로 큰 폰트 사이즈를 가지며, 문자 번역 장치(100)는 이를 하나의 문장 단위로 인식하여, 문장으로 추출할 수 있다.

반면, 문자 번역 장치(100)는 상대적으로 작은 폰트 사이즈를 가지는 문자 그룹(520)에 속하는 문자열은 하나의 문자열이 문장의 일부를 구성하는 것으로 인식할 수 있다. 이 경우, 문자 번역 장치(100)는 도 6에서 설명되는 문장 추출 방식에 따라 복수의 문자열을 하나의 문장으로 추출할 수 있다.

도 5에서 이미지 컨텐츠에 서로 다른 폰트 사이즈를 가지는 문자열이 포함되고, 문자 번역 장치(100)가 폰트 사이즈를 기초로, 문자열을 문장으로 추출하는 방식이 주로 설명되었으나, 본 발명의 실시예는 이에 한정되지 않는다. 즉, 문자 번역 장치(100)는, 이미지 컨텐츠의 타입에 따라 하나의 문자열을 문장으로 추출하거나, 복수의 문자열을 하나의 문장으로 추출할 수도 있다.

단계(S11)에서, 문자 번역 장치(100)는 사용자로부터 이미지 컨텐츠의 타입 정보를 포함하는 사용자 이벤트 정보를 입력 받을 수 있다. 예를 들어, 이미지 컨텐츠가 간판, 메뉴판인 경우, 주로 하나의 문자열이 하나의 문장이므로, 이에 대한 정보가 입력된 경우, 문자 번역 장치(100)는 인식되는 문자열을 하나의 문장으로 추출할 수 있다. 이 경우, 문자 번역 장치(100)는 문장 추출을 위한 별도 알고리즘을 수행하지 않으므로, 문장 추출을 위한 연산 과정을 최소화할 수 있다.

반면, 문자 번역 장치(100)는 이미지 컨텐츠의 타입이 다수의 문단을 가진 신문, 소설과 같은 타입으로 입력된 경우, 인식된 문자열이 복수 개 조합되어 문장을 구성하는 것으로 인식할 수 있다. 따라서, 문자 번역 장치(100)는 복수 개의 문자열을 하나의 문장으로 추출하여, 미리 설정된 언어 모델의 적용을 시도할 수 있다. 이에 따라, 번역 대상 문장의 정확도가 높아지므로, 번역 결과의 정확성을 기대할 수 있다.

도 6 및 도 7a는 본 발명의 몇몇 실시예에서 참조되는, 문장 추출 방식을 설명하기 위한 예시도이다.

도 6을 참조하면, 문자 번역 장치(100)는 단계(S21)에서, 제1 언어의 문자를 인식하고, 이미지 컨텐츠 상의 문자열을 적어도 하나 인식할 수 있다. 도 6에서, 문자 번역 장치(100)가 인식한 문자열을 포함하는 경우가 다수 예로써 도시되었다. 이하, 이미지 컨텐츠(601, 602, 603, 604, 605)를 예로 들어 본 발명의 실시예에 따른 문장 추출 알고리즘을 설명한다.

단계(S31)에서, 문자 번역 장치(100)는 상기 인식된 문자열 상의 문자 중, 오른쪽 끝에 위치한 문자를 포함하는 문자열을 선택할 수 있다.

이에 따라, 이미지 컨텐츠(601, 602)의 경우, 각각 오른쪽 끝에 위치한 문자(611, 612)를 포함하는 최하단 문자열이 선택되고, 이미지 컨텐츠(603, 605)의 경우, 각각 오른쪽 끝에 위치한 문자(613, 615)를 포함하는 중단의 문자열, 즉 3번째 줄의 문자열이 선택된다. 또한, 이미지 컨텐츠(604)의 경우 오른쪽 끝에 위치한 문자(614)를 포함하는 최상단 문자열이 선택된다.

문자 번역 장치(100)는 오른쪽 끝에 위치한 문자(611, 612, 613, 614, 615)의 x축 좌표를 기준으로, 선택된 문자열의 상위 문자열 상의 문자가 존재하는지 제1 판단할 수 있다.

이에 따라, 문자 번역 장치(100)는 이미지 컨텐츠(602, 604, 605)의 경우, 문자(612, 614, 615)를 포함하는 선택된 문자열의 상위 문자열 상의 문자가 존재하지 않는 것으로 판단할 수 있다.

이와 경우, 문자 번역 장치(100)는 상기 선택된 문자열을 제1 언어의 문장으로 추출할 수 있다.

그러나, 이미지 컨텐츠(602, 604, 605)를 참조하면, 이미지 컨텐츠(602, 604)의 경우, 하나의 문자열이 하나의 문장일 수 있으나, 이미지 컨텐츠(604)의 경우, 2개의 문자열이 이어지므로, 하나의 문자열을 하나의 문장으로 추출하는 경우 문장 추출 오류가 발생할 수 있다. 이와 같은 경우의 문장 추출 오류를 방지하기 위하여, 문자 번역 장치(100)는, 상기 선택된 문자열의 왼쪽 끝에 위치한 문자의 x축 좌표를 기준으로, 상기 선택된 문자열의 하위 문자열 상의 문자가 존재하는지 제2 판단할 수 있다.

예를 들어, 문자 번역 장치(100)는, 선택된 문자열의 왼쪽 끝에 위치하는 문자(621, 622, 623, 624, 625)의 x축 좌표를 기준으로 하위 문자열 상의 문자가 존재하는지 판단할 수 있다.

판단 결과, 이미지 컨텐츠(602, 605)의 경우, 하위 문자열 상의 문자가 존재하지 않으나, 이미지 컨텐츠(604)의 경우, 하위 문자열 상에 문자가 존재한다.

이 경우, 문자 번역 장치(100)는 이미지 컨텐츠(602, 605)의 경우, 상기 제1 판단의 결과와 마찬가지로, 선택된 문자열을 하나의 문장으로 추출할 수 있다.

반면, 문자 번역 장치(100)는 이미지 컨텐츠(604)의 경우, 상기 제1 판단의 결과를 제2 판단의 결과로 수정하여, 선택된 문자열을 하나의 문장으로 추출하지 않는다. 문자 번역 장치(100)는 선택된 문자열과 하위 문자열을 포함하는 복수의 문자열을 하나의 문장으로 추출한다.

한편, 문자 번역 장치(100)는 이미지 컨텐츠(601, 603)의 경우, 문자(611, 613)를 포함하는 선택된 문자열의 상위 문자열 상의 문자가 존재하는 것으로 판단할 수 있다.

이 경우, 문자 번역 장치(100)는 선택된 문자열 및 상기 선택된 문자열의 상위 문자열을 포함하는 복수의 문자열을 제1 언어의 문장으로 추출할 수 있다. 즉, 이미지 컨텐츠(601, 603)의 경우, 문자 번역 장치(100)는 복수의 문자열을 포함하는 문장을 추출할 수 있다.

본 발명의 실시예에 따르면, 상술한 문장 추출 알고리즘은 도 5에 대한 설명에서 설명된 폰트 사이즈 식별, 이미지 컨텐츠 타입 정보를 이용한 문장 추출 방식과 함께 적용될 수 있다. 예를 들어, 이미지 컨텐츠(601)의 경우, 문자 번역 장치(100)는 영역(610)의 문자열은 폰트 사이즈가 상대적으로 크므로, 하나의 문자열을 하나의 문장으로 추출하고, 폰트 사이즈가 상대적으로 작은 영역(620)의 문자열에 대해서만 상술한 문장 추출 알고리즘을 적용할 수도 있다. 또한, 문자 번역 장치(100)는 이미지 컨텐츠(601)의 타입이 신문 기사인 것을 입력 받고, 영역(620)에 대하여 복수 개의 문자열을 하나의 문장으로 추출하여, 미리 설정된 언어 모델의 적용을 시도할 수도 있다.

도 7a에서 이미지 컨텐츠(700)에 대하여, 문자 번역 장치(100)가 문자 인식 방법으로 OCR 기술을 이용하여 문자를 인식하고, 인식된 문자에 대하여 N-Best 탐색 알고리즘을 수행하는 경우가 예로써 도시되었다.

언어 선택 정보로 중국어가 설정된 경우를 예로 들어 설명한다. 문자 번역 장치(100)는 언어 선택 정보를 기초로, OCR 처리 결과 중국어의 문자를 인식하고, 이미지 컨텐츠(700) 상의 중국어의 문자 중, 제1 문자(701)의 후보 문자(711)를 결정할 수 있다. 또한, 문자 번역 장치(100)는 이미지 컨텐츠(700) 상의 문자 중, 제1 문자(701)에 인접한 제2 문자(702)의 후보 문자(712)를 결정할 수 있다. 후보 문자(711)는 제1 문자(701)를 포함하고, 후보 문자(712)는 제2 문자(702)를 포함할 수 있다.

각 후보 문자(711, 712)는 복수 개일 수 있으며, N-Best 탐색 알고리즘의 실행 결과, 후보 문자(711) 및 후보 문자(712)는 각각 제1 문자로 선택될 확률 값 및 제2 문자로 선택될 확률을 가진다.

문자 번역 장치(100)는 제1 문자(701)의 후보 문자(711)와 제2 문자(702)의 후보 문자(712) 사이의 조합을 적어도 하나 생성할 수 있다.

문자 번역 장치(100)는 언어 선택 정보에 기초하여, 상기 생성된 조합 중, 제1 문자 및 제2 문자로 인식될 확률이 가장 높은 문자 조합(720)을 선택할 수 있다.

문자 번역 장치(100)는 선택된 문자 조합을 기초로 이미지 컨텐츠(700) 상의 중국어 문자를 인식할 수 있다. 도 7b는 도 7a에서 예시된 문장 추출 과정에서 이용되는 데이터의 규격을 설명하기 위한 예시도이다. 특히, 도 7b에서 본 발명의 실시예에 따른 문자 조합 데이터의 구조가 예시되었다.

도 7b를 참조하면, 문자 번역 장치(100)는 도 7a의 각 후보 문자(711, 712), 각 후보 문자가 결합되는 경우, 각 후보 문자(711, 712)에 대한 정보, 각 후보 문자의 위치, 즉 제1 문자인지 제2 문자인지 여부에 대한 정보 및 각 후보 문자(711, 712)의 확률 값 정보를 포함하는 문자 조합 데이터를 생성할 수 있다. 문자 번역 장치(100)는 OCR 후처리 과정(S20)에서 이와 같은 확률 값을 포함하는 문자 조합 데이터를 이용하여 문자를 인식할 수 있으며, 번역 전처리 과정(S30)에서 상기 문자 조합 데이터를 이용하여 번역 대상 문장을 생성할 수도 있다.

도 7b의 데이터 구조는 예시일 뿐 본 발명의 실시예는 이에 한정되지 않으며, 데이터 구조는 다양한 실시예에 따른 변형이 가능하며, 본 발명이 속한 기술분야에서 널리 이용되는 데이터 구조가 적용될 수 있다.

본 발명의 다른 실시예에서, 문자 번역 장치(100)는 도 7b의 데이터를 번역 전처리 과정을 수행하는 서버에 송신할 수 있다. 이 경우, 서버단은 각 제1 언어의 문자를 제2 언어로 번역하는데 필요한 번역 대상 문장의 확정에 수신된 문자 조합 데이터를 이용할 수 있다.

한편, 문자 번역 장치(100)는 번역 전처리 과정에서 도 7에서 예시된, N-Best 탐색 알고리즘을 이용하여, 번역 대상 문장을 생성할 수도 있다. 이에 대한 자세한 설명은 도 9에 대한 설명에서 후술한다.

도 8은 본 발명의 몇몇 실시예에서 참조되는, GUI의 예시도이다.

도 8을 참조하면, 단계(S11)에서, 문자 번역 장치(100)는 획득한 이미지 중 번역 대상 영역을 사용자로부터 입력 받을 수 있다. 이에 따라, 화면(801)과 같이, 문자 번역 장치(100)는 번역 대상 영역을 디스플레이부(130)의 제1 영역(810)에 디스플레이할 수 있다.

단계(S21)에서, 문자 번역 장치(100)는 화면(801)와 같이 인식된 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 디스플레이부(130)의 제2 영역(820)에 디스플레이할 수도 있다.

단계(S41)에서, 문자 번역 장치(100)는, 번역 대상 문장이 생성됨에 따라, 화면(802)와 같이 제2 언어로 번역된 문장을 제2 영역(820) 상에서 디스플레이할 수 있다. 즉, 문자 번역 장치(100)는 화면(801)의 제2 영역(820)의 디스플레이 대상을 번역 대상 문장이 생성되고, 번역이 수행됨에 따라 화면(802)와 같이 변경할 수 있다.

문자 번역 장치(100)는 번역 대상 영역 중, 생성된 번역 대상 문장을 식별처리(815)하여 제1 영역(810)에 디스플레이할 수 있다. 이때, 문자 번역 장치(100)는 식별처리(815)된 문장에 대한 수정 요청을 수신할 수 있다. 상기 수정 요청은, 사용자의 터치제스처, 또는 문자 번역 장치(100)의 버튼 조작에 의해 수신될 수 있다.

문자 번역 장치(100)는 상기 수정 요청에 응답하여, 수정된 번역 대상 문장을 생성할 수 있다. 즉, 사용자가 식별처리(815) 부분을 이동시키거나, 확장시키는 수정 요청을 입력함에 따라, 번역 대상 문장은 수정될 수 있으며, 문자 번역 장치(100)는 식별처리(815) 부분을 이동시키거나, 확장시켜 제1 영역(810) 상에 디스플레이할 수 있다.

문자 번역 장치(100)는 수정된 번역 대상 문장을 제2 언어로 번역하고, 번역 결과를 제2 영역(820) 상에 디스플레이할 수 있다.

도 9는 본 발명의 또 다른 실시예에 따른, 번역 대상 문장의 수정 방법을 설명하기 위한 예시도이다.

문자 번역 장치(100)는 단계(S35)에서, 사용자 이벤트 정보를 이용하여, 추출된 제1 언어의 문장을 기초로, 번역 대상 문장의 후보 문장을 생성할 수 있다. 도 9를 참조하면, 도 7에서 설명된 문자 조합을 포함하는 후보 문장을 생성할 수 있다.

이때, 문자 번역 장치(100)는, 사용자 이벤트 정보(940)를 이용하여, 추출된 문장의 상황을 예측하고, 미리 설정된 언어 모델(930)을 이용하여 후보 문장(910, 920)을 생성할 수 있다.

또한, 문자 번역 장치(100)는 도 7에서 생성된 적어도 하나의 문자 조합 중, 확률적으로 추출된 문장에 포함될 가능성이 가장 높은 문자 조합을 선택하고, 선택된 문자 조합을 포함하는 문장을 최종 번역 대상 문장으로 결정(950)할 수 있다. 구체적으로, 문자 번역 장치(100)는 미리 설정된 언어 모델(930)로부터 데이터(900)를 획득하여, 후보 문장(910, 920) 상의 단어와 문자 조합의 비교를 통해, 문자 조합 중 확률적으로 추출된 문장에 포함될 가능성이 가장 높은 문자 조합을 선택할 수 있다. 상기 언어 모델(930)에는 단어, 그 단어가 포함된 문장 등으로 구성될 수 있으며, 단어 자체가 한 문장으로 구성되는 경우도 있고, 전체 문장이 상용구여서 전체 문장이 문자 조합과 매칭될 수 있다.

한편, 문자 번역 장치(100)는, 단계(S11)에서, 문자 번역 장치(100)의 위치 정보를 기초로, 사용자 이벤트 정보를 감지할 수도 있다. 즉, 문자 번역 장치(100)는, 문자 번역 장치(100)를 소지한 사용자가 공항에 있는지, 국외에 있는지, 음식점에 있는지 등의 정보를 감지할 수 있다. 문자 번역 장치(100)는, 이를 위해 위치 정보 감지를 위한 GPS 모듈을 추가로 구비할 수도 있다. 또한, 문자 번역 장치(100)는, 로밍 정보 등의 통신 정보를 사용자 이벤트 정보로 감지할 수도 있다.

단계(S31)에서, 문자 번역 장치(100)는, 사용자 이벤트 정보를 기초로, 제1 언어를 자동으로 결정할 수 있다. 즉, 위치 정보가 중국인 경우, 문자 번역 장치(100)는, 제1 언어를 중국어로 자동 결정할 수 있다. 또한, 단계(S41)에서, 문자 번역 장치(100)는, 사용자 이벤트 정보를 기초로, 상기 제2 언어를 자동으로 결정할 수도 있다. 예를 들어, 문자 번역 장치(100)는, 사용자 이벤트 정보로 문자 번역 장치(100)의 고유 식별 정보를 이용하여, 문자 번역 장치(100)의 사용자의 사용 언어를 자동으로 결정할 수 있다. 또는 문자 번역 장치(100)는, 위치 정보의 변경 내역을 사용자 이벤트 정보로 활용할 수도 있다.

문자 번역 장치(100)는, 사용자 이벤트 정보를 기초로, 문자 번역 장치(100)가 음식점에 위치한 것을 감지할 수 있으므로, 번역 대상 문장의 생성에 있어, 미리 설정된 언어 모델을 이용하여, 메뉴에 관련된 문자 조합을 선택할 수도 있다.

도 10은 본 발명의 몇몇 실시예에서 참조되는, 문자 번역 장치의 출력 UI의 예시이다.

도 10에서, 단계(S41)에서 문장 번역 장치(100)가 번역 대상을 선정하여 번역된 문장을 디스플레이하는 경우의, UI 화면(1001, 1002, 1003)이 예로써 도시되었다.

화면(1001)을 참조하면, 문자 번역 장치(100)는 단계(S35)에서 생성된 번역 대상 문장(1020)에 대한 식별 표시를 디스플레이할 수 있다. 문자 번역 장치(100)는 번역 영역을 지정하는 오브젝트(1010)를 디스플레이 할 수 있다.

화면(1002)를 참조하면, 사용자로부터 상기 오브젝트(1010)를 상기 번역 대상 문장(1020)을 포함하는 영역(1030)에 오버레이 시키는 입력을 수신함에 따라, 문자 번역 장치(100)는 오버레이된 영역(1030)에 포함된 번역 대상 문장(1020)을 번역 요청 문장으로 선택할 수 있다. 오브젝트(1010)는 사용자 입력을 수신함에 따라 영역(1030)을 번역 영역으로 지정하는 과정에서 이동될 수 있다. 예를 들어, 사용자로부터 오브젝트(1010)에 대한 터치 입력 및 드래그 입력을 수신하면, 문자 번역 장치(100)는 드래그 입력 방향을 따라 오브젝트(1010)가 확장되며 이동되도록 제어하고, 오브젝트(1010)가 이동됨에 따라 포함하게 되는 영역을 번역 영역으로 인식할 수 있다. 또한, 문자 번역 장치(100)는 번역 영역에 포함된 문장을 번역 요청 문장으로 선택할 수 있다.

문자 번역 장치(100)는 선택된 번역 요청 문장을 서버에 송신하여, 이에 대한 번역 결과를 수신할 수 있다. 이에 따라, 문서 번역 장치(100)는 번역 영역(1030)에 인접한 영역에 번역 결과(1040)를 디스플레이할 수 있다.

화면(1003)을 참조하면, 디스플레이된 이미지 컨텐츠에 대한 스크롤 입력이 수신됨에 따라, 문자 번역 장치(100)는 번역 영역을 이동할 수 있으며, 번역 영역이 이동됨에 따라 번역 영역(1030)에 포함되는 번역 대상 문장(1025)이 변경된다. 문자 번역 장치(100)는 상기 번역 영역(1030) 상의 번역 대상 문장(1025)을 번역 요청 문장으로 선택할 수 있다.

한편, 본 발명의 실시예에 따르면, 문자 번역 장치(100)는, 상기 오브젝트(1010)에 대한 스크롤 입력에 따라 상기 이미지 컨텐츠를 스크롤 할 수도 있다.

도 11은 본 발명의 몇몇 실시예에서 참조되는, 문자 번역 장치의 음차 출력 UI의 예시이다.

도 11을 참조하면, 문자 번역 장치(100)는 번역 결과(1040)를 디스플레이할 때, 번역 결과인 제2 언어의 문장(1043)뿐만 아니라, 제1 언어에 대한 음차(1045)를 제2 언어로 표시하여 디스플레이할 수도 있다.

즉, 단계(S41)에서, 문자 번역 장치(100)는 제2 언어를 식별할 수 있으며, 도 11에서, 제1 언어가 중국어, 제2 언어가 한국어인 경우, 문자 번역 장치(100)는 이를 식별하고, 제1 언어의 음차를 제2 언어로 디스플레이할 수 있다.

예를 들면, 제1 언어의 문장 "我是生。"에 대하여, 디스플레이된 제2 언어의 번역 결과는 "나는 학생이다." 이며, 이때, 제1 언어에 대하여 제2 언어로 표현된 음차 "워쓰쉐셩"이 함께 디스플레이될 수 있다.

도 12는 본 발명의 몇몇 실시예에서 참조되는, 레이아웃 식별에 따른 번역 대상 문장 결정 방식을 설명하기 위한 예시도이다.

한편, 지금까지 문자 번역 장치(100)가 이미지 컨텐츠 상에서 문장 결정 기호 또는 미리 설정된 영역의 공백을 검출함에 따라 번역 대상 문장을 결정하는 방법에 대하여 주로 설명하였다. 그러나, 본 발명의 실시예는 이에 한정되는 것은 아니고, 문자의 폰트, 사이즈뿐만 아니라, 문자 번역 장치(100)는 이미지 컨텐츠의 레이아웃, 즉, 이미지 컨텐츠 상의 각 영역으로 문자열이 구별됨에 따라 각 영역 상의 문자 그룹을 서로 다른 문장으로 판단할 수도 있다.

도 12를 참조하면, 이미지 컨텐츠(1200)가 시각적으로 구분된 복수의 영역을 포함하는 경우가 예시되었다. 이 경우, 문자 번역 장치(100)는 이미지 컨텐츠의 복수의 영역을 구획짓는 선, 음영, 색상 중 적어도 하나를 식별할 수 있으며, 구획된 각 영역을 식별할 수 있다.

또한, 문자 번역 장치(100)는 복수의 영역 상의 문자 그룹을 각각 식별할 수 있다. 도 12에서, 이미지 컨텐츠(1200)가 영역(1210, 1220, 1230)을 포함하고, 각 영역이 문자 그룹(1215, 1225, 1235)를 포함하는 경우가 예로써 도시되었다.

문자 번역 장치(100)는 각 문자 그룹(1215, 1225, 1235)을 서로 다른 문장으로 판단하고 번역 대상 문장으로 생성할 수 있다.

문자 번역 장치(100)는 특히, 각 영역 별로 서로 다른 언어의 문자 그룹이 존재하더라도 검출부를 통해 각 언어를 식별할 수 있다.

문자 번역 장치(100)는 생성된 문장을 번역할 수 있으며, 번역된 결과를 각 영역 상에 오버레이되도록 디스플레이할 수도 있다.

지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 PC와 같은 모바일 컴퓨팅 장치를 모두 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (21)

1. 문자 번역 장치가 수행하는 방법에 있어서,
   이미지 컨텐츠를 획득하는 단계;
   상기 이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계;
   상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계;
   상기 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성하는 단계; 및 상기 생성된 번역 대상 문장을 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이하는 단계를 포함하며,
   상기 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계는, 상기 제1 언어의 문자를 인식하는 단계; 및 미리 정의된 언어별 문장 분할 규칙에 따라, 상기 제1 언어의 문장 결정 기호를 인식하는 단계를 포함하며,
   상기 제1 언어의 문자를 인식하는 단계는,
   상기 이미지 컨텐츠 상의 문자열을 적어도 하나 인식하는 단계를 포함하고,
   상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계는,
   상기 인식된 문자열 상의 문자 중, 오른쪽 끝에 위치한 문자를 포함하는 문자열을 선택하는 단계;
   상기 오른쪽 끝에 위치한 문자의 x축 좌표를 기준으로, 상기 선택된 문자열의 상위 문자열 상의 문자가 존재하는지 제1 판단하는 단계; 및
   상기 제1 판단 결과, 상기 상위 문자열 상의 문자가 존재하지 않는 경우, 상기 선택된 문자열을 상기 제1 언어의 문장으로 추출하는 단계를 포함하는,
   문자 번역 방법.
2. 제 1 항에 있어서,
   상기 이미지 컨텐츠를 획득하는 단계는,
   사용자로부터 언어 선택 정보를 포함하는 사용자 이벤트 정보를 입력 받는 단계를 포함하고,
   상기 번역 대상 문장을 생성하는 단계는 사용자 이벤트 정보를 이용하며,
   상기 제1 언어의 문자를 인식하는 단계는 상기 언어 선택 정보를 기초로 하는,
   문자 번역 방법.
3. 제 1 항에 있어서,
   상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계는,
   상기 인식된 문자열 중, 제1 문자열 및 제2 문자열의 문자 사이즈를 식별하는 단계; 및
   상기 식별된 문자 사이즈를 기초로, 상기 제1 문자열을 상기 제1 언어의 문장으로 추출하는 단계를 포함하는,
   문자 번역 방법.
4. 제 1 항에 있어서,
   상기 제1 판단 결과, 상기 상위 문자열 상의 문자가 존재하는 경우, 상기 선택된 문자열 및 상기 상위 문자열을 포함하는 복수의 문자열을 상기 제1 언어의 문장으로 추출하는 단계를 포함하는,
   문자 번역 방법.
5. 제 1 항에 있어서,
   상기 선택된 문자열을 상기 제1 언어의 문장으로 추출하는 단계는,
   상기 선택된 문자열의 왼쪽 끝에 위치한 문자의 x축 좌표를 기준으로, 상기 선택된 문자열의 하위 문자열 상의 문자가 존재하는지 제2 판단하는 단계; 및
   상기 제2 판단 결과, 상기 하위 문자열 상의 문자가 존재하지 않는 경우, 상기 선택된 문자열을 상기 제1 언어의 문장으로 추출하는 단계를 포함하는,
   문자 번역 방법
6. 제 5 항에 있어서,
   상기 제2 판단 결과, 상기 하위 문자열 상의 문자가 존재하는 경우, 상기 선택된 문자열 및 상기 하위 문자열을 포함하는 복수의 문자열을 상기 제1 언어의 문장으로 추출하는 단계를 포함하는,
   문자 번역 방법.
7. 제 2 항에 있어서,
   상기 언어 선택 정보를 기초로, 상기 제1 언어의 문자를 인식하는 단계는,
   상기 이미지 컨텐츠 상의 제1 언어의 문자 중, 제1 문자의 후보 문자를 결정하는 단계;
   상기 이미지 컨텐츠 상의 제1 언어의 문자 중, 상기 제1 문자에 인접한 제2 문자의 후보 문자를 결정하는 단계;
   상기 제1 문자의 후보 문자와 상기 제2 문자의 후보 문자 사이의 조합을 적어도 하나 생성하는 단계;
   상기 언어 선택 정보에 기초하여, 상기 생성된 조합 중, 상기 제1 문자 및 상기 제2 문자로 인식될 확률이 가장 높은 문자 조합을 선택하는 단계; 및
   상기 선택된 문자 조합을 기초로 상기 제1 언어의 문자를 인식하는 단계를 포함하는,
   문자 번역 방법.
8. 제 7 항에 있어서, 상기 생성된 문자 조합은,
   상기 제1 문자의 후보 문자와 상기 제2 문자의 후보 문자의 상기 생성된 문자 조합에서의 위치 정보, 상기 제1 문자의 후보 문자가 상기 제1 문자로 인식될 확률 값과 상기 제2 문자의 후보 문자가 상기 제2 문자로 인식될 확률 값에 대한 정보를 포함하는,
   문자 번역 방법.
9. 제 7 항에 있어서,
   상기 번역 대상 문장을 생성하는 단계는,
   상기 사용자 이벤트 정보를 이용하여, 상기 추출된 제1 언어의 문장을 기초로, 상기 번역 대상 문장의 후보 문장을 생성하는 단계;
   상기 생성된 후보 문장을 기초로, 상기 생성된 문자 조합 중, 문장에 포함될 확률이 가장 높은 문자 조합을 선택하는 단계; 및
   상기 문장에 포함될 확률이 가장 높은 문자 조합을 포함하는 문장을 번역 대상 문장으로 결정하는 단계를 포함하는,
   문자 번역 방법.
10. 제 7 항에 있어서,
    상기 언어 선택 정보에 기초하여, 상기 생성된 조합 중, 상기 제1 문자 및 상기 제2 문자로 인식될 확률이 가장 높은 문자 조합을 선택하는 단계는,
    상기 생성된 조합을 미리 설정된 언어 모델로부터 획득된 하나 이상의 문장 또는 그 문장에 포함된 단어와 비교하는 단계; 및
    상기 비교 결과, 상기 획득된 하나 이상의 문장 또는 그 문장에 포함된 단어에 매칭되는 확률이 가장 높은 문자 조합을, 상기 제1 문자 및 상기 제2 문자로 인식될 확률이 가장 높은 문자 조합으로 선택하는 단계를 포함하는,
    문자 번역 방법.
11. 제 1 항에 있어서,
    상기 제1 언어의 문자를 포함하는 이미지 컨텐츠를 획득하는 단계는,
    사용자로부터 상기 이미지 컨텐츠의 타입 정보를 포함하는 사용자 이벤트 정보를 입력 받는 단계를 포함하고,
    상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계는,
    상기 이미지 컨텐츠의 타입 정보를 기초로, 상기 인식된 문자로 구성된 하나의 문자열을 상기 제1 언어의 문장으로 추출하는 단계를 포함하는,
    문자 번역 방법.
12. 제 1 항에 있어서,
    상기 이미지 컨텐츠를 획득하는 단계는,
    상기 획득한 이미지 중 번역 대상 영역을 사용자로부터 입력 받는 단계; 및
    상기 번역 대상 영역을 제1 영역에 디스플레이하는 단계를 포함하고,
    상기 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계는,
    상기 인식된 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 제2 영역에 디스플레이하는 단계를 포함하고,
    상기 제2 언어로 번역된 문장을 디스플레이하는 단계는,
    상기 번역 대상 문장이 생성됨에 따라, 상기 제2 언어로 번역된 문장을 상기 제2 영역 상에서 디스플레이하는 단계를 포함하는,
    문자 번역 방법.
13. 제 12 항에 있어서,
    상기 번역 대상 문장을 생성하는 단계는,
    상기 번역 대상 영역 중, 상기 생성된 번역 대상 문장을 식별처리하여 상기 제1 영역에 디스플레이하는 단계를 포함하고,
    상기 생성된 번역 대상 문장을 식별처리하여 상기 제1 영역에 디스플레이하는 단계는,
    상기 식별처리된 문장에 대한 수정 요청을 수신하는 단계; 및
    상기 수정 요청에 응답하여, 수정된 번역 대상 문장을 생성하는 단계를 포함하며,
    상기 제2 언어로 번역된 문장을 상기 제2 영역 상에서 디스플레이하는 단계는,
    상기 수정된 번역 대상 문장을 상기 제2 언어로 번역하여 디스플레이하는 단계를 포함하는,
    문자 번역 방법.
14. 제 1 항에 있어서,
    상기 번역 대상 문장을 생성하는 단계는,
    상기 생성된 번역 대상 문장을 적어도 하나 포함하는 제1 영역을 디스플레이하고, 번역 영역 설정을 위한 오브젝트를 디스플레이하는 단계;
    오브젝트에 대한 사용자 입력을 수신함에 따라, 상기 오브젝트가 상기 사용자 입력을 따라 지정하는 제2 영역을 상기 제1 영역 상에 오버레이하여 디스플레이하는 단계;
    상기 제2 영역과 상기 제1 영역이 중첩되는 영역에 포함된 번역 대상 문장을 상기 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이하는 단계를 포함하는,
    문자 번역 방법.
15. 제 14 항에 있어서,
    사용자로부터 상기 이미지 컨텐츠에 대한 스크롤 입력을 수신하는 단계;
    상기 이미지 컨텐츠가 스크롤됨에 따라, 상기 제1 영역 상의 적어도 하나의 번역 대상 문장이 변경되고, 상기 변경된 번역 대상 문장을 포함하는 상기 제2 영역을 상기 제1 영역 상에 오버레이하여 디스플레이하는 단계; 및
    상기 변경된 번역 대상 문장을 상기 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이하는 단계를 포함하는,
    문자 번역 방법.
16. 제 1 항에 있어서,
    상기 이미지 컨텐츠를 획득하는 단계는,
    상기 문자 번역 장치의 위치 정보를 기초로, 사용자 이벤트 정보를 감지하는 단계를 포함하고,
    상기 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계는,
    상기 사용자 이벤트 정보를 기초로, 상기 제1 언어를 자동으로 결정하는 단계를 포함하고,
    상기 제2 언어로 번역된 문장을 디스플레이하는 단계는,
    상기 사용자 이벤트 정보를 기초로, 상기 제2 언어를 자동으로 결정하는 단계를 포함하는,
    문자 번역 방법.
17. 제 1 항에 있어서, 상기 문장 결정 기호는,
    상기 인식된 제1 언어의 문자로 구성된 문자열 상의 문자들로부터 일련의 문자 그룹을 구별해 내고, 상기 구별된 문자 그룹이 문장임을 결정할 수 있는 기호인, 문자 번역 방법.
18. 제 1 항에 있어서,
    상기 이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계는,
    상기 인식된 제1 언어의 문자로 구성된 문자열 상의 복수의 문자 그룹 사이에 미리 설정된 넓이 영역 이상의 공백을 검출하는 단계를 포함하고,
    상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계는,
    상기 검출된 공백의 전후에 위치한 문자 그룹을 서로 다른 문장으로 인식함으로써 상기 제1 언어의 문장을 추출하는 단계를 포함하는,
    문자 번역 방법.
19. 이미지 컨텐츠를 획득하는 카메라;
    사용자로부터 언어 선택 정보를 포함하는 사용자 이벤트 정보를 입력 받는 입력부;
    상기 획득된 이미지 컨텐츠의 전부 또는 일부를 디스플레이하는 디스플레이부; 및
    상기 이미지 컨텐츠 상의 문자열을 적어도 하나 인식하고, 제1 언어의 문자를 인식하며, 미리 정의된 언어별 문장 분할 규칙에 따라, 상기 제1 언어의 문장 결정 기호를 인식하고,
    상기 인식된 문자열 상의 문자 중, 오른쪽 끝에 위치한 문자를 포함하는 문자열을 선택하고, 상기 오른쪽 끝에 위치한 문자의 x축 좌표를 기준으로, 상기 선택된 문자열의 상위 문자열 상의 문자가 존재하는지 제1 판단하고, 상기 제1 판단 결과, 상기 상위 문자열 상의 문자가 존재하지 않는 경우, 상기 선택된 문자열을 상기 제1 언어의 문장으로 추출하며, 상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하고,
    상기 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성하고,
    상기 생성된 번역 대상 문장을 제2 언어로 번역함에 따라, 상기 제2 언어로 번역된 문장이 디스플레이되도록 제어하는 제어부를 포함하는,
    문자 번역 장치.
20. 컴퓨팅 장치와 결합하여,
    이미지 컨텐츠 상의 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계;
    상기 인식된 문장 결정 기호를 기초로, 상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계;
    상기 추출된 제1 언어의 문장을 기초로, 번역 대상 문장을 생성하는 단계; 및
    상기 생성된 번역 대상 문장을 제2 언어로 번역하고, 상기 제2 언어로 번역된 문장을 디스플레이하는 단계를 포함하며,
    상기 제1 언어의 문자 및 상기 제1 언어의 문장 결정 기호를 인식하는 단계는, 상기 제1 언어의 문자를 인식하는 단계; 및 미리 정의된 언어별 문장 분할 규칙에 따라, 상기 제1 언어의 문장 결정 기호를 인식하는 단계를 포함하며,
    상기 제1 언어의 문자를 인식하는 단계는, 상기 이미지 컨텐츠 상의 문자열을 적어도 하나 인식하는 단계를 포함하고,
    상기 인식된 문자로 구성된 제1 언어의 문장을 추출하는 단계는, 상기 인식된 문자열 중, 제1 문자열 및 제2 문자열의 문자 사이즈를 식별하는 단계; 및 상기 식별된 문자 사이즈를 기초로, 상기 제1 문자열을 상기 제1 언어의 문장으로 추출하는 단계를 실행시키는,
    기록매체에 저장된, 컴퓨터 프로그램.
21. 삭제

Images