KR20200009205A - 번역 서비스 제공 방법 및 이를 이용하는 단말장치 - Google Patents

Abstract

본 출원은 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 관한 것으로서, 본 발명의 일 실시예에 의한 번역 서비스 제공 방법은, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계; 사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계; 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함할 수 있다.

Description

번역 서비스 제공 방법 및 이를 이용하는 단말장치 {Method for proving translation service and terminal device using the same}

본 출원은 외국어로 기재된 이미지에 대한 번역서비스를 제공할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 관한 것이다.

일반적으로, 문자인식 기술은 카메라를 통하여 이미지를 입력 받고, 여기에 포함된 문자를 배경으로부터 분리하여 그 특징을 추출한 후, 미리 저장된 문자의 특징패턴과 비교하여, 가장 유사한 패턴의 텍스트 문자를 인식결과로 나타낸다. 이러한 일반적인 문자인식 기술에 따라, 제한된 범위의 문자나 숫자를 사용하는 일정한 규격의 자동차 번호판 인식이나 우편번호 인식 등의 경우에 높은 문자 인식률을 보이고 있으며 실용화되고 있다.

한편, 최근 국제 사회와의 교류가 전 지구적으로 확대되면서 우리나라에서도 많은 정보와 자원의 해외교류가 활발하게 이루어지고 있으며, 이러한 상황으로 외국의 문서를 접할 기회도 더욱 증가되고 있다. 그러나, 세계 각국의 언어의 종류는 다양하며, 사용자가 외국문서의 언어를 모두 이해하는 데에는 한계가 있기 때문에, 사용자가 모르는 언어라고 하더라도 사용자가 이해할 수 있는 언어로 번역하여 제공하는 자동 번역 시스템에 대한 연구가 활발하게 진행되고 있다.

특히, 최근 대부분의 사람들이 휴대하는 스마트폰의 카메라 기능을 이용하여 좀 더 편리한 방법으로 문자통역을 수행하는 방안들이 제시되고 있다.

본 출원은, 외국어로 기재된 이미지에 대한 번역서비스를 제공할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다.

본 출원은, 문자인식의 오류 발생시 사용자의 필기 입력을 통해 교정할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다.

본 출원은, 사용자의 필기 입력시 인식된 이미지를 함께 표시할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다.

본 발명의 일 실시예에 의한 번역 서비스 제공 방법은, 단말장치에서의 번역서비스 제공 방법에 관한 것으로, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계; 사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계; 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함할 수 있다.

본 발명의 일 실시예에 의한 단말장치는, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성부; 사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시부; 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정부; 및 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역부를 포함할 수 있다.

본 발명의 다른 실시예에 의한 단말장치는, 프로세서; 및 상기 프로세서에 커플링된 메모리를 포함하는 것으로서, 상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고, 상기 하나 이상의 모듈은, 입력된 대상 이미지에 대한 문자인식을 수행하여 대상 문자열을 생성하고 사용자의 요청에 따라 필기 입력기를 표시하며, 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성한 후, 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는, 명령어를 포함할 수 있다.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 의한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 의하면, 외국어를 포함하는 이미지에 대한 번역서비스를 제공할 수 있으며, 이미지에 대한 문자인식의 오류 발생시 사용자의 필기 입력을 통해 용이하게 교정할 수 있다. 즉, 외국어 입력을 위한 별도의 가상 키보드 등을 설치할 필요 없이, 필기 입력기를 활용하여 용이하게 외국문자를 입력할 수 있다.

본 발명의 일 실시예에 의한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 의하면, 필기 입력시 인식된 이미지를 함께 표시하는 것이 가능하다. 즉, 사용자는 필기 입력시 인식된 이미지와 비교할 수 있으므로, 외국문자를 정확하게 입력하여 교정할 수 있다.

다만, 본 발명의 실시예들에 따른 번역 서비스 제공 방법 및 이를 이용하는 단말장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도1은 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템을 나타내는 개략도이다.
도2 및 도3은 본 발명의 일 실시예에 의한 단말장치를 나타내는 블록도이다.
도4는 본 발명의 일 실시예에 의한 대상 이미지 촬영 및 대상영역 설정을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 대상 문자열 생성을 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 필기 입력기를 나타내는 개략도이다.
도7은 본 발명의 일 실시예에 의한 커서의 위치 또는 커서의 선택영역에 따른 크롭 이미지를 나타내는 개략도이다.
도8은 본 발명의 일 실시예에 의한 번역 서비스 제공 방법을 나타내는 순서도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.

또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도1은 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템을 나타내는 개략도이다.

도1을 참조하면 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템은, 단말장치(100) 및 서비스 서버(200)를 포함할 수 있다.

이하, 도1을 참조하여 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템을 설명한다.

단말장치(100)는 다양한 종류의 어플리케이션들을 실행할 수 있으며, 실행 중인 어플리케이션을 시각이나 청각, 촉각 등으로 표시하여 사용자에게 제공할 수 있다. 단말장치(100)는 어플리케이션을 시각적으로 표시하기 위한 디스플레이부를 포함할 수 있으며, 사용자의 입력을 인가받는 입력부, 적어도 하나의 프로그램이 저장된 메모리 및 프로세서를 포함할 수 있다.

단말장치(100)에서 실행되는 어플리케이션에는, 번역서비스를 제공하는 번역 어플리케이션이 포함될 수 있다. 번역 어플리케이션은 사용자가 입력하는 다양한 컨텐츠로부터 번역하고자 하는 대상문자열을 추출할 수 있으며, 추출한 문자열을 지정된 번역언어로 번역하여 번역문자열을 생성할 수 있다. 여기서, 사용자가 입력하는 컨텐츠에는 문자나 음성, 이미지 등이 포함될 수 있다.

예를들어, 사용자가 번역하고자 하는 문자를 입력하는 경우에는, 번역 어플리케이션이 단말장치(100)의 디스플레이부에 가상 키보드를 표시하여 제공할 수 있다. 따라서, 사용자는 가상 키보드를 이용하여 번역하고자 하는 대상문자열을 입력할 수 있다. 이후, 번역 어플리케이션은 수신한 대상문자열을 사용자가 지정한 번역언어로 번역하여 번역문자열을 생성할 수 있다. 이때, 생성된 번역문자열은, 단말장치(100)의 디스플레이부에 표시하거나, 스피커를 통해 출력하는 등의 방식으로 사용자에게 제공할 수 있다.

실시예에 따라서는, 사용자가 외국어로 기재된 인쇄물이나 표지판 등에 대한 번역을 원하는 경우가 있을 수 있다. 이때, 단말장치(100)에 해당 외국어를 입력하기 위한 가상 키보드가 포함되어 있지 않거나, 사용자가 직접 해당 외국어를 전부 입력하기에는 지나치게 많은 양의 문자가 기재되어 있을 수 있다. 이 경우, 사용자는 인쇄물이나 표지판 등을 카메라를 이용하여 촬영한 후, 촬영한 이미지를 번역 어플리케이션에 입력하여 해당 이미지에 대한 번역을 요청할 수 있다. 즉, 번역 어플리케이션은 사용자가 촬영한 이미지 또는 다운로드받은 이미지 등에 대한 문자인식을 수행하여, 해당 이미지에 포함된 대상 문자열을 추출할 수 있으며, 이후 추출한 대상 문자열에 대한 번역을 수행하여 번역문자열을 생성할 수 있다.

추가적으로, 사용자 등의 음성을 번역하고자 하는 경우에는, 번역 어플리케이션이 단말장치(100)의 마이크를 활성화하여, 음성을 수신할 수 있다. 이후, 수신한 사용자의 음성에 대응하는 대상 문자열을 생성하고, 대상 문자열을 번역언어로 번역하여, 번역문자열을 생성할 수 있다.

단말장치(100)는 앱 스토어(App store) 또는 플레이 스토어(Play store) 등에 접속하여, 번역 어플리케이션 등 다양한 어플리케이션들을 다운로드받아 설치할 수 있다. 실시예에 따라서는 서비스 서버(200) 또는 타 기기(미도시)와의 유선 또는 무선 통신을 통하여 다운로드받는 것도 가능하다.

단말장치(100)는 스마트폰, 태블릿 PC 등의 이동 단말기일 수 있으며, 실시예에 따라서는 데스크탑 등의 고정형 장치도 포함될 수 있다. 여기서, 단말장치(100)에는 휴대폰, 스마트 폰(Smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.

한편, 단말장치(100)는 통신 네트워크를 통하여 서비스 서버(200)와 연결될 수 있다. 여기서, 통신 네트워크는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등 다양한 네트워크를 포함할 수 있다. 또한, 통신 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)을 포함할 수도 있다. 다만, 본 발명에 따른 통신 네트워크는 상기 열거된 네트워크에 국한되지 않으며, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유선 또는 무선 텔레비전 네트워크 등을 포함할 수 있다.

서비스 서버(200)는 번역 어플리케이션을 통하여 단말장치(100)와 연결될 수 있으며, 단말장치(100)에게 번역 서비스 등 다양한 서비스를 제공할 수 있다. 실시예에 따라서는, 서비스 서버(200)가 단말장치(100)의 번역요청에 대응하여 번역을 수행하는 것도 가능하다. 즉, 서비스 서버(200)는 수신한 대상 문자열 또는 수정문자열을 지정된 번역언어로 번역할 수 있으며, 번역된 번역문자열을 단말장치(100)로 제공할 수 있다.

도2는 본 발명의 일 실시예에 의한 단말장치를 나타내는 블록도이다.

도2를 참조하면, 본 발명의 일 실시예에 의한 단말장치(100)는, 대상 문자열 생성부(110), 필기 입력기 표시부(120), 수정부(130) 및 번역부(140)를 포함할 수 있다.

이하. 도2를 참조하여 본 발명의 일 실시예에 의한 단말장치를 설명한다.

대상문자열 생성부(110)는, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성할 수 있다. 사용자는 인쇄물이나 표지판 등에 기재된 외국어를 번역하고자 할 수 있으며, 이 경우 사용자는 해당 인쇄물이나 표지판 등을 촬영한 대상 이미지를 대상문자열 생성부(110)로 입력할 수 있다.

실시예에 따라서는, 사용자가 가상 키보드 등을 이용하여 직접 외국어를 입력하는 것도 가능하지만, 단말장치(100)에 해당 외국어에 대응하는 가상 키보드가 구비되어 있지 않거나, 사용자가 직접 입력하기에는 지나치게 많은 양의 문자들이 포함되어 있을 수 있다. 따라서, 사용자는 번역하고자 하는 인쇄물이나 표지판을 촬영하여 대상문자 생성부(110)에 입력할 수 있으며, 대상 문자열 생성부(110)는 대상 이미지로부터 문자인식을 수행하여 외국어로 기재된 문자열을 인식할 수 있다. 이후, 대상 문자열 생성부(110)는 인식한 문자열을 대상 문자열로 생성할 수 있으며, 생성한 대상문자열을 도5(a)에 도시한 바와 같이, 대상문자열 표시창(w1)에 표시할 수 있다.

한편, 도시하지는 않았으나, 번역 어플리케이션에는 카메라 아이콘이 포함될 수 있으며, 사용자가 카메라 아이콘에 입력을 인가하면 도4(a)와 같이 단말장치(100)의 카메라가 활성화될 수 있다. 이후, 사용자는 카메라의 촬영버튼(s)을 터치하여 대상물을 촬영할 수 있으며, 이에 대응하여 대상 이미지(i)를 생성할 수 있다.

이때, 대상문자열 생성부(110)는 생성된 대상 이미지(i)에 문자인식 알고리즘을 적용하여, 대상 이미지(i)에 포함된 문자열을 인식할 수 있다. 즉, 대상 문자열 생성부(110)는 문자인식 알고리즘을 이용하여 대상 이미지에 포함된 문자열을 인식할 수 있으며, 인식한 문자열을 대상 문자열로 생성할 수 있다. 예를들어, 대상 이미지에 대한 픽셀값의 분포를 전기적 신호인 형상패턴으로 표현할 수 있으며, 문자모델 데이터베이스 등에는 각각의 문자에 대응하는 표준형상패턴이 저장되어 있을 수 있다. 대상 문자열 생성부(110)는 입력되는 형상패턴을 문자모델 데이터베이스에 저장된 표준형상패턴과 비교할 수 있으며, 각각의 형상패턴에 대응하는 표준형상패턴을 추출할 수 있다. 이후, 추출한 표준형상패턴에 대응하는 문자로 각각 변환하여 대상 문자열을 생성할 수 있다. 여기서, 문자모델 데이터베이스는 단말장치(100) 또는 서버(200) 등에 구비될 수 있으며, 대상문자열 생성부(110)는 단말장치(100) 또는 서버(200)와 통신을 통하여 문자모델 데이터베이스에 접속할 수 있다.

한편, 사용자는 문자 인식 알고리즘을 통하여 인식할 인식언어를 미리 설정해둘 수 있다. 즉, 대상문자열 생성부(110)가 대상 이미지로부터 대상 문자열을 추출하기 위해서는, 추출할 대상문자열이 어떤 언어로 기재되어 있는지에 대한 정보가 필요할 수 있다. 따라서, 사용자는 대상 이미지로부터 추출할 인식언어를 미리 설정하여, 대상문자열 생성부(110)가 해당 인식언어로 기재된 문자열을 대상 이미지로부터 추출하도록 할 수 있다.

예를들어, 도4의 경우, 사용자는 촬영한 대상 이미지(i)에 포함된 문자열이 일본어에 해당함을 미리 설정할 수 있다. 이 경우 대상문자열 생성부(110)는 대상 이미지에서 일본어에 대한 문자인식을 수행하여, 일본어로 기재된 대상문자열로 생성할 수 있다. 실시예에 따라서는, 대상문자열 생성부(110)가 문자인식을 수행할 때, 스스로 언어감지를 수행하여 대상 이미지에 포함된 문자열에 대응하는 인식언어를 판별한 후, 대상문자열을 생성하는 것도 가능하다. 여기서, 사용자가 대상 이미지(i)에서 대상문자열을 추출할 인식언어와, 대상문자열을 번역할 번역언어를 함께 지정하는 것도 가능하다. 즉, 도4에 도시한 바와 같이, 사용자는 인식언어를 "일본어"로 설정하고, 번역언어를 "한국어"로 설정할 수 있다.

추가적으로, 대상문자열 생성부(110)는 대상 이미지 전체에 대한 문자인식을 수행하여 대상 문자열을 생성할 수 있으나, 실시예에 따라서는 사용자가 지정한 대상영역에 한하여 문자인식을 수행하는 것도 가능하다. 즉, 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정할 수 있으며, 특정된 대상영역 내에서 문자인식을 수행하여 대상문자열을 생성할 수 있다. 이 경우, 문자인식을 위한 연산 등을 줄일 수 있다.

구체적으로, 도4(b)에 도시한 바와 같이, 사용자는 전체 대상 이미지(i) 중에서 번역이 필요한 영역을 드래그(drag)하는 등의 방식으로 대상 이미지(i)의 표면을 문지를 수 있다. 이 경우, 대상 문자열 생성부(110)는 사용자가 문지른 영역을 스캔하여 대상영역(r)으로 설정할 수 있으며, 대상영역(r)에 대해 문자인식을 수행하여 대상 문자열을 생성할 수 있다. 즉, 도4(b)의 경우에는, 대상영역(r)에 포함된 "明太子"에 대한 문자인식을 수행하여, 대상 문자열을 생성할 수 있다.

여기서는, 대상문자열 생성부(110)가 이미지로부터 대상문자열을 생성하는 실시예를 제시하였으나, 실시예에 따라서는 대상문자열 생성부(110)는 사용자가 입력하는 문자열, 음성, 동영상 등 다양한 컨텐츠로부터 대상문자열을 생성하는 것도 가능하다.

필기 입력기 표시부(120)는 사용자의 요청에 따라 필기 입력기를 표시할 수 있다. 실시예에 따라서는 대상문자열을 수정할 필요가 있으며, 이 경우 필기 입력기 표시부(120)는 필기 입력기를 사용자에게 제공하여, 대상문자열을 수정하도록 할 수 있다.

구체적으로, 도5(a)에 도시한 바와 같이, 대상문자열 생성부(110)에서 생성한 대상 문자열은 대상문자열 표시창(w1)에 표시될 수 있으며, 대상 문자열에 대한 번역문자열은 번역문자열 표시창(w2)에 표시될 수 있다. 즉, 사용자는 자신이 번역을 요청한 대상문자열과, 대상문자열에 대한 번역결과인 번역문자열을, 각각 대상문자열 표시창(w1)과 번역문자열 표시창(w2)을 통하여 확인할 수 있다.

이때, 도5(b)와 같이 대상문자열 생성부(110)에서 대상문자열을 잘못 인식하는 경우가 발생할 수 있다. 즉, 사용자가 지정한 대상영역(r)에는 "明太子"가 기재되어 있으나, 인식과정에서 오류 등이 발생하여 대상문자열로 "明太干"을 생성할 수 있다. 여기서, 대상 문자열과 대상영역(r)이 동시에 표시되므로, 사용자는 자신이 선택한 대상영역(r)에 대해 문자인식이 정확하게 수행되었는지 여부를 확인할 수 있다. 또한, 번역문자열 표시창(w2)도 함께 제공되므로, 사용자는 번역문자열을 통하여도 대상문자열의 인식오류를 확인할 수 있다. 즉, 대상문자열을 잘못 인식한 경우, 문맥이나 상황과 전혀 맞지 않는 내용으로 번역될 수 있으므로, 이를 통하여 대상문자열에 대한 인식 오류 등을 파악하는 것도 가능하다.

한편, 대상문자열이 잘못 인식된 경우, 사용자는 대상문자열을 수정하여 정확한 번역결과를 얻고자 할 수 있다. 여기서, 사용자의 단말장치(100)에 일본어 등 외국어에 대응하는 가상 키보드가 구비된 경우에는, 사용자가 이를 이용하여 수정하는 것도 가능하다. 다만, 일반적으로는 단말장치(100)에 모든 외국어에 대응하는 가상 키보드를 구비하고 있지는 않으므로, 가상 키보드를 이용하여 대상문자열을 수정하기에는 어려움이 존재한다.

이를 해결하기 위하여, 필기 입력기 표시부(120)는 가상 키보드 대신에 필기 입력기를 제공할 수 있다. 필기 입력기의 경우, 사용자가 직접 필기 입력으로 해당 문자를 기재하여 입력할 수 있으므로, 간단하게 잘못 인식된 문자를 수정하는 것이 가능하다.

즉, 도5(b)에 도시한 바와 같이, 가상 키보드(k)는 한국어 자판을 제공할 수 있으나, 한국어 자판의 가상 키보드(k)를 이용하여 한자인 "明太子"를 입력하기에는 어려움이 있다. 따라서, 필기 입력기 표시부(120)는, 필기 입력기 아이콘(a)에 대한 사용자의 입력에 대응하여, 도6에 도시한 바와 같이 필기 입력기(n)를 표시할 수 있다. 이 경우, 사용자는 필기 입력기(n)를 이용하여 "明太子"를 입력함으로써, 잘못 인식된 대상 문자열을 수정할 수 있다.

필기 입력기(n)는 사용자가 인가하는 필기 입력을 인식할 수 있으며, 인식한 필기 입력에 대응하는 문자를 생성할 수 있다. 여기서, 필기 입력기 표시부(120)는 대상 이미지(i) 중에서 대상영역(r)을 크롭(crop)하여 생성한 크롭 이미지(c)를 더 포함하여 표시할 수 있다. 즉, 필기 입력기 표시부(120)는 대상 이미지(i) 중에서 대상영역(r)을 잘라낼 수 있으며, 잘라낸 대상영역(r)에 대응하는 이미지인 크롭 이미지(c)를 생성할 수 있다. 이후, 크롭 이미지(c)를 필기 입력기(n)에 더 포함하여 표시함으로써, 사용자의 편의성을 향상시킬 수 있다.

구체적으로, 도6(a)에 도시한 바와 같이, 필기 입력기(n) 내에 크롭 이미지(c)를 오버랩(overlap)하여, 크롭 이미지(c)를 필기 입력기(n)의 배경으로 표시할 수 있다. 이 경우, 사용자는 크롭 이미지(c)를 통하여 자신이 기재할 외국어를 명확하게 인식할 수 있으므로, 해당 외국어를 사전에 알지 못하는 사용자도 용이하게 필기 입력을 통하여 해당 문자를 입력할 수 있다. 여기서, 크롭 이미지(c)는 사용자가 따라 쓰기 쉽도록 이미지 처리를 통하여 가공될 수 있다.

또한, 실시예에 따라서는, 도6(b)에 도시한 바와 같이, 필기 입력기(n)와 구별되는 별도의 위치에 크롭 이미지 표시창을 구비할 수 있으며, 크롭 이미지 표시창 내에 크롭 이미지(c)를 표시하는 것도 가능하다. 즉, 사용자는 크롭 이미지 창을 통하여 크롭 이미지(c)를 명확하게 확인할 수 있으며, 이를 통하여 크롭 이미지(c)에 포함된 문자열을 필기 입력기(n)에 정확하게 입력할 수 있다. 여기서, 크롭 이미지(c)는 이미지 처리 등을 통하여 대상영역(r) 내에 포함된 문자열이 강조될 수 있다. 즉, 크롭 이미지(c)의 명도 또는 채도 등을 조절하거나 투명도를 조절하여, 문자열 이외의 영역은 투명하게 처리하고, 문자열은 진하게 강조할 수 있다.

여기서, 크롭 이미지 표시창은, 사용자 편의를 위하여, 줌인(zoom-in) 또는 줌아웃(zoom-out) 기능을 제공할 수 있다. 즉, 사용자는 크롭 이미지 표시창에 대한 핀치-인(pinch-in) 또는 핀치-아웃(pinch-out) 등의 입력을 인가할 수 있으며, 각각의 사용자의 입력에 대응하여, 크롭 이미지를 줌인(zoom-in) 또는 줌아웃(zoom-out)하여 표시할 수 있다. 실시예에 따라서는, 확대 또는 축소 버튼을 더 포함하는 것도 가능하다. 이를 통하여, 사용자는 크롭 이미지(c)의 크기를 적절히 조절하여 표시할 수 있으며, 표시된 크롭 이미지(c)를 참조하여 필기 입력기(n)에 필기 입력을 인가할 수 있다.

추가적으로, 대상문자열에 포함된 문자의 개수에 따라 크롭 이미지(c)의 표시위치를 변경하는 실시예도 가능하다. 즉, 대상문자열에 포함된 문자의 개수가 설정개수(예를들어, 3개) 이하인 경우에는, 필기 입력기(n) 내에 크롭 이미지(c)를 오버랩하여 표시할 수 있다. 여기서, 대상문자열에 포함된 문자가 설정개수(예를들어, 3개)를 초과하는 경우에는, 필기 입력기(n) 내에 다수의 문자들이 표시되므로, 사용자의 가독성이 떨어질 수 있다. 또한, 사용자가 필기 입력을 인가하는 경우에는, 필기 입력기(n) 내에 사용자의 필기 입력이 표시되므로, 이에 의하여 크롭 이미지(c)가 가려져 표시된 문자를 인식하기 어려운 등의 문제가 발생할 수 있다.

따라서, 대상문자열에 포함된 문자의 개수가 설정개수를 초과하는 경우에는, 필기 입력기(n)와 구별되는 별도의 위치에 구비된 크롭 이미지 표시창 내에 크롭 이미지(c)를 표시할 수 있다. 여기서, 크롭 이미지 표시창의 경우 줌인, 줌아웃 등의 기능을 제공할 수 있으므로, 사용자는 크롭 이미지 표시창을 통하여 다수의 문자들을 효과적을 확인할 수 있으며, 이를 통하여 사용자는 필기 입력기(n)를 통하여 용이하게 필기 입력을 수행할 수 있다.

한편, 필기 입력기 표시부(120)는, 대상 문자열을 표시하는 대상문자열 표시창(w1) 내에 표시되는 커서(cursor)의 위치에 따라, 표시하는 크롭 이미지(c)를 달리할 수 있다. 즉, 커서의 위치에 따라 대상영역을 크롭(crop)하여, 크롭 이미지(c)를 생성할 수 있다.

구체적으로, 도7(a)에 도시한 바와 같이, 커서의 위치가 "太"와 "干"사이에 위치하는 경우, 대상영역(r) 상에서 "太"의 다음에 위치하는 문자인 "子"가 크롭되어 크롭 이미지(c)로 표시될 수 있다. 일반적으로, 커서가 위치하는 지점에 문자가 삽입되므로, 사용자는 "太"의 다음에 위치하는 문자인 "子"를 입력하고자 하는 것으로 볼 수 있다. 따라서, 도7(a)에 도시한 바와 같이, 커서가 "太"와 "干"사이에 위치하는 경우에는, 크롭 이미지(c)로 "子"를 생성하여 표시할 수 있다.

또한, 실시예에 따라서는, 커서에 의해 선택된 선택영역에 따라, 대상영역을 크롭하는 것도 가능하다. 즉, 도7(b)에 도시한 바와 같이, 커서를 이용하여 "干"을 선택하면, 선택영역이 음영으로 표시될 수 있다. 이와 같이, 커서를 이용하여 선택한 선택영역은, 사용자가 수정하고자 하는 영역으로 볼 수 있다. 따라서, 사용자가 커서를 이용하여 선택한 선택영역인 "干"에 대응하는 크롭 이미지(c)인 "子"를 표시할 수 있다.

즉, 대상문자열 내에 표시되는 커서의 위치나, 커서에 의하여 선택된 선택영역에 따라 크롭 이미지(c)가 크롭될 수 있으므로, 사용자가 수정하고자 하는 문자에 대응하는 크롭 이미지(c)를 명확하게 표시하는 것이 가능하다. 따라서, 사용자는 자신이 수정하고자 하는 대상문자열에 대응하는 크롭 이미지(c)를 제공받아, 정확하게 필기 입력을 수행할 수 있다.

수정부(130)는 대상 문자열에 포함된 문자를 편집할 수 있다. 수정부(130)는 사용자의 입력에 대응하여 대상문자열에 문자를 추가, 삭제 또는 변경하는 편집 기능을 수행할 수 있으며, 필기 입력기(n) 또는 가상 키보드(k)를 통하여 사용자의 입력을 수신할 수 있다. 실시예에 따라서는, 수정부(130)가 필기 입력기(n)에 인가되는 사용자의 필기 입력에 대응하는 수정문자를 생성할 수 있으며, 수정문자를 대상 문자열에 추가하여 수정문자열을 생성할 수 있다.

구체적으로, 도5(b)에 도시한 바와 같이, 대상 이미지(i)에 포함된 일본어 문자열 "明太子"를 잘못 인식하여, "明太干"을 대상문자열로 생성한 경우가 존재할 수 있다. 이 경우, 사용자는 가상 키보드(k)를 이용하여 "干"을 삭제할 수 있으며, 이후 크롭 이미지(c)를 참조하여 "子"를 필기 입력기(n)에 필기 입력으로 인가할 수 있다. 이때, 수정부(130)는 필기 입력에 대응하는 "子"를 수정문자로 생성하여 대상문자열에 추가할 수 있으며, 이 경우 대상문자열 표시창(w1)에는 수정된 "明太子"가 표시될 수 있다.

이와 같이, 수정부(140)는 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성할 수 있으며, 수정문자로 대상문자열을 수정하여 수정문자열을 생성할 수 있다.

번역부(140)는 대상 문자열 또는 수정문자열을 지정된 번역언어로 번역하여 번역문자열을 생성할 수 있으며, 이때 번역은 실시간으로 수행될 수 있다. 따라서, 대상 문자열 표시창(w1)에 표시되는 대상문자열이 수정문자열로 수정되면, 번역부(140)는 수정문자열에 대한 번역을 즉시 수행하여, 번역문자열 표시창(w2)에 표시되는 번역문자열을 수정문자열에 대한 번역문자열로 변경하여 표시할 수 있다.

번역부(140)는 번역엔진을 포함할 수 있으며, 번역엔진을 이용하여 대상문자열 또는 수정문자열을 번역언어로 번역할 수 있다. 번역엔진은 통계기반 기계번역 또는 인공신경망 기계번역을 제공하는 것일 수 있으며, 딥러닝(deep learing) 등 머신러닝(machine learing) 방식으로 학습하여 형성한 것일 수 있다.

한편, 실시예에 따라서는, 서비스 서버(200)에서 번역을 수행하는 것도 가능하다. 이 경우, 번역부(140)는 서비스 서버(200)로 대상문자열과 사용자가 지정한 번역언어를 전송하여 번역을 요청할 수 있다. 서비스 서버(200)는 번역엔진을 포함할 수 있으며, 번역엔진을 이용하여 번역을 수행한 후, 번역부(140)로 번역문자열을 제공할 수 있다.

한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 단말장치(100)는, 프로세서(10), 메모리(40) 등의 물리적인 구성을 포함할 수 있으며, 메모리(40) 내에는 프로세서(10)에 의하여 실행되도록 구성되는 하나 이상의 모듈이 포함될 수 있다. 구체적으로, 하나 이상의 모듈에는, 대상문자열 생성모듈, 필기입력기 표시모듈, 수정모듈 및 번역모듈 등이 포함될 수 있다.

프로세서(10)는, 다양한 소프트웨어 프로그램과, 메모리(40)에 저장되어 있는 명령어 집합을 실행하여 여러 기능을 수행하고 데이터를 처리하는 기능을 수행할 수 있다. 주변인터페이스부(30)는, 컴퓨터 장치의 입출력 주변 장치를 프로세서(10), 메모리(40)에 연결할 수 있으며, 메모리 제어기(20)는 프로세서(10)나 컴퓨터 장치의 구성요소가 메모리(40)에 접근하는 경우에, 메모리 액세스를 제어하는 기능을 수행할 수 있다. 실시예에 따라서는, 프로세서(10), 메모리 제어기(20) 및 주변인터페이스부(30)를 단일 칩 상에 구현하거나, 별개의 칩으로 구현할 수 있다.

메모리(40)는 고속 랜덤 액세스 메모리, 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리 등을 포함할 수 있다. 또한, 메모리(40)는 프로세서(10)로부터 떨어져 위치하는 저장장치나, 인터넷 등의 통신 네트워크를 통하여 엑세스되는 네트워크 부착형 저장장치 등을 더 포함할 수 있다.

디스플레이부(50)는 사용자가 시각을 통하여 번역 어플리케이션의 내용을 확인할 수 있도록 표시하는 구성일 수 있다. 예를들어, 디스플레이부(50)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플랙시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등을 이용하여 시각적으로 표시할 수 있다. 다만, 본 발명의 내용은 이에 한정되는 것은 아니며, 이외에도 다양한 방식으로 디스플레이부를 구현할 수 있다. 추가적으로, 디스플레이부(50)에는 스피커 등을 더 포함하여, 사용자가 음성이나 음향 등을 청각적으로 인지하도록 할 수 있다. 나아가, 디스플레이부(50)에 햅틱부 등을 더 포함하여, 촉각을 통하여 컨텐츠를 인지하도록 하는 것도 가능하다. 즉, 디스플레이부(50)는 시각, 청각 및 촉각을 이용하여, 사용자가 인지하도록 할 수 있다.

입력부(60)는 사용자로부터 입력을 인가받는 것으로서, 키보드(keyboard), 키패드(keypad), 마우스(mouse), 터치펜(touch pen), 터치 패드(touch pad), 터치 패널(touch panel), 조그 휠(jog wheel), 조그 스위치(jog switch) 등이 입력부(60)에 해당할 수 있다.

한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 단말장치(100)는, 메모리(40)에 운영체제를 비롯하여, 응용프로그램에 해당하는 대상문자열 생성모듈, 필기입력기 표시모듈, 수정모듈 및 번역모듈 등을 포함할 수 있다. 여기서, 각각의 모듈들은 상술한 기능을 수행하기 위한 명령어의 집합으로, 메모리(40)에 저장될 수 있다.

따라서, 본 발명의 일 실시예에 의한 단말장치(100)는, 프로세서(10)가 메모리(40)에 액세스하여 각각의 모듈에 대응하는 명령어를 실행할 수 있다. 다만, 대상문자열 생성모듈, 필기입력기 표시모듈, 수정모듈 및 번역모듈은 상술한 대상문자열 생성부, 필기입력기 표시부, 수정부 및 번역부에 각각 대응하므로 여기서는 자세한 설명을 생략한다.

도8은 본 발명의 일 실시예에 의한 단말장치를 이용한 번역 서비스 제공 방법을 나타내는 순서도이다.

도8을 참조하면, 본 발명의 일 실시예에 의한 번역 서비스 제공 방법은 대상문자열 생성단계(S10), 필기입력기 표시단계(S20), 수정단계(S30), 및 번역단계(S40)를 포함할 수 있다.

이하, 도8을 참조하여 본 발명의 일 실시예에 의한 번역 서비스 제공 방법을 설명한다.

대상문자열 생성단계(S10)에서는, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성할 수 있다. 사용자는 인쇄물이나 표지판 등에 기재된 외국어를 번역하고자 할 수 있으며, 이 경우 사용자는 해당 인쇄물이나 표지판 등을 촬영한 대상 이미지를 단말장치의 번역 어플리케이션으로 입력할 수 있다. 여기서, 대상문자열 생성단계(S10)에서는, 대상 이미지에 문자인식 알고리즘을 적용하여 대상 이미지에 포함된 문자열을 인식할 수 있으며, 인식한 문자열을 대상 문자열로 추출할 수 있다. 다만, 문자인식 알고리즘에 대하여는 앞서 설명하였으므로, 여기서는 구체적인 설명을 생략한다.

한편, 사용자는 문자 인식 알고리즘을 통하여 인식할 인식언어를 미리 설정해둘 수 있다. 즉, 대상 이미지로부터 대상 문자열을 추출하기 위해서는, 추출할 대상문자열이 어떤 언어로 기재되어 있는지에 대한 정보가 필요할 수 있다. 따라서, 사용자는 대상 이미지로부터 추출할 인식언어를 미리 설정하여, 해당 인식언어로 기재된 문자열을 대상 이미지로부터 추출하도록 할 수 있다. 여기서, 사용자가 대상 이미지에서 대상문자열을 추출할 인식언어와, 대상문자열을 번역할 번역언어를 함께 지정하는 것도 가능하다.

추가적으로, 대상문자열 생성단계(S10)에서는 사용자가 지정한 대상영역에 한하여 문자인식을 수행하도록 할 수 있다. 예를들어, 사용자는 전체 대상 이미지 중에서 번역이 필요한 영역을 드래그(drag)하여 대상 이미지의 표면을 문지를 수 있으며, 사용자가 문지른 영역을 스캔하여 대상영역으로 설정할 수 있다. 이후, 설정된 대상영역에 대해 문자인식을 수행하여, 대상 문자열을 생성할 수 있다. 이 경우, 전체 대상 영역에 대해 문자인식을 수행하는 경우에 비하여, 연산량을 줄일 수 있으므로 보다 신속하게 대상문자열을 생성하는 것이 가능하다.

한편, 대상문자열 생성단계(S10)에서 생성한 대상 문자열은 대상문자열 표시창에 표시될 수 있으며, 대상 문자열에 대한 제1 번역문자열은 번역문자열 표시창에 표시될 수 있다. 도시하지 않았으나, 대상 문자열이 생성되면 단말장치는 제1 번역단계(미도시)를 수행할 수 있으며, 제1 번역단계를 통하여 생성된 제1 번역문자열이 번역문자열 표시창에 표시될 수 있다. 여기서, 제1 번역문자열은 대상문자열을 지정된 번역언어로 번역하여 생성할 수 있다. 즉, 사용자는 자신이 번역을 요청한 대상문자열과, 대상문자열에 대한 번역결과인 제1 번역문자열을, 각각 대상문자열 표시창과 번역문자열 표시창을 통하여 확인할 수 있다.

이때, 대상문자열 생성단계(S10)에서 대상문자열을 잘못 인식하는 경우가 발생할 수 있다. 다만, 대상 문자열과 대상영역이 동시에 표시되므로, 사용자는 자신이 선택한 대상영역에 대해 문자인식이 정확하게 수행되었는지 여부를 확인할 수 있다.

한편, 대상문자열이 잘못 인식된 경우, 사용자는 대상문자열을 수정하여 정확한 번역결과를 얻고자 할 수 있다. 여기서, 사용자의 단말장치에 외국어에 대응하는 가상 키보드가 구비된 경우에는, 사용자가 이를 이용하여 직접 수정하는 것도 가능하다. 다만, 일반적으로는 단말장치에 모든 외국어에 대응하는 가상 키보드를 구비하고 있지는 않으므로, 가상 키보드를 이용하여 대상문자열을 수정하기에는 어려움이 있다.

이를 해결하기 위하여, 필기 입력기 표시단계(S20)에서는 가상 키보드 대신에 필기 입력기를 제공할 수 있다. 즉, 필기입력기 표시단계(S20)에서는, 사용자의 요청에 따라 필기 입력기를 표시할 수 있다. 필기 입력기의 경우, 사용자가 직접 필기 입력으로 해당 문자를 기재하여 입력할 수 있으므로, 간단하게 잘못 인식된 문자를 수정하는 것이 가능하다.

필기 입력기는 사용자가 인가하는 필기 입력을 인식할 수 있으며, 인식한 필기 입력에 대응하는 문자를 생성할 수 있다. 여기서, 필기 입력기 표시단계(S20)에서는, 대상 이미지 중에서 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시할 수 있다.

구체적으로, 필기 입력기 내에 크롭 이미지를 오버랩(overlap)하여, 크롭 이미지를 필기 입력기의 배경으로 표시할 수 있다. 이 경우, 사용자는 크롭 이미지를 통하여 자신이 기재할 외국어를 명확하게 인식할 수 있으므로, 해당 외국어를 사전에 알지 못하는 사용자도 용이하게 필기 입력을 통하여 해당 문자를 입력할 수 있다.

또한, 실시예에 따라서는, 필기 입력기와 구별되는 별도의 위치에 크롭 이미지 표시창을 구비할 수 있으며, 크롭 이미지 표시창 내에 크롭 이미지를 표시하는 것도 가능하다. 즉, 사용자는 크롭 이미지 창을 통하여 크롭 이미지를 명확하게 확인할 수 있으며, 이를 통하여 크롭 이미지에 포함된 문자열을 필기 입력기에 정확하게 입력할 수 있다. 여기서, 크롭 이미지는 이미지 처리 등을 통하여 대상영역 내에 포함된 문자열이 강조될 수 있다. 즉, 크롭 이미지의 명도 또는 채도 등을 조절하거나 투명도를 조절하여, 문자열 이외의 영역은 투명하게 처리하고, 문자열을 진하게 강조할 수 있다.

여기서, 크롭 이미지 표시창은, 사용자 편의를 위하여, 줌인(zoom-in) 또는 줌아웃(zoom-out) 기능을 제공할 수 있다. 즉, 사용자는 크롭 이미지 표시창에 대한 핀치-인(pinch-in) 또는 핀치-아웃(pinch-out) 등의 입력을 인가할 수 있으며, 각각의 사용자의 입력에 대응하여, 크롭 이미지를 줌인(zoom-in) 또는 줌아웃(zoom-out)하여 표시할 수 있다. 이를 통하여, 사용자는 크롭 이미지의 크기를 적절히 조절하여 표시할 수 있으며, 표시된 크롭 이미지를 참조하여 필기 입력기에 필기 입력을 인가할 수 있다.

추가적으로, 대상문자열에 포함된 문자의 개수에 따라 크롭 이미지의 표시위치를 변경하도록 설정하는 것도 가능하다. 즉, 대상문자열에 포함된 문자의 개수가 설정개수(예를들어, 3개) 이하인 경우에는, 필기 입력기 내에 크롭 이미지를 오버랩하여 표시하고, 대상문자열에 포함된 문자의 개수가 설정개수를 초과하는 경우에는, 필기 입력기와 구별되는 별도의 위치에 구비된 크롭 이미지 표시창 내에 크롭 이미지를 표시할 수 있다.

한편, 필기 입력기 표시단계(S20)에서는, 대상 문자열을 표시하는 대상문자열 표시창 내에 표시되는 커서(cursor)의 위치나, 커서에 의해 선택된 선택영역에 따라, 표시하는 크롭 이미지를 달리할 수 있다. 즉, 커서의 위치나, 커서에 의해 선택된 선택영역에 따라 대상영역을 크롭(crop)하여, 크롭 이미지를 생성할 수 있다. 이 경우, 사용자가 수정하고자 하는 문자에 대응하는 크롭 이미지만을 명확하게 표시할 수 있으므로, 사용자는 정확하게 필기 입력을 수행할 수 있다.

수정단계(S30)에서는, 사용자의 입력에 대응하여 대상문자열에 문자를 추가, 삭제 또는 변경할 수 있다. 구체적으로, 수정단계(S30)에서는 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 수정문자로 대상 문자열을 수정하여 수정문자열을 생성할 수 있다. 실시예에 따라서는, 사용자가 가상 키보드에 인가하는 입력에 대응하여, 대상문자열을 편집하는 것도 가능하다.

번역단계(S40)에서는, 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성할 수 있다. 여기서, 번역은 실시간으로 수행되어 사용자에게 제공될 수 있다. 번역단계(S40)에서는 번역엔진을 이용하여 수정문자열을 번역언어로 번역할 수 있으며, 번역엔진은 통계기반 기계번역 또는 인공신경망 기계번역을 제공하는 것일 수 있다. 실시예에 따라서는, 번역엔진을 딥러닝(deep learing) 등 머신러닝(machine learing) 방식으로 학습하여 형성할 수 있다.

또한, 실시예에 따라서는, 서비스 서버에서 번역을 수행하는 것도 가능하다. 이 경우, 번역단계(S40)에서는 번역서버로 대상문자열을 전송하여 번역을 요청하고, 번역서버로부터 번역언어로 번역된 번역문자열을 수신할 수 있다. 여기서, 서비스 서버에는 번역엔진이 포함될 수 있으며, 서비스 서버는 번역엔진을 이용하여 번역을 수행할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

10: 프로세서 20: 메모리 제어부
30: 주변인터페이스부 40: 메모리
100: 단말장치 110: 대상 문자열 생성부
120: 필기 입력기 표시부 130: 수정부
140: 번역부 200: 서비스 서버
S10: 대상 문자열 생성단계 S20: 필기 입력기 표시단계
S30: 수정단계 S40: 번역단계

Claims (17)

1. 단말장치의 번역서비스 제공 방법에 있어서,
   입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계;
   사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계;
   상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및
   상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함하는 단말장치의 번역 서비스 제공 방법.
   
2. 제1항에 있어서, 상기 대상 문자열 생성단계는
   사용자로부터 입력받은 인식언어를 이용하여, 상기 대상 이미지에 대한 문자인식을 수행하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
3. 제1항에 있어서, 상기 대상 문자열 생성 단계는
   상기 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정하고, 상기 대상영역 내에서 상기 문자인식을 수행하여 상기 대상문자열을 생성하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
4. 제3항에 있어서, 상기 대상 문자열 생성 단계는
   상기 대상 이미지 중에서 사용자가 드래그(drag)하여 상기 대상 이미지 표면을 문지른 영역을 스캔하여, 상기 대상영역으로 설정하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
5. 제1항에 있어서,
   상기 대상 문자열이 생성되면, 상기 대상문자열을 상기 번역언어로 번역하여 제1 번역문자열을 생성하는 제1 번역단계를 더 포함하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
6. 제3항에 있어서, 상기 필기 입력기 표시단계는
   상기 대상 이미지 중에서 상기 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
7. 제6항에 있어서, 상기 필기 입력기 표시단계는
   상기 필기 입력기 내에 상기 크롭 이미지를 오버랩(overlap)하여, 상기 크롭 이미지를 상기 필기 입력기의 배경에 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
8. 제6항에 있어서, 상기 필기 입력기 표시단계는
   상기 필기 입력기와 구별되는 위치에 구비된 크롭 이미지 표시창 내에 상기 크롭 이미지를 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
9. 제8항에 있어서, 상기 필기 입력기 표시단계는
   상기 크롭 이미지 표시창에 대한 사용자의 입력에 대응하여, 상기 크롭 이미지를 줌인(zoom-in) 또는 줌아웃(zoom-out)하여 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
   
10. 제6항에 있어서, 상기 필기 입력기 표시단계는
    상기 대상문자열에 포함된 문자의 개수가 설정개수 이하면 상기 필기 입력기 내에 상기 크롭 이미지를 오버랩하여 표시하고, 상기 대상문자열에 포함된 문자의 개수가 설정개수를 초과하면 상기 필기 입력기와 구별되는 위치에 구비된 크롭 이미지 표시창 내에 상기 크롭 이미지를 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
    
11. 제6항에 있어서, 상기 필기 입력기 표시단계는
    상기 대상 문자열을 표시하는 대상문자열 표시창 내에 표시되는 커서(cursor)의 위치, 또는 상기 커서에 의해 선택된 선택영역에 따라, 상기 대상영역을 크롭하여 상기 크롭 이미지를 생성하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
    
12. 제1항에 있어서, 상기 수정단계는
    상기 필기 입력기를 이용하여, 상기 대상 문자열 중 적어도 일부를 추가, 삭제 또는 변경하는 편집기능을 제공하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
    
13. 제1항에 있어서, 상기 번역단계는
    상기 수정문자열이 입력되면, 실시간으로 번역하여 상기 번역문자열을 생성하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
    
14. 제1항에 있어서, 상기 번역단계는
    번역서버로 상기 대상문자열을 전송하여 번역을 요청하고, 상기 번역서버로부터 상기 번역언어로 번역된 번역문자열을 수신하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
    
15. 하드웨어와 결합되어 제1항 내지 제14항 중 어느 한 항의 번역 서비스 제공 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램.
    
16. 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성부;
    사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시부;
    상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정부; 및
    상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역부를 포함하는 단말장치.
    
17. 프로세서; 및
    상기 프로세서에 커플링된 메모리를 포함하는 것으로서,
    상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고,
    상기 하나 이상의 모듈은,
    입력된 대상 이미지에 대한 문자인식을 수행하여 대상 문자열을 생성하고
    사용자의 요청에 따라 필기 입력기를 표시하며,
    상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성한 후,
    상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는,
    명령어를 포함하는 단말장치.

Images