KR20160118198A - 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기 - Google Patents

실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기 Download PDF

Info

Publication number
KR20160118198A
KR20160118198A KR1020160127031A KR20160127031A KR20160118198A KR 20160118198 A KR20160118198 A KR 20160118198A KR 1020160127031 A KR1020160127031 A KR 1020160127031A KR 20160127031 A KR20160127031 A KR 20160127031A KR 20160118198 A KR20160118198 A KR 20160118198A
Authority
KR
South Korea
Prior art keywords
character
translation
translated
word
image
Prior art date
Application number
KR1020160127031A
Other languages
English (en)
Inventor
서나미
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020160127031A priority Critical patent/KR20160118198A/ko
Publication of KR20160118198A publication Critical patent/KR20160118198A/ko

Links

Images

Classifications

    • G06F17/289—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G06F17/2217—
    • G06F17/2735—
    • G06F17/30047—
    • G06F17/30194—
    • G06F17/30386—
    • G06K9/3258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Abstract

본 발명은 사용자의 휴대폰, PDA(Personal Digital Assistant), 스마트 폰 등에 설치된 카메라를 이용하여 촬영한 외국문서의 이미지로부터 번역할 문자를 추출하고 추출한 문자를 기 저장된 사전 데이터와 비교하여 문자의 의미를 인식하며, 인식한 의미를 사용자의 언어로 번역하여 표시하는 실시간 자동번역 장치, 실시간 자동번역이 가능한 단말기 및 그 실시간 자동번역 방법에 관한 것이다.

Description

실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기{REAL TIME AUTO TRANSLATION SYSTEM AND METHOD, TERMINAL CAPABLE OF REAL TIME TRANSLATING}
본 발명은 실시간 자동 번역에 관한 것으로서, 더욱 상세하게는 사용자의 휴대폰, PDA(Personal Digital Assistant), 스마트 폰 등에 설치된 카메라를 이용하여 촬영한 외국문서의 이미지로부터 번역할 문자를 추출하고 추출한 문자를 기 저장된 사전 데이터와 비교하여 문자의 의미를 인식하며, 인식한 의미를 사용자의 언어로 번역하여 표시하는 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기에 관한 것이다.
최근, 국제 사회와의 교류가 전 지구적으로 확대되면서 우리나라에서도 많은 정보와 자원의 해외교류가 활발하게 이루어지고 있으며, 이러한 상황으로 외국의 문서를 접할 기회도 더욱 증가되고 있다.
그런데, 세계 각국의 언어의 종류는 다양하며, 사용자가 외국문서의 언어를 모두 이해하는 데에는 한계가 있기 때문에, 자동 번역 기술을 활용하여 사용자가 모르는 언어라고 하더라도 사용자가 이해할 수 있는 언어로 번역하여 제공하는 자동 번역 시스템에 대한 연구가 활발하게 진행되고 있다.
자동 번역 기술은 한 언어를 다른 언어로 자동으로 전환해주는 소프트웨어적 기술을 의미한다. 이러한 기술은 20세기 중반부터 미국에서 군사적인 목적으로 연구가 시작되었으며, 지금은 세계적으로 정보접근범위의 확대와 휴먼인터페이스의 혁신을 목적으로 다수의 연구소와 민간기업에서 활발히 연구 중이다.
이와 같은 자동 번역 기술은 컴퓨터 및 네트워크 기술과 접목되어 활용되고 있으며, 이에 따라 특정의 문서 파일 또는 웹 페이지를 사용자가 지정한 언어로 번역하는 서비스도 제공되고 있다. 이러한 자동 번역 기술을 활용하는 용도는 사용자에 따라 다양할 수 있다. 예를 들어, 일반 보고서에 대한 번역 서비스에 활용하거나, 외국 친구들과 채팅하는 서비스 등에 활용할 수 있다.
그런데, 일반적인 자동 번역 기술은 사용자가 컴퓨터나 네트워크를 통해 외국문서를 접한 경우 직접 외국문서를 사용자의 컴퓨터에 저장된 자동 번역 프로그램이나 네트워크상에 연결된 자동 번역기에 입력하여야 사용자가 이해할 수 있는 언어로 번역할 수 있다는 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 사용자의 단말기를 통해 외국문서를 촬영하기만 하면, 촬영한 외국문서의 이미지로부터 번역할 문자를 추출하고 추출한 문자를 기 저장된 사전 데이터와 비교하여 문자의 의미를 인식하며, 인식한 후에는 해당 의미를 사용자의 언어로 번역하여 표시하는 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기를 제공하는 데 그 목적이 있다.
이를 위하여 본 발명의 제1 측면에 따르면, 본 발명의 실시간 자동번역 장치는, 적어도 한 종류의 언어 사전을 저장하는 언어사전 저장부; 네트워크 기반의 사용자 단말기로부터 번역할 문서 이미지를 수신하는 이미지 수신부; 수신한 문서 이미지에서 번역할 문자를 인식하여 추출하는 문자 추출부; 추출한 문자를 상기 언어 사전의 단어항목과 비교하여 매칭되는 단어를 검색하는 단어 검색부; 및 검색한 단어에 해당하는 의미를 상기 언어 사전으로부터 추출하여 상기 사용자 단말기로 전송하는 번역 전송부를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 본 발명의 실시간 자동번역이 가능한 단말기는, 번역할 문서의 이미지를 촬영하는 이미지 촬영부; 상기 이미지 촬영부에서 촬영한 문서 이미지에서 번역할 문자를 인식하여 추출하는 문자 추출부; 상기 문자 추출부를 통해 추출한 문자를 번역할 언어 사전의 단어항목과 비교하여 매칭되는 단어를 검색하고 검색한 단어에 해당하는 번역 의미를 추출하는 단어 검색부; 및 상기 단어 검색부에서 추출한 번역 의미를 상기 문서 이미지 상의 해당 문자와 대응하는 위치 좌표에 표시하는 번역 표시부를 포함하는 것을 특징으로 한다.
본 발명의 제3 측면에 따르면, 본 발명에 따른 실시간 자동번역 장치에서의 실시간 자동번역 방법은, 네트워크 기반의 사용자 단말기로부터 번역할 문서에 대한 촬영 이미지를 수신하는 단계; 수신한 문서 이미지로부터 번역할 문자를 추출하는 단계; 추출한 문자를 기 저장된 언어 사전의 단어항목과 비교하여 매칭되는 단어를 검색하는 단계; 및 상기 매칭되는 단어에 해당하는 번역 의미를 상기 언어 사전으로부터 추출하여 상기 사용자 단말기로 전송하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 제4 측면에 따르면, 본 발명에 따른 단말기에서의 실시간 자동번역 방법은, 번역할 문서의 이미지를 촬영하는 단계; 촬영한 문서 이미지에서 번역할 문자를 추출하는 단계; 추출한 문자를 기 저장된 언어 사전의 단어항목과 비교하여 매칭되는 단어를 검색하는 단계; 및 상기 매칭되는 단어에 해당하는 번역 의미를 상기 언어 사전으로부터 추출하여 상기 문서 이미지 상에 중첩하여 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 사용자의 단말기를 통해 번역할 문서를 촬영하면 촬영한 이미지로부터 문자를 추출하여 실시간 자동 번역해 줌으로써 사용자가 직접 번역할 문자를 입력할 필요가 없어 사용자의 편의성을 극대화한 효과를 제공한다.
또한, 자동 번역 시스템의 활용도를 높이고, 이미지 상에서 번역할 문자를 선택하면 실시간으로 사용자가 이해할 수 있는 언어로 표시해 줌으로써 직관적인 결과물을 제공 받을 수 있는 효과가 있다.
도 1은 본 발명에 따른 실시간 자동번역 시스템의 구성을 나타낸 도면이다.
도 2는 도 1의 실시간 자동번역 장치의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 실시간 자동번역이 가능한 단말기의 구성을 나타낸 도면이다.
도 4는 본 발명에 따른 실시간 자동번역 방법을 나타낸 흐름도이다.
도 5는 촬영된 이미지의 예를 보인 도면이다.
도 6은 도 5의 촬영된 이미지 중 번역할 문자를 지정하는 예를 보인 도면이다.
도 7은 도 5의 촬영된 이미지에 대해 번역언어가 표시되는 예를 보인 도면이다.
도 8은 도 6의 지정된 문자에 대해 번역언어가 표시되는 예를 보인 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명에 따른 실시간 자동번역 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 실시간 자동번역 장치를 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 실시간 자동번역 시스템은 사용자 단말기(100)와, 통신망(300)을 통해 사용자 단말기(100)와 연계되어 실시간 번역 서비스를 제공하는 실시간 자동번역 장치(200)를 포함할 수 있다.
사용자 단말기(100)는 번역할 문서를 통신망(300)을 통해 실시간 자동번역 장치(100)에 제공하여 실시간 번역 서비스를 요청하고, 요청한 문서에 대하여 실시간 자동번역 장치(200)로부터 번역어를 제공받아 화면에 표시한다.
이러한 사용자 단말기(100)는 외국 문서의 이미지를 촬영하는 이미지 촬영부(110)를 포함할 수 있다.
본 발명에서, 사용자 단말기(100)는 통신망(300)을 통해 실시간 자동번역 장치(200)와 통신이 가능하고 이미지 촬영이 가능한 단말이라면 어떠한 종류의 단말도 포함할 수 있다. 예를 들어, 이동 단말기, PDA, 노트북, 네비게이션, PMP, 스마트 폰, 전자사전 및 MP3 등을 포함할 수 있다.
통신망(300)은 사용자 단말기(100)와 실시간 자동번역 장치(200)가 상호 유무선으로 통신할 수 있도록 통신 서비스를 제공하는 네트워크를 말한다. 즉, 통신망(300)은 유선 인터넷 망일 수 있으며, 이동 통신망(CDMA, W-CDMA 등)을 통해 연결되는 무선 데이터망(인터넷 망, IMS 등), 또는 Wi-Fi를 통해 연결되는 인터넷 망 등을 포함할 수 있다. 구체적으로, CDMA 망의 경우 PDSN(Packet Data Serving Node)을 통해 데이터망에 접속될 수 있고, W-CDMA 망의 경우 GGSN(Gateway GPRS Support Node)을 통해 데이터망에 접속될 수 있다. 또한 핫스팟(Hot-Spot) 등의 지역에서는 Wi-Fi 등의 근거리 통신을 통해 인터넷 망에 접속될 수 있다.
실시간 자동번역 장치(200)는 통신망(300)을 통하여 사용자 단말기(100)로부터 번역할 문서의 이미지를 수신하고, 수신한 이미지로부터 문자를 추출하여 추출한 문자에 대하여 자동 번역을 수행한다.
이러한 실시간 자동번역 장치(200)는 구체적으로 도 2와 같이 구성된다.
도 2를 참조하면, 실시간 자동번역 장치(200)는 언어사전 저장부(210), 이미지 수신부(220), 문자 추출부(230), 단어 검색부(240), 번역 전송부(250), 를 포함한다.
언어사전 저장부(210)는 영어, 중국어, 일본어 등과 같은 적어도 한 종류의 언어 사전을 저장한다. 이때, 언어사전 저장부(210)는 언어사전을 단어 항목과 번역 의미 항목으로 분류하여 저장한다. 예를 들어, 중국어의 경우, 중국어 단어와 그에 대응하는 한국어 의미를 분류하여 저장한다.
이미지 수신부(220)는 통신망(300)을 통해 사용자 단말기(100)로부터 외국 문서에 대한 촬영 이미지(이하, 문서 이미지)를 수신한다.
문자 추출부(230)는 문서 이미지에 포함되어 있는 문자를 인식하여 추출한다. 이때, 문자 추출부(230)는 광학식 문자 판독기(Optical Character Reader: 이하 OCR)를 이용하여 문자를 추출할 수 있다. 즉, OCR은 문서에 새겨진 문자를 빛을 이용하여 판독하는 장치로서, 손으로 쓴 글씨를 판독하는 장치는 드물고, 주로 특정 형태의 타이핑된 숫자나 영어, 일본어, 중국어, 한글 등과 같은 문자를 판독하는 것이 일반적이다. 원리적으로는 1자를 수십 개의 모눈으로 분할하여 특정의 모눈의 흑백 또는 자획 형상의 특징에 의해 문자를 판독한다.
여기서, 문자 추출부(230)에 의해 추출 가능한 문자는 소정 작성기에 의해 타이핑된 숫자나 문자에 한정되는 것은 아니며, 임의의 활자에 의한 문자 또는 자유롭게 손으로 씌여진 문자까지도 촬영 이미지를 통해 추출할 수 있다.
단어 검색부(240)는 문자 추출부(230)에서 추출한 문자를 언어사전 저장부(210)에 저장된 언어사전의 단어항목과 비교하여 매칭되는 단어를 검색한다.
또한, 단어 검색부(240)는 사용자가 번역하고자 하는 언어를 선택할 수 있도록 구현될 수 있으며, 이 경우 단어 검색부(240)는 언어사전 저장부(210)로부터 사용자가 선택한 언어사전에 근거하여 단어를 검색할 수 있다.
상기한 검색을 통해 매칭되는 단어가 검색되면 단어 검색부(240)는 검색된 단어의 번역 의미를 언어사전 저장부(120)에 저장된 언어사전으로부터 추출한다.
번역 전송부(250)는 단어 검색부(240)에서 검색된 단어와 단어의 번역 의미를 통신망(300)을 통해 사용자 단말기(100)로 전송한다.
그러면, 사용자 단말기(100)는 이미지 촬영부(110)를 통해 촬영한 문서 이미지 상에서 해당 문자가 위치한 위치 좌표에 해당 번역 의미를 중첩하여 표시함으로써 이미지 촬영을 통해 실시간으로 번역 결과를 제공한다.
이처럼, 본 발명에 따른 실시간 자동번역 시스템은 사용자 단말기에서 번역할 문서에 대한 이미지를 촬영하고 촬영한 이미지에 대하여 실시간 자동번역 장치에서 번역을 수행하여 번역 결과를 통신망을 통해 사용자 단말기로 제공해 준다. 즉, 네트워크를 기반으로 실시간 자동 번역 서비스를 구현하고자 한다.
한편, 도 3은 본 발명에 따른 실시간 자동번역이 가능한 단말기의 구성을 나타낸 도면으로, 실시간 자동번역 시스템에서 구현하였던 실시간 자동 번역 서비스를 네트워크와 연동하지 않고 단말 자체 구동만으로 구현하는 자립형(STAND-ALONE) 형태를 도시하고 있다.
본 발명에 따른 단말기(100)는 기본적으로 이미지 촬영부(110), 언어사전 저장부(120), 문자 추출부(130), 단어 검색부(140), 번역 표시부(150), 문자 지정부(160)를 포함한다.
그리고, 추가적으로 네트워크 기반의 번역 장치와 연계하여 폭넓은 언어사전을 제공하기 위해 전송부(170), 번역언어 수신부(180)를 더 포함할 수 있다. 또한, 단말기(100)는 조사 식별부(도시하지 않음) 및 문장 구성부(도시하지 않음)를 더 포함할 수 있다.
이미지 촬영부(110)는 오프라인 상의 번역 문서를 촬영하여 문서의 이미지를 생성한다. 이러한 이미지 촬영부(110)는 단말기(100)에 구비되는 CCD(Charge Coupled Device), 화상 캠(CAM) 등을 이용하거나 또는 별도의 카메라를 이용할 수 있다.
언어사전 저장부(120)는 영어, 중국어, 일본어 등과 같은 적어도 한 종류의 언어사전을 저장한다. 이때, 언어사전 저장부(120)는 언어사전을 단어 항목과 번역 의미 항목으로 분류하여 저장한다.
언어사전 저장부(120)는 단말기(100)의 로컬 디바이스에 설치되어 네트워크 기반 통신망을 접속할 필요없이 기저장된 언어사전을 제공하는 것이 우선적이나, 대용량의 언어사전을 모두 수용하기 위해 외부 메모리 장치(USB, CD, 외장 하드 등)를 통해서도 제공할 수 있다. 또한, 네트워크 기반의 번역 장치에 접속하여 이를 통해 제공하는 형태도 가능할 것이다.
문자 추출부(130)는 이미지 촬영부(110)를 통해 촬영한 문서 이미지에서 번역할 문자를 인식하여 추출한다. 이와 같은 문자 추출은 전술한 바와 같이 OCR을 통해 이루어질 수 있다.
단어 검색부(140)는 문자 추출부(130)에서 추출한 문자를 언어사전 저장부(120)에 저장된 언어사전의 단어항목과 비교하여 매칭되는 단어를 검색한다. 검색을 통해 매칭되는 단어가 검색되면 단어 검색부(140)는 검색한 단어의 번역 의미를 언어사전으로부터 추출한다.
번역 표시부(150)는 단어 검색부(140)에서 검색한 단어와 단어의 번역 의미를 문서 이미지 상에 표시한다. 특히, 문서 이미지 상에서 해당 문자가 위치한 위치 좌표 상에 중첩하여 표시할 수 있다.
전송부(170)는 추가적인 구성으로, 언어사전 저장부(120)로부터 추출한 문자와 매칭되는 단어가 검색되지 않은 경우, 추출한 문자를 네트워크 기반의 실시간 자동번역 장치(도시하지 않음)로 전송한다. 실시간 자동번역 장치는 통신망을 통해 실시간 번역 서비스를 제공하는 서버 또는 웹사이트의 수단일 수 있다. 이 경우, 전송부(170)는 통신망을 통해 실시간 자동번역 장치에 액세스할 수 있는 URL(Uniform Resource Locator) 정보, IP(Internet Protocol) 주소 등을 저장해 두었다가, 언어사전 저장부(120)를 통해 번역할 문자와 매칭되는 단어가 검색되지 않을 경우 자동으로 실시간 자동번역 장치에 연결하도록 구현할 수 있다.
번역언어 수신부(180)는 실시간 자동번역 장치로부터 번역 결과를 수신한다. 즉, 번역언어 수신부(180)는 문자 추출부(130)에 의해 추출한 문자에 대하여 실시간 자동번역 장치로부터 해당 문자와 대응하는 번역 의미를 수신한다.
또한, 추가적인 구성으로 조사 식별부(도시하지 않음)는 문자 추출부(130)를 통해 추출한 문자에서 '~은(는) ', '~이(가) ', '~을(를) ' 등과 같은 조사를 식별한다.
문장 구성부(도시하지 않음)는 단어 검색부(140)에서 검색한 단어들을 조사 식별부(190)를 통해 식별한 조사에 기초하여 조합함으로써 문장을 구성한다. 문장 구성부는 조사 삭별부를 통해 식별한 조사에 기초하여 주어, 목적어, 동사 등 추출한 문자의 품사를 식별할 수 있으며, 이에 따라 검색된 각각의 단어를 조합하여 문장을 구성할 수 있다. 이의 구성은 번역 기술에서 공지된 기술이므로 상세한 구성은 생략하기로 한다.
그럼, 이하에서는 상기의 단말기 및 시스템을 이용하여 실시간 자동번역 서비스를 제공하는 방법에 대하여 설명한다.
본 발명의 실시간 자동번역 서비스 방법은 네트워크를 기반으로 구현하는 방식과 단말 자체 구동으로 구현하는 방식 2가지가 있다.
도 4는 단말기에서의 실시간 자동번역 방법을 나타낸 흐름도이다.
도 3 및 도 4를 참조하면, 단말기는 이미지 촬영부(110)를 통해 번역할 문서의 이미지를 촬영한다(S10). 예를 들어, 사용자는 도 5에 도시한 바와 같이 중국어로 표시된 음식의 메뉴를 촬영할 수 있다.
이후, 단말기는 문자 추출부(130)를 이용하여 문자 지정부(160)에서 이미지 촬영부(110)를 통해 촬영한 문서 이미지로부터 문자를 인식하여 추출한다(S30). 문자 추출은 OCR을 이용하여 문자를 인식할 수 있다.
필요에 따라 이미지 촬영부(110)를 통해 촬영한 문서 이미지로부터 번역할 문자를 사용자가 지정할 수 있다. 예를 들어, 이미지 촬영부(110)를 통해 촬영한 문서 이미지 상에서 사용자가 임의의 영역을 드래그하여 번역할 영역을 지정하거나, 또는 문서 이미지 상에서 번역할 문자로 커서를 이동시키고 선택하면 커서의 위치로부터 소정 범위 내의 문자가 지정될 수 있다. 도 6은 도 5의 촬영 이미지에서 번역할 문자를 지정하는 예를 보여주고 있다.
이후, 단말기의 단어 검색부(140)에서 문자 추출부(130)를 통해 추출한 문자를 언어사전 저장부(120)에 저장된 언어사전의 단어항목과 비교하여 매칭되는 단어를 검색한다(S40). 이때, 사용자가 번역하고자 하는 언어를 선정할 수 있고, 단어 검색부(140)는 사용자가 선택한 언어에 대응하는 언어사전에 근거하여 단어를 검색할 수 있다.
검색을 통해 언어사전으로부터 매칭되는 단어가 검색되면(S50), 단어 검색부(140)는 검색한 단어에 대응하는 번역 의미를 추출하여 번역 표시부(150)로 전달한다.
번역 표시부(150)는 단어 검색부(140)로부터 전달 받은 번역 의미를 촬영 화면의 문서 이미지 상에서 해당 문자와 대응하는 위치에 표시한다(S60). 도 7은 도 5의 문서 이미지에 대하여 언어사전 매칭되는 단어의 번역 의미가 표시되는 예를 나타낸 것이며, 도 8은 도 6의 지정된 문자에 대응하는 의미가 표시되는 예를 나타낸 것이다.
한편, 상기의 검색 과정을 통해 언어사전으로부터 매칭되는 단어가 검색되지 않으면, 전송부(170)에서 문서 이미지로부터 추출한 문자를 네트워크 기반의 실시간 자동번역 장치(도시하지 않음)로 전송할 수 있다(S70).
이후, 번역언어 수신부(180)에서 실시간 자동번역 장치에서 검색한 번역 결과를 수신하여 문서 이미지의 해당 문자가 위치한 위치에 대응하여 표시할 수 있다(S80).
한편, 네트워크를 기반으로 구현하는 방식에 있어서의 실시간 자동번역 방법은, 사용자 단말기에서 번역할 문서의 이미지를 촬영하고 촬영한 이미지의 번역을 네트워크 기반의 실시간 자동번역 장치로 요청하면 실시간 자동번역 장치에서 문서 이미지로부터 문자를 인식하여 자동 번역하고 번역한 결과를 네트워크 기반의 사용자 단말기로 제공하는 구성을 기반으로 한다.
따라서, 실시간 자동번역 장치에서 문자를 인식하고 인식한 문자와 매핑되는 단어를 언어사전으로부터 검색하여 번역언어를 추출하는 전 과정은 단말기에서의 과정과 동일하다.
다만, 단말기에서의 실시간 자동번역 방법과 다른 방법으로는, 실시간 자동번역 장치에서 문서 이미지로부터 번역할 문자를 추출하는 단계 전에 사용자 단말기로부터 문서 이미지를 수신하는 단계를 포함하고, 단어 검색을 통해 번역 결과를 추출하면 실시간 자동번역 장치가 사용자 단말기로 번역 결과를 전송하고 사용자 단말기가 전송 받은 번역 결과를 이미지 상에 중첩하여 표시하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
본 발명은 사용자의 휴대폰, PDA, 스마트 폰 등의 사용자 단말기에 설치된 카메라를 이용하여 촬영한 문서 이미지로부터 번역할 문자를 추출하고, 추출한 문자를 기 저장된 사전 데이터와 비교하여 추출된 문자의 의미를 인식하며, 인식한 의미를 사용자의 언어로 번역하여 표시함으로써 오프라인상에서 접한 외국언어를 사용자가 이해할 수 있는 언어로 실시간으로 번역하는 것이 가능하도록 하는 매우 유용한 발명이다.
100: 실시간 자동번역이 가능한 단말기
110; 이미지 촬영부 120; 언어사전 저장부
130: 문자 추출부 140: 단어 검색부
150: 번역 표시부
170: 전송부 180: 번역언어 수신부
200: 실시간 자동번역 장치
210: 언어사전 저장부 220: 이미지 수신부
230: 문자 추출부 240: 단어 검색부
250: 번역 전송부

Claims (14)

  1. 적어도 한 종류의 언어 사전을 저장하는 언어사전 저장부;
    네트워크 기반의 사용자 단말기로부터 번역할 문서 이미지를 수신하는 이미지 수신부;
    수신한 문서 이미지에서 번역할 문자를 인식하여 추출하는 문자 추출부;
    추출한 문자를 상기 언어 사전의 단어항목과 비교하여 매칭되는 단어를 검색하는 단어 검색부; 및
    검색한 단어에 해당하는 의미를 상기 언어 사전으로부터 추출하여 상기 사용자 단말기로 전송하는 번역 전송부
    를 포함하는 것을 특징으로 하는 실시간 자동번역 장치.
  2. 제 1 항에 있어서,
    상기 문자 추출부는 광학식 문자 판독기(Optical Character Reader: 이하 OCR)를 이용하여 문자를 추출하는 것을 특징으로 하는 실시간 자동번역 장치.
  3. 번역할 문서의 이미지를 촬영하는 이미지 촬영부;
    상기 이미지 촬영부에서 촬영한 문서 이미지에서 번역할 문자를 인식하여 추출하는 문자 추출부;
    상기 문자 추출부를 통해 추출한 문자를 번역할 언어 사전의 단어항목과 비교하여 매칭되는 단어 및 상기 단어의 의미를 검색하는 단어 검색부; 및
    상기 단어 검색부에서 검색하여 얻은 번역 결과를 상기 문서 이미지 상의 해당 문자와 대응되는 위치 좌표에 표시하는 번역 표시부
    를 포함하는 것을 특징으로 하는 실시간 자동번역이 가능한 단말기.
  4. 제 3 항에 있어서,
    상기 단어 검색부에서 추출한 문자와 매칭되는 단어가 검색되지 않는 경우, 상기 추출한 문자를 네트워크를 통하여 실시간 자동번역 장치로 전송하는 전송부; 및
    상기 실시간 자동번역 장치로부터 상기 추출한 문자에 대응하는 번역 결과를 수신하는 번역언어 수신부를 더 포함하고,
    상기 번역 표시부는 상기 번역언어 수신부에 수신한 번역 결과를 상기 이미지 상에 해당 문자와 대응되는 위치 좌표에 중첩하여 표시하는 것을 특징으로 하는 실시간 자동번역이 가능한 단말기.
  5. 제 3 항에 있어서,
    상기 번역할 언어 사전을 저장한 언어사전 저장부를 더 포함하는 것을 특징으로 하는 실시간 자동번역이 가능한 단말기.
  6. 제 3 항에 있어서,
    상기 번역할 언어 사전은 네트워크를 기반으로 제공받는 것을 특징으로 하는 실시간 자동번역이 가능한 단말기.
  7. 네트워크 기반의 사용자 단말기로부터 번역할 문서에 대한 촬영 이미지를 수신하는 단계;
    수신한 문서 이미지로부터 번역할 문자를 추출하는 단계;
    추출한 문자를 기 저장된 언어 사전의 단어항목과 비교하여 매칭되는 단어를 검색하는 단계; 및
    상기 매칭되는 단어에 해당하는 번역 의미를 상기 언어 사전으로부터 추출하여 상기 사용자 단말기로 전송하는 단계
    를 포함하는 것을 특징으로 하는 실시간 자동번역 장치에서의 실시간 자동번역 방법.
  8. 제 7 항에 있어서,
    상기 번역할 문자를 추출하는 단계는
    상기 문서 이미지 상에서 번역할 문자를 터치하거나 롱 탭(tap)을 이용한 선택에 의해 상기 번역할 문자를 자동 인식하는 것을 특징으로 하는 실시간 자동번역 장치에서의 실시간 자동번역 방법.
  9. 제 7 항에 있어서,
    상기 번역할 문자를 추출하는 단계는
    광학식 문자 판독기(Optical Character Reader: 이하 OCR)를 이용하여 문자를 추출하는 것을 특징으로 하는 실시간 자동번역 장치에서의 실시간 자동번역 방법.
  10. 번역할 문서의 이미지를 촬영하는 단계;
    촬영한 문서 이미지에서 번역할 문자를 추출하는 단계;
    추출한 문자를 기 저장된 언어 사전의 단어항목과 비교하여 매칭되는 단어를 검색하는 단계; 및
    상기 매칭되는 단어에 해당하는 번역 의미를 상기 언어 사전으로부터 추출하여 상기 문서 이미지 상에 중첩하여 표시하는 단계
    를 포함하는 것을 특징으로 하는 단말기에서의 실시간 자동번역 방법.
  11. 제 10 항에 있어서,
    상기 번역할 문자를 추출하는 단계는
    상기 문서 이미지 상에서 번역할 문자를 터치하거나 롱 탭(tap)을 이용한 선택에 의해 상기 번역할 문자를 자동 인식하는 것을 특징으로 하는 단말기에서의 실시간 자동번역 방법.
  12. 제 10 항에 있어서,
    상기 번역할 문자를 추출하는 단계는
    광학식 문자 판독기(Optical Character Reader: 이하 OCR)를 이용하여 문자를 추출하는 것을 특징으로 하는 단말기에서의 실시간 자동번역 방법.
  13. 제 10 항에 있어서,
    상기 언어 사전으로부터 매칭되는 단어가 검색되지 않는 경우,
    상기 추출한 문자를 네트워크 기반의 실시간 자동번역 장치로 전송하는 단계;
    상기 실시간 자동번역 장치로부터 상기 추출한 문자에 대응하는 번역언어를 수신하는 단계; 및
    수신한 번역언어를 상기 이미지 상의 해당 문자에 대응하는 위치에 표시하는 단계
    를 더 포함하는 것을 특징으로 하는 단말기에서의 실시간 자동번역 방법.
  14. 제 7 항 내지 제 13 항 중 어느 한 항에 의한 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160127031A 2016-09-30 2016-09-30 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기 KR20160118198A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160127031A KR20160118198A (ko) 2016-09-30 2016-09-30 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160127031A KR20160118198A (ko) 2016-09-30 2016-09-30 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132956A Division KR20120071417A (ko) 2010-12-23 2010-12-23 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기

Publications (1)

Publication Number Publication Date
KR20160118198A true KR20160118198A (ko) 2016-10-11

Family

ID=57162163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160127031A KR20160118198A (ko) 2016-09-30 2016-09-30 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기

Country Status (1)

Country Link
KR (1) KR20160118198A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164288A1 (en) * 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Method for providing text translation managing data related to application, and electronic device thereof
CN112989846A (zh) * 2021-03-10 2021-06-18 深圳创维－Rgb电子有限公司 文字翻译方法、文字翻译装置、文字翻译设备及存储介质
KR20220111825A (ko) 2021-02-02 2022-08-10 주식회사 휴텍씨 분배모델을 기반으로 번역서비스를 제공하기 위한 시스템
KR20240034529A (ko) 2022-09-07 2024-03-14 주식회사 에크네 집단 번역을 이용하여 번역 서비스를 제공하는 서버의 제어 방법
KR20240034530A (ko) 2022-09-07 2024-03-14 주식회사 에크네 인공 지능을 통한 대표 번역문 결정을 이용하여 번역 서비스를 제공하는 시스템의 제어 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164288A1 (en) * 2018-02-23 2019-08-29 Samsung Electronics Co., Ltd. Method for providing text translation managing data related to application, and electronic device thereof
US10956767B2 (en) 2018-02-23 2021-03-23 Samsung Electronics Co., Ltd. Method for providing text translation managing data related to application, and electronic device thereof
US11941368B2 (en) 2018-02-23 2024-03-26 Samsung Electronics Co., Ltd. Method for providing text translation managing data related to application, and electronic device thereof
KR20220111825A (ko) 2021-02-02 2022-08-10 주식회사 휴텍씨 분배모델을 기반으로 번역서비스를 제공하기 위한 시스템
CN112989846A (zh) * 2021-03-10 2021-06-18 深圳创维－Rgb电子有限公司 文字翻译方法、文字翻译装置、文字翻译设备及存储介质
CN112989846B (zh) * 2021-03-10 2023-06-16 深圳创维－Rgb电子有限公司 文字翻译方法、文字翻译装置、文字翻译设备及存储介质
KR20240034529A (ko) 2022-09-07 2024-03-14 주식회사 에크네 집단 번역을 이용하여 번역 서비스를 제공하는 서버의 제어 방법
KR20240034530A (ko) 2022-09-07 2024-03-14 주식회사 에크네 인공 지능을 통한 대표 번역문 결정을 이용하여 번역 서비스를 제공하는 시스템의 제어 방법

Similar Documents

Publication Publication Date Title
US11714523B2 (en) Digital image tagging apparatuses, systems, and methods
KR20160118198A (ko) 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기
US7190833B2 (en) Mobile device and transmission system
US8244037B2 (en) Image-based data management method and system
US20050162523A1 (en) Photo-based mobile deixis system and related techniques
US20150347818A1 (en) Method, system, and application for obtaining complete resource according to blob images
KR20200100027A (ko) 텍스트 기반 이미지 검색 방법 및 장치
US20140044377A1 (en) Shot image processing system, shot image processing method, mobile terminal, and information processing apparatus
US20110305406A1 (en) Business card recognition system
JP2007018166A (ja) 情報検索装置、情報検索システム、情報検索方法及び情報検索プログラム
CN111491209A (zh) 视频封面确定方法、装置、电子设备和存储介质
KR20130038547A (ko) 관심영역 설정을 이용한 이미지 이중 검색 시스템
JP5484113B2 (ja) 文書画像関連情報提供装置、及び文書画像関連情報取得システム
CN104090878A (zh) 一种多媒体查找方法、终端、服务器及系统
KR20120071417A (ko) 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기
CN105975621B (zh) 识别浏览器页面中的搜索引擎的方法及装置
KR20120092324A (ko) 실시간 자동번역 시스템 및 방법, 실시간 자동번역이 가능한 단말기
EP2784736A1 (en) Method of and system for providing access to data
KR20120091598A (ko) 다국어 웹 페이지를 이용한 통합 검색 시스템 및 방법, 다국어 웹 페이지 검색이 가능한 단말기
JP5913774B2 (ja) Ｗｅｂサイトを共有する方法、電子機器およびコンピュータ・プログラム
KR102249996B1 (ko) 텍스트 기반 이미지 검색 방법 및 장치
Waghade et al. Text Extraction from Text Based Image Using Android
KR20180132363A (ko) 이미지 자동 태깅을 이용한 모바일 비주얼 검색 서비스 시스템 및 방법
KR20170024948A (ko) 태그 기반의 데이터 검색 방법 및 장치
JP2005038431A (ja) 携帯端末装置及び通信システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application