KR20140026726A

KR20140026726A - 광학식 문자 판독기를 이용한 데이터 처리 방법 및 장치

Info

Publication number: KR20140026726A
Application number: KR20120092151A
Authority: KR
Inventors: 김미수; 권선미; 최정인
Original assignee: 삼성전자주식회사
Priority date: 2012-08-23
Filing date: 2012-08-23
Publication date: 2014-03-06
Also published as: US9129178B2; KR102013329B1; US20140056522A1

Abstract

본 발명은 광학식 문자 판독기(OCR, Optical Character Reader) 기능을 가지는 사용자 디바이스에서 이미지 파일(image file)의 오브젝트(object)(예컨대, 문자(열), 텍스트)에 대한 OCR 인식 시간을 단축할 수 있는 방법 및 장치에 관한 것으로, 이러한 본 발명은 OCR을 이용한 데이터 처리 방법에 있어서, 각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하는 과정; 오브젝트의 검색 명령을 수신하는 과정; 저장된 OCR 데이터들로부터 상기 오브젝트를 추출하는 과정; 상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 선별하는 과정; 및 상기 선별된 OCR 데이터에 대응하는 이미지 파일의 리스트를 표시하는 과정을 포함한다.

Description

광학식 문자 판독기를 이용한 데이터 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING DATA USING OPTICAL CHARACTER READER}

본 발명은 광학식 문자 판독기(OCR, Optical Character Reader)를 이용한 데이터 처리 방법 및 장치에 관한 것으로, 특히 사용자 디바이스에서 이미지 파일의 오브젝트(object)(예컨대, 텍스트, 문자)에 대한 OCR 인식 시간을 단축할 수 있는 사용자 디바이스에서 OCR을 이용한 데이터 처리 방법 및 장치에 관한 것이다.

최근 디지털 기술의 발달과 함께 이동통신 단말기, PDA(Personal Digital Assistant), 전자수첩, 스마트 폰, 태블릿 PC(Personal Computer) 등과 같이 이동하면서 통신 및 개인정보 처리가 가능한 사용자 디바이스(user device)가 다양하게 출시되고 있다. 이러한 사용자 디바이스는 각자의 전통적인 고유 영역에 머무르지 않고 다른 단말들의 영역까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 대표적으로, 사용자 디바이스는 음성통화 및 영상통화 등과 같은 통화 기능, SMS(Short Message Service)/MMS(Multimedia Message Service) 및 이메일 등과 같은 메시지 송수신 기능, 내비게이션 기능, 촬영 기능, 방송 재생 기능, 미디어(동영상 및 음악) 재생 기능, 인터넷 기능, 메신저 기능 및 소셜 네트워크 서비스(SNS, Social Networking Service) 기능 등의 다양한 기능들을 구비할 수 있다.

특히, 최근 사용자 디바이스는 광학식 문자 판독기(OCR, Optical Character Reader) 기능이 구비되고 있다. 상기 OCR 기능은 사용자 디바이스 등에서 데이터의 입력 작업을 간편화하기 위한 것으로, 사용자가 손으로 쓴 문자나 인쇄된 문자를 광학적으로 독해할 수 있는 기능을 나타낸다. 이러한 OCR 기능은 바코드(bar code)와는 달리 문자를 직접 입력할 수 있기 때문에 입력 작업을 더욱 간소화할 수 있다.

한편, 사용자는 사용자 디바이스에 저장되는 다양한 이미지 파일에서 OCR 기능을 통해 오브젝트(object)(예컨대, 텍스트 또는 문자)를 획득할 수 있다. 이때, 종래의 사용자 디바이스에서는 사용자가 OCR 인식을 원하는 이미지 파일에서 OCR 기능을 구동하여 오브젝트로 이루어진 OCR 데이터를 획득할 수 있다.

그러나 종래의 사용자 디바이스에서는 사용자가 이미지 파일에서 오브젝트를 획득하고자 할 시 매번 OCR 기능을 구동하여 인식 과정(예컨대, OCR 기능 실행 과정 -> 인식 과정 -> 변환 과정 -> 표시 과정)을 거쳐야 한다. 즉, 이전에 OCR 기능을 통해 인식한 이미지 파일에 대해 다시 OCR 데이터를 획득하고자 하는 경우에서도 OCR 인식 과정을 매번 반복해야 한다. 따라서 사용자는 동일한 이미지 파일에 대해서도 OCR 데이터를 획득하기 위한 여러 과정의 반복 수행 및 그에 따른 대기 시간을 매번 가져야 한다. 더욱이, 상기 대기 시간은 OCR의 인식 시간에 비례하여 증가하게 됨에 따라 사용자에게 많은 불편함이 따른다.

본 발명의 목적은 사용자 디바이스에서 OCR 데이터를 빠르게 획득하여 OCR 데이터 획득에 따른 도출 시간을 최소화할 수 있는 OCR을 이용한 데이터 처리 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 사용자 디바이스에 이미지 파일에 대한 OCR 기능 수행 시 요청된 오브젝트의 OCR 데이터를 빠르게 도출하여 대기 시간을 최소화함으로써, 사용자의 편의성을 저해하지 않으면서 정확하고 빠르게 결과 값의 제공이 가능하도록 하는 OCR을 이용한 데이터 처리 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 수많은 이미지 파일에서 사용자가 원하는 오브젝트를 가지고 있는 이미지 파일만을 추출하여 리스트 업(list up) 시, 모든 이미지 파일들에 대한 반복적인 OCR 처리를 하지 않으면서, 빠른 결과를 도출할 수 있는 OCR을 이용한 데이터 처리 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 OCR 처리 과정을 걸쳐 전체적인 이미지 파일들의 OCR 처리 결과 값을 이미지 파일과 매칭하여 미리 저장하고, 추후 사용자의 이미지 파일에 대한 OCR 처리 시 OCR을 구동할 필요 없이 해당 이미지 파일에 대한 OCR 데이터를 빠르게 제공할 수 있는 OCR을 이용한 데이터 처리 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 목적은 OCR 기능을 가지는 사용자 디바이스에서 OCR 처리에 대한 대기 시간을 최소화하기 위한 최적의 환경을 구현하여 사용자 편의성 및 사용자 디바이스의 사용성을 향상시킬 수 있는 OCR을 이용한 데이터 처리 방법 및 장치를 제공함에 있다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, OCR(Optical Character Reader)을 이용한 데이터 처리 방법에 있어서, 각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하는 과정; 오브젝트의 검색 명령을 수신하는 과정; 저장된 OCR 데이터들로부터 상기 오브젝트를 추출하는 과정; 상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 선별하는 과정; 및 상기 선별된 OCR 데이터에 대응하는 이미지 파일의 리스트를 표시하는 과정을 포함한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 실시 예에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 사용자 디바이스에 있어서, 이미지 파일, 이미지 파일들의 리스트, 그리고 OCR 데이터 중 사용자 요청과 관련된 화면 인터페이스를 표시하는 표시부; 이미지 파일과 상기 이미지 파일에 매칭되는 OCR 데이터를 저장하는 저장부; 및 각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하고, 오브젝트의 검색 명령이 수신될 시 상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 구분하며, 구분된 OCR 데이터에 대응하는 이미지 파일의 리스트 표시를 제어하는 제어부를 포함한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록 매체는, 각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하고, 오브젝트의 검색 명령이 수신될 시 상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 구분하고, 구분된 OCR 데이터에 대응하는 이미지 파일의 리스트 표시를 처리하며, 상기 OCR 데이터 저장 시 OCR 데이터의 크기에 따라 이미지 파일의 파일 영역 또는 저장부의 데이터 영역에 이미지 파일과 매칭하여 저장되도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.

전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다.

상술한 바와 같이 본 발명에서 제안하는 OCR을 이용한 데이터 처리 방법 및 장치에 따르면, OCR 기능을 통해 인식된 이미지 파일의 OCR 데이터를 그 크기에 따라 특정 영역(파일 영역 또는 데이터 영역)에 저장할 수 있다. 이를 통해, 사용자 디바이스의 수많은 이미지 파일들에서 사용자가 원하는 오브젝트(문자(열) 또는 텍스트)를 획득하고자 할 시 매번 OCR 기능을 실행하지 않고서도 해당 이미지 파일에 매칭되어 저장되는 OCR 데이터로부터 해당 결과 값을 바로 도출할 수 있다. 따라서 사용자는 이미지 파일에서 사용자 희망에 따른 오브젝트를 획득함에 있어서 이미지 파일의 OCR 데이터 생성을 위한 여러 작업 과정을 생략할 수 있다. 즉, 이전에 획득된 OCR 데이터에서 원하는 오브젝트를 바로 획득 가능함에 따라 결과 도출에 따른 대기 시간을 최소화할 수 있다.

또한 본 발명에 따르면 사용자 디바이스에서 획득하거나 저장된 수많은 이미지 파일들에서 OCR 기능에 의해 사용자가 희망하는 오브젝트를 획득하고자 하거나, 수많은 이미지 파이들에서 사용자가 희망하는 오브젝트를 포함하는 이미지 파일만을 추출하여 리스트 업(list up)하고자 할 시, 빠른 결과 값을 도출하여 제공할 수 있다.

따라서 본 발명에 따르면 이미지 파일에서 OCR 기능을 통해 오브젝트 획득하고자 할 시 그의 대기 시간을 최소화하기 위한 최적의 환경을 구현함으로써, 사용자의 편의성을 향상시키고, 사용자 디바이스의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다. 이러한 본 발명은 OCR 기능을 가지는 모든 형태의 사용자 디바이스 및 그에 대응하는 다양한 디바이스들에 간편하게 구현될 수 있다.

도 1은 본 발명의 실시 예에 따른 사용자 디바이스의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 기능 운용 방법을 도시한 흐름도이다.
도 3 내지 도 8은 본 발명의 실시 예에 따른 사용자 디바이스에서 피사체를 촬영하면서 OCR 데이터를 생성하는 동작 예시를 도시한 도면들이다.
도 9 내지 도 12는 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 기능 운용 방법을 도시한 흐름도들이다.
도 13 및 도 14는 본 발명의 실시 예에 따른 사용자 디바이스에서 이미지 파일 리스트가 제공되는 화면 예시를 도시한 도면들이다.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직할 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

제안하는 본 발명은 광학식 문자 판독기(OCR, Optical Character Reader) 기능을 가지는 사용자 디바이스에 관한 것이다. 특히, 제안하는 본 발명은 상기 사용자 디바이스에서 이미지 파일(image file)의 오브젝트(object)(예컨대, 문자(열), 텍스트)에 대한 OCR 인식 시간을 단축할 수 있는 방법 및 장치에 관한 것이다.

본 발명의 실시 예에 따르면 사용자 디바이스에서 획득하거나 저장된 수많은 이미지 파일들에서 OCR 기능에 의해 사용자가 희망하는 오브젝트를 획득하고자 하거나, 수많은 이미지 파이들에서 사용자가 희망하는 오브젝트를 포함하는 이미지 파일만을 추출하여 리스트 업(list up)하고자 할 시, 빠른 결과 값을 도출하여 제공할 수 있도록 한다. 이를 위하여 본 발명의 실시 예에서는 OCR 처리 과정이 수행된 이미지 파일의 OCR 데이터를 해당 이미지 파일과 매칭(matching)하여 저장하도록 한다.

본 발명의 실시 예에서 상기 저장은 이미지 파일의 특정 영역(예컨대, 파일 영역(file area) 또는 파일 공간(file space), 이하 파일 영역이라 통칭함)에 저장할 수 있다. 또는 상기 이미지 파일에 대해 생성하는 OCR 데이터가 상기 이미지 파일의 파일 영역의 저장 가능 크기(size)보다 클 경우, 사용자 디바이스의 저장부에 별도의 저장 공간을 확보하여 저장할 수 있다. 이때, 상기 OCR 데이터 저장 시 상기 이미지 파일과 상기 이미지 파일의 OCR 데이터가 서로 연계되도록 상기 이미지 파일의 파일 정보 및 상기 OCR 데이터가 저장되는 주소 정보를 매칭하여 매핑 테이블(mapping table)을 이용하여 저장할 수 있다.

한편, 이하의 설명에서 상기 이미지 파일은 사용자 디바이스가 카메라 모듈을 통해 획득한 파일, 사용자 디바이스가 컨텐츠 서버 또는 다른 사용자 디바이스로부터 수신한 파일, 그리고 사용자의 파일 변환(예컨대, 텍스트 파일에서 이미지 파일의 포맷(format) 변환 등)에 의해 생성하는 파일 등을 나타낼 수 있다. 상기 파일 영역은 이미지 파일의 정보를 기억하기 위해 필요로 하는 기억 영역을 나타낼 수 있으며, 본 발명에서는 파일 영역의 여유 공간을 이용하여 OCR 데이터를 추가 매칭하여 기록할 수 있는 영역인 것을 포함한다. 그리고 상기 OCR 데이터는 OCR 기능을 이용하여 이미지 파일의 오브젝트를 인식하는 OCR 처리 과정을 통해 생성하는 데이터를 나타내며, 문자(열) 또는 상기 문자(열)로 이루어진 텍스트 등으로 이루어질 수 있다.

또한 본 발명의 실시 예에서 OCR 기능에 의한 OCR 처리는 유형정합(pattern matching)과 획분석법(stroke analysis method) 등을 통해 이미지 파일에 포함된(예컨대, 인쇄된 또는 사용자가 손으로 쓴) 각 문자를 판독하는 과정을 나타낸다. 이러한 OCR 처리는 예를 들어, 1자를 수십 개의 모눈(블록)으로 분할하여 특정한 모눈의 흑백 또는 자획형상의 특징에 의해 문자를 판독할 수 있다.

이하에서, 본 발명의 실시 예에 따른 사용자 디바이스의 구성과 그의 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 사용자 디바이스의 구성과 그의 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로 하기의 실시 예들에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.

도 1은 본 발명의 실시 예에 따른 사용자 디바이스의 구성을 개략적으로 도시한 도면이다.

상기 도 1을 참조하면, 본 발명의 사용자 디바이스는 무선 통신부(110), 사용자 입력부(120), 표시부(130), 오디오 처리부(140), 저장부(150), 인터페이스부(160), 카메라 모듈(170), 제어부(CONTROLLER)(180), 그리고 전원 공급부(180)를 포함하여 구성된다. 본 발명의 사용자 디바이스는 도 1에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예에 따른 사용자 디바이스가 별도의 통신 기능을 지원하지 않는 경우 상기 무선 통신부(110)의 구성은 생략될 수도 있다.

상기 무선 통신부(110)는 사용자 디바이스와 무선 통신 시스템 사이 또는 사용자 디바이스와 다른 사용자 디바이스가 위치한 네트워크(network) 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 이동통신 모듈(111), 무선 랜(WLAN, Wireless Local Area Network) 모듈(113), 근거리 통신 모듈(115), 위치 산출 모듈(117), 그리고 방송 수신 모듈(119) 등을 포함하여 구성될 수 있다.

이동통신 모듈(111)은 이동통신 네트워크 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 이동통신 모듈(111)은 제어부(180)의 제어에 따라 컨텐츠 서버에 접속하여 사용자 선택에 따른 컨텐츠(이미지 파일, OCR 데이터 등) 등을 다운로드할 수 있다.

무선 랜 모듈(113)은 무선 인터넷(internet) 접속 및 다른 사용자 디바이스와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타내는 것으로, 사용자 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 무선 랜(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 무선 랜 모듈(113)은 제어부(180)의 제어에 따라 컨텐츠 서버에 접속하여 사용자 선택에 따른 다양한 컨텐츠 등을 다운로드할 수 있다. 또한 무선 랜 모듈(113)은 다른 사용자 디바이스와 무선 랜 링크(link)가 형성될 시 사용자 선택에 따른 이미지 파일 및 OCR 데이터를 다른 사용자 디바이스로 전송하거나 수신 받을 수 있다. 또는 무선 랜 모듈(113)은 무선 랜을 통해 사용자 선택에 따른 이미지 파일 및 OCR 데이터를 클라우드 서버 등으로 전송하거나, 클라우드 서버로부터 수신 받을 수 있다.

근거리 통신 모듈(115)은 근거리 통신을 위한 모듈을 나타낸다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 그리고 NFC(Near Field Communication) 등이 이용될 수 있다. 또한 근거리 통신 모듈(115)은 다른 사용자 디바이스와 근거리 통신이 연결될 시 사용자 선택에 따른 이미지 파일 및 OCR 데이터 등을 다른 사용자 디바이스로 전송하거나 수신 받을 수 있다.

위치 산출 모듈(115)은 사용자 디바이스의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 위치 산출 모듈(115)은 3개 이상의 기지국으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈(115)은 3개 이상의 위성으로부터 사용자 디바이스의 현 위치를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 사용자 디바이스의 위치 정보는 다양한 방법에 의해 획득될 수 있다.

방송 수신 모듈(119)은 방송 채널(예컨대, 위성 채널, 지상파 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예컨대, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 상기 방송과 관련된 정보(예컨대, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신한다.

사용자 입력부(120)는 사용자가 사용자 디바이스의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 상기 사용자 입력부(120)는 사용자 디바이스의 외부에 버튼 형태로 구현될 수 있으며, 일부 버튼들은 터치 패널(touch panel)로 구현될 수도 있다.

표시부(130)는 사용자 디바이스에서 처리되는 정보를 표시(출력)한다. 예를 들어, 사용자 디바이스가 통화모드인 경우 통화와 관련된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)와 같은 화면 인터페이스를 표시한다. 또한 표시부(130)는 사용자 디바이스가 화상통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 특히, 표시부(130)는 OCR 기능 구동 시 상기 OCR 기능 운용과 관련된 다양한 UI, GUI를 표시할 수 있다. 예를 들어, 표시부(130)는 카메라 모듈(170)로부터 촬영되거나 미리 저장된 이미지 파일을 표시하고, 표시된 이미지 파일에서 OCR 기능 실행에 따른 OCR 처리와 관련된 다양한 UI, GUI를 표시할 수 있다. 또한, 표시부(130)는 이미지 파일에서 획득된 OCR 데이터를 표시하거나, 사용자 요청에 따른 오브젝트의 리스트, 또는 오브젝트를 포함하는 이미지 파일의 리스트 등을 표시할 수 있다. 또한 표시부(130)는 백그라운드로 진행 중인 OCR 데이터 변환 태스크(task)에 대한 진행 상황을 주어진 아이템(예컨대, 아이콘, 상태바, 텍스트 등)을 통해 표시할 수 있다. 본 발명에서 운용되는 표시부(130)의 화면 예시에 대해 후술될 것이다.

표시부(130)는 액정 디스플레이(LCD, Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(TFT LCD, Thin Film Transistor-LCD), 발광 다이오드(LED, Light Emitting Diode), 유기 발광 다이오드(OLED, Organic LED), 능동형 OLED(AMOLED, Active Matrix OLED), 플렉서블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.

또한 표시부(130)와 터치 동작을 감지하는 터치 패널이 상호 레이어(layer) 구조를 이루는 경우(이하, '터치스크린(touchscreen)'이라 칭함)에, 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 패널은 표시부(130)의 특정 부위에 가해진 압력 또는 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 패널은 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 패널에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.

오디오 처리부(140)는 제어부(180)로부터 입력 받은 오디오 신호를 스피커(SPK)로 전송하고, 마이크(MIC)로부터 입력 받은 음성 등의 오디오 신호를 제어부(180)로 전달하는 기능을 수행한다. 오디오 처리부(140)는 음성/음향 데이터를 제어부(180)의 제어에 따라 스피커(SPK)를 통해 가청음으로 변환하여 출력하고 마이크(MIC)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(180)로 전달할 수 있다.

스피커(SPK)는 통화 모드, 녹음 모드, 음성인식 모드, 방송수신 모드, 촬영 모드 등에서 무선 통신부(110)로부터 수신되거나, 또는 저장부(150)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(SPK)는 사용자 디바이스에서 수행되는 기능(예컨대, 통화 연결 수신, 통화 연결 발신, 촬영, OCR 인식 처리, 음악 파일 재생 등)과 관련된 음향 신호를 출력할 수도 있다.

마이크(MIC)는 통화 모드, 녹음 모드, 음성인식 모드, 촬영 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(111)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(MIC)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

저장부(150)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예컨대, 이미지 파일, OCR 데이터, 오브젝트, 전화번호, 메시지, 오디오, 동영상, 전자도서 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(150)에는 사용자 디바이스 기능 운용에 따른 사용 빈도(예컨대, 이미지 파일 사용빈도, 어플리케이션 사용빈도, 전화번호, 메시지, 멀티미디어에 대한 사용빈도 등), 중요도 및 우선순위도 함께 저장될 수 있다. 저장부(150)에는 터치스크린 상의 터치 입력 시 출력되는 다양한 패턴(pattern)의 진동 및 음향에 관한 데이터를 저장할 수도 있다. 특히, 저장부(150)는 데이터 영역을 포함하며, 상기 데이터 영역을 통해 이미지 파일에 매칭되는 OCR 데이터를 저장할 수 있다. 여기서, 저장부(150)는 상기 이미지 파일과 상기 이미지 파일의 OCR 데이터가 서로 연계되도록 상기 이미지 파일의 파일 정보 및 상기 OCR 데이터가 저장되는 주소 정보를 매칭된 매핑 테이블을 저장할 수 있다.

저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드 또는 XD 카드) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 사용자 디바이스는 인터넷 상에서 상기 저장부(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(160)는 사용자 디바이스에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 사용자 디바이스 내부의 각 구성 요소에 전달하거나, 사용자 디바이스 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(160)에 포함될 수 있다.

카메라 모듈(170)은 사용자 디바이스의 촬영 기능을 지원하는 구성을 나타낸다. 즉, 카메라 모듈(170)은 피사체의 정지영상 및 동영상 촬영을 지원할 수 있다. 카메라 모듈(170)은 제어부(180)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 영상 데이터를 표시부(130) 및 제어부(180)로 전달할 수 있다. 예를 들어, 카메라 모듈(170)은 입력된 광 신호를 전기적 신호로 변환하는 이미지 센서(또는 카메라 센서)와, 상기 이미지 센서로부터 입력되는 전기적 신호를 디지털 영상 데이터로 변환하는 이미지 신호 처리부 등을 포함하여 구성될 수 있다. 상기 이미지 센서는 CCD(Charge-coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 방식을 이용하는 센서를 포함할 수 있다.

제어부(180)는 사용자 디바이스의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등에 관련된 제어를 수행할 수 있다. 특히, 제어부(180)는 본 발명의 실시 예에서 이미지 파일의 오브젝트(예컨대, 문자(열), 텍스트)에 대한 OCR 인식 시간을 단축하는 것과 관련된 전반적인 동작을 제어한다. 또한 제어부(180)는 촬영 기능, 촬영된 이미지에 대한 OCR 기능 처리(예컨대, 백그라운드 처리)와 관련된 제어를 수행할 수 있다. 또한 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(미도시)을 구비할 수도 있다. 본 발명에서 멀티미디어 모듈(미도시)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

본 발명의 실시 예에 따르면, 제어부(180)는 각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장할 수 있다. 이때, 제어부(180)는 OCR 데이터 저장 시 OCR 데이터의 크기에 따라 이미지 파일의 파일 영역에 해당 OCR 데이터를 저장하거나, 또는 상기 저장부(150)의 데이터 영역에 이미지 파일과 매칭하여 상기 OCR 데이터를 저장하도록 제어한다. 예를 들어, 상기 OCR 데이터의 크기가 이미지 파일의 파일 영역의 크기보다 작거나 같은 경우 상기 OCR 데이터를 해당 이미지 파일의 파일 영역에 저장되도록 제어하고, 상기 OCR 데이터의 크기가 이미지 파일의 파일 영역의 크기보다 큰 경우 상기 저장부(150)의 데이터 영역에 해당 이미지 파일과 매칭하여 저장되도록 제어한다.

또한 상기 제어부(180)는 이미지 파일들에서 특정 오브젝트의 검색을 위한 검색 명령이 수신될 시 각 이미지 파일들에 대응하는 OCR 데이터들 중에서 검색 요청된 상기 오브젝트를 포함하는 OCR 데이터를 구분하고, 구분된 OCR 데이터에 대응하는 적어도 하나의 이미지 파일을 추출할 수 있다. 그리고 제어부(180)는 추출된 이미지 파일을 리스트로 구성하여 상기 표시부(130)를 통해 설정된 화면 인터페이스로 표시되도록 제어할 수 있다. 또한 제어부(180)는 OCR 기능 실행 시 OCR 데이터를 가지는 이미지 파일과 OCR 데이터를 가지지 않는 이미지 파일을 구분하고, OCR 데이터를 가지지 않는 이미지 파일을 OCR 처리를 위한 대상 이미지 파일로 선별한 후, 선별된 대상 이미지 파일에 대해서만 OCR 처리를 제어할 수 있다.

이러한 제어부(180)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 사용자 디바이스의 동작 예시 및 그의 제어 방법에서 설명될 것이다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성 요소들의 동작에 필요한 전원을 공급한다.

한편, 본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

여기서, 상기 기록 매체는 각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하고, 오브젝트의 검색 명령이 수신될 시 상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 구분하고, 구분된 OCR 데이터에 대응하는 이미지 파일의 리스트 표시를 처리하며, 상기 OCR 데이터 저장 시 OCR 데이터의 크기에 따라 이미지 파일의 파일 영역 또는 저장부의 데이터 영역에 이미지 파일과 매칭하여 저장되도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함할 수 있다.

그리고 상기 도 1에 나타낸 본 발명의 사용자 디바이스는 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 사용자 디바이스는 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player), 휴대게임단말, 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다. 아울러, 본 발명의 기능 제어 방법은 디지털 TV(Digital Television), DS(Digital Signage), LFD(Large Format Display) 등과 같이 다양한 디스플레이 디바이스에 적용되어 운용될 수 있다.

도 2는 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 기능 운용 방법을 도시한 흐름도이다.

특히, 상기 도 2에서는 카메라 모듈(170)을 이용하여 피사체 촬영 시 OCR 모드를 설정하여 촬영하고, OCR 모드에 따른 촬영에 의해 OCR 데이터를 생성하는 동작 예시를 나타낸 것이다.

상기 도 2를 참조하면, 제어부(180)는 사용자 입력부(120) 또는 입력 기능의 표시부(130)를 통해 카메라 모듈(170) 구동 명령이 발생되면, 카메라 모듈(170)을 구동하고(201단계), 카메라 모듈(170)을 통해 획득되는 이미지가 처리되어 표시부(130)에 프리뷰 이미지가 표시되는 프리뷰 모드를 제어할 수 있다(203단계).

제어부(180)는 상기 프리뷰 모드에 따른 프리뷰 이미지 표시 중에 사용자 선택에 따라 OCR 모드를 설정할 수 있다(205단계). 예를 들어, 제어부(180)는 상기 프리뷰 이미지 표시 중에 사용자 입력에 따라 촬영 옵션이 요청되면, 상기 프리뷰 이미지 상에 다양한 옵션을 설정할 수 있는 팝업(예컨대, 촬영 옵션 메뉴)을 제공하고, 상기 팝업에서 사용자가 선택하는 옵션(특히, OCR 모드)을 촬영 옵션으로 설정할 수 있다.

제어부(180)는 OCR 모드가 설정된 후 프리뷰 이미지를 표시하는 중에 사용자로부터 촬영 버튼 입력을 수신할 수 있다(207단계). 예를 들어, 사용자는 상기 OCR 모드를 설정한 후 사용자 입력부(120) 또는 입력 기능의 표시부(130)를 통해 촬영을 명령하는 촬영 버튼을 입력할 수 있다.

제어부(180)는 촬영 버튼 입력을 수신하면, 표시 중인 프리뷰 이미지를 캡쳐하여 이미지 파일 생성을 제어한다(209단계). 즉, 제어부(180)는 표시부(130)를 통해 프리뷰로 표시되는 프리뷰 이미지를 캡쳐하고, 캡쳐된 이미지를 특정 포맷의 이미지 파일로 저장할 수 있다.

제어부(180)는 이미지 파일 생성 시 OCR 기능을 실행하고(211단계), 상기 생성된 이미지 파일에 대한 OCR 처리를 제어한다(213단계). 예를 들어, 제어부(180)는 이미지 파일에 대해 유형정합 또는 획분석법 등을 통해 이미지 파일에 포함된 각 문자를 판독하는 과정을 처리할 수 있다. 이때, 상기 OCR 처리는 백그라운드로 진행되고 표시부(130)에는 카메라 모듈(170)을 통해 전달되는 프리뷰 이미지가 표시될 수도 있다.

제어부(180)는 OCR 처리에 따른 진행 상황을 체크하여 OCR 처리의 완료 여부를 확인한다(215단계).

제어부(180)는 OCR 처리가 완료되지 않은 경우(215단계의 NO) 상기 213단계로 진행하여 OCR 처리를 제어할 수 있다. 이때, 상기 OCR 처리는 백그라운드로 진행될 수도 있다. 제어부(180)는 OCR 처리가 완료된 경우(215단계의 YES) 상기 이미지 파일에 대한 OCR 데이터를 생성한다(217단계). 이때, 제어부(180)는 생성된 상기 OCR 데이터를 버퍼링(buffering)할 수 있다.

제어부(180)는 상기 이미지 파일에 대응하는 OCR 데이터가 생성될 시, 상기 OCR 데이터의 크기를 체크하고(219단계), 상기 OCR 데이터의 크기와 상기 이미지 파일의 파일 영역의 크기(Th)와 비교할 수 있다(221단계). 즉, 제어부(180)는 버퍼링된 OCR 데이터의 크기가 이미지 파일의 파일 영역에 저장될 수 있는 크기를 가지는지 판단할 수 있다.

제어부(180)는 상기 OCR 데이터의 크기가 상기 파일 영역의 크기보다 작거나 같으면(221단계의 YES), 상기 OCR 데이터를 상기 파일 영역에 저장할 수 있다(223단계).

제어부(180)는 상기 OCR 데이터의 크기가 상기 파일 영역의 크기보다 크면(221단계의 NO), 상기 OCR 데이터를 저장부(150)의 데이터 영역에 저장할 수 있다(225단계). 그리고 제어부(180)는 상기 이미지 파일에 상기 OCR 데이터가 상기 데이터 영역에 저장되는 주소를 매칭할 수 있다(227단계). 예를 들어, 제어부(180)는 이미지 파일과 OCR 데이터의 주소가 매칭된 매핑 테이블을 업데이트할 수 있다.

이상에서 도 2를 참조하여 살펴본 바와 같이, 본 발명의 실시 예에 따르면, 사용자 디바이스는 촬영 기능 동작 시 OCR 기능을 자동 실행하여, 촬영된 이미지에 대한 OCR 인식 및 그에 대한 OCR 데이터를 생성하여 저장할 수 있다. 이러한 동작 예시를 하기 도 3 내지 도 8을 참조하여 살펴보기로 한다.

도 3 내지 도 8은 본 발명의 실시 예에 따른 사용자 디바이스에서 피사체를 촬영하면서 OCR 데이터를 생성하는 동작 예시를 도시한 도면들이다.

상기 도 3 내지 도 8을 참조하면, 상기 도 3은 사용자 디바이스가 프리뷰 이미지를 표시중일 때의 사용자 디바이스의 화면 예시를 나타낸 것이다. 예를 들어, 사용자로부터 입력되는 제어 명령에 따라 카메라 모듈(170)의 구동 명령이 발생하면, 상기 카메라 모듈(170)을 제어하여 프리뷰 모드의 동작이 수행되고 있는 상태의 화면이 제공될 수 있다.

사용자는 상기 프리뷰 모드에 따른 프리뷰 이미지가 표시된 상태에서 상기 도 3에 도시된 바와 같이 상기 프리뷰 이미지가 표시된 화면에서 촬영 옵션 설정을 위한 설정 아이템(또는 아이콘)(300)을 선택하는 선택 이벤트를 입력할 수 있다. 예를 들어, 사용자는 프리뷰 이미지가 표시된 화면에서 옵션 설정을 지시하는 설정 아이템(또는 아이콘)(300)을 선택(터치)하여 촬영 옵션 메뉴(400) 호출을 명령할 수 있다. 그러면, 사용자 디바이스는 상기 설정 아이템(300)에 선택 이벤트(터치)가 입력되면 상기 도 4에 도시된 바와 같이 촬영 옵션 설정이 가능한 촬영 옵션 메뉴(400)를 화면 상에 표시할 수 있다. 즉, 상기 도 4는 사용자 디바이스의 프리뷰 이미지가 표시된 화면에서 다양한 촬영 옵션을 선택할 수 있는 촬영 옵션 메뉴(400)가 표시된 상태의 화면 예시를 나타낸 것이다.

본 발명에 따르면, 사용자는 상기 촬영 옵션 메뉴(400)를 통해 OCR 모드, 스케치, 음영, 왜곡, 합성, 애니메이션, 비네팅, 빈티지, 색변환, 파스텔, 야광 등과 같은 다양한 촬영 옵션을 선택 설정할 수 있다. 이러한 촬영 옵션은 플러그 인 형태로 구현되어 사용자 선택에 따라 추가 또는 삭제될 수 있다. 또한 본 발명의 상기 촬영 옵션 메뉴(400)를 통해 촬영 옵션을 다운로드 할 수 있는 서버로 접속하기 위한 기능 메뉴가 제공될 수 있으며, 사용자는 상기 기능 메뉴 선택에 의해 촬영 모드 중에도 촬영 옵션 다운로드를 위한 서버로 접속할 수도 있다.

한편, 사용자는 상기 도 4와 같이 상기 촬영 옵션 메뉴(400)가 표시된 화면에서 상기 도 5에 도시된 바와 같이 설정하고자 하는 옵션 항목을 선택하는 선택 이벤트를 입력할 수 있다. 예를 들어, 사용자는 상기 도 5에 도시된 바와 같이 상기 촬영 옵션 메뉴(400)를 통해 제공된 다양한 촬영 옵션들 중 OCR 모드 옵션을 선택하는 선택 이벤트(터치)를 입력할 수 있다. 그리고 사용자는 설정하고자 하는 옵션 항목을 선택한 후 옵션 설정을 완료할 수 있다. 또는 사용자 디바이스는 상기 촬영 옵션 메뉴(400)에서 사용자로부터 옵션을 선택하는 선택 이벤트 입력을 감지하면, 자동으로 옵션 설정을 완료할 수도 있다.

사용자 디바이스는 촬영 옵션(특히, OCR 모드 옵션) 설정이 완료되면, 상기 도 6에 도시된 바와 같이 프리뷰 모드로 진행하여 프리뷰 이미지를 표시할 수 있다. 즉, 상기 도 5에 나타낸 사용자 디바이스의 화면은 옵션 항목 선택 이벤트 입력에 따라 상기 도 6과 같이 전환된다.

사용자는 상기 도 6과 같이 상기 프리뷰 이미지가 프리뷰로 표시된 상태에서 촬영(캡쳐)을 수행하고자 촬영 버튼을 입력할 수 있다. 사용자 디바이스는 촬영 버튼이 입력되면, 리뷰 모드 또는 퀵뷰 모드의 설정 상태(활성화 또는 비활성화)에 따라 도 7 또는 도 8과 같은 화면을 표시할 수 있다.

즉, 상기 리뷰 모드가 활성화로 설정된 경우, 상기 촬영 버튼 입력에 따라 상기 도 6에 나타난 화면은 도 7과 같이 전환된다. 예를 들어, 사용자 디바이스는 상기 도 6에 도시된 바와 같은 프리뷰 이미지를 캡쳐하고, 캡쳐된 캡쳐 이미지(버퍼링 중인 이미지 파일)에 대해 OCR 기능을 실행하여 오브젝트(예컨대, 문자(열), 텍스트 등) 인식을 위한 OCR 처리를 수행할 수 있다. 그리고 사용자 디바이스는 인식된 오브젝트를 기반으로 OCR 데이터를 생성하고, 상기 도 7에 도시된 바와 같이 생성된 OCR 데이터를 화면 상에 표시할 수 있다. 즉, 상기 도 7은 버퍼링 중인 이미지 파일에 대해 OCR 처리된 결과가 표시된 상태의 화면 예시를 나타낸 것이다. 일예로, 상기 도 7에 도시된 바와 같이 상기 캡쳐 이미지의 썸네일 이미지와 상기 인식된 오브젝트를 구분하여 OCR 데이터를 표시할 수 있다. 여기서, 상기 촬영 시 생성되는 OCR 데이터는 설정 방식에 따라 OCR 데이터 생성 시 그 크기에 따라 파일 영역 또는 데이터 영역에 자동 저장된 후 상기 도 7과 같이 표시되거나, 또는 상기 도 7과 같이 리뷰 모드로 표시된 상태에서 사용자의 저장 선택이 있을 시 그 크기에 따라 파일 영역 또는 데이터 영역에 수동 저장될 수 있다.

또는 상기 퀵뷰 모드가 활성화로 설정된 경우, 상기 촬영 버튼 입력에 따라 상기 도 6에 나타난 화면은 도 8과 같이 전환된다. 예를 들어, 사용자 디바이스는 상기 도 8에 도시된 바와 같이 프리뷰 동작으로 회귀하여 프리뷰 모드에 따른 프리뷰 이미지가 표시되는 화면을 표시할 수 있다. 즉, 상기 도 8은 사용자 디바이스가 새로운 프리뷰 이미지를 프리뷰로 표시중일 때의 사용자 디바이스의 화면 예시를 나타낸 것이다.

구체적으로, 상기 도 6과 같은 화면 표시 상태에서 촬영 버튼 입력이 수신되면, 버퍼링 중인 이미지 파일에서 문자를 인식하는 OCR 인식 동작을 백그라운드로 처리할 수 있다. 그리고 사용자 디바이스는 상기 OCR 인식 동작을 백그라운드로 처리하면서, 동시에 프리뷰 모드로 회귀하여 화면 상에 카메라 모듈(170)을 통해 획득하는 프리뷰 이미지를 표시할 수 있다. 이때, 상기 도 8에 도시된 바와 같이 프리뷰 이미지가 프리뷰로 표시되는 화면의 일 영역에 상기 백그라운드 처리에 따른 진행 상태를 통지하는 상태 아이템(예컨대, 아이콘, 상태바, 텍스트 등)(800)이 제공될 수 있다.

이상에서와 같이 본 발명의 실시 예에 따르면, 리뷰 모드가 활성화 설정된 경우에는 OCR 처리와 관련된 UI 또는 GUI를 표시하고, OCR 처리가 완료될 시 생성된 OCR 데이터를 표시할 수 있다.

또한 퀵 모드가 활성화 설정된 경우에는 OCR 처리는 백그라운드로 진행하고, 동시에 프리뷰 모드로 회귀하여 다음 촬영을 빠르게 수행할 수 있도록 한다. 즉, 퀵 모드가 활성화 설정된 경우에는 바로 프리뷰 모드 전환에 의한 프리뷰 이미지를 표시하면서, 이와 병렬적으로 촬영된 이미지 파일의 문자 인식을 위한 OCR 처리 동작을 백그라운드로 진행할 수 있다. 이후, 백그라운드의 OCR 처리가 완료될 시 사용자 디바이스는 백그라운드로 처리된 OCR 데이터를 그 크기에 따라 해당 이미지 파일의 파일 영역 또는 저장부(150)의 데이터 영역에 저장할 수 있다.

이와 같이, 본 발명의 실시 예에 따른 사용자 디바이스는 촬영된 이미지 파일에 대한 OCR 인식 동작을 백그라운드로 처리하고, 동시에 프리뷰 모드로 회귀하도록 하여, 카메라 모듈(170)에서 획득되는 이미지를 센싱하여 캡쳐하기까지 즉, 촬영 버튼을 입력한 후 다음 촬영이 가능할 때까지의 사용자 대기 동작을 제거할 수 있다. 이에 따라, OCR 인식에 따른 지연 시간이 발생하는 촬영에서도, 사용자는 실질적으로 대기 시간을 가질 필요 없이 다음 촬영을 바로 수행할 수 있다. 즉, 사용자가 다음 촬영을 위한 지연 시간 없이 다음 촬영을 바로 수행할 수 있다.

한편, 사용자 디바이스는 프리뷰 모드와 백그라운드에 의한 OCR 처리를 동시 진행하기 위해, 프리뷰 이미지를 버퍼링하는 제1버퍼(미도시)와 OCR 처리 대상인 이미지 파일을 버퍼링하는 제2버퍼(미도시)를 구비할 수 있다. 이를 통해, 사용자 디바이스는 프리뷰 이미지를 상기 제1버퍼에 일시 저장되도록 제어하고, 이미지 파일을 상기 제2버퍼에 일시 저장되도록 제어할 수 있다. 그리고 사용자 디바이스는 퀵 모드 시 상기 제1버퍼의 프리뷰 이미지가 표시부(130)에 출력되도록 제어하고, 상기 제2버퍼의 이미지 파일에 대한 OCR 처리를 백그라운드로 진행하여 파일 영역 또는 데이터 영역에 저장되도록 제어할 수 있다.

이상에서 도 2 내지 도 8에서는 촬영 시점에서 OCR 기능 실행에 의해 OCR 데이터를 생성하는 동작을 예시로 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니다. 따라서 본 발명의 실시 예에 따르면 촬영 시점에서 뿐만 아니라, 사용자 디바이스에 이전에 저장된 이미지 파일 또는 외부의 서버로부터 획득하는 이미지 파일 등에 대해서도 OCR 기능을 실행하여 OCR 데이터를 획득할 수도 있다.

도 9는 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 기능 운용 방법을 도시한 흐름도이다.

특히, 도 9에서는 사용자가 하나의 이미지 파일에 대해 OCR 기능을 실행하는 경우에 있어서, 해당 이미지 파일에 대한 OCR 데이터의 존재 여부에 따라 OCR 기능을 운용하는 동작 예시를 나타낸 것이다.

상기 도 9를 참조하면, 제어부(180)는 사용자로부터 OCR 모드 실행이 입력되면(901단계), OCR 기능을 실행하고 어느 하나의 이미지 파일을 선택받을 수 있다(903단계). 예를 들어, 제어부(180)는 OCR 모드 실행 시 이미지 파일들의 리스트(이하, 이미지 파일 리스트)를 표시하고, 상기 이미지 파일 리스트에서 어느 하나의 이미지 파일이 선택되는 입력을 수신할 수 있다.

제어부(180)는 이미지 파일이 선택되면 선택된 이미지 파일을 표시부(130)의 화면 상에 표시하고(905단계), OCR 기능 실행을 제어할 수 있다(907단계). 여기서, 상기 OCR 기능 실행은 상기 OCR 모드에 의해 자동 실행되거나, 또는 사용자 선택에 따라 실행될 수도 있다.

제어부(180)는 OCR 기능 실행 시 미리 저장된 OCR 데이터를 체크하여(909단계), 상기 이미지 파일에 대응하는 OCR 데이터가 존재하는지 확인한다(911단계). 예를 들어, 제어부(180)는 OCR 기능을 실행할 시 상기 선택된 이미지 파일의 파일 영역을 체크할 수 있다. 또한 상기 파일 영역에 OCR 데이터가 없으면, 매핑 테이블을 참조하여 상기 이미지 파일에 매칭된 OCR 데이터가 데이터 영역에 존재하는지 체크할 수 있다.

제어부(180)는 상기 이미지 파일에 대한 OCR 데이터가 존재하지 않으면(911단계의 NO) 상기 이미지 파일에 대한 OCR 처리를 수행하고(913단계), 그에 따른 OCR 데이터 생성을 제어한다(915단계). 그리고 제어부(180)는 생성된 OCR 데이터를 표시하고(917단계), 사용자의 저장 선택에 따라 상기 OCR 데이터의 저장을 제어할 수 있다(919단계). 여기서, 상기 OCR 데이터의 저장은 상기 OCR 데이터의 크기에 따라 상기 이미지 파일의 파일 영역 또는 저장부(150)의 데이터 영역에 저장될 수 있다. 또한 상기 OCR 데이터는 상기 이미지 파일과 서로 매칭되어 저장될 수 있다. 여기서, 상기 OCR 데이터의 표시는 도 7 또는 도 14와 같이 상기 이미지 파일에 대응하는 썸네일 이미지와 상기 이미지 파일에서 추출된 오브젝트를 포함하여 표시될 수 있다.

제어부(180)는 상기 이미지 파일에 대한 OCR 데이터가 존재하면(911단계의 YES) 가이드 표시를 제어할 수 있다(921단계). 예를 들어, 제어부(180)는 선택된 이미지 파일에 대한 OCR 데이터가 존재함을 통지하는 팝업 출력을 제어할 수 있다. 이때, 본 발명에서는 상기 팝업을 통해 상기 OCR 데이터의 표시를 선택할 수 있는 메뉴와, 상기 이미지 파일에 대한 OCR 인식을 새로 시작할 수 있는 메뉴 등이 제공될 수 있다.

제어부(180)는 상기 가이드 표시 후 상기 OCR 데이터의 표시가 선택되면(923단계), 상기 OCR 데이터를 표시하고(925단계), 사용자 요청에 따른 해당 동작 수행을 제어할 수 있다(927단계). 예를 들어, 제어부(180)는 OCR 데이터가 표시된 상태에서 사용자 요청에 따라 OCR 데이터 편집, 다른 이름으로 저장, 또는 상기 이미지 파일에 대한 OCR 인식 처리 등을 수행할 수 있다. 여기서, 본 발명에서는 상기 이미지 파일에 대한 OCR 데이터 존재 시 상기 921단계 및 923단계는 생략되고 상기 OCR 데이터를 표시하는 925단계로 바로 진행될 수도 있다. 그리고 상기 OCR 데이터는 도 7 또는 도 14와 같이 상기 이미지 파일에 대응하는 썸네일 이미지와 오브젝트를 포함하여 표시될 수 있다.

한편, 상기 도 9에서는 901단계 내지 907단계에서와 같이 OCR 모드 실행, 이미지 파일 선택, 이미지 파일 표시 및 OCR 기능 실행 과정으로 이루어지는 것을 예시로 나타내었다. 하지만, 본 발명이 이에 한정되는 것은 아니므로 사용자는 특정 이미지 파일에 대해 OCR 기능을 실행하기 위한 방법은 다양하게 이루어질 수 있다. 예를 들어, 사용자는 이미지 파일 리스트를 표시한 상태에서 이미지 파일을 선택한 후 선택한 이미지 파일에 대한 OCR 기능을 실행하거나, 또는 이미지 파일 리스트가 표시된 상태에서 OCR 모드를 실행한 후 이미지 파일을 선택하여 선택한 이미지 파일에 대한 OCR 기능을 실행할 수도 있다.

도 10은 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 기능 운용 방법을 도시한 흐름도이다.

특히, 상기 도 10에서는 사용자가 복수의 이미지 파일들에 대해 OCR 기능을 실행하는 경우에 있어서, 각 이미지 파일들에 대한 OCR 데이터의 존재 여부에 따라 OCR 기능을 운용하는 동작 예시를 나타낸 것이다.

상기 도 10을 참조하면, 제어부(180)는 사용자 요청에 응답하여 이미지 파일 리스트 표시를 제어하고(1001단계), 상기 이미지 파일 리스트가 표시된 상태에서 OCR 기능 실행이 요청될 시 OCR 기능 실행을 제어할 수 있다(1003단계). 이때, 상기 도 10에서 OCR 기능 실행은 상기 이미지 파일 리스트에 포함된 모든 이미지 파일들에 대하여 OCR 처리를 실행하는 명령일 수 있다.

제어부(180)는 상기 OCR 기능 실행 시 상기 이미지 파일 리스트의 이미지 파일들에 대한 OCR 데이터를 검색하여(1005단계), 이미지 파일들에 대응하는 OCR 데이터가 존재하는지 체크할 수 있다(1007단계). 여기서, 제어부(180)는 각 이미지 파일들의 파일 영역과 저장부(150)의 데이터 영역에서 OCR 데이터를 검색하고, 각 이미지 파일별로 OCR 데이터가 존재하는지 체크할 수 있다.

제어부(180)는 이미지 파일들에 대응하는 OCR 데이터가 존재하지 않으면(1007단계의 NO), 상기 이미지 파일 리스트의 모든 이미지 파일들에 대해 OCR 처리를 수행할 수 있다(1009단계). 그리고 제어부(180)는 모든 이미지 파일들에 대한 OCR 처리가 완료될 시 각 이미지 파일들에 대응하는 OCR 데이터들을 생성하여(1017단계), 저장할 수 있다(1019단계). 여기서, 제어부(180)는 OCR 처리되는 이미지 파일별로 OCR 데이터 생성 및 저장을 순차적으로 수행할 수 있다. 즉, 이미지 파일들에서 하나의 이미지 파일이 OCR 처리 완료될 시 해당 이미지 파일에 대해 생성된 OCR 데이터의 크기에 따라 파일 영역 또는 데이터 영역에 저장한 후, 다음 이미지 파일의 OCR 처리를 수행할 수 있다.

제어부(180)는 이미지 파일들에 대응하는 적어도 하나의 OCR 데이터가 존재하면(1007단계의 YES), OCR 데이터가 있는 이미지 파일을 구분하고(1011단계), OCR 처리 대상 이미지 파일을 선별할 수 있다(1013단계). 즉, 제어부(180)는 OCR 데이터가 있는 이미지 파일과 OCR 데이터가 없는 이미지 파일을 구분하고, OCR 데이터가 없는 이미지 파일을 OCR 처리를 위한 대상 이미지 파일로 결정할 수 있다.

제어부(180)는 선별된 적어도 하나의 이미지 파일에 대해 OCR 처리를 수행할 수 있다(1015단계). 그리고 제어부(180)는 선별된 이미지 파일에 대한 OCR 처리가 완료될 시 OCR 처리된 이미지 파일들에 대응하는 OCR 데이터를 생성하여(1017단계), 저장할 수 있다(1019단계). 여기서, 제어부(180)는 앞서 살펴본 바와 같이 OCR 처리되는 이미지 파일별로 OCR 데이터를 생성하고, 생성하는 OCR 데이터의 크기에 따라 해당 이미지 파일의 파일 영역 또는 저장부(150)의 데이터 영역에 저장할 수 있다.

한편, 상기 도 10에서는 도시 및 설명을 생략하였으나, 상기 OCR 데이터 검색에서 이미지 파일 리스트의 모든 이미지 파일들에 대응하는 OCR 데이터가 각각 존재할 시, 그에 따른 가이드 표시를 제어할 수 있다. 예를 들어, 제어부(180)는 설정된 팝업을 통해 "모든 이미지 파일들에 대한 OCR 데이터가 존재합니다. 재수행 하시겠습니까?" 등의 가이드 표시를 제어한 후 사용자 선택에 따라 OCR 처리를 수행하거나 OCR 기능을 종료할 수도 있다.

도 11은 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 기능 운용 방법을 도시한 흐름도이다.

특히, 상기 도 11에서는 사용자 디바이스에 저장된 이미지 파일들에서 사용자가 원하는 오브젝트(문자(열) 또는 텍스트)를 포함하고 있는 이미지 파일만을 추출하여 리스트 업 하고자 하는 경우의 동작 예시를 나타낸 것이다.

상기 도 11을 참조하면, 제어부(180)는 이미지 파일들에서 특정 오브젝트(예컨대, 문자(열), 텍스트)를 가지는 이미지 파일의 리스트 업을 위한 오브젝트 검색을 요청하는 입력을 수신할 수 있다(1101단계). 예를 들어, 사용자는 사용자 디바이스에 저장된 수많은 이미지 파일들 중에서 "LOVE" 문자를 가지는 이미지 파일만을 추출하여 리스트 업 하고자 할 수 있다. 이에, 사용자는 메뉴 조작 등을 통해 이미지 파일의 오브젝트 검색 기능 실행을 입력하고, 오브젝트 검색 기능 실행 시 검색어 입력창에서 희망하는 검색어인 "LOVE"를 입력할 수 있다. 상기 이미지 파일의 오브젝트 검색 기능은 앞서 살펴본 바와 같은 이미지 파일 리스트에서 메뉴 조작을 통해 검색 옵션을 선택하는 등에 의해 이루어질 수 있다.

제어부(180)는 사용자 입력에 따라 오브젝트 검색이 요청될 시 이미지 파일들에 대한 OCR 데이터를 검색하여(1103단계), 이미지 파일들에 대응하는 OCR 데이터가 존재하는지 체크할 수 있다(1105단계). 여기서, 제어부(180)는 각 이미지 파일들의 파일 영역과 저장부(150)의 데이터 영역에서 OCR 데이터를 검색하고, 각 이미지 파일별로 OCR 데이터가 존재하는지 체크할 수 있다.

제어부(180)는 이미지 파일들에 대응하는 OCR 데이터가 존재하지 않으면(1105단계의 NO), 상기 이미지 파일 리스트의 모든 이미지 파일들에 대해 OCR 처리를 수행할 수 있다(1107단계). 그리고 제어부(180)는 OCR 처리를 통해 생성된 OCR 데이터를 파싱(parsing)하여 사용자 요청에 따른 오브젝트(예컨대, "LOVE")를 검색할 수 있다(1115단계). 그리고 제어부(180)는 OCR 데이터들 중에서 상기 오브젝트(예컨대, "LOVE")를 포함하는 OCR 데이터를 추출하고, 상기 OCR 데이터에 대응하는 적어도 하나의 이미지 파일을 리스트 업하여 표시할 수 있다(1117단계). 여기서, 상기 리스트 업되는 화면 예시가 후술하는 도 13에 나타나 있다.

제어부(180)는 이미지 파일들에 대응하는 OCR 데이터가 존재하면(1105단계의 YES), 상기 이미지 파일들과 검색된 OCR 데이터가 서로 일대일 대응되는지 판별할 수 있다(1109단계). 즉, 제어부(180)는 모든 이미지 파일들 별로 OCR 데이터가 존재하는지 비교할 수 있다.

제어부(180)는 이미지 파일들과 OCR 데이터가 서로 일치되면(1109단계의 YES) 후술하는 1115단계로 진행하여 이하의 과정을 제어할 수 있다.

제어부(180)는 이미지 파일들과 OCR 데이터가 서로 일치되지 않으면(1109단계의 NO) OCR 데이터를 가지지 않는 이미지 파일을 추출할 수 있다(1111단계). 예를 들어, 제어부(180)는 OCR 데이터가 있는 이미지 파일과 OCR 데이터가 없는 이미지 파일을 구분하고, OCR 데이터가 없는 이미지 파일을 OCR 처리를 위한 대상 이미지 파일로 추출할 수 있다.

제어부(180)는 추출된 이미지 파일에 대해 OCR 처리를 수행할 수 있다(1113단계). 즉, 제어부(180)는 OCR 데이터를 가지지 않는 OCR 데이터를 추출하고, OCR 기능을 실행하여 상기 추출된 이미지 파일에 대한 OCR 처리를 수행한다.

제어부(180)는 OCR 처리가 완료될 시 이전에 생성되어 저장된 OCR 데이터와 상기 OCR 처리를 통해 생성된 OCR 데이터를 파싱하여 사용자 요청에 따른 오브젝트(예컨대, "LOVE")를 검색할 수 있다(1115단계). 그리고 제어부(180)는 OCR 데이터들 중에서 상기 오브젝트(예컨대, "LOVE")를 포함하는 OCR 데이터를 추출하고, 추출된 OCR 데이터에 대응하는 적어도 하나의 이미지 파일을 리스트 업하여 표시할 수 있다(1117단계). 여기서, 상기 리스트 업되는 화면 예시가 후술하는 도 13에 나타나 있다.

도 12는 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 기능 운용 방법을 도시한 흐름도이다.

특히, 상기 도 12에서는 앞서 도 11에서 살펴본 바와 같은 리스트 업 시 이미지 파일에 대응하는 OCR 데이터를 추출하고 추출된 OCR 데이터에서 사용자 요청에 따른 오브젝트를 추출하는 동작 예시를 나타낸 것이다. 여기서, 상기 도 12에서는 하나의 이미지 파일에서 오브젝트를 추출하는 동작을 예시로 하여 도시하였으나, 상기 도 12의 절차에 따라 상기 도 11에서와 같이 복수의 이미지 파일들에서 오브젝트를 추출할 수 있다.

상기 도 12를 참조하면, 제어부(180)는 이미지 파일들에서 특정 오브젝트(예컨대, 문자(열), 텍스트)를 가지는 이미지 파일의 리스트 업을 위한 오브젝트 검색을 요청하는 입력을 수신할 수 있다(1201단계). 예를 들어, 사용자는 사용자 디바이스에 저장된 수많은 이미지 파일들 중에서 "LOVE" 문자를 가지는 이미지 파일만을 추출하여 리스트 업 하고자 할 수 있다. 이에, 사용자는 메뉴 조작 등을 통해 이미지 파일의 오브젝트 검색 기능 실행을 입력하고, 오브젝트 검색 기능 실행 시 검색어 입력창에서 희망하는 검색어인 "LOVE"를 입력할 수 있다. 상기 이미지 파일의 오브젝트 검색 기능은 앞서 살펴본 바와 같은 이미지 파일 리스트에서 메뉴 조작을 통해 검색 옵션을 선택하는 등에 의해 이루어질 수 있다.

제어부(180)는 사용자 입력에 따라 오브젝트 검색이 요청될 시 이미지 파일의 파일 영역을 체크하여(1203단계), OCR 데이터가 존재하는지 확인할 수 있다(1205단계).

제어부(180)는 이미지 파일의 파일 영역에 OCR 데이터가 존재하면(1205단계의 YES) 상기 OCR 데이터에서 사용자 요청에 따른 오브젝트(예컨대, "LOVE")를 추출할 수 있다(1217단계). 여기서, 제어부(180)는 상기 OCR 데이터에서 상기 오브젝트(예컨대, "LOVE")가 추출되지 않으면 상기 1203단계로 진행하여 다음 이미지 파일에서 오브젝트 검색을 수행할 수 있다. 또한 제어부(180)는 상기 OCR 데이터에서 상기 오브젝트(예컨대, "LOVE")가 추출된 경우 상기 오브젝트 검색 과정이 모든 이미지 파일들에 대해 이루어졌는지 판단할 수 있다. 그리고 제어부(180)는 모든 이미지 파일들에 대해 오브젝트 검색 과정이 이루어진 경우 OCR 데이터들 중에서 상기 오브젝트(예컨대, "LOVE")를 포함하는 OCR 데이터의 이미지 파일로 이루어진 리스트 표시를 제어할 수 있다(1219단계). 또한 제어부(180)는 모든 이미지 파일들에 대해 오브젝트 검색 과정이 이루어지지 않은 경우 상기 오브젝트가 추출된 OCR 데이터(또는 이미지 파일)의 정보를 임시적으로 누적 저장하고, 상기 1203단계로 진행하여 다음 이미지 파일에서 오브젝트 검색을 수행할 수 있다.

제어부(180)는 이미지 파일의 파일 영역에 OCR 데이터가 존재하지 않으면(1205단계의 NO) 데이터 영역을 체크하여(1207단계), 상기 이미지 파일에 매칭된 OCR 데이터가 존재하는지 확인할 수 있다(1209단계).

제어부(180)는 데이터 영역에 상기 이미지 파일에 매칭된 OCR 데이터가 존재하면(1209단계의 YES) 상기 OCR 데이터에서 사용자 요청에 따른 오브젝트(예컨대, "LOVE")를 추출할 수 있다(1217단계). 여기서, 제어부(180)는 상기 OCR 데이터에서 상기 오브젝트(예컨대, "LOVE")가 추출되지 않으면 상기 1203단계로 진행하여 다음 이미지 파일에서 오브젝트 검색 수행을 제어하고, 또한 제어부(180)는 상기 OCR 데이터에서 상기 오브젝트(예컨대, "LOVE")가 추출된 경우 앞서 살펴본 바와 같은 절차에 따라 상기 오브젝트(예컨대, "LOVE")를 포함하는 OCR 데이터의 이미지 파일로 이루어진 리스트 표시를 제어할 수 있다(1219단계).

제어부(180)는 이미지 파일의 파일 영역 및 데이터 영역에 이미지 파일에 대응하는 OCR 데이터가 존재하지 않으면(1209단계의 NO) OCR 기능을 실행하여(1211단계) 이미지 파일에 대한 OCR 처리를 수행할 수 있다(1213단계).

제어부(180)는 OCR 처리가 완료될 시 이미지 파일에 대한 OCR 데이터를 생성 및 저장하고(1215단계) 상기 OCR 데이터에서 사용자 요청에 따른 오브젝트(예컨대, "LOVE")를 추출할 수 있다(1217단계). 여기서, 제어부(180)는 상기 OCR 데이터에서 상기 오브젝트(예컨대, "LOVE")가 추출되지 않으면 상기 1203단계로 진행하여 다음 이미지 파일에서 오브젝트 검색 수행을 제어하고, 또한 제어부(180)는 상기 OCR 데이터에서 상기 오브젝트(예컨대, "LOVE")가 추출된 경우 앞서 살펴본 바와 같은 절차에 따라 상기 오브젝트(예컨대, "LOVE")를 포함하는 OCR 데이터의 이미지 파일로 이루어진 리스트 표시를 제어할 수 있다(1219단계).

도 13은 본 발명의 실시 예에 따른 사용자 디바이스에서 이미지 파일 리스트가 제공되는 화면 예시를 도시한 도면이다.

상기 도 13을 참조하면, 상기 도 13은 앞서 도 11 및 도 12를 참조한 설명 부분에서 설명한 바와 같은 절차에 따라 사용자 요청에 따른 오브젝트를 포함하는 이미지 파일이 추출되어 표시중일 때의 사용자 디바이스의 화면 예시를 나타낸 것이다. 예를 들어, 사용자로부터 입력되는 검색어에 따라 오브젝트의 검색 명령이 발생하면, 이미지 파일의 OCR 데이터를 파싱하여 요청된 오브젝트(예컨대, "LOVE")를 포함하는 이미지 파일을 추출하고, 추출된 이미지 파일의 리스트 화면이 제공될 수 있다. 상기 도 13에 도시된 바와 같이, 상기 리스트는 이미지 파일을 대표하는 썸네일 이미지와 해당 이미지 파일의 오브젝트(일부 또는 전체)가 하나의 그룹으로 제공될 수 있다.

도 14는 본 발명의 실시 예에 따른 사용자 디바이스에서 OCR 데이터가 제공되는 화면 예시를 도시한 도면이다.

상기 도 14를 참조하면, 상기 도 14는 사용자 디바이스에 저장된 OCR 데이터들 중 사용자 선택에 따른 특정 OCR 데이터 또는 이미지 파일의 OCR 처리에 따라 생성하는 OCR 데이터가 표시중일 때의 사용자 디바이스의 화면 예시를 나타낸 것이다.

또한 상기 도 14와 같은 OCR 데이터의 화면은 상기 도 13과 같이 리스트가 표시된 상태에서 사용자로부터 특정 항목이 선택될 시 상기 도 14와 같은 화면이 표시될 수 있다. 즉, 상기 리스트에서 특정 항목이 선택(터치)될 시 상기 도 13에 나타난 화면은 도 14와 같이 전환된다. 상기 도 14에 도시된 바와 같이, 상기 COR 데이터는 이미지 파일에 대응하는(또는 대표하는) 썸네일 이미지와 이미지 파일에서 추출된 오브젝트(문자(열), 텍스트)가 함께 제공될 수 있다. 또는 사용자 선택에 따라 썸네일 이미지 표시는 생략되고, 오브젝트만이 표시될 수도 있다.

한편, 상술한 바와 같은 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 무선 통신부 120: 사용자 입력부
130: 표시부 140: 오디오 처리부
150: 저장부 160: 인터페이스부
170: 카메라 모듈 180: 제어부
190: 전원 공급부

Claims

OCR(Optical Character Reader)을 이용한 데이터 처리 방법에 있어서,
각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하는 과정;
오브젝트의 검색 명령을 수신하는 과정;
저장된 OCR 데이터들로부터 상기 오브젝트를 추출하는 과정;
상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 선별하는 과정; 및
상기 선별된 OCR 데이터에 대응하는 이미지 파일의 리스트를 표시하는 과정을 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제1항에 있어서, 상기 저장하는 과정은
이미지 파일에 대응하는 OCR 데이터를 획득하는 과정;
상기 획득된 OCR 데이터의 크기와 상기 이미지 파일의 파일 영역의 크기를 비교하는 과정;
상기 OCR 데이터의 크기가 상기 파일 영역의 크기보다 작거나 같은 경우 상기 OCR 데이터를 상기 파일 영역에 저장하는 과정; 및
상기 OCR 데이터의 크기가 상기 파일 영역의 크기보다 큰 경우 상기 OCR 데이터를 상기 이미지 파일과 매칭하여 데이터 영역에 저장하는 과정을 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제2항에 있어서, 상기 데이터 영역에 저장하는 과정은
상기 이미지 파일과 상기 이미지 파일의 OCR 데이터가 서로 연계되도록 상기 이미지 파일의 파일 정보 및 상기 OCR 데이터가 저장되는 주소 정보를 매칭하여 저장하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제2항에 있어서, 상기 추출하는 과정은
상기 각 이미지 파일들에 대응하는 OCR 데이터의 존재 여부를 확인하는 과정;
OCR 데이터가 존재하지 않으면 OCR 처리를 통해 각 이미지 파일들에 대응하는 OCR 데이터를 획득하는 과정; 및
상기 획득된 OCR 데이터들을 파싱하여 상기 오브젝트를 추출하는 과정을 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제4항에 있어서, 상기 추출하는 과정은
OCR 데이터가 존재하면 OCR 데이터와 이미지 파일이 일대일 대응되는지 판단하는 과정;
이미지 파일들과 OCR 데이터가 서로 일치되지 않으면 OCR 데이터를 가지지 않는 대상 이미지 파일을 선별하는 과정;
상기 대상 이미지 파일에 대해 OCR 처리를 수행하는 과정; 및
상기 OCR 처리가 완료될 시 이전에 저장된 OCR 데이터와 상기 OCR 처리를 통해 생성된 OCR 데이터를 파싱하여 상기 오브젝트를 추출하는 과정을 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제1항에 있어서,
상기 이미지 파일들에 대한 OCR 처리가 요청될 시 OCR 데이터를 가지는 이미지 파일과 OCR 데이터를 가지지 않는 이미지 파일을 구분하는 과정;
상기 OCR 데이터를 가지지 않는 이미지 파일을 OCR 처리를 위한 대상 이미지 파일로 선별하는 과정; 및
상기 선별된 대상 이미지 파일에 대해 OCR 처리를 수행하는 과정을 더 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제1항에 있어서, 상기 추출하는 과정은
상기 오브젝트의 검색 명령에 응답하여 이미지 파일의 파일 영역을 체크하여 OCR 데이터가 존재하는지 확인하는 과정; 및
상기 파일 영역에 OCR 데이터가 없으면 데이터 영역을 체크하여 상기 이미지 파일에 매칭된 OCR 데이터가 존재하는지 확인하는 과정을 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제7항에 있어서, 상기 추출하는 과정은
상기 파일 영역 또는 상기 데이터 영역에 OCR 데이터가 존재하면 상기 OCR 데이터에서 상기 오브젝트를 추출하는 과정; 및
상기 OCR 데이터에서 상기 오브젝트가 추출되지 않으면 다음 이미지 파일에 대한 오브젝트 검색을 수행하는 과정을 더 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제7항에 있어서, 상기 추출하는 과정은
상기 OCR 데이터에서 상기 오브젝트가 추출된 경우 오브젝트 검색 과정이 모든 이미지 파일들에 대해 이루어졌는지 판단하는 과정;
모든 이미지 파일들에 대해 오브젝트 검색 과정이 이루어진 경우 OCR 데이터들 중에서 상기 오브젝트를 포함하는 OCR 데이터의 이미지 파일로 이루어진 상기 리스트를 표시하는 과정; 및
모든 이미지 파일들에 대해 오브젝트 검색 과정이 이루어지지 않은 경우 상기 오브젝트가 추출된 OCR 데이터의 정보를 누적 저장하고, 다음 이미지 파일에 대한 오브젝트 검색을 수행하는 과정을 포함하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
제2항에 있어서, 상기 OCR 데이터는
상기 이미지 파일의 촬영 시점에서 OCR 처리를 통해 획득하는 것을 특징으로 하는 OCR을 이용한 데이터 처리 방법.
사용자 디바이스에 있어서,
이미지 파일, 이미지 파일들의 리스트, 그리고 OCR 데이터 중 사용자 요청과 관련된 화면 인터페이스를 표시하는 표시부;
이미지 파일과 상기 이미지 파일에 매칭되는 OCR 데이터를 저장하는 저장부; 및
각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하고, 오브젝트의 검색 명령이 수신될 시 상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 구분하며, 구분된 OCR 데이터에 대응하는 이미지 파일의 리스트 표시를 제어하는 제어부를 포함하는 것을 특징으로 하는 사용자 디바이스.
제11항에 있어서, 상기 제어부는
상기 OCR 데이터의 크기에 따라 이미지 파일의 파일 영역에 상기 OCR 데이터를 저장하거나, 또는 상기 저장부의 데이터 영역에 이미지 파일과 매칭하여 상기 OCR 데이터를 저장하도록 제어하는 것을 특징으로 하는 사용자 디바이스.
제12항에 있어서, 상기 제어부는
OCR 기능 실행 시 OCR 데이터를 가지는 이미지 파일과 OCR 데이터를 가지지 않는 이미지 파일을 구분하고, OCR 데이터를 가지지 않는 이미지 파일을 OCR 처리를 위한 대상 이미지 파일로 선별한 후, 선별된 대상 이미지 파일에 대해서만 OCR 처리를 수행하는 것을 특징으로 하는 사용자 디바이스.
제11항에 있어서, 상기 저장부는
상기 이미지 파일과 상기 이미지 파일의 OCR 데이터가 서로 연계되도록 상기 이미지 파일의 파일 정보 및 상기 OCR 데이터가 저장되는 주소 정보를 매칭된 매핑 테이블을 저장하는 것을 특징으로 하는 사용자 디바이스.
각 이미지 파일들로부터 OCR 데이터들을 획득하여 저장하고, 오브젝트의 검색 명령이 수신될 시 상기 OCR 데이터들 중 상기 오브젝트를 포함하는 OCR 데이터를 구분하고, 구분된 OCR 데이터에 대응하는 이미지 파일의 리스트 표시를 처리하며, 상기 OCR 데이터 저장 시 OCR 데이터의 크기에 따라 이미지 파일의 파일 영역 또는 저장부의 데이터 영역에 이미지 파일과 매칭하여 저장되도록 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.