KR20200100027A - 텍스트 기반 이미지 검색 방법 및 장치 - Google Patents

Abstract

본 발명은, 적어도 하나 이상의 텍스트를 포함하는 오브젝트를 촬영하는 단계; 상기 촬영된 오브젝트를 포함하는 이미지를 표시하는 단계; 상기 표시된 이미지에서 상기 텍스트를 추출하는 단계; 상기 추출된 텍스트 중 적어도 일부를 상기 이미지에 대한 태그어로 설정하는 단계; 사용자 입력에 따라서 상기 이미지를 상기 태그어에 매칭하여 이미지 파일로 저장하는 단계; 상기 저장된 이미지 파일을 포함한 복수의 이미지 파일들을 관리하는 갤러리 기능을 실행하는 단계; 및 상기 복수의 이미지 파일 중 적어도 하나의 이미지 파일을 텍스트 기반으로 검색하는 검색 기능을 제공하는 단계를 포함한다.

Description

텍스트 기반 이미지 검색 방법 및 장치{METHOD AND DEVICE FOR TEXT-BASED IMAGE RETRIEVAL}

본 발명은, 텍스트 기반 이미지 검색 방법 및 장치에 관한 것이다. 보다 상세하게는, 이미지 내에서 검출한 텍스트를 기반으로 이미지를 검색하는 방법 및 장치에 관한 것이다.

최근 들어, 디지털 문서의 중요성이 부각되면서 광학 문자 인식(Optical Character Recognition, 이하, 'OCR'이라 칭함) 기술에 대한 필요성이 점점 증대되고 있다.

OCR이란, 일반적으로 종이 등에 인쇄되거나 수서(handwritten)된 문자, 기호, 마크 등을 광학적 수단에 의해 인식하여 컴퓨터 텍스트로 변환하는 기술을 말한다.

즉, OCR은 많은 양의 종이 문서를 디지털 문서로 변환해 주는 기술로서, 스캐너 혹은 카메라 등의 광학 기기에 의해 생성된 이미지에 포함된 문자를 컴퓨터 등의 디지털 기기로 편집할 수 있는 문자로 변환하는 일련의 과정을 의미한다.

한편, 급속한 인터넷의 발전과 각종 단말들의 용량 증가로 많은 이미지 문서나 도면, 기타 이미지 파일들이 등장하였고, 디지털 카메라 등으로 촬영되어 생성된 이런 이미지들을 효과적으로 검색하고 검색된 정보를 손쉽게 추출할 수 있는 수단의 필요성이 대두되었다.

또한, 텍스트 정보가 포함된 다양한 이미지로부터 텍스트 정보를 추출하여 사용하기 위해서, 종래에는 상기 이미지를 다운로드 한 후 전용 OCR 프로그램을 이용하여 텍스트 정보로 변환한 후 별도의 편집 프로그램을 이용하여 필요한 정보를 검색하거나 복사해야 했다.

그러나 현실적으로 개인이 OCR 전용 프로그램을 구비하는 것이 어렵고, 만약 OCR 프로그램을 구비한 경우에도 OCR을 통한 번역 및 교정이라는 절차를 수행하기 위해 전문가 수준의 사용 방법을 알아야만 한다.

KR 10-2015-0070153 A

사용자들이 이미지에서 텍스트를 추출하거나 텍스트가 포함된 이미지 파일을 관리하기 위하여 이미지 파일을 눈으로 직접 확인한 후 텍스트 정보를 옮겨 적거나 전체 내용을 일일이 확인하여 필요한 정보를 찾아야 하므로 이미지 파일의 열람과 검색에 어려움이 많다.

특히, 저장해놓은 이미지 파일들 중 특정 이미지 파일을 찾으려고 했을 때, 날짜나 폴더를 통해 구분을 해놓지 않은 경우, 전체 이미지 파일을 일일이 스캔해서 수동으로 직접 찾아야 한다.

따라서, 본 발명은, 여러 이미지들 중 찾고자 하는 이미지를 효과적으로 검색할 수 있는 텍스트 기반 이미지 검색 방법 및 장치를 제공하고자 한다.

또한, 본 발명의 실시예는, 카메라로 센싱 중인 이미지로부터 텍스트를 검출하여 신속한 텍스트 검출을 가능케 하는 것을 목적으로 한다.

또한, 본 발명의 실시예는, 디지털화 과정을 거쳐 보관된 이미지 파일 관리의 실용성을 높일 수 있도록 효과적인 이미지 검색 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명의 실시예는, 이미지 파일에 포함된 텍스트 추출시 발생할 수 있는 개인정보 노출 문제를 해결하기 위하여 프라이버시 기능을 제공하는 것을 목적으로 한다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

적어도 하나 이상의 텍스트를 포함하는 오브젝트를 촬영하는 단계; 상기 촬영된 오브젝트를 포함하는 이미지를 표시하는 단계; 상기 표시된 이미지에서 상기 텍스트를 추출하는 단계; 상기 추출된 텍스트 중 적어도 일부를 상기 이미지에 대한 태그어로 설정하는 단계; 사용자 입력에 따라서 상기 이미지를 상기 태그어에 매칭하여 이미지 파일로 저장하는 단계; 상기 저장된 이미지 파일을 포함한 복수의 이미지 파일들을 관리하는 갤러리 기능을 실행하는 단계; 및 상기 복수의 이미지 파일 중 적어도 하나의 이미지 파일을 텍스트 기반으로 검색하는 검색 기능을 제공하는 단계를 포함한다.

이때, 상기 추출된 텍스트 중 적어도 일부를 상기 이미지에 대한 태그어로 설정하는 단계는, 상기 텍스트를 포함하는 영역을 추출하여 태그어 인식영역으로 설정하고, 상기 태그어 인식영역을 상기 이미지 상에 표시하는 단계를 포함한다.

또한, 상기 태그어 인식영역에서 추출된 상기 텍스트를 임시 태그어로 표시하는 단계를 더 포함하고, 상기 임시 태그어를 수정하는 수정 인터페이스를 제공하는 단계를 더 포함한다.

한편, 상기 추출된 텍스트 중 적어도 일부를 상기 이미지에 대한 태그어로 설정하는 단계는, 상기 이미지 저장시 상기 이미지에 포함된 텍스트 중 적어도 일부에 대한 노출유무를 선택하는 프라이버시 모드를 제공하는 단계를 더 포함한다.

또한, 상기 프라이버시 모드를 제공하는 단계는, 복수의 태그어 인식영역 중 적어도 하나 이상의 태그어 인식영역을 블러영역으로 설정하는 단계를 포함한다.

그리고 상기 설정된 블러영역의 해상도를 낮춰 블러 이미지 파일을 생성하는 단계와, 상기 블러영역 설정 전 원본 이미지 파일과, 상기 생성된 블러 이미지 파일과, 상기 태그어를 매칭하여 저장하는 단계를 더 포함한다.

한편, 상기 갤러리 기능을 실행하는 단계는, 상기 저장된 블러 이미지 파일을 제공하는 단계를 포함한다.

이때, 상기 갤러리 기능을 실행하는 단계는, 상기 블러 이미지 파일에 대한 보안을 해제하는 단계와, 상기 보안 해제가 완료되면, 상기 원본 이미지 파일을 제공하는 단계를 더 포함한다.

또한, 상기 표시된 이미지에서 상기 텍스트를 추출하는 단계는, 상기 표시된 이미지를 실시간으로 센싱하는 중에 상기 텍스트를 추출한다.

또한, 상기 이미지 파일을 텍스트 기반으로 검색하는 검색 기능을 제공하는 단계는, 상기 사용자로부터 검색어를 입력받는 단계; 상기 입력된 검색어를 저장된 태그어들과 비교하는 단계; 상기 검색어와 매칭되는 특정 태그어를 추출하는 단계; 상기 추출된 특정 태그어에 매칭되는 이미지 파일을 검출하는 단계; 및 상기 검출된 상기 이미지 파일을 표시하는 단계를 더 포함한다.

한편, 적어도 하나 이상의 텍스트를 포함하는 오브젝트를 촬영하는 카메라; 상기 촬영된 오브젝트를 포함하는 이미지를 표시하는 디스플레이; 상기 표시된 이미지 중 셔터입력시 생성된 이미지 파일을 저장하는 메모리; 상기 표시된 이미지에서 상기 텍스트를 추출하는 프로세서를 포함하고, 상기 프로세서는, 상기 추출된 텍스트 중 적어도 일부를 상기 이미지에 대한 태그어로 설정하고, 상기 이미지를 상기 태그어에 매칭하여 이미지 파일로 상기 메모리에 저장하도록 제어하며, 상기 프로세서는, 상기 저장된 이미지 파일을 포함한 복수의 이미지 파일들을 관리하는 갤러리 기능을 제공하고, 상기 복수의 이미지 파일 중 적어도 하나의 이미지 파일을 텍스트 기반으로 검색하는 검색 기능을 제공하는 텍스트 기반 이미지 검색 장치를 포함한다.

본 발명의 실시예에 따른 텍스트 기반 이미지 검색 방법 및 장치는, 이미지의 저장시 상기 이미지에 미리 매칭시킨 태그어를 이용함으로써, 원하는 이미지를 손쉽고 빠르게 찾을 수 있는 장점이 있다.

또한, 본 발명의 실시예에 따른 텍스트 기반 이미지 검색 방법 및 장치는, 이미지로부터 신속하게 텍스트를 검출할 수 있고, 상기 검출된 텍스트를 매칭시켜 이미지 파일을 보관하여 관리의 실용성을 높이는 효과가 있다. 자세히, 본 발명의 실시예는, 셔터입력 전 이미지 센싱 중에 미리 센싱 이미지와 관련된 텍스트들을 추출하고, 추출된 텍스트들에 기반하여 태그어 설정을함으로써, 이미지 저장 후 별도의 이미지 파일에 대한 태그어 설정이 필요없어 사용자 편의를 향상시킬 수 있고 신속하게 이미지를 저장할 수 있다.

또한, 본 발명의 실시예에 따른 텍스트 기반 이미지 검색 방법 및 장치는, 이미지 파일에 포함된 텍스트의 일부에 대한 노출유무를 선택함으로써, 개인 프라이버시를 보호할 수 있다.

도 1은 본 발명의 실시예에 따른 단말의 사시도이다.
도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 텍스트 기반 이미지 검색 방법을 설명하기 위한 단말의 흐름도이다.
도 4는 본 발명의 실시예에 따른 카메라 어플리케이션을 실행하여 센싱 중인 이미지를 표시하는 단말을 나타낸다.
도 5는 본 발명의 실시예에 따른 이미지 내의 텍스트를 인식할 영역을 설정하는 모습을 나타낸다.
도 6은 본 발명의 실시예에 따른 임시 태그어를 표시하는 사용자 인터페이스 화면을 나타낸다.
도 7은 본 발명의 실시예에 따른 임시 태그어를 수정하는 사용자 인터페이스 화면을 나타낸다.
도 8은 본 발명의 실시예에 따른 카메라 어플리케이션을 실행하여 센싱 중인 여권 이미지를 표시하는 단말을 나타낸다.
도 9는 본 발명의 실시예에 따른 복수의 텍스트 인식영역을 표시하는 모습을 나타낸다.
도 10은 본 발명의 실시예에 따른 적어도 하나 이상의 태그어 인식영역을 설정하는 모습을 나타낸다.
도 11은 본 발명의 실시예에 따른 적어도 하나 이상의 태그어 인식영역을 기반으로 임시 태그어를 표시하는 사용자 인터페이스 화면을 나타낸다.
도 12는 본 발명의 실시예에 따른 적어도 하나 이상의 태그어 인식영역을 블러영역으로 설정하는 모습을 나타낸다.
도 13은 본 발명의 실시예에 따른 블러영역을 블러처리한 이미지 파일을 나타낸다.
도 14는 본 발명의 실시예에 따른 블러 이미지 및 원본 이미지에 태그어를 매칭시키는 개념도이다.
도 15는 본 발명의 실시예에 따른 태그어 기반의 검색 기능을 제공하는 갤러리의 모습을 나타낸다.
도 16은 본 발명의 실시예에 따른 태그어 기반의 검색 결과를 표시하는 단말의 모습을 나타낸다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

- 단말

도 1은 본 발명의 실시예에 따른 단말의 사시도이고, 도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.

도 1 내지 2를 참조하면, 단말(100)은, 통신부(110), 입력부(120), 디스플레이(130), 카메라(140), 메모리(150) 및 프로세서(160)를 포함할 수 있다.

먼저, 통신부(110)는, 텍스트 기반 이미지 검색 기능과 관련한 데이터 처리 중 일부를 임의의 서버에서 수행할 경우, 관련 데이터를 임의의 서버와 송수신하는 역할을 할 수 있다.

이러한 통신부(110)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말(100), 임의의 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.

또한, 입력부(120)는, 텍스트 기반 이미지 검색 기능과 관련된 사용자의 입력을 감지할 수 있다.

예를 들어, 입력부(120)는, 사용자의 태그어 인식영역 입력, 임시 태그어 수정 입력 및/또는 블러영역 설정 입력 등을 감지할 수 있다.

또한, 디스플레이(130)는, 이미지 촬영 및 텍스트 기반 이미지 파일 검색 기능과 관련된 그래픽 이미지를 출력할 수 있다.

이러한 디스플레이(130)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

그리고 상기 입력부(120) 및 상기 디스플레이(130)는, 터치 스크린에 결합되어 구현될 수 있다.

또한, 메모리(150)는, 카메라(140)를 통해 촬영된 이미지를 촬영 시 설정한 태그어와 매칭하여 이미지 파일로 저장할 수 있다.

또한, 메모리(150)는, 추후에 사용자가 태그어를 기반으로 검색할 경우, 상기 태그어에 매칭된 이미지 파일이 함께 추출되도록 할 수 있다.

이러한 메모리(150)는, 본 발명의 실시예에 따른 기능 동작에 필요한 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

실시예로, 메모리(150)는, 이미지를 촬영하기 위한 어플리케이션을 저장할 수 있고, 텍스트를 기반으로한 이미지 파일의 검색에 필요한 각종 데이터 및 명령어 등을 저장할 수 있다.

또한, 메모리(150)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 인터넷(internet)상에서 상기 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

또한, 카메라(140)는, 외부의 오브젝트를 촬영하여 오브젝트의 형상을 포함하는 이미지를 획득할 수 있다.

또한, 카메라(140)는, 획득한 이미지를 전기 신호로 변환하고 영상처리하여 디스플레이(130)나 메모리(150)로 송신할 수 있다.

다음으로, 프로세서(160)는, 전술한 각 유닛의 전반적인 동작을 제어하고 구동할 수 있다.

즉, 프로세서(160)는, 텍스트 기반의 이미지 검색 기능 및/또는 카메라(140) 촬영 기능을 위한 각 유닛의 전반적인 동작을 컨트롤할 수 있다.

이러한 프로세서(160)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(160)(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

또한, 이러한 단말(100)은, 상기 텍스트 기반 이미지 검색 기능을 제공하는 어플리케이션이 설치된 휴대용 단말(100)일 수 있으며, 스마트 폰, 디지털방송용 단말(100)기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass) 등을 포함할 수 있다.

- 텍스트 기반 이미지 검색 방법

도 3은 본 발명의 실시예에 따른 텍스트 기반 이미지 검색 방법을 설명하기 위한 단말(100)의 흐름도이다.

도 3을 참조하면, 단말(100)은, 텍스트 기반의 검색 기능을 제공하는 카메라 어플리케이션을 실행할 수 있다. (S101)

자세히, 사용자는 특정 사물을 촬영하여 이미지로 저장하고자 할 때, 카메라 어플리케이션을 실행할 수 있다. 특히, 사용자는 텍스트를 포함하는 이미지를 저장할 수 있으며, 텍스트를 포함하는 이미지의 적어도 일부는 특정 문서로서, 특정상황에 사용자에게 필요할 수 있다.

또한, 단말(100)은, 상기 카메라 어플리케이션 내의 태그어 매칭 촬영모드를 활성화할 수 있다. (S102)

자세히, 도 4를 참조하면, 단말(100)은, 사용자의 태그어 매칭 촬영모드 버튼(10) 입력을 감지하여 태그어 매칭 촬영모드를 활성화할 수 있다.

이때, 상기 태그어란, 태그어 매칭 촬영모드를 통해 촬영한 이미지 파일을 검색하는데 기반이 되는 텍스트를 의미한다. 좀더 자세히, 태그어는, 임의의 이미지 촬영 시, 이미지에 포함된 텍스트를 기반으로 자동 및/또는 사용자 설정에 의해 생성되며, 이미지 저장확정 시 생성되는 임의의 이미지 파일에 매칭되어 저장되는 텍스트를 지칭할 수 있다.

또한, 상기 태그어는, 이미지 파일에 매칭되어 저장될 수 있고, 텍스트(즉, 검색어)를 기반으로 이미지 파일 검색하는데 이용될 수 있다.

자세히, 사용자가 텍스트를 입력하여 이미지 파일을 검색하면, 상기 단말(100)은, 상기 사용자가 입력한 텍스트에와 저장된 태그어들을 비교하여 텍스트에 매칭되는 태그어를 추출하고, 상기 추출된 태그어에 매칭된 이미지 파일을 함께 검출함으로써, 텍스트 기반 이미지 검색기능을 제공할 수 있다.

또한, 상기 태그어 매칭 촬영모드란, 임의의 이미지 촬영 시, 상기 태그어를 생성하는 기능을 활성화한 카메라(140) 촬영모드로 정의할 수도 있다.

그리고 상기 태그어 매칭 촬영모드를 활성화한 단말(100)은, 카메라(140)가 센싱 중인 이미지 내의 오브젝트에서 태그어를 검출한 후 설정할 수 있다. (S103)

자세히, 실시예에서, 단말(100)은, 카메라(140)가 센싱 중인 이미지(이하, 이미지로 기재)를 디스플레이할 수 있다.

또한, 도 5를 참조하면, 단말(100)은, 상기 이미지 내에서 텍스트를 인식할 태그어 인식영역(20)을 설정할 수 있다.

실시예에서, 태그어 인식영역(20)은, 촬영 중인 이미지를 이미지 처리하여 텍스트가 추출된 적어도 하나 이상의 영역을 의미할 수 있고, 사용자의 입력을 기반으로 설정된 영역을 의미할 수 있다.

자세히, 단말(100)은, 상기 설정된 태그어 인식영역(20)으로부터 OCR기술을 기반으로 텍스트를 추출하여 추출 태그어를 생성하고, 상기 추출 태그어를 임시 태그어에 포함하여 도 6과 같이 임시 태그어 표시 레이어(30)를 통해 제공할 수 있다.

*더하여, 단말(100)은, 상기 이미지를 기반으로 이미지 딥러닝(Image Deep Learning)을 수행하여 추천 태그어를 생성하고, 상기 추천 태그어를 임시 태그어에 포함하여 제공할 수도 있다.

자세히, 단말(100)은, 상기 이미지를 기반으로 이미지 딥러닝을 수행하여 사물을 인식하고, 상기 인식한 사물에서 메인 피사체를 추출하고, 상기 메인 피사체와 관련된 추천 태그어를 선정하여 제공할 수 있다.

예를 들어, 단말(100)은, 임의의 이미지에 'GREYFOCK'라는 명칭이 적인 와인병이 있을 경우, 상기 임의의 이미지로부터 추출한 'GREYFOCK'를 포함하는 추출 태그어와 상기 임의의 이미지를 기반으로 이미지 딥러닝을 수행하여 생성한 '와인'이라는 추천 태그어를 임시 태그어에 함께 포함하여 제공할 수 있다.

그리하여, 단말(100)은, 이미지 상에 존재하는 텍스트로부터 추출한 추출 태그어와 이미지 딥러닝을 기반으로 생성한 추천 태그어를 결합하여 임시 태그어로 제공함으로써, 보다 효과적인 태그어를 생성하도록 할 수 있다.

실시예에서는, 단말(100)이 이미지를 기반으로 이미지 딥러닝을 수행한다고 설명하였으나, 상기 이미지 딥러닝 관련 데이터 처리 중 일부는 단말(100)에서 처리하고 다른 일부는 임의의 서버에서 수행하는 등의 다양한 실시예가 가능할 것이다.

이때, 단말(100)은, 태그어 인식영역(20)을 사용자의 입력을 기반으로 변경설정할 수도 있다. 자세히, 단말(100)은, 도 5와 같이 OCR 인식 또는/및 이미지 딥러닝을 통해 태그어를 추출한 영역인 태그어 인식영역(20)을 박스형태로 이미지 상에 표시하고, 상기 표시된 박스의 위치, 크기 등을 변경하는 인터페이스를 제공할 수 있다. 사용자에 의해 태그어 인식영역(20)이 변경된 경우, 단말(100)은, 변경된 태그어 인식영역(20)에서 추출된 텍스트를 임시 태그어로 제공할 수 있다.

또한, 단말(100)은, 사용자가 상기 임시 태그어에 대한 수정을 원할 경우, 임시 태그어에 대한 수정 인터페이스를 도 7과 같이 제공할 수 있다.

여기서, 단말(100)은, 임시 태그어 표시 레이어(30)에 대한 사용자의 터치 입력을 감지하여 상기 수정 인터페이스를 활성화할 수도 있다.

상기 수정 인터페이스를 활성화한 단말(100)은, 사용자의 문자 키패드 입력 및/또는 커서 위치 입력 등을 감지하여 반영함으로써 임시 태그어를 수정하도록 할 수 있다.

이와 같이, 본 발명은, 이미지를 이미지 파일로 저장하기 이전에, 사용자 인터페이스를 통하여 사용자의 입력을 감지하고 반영함으로써, 사용자에 최적화된 UX(User Experience)를 제공할 수 있다.

다음으로, 단말(100)은, 임시 태그어 또는 수정완료된 임시 태그어를 기반으로 최종 확정된 태그어를 생성할 수 있다.

이와 같이, 본 발명은, 사용자가 단말(100)을 통해 획득하는 이미지로부터 신속하게 텍스트를 검출하고, 상기 검출한 텍스트를 기반으로 효과적인 태그어를 생성하여 사용자에게 제공하도록 할 수 있다. 즉, 실시간으로 센싱되는 이미지 내에서 태그어를 설정한 후, 설정된 이후 셔터 입력(또는, 자동)을 통해 확정된 이미지 파일을 미리 설정한 태그어에 매칭시켜 저장하여, 태그어 설정의 신속성을 향상시킬 수 있다.

또한, 단말(100)은, 태그어 검출 및 설정을 수행한 이후, 이미지 촬영을 완료하고 상기 설정한 태그어와 매칭하여 상기 이미지를 이미지 파일로 저장할 수 있다. (S104)

그리하여, 단말(100)은, 텍스트를 기반으로 검색할 수 있는 이미지 파일을 생성하고 관리할 수 있다.

이때, 단말(100)은, 상기 이미지 파일을 1)기 설정된 저장 폴더, 2)사용자가 저장 시에 선택한 저장 폴더 및/또는 3)태그어를 기반으로 자동저장되는 폴더 중 어느 하나의 폴더에 저장할 수 있다.

*또한, 도 8 내지 12를 참조하면, 단말(100)은, 다른 실시예를 가질 수 있다.

이하, 다른 실시예에 대한 설명에서 상기 기술한 실시예에서와 중복되는 설명이 포함될 경우, 보다 간결하고 명확한 설명을 위하여 생략할 수 있다.

먼저, 단말(100)은, 도 8과 같이 이미지를 디스플레이할 수 있다.

또한, 도 9를 참조하면, 단말(100)은, 이미지 내에서 적어도 하나 이상의 태그어 인식영역을 검출할 수 있다.

자세히, 단말(100)은, 단어, 문장 또는/및 텍스트 위치 중 적어도 하나 이상을 기준으로 태그어 인식영역을 개별적으로 설정할 수 있다. 그리고 이때, 단말(100)은, 사용자의 입력을 기반으로 적어도 하나 이상의 태그어 인식영역을 선택할 수 있다.

예를 들어, 도 10을 참조하면, 단말(100)은, 단말(100)에 디스플레이된 여권 이미지 내의 복수의 태그어 인식영역 중에서, 사용자가 선택한 복수의 태그어 인식영역으로부터 '여권 PASSPORT', '성/Surname', 'HONG', '이름/Given names', 'GII DONG', '주민등록번호/Personal No' 및 '1234567' 텍스트를 추출하여 추출 태그어를 생성하고, 각각의 태그어들을 인식한 영역을 각각 태그어 인식영역으로 설정할 수 있다.

그리고 단말(100)은, 상기 추출 태그어를 임시 태그어에 포함하여 도 11과 같이 사용자에게 제공할 수 있다.

이때, 단말(100)은, 상기 여권 이미지를 기반으로 이미지 딥러닝을 수행하여 생성한 추천 태그어를 상기 임시 태그어에 함께 포함하여 사용자에게 제공할 수도 있다.

또한, 도 11을 참조하면, 단말(100)은, 프라이버시 모드(40)를 사용자에게 제공할 수 있다.

예컨대, 단말(100)에 저장되는 텍스트를 포함하는 이미지들은, 대부분 사용자 정보를 포함하고 있어서, 해킹 당할 경우 사용자 정보가 유출될 수 있고 주변에서 상기 단말(100)을 통해 출력되는 이미지들을 훔쳐볼 수 있어, 개인 프라이버시가 문제될 수 있다.

따라서, 단말(100)은, 이미지의 적어도 일부를 가려 사용자 정보 노출을 막는 프라이버시 모드(40)를 제공할 수 있다.

여기서, 상기 프라이버시 모드(40)는, 이미지 저장시 이미지에 포함된 텍스트 중 적어도 일부에 대한 노출유무를 선택하는 모드일 수 있다.

자세히, 단말(100)은, 사용자가 프라이버시 모드(40)를 활성화하는 입력을 감지할 수 있다.

그리고 도 12를 참조하면, 단말(100)은, 상기 프라이버시 모드(40)가 활성화된 경우, 복수의 태그어 인식영역 중 적어도 하나 이상의 태그어 인식영역을 블러(blur)영역으로 설택하도록 사용자에게 제공할 수 있다.

또한, 단말(100)은, 상기 블러영역으로 설정된 태그어 인식영역을 블러처리(50)한 이미지 파일(이하, 블러 이미지 파일)을 도 13과 같이 생성할 수 있다.

이때, 단말(100)은, 사용자의 입력을 기반으로 블러영역이 설정된 경우, 상기 블러영역으로부터 추출되는 추출 태그어를 사용자에게 제공한 임시 태그어로부터 삭제하여, 사용자 정보 유출을 사전에 차단할수도 있다.

다음으로, 단말(100)은, 상기 블러 이미지 파일과 원본 이미지 파일에 상기 설정된 태그어를 도 14와 같이 매칭하여 저장할 수 있다.

이때, 단말(100)은, 원본 이미지 파일을 사용자 정보를 포함하므로, 보안을 강화하여 저장할 수 있고, 블러 이미지 파일은 일반 이미지 파일처럼 쉽게 노출시켜 사용자 편의를 향상시킬 수 있다.

그리하고 단말(100)은, 사용자가 입력한 텍스트를 기반으로 이미지 파일을 검색할 시, 상기 사용자가 입력한 텍스트와 매칭되는 태그어가 블러 이미지 파일과 원본 이미지 파일을 모두 가지고 있을 경우에 상황에 따라 적합한 이미지 파일을 추출하여 디스플레이할 수 있다.

태그어가 설정된 이미지 파일의 저장이 완료되면 단말(100)은, 사용자가 갤러리를 실행하여 텍스트 기반의 이미지 검색 기능을 제공할 수 있다. (S105)

자세히, 도 15를 참조하면, 단말(100)은, 사용자에게 갤러리를 제공할 수 있다.

여기서, 상기 갤러리는, 저장한 이미지 파일들을 기설정별, 사용자 지정별 및 태그어별 폴더 중 어느 하나 이상의 폴더 방식으로 모아서 사용자에게 제공할 수 있다.

또한, 단말(100)은, 갤러리를 통해 텍스트를 기반으로한 이미지 파일 검색창(60)을 사용자에게 제공할 수 있다.

더하여, 단말(100)은, 갤러리를 통하여, 태그어가 매칭된 이미지 파일을 분류하여 저장할 폴더를 생성할 수 있도록 하는 태그어폴더생성버튼(70)을 사용자에게 제공할 수 있다.

계속해서, 단말(100)은, 사용자로부터 입력된 검색어에 매칭된 태그어를 추출하고, 상기 추출된 태그어에 매칭된 이미지를 추출하여 표시할 수 있다. (S106)

자세히, 단말(100)은, 사용자가 검색창(60)에 입력한 검색어를 기반으로 매칭되는 태그어를 추출할 수 있고, 상기 추출한 태그어에 매칭되는 이미지 파일을 추출하여 디스플레이할 수 있다.

예를 들어, 도 16을 참조하면, 단말(100)은, 사용자가 검색어로 '여권'을 입력할 경우, 저장된 태그어 중 상기 검색어인 여권을 포함한 태그어를 추출할 수 있으며, 상기 추출한 태그어에 매칭된 이미지 파일을 디스플레이할 수 있다.

이때, 단말(100)은, 상기 추출한 태그어에 매칭된 이미지 파일에 블러 이미지 파일이 존재할 경우, 사용자에게 원본 이미지 파일이 아닌 블러 이미지 파일을 추출하여 제공할 수 있다.

또한, 단말(100)은, 상기 추출한 태그어에 매칭된 이미지 파일에 블러 이미지 파일이 존재하지 않을 경우, 사용자에게 원본 이미지 파일을 그대로 추출하여 제공할 수 있다.

더하여, 단말(100)은, 블러처리(50)로 인하여 보안이 강화된 블러 이미지 파일을 사용자에게 제공한 경우, 보안 해제 기능을 사용자에게 더 제공할 수 있다.

자세히, 단말(100)은, 상기 블러 이미지 파일이 제공된 이후, 상기 블러 이미지 파일과 함께 제공될 수 있는 보안 해제 버튼 등을 통하여 사용자의 보안 해제 기능 활성화 입력을 감지할 수 있다.

또한, 단말(100)은, 사용자의 입력을 기반으로 상기 보안 해제 기능을 활성화하여 사용자로부터 보안 해제를 위한 입력(예를 들어, 비밀번호 입력, 지문 인식 및/또는 홍체 인식 등)을 받아 보안을 해제할 수 있다.

그리고 단말(100)은, 상기 블러 이미지 파일에 대한 보안을 해제한 이후, 상기 블러 이미지 파일과 동일한 태그어에 매칭되어 있는 원본 이미지 파일을 추출하여 사용자에게 제공할 수 있다.

상기 실시예에서는, 단말(100)이 블러 이미지 파일에 대한 보안을 해제하면 상기 블러 이미지 파일과 동일한 태그어에 매칭된 원본 이미지 파일을 추출하여 사용자에게 제공한다고 설명하였으나, 상기 블러 이미지 파일에 적용된 블러처리(50)를 적용해제하여 사용자에게 제공하는 등의 통상의 기술자가 실시할 수 있는 범위 내에서 다양한 실시예가 가능할 것이다.

이와 같이, 본 발명은, 저장한 이미지 파일에 포함된 텍스트의 일부에 대한 노출유무를 선택하도록 함으로써, 사용자의 프라이버시를 보다 효과적으로 보호할 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리(150) 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (11)

1. 단말의 프로세서에서 수행하는 텍스트 기반 이미지 검색 방법으로서,
   적어도 하나 이상의 텍스트를 포함하는 오브젝트들을 상기 단말의 카메라를 제어하여 이미지를 촬영하는 단계;
   상기 촬영된 이미지를 상기 단말의 디스플레이를 제어하여 표시하는 단계;
   상기 촬영된 이미지에 포함된 오브젝트 내 텍스트를 추출하는 단계;
   상기 추출된 텍스트들 중 적어도 하나를 상기 이미지에 대한 임시 태그어로 제공하는 단계;
   상기 제공된 임시 태그어를 기반으로 상기 이미지에 대한 태그어를 설정하는 유저 인터페이스를 제공하는 단계;
   상기 태그어를 설정하는 유저 인터페이스 내에서 결정된 태그어를 상기 이미지와 매칭하여 이미지 파일로 상기 단말의 메모리의 이미지 검색 데이터베이스에 저장하는 단계;
   상기 이미지 검색 데이터베이스에 저장된 이미지 파일을 포함한 복수의 이미지 파일들을 관리하는 갤러리 기능을 실행하는 단계;
   유저로부터 검색어를 입력받는 단계;
   상기 입력받은 검색어를 기초로 상기 이미지 검색 데이터베이스에 저장된 적어도 하나의 이미지 파일을 텍스트 기반으로 검색하는 단계; 및
   상기 검색된 이미지 파일의 이미지를 표시하는 단계를 포함하는
   텍스트 기반 이미지 검색 방법.
2. 제 1 항에 있어서,
   상기 제공된 임시 태그어를 기반으로 상기 이미지에 대한 태그어를 설정하는 유저 인터페이스를 제공하는 단계는,
   상기 이미지 내에서 텍스트를 포함하는 영역을 추출하여 태그어 인식영역으로 설정하는 단계와, 상기 설정된 태그어 인식영역을 상기 이미지 상에 표시하는 단계를 포함하는
   텍스트 기반 이미지 검색 방법.
3. 제 2 항에 있어서,
   상기 제공된 임시 태그어를 기반으로 상기 이미지에 대한 태그어를 설정하는 유저 인터페이스를 제공하는 단계는,
   복수의 태그어 인식영역 중 적어도 하나를 선택하는 입력 인터페이스를 제공하는 단계와,
   상기 입력 인터페이스에서 결정된 태그어 인식영역에서 추출된 추출 태그어를 상기 이미지에 대한 태그어로 설정하는 단계를 포함하는
   텍스트 기반 이미지 검색 방법.
4. 제 2 항에 있어서,
   상기 제공된 임시 태그어를 기반으로 상기 이미지에 대한 태그어를 설정하는 유저 인터페이스를 제공하는 단계는,
   상기 이미지 저장시 상기 이미지에 포함된 텍스트 중 적어도 일부에 대한 노출유무를 선택하는 프라이버시 모드를 제공하는 단계를 더 포함하는
   텍스트 기반 이미지 검색 방법.
5. 제 4 항에 있어서,
   상기 프라이버시 모드를 제공하는 단계는,
   복수의 태그어 인식영역 중 적어도 하나 이상의 태그어 인식영역을 블러영역으로 설정하는 단계를 포함하는
   텍스트 기반 이미지 검색 방법.
6. 제 5 항에 있어서,
   상기 설정된 블러영역의 해상도를 낮춰 블러 이미지 파일을 생성하는 단계와,
   상기 블러영역 설정 전 원본 이미지 파일과, 상기 생성된 블러 이미지 파일과, 상기 태그어를 매칭하여 저장하는 단계를 더 포함하는
   텍스트 기반 이미지 검색 방법.
7. 제 6 항에 있어서,
   상기 갤러리 기능을 실행하는 단계는,
   상기 저장된 블러 이미지 파일을 제공하는 단계를 포함하는
   텍스트 기반 이미지 검색 방법.
8. 제 7 항에 있어서,
   상기 갤러리 기능을 실행하는 단계는,
   상기 블러 이미지 파일에 대한 보안을 해제하는 단계와,
   상기 보안 해제가 완료되면, 상기 원본 이미지 파일을 제공하는 단계를 더 포함하는
   텍스트 기반 이미지 검색 방법.
9. 제 8 항에 있어서,
   상기 촬영된 이미지에 포함된 오브젝트 내 텍스트를 추출하는 단계는,
   상기 카메라를 통해 촬영 중인 상기 표시된 이미지가 셔터 입력 또는 자동으로 확정되어 상기 메모리에 저장되기 이전에 상기 카메라로 실시간 센싱하는 중에 상기 텍스트를 추출하는
   텍스트 기반 이미지 검색 방법.
10. 제 1 항에 있어서,
    상기 입력받은 검색어를 기초로 상기 이미지 검색 데이터베이스에 저장된 적어도 하나의 이미지 파일을 텍스트 기반으로 검색하는 단계는,
    상기 사용자로부터 상기 이미지에 매칭된 상기 태그어를 검출하는 파라미터인 검색어를 입력받는 단계;
    상기 입력된 검색어를 상기 메모리에 상기 이미지에 매칭되어 저장된 태그어들과 비교하는 단계;
    상기 검색어와 매칭되는 특정 태그어를 추출하는 단계;
    상기 추출된 특정 태그어에 매칭되는 이미지 파일을 검출하는 단계; 및
    상기 검출된 상기 이미지 파일을 표시하는 단계를 더 포함하고,
    상기 검색어와 매칭되는 특정 태그어를 추출하는 단계는,
    상기 검색어와, 상기 이미지에 매칭되어 상기 메모리에 저장된 상기 태그어를 비교하여, 상기 검색어와 동일하게 매칭되는 상기 태그어를 검출해 상기 특정 태그어로 선정하는 단계를 포함하는
    텍스트 기반 이미지 검색 방법.
11. 적어도 하나 이상의 텍스트를 포함하는 오브젝트들을 촬영하여 이미지를 획득하는 카메라;
    상기 획득된 이미지를 표시하는 디스플레이;
    상기 획득된 이미지 중 셔터입력시 생성된 이미지 파일을 저장하는 메모리;
    상기 획득된 이미지에 포함된 옵브젝트 내 텍스트를 추출하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 추출된 텍스트를 상기 이미지에 대한 임시 태그어로 제공하고, 상기 임시 태그어를 기반으로 상기 이미지에 대한 태그어를 설정하는 유저 인터페이스를 제공하며, 상기 유저 인터페이스 내에서 결정된 태그어를 상기 이미지와 매칭하여 이미지 파일로 상기 메모리에 저장하도록 제어하고,
    상기 프로세서는,
    상기 저장된 이미지 파일을 포함한 복수의 이미지 파일들을 관리하는 갤러리 기능을 제공하고,
    상기 복수의 이미지 파일 중 적어도 하나의 이미지 파일을 텍스트 기반으로 검색하는 검색 기능을 제공하는
    텍스트 기반 이미지 검색 장치.

Images