KR101363155B1 - 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법 - Google Patents

포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법 Download PDF

Info

Publication number
KR101363155B1
KR101363155B1 KR1020090071664A KR20090071664A KR101363155B1 KR 101363155 B1 KR101363155 B1 KR 101363155B1 KR 1020090071664 A KR1020090071664 A KR 1020090071664A KR 20090071664 A KR20090071664 A KR 20090071664A KR 101363155 B1 KR101363155 B1 KR 101363155B1
Authority
KR
South Korea
Prior art keywords
pixel row
text
image
screen
search
Prior art date
Application number
KR1020090071664A
Other languages
English (en)
Other versions
KR20110013949A (ko
Inventor
배경아
Original Assignee
배경아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배경아 filed Critical 배경아
Priority to KR1020090071664A priority Critical patent/KR101363155B1/ko
Publication of KR20110013949A publication Critical patent/KR20110013949A/ko
Application granted granted Critical
Publication of KR101363155B1 publication Critical patent/KR101363155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

이 발명은 개인용컴퓨터(PC) 및 정보통신 단말기에서 마우스와 같은 포인팅디바이스에 의해 지시되는 좌표를 기준으로 소정 크기의 이미지를 획득하고, 획득된 이미지를 문자 인식하여 텍스트를 추출하며, 해당 추출된 텍스트를 사용자가 지정한 데이터베이스 및/또는 어플리케이션에 적용하여 그 검색한 결과를 표시하는 시스템 및 방법에 관한 것이다.
이 발명에 따른 시스템은, 포인팅디바이스가 일정 시간동안 움직이지 않으면 신호를 출력하는 포인팅디바이스드라이버와, 상기 신호가 입력되면 표시제어수단으로부터 상기 포인팅디바이스에 대응하는 화면의 포인팅좌표를 기준으로 일정 크기의 화면 이미지를 캡쳐하는 이미지캡처수단과, 상기 캡처된 이미지 영역으로부터 텍스트를 인식하는 텍스트인식수단과, 상기 인식된 텍스트의 실질형태소를 키워드로 설정하여 데이터베이스 및/또는 어플리케이션에서 검색하는 검색수단을 포함한다.
마우스, 포인팅디바이스, 텍스트 인식, 포인팅좌표

Description

포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법 {system and method for recogniting and searching the text included image area that pointed by a pointing device}
이 발명은 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 해당 텍스트를 사용자가 지정한 데이터베이스 및/또는 어플리케이션에 적용하여 검색하는 시스템 및 방법에 관한 것으로서, 보다 상세하게는 개인용컴퓨터(PC) 및 정보통신 단말기에서 마우스와 같은 포인팅디바이스에 의해 지시되는 좌표를 기준으로 소정 크기의 이미지를 획득하고, 획득된 이미지를 문자 인식하여 텍스트를 추출하며, 해당 추출된 텍스트를 사용자가 지정한 데이터베이스 및/또는 어플리케이션에 적용하여 그 검색한 결과를 표시하는 시스템 및 방법에 관한 것이다.
사용자가 개인용컴퓨터나 정보통신단말기를 사용할 경우, 사용자는 다양한 나라의 언어로 된 단어나 용어들을 접하게 된다. 사용자는 이 단어나 용어들 중 모르는 단어나 용어가 나오면 하드카피본의 사전을 펴보거나, 컴퓨터에 내장된 사 전이나 인터넷을 통해 서비스되는 사전 등에서 해당 단어나 용어를 검색하여 해당 단어나 용어의 뜻을 이해한다. 그러나, 이렇게 사전을 일일히 검색하는 방법은 정보 취득에 소요되는 시간이 길고 번거롭고 불편한 문제점이 있다.
이러한 사용자의 불편을 해소하기 위하여, 종래에는 문서작성프로그램과 사전이 연동되도록 하여, 특정 문서작성프로그램 내에서는 연동되는 사전에서 텍스트의 의미가 자동으로 검색되고 그 검색결과가 표시되도록 함으로써, 사용자의 편의성을 증대시키고 있다.
그러나, 이러한 종래의 방법은 특정 문서작성프로그램 내에서만 동작하고, 문서작성프로그램과 같이 텍스트문자인 경우에 한해서만 적용할 수 있는 문제점이 있다.
상기한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 사용자가 개인용 컴퓨터 또는 정보통신단말기를 이용하여 각종 어플리케이션이나 서비스를 이용하다가 화면상에 표시된 단어나 용어에 관련된 정보를 얻고자 포인팅디바이스로 화면을 지시할 때, 포인팅디바이스에 의해 지시되는 좌표를 기준으로 소정 크기의 이미지를 획득하고, 획득된 이미지를 문자 인식하여 텍스트를 추출하며, 해당 추출된 텍스트를 사용자가 지정한 데이터베이스 및/또는 어플리케이션에 적용하여 그 검색한 결과를 표시하는 시스템 및 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위한 이 발명에 따른 시스템은, 포인팅디바이스가 일정 시간동안 움직이지 않으면 신호를 출력하는 포인팅디바이스드라이버와, 상기 신호가 입력되면 표시제어수단으로부터 상기 포인팅디바이스에 대응하는 화면의 포인팅좌표를 기준으로 일정 크기의 화면 이미지를 캡쳐하는 이미지캡처수단과, 상기 캡처된 이미지 영역으로부터 텍스트를 인식하는 텍스트인식수단과, 상기 인식된 텍스트의 실질형태소를 키워드로 설정하여 데이터베이스 및/또는 어플리케이션에서 검색하는 검색수단을 포함한 것을 특징으로 한다.
또한, 이 발명에 따른 방법은, 포인팅디바이스가 일정 시간동안 움직이지 않으면 신호를 출력하는 단계와, 상기 신호가 입력되면 표시제어수단으로부터 상기 포인팅디바이스에 대응하는 화면의 포인팅좌표를 기준으로 일정 크기의 화면 이미지를 캡쳐하는 단계와, 상기 캡처된 이미지 영역으로부터 텍스트를 인식하는 단계와, 상기 인식된 텍스트의 실질형태소를 키워드로 설정하여 데이터베이스 및/또는 어플리케이션에서 검색하는 단계를 포함한 것을 특징으로 한다.
이상과 같이 이 발명에 따르면 화면에 표시되는 모든 이미지 중 검색하고자 하는 텍스트를 인식하여 검색할 수 있는 잇점이 있다.
이하, 첨부된 도면을 참조하며 이 발명의 한 실시예에 따른 "포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법"을 보다 상세하게 설명한다.
도 1은 이 발명이 적용되는 개인용컴퓨터 또는 정보통신단말기를 도시한 기능 블록도이다.
통상적으로 개인용컴퓨터 또는 휴대용 정보통신단말기는, 본체(110)와 다양한 주변기기들(120)로 이루어진다.
본체(110)는 중앙처리장치(111)와, 중앙처리장치(111)에 의해 세팅되며 중앙처리장치(111)에게 시간 정보를 제공하는 타이머(112)와, 램(RAM)과 같이 전원이 유지되는 동안만 데이터를 유효하게 저장하는 휘발성 메모리(113)와, 롬(ROM) 또는 하드디스크와 같이 전원에 상관없이 데이터를 유지할 수 있는 비휘발성 저장장치(114)와, 통신망(N)에 접속할 수 있도록 하는 통신장치(115)를 포함한다.
주변기기들(120)은 본체(110)에서 처리되는 각종 정보를 화면에 표시하는 화면표시장치(121)와, 화면상의 특정 위치를 선택하거나 자유롭게 그림을 그리는 등의 기능을 하기 위한 포인팅디바이스(122)와, 문자나 각종 기능의 입력을 위한 키입력장치(123)를 포함한다.
또한, 이 개인용컴퓨터 또는 정보통신단말기에는 비휘발성 저장장치의 확장을 위하여 시디롬, DVD롬, 플로피디스크, 외장 하드, USB메모리, 컴팩트 플래쉬 등을 포함한 외부 저장장치(130)가 장착되기도 한다. 또한, 이 개인용컴퓨터 또는 정보통신단말기는 통신망(N)을 통해 원격지컴퓨터(140)와 접속될 수 있다.
포인팅디바이스(122)에는 유무선 마우스, 터치패널, 팬, 터치패드 등이 포함된다. 소형화된 정보통신단말기(휴대폰, PMP, 노트북 등)는 화면표시장치(121)와 포인팅디바이스(122)와 키입력장치(123) 및 본체(110) 중 일부 또는 전체가 일체화되어 구성되기도 한다. 이 발명의 실시예에서는 이 발명이 적용되는 개인용컴퓨터와 정보통신단말기 및 소형화된 정보통신단말기를 "단말기"로 통칭한다.
이 발명은 포인팅디바이스가 화면표시장치에 표시되는 화면의 임의의 위치를 가리키면, 그 포인팅좌표를 검출하고, 포인팅좌표를 중심으로 일정 영역의 이미지를 캡쳐하고, 그 캡쳐된 이미지 영역에 포함된 텍스트를 인식하며, 그 인식된 텍스트를 데이터베이스 및/또는 어플리케이션에 적용하여 검색하여 그 검색결과를 단말 기의 화면표시장치에 표시하는 것이다. 여기서, 데이터베이스의 종류에는 전자사전데이터베이스와 그림데이터베이스와 광고데이터베이스, 동영상데이터베이스가 포함되어, 어플리케이션에는 인터넷브라우저가 포함된다. 즉, 텍스트를 데이터베이스에 적용하여 해당 텍스트에 해당하는 사전적의미, 그림, 광고, 동영상 등을 검색결과로서 화면에 출력하거나, 인터넷브라우저의 검색창에 해당 텍스트를 입력하여 인터넷 검색결과를 화면에 출력할 수 있다.
이 발명의 기능적 구성요소를 크게 구분하면, 포인팅좌표검출기능과, 이미지획득기능과, 텍스트인식기능과, 검색기능, 검색결과표시기능으로 나눌 수 있다.
이 발명의 기능적 구성요소들은 물리적인 동일 시스템내에 모두 구현될 수도 있고, 네트워크를 통해 연결된 다수의 시스템들이 유기적으로 결합되어 구현될 수도 있다.
먼저 이 발명의 포인팅디바이스로 지시되는 화면 이미지 영역에 포함된 텍스트를 인식하고 검색하는 기능을 구현하기 위한 프로그램과 데이터베이스 및/또는 어플리케이션이 본체(110)의 비휘발성 저장장치(114)에 저장되어 있다가, 사용자가 해당 프로그램을 실행시키면 휘발성 메모리(113)에 탑재되어 실행되도록 할 수 있다. 이 경우, 포인팅좌표검출기능과 이미지획득기능과 텍스트인식기능과 검색기능과 검색결과표시기능이 모두 단말기 내에서 수행되거나, 검색기능을 외부 저장장치(130)나 원격지컴퓨터(140)를 통해 수행하도록 할 수도 있다.
다른 실시예로서, 외부 저장장치(130)에 이 발명의 기능을 구현하기 위한 프로그램과 데이터베이스 및/또는 어플리케이션을 저장하며, 단말기와 외부 저장장치가 연결되면 외부 저장장치(130)에 저장되었던 프로그램이 단말기 본체(110)의 휘발성메모리(113)에 탑재되어 실행되도록 할 수 있다. 이때, 단말기는 포인팅좌표검출기능과 이미지획득기능과 텍스트인식기능을 수행하고 외부 저장장치에서 검색기능을 수행할 수도 있고, 단말기가 포인팅좌표검출기능과 이미지획득기능을 수행하고 외부 저장장치가 텍스트인식기능과 검색기능을 수행할 수도 있다. 이 경우, 검색결과표시기능은 단말기에서 수행될 것이나, 자체적인 표시장치를 구비한 외부 저장장치는 검색결과표시기능까지 수행할 수도 있다. 이러한 실시예의 경우, 외부 저장장치가 별도의 제품으로 판매될 수 있다.
또 다른 실시예로서, 원격지컴퓨터(140)로부터 통신망을 통해 이 발명의 기능을 구현하기 위한 프로그램이 다운로드되어 단말기 본체(110)의 휘발성메모리(113)에 탑재되어 실행되도록 할 수 있다. 이때 단말기와 원격지컴퓨터에서 각각 수행되는 기능들은 앞서 외부 저장장치를 이용한 실시예와 유사하다. 이러한 실시예의 경우, 인터넷을 통한 웹 서비스가 가능하다.
도 2는 이 발명의 한 실시예에 따른 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템을 도시한 기능 블록도이다.
일반적으로, 단말기 본체의 중앙처리장치에는 소프트웨어 모듈로서 포인팅디바이스드라이버(21)와 표시제어수단(22)이 구비되며, 화면표시장치(121)에 출력되는 화면 이미지는 휘발성 메모리(113)의 화면이미지 메모리에 저장되었다가 화면표시장치(121)로 출력된다. 사용자가 포인팅디바이스(122)를 움직이면 포인팅디바이 스드라이버(21)가 그 움직임을 감지하여 표시제어수단(22)에게 전달하고, 표시제어수단(22)은 화면이미지와 포인터이미지를 중첩하여 휘발성메모리(113)에 저장함으로써 화면표시장치(121)에 표시되도록 한다.
이 발명의 시스템은, 포인팅디바이스(122)가 일정 시간동안 움직이지 않으면 신호를 출력하는 포인팅디바이스드라이버(21)와, 상기 신호가 입력되면 상기 표시제어수단(22)으로부터 상기 포인팅디바이스(122)에 대응하는 화면의 포인팅좌표를 기준으로 일정 크기의 화면 이미지를 캡쳐하는 이미지캡처수단(23)과, 상기 캡처된 이미지 영역으로부터 텍스트를 인식하는 텍스트인식수단(24)과, 상기 인식된 텍스트의 실질형태소를 키워드로 설정하여 데이터베이스 및/또는 어플리케이션(26)에서 검색하는 검색수단(25)을 포함한다. 이 검색수단(25)의 검색 결과는 표시제어수단(22)을 통해 화면표시장치(121)에 표시된다. 앞서 설명한 바와 같이 각 수단들은 물리적으로 다른 시스템에서 구현되어 유무선을 통해 연결될 수 있다. 도면에는 도시되어 있지 않으나, 검색수단(25)의 검색 결과는 자체 표시기능을 구비한 외부 저장장치(130)의 화면에만 표시되도록 구현할 수도 있다.
텍스트인식수단(24)에서 인식된 키워드가 2개 이상인 경우 상기 표시제어수단(22)을 통해 화면에 나열하여 표시하여 사용자로 하여금 하나의 키워드를 선택하도록 한다. 포인팅디바이스(122)가 하나의 키워드를 선택하면 포인팅디바이스드라이버(21)는 이를 텍스트인식수단(24)에게 알리고, 텍스트인식수단(24)은 표시제어수단(22)을 통해 포인팅디바이스(122)가 선택한 키워드를 인지한다.
도 3은 이 발명의 한 실시예에 따른 방법을 도시한 동작 흐름도이다.
사용자가 단말기 상에서 이 발명에 따른 프로그램을 실행시키면 서비스가 시작(S301)된다. 사용자가 이 발명에 따른 프로그램을 실행시킬 때 비밀번호 등을 통한 사용자 인증을 수행할 수도 있다.
포인팅디바이스드라이버(21)는 포인팅디바이스(122)의 움직임을 감지하여, 포인팅디바이스(122)의 위치에 해당하는 화면 지점에 포인터이미지가 표시되도록 한다.
이 발명에 따른 프로그램이 실행되면, 포인팅디바이스드라이버(21)는 포인팅디바이스(122)의 움직임을 감시하여(S302), 포인팅디바이스가 일정시간 동안 움직임이 없는지를 체크한다(S303). 포인팅디바이스가 일정시간 동안 움직임이 없거나 그 움직임이 한계값 이하로 미미하면, 화면에 표시되던 포인터이미지를 오프하고(S304), 포인터좌표를 중심으로 기설정된 크기의 주변 화면 이미지를 획득한다(S305).
여기서, 포인터이미지를 오프하는 이유는 포인터이미지를 제외한 화면이미지를 획득하기 위해서이다. 포인팅좌표를 중심으로 획득하는 주변 화면 이미지의 크기는 사용자에 의해 설정될 수도 있고, 자동으로 설정될 수도 있다. 이때, 이미지의 가로 크기는 이미지의 세로 크기의 40배 이하로 한정하는 것이 바람직하고, 포인팅좌표를 기준으로 가로방향으로 전,후로 동일한 크기로 설정하되, 포인팅좌표와 화면경계까지의 거리가 설정된 크기보다 작으면 포인팅좌표로부터 화면경계까지의 이미지만을 획득한다.
화면 이미지 획득 후, 포인터이미지를 다시 온시키고(S306), 획득된 화면 이미지에 대해 행간격과 띄어쓰기를 이용하여 하나의 어절로 이루어진 이미지 영역으로 조정하고(S307), 조정된 이미지 영역에 포함된 텍스트를 인식하며 인식된 텍스트 중 실질형태소를 키워드로 인식한다(S308).
이미지 영역을 조정하는 과정을 설명한다. 통상적으로 화면상에 표시되는 문자열은 화면의 왼쪽부터 오른쪽으로 가로 방향으로 연속되고, 각 행과 행 사이에 행간격이 존재한다. 이 발명에서는 획득된 화면 이미지 영역으로부터 포인팅좌표를 기준으로 행간 공백을 인식하고, 문자의 세로 크기를 측정하고 세로 띄어쓰기 공백을 인식하며, 포인팅좌표에 가장 근접한 하나의 어절로 이루어진 이미지 영역으로 조정한다. 이미지 영역을 조정하는 과정은 도 4를 참조하여 후술하기로 한다. 조정된 이미지 영역에 대해 텍스트 인식(S308)을 수행하는데, 이 텍스트 인식(S308)시 조사나 어미를 제거하고 실질형태소만을 키워드로 추출한다.
텍스트 인식 결과, 키워드의 개수를 파악하여(S309), 얻어진 키워드가 없으면 처리를 요하는 단어나 용어, 구절이 없는 것이므로, 해당 포인팅좌표가 변화될때까지 대기한(S310) 후 단계 S302로 되돌아간다.
만약, 단계 S309에서 텍스트 인식 결과 얻어진 키워드의 개수가 다수이면, 인식된 키워드들을 화면표시장치에 팝업창으로 나열하여 표시하여(S311), 사용자로 하여금 하나를 선택하도록 한다. 사용자가 포인팅디바이스 등을 이용하여 다수의 키워드들 중 선택(S312)하면 그 선택된 키워드를 검색키워드로 선정한다(S313). 이러한 과정을 통해 텍스트 인식 오류에 의한 부정확성을 상당 부분 해소할 수 있 으며 정확한 검색키워드 추출 및 검색이 가능해 진다.
단계 S309에서 텍스트 인식 결과 얻어진 키워드의 개수가 하나이면, 해당 인식된 키워드를 바로 검색키워드로 선정한다(S313).
사용자가 지정한 내장 데이터베이스 및/또는 어플리케이션에 이 검색키워드를 적용하여 검색한다(S314). 단계 S314에서 그 검색결과 검색키워드에 해당하는 정보가 검색되면(S315), 그 검색결과를 화면표시장치에 표시한다(S316).
단계 S315에서 검색키워드에 해당하는 정보가 검색되지 않으면, 외부 저장장치 또는 원격지컴퓨터의 외부 데이터베이스 및/또는 어플리케이션에 해당 검색키워드를 전달한다(S317). 그러면 그 외부 데이터베이스 및/또는 어플리케이션에 해당 검색키워드가 적용되어 검색결과가 얻어진다(S318). 그 검색결과(S318)는 외부 저장장치 또는 원격지컴퓨터로부터 단말기로 제공되어 단말기의 화면에 표시되거나(S316), 외부 저장장치 또는 원격지컴퓨터에서 자체적으로 화면에 표시할 수도 있다(S319). 여기서, 외부 저장장치 또는 원격지컴퓨터는 단말기와 유무선으로 연결된 원격지 프로그램이나 멀티태스킹, 멀티스레드 중인 외부 어플리케이션일 수 있다.
단계 S316에서 화면표시장치에 표시된 검색결과 정보는 차후 사용자의 포인팅디바이스의 조작에 의해 페이지 넘김, 링크등의 방법으로 검색을 확장할 수 있으며, 사용자가 검색을 마치고 화면을 복귀시키면(S320), 해당 포인팅좌표가 변화될때까지 대기한(S321) 후 단계 S302로 되돌아간다.
도면에는 도시되지 않으나, 단계 S316에서 화면표시장치에 검색결과를 표시 한 후, 타이머를 동작시켜 일정시간 이상 포인팅디바이스의 움직임이 없으면 자동으로 화면을 복귀시킬 수도 있다.
도 4는 이 발명에 따른 단계 S307의 이미지 영역 조정과정을 도시한 동작 흐름도이다.
통상 단말기에서 프로그램을 통해 출력되는 화면상의 문자이미지는 화면의 가로축 방향의 기울어짐이 없다. 이 발명에서는 이러한 사항을 기본 조건으로 하여 이미지 영역의 크기를 조정한다.
먼저, 포인팅좌표를 이용하여 기준화소행을 추출한다(S401). 이 기준화소행은 포인터이미지의 끝이 위치한 화소행일 수도 있고, 포인터이미지의 중심점이 위치한 화소행일 수도 있다.
기준화소행을 기준으로 위, 아래 방향으로 일정한 간격만큼씩 떨어진 다수의 탐색화소행들을 추출한다(S402). 즉, 이미지 영역 전체적으로 일정한 간격만큼씩 떨어진 다수의 탐색화소행을 설정한다.
이 각 탐색화소행들마다 색상별로 화소 개수를 계수하여(S403), 누적화소개수가 가장 큰 색상을 배경색으로 선정하고 나머지 색상을 문자색으로 선정한다(S404).
다음, 기준화소행을 기준으로 상하로 이동하면서 배경색만으로 이루어진 상측경계화소행과 하측경계화소행을 추출한다(S405). 이 단계를 좀더 세분하여 설명하면, 인식가능한 최대 글자 크기에 따른 최대한계화소행수(예컨대, 80행)를 설정 하고, 기준화소행을 기준으로 상측으로 이동하면서 배경색만으로 이루어진 화소행을 추출하는데 최초로 추출된 배경색 화소행을 상측경계화소행으로 설정한다. 기준화소행으로부터 최대한계화소행수를 초과할 때까지 상측경계화소행이 추출되지 않으면 문자열이 아닌 것으로 판단하고 종료한다. 다음, 상측경계화소행이 추출되면, 기준화소행을 기준으로 하측으로 이동하면서 배경색만으로 이루어진 화소행을 추출하는데, 최초로 추출된 배경색 화소행을 하측경계화소행으로 설정한다. 상측경계화소행으로부터 최대한계화소행수를 초과할 때까지 하측경계화소행이 추출되지 않으면 문자열이 아닌 것으로 판단하고 종료한다.
이와 비슷하게 최소한계화소행수를 설정하고 상측경계화소행과 하측경계화소행의 간격이 최소한계화소행수보다 작으면 문자열이 아닌 것으로 판단하고 종료한다. 이 최소한계화소행수와 최대한계화소행수는 인식하고자 하는 텍스트(영어, 한자, 한글)에 따라 다르게 설정될 수 있다.
다음, 상,하측경계화소행의 간격이 기준 크기가 되도록 화면 이미지를 확대 또는 축소한다(S406). 기준 크기는 인식률을 높이기 위한 최적의 크기로 설정한다.
다음, 포인팅좌표를 이용하여 기준화소열을 추출한다(S407). 상하측경계화소행 사이의 영역에서 기준화소열을 기준으로 배경색만으로 이루어진 좌측공백화소열들과 우측공백화소열들을 추출한다(S408). 연속되는 좌측공백화소열들의 개수가 임계값 이상인 좌측공백화소열들 중 기준화소열과 가장 가까운 좌측공백화소열을 좌측경계화소열로 선정하고(S409), 연속되는 우측공백화소열들의 개수가 임계값 이상인 우측공백화소열들 중 기준화소열과 가장 가까운 우측공백화소열을 우측경계화소열로 선정한다(S410). 이렇게 함으로써, 자간의 공백으로 경계를 나누지 않고 띄어쓰기로 경계를 나눔으로써, 하나의 어절로 이루어진 영역을 선정할 수 있다.
다음, 화면 이미지 영역을 상,하측경계화소행과 좌,우측경계화소열로 조정한다(S411).
이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.
도 1은 이 발명이 적용되는 개인용컴퓨터 또는 정보통신단말기를 도시한 기능 블록도,
도 2는 이 발명의 한 실시예에 따른 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템을 도시한 기능 블록도,
도 3은 이 발명의 한 실시예에 따른 방법을 도시한 동작 흐름도,
도 4는 이 발명에 따른 단계 S307의 이미지 영역 조정과정을 도시한 동작 흐름도이다.

Claims (12)

  1. 포인팅디바이스가 기설정된 시간동안 움직이지 않으면 신호를 출력하는 포인팅디바이스드라이버와,
    상기 신호가 입력되면 표시제어수단으로부터 상기 포인팅디바이스에 대응하는 화면의 포인팅좌표를 기준으로 기설정된 크기의 화면 이미지를 캡쳐하는 이미지캡처수단과,
    상기 캡처된 이미지 영역으로부터 텍스트를 인식하는 텍스트인식수단과,
    상기 인식된 텍스트의 실질형태소를 키워드로 설정하여 데이터베이스 및/또는 어플리케이션에서 검색하는 검색수단을 포함하고,
    상기 텍스트인식수단은, 상기 캡처된 이미지 영역에서 기준화소행을 추출하고, 상기 기준화소행을 기준으로 다수의 탐색화소행들을 추출하고, 상기 캡처된 이미지 영역내의 탐색화소행들마다 색상별 화소 개수를 누적 계수하여 누적 화소 개수가 가장 큰 색상을 배경색으로 설정하고 나머지 색상을 문자색으로 설정하며, 상기 기준화소행을 기준으로 상하 방향으로 이동하면서 배경색만으로 이루어진 상측경계화소행과 하측경계화소행을 추출하고, 상기 캡처된 이미지 영역에서 기준화소열을 추출하고, 상기 상측경계화소행과 하측경계화소행 사이의 영역에서 상기 기준화소열을 기준으로 좌우 방향으로 이동하면서 배경색만으로 이루어진 좌측공백화소열들과 우측공백화소열들을 추출하고, 상기 상측경계화소행과 하측경계화소행과 좌측공백화소열들 및 우측공백화소열들로 이루어진 이미지 영역 내에서 텍스트를 인식하는 것을 특징으로 하는 시스템.
  2. 제 1 항에 있어서, 상기 검색수단은 상기 검색 결과가 상기 표시제어수단을 통해 화면표시장치에 출력되도록 하는 것을 특징으로 하는 시스템.
  3. 제 1 항에 있어서, 상기 이미지캡처수단은 상기 화면에 표시된 포인터이미지를 오프한 후 상기 화면 이미지를 캡쳐하는 것을 특징으로 하는 시스템.
  4. 제 1 항에 있어서, 상기 텍스트인식수단은 인식된 텍스트가 2개 이상이면 상기 인식된 2개 이상의 텍스트를 상기 표시제어수단을 통해 화면표시장치에 출력되도록 하는 것을 특징으로 하는 시스템.
  5. 포인팅디바이스가 기설정된 시간동안 움직이지 않으면 신호를 이미지캡처수단으로 출력하는 신호출력단계와,
    상기 이미지캡처수단이 상기 신호가 입력되면 표시제어수단으로부터 상기 포인팅디바이스에 대응하는 화면의 포인팅좌표를 기준으로 일정 크기의 화면 이미지를 캡쳐하는 이미지캡처단계와,
    텍스트인식수단이 상기 캡처된 이미지 영역으로부터 텍스트를 인식하는 텍스트인식단계와,
    검색수단이 상기 인식된 텍스트의 실질형태소를 키워드로 설정하여 데이터베이스 및/또는 어플리케이션에서 검색하는 검색단계를 포함하고,
    상기 텍스트인식단계는 상기 캡처된 이미지 영역에서 기준화소행을 추출하는 제1소단계와, 상기 기준화소행을 기준으로 다수의 탐색화소행들을 추출하고, 상기 캡처된 이미지 영역내의 탐색화소행들마다 색상별 화소 개수를 누적 계수하여 누적 화소 개수가 가장 큰 색상을 배경색으로 설정하고 나머지 색상을 문자색으로 설정하는 제2소단계와, 상기 기준화소행을 기준으로 상하 방향으로 이동하면서 배경색만으로 이루어진 상측경계화소행과 하측경계화소행을 추출하는 제3소단계와, 상기 캡처된 이미지 영역에서 기준화소열을 추출하는 제4소단계와, 상기 상측경계화소행과 하측경계화소행 사이의 영역에서 상기 기준화소열을 기준으로 좌우 방향으로 이동하면서 배경색만으로 이루어진 좌측공백화소열들과 우측공백화소열들을 추출하는 제5소단계와, 상기 상측경계화소행과 하측경계화소행과 좌측공백화소열들 및 우측공백화소열들로 이루어진 이미지 영역 내에서 텍스트를 인식하는 제6소단계를 포함한 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서, 상기 검색단계는 상기 검색 결과가 상기 표시제어수단을 통해 화면표시장치에 출력되도록 하는 단계를 더 포함한 것을 특징으로 하는 방법.
  7. 제 5 항에 있어서, 상기 이미지캡처단계는 상기 화면에 표시된 포인터이미지를 오프한 후 상기 화면 이미지를 캡쳐하는 것을 특징으로 하는 방법.
  8. 제 5 항에 있어서, 상기 텍스트인식단계는 인식된 텍스트가 2개 이상이면 상기 인식된 2개 이상의 텍스트를 상기 표시제어수단을 통해 화면표시장치에 출력되도록 하는 단계를 더 포함한 것을 특징으로 하는 방법.
  9. 삭제
  10. 제 5 항에 있어서, 상기 제2소단계는 상기 기준화소행을 기준으로 상하방향으로 일정한 간격으로 이격된 다수의 화소행들을 추출하여 상기 탐색화소행들로 설정하는 것을 특징으로 하는 방법.
  11. 제 5 항에 있어서, 상기 기준화소행은 포인터이미지의 끝이 위치한 화소행인 것을 특징으로 하는 방법.
  12. 제 5 항에 있어서, 상기 기준화소행은 포인터이미지의 중심점이 위치한 화소행인 것을 특징으로 하는 방법.
KR1020090071664A 2009-08-04 2009-08-04 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법 KR101363155B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090071664A KR101363155B1 (ko) 2009-08-04 2009-08-04 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090071664A KR101363155B1 (ko) 2009-08-04 2009-08-04 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110013949A KR20110013949A (ko) 2011-02-10
KR101363155B1 true KR101363155B1 (ko) 2014-02-14

Family

ID=43773357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090071664A KR101363155B1 (ko) 2009-08-04 2009-08-04 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101363155B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9990433B2 (en) 2014-05-23 2018-06-05 Samsung Electronics Co., Ltd. Method for searching and device thereof
US11314826B2 (en) 2014-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method for searching and device thereof
KR101843135B1 (ko) * 2018-01-31 2018-03-28 김규혁 영상 처리 방법, 장치 및 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060050746A (ko) * 2004-08-31 2006-05-19 엘지전자 주식회사 카메라로 촬영된 문서 영상 처리 방법
KR100619715B1 (ko) * 2005-05-03 2006-09-06 엘지전자 주식회사 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그문서 영상에서의 단어 추출방법
KR20090052757A (ko) * 2007-11-21 2009-05-26 엔에이치엔(주) 웹 페이지의 특성에 기초하여 텍스트를 추출하기 위한방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060050746A (ko) * 2004-08-31 2006-05-19 엘지전자 주식회사 카메라로 촬영된 문서 영상 처리 방법
KR100619715B1 (ko) * 2005-05-03 2006-09-06 엘지전자 주식회사 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그문서 영상에서의 단어 추출방법
KR20090052757A (ko) * 2007-11-21 2009-05-26 엔에이치엔(주) 웹 페이지의 특성에 기초하여 텍스트를 추출하기 위한방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR20110013949A (ko) 2011-02-10

Similar Documents

Publication Publication Date Title
US9274646B2 (en) Method and apparatus for selecting text information
US20130235087A1 (en) Image display apparatus and image display method
US20150169212A1 (en) Character Recognition Using a Hybrid Text Display
CN101639760A (zh) 联系信息输入方法及系统
US10013147B2 (en) Image display apparatus
JP5877272B2 (ja) 文書処理装置、文書処理方法、プログラムおよび情報記憶媒体
CN107608618B (zh) 一种用于可穿戴设备的交互方法、装置和可穿戴设备
KR20120069699A (ko) 정보 표시 장치
CN108256523B (zh) 基于移动终端的识别方法、装置及计算机可读存储介质
EP3866475A1 (en) Image text broadcasting method and device, electronic circuit, and computer program product
KR20140003138A (ko) 옥외 광고 ｌｅｄ 전광판 및 상호 작용 방법
KR101363155B1 (ko) 포인팅디바이스로 지시되는 이미지 영역에 포함된 텍스트를 인식하고 검색하는 시스템 및 방법
JP2000020196A (ja) 視線入力装置
JP2005141603A (ja) 携帯端末の文字認識における処理対象選択方法および携帯端末
US10832100B2 (en) Target recognition device
CN111124111A (zh) 一种处理方法、电子设备
JP6081606B2 (ja) 電子機器および方法
EP3467820A1 (en) Information processing device and information processing method
US20110294522A1 (en) Character recognizing system and method for the same
US8644612B2 (en) Information processing apparatus and locus data recognition method
JP6655331B2 (ja) 電子機器及び方法
KR101139060B1 (ko) 검색 키워드 생성 방법 및 장치와, 이를 이용한 검색 장치 및 시스템
JP6582464B2 (ja) 情報入力装置、およびプログラム
US20210248406A1 (en) Image text broadcasting
US10877641B2 (en) Image adjustment method, apparatus, device and computer readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170207

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180130

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 7