KR20130117378A - 이미지 정보를 활용한 온라인 정보 제공 방법 - Google Patents

이미지 정보를 활용한 온라인 정보 제공 방법 Download PDF

Info

Publication number
KR20130117378A
KR20130117378A KR1020120039556A KR20120039556A KR20130117378A KR 20130117378 A KR20130117378 A KR 20130117378A KR 1020120039556 A KR1020120039556 A KR 1020120039556A KR 20120039556 A KR20120039556 A KR 20120039556A KR 20130117378 A KR20130117378 A KR 20130117378A
Authority
KR
South Korea
Prior art keywords
area
image
text
text area
graphic
Prior art date
Application number
KR1020120039556A
Other languages
English (en)
Inventor
심재철
이강용
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120039556A priority Critical patent/KR20130117378A/ko
Priority to US13/850,634 priority patent/US9292541B2/en
Publication of KR20130117378A publication Critical patent/KR20130117378A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 사용자 단말에서 입력된 대상 이미지와 정보 제공자 장치에서 입력된 원본 이미지 각각의 텍스트 영역과 그래픽 영역을 분리하는 단계, 텍스트 영역에서 중요 텍스트 영역을 선택하는 단계, 텍스트 영역과 그래픽 영역 및 중요 텍스트 영역 각각의 특징을 추출하는 단계, 텍스트 영역과 그래픽 영역 및 중요 텍스트 영역 각각의 특징을 이용하여 대상 이미지에 대응하는 원본 이미지를 검색하는 단계 및 검색된 원본 이미지에 관련된 부가 정보를 검색하여 제공하는 단계를 포함하는 것을 특징으로 한다.

Description

이미지 정보를 활용한 온라인 정보 제공 방법{ONLINE INFORMATION SERVICE METHOD USING IMAGE}
본 발명은 이미지 정보를 활용한 온라인 정보 제공 방법에 관한 것으로서, 더욱 상세하게는 사용자 단말이 제공하는 사진 등의 그래픽과 텍스트 정보가 혼합된 이미지를 활용하여 온라인 상에 존재하는 이미지와 연계된 광고 등의 정보를 검색하여 제공하는 이미지 정보를 활용한 온라인 정보 제공 방법에 관한 것이다.
인터넷에서의 정보 서비스가 활성화되고 스마트폰, 타블렛 등의 스마트 단말이 확산되어 다양한 광고 및 정보들이 스마트 단말에서 제공되고 있다. 그러나 스마트 단말에서의 정보들은 텍스트 기반으로 사용자 단말의 직접적인 입력을 통한 검색이나 URL(Uniform Resource Locator) 입력을 통해 제공된다. 보다 발전된 형식의 정보 제공 형식으로는 이미지를 활용한 검색이나 QR(Quick Response) 코드를 이용한 정보 제공이 점차 확산되고 있다.
그러나 QR 코드의 경우 이미지를 기반으로 한 정보의 제공이 가능하지만 대상 매체에 QR 코드가 인쇄되거나 출력되어야만 이를 인식하여 정보를 추출할 수 있다. 이미지 검색의 경우에는 QR 코드와 같이 추가적인 정보를 이미지에 삽입할 필요가 없다. 그러나 다양한 객체들이 포함된 사진과 같은 이미지에 최적화되어 신문, 잡지 등과 같은 텍스트가 많은 비중을 차지하는 인쇄물이나 신문 간지 등의 인쇄 광고에서는 그 정확도가 매우 떨어진다.
신문 등 텍스트 중심의 인쇄물은 대부분의 면적을 차지하는 텍스트 본문이 이미지 측면에서는 매우 유사하고, 신문 간지 등의 인쇄 광고에서는 유사한 구성을 가지는 경우가 매우 많아 문자에 대한 인식 없이 통상적인 이미지 검색 기술을 적용할 경우 유의미한 특징점을 찾기가 매우 어렵다. 그러나 문자 인식의 경우 언어별 대응이 어렵고, 인식의 정확성이 떨어지며, 처리 비용이 높은 문제가 있다.
본 발명과 관련된 배경기술로는 대한민국 특허공개번호 10-2012-0001847호(2012.01.05)의 '이미지 검색시스템 및 이미지 검색방법'이 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 사용자 단말이 제공하는 사진 등의 그래픽과 텍스트 정보가 혼합된 이미지를 활용하여 온라인 상에 존재하는 이미지와 연계된 광고 등의 정보를 검색하여 제공하는 이미지 정보를 활용한 온라인 정보 제공 방법을 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 이미지 정보를 활용한 온라인 정보 제공 방법은 사용자 단말에서 입력된 대상 이미지와 정보 제공자 장치에서 입력된 원본 이미지 각각의 텍스트 영역과 그래픽 영역을 분리하는 단계; 상기 텍스트 영역에서 중요 텍스트 영역을 선택하는 단계; 상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역 각각의 특징을 추출하는 단계; 상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역 각각의 특징을 이용하여 상기 대상 이미지에 대응하는 상기 원본 이미지를 검색하는 단계; 및 검색된 상기 원본 이미지에 관련된 부가 정보를 검색하여 제공하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서, 상기 대상 이미지와 원본 이미지 각각의 텍스트 영역과 그래픽 영역을 분리하는 단계는 상기 대상 이미지와 상기 원본 이미지의 경계선을 검출하여 획을 구성하는 선들을 추출하는 단계; 인접 선들을 통합하여 사각형을 구하는 단계; 상기 사각형의 중심으로 이루어진 직선 주변에 위치한 사각형들을 식별하는 단계; 식별된 상기 사각형들을 통합하여 상기 사각형의 그룹을 형성하는 단계; 및 상기 사각형의 그룹을 상기 텍스트 영역으로 식별하고, 상기 사각형의 그룹 이외 나머지 영역을 상기 그래픽 영역으로 정의하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 텍스트 영역에서 중요 텍스트 영역을 선택하는 단계는 상기 텍스트 영역별로 중요도를 식별하여 상기 중요도에 따라 상기 중요 텍스트 영역을 선택하는 것을 특징으로 한다.
본 발명의 상기 중요도는 상기 텍스트 영역의 면적 대비 상기 텍스트 영역에 포함된 상기 텍스트의 획 수를 기준으로 판단하는 것을 특징으로 한다.
본 발명의 상기 중요 텍스트 영역은 상기 텍스트 영역 중 단위 면적당 최소의 획 수를 가진 영역인 것을 특징으로 한다.
본 발명의 상기 그래픽 영역의 특징을 추출하는 단계는 상기 그래픽 영역만으로 구성된 그래픽 이미지를 구성하는 단계; 상기 그래픽 이미지를 상기 텍스트 영역이 삭제된 상기 그래픽 영역의 각 픽셀을 가장 가까운 그래픽 영역의 픽셀의 평균값으로 채우는 단계; 및 상기 그래픽 이미지에 대해 특징 추출 알고리즘을 적용하여 상기 그래픽 영역의 특징을 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 텍스트 영역의 특징을 추출하는 단계는 상기 텍스트 영역만으로 구성된 텍스트 이미지를 구성하는 단계; 상기 텍스트 이미지의 상기 텍스트 영역과 상기 그래픽 영역을 기 정의된 단일 색상으로 채우는 단계; 상기 텍스트 이미지를 이미지 검색을 위한 특징 추출 알고리즘을 적용하여 상기 텍스트 영역의 특징을 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 상기 중요 텍스트 영역의 특징을 추출하는 단계는 이미지 검색을 위한 특징 추출 알고리즘을 적용하여 상기 중요 텍스트 영역의 특징을 추출하는 것을 특징으로 한다.
본 발명의 상기 대상 이미지에 대응하는 상기 원본 이미지를 검색하는 단계는 상기 대상 이미지와 상기 원본 이미지의 상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역의 특징을 각각 비교하여 상기 원본 이미지를 검색하는 것을 특징으로 한다.
본 발명의 상기 대상 이미지와 상기 원본 이미지의 상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역의 특징은 유클리디안 거리에 따라 유사도가 판정되는 것을 특징으로 한다.
본 발명의 상기 대상 이미지와 상기 원본 이미지의 상기 텍스트 영역과 그래픽 영역 및 상기 중요 텍스트 영역의 특징별 유클리디안 거리가 기 설정된 문턱값 이상이면, 일치하는 원본 이미지가 없는 것으로 판정하는 것을 특징으로 한다.
본 발명은 인쇄물의 특성을 활용하여 텍스트와 그래픽이 혼합된 인쇄물을 효율적으로 검색하고, 이를 활용하여 인쇄물과 관련된 광고 등의 다양한 부가 정보를 제공할 수 있도록 한다.
도 1 은 본 발명의 일 실시예에 따른 이미지 정보를 활용한 온라인 정보 제공 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 이미지 정보를 활용한 온라인 정보 제공 방법의 순서도이다.
도 3 은 본 발명의 일 실시예에 따른 이미지에서 텍스트 영역을 식별하는 과정을 도시한 도면이다.
도 4 는 본 발명의 일 실시예에 따른 원본 이미지의 예시도이다.
도 5 는 본 발명의 일 실시예에 따른 경계선 검출을 수행한 후의 이미지의 예시도이다.
도 6 은 본 발명의 일 실시예에 따른 텍스트 영역 식별 결과를 도시한 도면이다.
도 7 은 본 발명의 일 실시예에 따른 텍스트 영역이 식별된 이미지의 예시도이다.
도 8 은 본 발명의 일 실시예에 따른 중요 텍스트 영역이 식별된 이미지의 예시도다.
도 9 는 본 발명의 일 실시예에 따른 그래픽 정보가 삭제된 텍스트 이미지의 예시도이다.
도 10 은 본 발명의 일 실시예에 따른 텍스트 영역이 삭제된 그래픽 이미지의 예시도이다.
이하에서는 본 발명의 일 실시예에 따른 이미지 정보를 활용한 온라인 정보 제공 방법을 첨부된 도면을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 이미지 정보를 활용한 온라인 정보 제공 장치의 블럭 구성도이다.
본 발명의 일 실시예에 따른 이미지 정보를 활용한 온라인 정보 제공 장치는 사용자 단말(200)이 제공한 대상 이미지를 원본 이미지에서 검색하여 원본 이미지와 관련된 각종 정보를 제공하는 것으로써, 정보 제공자 장치(100), 사용자 단말(200) 및 이미지 기반 정보 제공 장치(300)를 포함한다.
정보 제공자 장치(100)는 광고주, 신문사 등에 마련되어 인쇄물의 형태 혹은 온라인으로 제작된 기사와 광고 등의 정보를 제공한다.
이러한 정보 제공자 장치(100)는 원본 이미지가 검색되었을 때 사용자 단말(200)에게 원본 이미지와 원본 이미지에 대응되는 부가 정보를 제공한다.
사용자 단말(200)은 사용자가 대상 이미지로 원본 이미지를 검색할 수 있도록 하고, 제공받은 원본 이미지 검색에 따른 부가 정보를 사용자 단말(200)로 제공한다. 이를 위해 사용자 단말(200)은 원본 이미지를 촬영하거나 온라인에서 선택한 이미지를 마련하여 이미지 기반 정보 제공 장치(300)에 제공한다.
이미지 기반 정보 제공 장치(300)는 사용자 단말(200)에서 제공된 대상 이미지를 정보 제공자 장치(100)로부터 제공받은 원본 이미지에서 검색하여, 그 결과 검색된 원본 이미지와 원본 이미지에 대응되는 부가 정보를 사용자 단말(200)에게 제공한다.
이러한 이미지 기반 정보 제공 장치(300)는 대상 이미지 수신부(310), 원본 이미지 저장부(360), 원본 이미지 데이터베이스부(340), 부가 정보 데이터베이스부(350), 이미지 검색부(320) 및 정보 제공부(330)를 포함한다.
원본 이미지 저장부(360)는 정보 제공자 장치(100)에서 제공된 원본 이미지와 이 원본 이미지에 대응되는 URL 등의 부가 정보를 수신하고, 원본 이미지에서 원본 이미지의 특징을 추출하여 원본 이미지 데이터베이스부(340)에 저장하고, 원본 이미지와 대응되는 부가 정보를 부가 정보 데이터베이스부(350)에 저장한다.
이러한 원본 이미지 저장부(360)에서 채용될 수 있는 이미지 검색 기술은 Scale-invariant feature transform 알고리즘이 채용될 수 있으며, 크기의 변화, 카메라의 방향으로 인한 왜곡에 무관하게 이미지의 특징을 추출하고, 특징 값의 벡터를 비교하는 것만으로 이미지의 유사도를 측정할 수 있다. 이러한 이미지 검색을 위한 특징 추출 알고리즘과 검색 방법은 상기한 실시예에 한정되는 것은 아니며, 본 발명의 기술적 범위는 다양한 이미지 검색 기술을 모두 포함한다할 것이다.
대상 이미지 수신부(310)는 사용자 단말(200)에서 제공된 대상 이미지를 수신하고, 수신된 대상 이미지에서 대상 이미지의 특징을 추출한다.
이미지 검색부(320)는 대상 이미지 수신부(310)에서 추출된 특징을 기반으로 원본 이미지 데이터베이스부(340)를 검색하여 대상 이미지에 대응되는 원본 이미지를 식별한다.
정보 제공부(330)는 식별된 원본 이미지에 대응되는 부가 정보를 정보 데이터베이스부를 검색하여 사용자 단말(200)로 전달한다.
원본 이미지 데이터베이스부(340)는 원본 이미지 저장부(360)에서 추출된 원본 이미지의 특징을 저장하고, 부가 정보 데이터베이스부(350)는 원본 이미지에 대응되는 부가 정보를 저장한다.
이하, 본 발명의 일 실시예에 따른 이미지 정보를 활용한 온라인 정보 제공 방법을 도 2 및 도 3 을 참조하여 상세하게 설명한다.
도 2 는 본 발명의 일 실시예에 따른 이미지 정보를 활용한 온라인 정보 제공 방법의 순서도이고, 도 3 은 본 발명의 일 실시예에 따른 이미지에서 텍스트 영역을 식별하는 과정을 도시한 도면이다.
먼저, 원본 이미지 저장부(360)과 대상 이미지 수신부(310)는 원본 이미지와 대상 이미지 각각을 텍스트 영역과 그래픽 영역으로 분리하고, 텍스 영역과 그래픽 영역 각각의 특징을 추출한다(S10).
먼저 원본 이미지를 예시로 설명한다.
원본 이미지에 대해 텍스트 영역을 식별한다. 즉, 도 3 에 도시된 바와 같이, 이러한 텍스트 영역을 식별하기 위해, 원본 이미지에 대한 경계선을 검출한다(S110).
통상, 연속적인 색상의 변화를 가지는 사진에 대한 경계선 검출 결과와 텍스트에 대한 경계선 검출 결과는 매우 다른 특성을 보인다. 따라서, 경계선에 대한 특성 분류를 통해 문자 획을 구성하는 경계선들을 식별한다(S120).
다음으로, 이러한 획들에 대해 거리가 인접한 선들을 통합하여 이들 선을 포함하는 사각형들을 구성한다(S130).
이와 같이, 사각형들을 구성하면, 이 사각형들의 중심이 사각형을 가로지르는 직선상에 있고, 사각형들의 중심으로부터 설정 범위 내에 있는 인접한 사각형을 검색하고, 이들을 통합하여 사각형의 그룹을 생성한다(S140). 이때, 사각형의 인접성의 기준은 문자의 높이에 해당하는 사각형의 중심선으로부터의 수직 방향으로의 폭이 될 수 있다.
이와 같이, 사각형의 그룹이 생성되면, 이들 사각형의 그룹을 텍스트 영역으로 식별한다(S150).
특히, 효율적인 검색을 위해서, 과도하게 어둡거나 밝은 이미지는 정규화하여 이미지가 적절한 밝기와 대비를 가지도록 하거나, 에지를 선명하게 하는 등의 원본 이미지에 대한 전처리를 수행할 수 있다. 이는 카메라를 사용한 이미지를 사용하는 경우 조명과 부적절한 초점 등으로 인해 저하된 이미지 품질을 향상시킬 수 있다.
한편, 상기한 바와 같이, 텍스트 영역이 식별되면, 식별된 텍스트 영역에 대해서 텍스트 영역별로 중요도를 식별하여 중요 텍스트 영역을 선택한다(S20).
텍스트 영역별 중요도는 텍스트 영역의 면적을 기준으로 면적 대비 텍스트 영역에 포함된 텍스트의 획 수로 식별한다. 즉, 단위 면적당 가장 작은 획수를 가진 텍스트 영역을 중요 텍스트 영역으로 선택한다. 영역별 중요도를 식별하여 특징을 추출함에 있어서 응용 분야에 따라 기 설정된 수의 텍스트 영역이 채용될 수 있다. 예를 들어, 신문, 잡지와 같은 인쇄물은 통상 제목이 가장 중요한 영역이 되지만, 인쇄 광고는 중요한 영역이 분산되어 배치될 수 있기 때문에, 응용 분야에 따라 다양한 수의 텍스트 영역에 대해 특징을 추출한다.
이후 식별된 텍스트 영역을 기반으로 원본 이미지를 텍스트 영역만을 포함하는 텍스트 이미지와, 텍스트 영역이 삭제된 그래픽 이미지로 이미지를 구성하고, 텍스트 영역과 그래픽 영역 및 중요 텍스트 영역 각각에 대해 특징을 추출한다(S30).
먼저, 그래픽 이미지는 텍스트 영역이 삭제된 빈 영역의 각 픽셀을 가장 가까운 주변 그래픽 영역의 픽셀의 평균 값으로 채운다. 그래픽 이미지에 대해서는 기존의 이미지 검색을 위한 특징 추출 알고리즘을 적용하여 특징을 추출함으로써, 특징 벡터를 생성한다. 이를 통해 텍스트가 없는 그래픽 이미지에 대한 특징을 추출할 수 있다.
반면에, 텍스트 이미지는 텍스트 영역의 만을 포함하는데, 텍스트 영역에 대해서는 사전에 지정된 단일한 색상 예를 들어, 검은색으로 채우고, 그 외의 그래픽 영역은 단일한 색상 예를 들어, 흰색으로 채운다. 이와 같이 구성된 텍스트 이미지에 대해 기존의 이미지 검색을 위한 특징 추출 알고리즘을 적용하여 특징을 추출하여 특징 벡터를 구성한다. 이를 통해 텍스트의 배치에 의한 특성이 반영된다.
중요 텍스트 영역에 대해서는 추가로 이미지 검색을 위한 특징 추출 알고리즘을 적용하여 특징을 추출하여 특징 벡터를 생성한다.
이와 같이 추출된 텍스트 이미지 특징 벡터, 그래픽 이미지 특징 벡터, 중요 텍스트 영역 특징 벡터는 원본 이미지에 대한 고유한 특징을 나타내는 특징 벡터가 된다.
이상과 같은 과정을 통해 얻어진 원본 이미지의 특징 벡터와 원본 이미지는 원본 이미지 데이터베이스부(340)에 저장된다.
아울러, 대상 이미지 수신부(310)는 사용자 단말(200)로부터 제공된 대상 이미지를 원본 이미지에서 검색하기 위해 대상 이미지의 특징을 구한다.
대상 이미지 중 관심 영역을 식별하는데, 이 경우, 대상 이미지 중에서 실제 인쇄물이 차지하는 영역을 식별한다. 관심 영역을 식별하기 위해서는 대상 이미지에 대한 경계선 검출을 수행하고, 화면의 중심을 기준으로 최대 면적을 가지는 경계선을 찾아서 그 내부를 관심 영역으로 설정한다. 신문이나 집합 광고와 같이 다수의 독립적인 정보가 모여 있는 경우에는 다수의 정보가 하나의 관심 영역으로 설정될 수 있으므로, 검색 성공률을 높히기 위해, 식별된 관심 영역을 사용자 단말(200)로 전송하여 사용자에게 피드백함으로써, 사용자에게 관심 영역을 직접 선택하도록 하는 것도 가능하다.
대상 이미지에서 관심 영역의 특징을 추출하는 것은 원본 이미지 저장부(360)가 원본 이미지에서 수행하는 과정과 동일하므로, 여기서는 그 상세한 설명을 생략한다.
이상과 같이 추출된 대상 이미지 특징을 이용하여 이미지 검색부(320)는 원본 이미지 데이터베이스부(340)를 검색하여 대상 이미지에 대응되는 원본 이미지를 검색한다(S40).
이미지 검색부(320)는 원본 이미지 데이터베이스부(340)에 저장되어 있는 원본 이미지의 그래픽 이미지의 특징, 텍스트 이미지의 특징, 중요 텍스트 영역 특징을 대상 이미지의 그래픽 이미지의 특징, 텍스트 이미지의 특징, 중요 텍스트 영역 특징과 각각 비교하여 유사도가 가장 높은 원본 이미지를 선택한다.
유사도는 특징 벡터 즉, 그래픽 이미지의 특징, 텍스트 이미지의 특징, 중요 텍스트 영역 특징에 대해 대상 이미지와 원본 이미지의 각 특징 벡터의 유클리디안 거리를 계산했을 때 거리가 가까운 것이 유사도가 높은 것으로 판정된다. 이때 일부 특징의 일치에 의한 오인식을 방지하기 위해서, 하나 이상의 벡터에 대해 유클리디안 거리가 기 설정된 문턱값 이상이면 일치하는 원본 이미지가 없는 것으로 판정한다.
이와 같이, 이미지 검색부(320)에서 원본 이미지를 검색하면, 정보 제공부(330)는 검색된 원본 이미지와 관련된 부가 정보를 부가 정보 데이터베이스부(350)에서 추출하여 사용자 단말(200)에게 제공함으로써, 검색 결과에 대한 확인과 함께 부가 정보를 활용한 서비스가 가능하게 한다.
이와 같이, 이미지 기반 정보 검색 장치(300)는 신문 및 잡지의 기사 등 다수의 텍스트 이미지와 그래픽 이미지로 구성된 정보에도 동일하게 수행할 수 있다.
기사별 이미지가 등록되어 인쇄된 혹은 컴퓨터 화면에 표시된 전산 서비스에 대해, 이미지 기반 정보 검색 장치(300)는 사용자 단말(200)로부터 대상 이미지가 전송될 경우, 이를 검색하여 해당 기사의 관련 기사의 검색이나 인터넷 검색 등과 연계한 서비스가 가능하다.
아래에서는 도 4 내지 도 10 을 참조하여 설명한다.
정보 제공자 장치(100)는 신문 기사와 연계되어 광고를 제공할 경우, 도 4 에 도시된 바와 같은 신문 기사의 원본 이미지와 광고의 URL을 이미지 기반 정보 검색 장치에 등록한다.
이미지 기반 정보 검색 장치(300)는 원본 이미지에 대해 도 2 와 도 3 에 도시된 바와 같이, 텍스트 영역을 식별한다. 이 과정에서 경계선을 검출하고, 그 결과 도 5 에 도시된 바와 같은 이미지를 얻을 수 있다.
이 후 도 6 에 도시된 바와 같이, 인접 선들을 통합하여 선들을 포함하는 사각형을 구하고 이들을 다시 통합하여 사각형의 그룹을 형성함으로써 텍스트 영역을 식별한다.
이와 같이, 텍스트 영역을 식별하면, 도 7 에 도시된 바와 같이, 텍스트 영역이 식별된 이미지를 얻고, 식별된 텍스트 영역들에 대해 중요도를 결정한다.
이 경우, 텍스트 영역의 면적에 비해 가장 작은 선을 가지는 텍스트 영역을 선택하게 되면 기사 제목이 선택되게 되며, 그 결과 도 8 에 도시된 바와 같이, 중요 텍스트 영역(A)이 선택된다.
중요 텍스트 영역(A)이 선택되면, 도 9 에 도시된 바와 같은 그래픽 정보가 삭제된 텍스트 이미지와, 도 10 에 도시된 바와 같은 텍스트 영역이 삭제된 그래픽 이미지를 구한다.
이때, 중요 텍스트 영역의 이미지 함께 각각 이미지 특징 추출 절차를 수행하여 그래픽 이미지의 특징, 텍스트 이미지의 특징, 중요 텍스트 영역의 특징을 얻는다.
원본 이미지에 대한 특징 벡터들은 원본 이미지와 함께 원본 이미지 데이터베이스부(340)에 저장되고, 정보 제공자 장치(100)에서 원본 이미지와 함께 제공된 부가 정보는 부가 정보 데이터베이스부(350)에 저장되므로, 원본 이미지와 동일한 인덱스를 부여해서 이후 원본 이미지가 검색되면 이에 따라 부가 정보도 검색될 수 있다.
정보 제공자 장치(100)는 시스템에 원본 이미지와 부가 정보를 등록한 후, 인쇄물 형식으로 혹은 온라인을 통해 원본 이미지를 사용자 단말(200)에게 제공한다.
사용자 단말(200)은 휴대폰 카메라 등을 이용해 제공된 원본 이미지를 촬영한 대상 이미지를 이미지 기반 정보 검색 장치에 제공한다.
이미지 기반 정보 검색 장치(300)의 대상 이미지 수신부(310)는 대상 이미지에 대하여 원본 이미지 저장부(360)와 동일한 과정을 거쳐 대상 이미지에 대한 그래픽 이미지의 특징 벡터, 텍스트 이미지의 특징 벡터, 중요 텍스트 영역의 특징 벡터를 얻는다.
이때, 이미지 검색부(320)는 그래픽 이미지의 특징 벡터, 텍스트 이미지의 특징 벡터, 중요 텍스트 영역의 특징 벡터를 이용하여 원본 이미지 데이터베이스부(340)를 검색하게 되는데, 이때, 대상 이미지와 원본 이미지 데이터베이스부(340)에 저장된 원본 이미지의 그래픽 영역의 특징 벡터, 텍스트 영역의 특징 벡터, 중요 텍스트 영역의 특징 벡터 각각의 유클리디안 거리를 계산함으로써 대상 이미지와 가장 유사한 원본 이미지를 얻게 된다.
원본 이미지가 검색되면, 대상 이미지 수신부(310)는 정보 제공부(330)를 통해 검색된 원본 이미지에 대응하는 부가 정보 데이터베이스부(350)의 내용을 검색하고 그 결과를 대상 이미지 수신부(310)에 제공한다.
이를 통해 대상 이미지 수신부(310)는 사용자 단말(200)이 원본 이미지 검색 결과를 확인할 수 있도록 원본 이미지와 함께 부가 정보를 사용자 단말(200)에 전달하게 된다.
저장된 부가 정보에 따라 다양한 서비스가 가능하다. 신문 기사에 대해 관련 기사 검색 URL이 부가 정보로서 저장되었다면, 인쇄된 신문 기사를 바탕으로 관련 기사 검색 결과를 사용자 단말(200)에 표시할 수 있다. 또한 인쇄 광고에 대해 전화 번호가 부가 정보로서 저장되었다면, 해당 광고주에게 전화를 통해 주문을 하는 서비스가 가능하다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
100: 정보 제공자 장치 200: 사용자 단말
300: 이미지 기반 정보 제공 장치 310: 대상 이미지 수신부
320: 이미지 검색부 330: 정보 제공부
340: 원본 이미지 데이터베이스부 350: 부가 정보 데이터베이스부
360: 원본 이미지 저장부

Claims (11)

  1. 사용자 단말에서 입력된 대상 이미지와 정보 제공자 장치에서 입력된 원본 이미지 각각의 텍스트 영역과 그래픽 영역을 분리하는 단계;
    상기 텍스트 영역에서 중요 텍스트 영역을 선택하는 단계;
    상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역 각각의 특징을 추출하는 단계;
    상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역 각각의 특징을 이용하여 상기 대상 이미지에 대응하는 상기 원본 이미지를 검색하는 단계; 및
    검색된 상기 원본 이미지에 관련된 부가 정보를 검색하여 제공하는 단계를 포함하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  2. 제 1 항에 있어서, 상기 대상 이미지와 원본 이미지 각각의 텍스트 영역과 그래픽 영역을 분리하는 단계는
    상기 대상 이미지와 상기 원본 이미지의 경계선을 검출하여 획을 구성하는 선들을 추출하는 단계;
    인접 선들을 통합하여 사각형을 구하는 단계;
    상기 사각형의 중심으로 이루어진 직선 주변에 위치한 사각형들을 식별하는 단계;
    식별된 상기 사각형들을 통합하여 상기 사각형의 그룹을 형성하는 단계; 및
    상기 사각형의 그룹을 상기 텍스트 영역으로 식별하고, 상기 사각형의 그룹 이외 나머지 영역을 상기 그래픽 영역으로 정의하는 단계를 포함하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  3. 제 1 항에 있어서, 상기 텍스트 영역에서 중요 텍스트 영역을 선택하는 단계는
    상기 텍스트 영역별로 중요도를 식별하여 상기 중요도에 따라 상기 중요 텍스트 영역을 선택하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  4. 제 3 항에 있어서, 상기 중요도는 상기 텍스트 영역의 면적 대비 상기 텍스트 영역에 포함된 상기 텍스트의 획 수를 기준으로 판단하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  5. 제 4 항에 있어서, 상기 중요 텍스트 영역은 상기 텍스트 영역 중 단위 면적당 최소의 획 수를 가진 영역인 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  6. 제 1 항에 있어서, 상기 그래픽 영역의 특징을 추출하는 단계는
    상기 그래픽 영역만으로 구성된 그래픽 이미지를 구성하는 단계;
    상기 그래픽 이미지를 상기 텍스트 영역이 삭제된 상기 그래픽 영역의 각 픽셀을 가장 가까운 그래픽 영역의 픽셀의 평균값으로 채우는 단계; 및
    상기 그래픽 이미지에 대해 특징 추출 알고리즘을 적용하여 상기 그래픽 영역의 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  7. 제 1 항에 있어서, 상기 텍스트 영역의 특징을 추출하는 단계는
    상기 텍스트 영역만으로 구성된 텍스트 이미지를 구성하는 단계;
    상기 텍스트 이미지의 상기 텍스트 영역과 상기 그래픽 영역을 기 정의된 단일 색상으로 채우는 단계;
    상기 텍스트 이미지를 이미지 검색을 위한 특징 추출 알고리즘을 적용하여 상기 텍스트 영역의 특징을 추출하는 단계를 포함하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  8. 제 1항에 있어서, 상기 중요 텍스트 영역의 특징을 추출하는 단계는
    이미지 검색을 위한 특징 추출 알고리즘을 적용하여 상기 중요 텍스트 영역의 특징을 추출하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  9. 제 1 항에 있어서, 상기 대상 이미지에 대응하는 상기 원본 이미지를 검색하는 단계는
    상기 대상 이미지와 상기 원본 이미지의 상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역의 특징을 각각 비교하여 상기 원본 이미지를 검색하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  10. 제 9 항에 있어서, 상기 대상 이미지와 상기 원본 이미지의 상기 텍스트 영역과 상기 그래픽 영역 및 상기 중요 텍스트 영역의 특징은 유클리디안 거리에 따라 유사도가 판정되는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
  11. 제 10 항에 있어서, 상기 대상 이미지와 상기 원본 이미지의 상기 텍스트 영역과 그래픽 영역 및 상기 중요 텍스트 영역의 특징별 유클리디안 거리가 기 설정된 문턱값 이상이면, 일치하는 원본 이미지가 없는 것으로 판정하는 것을 특징으로 하는 이미지 정보를 활용한 온라인 정보 제공 방법.
KR1020120039556A 2012-04-17 2012-04-17 이미지 정보를 활용한 온라인 정보 제공 방법 KR20130117378A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120039556A KR20130117378A (ko) 2012-04-17 2012-04-17 이미지 정보를 활용한 온라인 정보 제공 방법
US13/850,634 US9292541B2 (en) 2012-04-17 2013-03-26 Method of providing online information using image information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120039556A KR20130117378A (ko) 2012-04-17 2012-04-17 이미지 정보를 활용한 온라인 정보 제공 방법

Publications (1)

Publication Number Publication Date
KR20130117378A true KR20130117378A (ko) 2013-10-28

Family

ID=49325152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120039556A KR20130117378A (ko) 2012-04-17 2012-04-17 이미지 정보를 활용한 온라인 정보 제공 방법

Country Status (2)

Country Link
US (1) US9292541B2 (ko)
KR (1) KR20130117378A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016089114A1 (en) * 2014-12-02 2016-06-09 Samsung Electronics Co., Ltd. Method and apparatus for image blurring

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6397213B1 (en) * 1999-05-12 2002-05-28 Ricoh Company Ltd. Search and retrieval using document decomposition
KR100374040B1 (ko) 2001-03-09 2003-03-03 엘지전자 주식회사 비디오 텍스트 합성 키 프레임 추출방법
US8385589B2 (en) * 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
CA2656425C (en) 2006-06-29 2014-12-23 Google Inc. Recognizing text in images
US8098934B2 (en) * 2006-06-29 2012-01-17 Google Inc. Using extracted image text
KR20080019960A (ko) 2006-08-29 2008-03-05 정창부 논문 문서영상의 그림영역에서 문자영역을 추출하는 방법
US8000529B2 (en) * 2007-07-11 2011-08-16 Hewlett-Packard Development Company, L.P. System and method for creating an editable template from a document image
US8144947B2 (en) 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints
AU2009201252B2 (en) * 2009-03-31 2011-06-02 Canon Kabushiki Kaisha Colour correcting foreground colours for visual quality improvement
JP5733907B2 (ja) * 2010-04-07 2015-06-10 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム
KR20120001847A (ko) 2010-06-30 2012-01-05 김종배 이미지 검색시스템 및 이미지 검색방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016089114A1 (en) * 2014-12-02 2016-06-09 Samsung Electronics Co., Ltd. Method and apparatus for image blurring
KR20160066425A (ko) * 2014-12-02 2016-06-10 삼성전자주식회사 이미지 블러링 방법 및 장치
US9704271B2 (en) 2014-12-02 2017-07-11 Samsung Electronics Co., Ltd Method and apparatus for image blurring

Also Published As

Publication number Publication date
US9292541B2 (en) 2016-03-22
US20130272612A1 (en) 2013-10-17

Similar Documents

Publication Publication Date Title
JP5972468B2 (ja) 画像からのラベルの検出
US9064316B2 (en) Methods of content-based image identification
CN108717543B (zh) 一种发票识别方法及装置、计算机存储介质
US20160188938A1 (en) Image identification marker and method
CN103617420A (zh) 基于图像特征匹配的商品快速识别方法及系统
US8254721B2 (en) Data input system, data input receiving device, data input receiving method and computer readable medium
US8805123B2 (en) System and method for video recognition based on visual image matching
US9082039B2 (en) Method and apparatus for recognizing a character based on a photographed image
CN104298982A (zh) 一种文字识别方法及装置
CA2656425A1 (en) Recognizing text in images
CN105243383A (zh) 答题卡处理方法及系统
CN108427959A (zh) 基于图像识别的机台状态采集方法及系统
CN105678301B (zh) 一种自动识别并分割文本图像的方法、系统及装置
CN111598076B (zh) 一种标签图像中日期检测处理方法及装置
CN115018565A (zh) 一种广告传媒图像识别方法、系统、设备及可读存储介质
CN108647570B (zh) 斑马线检测方法、装置及计算机可读存储介质
CN116758550A (zh) 表单图像的文本识别方法及其装置、电子设备、存储介质
KR20130117378A (ko) 이미지 정보를 활용한 온라인 정보 제공 방법
US9514451B2 (en) Method, apparatus and system for information identification
KR101869848B1 (ko) 증강현실 템플릿 시스템 및 방법
Farhath et al. Development of shopping assistant using extraction of text images for visually impaired
CN109389000A (zh) 一种条形码识别方法及应用该方法的计算机
CN109558876B (zh) 字符识别处理方法及装置
CN114202761B (zh) 一种基于图片信息聚类的信息批量提取方法
US9311562B2 (en) Image retrieval system, information processing apparatus, image retrieval method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid