KR20140015697A - 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법 - Google Patents

스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법 Download PDF

Info

Publication number
KR20140015697A
KR20140015697A KR1020120075504A KR20120075504A KR20140015697A KR 20140015697 A KR20140015697 A KR 20140015697A KR 1020120075504 A KR1020120075504 A KR 1020120075504A KR 20120075504 A KR20120075504 A KR 20120075504A KR 20140015697 A KR20140015697 A KR 20140015697A
Authority
KR
South Korea
Prior art keywords
feature point
point information
image
metadata
information
Prior art date
Application number
KR1020120075504A
Other languages
English (en)
Inventor
양승호
한상준
김대남
Original Assignee
양승호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양승호 filed Critical 양승호
Priority to KR1020120075504A priority Critical patent/KR20140015697A/ko
Publication of KR20140015697A publication Critical patent/KR20140015697A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)

Abstract

스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법이 개시된다. 장착된 카메라를 이용하여 사물 이미지를 인식하여 특징점 정보를 추출하고, 내장된 메모리 상에서 상기 추출된 특징점 정보를 검색하고 검색된 특징점 정보에 대응되는 메타데이터를 독출하고, 독출된 메타데이터에 대응하여 미리 지정된 동작 중 어느 하나를 선택하여 수행하고, 독출된 메타데이터가 없는 경우에는 메타데이터 독출을 위해 상기 추출된 특징점 정보를 SSL(Secure Socket Layer) 방식으로 송신하는 스마트 폰; 기 등록된 사물 이미지로부터 추출한 특징점 정보를 저장하는 사물 이미지 DB; 상기 사물 이미지 DB에 저장된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 저장하는 메타데이터 DB; 상기 스마트 폰으로부터 특징점 정보를 수신하고, 상기 사물 이미지 DB에 저장된 특징점 정보 중에서 상기 수신된 특징점 정보와 매칭되는 특징점 정보를 검색하고, 검색된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 상기 메타데이터 DB에서 검색하여 상기 스마트 폰으로 송신하는 이미지 검새 서버를 구성한다. 상기 메타데이터는 상기 스마트 폰에서 수행할 동작에 대한 정보를 포함하는 동작 정보 및 상기 동작을 수행하기 위하여 필요한 부가 정보를 구성한다.

Description

스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법{LINKED INFORMATION OFFERING SYSTEM AND METHOD USING SMART PHONE}
본 발명은 스마트 폰 인식 이미지를 이용한 시스템 및 방법에 관한 것으로서, 좀 더 구체적으로는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법에 관한 것이다.
종래에는 스마트 폰을 이용하여 QR 코드를 인식함으로써, 특정 웹 페이지에 접속하여 정보를 얻을 수 있다.
이러한 QR 코드는 정사각형 형상 내에 흑백의 사각 도트들이 특정 패턴으로 찍히도록 구성된다. 스마트 폰에서는 카메라를 이용하여 이러한 패턴을 인식하고 웹 브라우저를 구동하여 미리 지정된 URL로 접속하도록 구성된다.
그런데, 이러한 QR 코드는 그 형상 자체로서는 다른 QR 코드와 구별하기가 매우 어려울 정도로 패턴이 복잡하다. 또한, 특정 QR 코드가 어떤 상품이나 서비스 또는 컨텐츠를 대변하는 코드인지 육안으로는 전혀 식별이 불가하다.
즉, QR 코드는 어떤 상품이나 전시물 등에 대한 부가적인 인식 수단으로 이용될 뿐, 그 자체로서는 전혀 식별력이 없다고 볼 수 있다.
이처럼 QR 코드는 스마트 폰 상에서 한 번의 촬영만으로도 여러 단계의 UI 조작을 대체할 수 있으므로 매우 편리하다는 장점이 있으나, 사용자 정의형이 아니어서 상품/서비스 제공 업체 등에서 이를 배포하지 않는 한 이용할 수 없다는 단점이 있으며, 하나의 QR 코드에는 웹 접속에 의한 정보 제공이라는 하나의 동작만이 연계된다는 단점이 있다. 즉, 다양한 연관 동작이 불가하다.
또한, QR 코드는 육안만으로는 그 자체로서 식별력이 부족하다.
본 발명의 목적은 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 스마트 폰 인식 이미지를 이용한 연관 동작 수행 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템은, 장착된 카메라를 이용하여 사물 이미지를 인식하여 특징점 정보를 추출하고, 내장된 메모리 상에서 상기 추출된 특징점 정보를 검색하고 검색된 특징점 정보에 대응되는 메타데이터를 독출하고, 독출된 메타데이터에 대응하여 미리 지정된 동작 중 어느 하나를 선택하여 수행하고, 독출된 메타데이터가 없는 경우에는 메타데이터 독출을 위해 상기 추출된 특징점 정보를 SSL(Secure Socket Layer) 방식으로 송신하는 스마트 폰; 기 등록된 사물 이미지로부터 추출한 특징점 정보를 저장하는 사물 이미지 DB; 상기 사물 이미지 DB에 저장된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 저장하는 메타데이터 DB; 상기 스마트 폰으로부터 특징점 정보를 수신하고, 상기 사물 이미지 DB에 저장된 특징점 정보 중에서 상기 수신된 특징점 정보와 매칭되는 특징점 정보를 검색하고, 검색된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 상기 메타데이터 DB에서 검색하여 상기 스마트 폰으로 송신하는 이미지 검색 서버를 포함하고, 상기 사물 이미지는, 상표, 로고, 영화 포스터, 앨범 자켓, 사진 중 어느 하나 이상을 포함하고, 상기 메타데이터는, 상기 스마트 폰에서 수행할 동작에 대한 정보를 포함하는 동작 정보 및 상기 동작을 수행하기 위하여 필요한 부가 정보로 구성되고, 상기 동작 정보는, 이미지 표시, 동영상 재생, 상품 구매, 네비게이션 실행을 위한 정보를 포함하고, 상기 부가 정보는, 상기 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 네비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하도록 구성될 수 있다. (상기 정보에 한정되지 않고 확장성이 있다는 언급은 청구항에서는 불가하며 발명의 상세한 설명 부분에서 기재하였습니다.)
여기에서, 상기 스마트 폰은, 상기 인식된 사물 이미지로부터 SURF(speed up robust features) 알고리즘을 이용하여 64차원 벡터 정보로 구성되는 시각적 특징점 정보를 추출하도록 구성될 수 있다.
그리고 상기 스마트 폰은, 상기 사물 이미지 DB에 저장된 특징점 정보 및 상기 메타데이터 DB에 저장된 메타데이터를 다운로드하고, 상기 이미지 검색 서버는, 소정 사물 이미지에 대한 특징점 정보를 상기 사물 이미지 DB에 업로드하고, 상기 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 상기 특징점 정보에 연계하여 상기 메타 데이터 DB에 업로드하도록 구성될 수 있다.
그리고 상기 스마트 폰은, 상기 인식된 사물 이미지로부터 추출된 특징점 정보와 상기 내장된 메모리 상에서 추출된 특징점 정보를 대비하여 매칭되는 특징점의 개수를 카운트하고, 매칭되는 특징점의 개수가 가장 많은 이미지를 검색하고, 상기 매칭되는 특징점의 개수가 미리 지정된 최소 개수 이상이고, 상기 특징점의 개수가 매칭되는 특징점의 개수가 두번째로 많은 이미지의 개수의 2배 이상인 경우 상기 검색된 이미지의 특징점 정보를 추출하도록 구성될 수 있다.
상술한 본 발명의 다른 목적에 따른 스마트 폰 인식 이미지를 이용한 연관 동작 수행 방법은, 스마트 폰에 장착된 카메라를 이용하여 사물 이미지를 인식하고 특징점 정보를 추출하는 단계; 상기 스마트 폰의 메모리 상에서 상기 추출된 특징점 정보를 검색하고 검색된 특징점 정보에 대응되는 메타데이터를 독출하는 단계; 상기 스마트 폰이 상기 독출된 메타데이터에 대응하여 미리 지정된 동작 중 어느 하나를 선택하여 수행하는 단계; 상기 메타데이터가 독출되지 않는 경우, 상기 스마트 폰이 상기 추출된 특징점 정보를 SSL(Secure Socket Layer) 방식으로 이미지 검색 서버로 송신하는 단계; 상기 이미지 검색 서버가 상기 특징점 정보를 수신하고, 사물 이미지 DB에 저장된 특징점 정보 중에서 상기 수신된 특징점 정보와 매칭되는 특징점 정보를 검색하는 단계; 상기 이미지 검색 서버가 상기 매칭되는 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 메타데이터 DB에서 검색하여 독출하는 단계; 상기 이미지 검색 서버가 상기 독출된 메타데이터를 상기 스마트 폰으로 송신하는 단계; 상기 스마트 폰이 상기 메타데이터를 수신하고, 수신된 메타데이터 중에서 사용자에 의해 선택된 메타데이터에 대응하여 미리 지정된 동작을 수행하는 단계를 포함하고, 상기 사물 이미지는, 상표, 로고, 영화 포스터, 앨범 자켓, 사진 중 어느 하나 이상을 포함하고, 상기 메타데이터는, 상기 스마트 폰에서 수행할 동작에 대한 정보를 포함하는 동작 정보 및 상기 동작을 수행하기 위하여 필요한 부가 정보로 구성되고, 상기 동작 정보는, 이미지 표시, 동영상 재생, 상품 구매, 네비게이션 실행을 위한 정보를 포함하고, 상기 부가 정보는, 상기 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 네비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하도록 구성될 수 있다.
이때, 상기 스마트 폰에 내장된 카메라를 이용하여 사물 이미지를 인식하고 특징점 정보를 추출하는 단계는, 상기 인식된 사물 이미지로부터 SURF(speed up robust features) 알고리즘을 이용하여 64차원 벡터 정보로 구성되는 시각적 특징점 정보를 추출하도록 구성될 수 있다.
그리고 상기 스마트 폰에 내장된 카메라를 이용하여 사물 이미지를 인식하고 특징점 정보를 추출하는 단계는, 상기 인식된 사물 이미지로부터 추출된 특징점 정보와 상기 내장된 메모리 상에서 추출된 특징점 정보를 대비하여 매칭되는 특징점의 개수를 카운트하고, 매칭되는 특징점의 개수가 가장 많은 이미지를 검색하고, 상기 매칭되는 특징점의 개수가 미리 지정된 최소 개수 이상이고, 상기 특징점의 개수가 매칭되는 특징점의 개수가 두번째로 많은 이미지의 개수의 2배 이상인 경우 상기 검색된 이미지의 특징점 정보를 추출하도록 구성될 수 있다.
상기와 같은 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법에 의하면, 스마트 폰 인식 이미지에 대해서 하나의 동작이 아닌, 구분 태그별로 별로 다양한 동작이 연계되어 수행되는 효과가 있다.
또한, 스마트 폰 인식 이미지는 그 자체로서 육안으로 식별력을 가지고 있으므로, 사용자 또는 소비자들에게 친화력이 있고 즉각적인 정보를 제공할 수 있는 효과가 있다.
한편, 사용자들이 사물 이미지와 메타데이터를 사물 이미지 DB와 메타데이터 DB로부터 다운로드하도록 함으로써, 보다 많은 스마트 폰 인식 이미지와 다양한 동작들이 스마트 폰 상에 축적되어 이용될 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사물 이미지 및 메타데이터를 나타내는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 스마트 폰 인식 이미지를 이용한 연관 동작 수행 방법의 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 스마트 폰/이미지 검색 서버의 특징점 정보 매칭의 세부 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 메타데이터에 대응되는 동작 수행의 세부 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템(이하, '연관 동작 수행 시스템'이라 함)(100)은 스마트 폰(110), 사물 이미지 DB(120), 메타데이터 DB(130) 및 이미지 검색 서버(140)를 포함하도록 구성될 수 있다.
연관 동작 수행 시스템(100)은 스마트 폰(110)을 이용한 스마트 폰 인식 이미지에 대해서 구분 태그 별로 동영상 재생, 상품 구매 사이트 접속, 네비게이션 실행 등의 다양한 동작이 연계되도록 한다. 또한, 스마트 폰 인식 이미지는 상표, 로고, 영화 포스터, 앨범 자켓, 사진 등으로 구성되어 그 자체만으로도 사용자에게 그 동작이나 정보에 대한 즉각적인 정보와 연상을 가능케한다.
그리고 연관 동작 수행 시스템(100)은 스마트 폰 인식 이미지와 구분 태그 등을 기업 고객, 컨텐츠 관리자 또는 시스템 개발 운영자 등이 등록하고 사용자(엔드 유저)가 다운로드하여 사용하도록 구성됨으로써,(특허 명세서에서 사용자는 주로 엔드 유저의 의미로 쓰입니다) 보다 다양하고 많은 정보와 동작의 제공이 가능하다.
이하, 세부적인 구성에 대하여 설명한다.
스마트 폰(110)은 장착된 카메라를 이용하여 사물 이미지를 인식하여 특징점 정보를 추출한다. 여기서 특징점 정보는 시각적 특징점 정보이다. 그리고 사물 이미지는 대표적으로 상표나 로고가 될 수 있으며, 영화 포스터, 앨범 자켓, 사진 등을 더 포함할 수 있다.
그리고 스마트 폰(110)은 내장된 메모리 상에서 앞서 추출된 특징점 정보와 유사한 특징점 정보를 검색하고 검색된 특징점 정보에 대응되는 메타데이터를 독출한다. 이때, 메타데이터는 수행할 동작에 대한 정보를 포함하는 동작 정보 및 그 동작을 수행하기 위하여 필요한 부가 정보로 구성될 수 있다. 동작 정보의 예로서는 이미지 표시, 동영상 재생, 상품 구매, 네비게이션 실행을 위한 정보가 있을 수 있다. 그리고 부가 정보로서는 위 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 네비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하도록 구성될 수 있다. 그리고 각 메타데이터에 대하여는 각각 I, M, P, N의 구분 태그가 부가될 수 있다.
이때, 각각의 동작 정보와 부가 정보는 기업 고객, 컨텐츠 관리자 또는 시스템 개발 운영자 등에 의해 다양하게 확장될 수 있다.
한편, 스마트 폰(110)은 앞서 인식된 사물 이미지로부터 SURF(speed up robust features) 알고리즘을 이용하여 64차원 벡터 정보로 구성되는 시각적 특징점 정보를 추출하도록 구성될 수 있다.
또한, 스마트 폰(110)은 앞서 인식된 사물 이미지로부터 추출된 특징점 정보와 내장된 메모리 상에서 추출된 특징점 정보를 대비하여 매칭되는 특징점의 개수를 카운트하여, 매칭되는 특징점의 개수가 가장 많은 이미지를 검색하도록 구성될 수 있다. 그리고 앞서 매칭되는 특징점의 개수가 미리 지정된 최소 개수 이상이고, 매칭되는 특징점의 개수가 두번째로 많은 이미지의 개수의 2배 이상인 경우에 앞서 검색된 이미지를 선택하여 특징점 정보를 추출하도록 구성될 수 있다.
그리고 스마트 폰(110)은 앞서 독출된 메타데이터에 대응하여 미리 지정된 동작 중 어느 하나를 선택하여 수행하도록 구성될 수 있다.
한편, 스마트 폰(110)은 앞서 독출된 메타데이터가 없는 경우에는 메타데이터 독출을 위해 특징점 정보를 SSL(Secure Socket Layer) 방식으로 이미지 제공 서버(120)로 송신하도록 구성될 수 있다. 만약 스마트 폰(110) 상에서 특징점이나 메타데이터의 로컬 검색이 생략될 수도 있는데, 이 경우는 스마트 폰(110)의 메모리 상에 메타데이터가 저장되어 있지 않는 것을 전제 조건으로 로컬 검색이 생략되도록 구성될 수 있다.
다음으로, 사물 이미지 DB(120)는 기 등록된 사물 이미지로부터 추출한 특징점 정보를 저장하도록 구성된다. 사물 이미지 DB(120)는 이미지 검색 서버(140)가 스마트 폰(110)에서 추출한 특징점 정보와 동일한 특징점 정보를 검색하기 위한 데이터베이스이다.
다음으로, 메타데이터 DB(130)는 사물 이미지 DB(120)에 저장된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 저장하도록 구성될 수 있다. 메타데이터 DB(130)에 저장된 메타데이터는 사물 이미지 DB(120)에 저장된 각각의 특징점 정보와 연계되어 있는데, 이미지 검색 서버(140)는 사물 이미지 DB(120) 상에서 검색한 특징점 정보와 연게되어 있는 메타데이터 DB(130)의 메타데이터를 독출한다.
한편, 스마트 폰(110)은 사물 이미지 DB(120)에 저장된 사물 이미지의 특징점 정보 및 상기 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 메타데이터 DB(130)로부터 다운로드하도록 구성될 수 있다.
이미지 검색 서버(140)는 스마트 폰(110)으로부터 특징점 정보를 수신한다. 그리고 이미지 검색 서버(140)는 앞서 살펴본 바와 같이 사물 이미지 DB(120)에 저장된 특징점 정보 중에서 상기 수신된 특징점 정보와 매칭되는 특징점 정보를 검색한다. 그리고 검색된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 메타데이터 DB(130)에서 검색하여 스마트 폰(110)으로 송신하도록 구성된다.
그리고 이미지 검색 서버(140)는 소정 사물 이미지에 대한 특징점 정보를 사물 이미지 DB(120)에 업로드하고, 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 그 특징점 정보에 연계하여 메타 데이터 DB(120)에 업로드하도록 구성될 수 있다. 이는 이미지 검색 서버(140)에서 제공하는 웹 페이지를 통해 컨텐츠 관리자 등이 업로드하도록 구성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 사물 이미지 및 메타데이터를 나타내는 예시도이다.
도 2를 참조하면, 사물 이미지와 그와 연관된 메타데이터가 개시되어 있다. 사물 이미지는 '카페베네'라는 서비스 로고이며, 해당 서비스업 전문점 또는 잡지 등에 개시된 사물 이미지를 촬영하여 관련된 메타데이터의 동작을 수행할 수 있다.
각 메타데이터는 구분 태그 I, M, P, N과 같이 4가지가 있을 수 있다. 여기서, I는 이미지 표시, M은 동영상 재생, P는 상품 구매, 웹페이지를 통한 설문 조사, 홈페이지 실행/표시, N은 네비게이션 실행을 위한 동작 정보를 포함할 수 있다. 그리고 이러한 동작 정보에 대응하여 I는 이미지가 저장된 노드의 URL, M은 동영상이 저장된 노드의 URL, P는 상품 구매 사이트의 URL, 설문조사 사이트의 URL, 홈페이지의 URL, N은 네비게이션 실행을 위한 지도의 위도 및 경도 정보와 같은 부가 정보를 포함하는 것을 알 수 있다.
도 3은 본 발명의 일 실시예에 따른 스마트 폰 인식 이미지를 이용한 연관 동작 수행 방법의 흐름도이다.
도 3에 따르면, 먼저 스마트 폰(110)에 장착된 카메라를 이용하여 사물 이미지를 인식하고 특징점 정보를 추출한다(S110). 이때, 사물 이미지는 상표, 로고, 영화 포스터, 앨범 자켓, 사진 중 어느 하나 이상을 포함하도록 구성될 수 있다. 그리고 스마트 폰(110)은 앞서 인식된 사물 이미지로부터 SURF(speed up robust features) 알고리즘을 이용하여 64차원 벡터 정보로 구성되는 시각적 특징점 정보를 추출하도록 구성될 수 있다.
그리고 단계 S120에서는 스마트 폰(110)의 메모리 상에서 앞서 추출된 특징점 정보를 검색하고(S120a), 검색된 특징점 정보가 있는지 판단한다(S120b). 이때, 검색된 특징점 정보가 있는 경우에는, 검색된 특징점 정보에 대응되는 메타데이터를 독출한다(S120c). 이때, 메타데이터는 스마트 폰(110)에서 수행할 동작에 대한 정보를 포함하는 동작 정보 및 그 동작을 수행하기 위하여 필요한 부가 정보로 구성되고, 동작 정보 이미지 표시, 동영상 재생, 상품 구매, 웹페이지를 통한 설문 조사, 홈페이지 실행/표시, 네비게이션 실행을 위한 정보를 포함하고, 부가 정보는 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 설문조사 사이트의 URL, 홈페이지의 URL, 네비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하도록 구성될 수 있다.
다음으로, 스마트 폰(110)이 앞서 독출된 메타데이터에 대응하여 미리 지정된 동작 중 어느 하나를 선택하여 수행한다(S130).
그런데, 앞서 S102b에서 검색된 특징점 정보가 없는 경우에는, 스마트 폰(110)이 앞서 추출된 특징점 정보를 SSL(Secure Socket Layer) 방식으로 이미지 검색 서버(130)로 송신한다(S140).
다음으로, 단계 S150에서, 이미지 검색 서버(140)가 그 특징점 정보를 수신하고, 사물 이미지 DB(120)에 저장된 특징점 정보 중에서 수신된 특징점 정보와 매칭되는 특징점 정보를 검색한다(S150a).
이때, 이미지 검색 서버(140)는 검색된 특징점 정보가 있는 지 판단한다(S150b). 검색된 특징점 정보가 없는 경우에는, 이미지 검색 서버(140)가 검색 결과 없음을 스마트 폰(110)으로 알리고, 스마트 폰(110)은 검색 결과 없음을 표시한다(S150c).
그런데, 단계 S150b에서 검색된 특징점 정보가 있는 경우에는, 이미지 검색 서버(140)가 매칭되는 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 메타데이터 DB(130)에서 검색하여 독출한다(S160).
다음으로, 이미지 검색 서버(140)가 독출된 메타데이터를 스마트 폰(110)으로 송신한다(S170).
다음으로, 스마트 폰(110)이 메타데이터를 수신하고, 수신된 메타데이터 중에서 사용자에 의해 선택된 메타데이터에 대응하여 미리 지정된 동작을 수행한다(S180).
도 4는 본 발명의 일 실시예에 따른 스마트 폰/이미지 검색 서버의 특징점 정보 매칭의 세부 흐름도이다.
도 4의 각 단계는 도 2 상에서 단계 S120a 및 S150a의 세부 단계에 해당된다. S120a는 스마트 폰(110) 상에서 구현되며, S150a는 이미지 검색 서버(140) 상에서 구현된다.
도 4를 참조하면, 먼저 스마트 폰(110)/이미지 검색 서버(140)은 카메라를 통해 인식된 사물 이미지로부터 추출된 특징점 정보와 내장된 메모리/사물 이미지 DB(120) 상에서 추출된 특징점 정보를 대비하여 매칭되는 특징점의 개수를 카운트한다(S11).
다음으로, 스마트 폰(110) /이미지 검색 서버(140)이 매칭되는 특징점의 개수가 가장 많은 이미지를 검색한다(S12).
다음으로, 스마트 폰(110) /이미지 검색 서버(140)이 매칭되는 특징점의 개수가 미리 지정된 최소 개수 이상인지 판단한다(S13).
그리고 최소 2배 이상인 경우, 스마트 폰(110)/이미지 검색 서버(140)은 상기 가장 많은 특징점의 개수가 매칭되는 특징점의 개수가 두번째로 많은 이미지의 개수의 2배 이상인지 판단한다(S14).
그리고 스마트 폰(110)/이미지 검색 서버(140)이 앞서 검색된 이미지의 특징점 정보를 추출한다(S15).
도 5는 본 발명의 일 실시예에 따른 메타데이터에 대응되는 동작 수행의 세부 흐름도이다.
도 5를 참조하면, 먼저 스마트 폰(110)은 메타데이터의 구분 태그를 판단한다(S131).
다음으로, 스마트 폰(110)은 구분 태그가 I이면 이미지가 저장된 노드의 URL을 취득하고(S132a), 스마트 폰(110)의 내장 브라우저 또는 어플리케이션 내에 이미지 뷰어 기능을 구현하여 해당 URL의 주소로 접속한다(S133a).
그리고 스마트 폰(110)은 구분 태그가 M이면 동영상이 저장된 노드의 URL을 취득하고(S132b), 스마트 폰(110)의 내장 플레이어 또는 어플리케이션 내에 플레이어 기능을 구현하여 해당 URL의 주소로 접속한다(S133b).
그리고 스마트 폰(110)은 구분 태그가 P이면 상품 구매를 위한 판매 사이트의 URL을 취득하고(S132c), 스마트 폰(110)의 내장 브라우저 또는 어플리케이션 내에 브라우저 기능을 구현하여 해당 URL의 주소로 접속한다(S133c).
그리고 스마트 폰(110)은 구분 태그가 N이면 네비게이션 실행을 위한 지도의 위도 및 경도 정보를 취득하고(S132d), 취득된 위도 및 경도 정보를 이용하여 스마트 폰(110)의 기 설치된 네비게이터 또는 어플리케이션 내에 네비게이터 기능을 구현하여 실행한다(S133d).
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 장착된 카메라를 이용하여 사물 이미지를 인식하여 특징점 정보를 추출하고, 내장된 메모리 상에서 상기 추출된 특징점 정보를 검색하고 검색된 특징점 정보에 대응되는 메타데이터를 독출하고, 독출된 메타데이터에 대응하여 미리 지정된 동작 중 어느 하나를 선택하여 수행하고, 독출된 메타데이터가 없는 경우에는 메타데이터 독출을 위해 상기 추출된 특징점 정보를 SSL(Secure Socket Layer) 방식으로 송신하는 스마트 폰;
    기 등록된 사물 이미지로부터 추출한 특징점 정보를 저장하는 사물 이미지 DB;
    상기 사물 이미지 DB에 저장된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 저장하는 메타데이터 DB;
    상기 스마트 폰으로부터 특징점 정보를 수신하고, 상기 사물 이미지 DB에 저장된 특징점 정보 중에서 상기 수신된 특징점 정보와 매칭되는 특징점 정보를 검색하고, 검색된 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 상기 메타데이터 DB에서 검색하여 상기 스마트 폰으로 송신하는 이미지 검색 서버를 포함하고,
    상기 사물 이미지는,
    상표, 로고, 영화 포스터, 앨범 자켓, 사진 중 어느 하나 이상을 포함하고,
    상기 메타데이터는,
    상기 스마트 폰에서 수행할 동작에 대한 정보를 포함하는 동작 정보 및 상기 동작을 수행하기 위하여 필요한 부가 정보로 구성되고,
    상기 동작 정보는,
    이미지 표시, 동영상 재생, 상품 구매, 네비게이션 실행을 위한 정보를 포함하고,
    상기 부가 정보는,
    상기 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 네비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하는 것을 특징으로 하는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템.
  2. 제1항에 있어서, 상기 스마트 폰은,
    상기 인식된 사물 이미지로부터 SURF(speed up robust features) 알고리즘을 이용하여 64차원 벡터 정보로 구성되는 시각적 특징점 정보를 추출하는 것을 특징으로 하는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템.
  3. 제2항에 있어서,
    상기 스마트 폰은,
    상기 사물 이미지 DB에 저장된 특징점 정보 및 상기 메타데이터 DB에 저장된 메타데이터를 다운로드하고,
    상기 이미지 검색 서버는,
    소정 사물 이미지에 대한 특징점 정보를 상기 사물 이미지 DB에 업로드하고, 상기 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 상기 특징점 정보에 연계하여 상기 메타 데이터 DB에 업로드하는 것을 특징으로 하는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템.
  4. 제3항에 있어서, 상기 스마트 폰은,
    상기 인식된 사물 이미지로부터 추출된 특징점 정보와 상기 내장된 메모리 상에서 추출된 특징점 정보를 대비하여 매칭되는 특징점의 개수를 카운트하고, 매칭되는 특징점의 개수가 가장 많은 이미지를 검색하고, 상기 매칭되는 특징점의 개수가 미리 지정된 최소 개수 이상이고, 상기 특징점의 개수가 매칭되는 특징점의 개수가 두번째로 많은 이미지의 개수의 2배 이상인 경우 상기 검색된 이미지의 특징점 정보를 추출하는 것을 특징으로 하는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템.
  5. 스마트 폰에 장착된 카메라를 이용하여 사물 이미지를 인식하고 특징점 정보를 추출하는 단계;
    상기 스마트 폰의 메모리 상에서 상기 추출된 특징점 정보를 검색하고 검색된 특징점 정보에 대응되는 메타데이터를 독출하는 단계;
    상기 스마트 폰이 상기 독출된 메타데이터에 대응하여 미리 지정된 동작 중 어느 하나를 선택하여 수행하는 단계;
    상기 메타데이터가 독출되지 않는 경우, 상기 스마트 폰이 상기 추출된 특징점 정보를 SSL(Secure Socket Layer) 방식으로 이미지 검색 서버로 송신하는 단계;
    상기 이미지 검색 서버가 상기 특징점 정보를 수신하고, 사물 이미지 DB에 저장된 특징점 정보 중에서 상기 수신된 특징점 정보와 매칭되는 특징점 정보를 검색하는 단계;
    상기 이미지 검색 서버가 상기 매칭되는 특징점 정보에 대응되는 적어도 하나 이상의 메타데이터를 메타데이터 DB에서 검색하여 독출하는 단계;
    상기 이미지 검색 서버가 상기 독출된 메타데이터를 상기 스마트 폰으로 송신하는 단계;
    상기 스마트 폰이 상기 메타데이터를 수신하고, 수신된 메타데이터 중에서 사용자에 의해 선택된 메타데이터에 대응하여 미리 지정된 동작을 수행하는 단계를 포함하고,
    상기 사물 이미지는,
    상표, 로고, 영화 포스터, 앨범 자켓, 사진 중 어느 하나 이상을 포함하고,
    상기 메타데이터는,
    상기 스마트 폰에서 수행할 동작에 대한 정보를 포함하는 동작 정보 및 상기 동작을 수행하기 위하여 필요한 부가 정보로 구성되고,
    상기 동작 정보는,
    이미지 표시, 동영상 재생, 상품 구매, 네비게이션 실행을 위한 정보를 포함하고,
    상기 부가 정보는,
    상기 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 네비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하는 것을 특징으로 하는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 방법.
  6. 제5항에 있어서, 상기 스마트 폰에 내장된 카메라를 이용하여 사물 이미지를 인식하고 특징점 정보를 추출하는 단계는,
    상기 인식된 사물 이미지로부터 SURF(speed up robust features) 알고리즘을 이용하여 64차원 벡터 정보로 구성되는 시각적 특징점 정보를 추출하는 것을 특징으로 하는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 방법.
  7. 제6항에 있어서, 상기 스마트 폰에 내장된 카메라를 이용하여 사물 이미지를 인식하고 특징점 정보를 추출하는 단계는,
    상기 인식된 사물 이미지로부터 추출된 특징점 정보와 상기 내장된 메모리 상에서 추출된 특징점 정보를 대비하여 매칭되는 특징점의 개수를 카운트하고, 매칭되는 특징점의 개수가 가장 많은 이미지를 검색하고, 상기 매칭되는 특징점의 개수가 미리 지정된 최소 개수 이상이고, 상기 특징점의 개수가 매칭되는 특징점의 개수가 두번째로 많은 이미지의 개수의 2배 이상인 경우 상기 검색된 이미지의 특징점 정보를 추출하는 것을 특징으로 하는 스마트 폰 인식 이미지를 이용한 연관 동작 수행 방법.
KR1020120075504A 2012-07-11 2012-07-11 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법 KR20140015697A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120075504A KR20140015697A (ko) 2012-07-11 2012-07-11 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120075504A KR20140015697A (ko) 2012-07-11 2012-07-11 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20140015697A true KR20140015697A (ko) 2014-02-07

Family

ID=50265008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120075504A KR20140015697A (ko) 2012-07-11 2012-07-11 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20140015697A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150124536A (ko) 2014-04-28 2015-11-06 에스케이플래닛 주식회사 단말과 서비스 제공 장치, 그를 포함하는 상품 정보 제공 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2016186289A1 (ko) * 2015-05-18 2016-11-24 김동주 이미지인식기술을 이용한 정보제공시스템 및 방법
KR20190097054A (ko) * 2017-06-09 2019-08-20 알리바바 그룹 홀딩 리미티드 비즈니스 처리 개시 방법 및 장치
WO2020145757A1 (en) * 2019-01-10 2020-07-16 Samsung Electronics Co., Ltd. Method and electronic device for displaying at least one visual object

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150124536A (ko) 2014-04-28 2015-11-06 에스케이플래닛 주식회사 단말과 서비스 제공 장치, 그를 포함하는 상품 정보 제공 시스템, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2016186289A1 (ko) * 2015-05-18 2016-11-24 김동주 이미지인식기술을 이용한 정보제공시스템 및 방법
KR20190097054A (ko) * 2017-06-09 2019-08-20 알리바바 그룹 홀딩 리미티드 비즈니스 처리 개시 방법 및 장치
WO2020145757A1 (en) * 2019-01-10 2020-07-16 Samsung Electronics Co., Ltd. Method and electronic device for displaying at least one visual object

Similar Documents

Publication Publication Date Title
KR100849420B1 (ko) 이미지 기반 검색 시스템 및 방법
US9146923B2 (en) Method and apparatus for providing information about an identified object
US20130051615A1 (en) Apparatus and method for providing applications along with augmented reality data
WO2017133343A1 (zh) 一种图片处理方法、装置及电子设备
KR101729938B1 (ko) 통합 영상 검색 시스템 및 그 서비스 방법
US20140247997A1 (en) Information processing system, information processing method, and computer program product
JP5395920B2 (ja) 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
CN103324614A (zh) 图像识别搜索方法及装置
US11709881B2 (en) Visual menu
JP6609434B2 (ja) 商品情報提供システム、商品情報提供方法及び管理サーバ
KR20140015697A (ko) 스마트 폰 인식 이미지를 이용한 연관 동작 수행 시스템 및 방법
KR101784287B1 (ko) 통합 영상 검색 시스템 및 그 서비스 방법
KR101307325B1 (ko) 관심영역 설정을 이용한 이미지 이중 검색 시스템
US20140214541A1 (en) Method and system for user-controlled rendering of mobile advertisements
US10521710B2 (en) Method of identifying, locating, tracking, acquiring and selling tangible and intangible objects utilizing predictive transpose morphology
JP2010205121A (ja) 情報処理装置および携帯端末
KR102130448B1 (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
US9977793B2 (en) Information processing system, information processing method, and information processing apparatus
CN107766364A (zh) 网络资源转移的方法和装置、信息搜索方法和装置
KR20190115930A (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
US20130039540A1 (en) Information providing device, information providing processing program, recording medium having information providing processing program recorded thereon, and information providing method
KR102221122B1 (ko) 이미지 검색 장치 및 방법
KR20210094396A (ko) 이미지 기반 검색 어플리케이션 및 그를 위한 검색 서버
KR20110114843A (ko) 이미지 데이터에 대응하는 정보 제공 방법 및 시스템
JP5967036B2 (ja) 画像検索システム、情報処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20130826

Effective date: 20141008