KR20130098470A - 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템 - Google Patents

레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템 Download PDF

Info

Publication number
KR20130098470A
KR20130098470A KR1020120020018A KR20120020018A KR20130098470A KR 20130098470 A KR20130098470 A KR 20130098470A KR 1020120020018 A KR1020120020018 A KR 1020120020018A KR 20120020018 A KR20120020018 A KR 20120020018A KR 20130098470 A KR20130098470 A KR 20130098470A
Authority
KR
South Korea
Prior art keywords
image
layout
unit
feature point
layout descriptor
Prior art date
Application number
KR1020120020018A
Other languages
English (en)
Other versions
KR101329102B1 (ko
Inventor
이재영
온기원
안기영
Original Assignee
주식회사 케이쓰리아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이쓰리아이 filed Critical 주식회사 케이쓰리아이
Priority to KR1020120020018A priority Critical patent/KR101329102B1/ko
Priority to PCT/KR2012/002533 priority patent/WO2013129729A1/ko
Publication of KR20130098470A publication Critical patent/KR20130098470A/ko
Application granted granted Critical
Publication of KR101329102B1 publication Critical patent/KR101329102B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images

Abstract

본 발명은 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템에 관한 것으로, 더욱 상세하게는 증강현실 서비스의 대상이 되는 인쇄매체, 신문 등의 PDF 파일로부터 추출하여 저장된 데이터베이스에서 원하는 페이지를 효율적으로 검출하는 것으로서, 페이지의 전체 레이아웃으로 조회할 때 레이아웃 기술자(Layout descriptor)를 이용하여 매칭시키며, 제한된 페이지 범위 내에서의 이미지 특징점 벡터를 이용하여 매칭시켜 모바일 단말기기와 네트워크 환경하에서 문서이미지관리서버로부터 증강현실 서비스의 대상이 되는 페이지면을 조회하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템에 관한 것이다.
본 발명에 의하면, 증강현실 서비스의 대상이 되는 인쇄매체, 신문 등의 PDF 파일로부터 추출하여 저장된 데이터베이스에서 원하는 페이지를 효율적으로 검출하도록 하는데 있으며, 특히 페이지의 전체 레이아웃으로 조회할 때 레이아웃 기술자(Layout descriptor)를 이용하여 매칭시키며, 제한된 페이지 범위 내에서의 이미지 특징점 벡터를 이용하여 매칭시켜 모바일 단말기기와 네트워크 환경하에서 문서이미지관리서버로부터 증강현실 서비스의 대상이 되는 페이지면을 조회할 수 있게 된다.

Description

레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템{augmented reality - image retrieval system using layout descriptor and image feature.}
본 발명은 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템에 관한 것으로, 더욱 상세하게는 증강현실 서비스의 대상이 되는 인쇄매체, 신문 등의 PDF 파일로부터 추출하여 저장된 데이터베이스에서 원하는 페이지를 효율적으로 검출하는 것으로서, 페이지의 전체 레이아웃으로 조회할 때 레이아웃 기술자(Layout descriptor)를 이용하여 매칭시키며, 제한된 페이지 범위 내에서의 이미지 특징점 벡터를 이용하여 매칭시켜 모바일 단말기기와 네트워크 환경하에서 문서이미지관리서버로부터 증강현실 서비스의 대상이 되는 페이지면을 조회하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템에 관한 것이다.
통상적으로 전자책이란 좁은 의미로는 종이에 인쇄된 책이 아닌 XML, 디지털 이미지, 멀티미디어 등으로 제작해 컴퓨터나 PDA, 휴대폰과 같은 단말기 화면을 통해 보는 디지털 책을 말한다.
최근 컴퓨터와 핸드폰, PMP 등과 같은 단말기로 이용할 수 있는 다양한 전자책이 개발되어 왔으며, PDF, XML 등의 1세대 전자책과 Flash 등 멀티미디어가 결합된 2세대 전자책이 활발히 개발되어 기존의 종이책(paper book)을 대체할 수 있는 수단으로 각광받아 왔다.
이는 종이책에서 얻을 수 없는 정보를 다양한 멀티미디어 콘텐츠를 통해 획득할 수 있으며, 동일한 종이책에 목적과 상황에 따른 다양한 멀티미디어 시나리오를 결합할 수 있어 컨텐츠의 다양화를 제공하는 잇점이 존재하게 된다.
상기의 기술은 시각적 정보를 증강현실 기술을 이용하여 제공하게 되므로 페이지의 인식 및 추적기법은 가장 중요한 부분이 된다.
종래에는 페이지를 인식하기 위해 주로 마커와 텍스쳐 기반의 자연 특징점 매칭 기법이 적용되었다.
마커 기반 기법은 페이지 인식 및 추적이 가능하지만, 인쇄된 출판물에 특정패턴의 마커를 부착해야 할 뿐만 아니라 마커의 일부분이 가려질 경우 콘텐츠가 증강되지 않는 문제점이 있다.
또한, 구현 가능한 마커 패턴의 한계로 방대한 분량의 페이지를 갖는 책에는 적용하기가 어렵다.
특히, 인쇄된 페이지를 사용자의 카메라로 촬영하여 이미지 특징점만으로 데이터베이스에서 매칭 과정을 수행하기에는 대상 페이지들간의 유사성과 방대한 특징점의 양으로 인해 빠르고 정확한 페이지 인식이 어려운 문제점이 발생하게 된다.
따라서, 인식의 편리성 및 효율적인 페이지 매칭 방법을 제공하는 기술을 요구하게 되었다.
없음.
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 목적은 증강현실 서비스의 대상이 되는 인쇄매체, 신문 등의 PDF 파일로부터 추출하여 저장된 데이터베이스에서 원하는 페이지를 효율적으로 검출하도록 하는데 있으며, 특히 페이지의 전체 레이아웃으로 조회할 때 레이아웃 기술자(Layout descriptor)를 이용하여 매칭시키며, 제한된 페이지 범위 내에서의 이미지 특징점 벡터를 이용하여 매칭시켜 모바일 단말기기와 네트워크 환경하에서 문서이미지관리서버로부터 증강현실 서비스의 대상이 되는 페이지면을 조회할 수 있도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,
본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템은,
카메라로부터 이미지를 캡쳐하여 해당 이미지의 특징점을 추출하여 벡터로 변환하며, 인접 픽셀간의 거리를 임계값 기준으로 설정하여 레이아웃 블록을 생성한 후 레이아웃 기술자 엑스엠엘(XML)을 생성하며, 상기 생성된 이미지 특징점 벡터와 레이아웃 기술자 엑스엠엘을 문서이미지관리서버로 송출하여 이미지 조회를 요청하여 문서이미지관리서버로부터 제공되는 이미지를 렌더링하여 화면에 출력시키기 위한 모바일단말기(100)와;
레이아웃 기술자 항목 및 이미지 특징점 벡터 정보를 저장하고 있는 이미지정보디비를 포함하여 구성되며, 모바일단말기로부터 이미지 조회 요청시 제공되는 레이아웃 기술자 엑스엠엘을 참조하여 해당 레이아웃 조건에 부합되는 이미지들을 이미지정보디비에서 검색하여 레이아웃 매칭 결과리스트를 작성하며, 상기 레이아웃 매칭 결과리스트에서 이미지 특징점 벡터와 매칭되는 이미지를 조회하여 추출된 해당 이미지를 모바일단말기에 제공하기 위한 문서이미지관리서버(200);를 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
이상의 구성 및 작용을 지니는 본 발명에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템은,
증강현실 서비스의 대상이 되는 인쇄매체, 신문 등의 PDF 파일로부터 추출하여 저장된 데이터베이스에서 원하는 페이지를 효율적으로 검출하도록 하는데 있으며, 특히 페이지의 전체 레이아웃으로 조회할 때 레이아웃 기술자(Layout descriptor)를 이용하여 매칭시키며, 제한된 페이지 범위 내에서의 이미지 특징점 벡터를 이용하여 매칭시켜 모바일 단말기기와 네트워크 환경하에서 문서이미지관리서버로부터 증강현실 서비스의 대상이 되는 페이지면을 조회할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 모바일단말기 블록도이다.
도 3은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 문서이미지관리서버 블록도이다.
도 4는 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 이미지정보디비구축부 블록도이다.
도 5는 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 증강현실을 제공하는 흐름을 나타낸 흐름도이다.
도 6은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 이미지정보디비에 정보를 저장하는 흐름을 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 이미지정보디비의 데이터필드를 나타낸 예시도이다.
도 8은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 피디에프 파일을 이미지로 변환한 예를 나타낸 예시도이다.
도 9는 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 전체 페이지 레이아웃을 나타낸 예시도이다.
도 10은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 레이아웃 기술자 엑스엠엘(XML)을 나타낸 예시도이다.
이하, 본 발명에 의한 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 실시예를 통해 상세히 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 전체 구성도이다.
도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템은,
카메라로부터 이미지를 캡쳐하여 해당 이미지의 특징점을 추출하여 벡터로 변환하며, 인접 픽셀간의 거리를 임계값 기준으로 설정하여 레이아웃 블록을 생성한 후 레이아웃 기술자 엑스엠엘(XML)을 생성하며, 상기 생성된 이미지 특징점 벡터와 레이아웃 기술자 엑스엠엘을 문서이미지관리서버로 송출하여 이미지 조회를 요청하여 문서이미지관리서버로부터 제공되는 이미지를 렌더링하여 화면에 출력시키기 위한 모바일단말기(100)와;
레이아웃 기술자 항목 및 이미지 특징점 벡터 정보를 저장하고 있는 이미지정보디비를 포함하여 구성되며, 모바일단말기로부터 이미지 조회 요청시 제공되는 레이아웃 기술자 엑스엠엘을 참조하여 해당 레이아웃 조건에 부합되는 이미지들을 이미지정보디비에서 검색하여 레이아웃 매칭 결과리스트를 작성하며, 상기 레이아웃 매칭 결과리스트에서 이미지 특징점 벡터와 매칭되는 이미지를 조회하여 추출된 해당 이미지를 모바일단말기에 제공하기 위한 문서이미지관리서버(200);를 포함하여 구성되게 된다.
상기 모바일단말기를 통해 문서이미지관리서버로부터 증강 현실 컨텐츠(이미지)를 제공받음에 있어 증강현실에 대상되는 페이지면을 조회하게 되는 것이다.
모바일단말게는 조회 요청 쿼리 이미지를 가공하여 블록을 형성한 뒤 레이아웃 기술자(Layout descriptor)를 XML로 기록한다.
상기 Layout descriptor XML은 block의 전체 개수, 중앙기준 위치별 block의 개수, 구분선(separator)의 개수와 위치 등을 포함한다.
상기 Layout descriptor와 추출된 이미지 특징점 정보로써 문서이미지관리서버에 조회를 요청하면 문서이미지관리서버에서는 Layout descriptor XML 내용을 데이터베이스 조회 조건으로 파싱하여 조회를 수행한다.
페이지 간의 레이아웃의 유사성 때문에 매칭 결과 다수개의 페이지가 인출될 수 있으며, 인출된 페이지 범위 내에서 이미지 특징점 매칭 작업을 수행하여 유사성(Similarity)이 가장 높은 페이지를 인식 결과로써 모바일단말기에 제시하게 된다.
도 2는 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 모바일단말기 블록도이다.
도 2에 도시한 바와 같이, 본 발명의 모바일단말기(100)는,
카메라로부터 획득되는 이미지를 캡쳐하기 위한 이미지캡쳐부(110)와,
상기 캡쳐된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정의 전처리 과정을 수행하기 위한 이미지전처리수행부(120)와,
상기 이미지전처리수행부에 의해 전처리 과정을 수행한 이미지를 획득하여 특징점을 추출하기 위한 이미지특징점추출부(130)와,
이미지의 인접 픽셀간의 거리를 임계값 기준으로 설정하여 레이아웃 블록을 생성하기 위한 레이아웃블록생성부(140)와,
상기 이미지특징점추출부에 의해 추출된 이미지 특징점을 획득하여 벡터로 변환하기 위한 이미지특징점벡터변환부(150)와,
상기 레이아웃블록생성부에 의해 생성된 레이아웃 블록으로부터 레이아웃 기술자 엑스엠엘(XML)을 생성하기 위한 레이아웃기술자엑스엠엘생성부(160)와,
상기 이미지특징점벡터변환부에 의해 변환된 이미지 특징점 벡터와 레이아웃기술자엑스엠엘생성부에 의해 생성된 레이아웃 기술자 엑스엠엘을 획득하여 문서이미지관리서버로 이미지 조회를 요청하기 위한 이미지조회요청부(170)와,
문서이미지관리서버에서 송출된 이미지 페이지 상의 3차원 좌표를 추적하기 위한 트래킹모듈부(180)와,
상기 트래킹모듈부에 의해 추적된 3차원 좌표를 참조하여 렌더링을 수행하기 위한 렌더링모듈부(190)와,
상기 각각의 부 간의 신호 흐름을 제어하기 위한 단말기제어부(195)를 포함하여 구성되게 된다.
상기 이미지캡쳐부(110)는 카메라로부터의 연속 프레임에서 이미지를 캡쳐하게 된다.
상기 이미지전처리수행부(120)는 캡쳐된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정 등의 전처리 과정을 수행하게 된다.
상기 다운샘플링, 노이즈 제거, 기울기 보정은 당업자들에게 널리 알려진 기술이므로 상세한 설명은 생략하겠다.
이후, 본 발명의 특징적인 부분은 특징점 추출 및 특징점 벡터 변환과 레이아웃 블록생성 및 레이아웃 기술자 XML 생성인 것이다.
이를 통해 검색의 정확성과 프로세싱 시간의 단축을 효율적으로 수행할 수 있게 되는 것이다.
상기 이미지특징점추출부(130)는 이미지전처리수행부에 의해 전처리 과정을 수행한 이미지를 획득하여 특징점을 추출하게 되며, 레이아웃블록생성부(140)는 이미지의 인접 픽셀간의 거리를 임계값 기준으로 설정하여 레이아웃 블록을 생성하게 된다.
이후, 이미지특징점벡터변환부(150)는 이미지특징점추출부에 의해 추출된 이미지 특징점을 획득하여 벡터로 변환하게 되며, 상기 레이아웃기술자엑스엠엘생성부(160)는 레이아웃블록생성부에 의해 생성된 레이아웃 블록으로부터 레이아웃 기술자 엑스엠엘(XML)을 생성하게 된다.
상기 이미지 상에서 특징점을 추출하는 기술과 벡터로 변환하는 기술은 이미 당업자들에게 널리 알려진 기술이므로 상세한 설명은 생략하겠다.
상기 레이아웃기술자엑스엠엘생성부에 의해 레이아웃 블록으로부터 레이아웃 기술자 엑스엠엘(XML)을 생성하는 것은 도 10에 도시하였다.
상기 처리 과정을 마친 후, 이미지조회요청부(170)에서는 이미지특징점벡터변환부에 의해 변환된 이미지 특징점 벡터와 레이아웃기술자엑스엠엘생성부에 의해 생성된 레이아웃 기술자 엑스엠엘을 획득하여 문서이미지관리서버로 이미지 조회를 요청하게 된다.
이후, 트래킹모듈부(180)에서 문서이미지관리서버로부터 송출된 이미지 페이지 상의 3차원 좌표를 추적하게 되며, 렌더링모듈부(190)에 의해 트래킹모듈부로부터 추적된 3차원 좌표를 참조하여 렌더링을 수행하여 증강 현실 정보를 제공하게 되는 것이다.
상기 트래킹 프로세싱 기술과 렌더링 기술은 증강현실에서 일반적으로 사용되는 기술이므로 상세한 설명은 생략하겠다.
도 3은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 문서이미지관리서버 블록도이다.
도 3에 도시한 바와 같이, 상기 문서이미지관리서버(200)는,
모바일단말기로부터 이미지 조회 요청시, 송출되는 레이아웃 기술자 엑스엠엘을 획득하여 이미지정보디비 조회 조건으로 변환하기 위하여 파싱하기 위한 파싱부(210)와,
이미지정보디비로부터 레이아웃 조건에 부합하는 이미지를 조회하여 레이아웃 매칭 결과리스트를 작성하는 매칭결과리스트작성부(220)와,
모바일단말기로부터 이미지 조회 요청시, 송출되는 이미지 특징점 벡터를 획득하여 이미지 특징점 벡터와 매칭되는 이미지를 매칭결과리스트작성부에 의해 작성된 레이아웃 매칭 결과리스트에서 조회하기 위한 이미지매칭조회부(230)와,
원본 저장경로, 이미지 저장경로, 레이아웃 기술자 항목, 이미지 특징점 벡터 정보를 포함하여 저장하고 관리하기 위한 이미지정보디비(240)와,
상기 이미지매칭조회부에 의해 조회된 이미지를 모바일단말기로 송출하기 위한 이미지송출부(250)와,
상기 각각의 부와 디비 간의 신호 흐름을 제어하기 위한 서버제어부(260)를 포함하여 구성되는 것을 특징으로 한다.
즉, 파싱부(210)는 모바일단말기로부터 이미지 조회 요청시, 송출되는 레이아웃 기술자 엑스엠엘(XML)을 획득하여 이미지정보디비 조회 조건으로 변환하기 위하여 파싱하게 된다.
상기 매칭결과리스트작성부(220)는 이미지정보디비(240)로부터 레이아웃 조건에 부합하는 이미지를 조회하여 레이아웃 매칭 결과리스트를 작성하게 된다.
이후에 이미지매칭조회부(230)는 모바일단말기로부터 이미지 조회 요청시, 송출되는 이미지 특징점 벡터를 획득하여 이미지 특징점 벡터와 매칭되는 이미지를 매칭결과리스트작성부에 의해 작성된 레이아웃 매칭 결과리스트에서 조회하게 되는데, 특징적인 것은 조회 결과 임계값 이상의 유사성(similarity rate)을 가지고 있는 이미지를 획득하였으면 조회 결과를 이미지송출부로 전송하게 되며, 조회 결과 임계값 미만의 유사성(similarity rate)을 가지고 있는 이미지를 획득하였으면 다른 이미지에 대하여 매칭 연산을 수행하는 것이다.
상기 이미지송출부(250)는 이미지매칭조회부에 의해 조회된 이미지를 모바일단말기로 송출하게 되고, 상기 모바일단말기에서는 해당 이미지를 트래킹하여 렌더링하게 되는 것이다.
도 4는 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 이미지정보디비구축부 블록도이다.
도 4에 도시한 바와 같이, 본 발명의 이미지정보디비구축부(270)는 레이아웃 기술자 항목, 이미지 특징점 벡터 정보를 원본 이미지 파일로부터 추출하여 이미지정보디비에 저장시키게 된다.
구체적으로 설명하자면, 상기 이미지정보디비구축부(270)는,
피디에프 파일을 이미지로 변환하기 위한 이미지변환부(271)와,
상기 이미지변환부에 의해 변환된 이미지를 획득하여 블록을 형성하기 위한 이미지블록화부(272)와,
상기 이미지블록화부에 의해 형성된 이미지 블록들간의 수직 거리가 임계치 이하인 경우에 하나의 블록으로 통합하기 위한 인접블록통합부(273)와,
상기 이미지블록화부 및 인접블록통합부에 의해 획득된 전체 레이아웃을 기준으로 각 블록의 상대적 위치를 설명하는 레이아웃 기술자(Layout descriptor)를 추출하기 위한 레이아웃기술자추출부(274)와,
상기 이미지변환부(271)에 의해 변환된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정의 전처리 과정을 수행하고, 전처리 과정을 수행한 이미지에서 특징점을 추출하기 위한 디비저장용특징점추출부(275)와,
상기 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 불변량 좌표계로 변환하기 위한 불변량좌표계변환부(276)와,
상기 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 해쉬 인덱스를 산출하기 위한 해쉬인덱스산출부(277)와,
이미지 아이디, 원본 저장경로, 이미지 저장경로, 레이아웃 기술자 항목들, 이미지 특징점 벡터 정보를 획득하여 해쉬 테이블을 생성시킨 후 이미지정보디비에 저장시키는 디비구축모듈부(278)을 포함하여 구성되게 된다.
상기 이미지변환부(271)는 피디에프 파일을 도 8에 도시한 바와 같이, 이미지로 변환하게 되며, 피디에프 파일은 페이지 한 개당 개별적으로 주어지게 된다.
상기 이미지블록화부(272)는 이미지변환부에 의해 변환된 이미지를 획득하여 블록을 형성하게 된다.
이후, 인접블록통합부(273)는 이미지블록화부에 의해 형성된 이미지 블록들간의 수직 거리가 임계치 이하인 경우에 하나의 블록으로 통합하게 된다.
즉, 레이아웃 기술자를 좀 더 단순화하기 위하여 이미지블록화부에서 형성된 이미지 블록들을 취합할 필요가 있으며 블록간의 수직거리가 임계치 이하인 경우 도 9에 도시한 바와 같이, 하나의 블록으로 통합하게 된다.
이후, 레이아웃기술자추출부(274)는 이미지블록화부 및 인접블록통합부에 의해 획득된 전체 레이아웃을 기준으로 각 블록의 상대적 위치를 설명하는 레이아웃 기술자(Layout descriptor)를 추출하게 된다.
예를 들어, 페이지 중간을 기준으로 좌/우의 블록수, 단락간 구분자의 사분면 위치 등을 추출하게 되며, 이러한 속성들을 데이터베이스의 인덱스로 활용하게 되는 것이다.
상기 디비저장용특징점추출부(275)는 이미지변환부(271)에 의해 변환된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정의 전처리 과정을 수행하고, 전처리 과정을 수행한 이미지에서 특징점을 추출하게 된다.
상기 특징점 추출은 일반적으로 바이너리 이미지 생성과 가우시안필터로 blurred 이미지를 생성하게 되며, 상기 결과 도출된 각 단어영역(word regions)의 중심을 feature point로 추출하는 것이다.
이는 모바일단말기의 전처리과정과 동일한 과정이다.
상기 불변량좌표계변환부(276)는 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 불변량 좌표계로 변환하게 된다.
상기 불변량 계산 방식은 이미 당업자들에게 알려진 기술이므로 간단하게 설명하도록 한다.
즉, 상기 특징점추출과정에서 추출된 각 특징점(feature point)마다 7개의 인접점을 찾게 되며, 인접점간의 관계로 불변량을 나타내기 위하여 4개의 인접점을 잇는 두 삼각형 간의 cross ratio를 계산하게 되며, 상기와 같은 방식으로 모든 인접점에 대한 조합으로 cross ratio를 산출해 내는 것이다.
상기 해쉬인덱스산출부(277)는 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 해쉬 인덱스를 산출하게 된다.
상기 해쉬 인덱스 산출 과정은 이미 당업자들에게 알려진 기술이므로 상세한 설명은 생략하겠다.
본 발명에서는 빠른 검색을 위해 해쉬 구조(hash scheme)를 채용한 것이다.
이후, 상기 디비구축모듈부(278)는 이미지 아이디, 원본 저장경로, 이미지 저장경로, 레이아웃 기술자 항목들, 이미지 특징점 벡터 정보를 획득하여 해쉬 테이블을 생성시킨 후 이미지정보디비에 저장시키게 되는 것이다.(도 7 참조)
도 5는 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 증강현실을 제공하는 흐름을 나타낸 흐름도이다.
도 5에 도시한 바와 같이, 이미지캡쳐부(110)가 카메라로부터 획득되는 이미지를 캡쳐(S100)하게 되며, 이미지전처리수행부(120)가 캡쳐된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정의 전처리 과정을 수행(S110)하게 된다.
이후에 이미지특징점추출부(130)가 이미지전처리수행부에 의해 전처리 과정을 수행한 이미지를 획득하여 특징점을 추출(S120)하게 되며, 이미지특징점벡터변환부(150)가 이미지특징점추출부에 의해 추출된 이미지 특징점을 획득하여 벡터로 변환(S125)하게 되는 것이다.
또한, 레이아웃블록생성부(140)가 이미지의 인접 픽셀간의 거리를 임계값 기준으로 설정하여 레이아웃 블록을 생성(S130)하게 되며, 레이아웃기술자엑스엠엘생성부(160)가 레이아웃블록생성부에 의해 생성된 레이아웃 블록으로부터 레이아웃 기술자 엑스엠엘(XML)을 생성(S135)하게 되는 것이다.
이후에, 이미지조회요청부(170)가 이미지특징점벡터변환부에 의해 변환된 이미지 특징점 벡터와 레이아웃기술자엑스엠엘생성부에 의해 생성된 레이아웃 기술자 엑스엠엘을 획득하여 문서이미지관리서버로 이미지 조회를 요청(S140)하게 되는 것이다.
이후에, 문서이미지관리서버(200)의 파싱부(210)가 모바일단말기로부터 이미지 조회 요청시, 송출되는 레이아웃 기술자 엑스엠엘을 획득하여 이미지정보디비 조회 조건으로 변환하기 위하여 파싱(S150)하게 되며, 매칭결과리스트작성부(220)가 이미지정보디비로부터 레이아웃 조건에 부합하는 이미지를 조회(S160)하여 레이아웃 매칭 결과리스트를 작성(S170)하게 되며, 이미지매칭조회부(230)가 모바일단말기로부터 송출되는 이미지 특징점 벡터를 획득하여 이미지 특징점 벡터와 매칭되는 이미지를 매칭결과리스트작성부에 의해 작성된 레이아웃 매칭 결과리스트에서 조회(S180)하게 되는 것이다.
이때, 이미지매칭조회부(230)는 임계값 이상의 유사성을 갖는지를 판단(S190)하게 되며, 임계값 이상의 유사성을 갖는 이미지를 이미지송출부에서 획득하여 모바일단말기로 송출하게 된다.
이때, 상기 모바일단말기에서는 트래킹모듈부(180)이 이미지 페이지 상의 3차원 좌표를 추적(S200)하게 되며, 렌더링모듈부(190)이 트래킹모듈부에 의해 추적된 3차원 좌표를 참조하여 렌더링을 수행(S210)하여 화면에 증강현실 정보를 출력하게 되는 것이다.
도 6은 본 발명의 일실시예에 따른 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템의 이미지정보디비에 정보를 저장하는 흐름을 나타낸 흐름도이다.
도 6에 도시한 바와 같이, 피디에프 파일을 로딩(S300)한 후, 이미지변환부(271)가 피디에프 파일을 이미지로 변환(S310)하게 된다.
이후에, 이미지블록화부(272)가 이미지변환부에 의해 변환된 이미지를 획득하여 블록을 형성(S350)하게 되며, 인접블록통합부(273)가 이미지블록화부에 의해 형성된 이미지 블록들간의 수직 거리가 임계치 이하인 경우에 하나의 블록으로 통합(S360)하게 되며, 레이아웃기술자추출부(274)가 이미지블록화부 및 인접블록통합부에 의해 획득된 전체 레이아웃을 기준으로 각 블록의 상대적 위치를 설명하는 레이아웃 기술자(Layout descriptor)를 추출(S370)하게 된다.
한편, 상기 피디에프 파일을 이미지로 변환(S310)에서 레이아웃 기술자 추출 이외에도 특징점 추출 과정을 진행하여야 한다.
즉, 디비저장용특징점추출부(275)가 이미지변환부(271)에 의해 변환된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정의 전처리 과정을 수행하고, 전처리 과정을 수행한 이미지에서 특징점을 추출(S320)하게 되며, 불변량좌표계변환부(276)가 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 불변량 좌표계로 변환(S330)하게 된다.
이후에, 해쉬인덱스산출부(277)가 상기 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 해쉬 인덱스를 산출(S340)하게 된다.
이때, 디비구축모듈부(278)는 이미지 아이디, 원본 저장경로, 이미지 저장경로, 레이아웃 기술자 항목들, 이미지 특징점 벡터 정보를 획득하여 해쉬 테이블을 생성시킨 후 이미지정보디비에 저장시키게 되는 것이다.
상기와 같은 구성 및 동작을 통해 증강현실 서비스의 대상이 되는 인쇄매체, 신문 등의 PDF 파일로부터 추출하여 저장된 데이터베이스에서 원하는 페이지를 효율적으로 검출하도록 하는데 있으며, 특히 페이지의 전체 레이아웃으로 조회할 때 레이아웃 기술자(Layout descriptor)를 이용하여 매칭시키며, 제한된 페이지 범위 내에서의 이미지 특징점 벡터를 이용하여 매칭시켜 모바일 단말기기와 네트워크 환경하에서 문서이미지관리서버로부터 증강현실 서비스의 대상이 되는 페이지면을 조회할 수 있게 된다.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 모바일단말기
200 : 문서이미지관리서버

Claims (8)

  1. 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템에 있어서,
    카메라로부터 이미지를 캡쳐하여 해당 이미지의 특징점을 추출하여 벡터로 변환하며, 인접 픽셀간의 거리를 임계값 기준으로 설정하여 레이아웃 블록을 생성한 후 레이아웃 기술자 엑스엠엘(XML)을 생성하며, 상기 생성된 이미지 특징점 벡터와 레이아웃 기술자 엑스엠엘을 문서이미지관리서버로 송출하여 이미지 조회를 요청하여 문서이미지관리서버로부터 제공되는 이미지를 렌더링하여 화면에 출력시키기 위한 모바일단말기(100)와;
    레이아웃 기술자 항목 및 이미지 특징점 벡터 정보를 저장하고 있는 이미지정보디비를 포함하여 구성되며, 모바일단말기로부터 이미지 조회 요청시 제공되는 레이아웃 기술자 엑스엠엘을 참조하여 해당 레이아웃 조건에 부합되는 이미지들을 이미지정보디비에서 검색하여 레이아웃 매칭 결과리스트를 작성하며, 상기 레이아웃 매칭 결과리스트에서 이미지 특징점 벡터와 매칭되는 이미지를 조회하여 추출된 해당 이미지를 모바일단말기에 제공하기 위한 문서이미지관리서버(200);를 포함하여 구성되는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.
  2. 제 1항에 있어서,
    상기 모바일단말기(100)는,
    카메라로부터 획득되는 이미지를 캡쳐하기 위한 이미지캡쳐부(110)와,
    상기 캡쳐된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정의 전처리 과정을 수행하기 위한 이미지전처리수행부(120)와,
    상기 이미지전처리수행부에 의해 전처리 과정을 수행한 이미지를 획득하여 특징점을 추출하기 위한 이미지특징점추출부(130)와,
    이미지의 인접 픽셀간의 거리를 임계값 기준으로 설정하여 레이아웃 블록을 생성하기 위한 레이아웃블록생성부(140)와,
    상기 이미지특징점추출부에 의해 추출된 이미지 특징점을 획득하여 벡터로 변환하기 위한 이미지특징점벡터변환부(150)와,
    상기 레이아웃블록생성부에 의해 생성된 레이아웃 블록으로부터 레이아웃 기술자 엑스엠엘(XML)을 생성하기 위한 레이아웃기술자엑스엠엘생성부(160)와,
    상기 이미지특징점벡터변환부에 의해 변환된 이미지 특징점 벡터와 레이아웃기술자엑스엠엘생성부에 의해 생성된 레이아웃 기술자 엑스엠엘을 획득하여 문서이미지관리서버로 이미지 조회를 요청하기 위한 이미지조회요청부(170)와,
    문서이미지관리서버에서 송출된 이미지 페이지 상의 3차원 좌표를 추적하기 위한 트래킹모듈부(180)와,
    상기 트래킹모듈부에 의해 추적된 3차원 좌표를 참조하여 렌더링을 수행하기 위한 렌더링모듈부(190)와,
    상기 각각의 부 간의 신호 흐름을 제어하기 위한 단말기제어부(195)를 포함하여 구성되는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.
  3. 제 1항에 있어서,
    상기 문서이미지관리서버(200)는,
    모바일단말기로부터 이미지 조회 요청시, 송출되는 레이아웃 기술자 엑스엠엘을 획득하여 이미지정보디비 조회 조건으로 변환하기 위하여 파싱하기 위한 파싱부(210)와,
    이미지정보디비로부터 레이아웃 조건에 부합하는 이미지를 조회하여 레이아웃 매칭 결과리스트를 작성하는 매칭결과리스트작성부(220)와,
    모바일단말기로부터 이미지 조회 요청시, 송출되는 이미지 특징점 벡터를 획득하여 이미지 특징점 벡터와 매칭되는 이미지를 매칭결과리스트작성부에 의해 작성된 레이아웃 매칭 결과리스트에서 조회하기 위한 이미지매칭조회부(230)와,
    원본 저장경로, 이미지 저장경로, 레이아웃 기술자 항목, 이미지 특징점 벡터 정보를 포함하여 저장하고 관리하기 위한 이미지정보디비(240)와,
    상기 이미지매칭조회부에 의해 조회된 이미지를 모바일단말기로 송출하기 위한 이미지송출부(250)와,
    상기 각각의 부와 디비 간의 신호 흐름을 제어하기 위한 서버제어부(260)를 포함하여 구성되는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.
  4. 제 3항에 있어서,
    상기 이미지매칭조회부(230)는,
    조회 결과 임계값 이상의 유사성(similarity rate)을 가지고 있는 이미지를 획득하였으면 조회 결과를 이미지송출부로 전송하게 되며, 조회 결과 임계값 미만의 유사성(similarity rate)을 가지고 있는 이미지를 획득하였으면 다른 이미지에 대하여 매칭 연산을 수행하는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.
  5. 제 3항에 있어서,
    상기 문서이미지관리서버(200)는,
    레이아웃 기술자 항목, 이미지 특징점 벡터 정보를 원본 이미지 파일로부터 추출하여 이미지정보디비에 저장시키기 위한 이미지정보디비구축부(270)를 더 포함하여 구성되는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.
  6. 제 3항에 있어서,
    상기 문서이미지관리서버(200)는,
    피디에프 파일을 이미지로 변환하기 위한 이미지변환부(271)와,
    상기 이미지변환부에 의해 변환된 이미지를 획득하여 블록을 형성하기 위한 이미지블록화부(272)와,
    상기 이미지블록화부에 의해 형성된 이미지 블록들간의 수직 거리가 임계치 이하인 경우에 하나의 블록으로 통합하기 위한 인접블록통합부(273)와,
    상기 이미지블록화부 및 인접블록통합부에 의해 획득된 전체 레이아웃을 기준으로 각 블록의 상대적 위치를 설명하는 레이아웃 기술자(Layout descriptor)를 추출하기 위한 레이아웃기술자추출부(274)와,
    상기 이미지변환부(271)에 의해 변환된 이미지를 획득하여 다운샘플링, 노이즈 제거, 기울기 보정의 전처리 과정을 수행하고, 전처리 과정을 수행한 이미지에서 특징점을 추출하기 위한 디비저장용특징점추출부(275)와,
    상기 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 불변량 좌표계로 변환하기 위한 불변량좌표계변환부(276)와,
    상기 전처리 과정 및 특징점 추출을 수행한 이미지 정보를 획득하여 해쉬 인덱스를 산출하기 위한 해쉬인덱스산출부(277)와,
    이미지 아이디, 원본 저장경로, 이미지 저장경로, 레이아웃 기술자 항목들, 이미지 특징점 벡터 정보를 획득하여 해쉬 테이블을 생성시킨 후 이미지정보디비에 저장시키는 디비구축모듈부(278)을 포함하여 구성되는 이미지정보디비구축부(270)를 더 포함하여 구성되는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.
  7. 제 6항에 있어서,
    상기 레이아웃기술자추출부(274)는,
    기준의 좌우 블록수, 단락 간 구분자의 사분면 위치를 추출하여 이미지정보디비의 인덱스로 활용하는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.
  8. 제 1항에 있어서,
    상기 레이아웃 기술자 엑스엠엘(XML)은,
    block의 전체 개수, 중앙기준 위치별 block의 개수, 구분선(separator)의 개수와 위치를 포함하는 것을 특징으로 하는 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템.

KR1020120020018A 2012-02-28 2012-02-28 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템 KR101329102B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120020018A KR101329102B1 (ko) 2012-02-28 2012-02-28 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
PCT/KR2012/002533 WO2013129729A1 (ko) 2012-02-28 2012-04-04 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020018A KR101329102B1 (ko) 2012-02-28 2012-02-28 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템

Publications (2)

Publication Number Publication Date
KR20130098470A true KR20130098470A (ko) 2013-09-05
KR101329102B1 KR101329102B1 (ko) 2013-11-14

Family

ID=49082902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020018A KR101329102B1 (ko) 2012-02-28 2012-02-28 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템

Country Status (2)

Country Link
KR (1) KR101329102B1 (ko)
WO (1) WO2013129729A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079168A (ko) * 2016-12-30 2018-07-10 삼성전자주식회사 이더넷 솔리드 스테이트 드라이브에서 데이터 패턴 매칭 및 기계 학습 알고리즘들을 지원하는 장치 및 방법
KR20230025051A (ko) * 2021-08-13 2023-02-21 백진욱 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657294A (zh) * 2016-03-09 2016-06-08 北京奇虎科技有限公司 在移动终端上呈现虚拟特效的方法及装置
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
CN106126655A (zh) * 2016-06-27 2016-11-16 乐视控股（北京）有限公司 网页保存处理方法及装置
CN112269854B (zh) * 2020-11-18 2022-06-10 浙江大学 基于倒排索引的大规模数据相似特征检测方法
CN113743420B (zh) * 2021-08-26 2023-12-05 北京邮电大学 一种基于云边端协同的Web AR图像识别方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050132269A1 (en) * 2003-12-10 2005-06-16 Siemens Corporate Research, Inc. Method for retrieving image documents using hierarchy and context techniques
KR100777215B1 (ko) * 2006-05-30 2007-11-19 한국과학기술연구원 휴대용 기기를 이용한 증강현실 영상 시스템
KR100930370B1 (ko) * 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
KR100983912B1 (ko) * 2008-04-04 2010-09-27 한국과학기술연구원 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
KR20110007342A (ko) * 2009-07-16 2011-01-24 선문대학교 산학협력단 증강현실 영상기술을 적용한 디지털 정보 디스플레이 시스템 및 컨텐츠 활용 방법
KR101039298B1 (ko) * 2009-12-22 2011-06-07 (주)포스트미디어 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
US8626236B2 (en) * 2010-10-08 2014-01-07 Blackberry Limited System and method for displaying text in augmented reality

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180079168A (ko) * 2016-12-30 2018-07-10 삼성전자주식회사 이더넷 솔리드 스테이트 드라이브에서 데이터 패턴 매칭 및 기계 학습 알고리즘들을 지원하는 장치 및 방법
KR20230025051A (ko) * 2021-08-13 2023-02-21 백진욱 증강 현실을 위한 동영상 컨텐츠 선택 장치, 사용자 단말기 및 동영상 컨텐츠 제공 방법

Also Published As

Publication number Publication date
WO2013129729A1 (ko) 2013-09-06
KR101329102B1 (ko) 2013-11-14

Similar Documents

Publication Publication Date Title
KR101329102B1 (ko) 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
US8971641B2 (en) Spatial image index and associated updating functionality
US20180005015A1 (en) Sparse simultaneous localization and matching with unified tracking
Tsai et al. Fast geometric re-ranking for image-based retrieval
US9324151B2 (en) System and methods for world-scale camera pose estimation
US20210233319A1 (en) Context-aware tagging for augmented reality environments
US8411953B2 (en) Tagging images by determining a set of similar pre-tagged images and extracting prominent tags from that set
Chen et al. Building book inventories using smartphones
US20120062597A1 (en) Adding metadata apparatus
CN103927387A (zh) 图像检索系统及其相关方法和装置
KR101139001B1 (ko) 콘텐츠 제공 장치 및 방법
US9606975B2 (en) Apparatus and method for automatically generating visual annotation based on visual language
US9323989B2 (en) Tracking device
KR101276314B1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
CN112085031A (zh) 目标检测方法及系统
Chen et al. Integrated content and context analysis for mobile landmark recognition
CN104063701B (zh) 基于surf词汇树和模板匹配的快速电视台台标识别系统及其实现方法
KR102468309B1 (ko) 영상 기반 건물 검색 방법 및 장치
Chen et al. A hybrid mobile visual search system with compact global signatures
JP5536124B2 (ja) 画像処理システム及び画像処理方法
Salarian et al. Improved image-based localization using SFM and modified coordinate system transfer
KR20080046490A (ko) 몽타주 얼굴 영상을 이용한 얼굴 인식 방법 및 그 장치
CN104850600A (zh) 一种用于搜索包含人脸的图片的方法和装置
KR101265694B1 (ko) Ｄｂ 효율화를 통한 영상 인식 시스템 및 그 제공방법
CN113298871B (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160829

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180930

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190904

Year of fee payment: 7