KR20090106069A - 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법 - Google Patents

증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법 Download PDF

Info

Publication number
KR20090106069A
KR20090106069A KR1020080031565A KR20080031565A KR20090106069A KR 20090106069 A KR20090106069 A KR 20090106069A KR 1020080031565 A KR1020080031565 A KR 1020080031565A KR 20080031565 A KR20080031565 A KR 20080031565A KR 20090106069 A KR20090106069 A KR 20090106069A
Authority
KR
South Korea
Prior art keywords
information
visual feature
feature vector
image
extracting
Prior art date
Application number
KR1020080031565A
Other languages
English (en)
Other versions
KR100983912B1 (ko
Inventor
김익재
안상철
김형곤
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020080031565A priority Critical patent/KR100983912B1/ko
Publication of KR20090106069A publication Critical patent/KR20090106069A/ko
Application granted granted Critical
Publication of KR100983912B1 publication Critical patent/KR100983912B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 시각적 특징 벡터 및 위치정보를 수신받아, 상기 획득한 영상의 태깅된 정보를 읽어오는 정보처리 단계;및 증강 현실 기법을 통하여 표시장치에 사용자가 인식하고자 하는 대상 및 상기 태깅된 정보를 정합하여 표시해 주는 표시 단계를 포함하는 정보 검색 서비스 방법이 개시된다. 본 발명에 따르면, 모바일 환경에서 별도의 장치 없이 증강 현실 기법을 적용하여 사용자가 인식하고자 하는 대상물의 정보를 모바일 단말기에서 확인할 수 있다.
증강 현실 기법, 시각적 특징 벡터, 매쉬업 기술, 정보 검색 서비스 방법, 태그

Description

증강 현실 기법을 이용한 정보처리 장치 및 정보 입력, 검색방법{Apparatus and Method for inputing and searching information for augumented reality}
본 발명은 휴대용 단말기로부터 입력되는 영상 신호와 GPS 단말기로부터 획득되는 위치 정보를 융합하여 카메라 입력을 통해서 보이는 사물이나 환경에 대한 정보를 웹 서비스를 통해서 획득하고 이를 사용자에게 증강 현실 기법을 통해 표시해 주는 방법에 관한 것이다. 또한 이러한 서비스를 원활하게 제공하기 위하여, 역으로 사용자가 휴대용 단말기로부터 입력되는 영상과 GPS 단말기로부터 획득되는 위치 정보와 그에 대한 정보를 웹 서버로 입력하는 방법에 관한 것이다. 그리고 위의 방법을 실시할 수 있도록, 영상으로부터 시각적 특징 벡터(visual descriptor) 를 추출하고 각각의 시각적 특징 벡터를 비교 분석하며, 그 결과로부터 이미지 서버에서 태깅된 정보를 가져오는 정보 처리 장치에 관한 것이다.
최근 디지털 기기의 발달에 힘입어 모든 일반 사용자들이 모바일 환경에서 카메라를 이용하여 용이하게 영상을 획득할 수 있게 되었고, GPS 모듈 또한 장착되어 사용자들에게 편리하게 위치를 찾을 수 있도록 도움을 주고 있다. 또한 증강 현 실 분야에선 카메라로부터 입력되는 영상에 그래픽 영상 등의 새로운 부가 정보를 표시해 주는 방법을 통해 사용자에게 부가적인 정보를 제공해 줄 수 있도록 연구를 활발히 진행 중에 있다. 하지만, 모바일 기기에 장착된 카메라는 현재, 사진 촬영 혹은 영상 통화 등에 활용에 그치고 있고, GPS 정보 또한 네비게이션 기능으로 한정하여 사용하고 있다. 따라서 본 발명은 모바일 환경에서 GPS 모듈로부터 입력되는 위치 정보와 더불어, 입력되는 카메라 영상의 활용도를 높이고자, 영상 처리 기법을 적용하여, 사용자에게 유용한 정보를 증강 현실 기법을 이용하여 표시함으로써, 정보 접근성이 용이함 및 다양한 부가 서비스를 창출할 수 있는 방법에 관한 것이다.
모바일 디바이스를 이용하여, 주변 사물에 대한 부가적인 정보를 얻는 방법으로 대표적인 방법으로는 RFID 기술을 이용하는 방법으로써, 모바일 기기에 RFID 리더기를 장착하고, 주변 사물에 RFID 태그를 부착하여 고유 아이디 인식을 기반으로 정보 표시해 주는 방법이 있다. 최근에는 모바일 디바이스에 카메라 장착 비율이 높아짐에 따라, 카메라로부터 입력되는 영상 신호를 분석하고, 영상 인식 모듈을 이용하여 인식된 환경이나 사물에 대한 부가 정보를 제공해 주는 방법도 제시되고 있다. 우선 RFID기술을 활용한 방법은 인식률이 상대적으로 높아서 활용에 있어서 신뢰도를 높일 수 있지만, RFID 리더기를 반드시 장착하여야 하며, 더욱이, RFID 태그를 반드시 부착해야 하는 문제점도 있다.
또한 현재 보급되어 있는 RFID 태그는 금속면에 부착시 인식이 되지 않는 문제점이 있으며, 주변에 RFID 부착물이 많이 있을 경우에는 사용자가 진정으로 원 하는 사물에 대한 정보를 획득하기 어려운 문제점을 지니고 있으며, 인식 반경을 매우 좁힐 경우에는 초근거리에서만 인식을 할 수 있어서 접근이 어려운 대상에 대해서는 정보를 획득할 수 없는 단점을 지니고 있다. 상대적으로 카메라를 기반으로 인식하는 방법은 부가적인 리더기를 모바일 디바이스에 장착할 필요가 없으며, 또한 인식 거리에 대해서도 카메라의 줌 기능을 활용하면, 거리 제한에도 어느 정도 대응할 수 있는 장점을 지닌다. 또한 카메라를 활용하면 특정 사물에 대한 정보뿐만 아니라, 주변 환경 정보에 대해서 정보를 획득할 수 있으며, 사용자가 관심을 가지고 있는 대상에 대해서 시점을 일치 시킴으로써, 대상 후보를 제한할 수 있는 장점을 가지고 있다.
하지만, 현재까지 제안된 카메라를 이용한 인식 방법은 미리 정의해 둔 영상 패턴, 즉 1D 혹은 2D 영상 패턴을 부착을 해 두고, 이를 인식하는 방법으로써, 이 방법 역시, 기존 RFID 태그를 활용한 방법에서 문제점으로 인식되어 온, 추가적인 인식 태그를 부착해야 하는 문제점을 지닌다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로써, 모바일 환경에서 별도의 장치 없이 증강 현실 기법을 적용하여 사용자가 인식하고자 하는 대상물의 정보를 모바일 단말기에서 확인할 수 있는 방법을 제공하는 것을 목적으로 한다. 또한 본 발명은 역으로 사용자가 휴대용 단말기로부터 입력되는 영상과 GPS 단말기로부터 획득되는 위치 정보와 그에 대한 정보를 웹 서버로 입력하는 방법을 제공하는 것을 목적으로 한다. 또한 본 발명은 영상으로부터 시각적 특징 벡터를 추출하고 각각의 시각적 특징 벡터를 비교 분석하며, 그 결과로부터 이미지 서버에서 태깅된 정보를 가져오는 정보 처리 장치를 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 모바일 환경에서의 정보 검색 서비스 방법은 사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 시각적 특징 벡터 및 위치정보를 수신받아, 상기 획득한 영상의 태깅된 정보를 읽어오는 정보처리 단계;및 증강 현실 기법을 통하여 표시장치에 사용자가 인식하고자 하는 대상 및 상기 태깅된 정보를 정합하여 표시해 주는 표시 단계를 포함하여 구성될 수 있다.
또한 본 발명의 다른 실시예에 따른 모바일 환경에서의 정보 입력 방법은 사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 획득된 영상에 태깅 정보를 입력받는 단계;및 상기 시각적 특징 벡터 및 단말기의 지피에스(global positioning system; GPS)로 부터 획득한 위치정보 및 상기 태깅 정보가 저장되는 단계를 포함하여 구성될 수 있다.
또한 본 발명의 또 다른 실시예에 따른 정보 처리 장치는 미리 저장되어 있는 영상으로부터 시각적 특징 벡터를 추출해내는 추출부; 상기 추출부에서 추출된 시각적 특징 벡터와 단말기로부터 수신받은 시각적 특징 벡터를 매칭하는 비교부; 상기 비교부의 매칭 결과로 태깅된 정보를 읽어오는 정보호출부를 포함하여 구성될 수 있다.
본 발명에서는, 카메라와 GPS가 내장되어 있는 모바일 기기를 활용하여, 실시간으로 주변 환경 혹은 사물에 대한 정보를, 웹서비스를 통해서 기존의 많은 사용자들이 태깅해 둔 정보로부터 매쉬업(mashup) 기술을 활용하여 정보를 얻는 방법을 제안한다. 본 발명을 통하면, 사용자가 낯선 곳에 가거나, 새로운 사물을 발견했을 때, 이에 대한 적절한 설명 자료나 추가 정보 제공기기가 없더라도, 손쉽게 사용자가 지니고 있는 모바일 기기를 통해서 정보를 제공 받을 수 있는 방법을 제시하고 있다. 또한 이 방법은 새로운 사물에 대해서 특별한 관리인이 정보를 등록하고 관리를 해야 하는 과정이 필요 없으며, 많은 사람들이 정보를 공유하는 사진 공유 사이트 등으로부터 축척된 정보를 활용하는 것을 바탕으로 하는 웹서비스 기 반으로 한 기술이므로, 유지 및 관리가 추가되지 않는 장점이 있다.
또한 시각적 기반 특징 벡터를 활용하므로, 정보 검색을 위해서 사용자는 해당 관심 사물에 대해서 정확한 명칭을 몰라도 될 뿐 만 아니라, 직접 검색어를 입력하지 않아도 되는 장점을 지닌다. 기존의 모바일 기기에서의 검색 기법에서 필요로 했던 추가적인 태그 혹은 리더기를 필요로 하지 않아서 앞으로 서비스의 확대 가능성은 매우 높다고 할 수 있다.
시각 기반 인식에 있어서도, GPS를 통한 장소 범위의 제한을 통해, 검색 대상 범위의 축소 시킬 수 있으며, 이를 통해 검색 대상 이미지 후보를 대폭적으로 감소 시킬 수 있고, 결과적으로 해당 장소에서 찍은 영상에서 비교를 함으로써, 인식률을 증대시킬 수 있는 장점을 지닌다. 인식된 영상에 대해서 사용자가 원하는 정보를 현장에서 관심 대상에 잘 정합되어 보여주는 표시 방법을 제공함으로써, 사용자에게 양질의 정보를 제공해 줄 수 있다. 특히, 관광지 등에서는 방문했던 사람들의 이용 후기 정보 및 자신의 경험을 자연스럽게 현장에서 공유할 수 있어서 생생한 경험 공유 기능을 제공하고, 받을 수 있다.
이하 본 발명의 일 실시예에 따른 정보 검색 방법을 참조한 도면을 통하여 설명한다.
본 발명에 있어 시각적 특징 벡터(visual descriptor)는 사진과 같은 영상에서 영상에 기록된 사물 등의 특징부로서, 다른 사물 등과 구별할 수 있는 고유의 시각적 표시를 의미한다. 이는 텍스트(text) 기반 검색에서의 검색어와 같은 개념 으로 볼 수 있다.
도 1은 본 발명의 일 실시예에 따른 정보 검색 방법을 나타내고 있다.
상기 목적을 달성하기 위해서 본 발명은, 모바일 기기에 부착된 카메라를 이용하여, 사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 시각적 특징 벡터 및 위치정보를 수신받아, 상기 획득한 영상의 태깅된 정보를 읽어오는 정보처리 단계;및 증강 현실 기법을 통하여 표시장치에 사용자가 인식하고자 하는 대상 및 상기 태깅된 정보를 정합하여 표시해 주는 표시 단계를 포함하여 구성된다. 이와 같이 GPS 를 통한 위치정보를 이용하는 것은 시각적 특징 벡터만을 이용하여 영상을 비교 분석하게 되면, 비교 분석을 해야할 영상의 양이 많아지고 정확도가 떨어지기 때문이다. 비슷한 위치정보를 가진 영상으로 비교 분석을 할 영상의 범위를 한정해놓으면 시각적 특징 벡터만을 이용했을 경우보다 효율적인 검색이 가능하다.
도 2는 본 발명의 일 실시예에 따른 정보 검색 방법의 정보처리 단계를 나타내고 있다.
정보처리 단계는 이미지 서버에 저장되어있는, 상기 위치정보의 장소에서 획득한 영상의 시각적 특징 벡터를 추출하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계에서, 추출한 시각적 특징 벡터 및 상기 영상의 시각적 특징 벡터를 비교 분석하는 매칭 단계; 이미지 서버에서 해당 영상의 태깅(tagging)된 정보를 읽어오는 단계를 포함하여 구성된다.
대상물의 영상을 획득하는 단계에서는, 사용자는 모바일 기기 등의 카메라 로부터 얻고자하는 대상물의 영상을 얻을 수 있다. 모바일 기기는 이동통신망, 무선인터넷 서비스 등을 통하여 획득한 영상을 전송할 수 있어야 한다.
획득된 영상으로부터 시각적 특징 벡터를 추출하는 단계에서는 크기, 회전, 어파인 변형(affine transformation) 등에도 강건한 성능을 보이는 SIFT(scale invariant feature transform; SIFT) 알고리듬을 활용하여 도 5의 (b)와 같은 시각적 특징 벡터(Visual Descriptor) 를 추출한다.
이러한 시각적 특징 벡터의 추출 단계는 두 군데서 발생한다. 첫 번째는 오프라인 처리가 되는 것으로, 예를 들면 플리커(http://www.flickr.com) 와 같은 전세계 사람들이 사진 공유를 하기 위해서 가장 많이 사용되는 이미지 서버를 매쉬업(mashup) 기술을 활용하여, 그 서버에 저장되어 있는 이미지를 가져와서, 가져온 이미지에 대해서 미리 시각적 특징 벡터를 추출하여 구축한 정보처리 장치에 플리커와 같은 사진 공유 사이트의 이미지 데이터 링크와 함께 저장해 둔다. 두 번째는 사용자가 모바일 기기에서 촬영한 이미지에서 시각적 특징 벡터를 추출하는데 사용하는데, 이 경우 모바일 기기의 성능에 따라 모바일 기기에서 시각적 특징 벡터를 추출할 수 있거나, 촬영된 이미지를 구축한 정보처리 장치로 전송하여 장치에서 시각적 특징 벡터를 추출할 수 있다.
정보처리 단계에서 이미지 서버와 일련의 정보처리를 하기 위해서, 사용자가 획득한 영상의 시각적 특징 벡터와 GPS로부터 획득한 영상의 위치정보를 정보처리 장치로 전송을 할 수 있다. 이 단계에서 데이터의 전송이 필요하기 때문에, 단말기는 이동통신망, 무선인터넷 서비스 등을 통하여 정보처리 장치와 연결되어 있 어야 한다.
정보처리 단계에서는, 우선 GPS 정보를 통해 매쉬업 기술을 활용하여, 사진 공유 사이트에서 해당 위치에서 촬영된 이미지 리스트를 불러오고, 이를 불러와 저장한 정보처리 장치에서 이미지 리스트의 시각적 특징 벡터들과 사용자에 의해 획득된 영상에서 추출된 시각적 특징 벡터와의 비교 분석이 이뤄진다. 추출된 시각적 특징 벡터와 가장 일치하는 시각적 특징 벡터의 이미지 정보를 매쉬업 기술로 해당 사진 공유 사이트에서 읽어온다. 이미 사진 공유 사이트에서는 공유해 둔 사진에 대해서 많은 사용자들이 텍스트 기반의 태깅을 해 둔 상태이므로, 해당 사진에 대한 태깅 정보를 가져오면 된다.
표시 단계에서는, 이렇게 가져 온 정보를 사용자의 모바일 단말기 등의 화면에 카메라로부터 획득되는 관심 대상 사물과 정합되어 표시함으로써 사용자에게 상황에 맞는 정확한 정보를 제시해 줄 수 있게 된다.
또한 도 2에서는, 정보처리 단계에 있어서 웹서비스 기반 질의어 생성 단계가 포함되어 있다. 수신된 시각적 특징 벡터 및 상기 위치정보를 통하여 질의어를 생성하고, 생성된 질의어를 통하여 카테고리별로 출력하는 질의어 생성 단계가 포함될 수 있다. 이렇게 질의어 생성단계가 추가되면, 시각적 특징 벡터를 비교 분석하는 매칭 단계에서 효율적인 자료 검색 및 매칭 작업이 가능하다.
도 3은 본 발명의 다른 실시예에 따른 정보 입력 방법을 나타내고 있다.
본 발명의 목적을 달성하기 위한 정보 입력 방법은 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 획득된 영상의 태깅 정보를 입력받는 단계;및 상기 시각적 특징 벡터 및 단말기의 지피에스(global positioning system; GPS)로 부터 획득한 위치정보 및 상기 태깅 정보가 저장되는 단계를 포함하여 구성된다. 이와 같이 현장에서 사용자에 의해 획득된 영상과 그 영상의 태깅정보를 서버 및 장치로 전송하면, 실시간으로 이미지 서버와 정보처리 장치 내의 시각적 특징 벡터 데이터베이스가 업데이트 될 수 있다. 이는 상기의 정보 검색 서비스 방법을 더 효율적으로 운용되게 하며, 다수의 사용자로 하여금 정보 접근성과 다양한 부가 서비스를 경험하게 해준다.
또한 상기에서 시각적 특징 벡터는 정보 처리 장치로 전송되고, 위치 정보 및 태깅 정보는 이미지 서버로 전송된다. 각각의 데이터들이 분리되어 저장되므로 효율적인 서비스의 제공이 가능하다.
도 4는 본 발명의 실시예에 따른 정보 처리 장치를 나타내고 있다.
본 발명의 목적을 달성하기 위한 정보 처리 장치는 미리 저장되어 있는 영상으로부터 시각적 특징 벡터를 추출해내는 추출부; 상기 추출부에서 추출된 시각적 특징 벡터와 단말기로부터 수신받은 시각적 특징 벡터를 매칭하는 비교부; 상기 비교부의 매칭결과로 태깅된 정보를 읽어오는 정보호출부를 포함하여 구성된다. 또한 추출부에서 추출된 시각적 특징 벡터를 저장하는 시각적 특징 벡터 데이터베이스를 더 포함하여 구성될 수 있다.
시각적 특징 벡터를 추출하여 영상을 비교 분석하면 일치하는 영상을 검색하는데 시간과 데이터량이 줄어들고, 비교 분석 결과로 이미지 서버에서 태깅된 정 보를 읽어오면 사용자의 정보 입력의 노력과 시간을 감면해준다. 시각적 특징 벡터 데이터베이스를 구축해 놓으면, 사진 공유 사이트와 같은 이미지 서버에 접속할 필요없이 정보처리 장치내에서 시각적 특징 벡터와 GPS 위치정보를 기반으로 매칭 작업이 가능하다.
도 5는 본 발명의 실시예에 따른 시각적 특징 벡터를 추출하는 예를 보여준다. 상기에서 설명한 대로, 시각적 특징 벡터의 추출은 사용자의 단말기에서 추출하거나 촬영된 영상을 정보처리 장치로 전송하여 장치에서 추출하는 경우, 그리고 이미지 서버에 이미 저장되어 있는 영상으로부터 추출하는 경우가 있다. 또한 위에서 설명한 바와 같이, 크기, 회전, 어파인 변형(affine transformation) 등에도 강건한 성능을 보이는 SIFT(scale invariant feature transform; SIFT) 알고리듬을 활용하여 도 5의 (b)와 같은 시각적 특징 벡터(Visual Descriptor) 를 추출한다.
이상에서 설명한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 변경 및 변형이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 정보 검색 서비스 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 정보 검색 서비스 방법 중 정보처리 단계를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 정보 입력 방법을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 정보 처리 장치를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 시각적 특징 벡터를 추출하는 예를 나타낸 도면이다.

Claims (10)

  1. 인식하고자 하는 대상의 영상을 획득하는 단계(11);
    상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계(12);
    상기 시각적 특징 벡터 및 위치정보를 수신받아, 상기 획득한 영상의 태깅된 정보를 읽어오는 정보처리 단계(13);및
    증강 현실 기법을 통하여 표시장치에 사용자가 인식하고자 하는 대상 및 상기 태깅된 정보를 정합하여 표시해 주는 표시 단계(14)를 포함하는 것을 특징으로 하는 정보 검색 서비스 방법.
  2. 제1항에 있어서,
    상기 정보처리 단계(13)는,
    이미지 서버에 저장되어있는, 상기 위치정보의 장소에서 획득한 영상의 시각적 특징 벡터를 추출하는 단계;
    상기 단계(12)에서 추출한 시각적 특징 벡터 및 상기 영상의 시각적 특징 벡터를 비교 분석하는 매칭 단계;
    상기 두 개의 시각적 특징 벡터가 일치하는 경우에, 이미지 서버에서 상기 영상의 태깅(tagging)된 정보를 읽어오는 단계를 포함하는 것을 특징으로 하는 정보 검색 서비스 방법.
  3. 제1항에 있어서,
    상기 시각적 특징 벡터를 추출하는 단계(12)는,
    단말기 내에서 시각적 특징 벡터를 추출하는 것을 특징으로 하는 정보 검색 서비스 방법.
  4. 제1항에 있어서,
    상기 시각적 특징 벡터를 추출하는 단계(12)는,
    상기 획득한 영상을 정보처리 장치로 전송하여 정보처리 장치에서 시각적 특징 벡터를 추출하는 것을 특징으로 하는 정보 검색 서비스 방법.
  5. 제1항에 있어서,
    상기 정보처리 단계(13)에서 상기 태깅된 정보를 읽어오는 것은 매쉬업 기술을 이용하는 것을 특징으로 하는 정보 검색 서비스 방법.
  6. 제1항 내지 제4항에 중 어느 한 항에 있어서,
    상기 정보처리 단계는,
    수신된 상기 시각적 특징 벡터 및 상기 위치정보를 통하여 질의어를 생성하고, 상기 질의어를 통하여 카테고리별로 출력하는 질의어 생성 단계를 더 포함하는 것을 특징으로 하는 정보 검색 서비스 방법.
  7. 인식하고자 하는 대상의 영상을 획득하는 단계;
    상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계;
    상기 획득한 영상의 태깅 정보를 입력받는 단계;및
    상기 시각적 특징 벡터 및 단말기의 지피에스(global positioning system; GPS)로 부터 획득한 위치정보 및 상기 태깅 정보가 저장되는 단계를 포함하는 것을 특징으로 하는 정보 입력 방법.
  8. 제7항에 있어서,
    상기 저장되는 단계에서,
    상기 시각적 특징 벡터는 정보 처리 장치에 저장되고 상기 위치정보 및 상기 태깅 정보는 이미지 서버에 저장되는 것을 특징으로 하는 정보 입력 방법.
  9. 영상으로부터 시각적 특징 벡터를 추출해내는 추출부; 상기 추출부에서 추출된 시각적 특징 벡터 및 단말기로부터 수신받은 시각적 특징 벡터를 매칭하는 비교부; 상기 비교부의 매칭결과로 태깅된 정보를 읽어오는 정보호출부를 포함하며,
    상기 영상은 장치의 내부에 기 저장되어 있거나 장치의 외부로부터 불러오는 것을 특징으로 하는 정보 처리 장치.
  10. 제9항에 있어서,
    상기 추출부에서 추출된 시각적 특징 벡터를 저장하는 시각적 특징 벡터 데 이터베이스를 더 포함하는 것을 특징으로 하는 정보 처리 장치.
KR1020080031565A 2008-04-04 2008-04-04 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법 KR100983912B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080031565A KR100983912B1 (ko) 2008-04-04 2008-04-04 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080031565A KR100983912B1 (ko) 2008-04-04 2008-04-04 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법

Publications (2)

Publication Number Publication Date
KR20090106069A true KR20090106069A (ko) 2009-10-08
KR100983912B1 KR100983912B1 (ko) 2010-09-27

Family

ID=41535727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080031565A KR100983912B1 (ko) 2008-04-04 2008-04-04 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법

Country Status (1)

Country Link
KR (1) KR100983912B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100989663B1 (ko) * 2010-01-29 2010-10-26 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101036529B1 (ko) * 2010-01-06 2011-05-24 주식회사 비엔에스웍스 그림 문자를 이용한 문자 메시지 서비스 방법
WO2012002603A1 (ko) * 2010-06-28 2012-01-05 엘지전자 주식회사 외부 장치의 동작 상태 제공 방법 및 그 장치
WO2012020867A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 서비스 존에서 제공되는 서비스 정보를 표시하기 위한 장치 및 방법
KR101328032B1 (ko) * 2010-10-29 2013-11-13 에스케이플래닛 주식회사 증강 현실 서비스 제공 시스템 및 방법
KR101329102B1 (ko) * 2012-02-28 2013-11-14 주식회사 케이쓰리아이 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
KR101332816B1 (ko) * 2010-07-26 2013-11-27 주식회사 팬택 프라이빗 태그를 제공하는 증강 현실 장치 및 방법
US8736636B2 (en) 2010-01-29 2014-05-27 Pantech Co., Ltd. Apparatus and method for providing augmented reality information
US8823855B2 (en) 2010-10-13 2014-09-02 Pantech Co., Ltd. User equipment and method for providing augmented reality (AR) service
KR20170102084A (ko) * 2016-02-29 2017-09-07 한국전자통신연구원 증강 현실 서비스 제공 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102302327B1 (ko) * 2014-12-08 2021-09-15 엘지전자 주식회사 단말 장치, 정보 표시 시스템 및 단말 장치의 제어 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036529B1 (ko) * 2010-01-06 2011-05-24 주식회사 비엔에스웍스 그림 문자를 이용한 문자 메시지 서비스 방법
US8736636B2 (en) 2010-01-29 2014-05-27 Pantech Co., Ltd. Apparatus and method for providing augmented reality information
KR100989663B1 (ko) * 2010-01-29 2010-10-26 (주)올라웍스 단말 장치의 시야에 포함되지 않는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US8373725B2 (en) 2010-01-29 2013-02-12 Intel Corporation Method for providing information on object which is not included in visual field of terminal device, terminal device and computer readable recording medium
US8947457B2 (en) 2010-01-29 2015-02-03 Intel Corporation Method for providing information on object which is not included in visual field of terminal device, terminal device and computer readable recording medium
WO2012002603A1 (ko) * 2010-06-28 2012-01-05 엘지전자 주식회사 외부 장치의 동작 상태 제공 방법 및 그 장치
US9247142B2 (en) 2010-06-28 2016-01-26 Lg Electronics Inc. Method and apparatus for providing the operation state of an external device
KR101332816B1 (ko) * 2010-07-26 2013-11-27 주식회사 팬택 프라이빗 태그를 제공하는 증강 현실 장치 및 방법
WO2012020867A1 (ko) * 2010-08-13 2012-02-16 엘지전자 주식회사 서비스 존에서 제공되는 서비스 정보를 표시하기 위한 장치 및 방법
US8654235B2 (en) 2010-08-13 2014-02-18 Lg Electronics Inc. Apparatus and method for displaying service information provided in service zone
US8823855B2 (en) 2010-10-13 2014-09-02 Pantech Co., Ltd. User equipment and method for providing augmented reality (AR) service
KR101328032B1 (ko) * 2010-10-29 2013-11-13 에스케이플래닛 주식회사 증강 현실 서비스 제공 시스템 및 방법
KR101329102B1 (ko) * 2012-02-28 2013-11-14 주식회사 케이쓰리아이 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
KR20170102084A (ko) * 2016-02-29 2017-09-07 한국전자통신연구원 증강 현실 서비스 제공 장치 및 방법

Also Published As

Publication number Publication date
KR100983912B1 (ko) 2010-09-27

Similar Documents

Publication Publication Date Title
KR100983912B1 (ko) 증강 현실 기법을 이용한 정보처리 장치 및 정보 입력,검색방법
US20210233319A1 (en) Context-aware tagging for augmented reality environments
US8185596B2 (en) Location-based communication method and system
US20180107876A1 (en) Method and system for providing augmented reality contents by using user editing image
US20100309226A1 (en) Method and system for image-based information retrieval
CN109040960A (zh) 一种实现位置服务的方法和装置
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
CN109189879B (zh) 电子书籍显示方法及装置
JP2014241151A (ja) 画像から得られる情報のインターネットおよびその他の検索エンジンのための検索基準としての使用
JPWO2007116500A1 (ja) 情報呈示システム、情報呈示端末及びサーバ
TW201030633A (en) Image recognition algorithm, method of identifying a target image using same, and method of selecting data for transmission to a portable electronic device
TWI470549B (zh) A method of using an image recognition guide to install an application, and an electronic device
JP2012215989A (ja) 拡張現実表示方法
US8355533B2 (en) Method for providing photographed image-related information to user, and mobile system therefor
WO2012144124A1 (ja) 撮影画像処理システム、撮影画像処理方法、携帯端末及び情報処理装置
KR102107208B1 (ko) 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버
US20140112586A1 (en) Pictogram and iso symbol decoder service
JP2011076336A (ja) ユーザによって視認されている表示装置を特定するデジタルサイネージシステム及び方法
KR101889025B1 (ko) R-cnn 알고리즘 기반 객체인식을 이용한 휴대단말기용 3차원영상 출력시스템 및 출력방법
CN111797266B (zh) 图像处理方法和装置、存储介质和电子设备
Deniz et al. A vision-based localization algorithm for an indoor navigation app
KR20130036839A (ko) 증강현실 서비스를 지원하는 시스템에서 영상 정합을 위한 장치 및 방법
KR101550358B1 (ko) 태그 저작 방법 및 태그 저작 시스템
EP2362627B1 (en) Location-based communication method and system
JP2019105905A (ja) 名刺情報登録装置、名刺情報登録方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150831

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170912

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 10