KR20120129982A - 증강 현실 서비스를 위한 마커 검색 시스템 - Google Patents

증강 현실 서비스를 위한 마커 검색 시스템 Download PDF

Info

Publication number
KR20120129982A
KR20120129982A KR1020127024323A KR20127024323A KR20120129982A KR 20120129982 A KR20120129982 A KR 20120129982A KR 1020127024323 A KR1020127024323 A KR 1020127024323A KR 20127024323 A KR20127024323 A KR 20127024323A KR 20120129982 A KR20120129982 A KR 20120129982A
Authority
KR
South Korea
Prior art keywords
marker
data
web content
user device
service server
Prior art date
Application number
KR1020127024323A
Other languages
English (en)
Other versions
KR101462571B1 (ko
Inventor
김재형
홍종철
김홍근
권봉기
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Publication of KR20120129982A publication Critical patent/KR20120129982A/ko
Application granted granted Critical
Publication of KR101462571B1 publication Critical patent/KR101462571B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

AR 서비스를 위한 검색 시스템, 사용자 장치, 및 서버가 개시된다. 검색 시스템은, 사용자의 입력에 응답하여 웹 컨텐트 및 마커를 검색하도록 구성되는 검색 엔진, 검색된 웹 컨텐트를 검색된 마커에 매칭하도록 구성되는 매칭 유닛, 및 검색된 웹 컨텐트 및 검색된 마커를 포함하는 문서를 사용자에게 전송하도록 구성되는 출력 유닛을 포함한다.

Description

증강 현실 서비스를 위한 마커 검색 시스템{MARKER SEARCH SYSTEM FOR AUGMENTED REALITY SERVICE}
증강 현실(AR: augmented reality) 기술은, 실세계 환경의 요소와 가상 현실 데이터를 병합하여 새로운 혼합 현실을 생성한다. 엔터테인먼트, TV, 게임, 교육, 음악 또는 영화와 같은, 다양한 분야에서 AR 애플리케이션을 구현하는데 있어서 마커(marker)가 사용될 수 있다. 마커는 가상 현실 데이터 정보를 식별하는 2차원적 이미지이며, 일반적으로 임의의 패턴(random pattern)을 사용한다. AR 애플리케이션을 위한 이미지 및 비디오 파일이 특정 포맷(예를 들어, JPG 또는 MPEG)으로 표준화됨에 따라, 표준화된 마커 포맷에 대한 관심이 증가하였다.
증강 현실 서비스를 위한 마커 검색 시스템의 다양한 실시예가 개시된다. 일 실시예에서, 시스템은, 사용자의 입력에 응답하여, 웹 컨텐트 및 마커를 검색하도록 구성되는 검색 엔진, 검색된 마커와 검색된 웹 컨텐트를 매칭하도록 구성되는 매칭 유닛, 및 검색된 웹 컨텐트 및 검색된 마커를 포함하는 문서를 사용자에게 전송하도록 구성되는 출력 유닛을 포함한다.
다른 실시예에서, 증강 현실(AR) 서비스 서버가 제공된다. AR 서비스 서버는 AR 사용자 장치와 통신한다. AR 서비스 서버는, AR 사용자 장치로부터 마커 데이터를 수신하도록 구성되는 마커 데이터 수신기, 가상 현실(VR: virtual reality) 데이터를 저장하도록 구성되는 VR 데이터 데이터베이스, 마커 데이터 수신기로부터 마커 데이터를 수신하고, 수신된 마커 데이터에 대응하는 VR 데이터를 검색하기 위해 VR 데이터 데이터베이스를 액세스하도록 구성되는 VR 데이터 검색기, 및 검색된 VR 데이터를 AR 사용자 장치에 전송하도록 구성되는 VR 데이터 송신기를 포함한다.
또 다른 실시예에서, AR 사용자 장치가 제공된다. AR 사용자 장치는 AR 서비스 서버와 통신하며, 카메라에 의해 캡쳐된 실세계 이미지로부터 마커를 감지 및 추출하도록 구성되는 마커 센서, 마커의 마커 데이터를 AR 서비스 서버에 전송하도록 구성되는 마커 데이터 송신기, AR 서비스 서버로부터 마커 데이터에 대응하는 VR 데이터를 수신하도록 구성되는 VR 데이터 수신기, 및 수신된 VR 데이터 및 실세계 이미지를 이용하여 AR 데이터를 생성하도록 구성되는 AR 데이터 생성기를 포함한다.
상기 요약은 예시적인 것일 뿐이며 어떤 방식으로도 제한적으로 의도된 것은 아니다. 상기한 예시적 양상, 실시예, 및 특징들에 추가하여, 다른 양상, 실시예, 및 특징들은 도면과 이하 상세한 설명을 참조하여 명확해질 것이다.
도 1a은, 검색 시스템의 예시적 실시예가 구현된 환경을 도시하는 개략적인 도면이다.
도 1b는, AR 서비스의 예시적인 실시예가 구현된 환경을 도시하는 개략적인 도면이다.
도 2는, 도 1a에 도시된 검색 시스템의 예시적 실시예의 블록도이다.
도 3은, 도 2에 도시된 마커 DB에 저장된 마커의 예시적인 실시예의 개략적인 도면이다.
도 4는, 도 1b에 도시된 AR 서비스 서버 및 AR 사용자 장치의 예시적인 실시예의 개략적인 도면이다.
도 5는, 마커 검색 결과를 제공하기 위한 방법의 예시적인 실시예의 흐름도이다.
도 6은, 도 1b에 도시된 마커의 마커 메타데이터의 예시적인 실시예를 도시한다.
도 7은, AR 서비스를 제공하기 위한 방법의 다른 예시적인 실시예의 개략적인 도면이다.
다음 상세한 설명에서, 여기의 일부를 구성하는 첨부 도면에 대한 참조가 이루어진다. 도면에서, 문맥상 다르게 기재되지 않는 한, 유사한 기호는 일반적으로 유사한 구성요소를 나타낸다. 상세한 설명, 도면 및 청구범위에 기재된 예시적 실시예들은 제한적으로 의도된 것이 아니다. 여기에 제시된 대상의 사상과 범위를 벗어나지 않는 한, 다른 실시예들이 사용될 수 있고, 다른 변경들이 가해질 수 있다. 본 개시는, 여기에 일반적으로 기재되고 도면에 도시된 것과 같이, 광범위한 상이한 구성들로 배열, 치환, 조합, 분리 및 설계될 수 있음과, 이것들이 본 개시에서 명시적으로 고려됨이 이해될 것이다.
도 1a는 검색 시스템의 예시적인 실시예가 구현되는 환경을 도시하는 개략적인 도면이다. 도 1a는 하나 이상의 클라이언트 시스템(200)과 통신하는 검색 시스템(100)을 도시한다. 검색 시스템(100)은, 클라이언트 시스템(200)으로부터 수신된 키워드에 응답하여, 웹 컨텐트 및 대응하는 마커를 검색하고, 이하 도 2를 참조하여 상세히 설명되는 바와 같이, 웹 컨텐트 및 마커를 포함하는 문서를 준비한다. 본 개시에 사용되는 "마커"라는 용어는, AR 서비스를 제공하기 위해 사용되는 가상 현실(VR) 데이터를 식별하는 2차원 이미지를 지칭한다. 클라이언트 시스템(200)은, 사용자가 그것을 통해 검색 시스템(100)을 액세스하는 장치이다. 클라이언트 시스템(200)은, 입력 유닛, 디스플레이 유닛, 및 통신 유닛을 포함할 수 있다. 예를 들어, PC, PDA(개인 디지털 장치), 이동 전화, 스마트폰 또는 키오스크(kiosk)가, 제한 없이 클라이언트 시스템(200)으로 구현될 수 있다.
일부 실시예에서, 검색 시스템(100)은 클라이언트 시스템(200)과 무선으로 상호작용할 수 있으며, 웹 브라우저(예를 들어, MS ExplorerTM)를 통해, 일반적인 검색 포털 사이트(예를 들어, GoogleTM 및 YahooTM)와 같은 검색 인터페이스를 클라이언트 시스템(200)에 제공할 수 있다. 예를 들어, 사용자가 클라이언트 시스템(200)으로 키워드를 입력하면, 클라이언트 시스템(200)은 검색 시스템(100)에 키워드를 전송한다.
검색 시스템(100)은, 클라이언트 시스템(200)으로부터 수신된 키워드에 응답하여 웹 컨텐트(예를 들어, 문서, 뉴스, 블로그, 이미지, 비디오 등)와 그 웹 컨텐트에 대응하는 마커를 검색한다. 일 실시예에서, 검색 시스템(100)은 웹 브라우저 또는 그 데이터베이스를 검색하여, 키워드에 응답하여 웹 컨텐트 및 대응하는 마커를 찾아낼 수 있으며, 이는 이하에서 설명될 것이다. 그 후, 검색 시스템(100)은, 검색된 웹 컨텐트 및 그 대응하는 마커를 갖는 문서를 클라이언트 시스템(200)에 전송한다. 예를 들어, 문서는, 도 1a에 도시된 바와 같이, 검색된 웹 컨텐트 및 대응하는 마커(예를 들어, 201, 202 및 203)를 가리키는 하이퍼링크(hyperlink)(예를 들어, 210, 220 및 230)의 리스트를 가질 수 있다. 예를 들어, 사용자가 키워드 "축구(soccer)"를 클라이언트 시스템(200)에 입력하면, 클라이언트 시스템(200)은 검색 시스템(100)에 키워드 "축구"를 갖는 검색 요청을 전송할 수 있다. 검색 요청에 응답하여, 검색 시스템(100)은, 키워드 "축구"에 대응하는 웹 컨텐트와 마커를 검색할 수 있으며, 검색 결과를 클라이언트 시스템(200)에 전송할 수 있다. 클라이언트 시스템(200)은, 웹 브라우저를 통해 검색되는 검색된 웹 컨텐트 및 대응하는 마커를 나타내는 하이퍼링크를 그 스크린에 나열할 수 있다. 상술한 바와 같은 웹 컨텐트 및 대응하는 마커를 검색하는 검색 시스템(100)의 구성은 도 2를 참조하여 상세히 기술될 것이다.
도 1b는, AR 서비스의 예시적인 실시예가 구현되는 환경을 도시하는 개략적인 도면이다. 도 1b는, AR 사용자 장치(400)가, AR 서비스 서버(300)로부터 수신된 가상 현실(VR) 데이터를 이용하여 AR 서비스를 제공하는 것과, 클라이언트 시스템(200) 상에 디스플레이된 검색된 웹 컨텐트 및 대응하는 마커를 도시한다.
AR 사용자 장치(400)는 실세계 이미지를 캡쳐하고, 그 실세계 이미지로부터 마커를 추출한다. 또한, AR 사용자 장치(400)는 추출된 마커를 AR 서비스 서버(300)에 전송하고, AR 서비스 서버(300)로부터 마커에 응답하여 VR 데이터를 수신한다. 이에 따라, AR 사용자 장치(400)는, 실세계 이미지 상에 VR 데이터를 오버레이(overlay)함으로써 사용자에게 AR 서비스를 제공한다. 일 실시예에서, AR 사용자 장치(400)는, 실세계 이미지를 캡쳐하는 카메라, 실세계 이미지로부터 마커를 감지하고 추출하는 마커 센서, 마커 데이터 송신기 및 VR 데이터 수신기와 같이, AR 서비스 서버(300)와 무선 통신하는 통신 유닛, VR 데이터 및 실세계 이미지를 조합하여 AR 데이터를 생성하는 AR 데이터 생성기, 및 증강 현실을 그 스크린에 디스플레이하는 디스플레이 유닛을 포함할 수 있다. AR 사용자 장치(400)의 구성은, 이하에서 도 4를 참조하여 상세히 설명될 것이다. 도 1b는 AR 사용자 장치(400)의 일 예로서 이동 전화를 도시하고 있지만, AR 사용자 장치(400)가 임의의 유형의 장치로 구현될 수 있음이 당업자에게 명백할 것이다. 예를 들어, AR 사용자 장치(400)는, 스마트폰, PDA, UMPC(ultra mobile PC), 헤드마운트 디스플레이(HMD: head-mounted display) 등으로 구현될 수 있다.
AR 서비스 서버(300)는, AR 사용자 장치(400)로부터 전송되는 마커에 응답하여 VR 데이터를 검색하고, 검색된 VR 데이터를 AR 사용자 장치(400)에 전송한다. AR 서비스 서버(300)의 구성은 이하에서 도 4를 참조하여 상세히 설명될 것이다.
일 실시예에서, AR 사용자 장치(400)는, AR 사용자 장치(400)의 카메라를 사용하여 클라이언트 시스템(200)의 스크린 이미지를 캡쳐할 수 있다. 클라이언트 시스템(200)의 스크린 이미지는, 사용자의 키워드에 응답하여 검색 시스템(100)에 의해 검색된 웹 컨텐트 및 대응하는 마커를 보여줄 수 있다. 특히, 도 1a를 참조하여 상술한 바와 같이, 클라이언트 시스템(200)은 사용자의 키워드를 포함하는 검색 요청을 검색 시스템(100)에 전송할 수 있으며, 클라이언트 시스템(200)은 검색 시스템(100)에 의해 검색되고 전송되는 웹 컨텐트 및 대응하는 마커를 디스플레이할 수 있다. 검색된 웹 컨텐트 및 대응하는 마커는 클라이언트 시스템(200)의 스크린에 하이퍼링크로써 디스플레이될 수 있기 때문에, 클라이언트 시스템(200)은 그 스크린 상에, 웹 페이지를 통해 검색된 선택된 웹 컨텐트(예를 들어, 211)를 대응하는 마커(예를 들어, 201)와 함께 디스플레이할 수 있다. 일 예시적인 예로써, 도 1b는, AR 사용자 장치(400)가 클라이언트 시스템(200)의 스크린 이미지를 캡쳐하고, 그 스크린(402) 상에, 마커(201)에 대응하는 VR 데이터(401)로써 진행 중인 축구 이미지를 디스플레이하는 것을 도시한다.
AR 사용자 장치(400)는, 또한 캡쳐된 스크린 이미지(예를 들어, 401)로부터 마커(예를 들어, 201)를 감지 및 추출할 수 있고, 추출된 마커(201)의 데이터를 AR 서비스 서버(300)에 전송할 수 있다. 캡쳐된 이미지로부터 마커를 추출하는 방법은 도 4를 참조하여 이하에서 상세히 설명될 것이다. AR 서비스 서버(300)는, VR 데이터 데이터베이스로부터, 수신된 마커(201)에 대응하는 VR 데이터(401)를 검색하고, 검색된 VR 데이터(401)를 AR 사용자 장치(400)에 전송할 수 있다. AR 사용자 장치(400)는 VR 데이터(401)를 캡쳐된 스크린 이미지 상에 오버레이하여 AR 이미지를 생성할 수 있다. 예를 들어, 사용자가 웹 컨텐트로서 축구선수인 "베컴(Beckam)"을 선택한다면, 선택된 웹 컨텐트 및 대응하는 마커가 클라이언트 시스템(200) 상에 디스플레이될 수 있다. 그 후, AR 사용자 장치(400)는 웹 컨텐트 및 마커를 캡쳐하고, 그 마커를 AR 서비스 서버(300)에 전송할 수 있다. 전송된 마커에 응답하여, AR 서비스 서버(300)는, VR 데이터(예를 들어, "베컴"의 이미지, 비디오 또는 3D 객체)를 검색하여 AR 사용자 장치(400)에 전송할 수 있다. 이에 따라, AR 사용자 장치(400)는 전송된 VR 데이터(예를 들어, 베컴의 이미지)를, 스크린(402) 상에 디스플레이된 캡쳐된 웹 컨텐트 이미지 상에 오버레이할 수 있다.
VR 데이터(401)는, 이미지 뿐만 아니라 다양한 정보(예를 들어, 비디오 또는 3D 객체)를 포함할 수 있다. 따라서, AR 서비스는, VR 데이터(401) 및 실세계 이미지를 조합하여 생성될 수 있다. 또한, AR 서비스는, 사용자 요청에 응답하여 다양한 정보를 제공하도록 상호작용할 수 있다. 예를 들어, VR 데이터(401)는, 사용자에 의해 입력된 요청에 응답하여, 회전된 이미지, 비디오 또는 3D 객체를 더 제공할 수 있다.
도 2는, 도 1a에 도시된 검색 시스템의 예시적인 실시예의 블록도이다. 일 실시예에서, 검색 시스템(100)은, 검색 사용자 인터페이스(UI: user interface) 유닛(111), 검색 엔진(112), 웹 컨텐트 데이터베이스(DB)(113), 마커 DB(114), 매칭 유닛(115), 출력 유닛(116), 및 마커 입력 유닛(117)을 포함할 수 있다. 다른 실시예에서, 웹 컨텐트 DB(113), 마커 DB(114), 및 마커 입력 유닛(117) 중 하나 이상이 선택적으로 생략될 수 있다. 예를 들어, 웹 컨텐트 DB(113), 마커 DB(114), 및 마커 입력 유닛(117) 중 하나 이상이 외부 장치에 구현될 수 있으며, 그 동작은 원격으로 수행될 수 있다.
검색 UI 유닛(111)은, 클라이언트 시스템(200)으로부터, 사용자에 의해 입력된 키워드를 포함하는 검색 요청을 수신한다.
검색 엔진(112)은, 검색 UI 유닛(111)으로부터 키워드가 포함된 검색 요청을 수신하고, 웹 컨텐트 DB(113) 및 마커 DB(114)를 액세스하여 키워드에 대응하는 마커 및 웹 컨텐트를 검색한다. 일 실시예에서, 웹 컨텐트 DB(113) 및 마커 DB(114) 중 하나 이상은 외부 서버에 구현될 수 있다. 이 경우, 검색 엔진(112)은, 인터넷, 인트라넷, 부가 가치 네트워크(value added network), 또는 공중 교환 데이터 네트워크(public switched data network)와 같은 네트워크를 통해, 외부 서버의 주소를 이용하여 외부 서버에 액세스할 수 있다. 검색 엔진(112)은 다양한 유형의 검색 엔진 소프트웨어에 의해 구현될 수 있다. 예를 들어, 검색 엔진(112)은, 검색 키워드에 응답하여, 단어, 주제, 인덱스, 및 카테고리를 포함하지만 이에 제한되지 않는 웹 컨텐트 및 마커를 검색할 수 있는 검색 엔진 소프트웨어에 의해 구현될 수 있다.
웹 컨텐트 DB(113)는 웹 컨텐트를 저장하고, 검색 엔진(112)의 검색 요청에 응답하여, 검색 엔진(112)에게 웹 컨텐트 또는 그 웹 컨텐트의 주소를 제공한다. 마커 DB(114)는 마커 및 그 인덱스를 저장하고, 검색 엔진(112)의 검색 요청에 응답하여, 마커 및 인덱스를 검색 엔진(112)에 제공한다. 본 개시에 사용된 마커의 "인덱스(index)"라는 용어는, 마커의 VR 데이터를 기술하는 하나 이상의 항목을 나타낸다. 인덱스의 예시적인 예는 이하에서 도 3을 참조하여 상세하게 설명될 것이다. 일 실시예에서, 검색 엔진(112)은, 키워드 및 각 마커의 인덱스 사이의 유사도를 계산함으로써 키워드에 대응하는 마커를 검색할 수 있다.
매칭 유닛(115)은, 검색 엔진(112)으로부터의 검색된 웹 컨텐트를 수신하고, 룩업 테이블(lookup table)에 기초하여, 검색된 웹 컨텐트와 마커를 매칭한다. 테이블은, 웹 컨텐트 DB(113)와 마커 DB(114)를 통해 검색된 웹 컨텐트 및 마커 사이의 상관성(correlation)을 보여준다. 일 실시예에서, 매칭 유닛(115)은, 사용자에 의해 입력된 키워드에 대한 상관값(correlation value)을 이용하여 검색된 웹 컨텐트에 검색된 마커를 매칭할 수 있다. 여기서, 키워드에 대한 "상관값"이라는 용어는, 키워드의 이진 코드에 마커의 인덱스의 이진 코드(또는 웹 컨텐트 내의 텍스트의 이진 코드)를 상관시켜서 계산된 값을 나타낸다. 키워드의 상관값이 증가할수록, 키워드와 마커(또는 웹 컨텐트) 사이의 유사도가 증가한다. 예를 들어, 매칭 유닛(115)은, 키워드에 대한 상관값에 기초하여, 검색된 웹 컨텐트 및 검색된 마커를 각각 내림차순으로 정렬하여, 검색된 웹 컨텐트 각각을 검색된 마커 각각과 순서대로 매칭할 수 있다. 매칭 유닛(115)은 사전 결정된 템플릿(template)을 사용하여 매칭된 웹 컨텐트 및 마커를 포함하는 문서를 생성한다. 예를 들어, 하이퍼텍스트 마크업 언어 문서(hypertext mark-up language document)가 있다. 당업자라면, 예를 들어, 하이퍼텍스트 마크업 언어(HTML: hypertext markup language), 표준 일반화된 마크업 언어(SGML: standard generalized markup language), 확장 가능한 마크업 언어(XML: extensible markup language) 등과 같은 다양한 마크업 언어를 사용하여 문서를 생성할 것이다.
출력 유닛(116)은 매칭 유닛(115)으로부터 검색된 웹 컨텐트 및 마커를 포함하는 문서를 수신하고, 그 문서를 클라이언트 시스템(200)에 전송한다. 만약 다수의 웹 컨텐트 및 마커가 검색되었다면, 출력 유닛(116)은, 검색된 웹 컨텐트 및 마커를 포함하는 문서의 리스트를 생성하고, 그 리스트를 클라이언트 시스템(200)에 전송할 수 있다.
마커 입력 유닛(117)은, 외부, 예를 들어 AR 서비스 서버(300)로부터 마커 및 인덱스를 수신하고, 수신된 마커와 인덱스를 마커 DB(114)에 전송한다. 일 실시예에서, 마커 입력 유닛(117)은, 마커 및 인덱스의 입력이 승인된 것인지를 확인할 수 있다. 예를 들어, 마커 입력 유닛(117)은, 사용자 또는 외부 장치가 마커 및 인덱스의 입력 전에 사용자의 ID 또는 패스워드를 입력하도록 요청할 수 있으며, 그 후, 승인된 사용자 또는 외부 장치가 마커 입력 유닛(117)에 마커 및 인덱스를 입력하도록 할 수 있다. 마커 입력 유닛(117)은, 사용자 또는 외부 장치가 마커 및 그 인덱스를 입력할 수 있는 사용자 인터페이스를 포함하는 웹 페이지를 사용자 또는 외부 장치에 제공할 수 있다. 상술한 것처럼, 일부 실시예에서, 마커 입력 유닛(177)은 외부 서버에 구현될 수 있으며, 사용자로부터 마커 및 인덱스를 수신하여 마커 DB(114)에 전송할 수 있다.
상술한 것처럼, 검색 시스템(100)은, 검색 요청에 포함된 키워드에 응답하여, 웹 컨텐트 및 마커를 함께 제공할 수 있다. 또한, 일부 실시예에서, 검색 시스템(100)은, 예를 들어, 마커 입력 유닛(117)을 통하여 외부로부터 마커를 계속적으로 수신하고 저장할 수 있으며, 이에 따라 추가적인 마커 검색을 위해 수집된 마커를 사용할 수 있다.
도 3은, 도 2에 도시된 마커 DB에 저장된 마커의 예시적인 실시예의 개략적인 도면이다. 마커 DB(114)는 마커(114-1, 114-2, 114-3 및 114-4)와 그 대응하는 인덱스를 저장한다. 상술한 대로, 마커의 "인덱스"라는 용어는, 마커의 VR 데이터를 기술하는 하나 이상의 항목을 나타낸다. 또한, 인덱스는 VR 데이터를 기술하는 상위 개념의 항목 또는 하위 개념의 항목을 포함할 수 있다. 이와 같은 상위 개념 또는 하위 개념 항목은 내림차순(상위 개념에서 하위 개념으로) 또는 오름차순(하위 개념에서 상위 개념으로)으로 나열될 수 있다. 예를 들어, "스포츠(SPORTS)"라는 용어에 대해서는, 그 하위 개념 용어는 "축구(SOCCER)", "월드컵(World Cup)" 등이다. 여기서, 용어 "월드컵"은 "축구"의 하위 개념이다. 유사하게, "자동차(CAR)", "지프(JEEP)", 또는 "엔진(ENGINE)"과 같은 인덱스가 순차적으로 저장될 수 있다. 검색 엔진(112)은, 마커 DB(114)에 저장된 마커의 인덱스를 사용하여, 사용자에 의해 입력된 키워드에 관련된 마커를 검색할 수 있다. 도 4는, 도 1b에 도시된 AR 서비스 서버 및 AR 사용자 장치의 예시적인 실시예의 개략적인 도면이다. 일 실시예에서, AR 사용자 장치(400)는, 카메라(410), 이미지 처리기(420), 마커 센서(430), 마커 분석기(440), 마커 데이터 송신기(450), VR 데이터 수신기(460), AR 데이터 생성기(470), 및 디스플레이 유닛(480)을 포함할 수 있다. 다른 실시예에서, 카메라(410), 이미지 처리기(420), 마커 분석기(440), 및 디스플레이 유닛(480) 중 하나 이상은 선택적으로 생략될 수 있다. 예를 들어, 카메라(410), 이미지 처리기(420), 마커 분석기(440), 및 디스플레이 유닛(480) 중 하나 이상은 외부 장치에 구현될 수 있으며, 그 동작은 원격으로 수행될 수 있다.
카메라(410)는 마커를 포함하는 실세계 이미지를 캡쳐한다. 도 4는, AR 사용자 장치(400)가 카메라(410)를 포함하는 것으로 도시하지만, 카메라(410)는 AR 사용자 장치(400)와 동작하도록 연결된 외부 장치에 설치될 수 있음이 당업자에게 명백하다.
이미지 처리기(420)는 카메라(410)에 의해 캡쳐된 실세계 이미지를, 예를 들어, JPEG, TIFF, GIF, BMP 파일 포맷 등과 같은 디지털 이미지 데이터로 변환한다. 일 실시예에서, 이미지 처리기(420)는 축적된 다중 디지털 이미지 데이터를, 예를 들어, AVI, FLV, MPEG, WMV 파일 포맷과 같은 비디오 데이터로 변환할 수 있다. 다른 실시예에서, 이미지 처리기(420)는 외부 장치에 카메라(410)와 함께 설치될 수 있다.
마커 센서(430)는 이미지 처리기(420)로부터 디지털 이미지를 수신하고, 디지털 이미지 데이터로부터 마커를 감지 및 추출한다. 예를 들어, 마커가 검정색 사각 바코드와 같은 특정 패턴의 이미지를 갖는다면, 마커 센서(430)는, 디지털 이미지로부터 마커의 모퉁이와 픽셀을 감지함으로써 마커를 감지하고 마커를 추출할 수 있다. 예를 들어, 검정색 사각 바코드 유형의 마커를 감지하고 추출하는 데는, 해리스 모퉁이 감지 알고리즘(Harris corner detection algorithm)과 같은 모퉁이 감지 알고리즘 및 연속적인 검은색 픽셀 감지 알고리즘이 사용될 수 있다.
마커 분석기(440)는 마커 센서(430)로부터 추출된 마커를 수신하고, 추출된 마커를 분석하여 마커 데이터를 생성한다. 여기서, "마커 데이터"는, 마커 그 자체와 마커 데이터 중의 적어도 하나를 포함하는 데이터를 나타낸다. 일 실시예에서, 마커 분석기(440)는, 마커의 분석 결과로서 마커 메타데이터를 생성할 수 있다. 본 개시에서 사용되는 "마커 메타데이터"라는 용어는, 마커의 속성(예를 들어, 마커 식별자(ID), AR 서비스 서버 주소, 카테고리, 버전, 검색 시스템 주소 등)을 기술하는 요약 데이터를 나타낸다. 마커 메타데이터의 구성은 이하에서 도 6을 참조하여 상세히 설명될 것이다. 다른 실시예에서, 마커 데이터는 마커 그 자체일 수 있다. 이 경우, 마커 분석기(440)는 선택적으로 생략될 수 있으며, 마커 그 자체가 마커 데이터로 사용될 수 있다.
마커 데이터 송신기(450)는, 생성된 마커 데이터를 마커 분석기(440)로부터 수신하고, 그 마커 데이터를 AR 서비스 서버(300)에 전송한다. 만약 마커 데이터가 마커 그 자체인 경우에는, 마커 데이터 송신기(450)가 직접 마커 데이터(즉, 마커 그 자체)를 마커 센서(430)로부터 수신할 수 있다. 상술한 대로, 마커 데이터는 마커 그 자체일 수 있거나, 마커 메타데이터의 적어도 일부를 포함할 수 있다. 마커 데이터 송신기(450)는, 유선 또는 무선 통신 네트워크를 통해 AR 서비스 서버(300)로 마커 데이터를 전송한다. AR 사용자 장치(400)가 휴대용 장치인 경우, 마커 데이터는 마커 데이터 송신기(450)로부터 AR 서비스 서버(300)로 무선 통신 네트워크를 통해 전송될 수 있다. 이 경우, CDMA(code division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), 3GPP, 3GPP2, 또는 Mobile Wimax과 같은, 다양한 무선 통신 기술이 사용될 수 있다.
AR 서비스 서버(300)가 마커 데이터 송신기(450)로부터 마커 데이터를 수신하고, 마커 데이터에 대응하는 VR 데이터를 검색한 후에, 유선 또는 무선 통신 네트워크를 통해, 마커 데이터에 대응하는 VR 데이터를 VR 데이터 수신기(460)에 전송한다. VR 데이터는, 마커 데이터에 대응하는 이미지, 비디오 또는 3D 객체를 포함할 수 있다. 특히, AR 서비스 서버(300)는, 마커 데이터 각각에 대응하는 VR 데이터를 저장하고, AR 사용자 장치(400)의 마커 데이터 송신기(450)로부터 전송된 마커 데이터에 응답하여 VR 데이터를 검색 및 전송할 수 있다. 일 실시예에서, VR 데이터는 사용자 요청에 응답하여 상호작용에 의해 변경될 수 있다. 예를 들어, VR 데이터는, 사용자 요청에 응답하여, 회전 이미지, 비디오 또는 3D 객체를 더 제공하도록 구현될 수 있다.
AR 데이터 생성기(470)는, VR 데이터 수신기(460)로부터 VR 데이터를 수신하고, 캡쳐된 디지털 이미지 상에 수신된 VR 데이터를 오버레이함으로써 AR 데이터를 생성한다. 일 실시예에서, AR 데이터 생성기(470)는, 다수의 이미지를 사용하여 비디오 데이터를 생성하고, 비디오 데이터 상에 VR 데이터를 오버레이함으로써 AR 데이터를 생성할 수 있다.
디스플레이 유닛(480)은 생성된 AR 데이터를 디스플레이한다. 디스플레이 유닛(480)은, 도 1b에 도시된 바와 같이, 사용자에게 검색된 웹 컨텐트와 VR 데이터의 이미지를 제공할 수 있다. 일 실시예에서, 디스플레이 유닛(480)은 선택적으로 생략되거나, PC 모니터, 텔레비전, 또는 프로젝터와 같은 외부 장치에 구현될 수 있다. 이 경우, 외부 장치는 유선 또는 무선 통신 네트워크를 통해 AR 데이터 생성기(470)와 동작하도록 연결될 수 있다.
일 실시예에서, AR 서비스 서버(300)는 마커 데이터 수신기(310), VR 데이터 검색기(320), VR 데이터 DB(330), 및 VR 데이터 송신기(340)를 포함할 수 있다. 다른 실시예에서, AR 서비스 서버(300)는, VR 데이터 생성기(350) 및/또는 마커 생성기(360)를 선택적으로 더 포함할 수 있다.
마커 데이터 수신기(310)는, 무선 또는 유선 통신 네트워크를 통하여 AR 사용자 장치(400)(예를 들어, 마커 데이터 송신기(450))로부터 전송된 마커 데이터를 수신한다. 상술한 것과 같이, 마커 데이터는 마커 그 자체이거나 마커 메타데이터의 적어도 일부를 포함할 수 있다.
VR 데이터 검색기(320)는 마커 데이터 수신기(310)로부터 마커 데이터를 수신하고, VR 데이터 DB(330)로부터 수신된 마커 데이터에 대응하는 VR 데이터를 검색한다. 일 실시예에서, VR 데이터 검색기(320)는, 마커 데이터에 대응하는 VR 데이터를 검색하기 위해 마커 식별자(ID)를 사용할 수 있다. VR 데이터 검색기(320)는, 마커 데이터가 마커 그 자체일 때, 마커로부터 마커 ID를 추출할 수 있다. 예를 들어, VR 데이터 검색기(320)는, 마커 및 마커 ID가 상호 연관된 룩업 테이블을 사용하여 마커 ID를 추출할 수 있다. 이 경우, VR 데이터 검색기(320)는, 룩업 테이블을 포함할 수 있다. 다른 실시예에서, VR 데이터 검색기(320)는, 마커 데이터가 마커 ID가 기록된 마커 메타데이터를 포함하는 경우, 마커 메타데이터의 사전 결정된 필드로부터 마커 ID를 획득할 수 있다. 이 경우, VR 데이터 검색기(320)는, 사전 결정된 필드로부터 획득된 마커 ID를 사용하여 VR 데이터를 검색할 수 있다.
VR 데이터 송신기(340)는 VR 데이터 수신기(320)로부터 검색된 VR 데이터를 수신하고, 검색된 VR 데이터를 유선 또는 무선 통신 네트워크를 통하여 AR 사용자 장치(400)에 전송한다. AR 사용자 장치(400)가 휴대용 장치인 경우, VR 데이터는 무선 통신 네트워크를 통해 전송된다.
일 실시예에서, 상술한 바와 같이, AR 서비스 서버(400)는, VR 데이터 DB(330)에 VR 데이터와 대응하는 마커를 제공하기 위해, VR 데이터 생성기(350) 및 마커 생성기(360)를 선택적으로 더 포함할 수 있다.
VR 데이터 생성기(350)는 AR 서비스에 사용될 VR 데이터를 생성하고, 생성된 VR 데이터를 VR 데이터 DB(330)에 제공한다. VR 데이터는, 이미지, 비디오, 3D 객체 등을 포함한다. 일 실시예에서, VR 데이터 생성기(350)는, VR 데이터의 속성에 따라 적절한 편집 도구(authoring tool)(예를 들어, PhotoshopTM, FlashTM, 3D-MAXTM)를 사용하여 VR 데이터를 생성할 수 있다.
마커 생성기(360)는 VR 데이터 생성기(350)로부터 생성된 VR 데이터를 수신하고, 생성된 VR 데이터에 대응하는 마커를 생성한다. 각 마커는 마커 ID에 의해 식별될 수 있다. 일 실시예에서, 마커를 생성한 사용자는, 생성된 마커에 마커 ID를 할당할 수 있다. 다른 실시예에서, 마커 생성기(360)는, 마커 ID를 자동 생성하여, 생성된 마커 ID를 생성된 마커에 할당할 수 있다. 마커 생성기(360)는, VR 데이터에 대응하는 마커 ID를 갖는 마커를 VR 데이터 DB(330)에 전송한다. 이에 따라, VR 데이터 DB(330)는 VR 데이터와 마커 ID를 갖는 마커를 저장할 수 있다.
상술한 바와 같이, AR 사용자 장치(400)는, 카메라(410)를 사용하여 마커를 포함하는 실세계 데이터를 획득하고, 마커 데이터를 통신 네트워크를 통해 AR 서비스 서버(300)에 전송한다. AR 서비스 서버(300)는 전송된 마커 데이터에 응답하여 VR 데이터를 AR 사용자 장치(400)에 제공한다. 제공된 VR 데이터는, AR 사용자 장치(400)에 의해 AR 서비스를 제공하기 위해 사용될 것이다.
도 5는, 마커 검색 결과를 제공하기 위한 방법의 예시적인 실시예의 흐름도이다. 예시적인 실시예에서, 방법은, 검색 시스템(100), 클라이언트 시스템(200), AR 서비스 서버(300), 및 AR 사용자 장치(400)가 서로 유선 또는 무선 통신하는 네트워크에서 수행될 수 있다. AR 서비스 서버(300)는, 마커 및 그 인덱스를 검색 시스템(100)에 입력할 수 있다(510). 이 경우, AR 서비스 서버(300)는 마커 및 그 인덱스를 사용자 또는 외부 장치로부터 마커 입력 유닛(117)을 통해 수신하고, 마커 및 그 인덱스를 마커 DB(114)에 저장할 수 있다(도 2 및 도 3 참조). 마커 입력 유닛(117)이 외부 장치에 구현되는 다른 실시예에서, 사용자는, 마커 입력 유닛(117)에 의해 제공되는 웹 페이지를 사용하여, 마커 및 그 인덱스를 검색 시스템(100)에 입력할 수 있다.
클라이언트 시스템(200)은, 마커를 검색하기 위해 검색 시스템(100)에 키워드를 전송할 수 있다(510). 클라이언트 시스템(200)은, 키워드 입력 유닛, 디스플레이 유닛, 및 통신 유닛을 포함하는 장치로서 구현될 수 있다. 예를 들어, PC, PDA(개인 디지털 장치), 이동 전화, 스마트폰 또는 키오스크가, 제한 없이, 클라이언트 시스템(200)으로서 구현될 수 있다.
키워드를 수신한 검색 시스템(100)은, 키워드에 각각 대응하는 웹 컨텐트 및 마커를 검색하고, 검색된 웹 컨텐트 및 마커를 클라이언트 시스템(200)에 전송한다(530). 전송된 검색된 웹 컨텐트 및 마커는, 클라이언트 시스템(200)의 디스플레이 유닛을 통해 사용자에게 디스플레이될 수 있다. 클라이언트 시스템(200)의 디스플레이 유닛은, 그 스크린 상에, 웹 브라우저를 통해 검색되는 검색된 웹 컨텐트 및 대응하는 마커를 나타내는 하이퍼링크를 나열할 수 있다. 이에 따라, 사용자는 하이퍼링크로부터 원하는 웹 컨텐트를 선택할 수 있다. 이 경우, 선택된 웹 컨텐트는, 그 대응하는 마커와 함께 디스플레이될 것이다.
AR 사용자 장치(400)는, 웹 컨텐트 및 마커를 디스플레이하는 스크린 이미지를 캡쳐할 수 있다. 상술한 대로, AR 사용자 장치(400)는, 외부 장치에 설치된 카메라를 이용하여 웹 컨텐트 및 마커를 디스플레이하는 이미지를 캡쳐할 수 있다. AR 사용자 장치(400)는, 디스플레이된 웹 컨텐트의 캡쳐된 이미지 상에 마커를 감지하고, 감지된 마커를 분석하여 마커 데이터를 생성한다. 일 실시예에서, 마커 데이터는 마커 이미지 그 자체일 수 있다. 다른 실시예에서, 마커 데이터는, 마커로부터 획득될 수 있는 마커 메타데이터의 적어도 일부를 포함할 수 있다. 이 경우, AR 사용자 장치(400)(예를 들어, 마커 분석기(440))는, 마커를 분석하여 마커로부터 마커 메타데이터를 획득할 수 있다. AR 사용자 장치(400)는, 통신 유닛을 사용하여 유선 또는 무선 통신 네트워크를 통해, AR 서비스 서버(300)로 생성된 마커 데이터를 전송할 수 있다(540).
AR 서비스 서버(300)는, VR 데이터 DB(330)로부터 전송된 마커 데이터를 사용하여 마커 데이터에 대응하는 VR 데이터를 검색한다(도 4 참조). 대응하는 VR 데이터가 있는 경우, AR 서비스 서버(300)는, 유선 또는 무선 통신 네트워크를 통해 AR 사용자 장치(400)로 검색된 VR 데이터를 전송한다(550).
AR 사용자 장치(400)는, 클라이언트 시스템(200)의 캡쳐된 스크린 이미지 상에 VR 데이터를 오버레이하여 AR 데이터를 생성하고, AR 데이터를 디스플레이한다(560).
도 6은, 도 1b에 도시된 마커의 마커 메타데이터의 예시적인 실시예를 도시한다. 상술한 대로, "마커 메타데이터"는, 마커의 속성을 기술하는 요약 데이터를 나타낸다. 일 실시예에서, 마커(201')의 마커 메타데이터는, 서버 주소 필드(201A), 마커 ID 필드(201B), 카테고리 필드(201C), 버전 필드(201D), 및/또는 검색 시스템 주소 필드(201E)를 포함할 수 있다. 마커 메타데이터는, AR 사용자 장치(400)의 마커 분석기(440)에 의해 획득될 수 있다.
서버 주소 필드(201A)는, AR 사용자 장치(400)가 마커 데이터를 전송하는 AR 서비스 서버(300)의 주소 정보를 저장할 수 있다. 예를 들어, 주소 정보는, 마커 데이터가 전송되는 AR 서비스 서버(300)의 URL(Universal Resource Locator) 또는 IP 주소일 수 있다. AR 사용자 장치(400)는, AR 서비스 서버(300)의 주소 정보를 이용하여 VR 데이터를 제공하는 서버의 주소를 식별할 수 있다. AR 서비스 서버(300)의 주소가 사전 설정되면, 서버 주소 필드(201A)가 생략될 수 있다.
마커 ID 필드(201B)는 마커(201')에 할당된 ID를 저장할 수 있다. 마커 ID는 일련의 숫자, 문자 또는 이들의 조합으로 구성될 수 있으나, 이에 제한되지 않는다. 마커 ID는, AR 서비스 서버(300)에 의해 수신된 마커(201')에 대응하는 VR 데이터를 검색하는데 사용된다. AR 사용자 장치(400)가 마커 데이터로써 마커(201') 그 자체를 전송하면, 마커 ID 필드(201B)는 선택적으로 생략될 수 있다.
카테고리 필드(201C)는, 마커(201')가 속한 카테고리를 저장할 수 있다. AR 서비스 서버(300)가 많은 VR 데이터를 저장하면, 카테고리 필드(201C)에 저장된 정보가 사용되어 VR 데이터의 검색 범위를 감소시킬 수 있다. AR 서비스 서버(300)는, 카테고리 필드(201C)에 저장된 카테고리 정보를 이용하여 VR 데이터를 효율적으로 검색할 수 있다. AR 서비스 서버(300)이 VR 데이터를 검색하는데 카테고리를 사용하지 않으면, 카테고리 필드(201C)는 선택적으로 생략될 수 있다.
버전 필드(201D)는 마커(201')의 버전 정보를 저장할 수 있다. 버전 정보는, 버전 수, 마커(201')가 생성된 날짜 등을 포함할 수 있다. 예를 들어, 더 높은 버전 수는, 좀 더 최근에 개발된 VR 데이터에 대응하는 마커를 나타낼 수 있다. AR 서비스 서버(300)는, 전송된 메타데이터의 버전 정보에 따라 검색 시스템(300)이 가장 최근의 VR 데이터에 대응하는 마커를 갖는지 여부를 결정할 수 있다. AR 서비스 서버(300)가 마커(201')의 버전을 확인하지 않으면, 버전 필드(201D)는 선택적으로 생략될 수 있다.
검색 시스템 주소 필드(201E)는, 마커(201')가 저장된 검색 시스템의 주소를 저장할 수 있다. 검색 시스템 주소 필드(201E)는, 마커(201')를 검색한 검색 시스템(예를 들어, 검색 시스템(100))의 IP 주소 또는 URL(Universal Resource Locator)을 저장할 수 있다. 따라서, AR 서비스 서버(300)는, 어떤 검색 시스템이 전송된 마커 데이터를 검색했는지를 추적 기록(track)할 수 있다. AR 서비스 서버(300)가 전송된 마커 데이터를 검색한 검색 시스템을 추적 기록하지 않는다면, 검색 시스템 주소 필드(201E)는 선택적으로 생략될 수 있다.
도 7은, AR 서비스를 제공하기 위한 방법의 다른 예시적인 실시예의 개략적인 도면이다. 도 7은, 다수의 AR 서비스 서버(701, 702, 및 703) 및 게이트웨이(720)를 포함하는 AR 서비스 서버 풀(700)을 도시한다. 게이트웨이(720)는 AR 사용자 장치(400)를 AR 서비스 서버 풀(700)에 상호 연결한다. AR 서비스 서버(701, 702 및 703)는, AR 서비스 서버(300)와 같은 방식으로 동작하도록 구성된다.
도 7에 도시된 AR 서비스는, AR 사용자 장치(400')가 마커를 분석하지 않고 그 마커를 사전 결정된 게이트웨이(720)에 전송한다는 점에서, 상술한 AR 서비스와 다르다. 게이트웨이(720)는, 마커 분석기(722) 및 서버 선택기(724)를 포함한다. 마커 분석기(722)는, 마커를 분석함으로써 도 6에 도시된 것과 같은 마커로부터 메타데이터를 추출한다. 구체적으로, 마커 분석기(722)는, 서버 주소 필드(예를 들어, 도 6의 201A)로부터 AR 서비스 서버(701, 702, 및 703) 중의 어느 하나의 주소를 추출하고, 추출된 주소를 서버 선택기(724)에 전송한다.
서버 선택기(724)는, 추출된 주소에 기초하여 AR 서비스 서버(701, 702, 및 703) 중의 어느 하나를 선택하고, 마커를 선택된 AR 서비스 서버로 전송할 수 있다. 이에 따라, 게이트웨이(720)는 마커를 선택된 AR 서비스 서버로 전송하고, 선택된 AR 서비스 서버로부터 전송된 마커에 대응하는 VR 데이터를 수신할 수 있다. 게이트웨이(720)를 통해 전송되는 마커에 대응하는 VR 데이터는, 다시 게이트웨이(720)를 통해 AR 사용자 장치(400')에 전송된다.
도 4에 도시된 실시예와 비교하면, 마커 분석기(440)는 AR 사용자 장치(400')에서 선택적으로 생략될 수 있다. 즉, AR 사용자 장치(400')는, 사전 결정된 주소를 갖는 게이트웨이(720)에 마커를 전송한다. 따라서, 도 7에 도시된 실시예에 따르면, 도 4에 도시된 마커 분석기(440)가 선택적으로 생략될 수 있기 때문에, AR 사용자 장치(400')의 구성이 단순해질 수 있다.
당업자는 여기서 개시된 본 프로세스 및 방법 및 다른 프로세스 및 방법에 있어서, 그 프로세스 및 방법에서 수행되는 기능이 다른 순서로 구현될 수 있음을 이해할 것이다. 또한, 개략 설명된 단계 및 동작은 예로서만 제공된 것이며, 여기서 개시된 실시예의 필수 특징으로부터 벗어나지 않는 범위에서, 일부 단계 및 동작은 선택적이며, 더 적은 수의 단계 및 동작으로 조합될 수 있거나 추가의 단계 및 동작으로 확장될 수 있다.
본 개시는 본 출원에서 기재된 특정 실시예로 제한되는 것은 아니며, 다양한 양상들의 예시로서 의도된 것이다. 당업자에게 명확하게 이해되는 바와 같이, 본 개시의 사상과 범위를 벗어나지 않으면서 다수의 변경 및 수정이 행해질 수 있다. 앞서 기술된 내용으로부터, 본 개시에 나열된 것에 추가하여, 본 개시의 범위 내에서 기능적으로 균등한 방법 및 장치들이 당업자에게 명확해질 것이다. 그러한 수정 및 변경은, 첨부되는 청구범위의 범위 내에 속하는 것을 의도한 것이다. 본 개시는 첨부된 청구범위와 그 청구범위가 속하는 균등물의 모든 범위에 의해서만 제한될 것이다. 본 개시는, 특정 방법, 시약, 화합물, 조합물 또는 생물학적 시스템에 제한되지 않으며, 물론 변경이 가능하다는 점을 이해할 것이다. 또한, 본 개시에 사용된 용어는, 특정 실시예를 설명하기 위한 목적으로 제공된 것이며, 제한을 의도한 것이 아니다.
예시적 실시예에서, 본 개시에 기재된 동작, 프로세스 등의 어떤 것도 컴퓨터 판독가능 매체에 저장된 컴퓨터 판독가능 명령어로 구현될 수 있다. 컴퓨터 판독가능 명령어는, 모바일 장치의 프로세서, 네트워크 구성요소 및/또는 다른 어떤 컴퓨팅 장치에 의해 실행될 수 있다.
시스템의 양상들의 하드웨어 및 소프트웨어 구현 사이에는 구별이 거의 없다. 하드웨어 또는 소프트웨어의 사용은 일반적으로 (그러나 어떤 문맥에서 하드웨어 및 소프트웨어 사이의 선택이 중요할 수 있다는 점에서 항상 그런 것은 아니지만) 비용 대비 효율의 트레이드오프(tradeoff)를 나타내는 설계상 선택(design choice)이다. 본 개시에서 기재된 프로세스 및/또는 시스템 및/또는 다른 기술들이 영향 받을 수 있는 다양한 수단(vehicles)(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 문맥(context)에 따라 변경될 것이다. 예를 들어, 구현자가 속도 및 정확성이 가장 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수 있으며, 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있다. 다른 대안으로서, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떤 결합을 선택할 수 있다.
상술한 상세한 설명은, 블록도, 흐름도, 및/또는 예를 사용하여 장치 및/또는 프로세스의 다양한 실시예를 제시하였다. 그러한 블록도, 흐름도, 및/또는 예들이 하나 이상의 기능 및/또는 동작을 포함하는 범위 내에서, 당업자는 그러한 블록도, 흐름도, 또는 예들 내의 각 기능 및/또는 동작이 개별적으로 및/또는 집합적으로 광범위한 하드웨어, 소프트웨어, 펌웨어 또는 실질적으로 이들의 어떠한 조합에 의해서도 구현될 수 있음을 이해할 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 그러나, 당업자라면, 본 개시의 실시예의 일부 양상은, 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 실질적으로 이들의 어떠한 조합으로써도, 전체적으로 또는 부분적으로 균등하게 집적 회로에 구현될 수 있다는 알 수 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자에게 자명할 것이다. 또한, 당업자라면, 본 개시의 대상의 수단(mechanism)들이 다양한 형태의 프로그램 제품으로 분포될 수 있음을 이해할 것이며, 본 개시의 예시적 실시예는, 분배를 실제로 수행하는데 사용되는 신호 포함 매체(signal bearing medium)의 특정 유형과 무관하게 적용됨을 이해할 것이다. 신호 포함 매체의 예는, 플로피 디스크, 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 컴퓨터 메모리 등과 같은 판독가능 유형의 매체, 디지털 및/또는 아날로그 통신 매체(예를 들어, 섬유 광학 케이블, 웨이브가이드, 유선 통신 링크, 무선 통신 링크 등)와 같은 전송 유형 매체를 포함할 수 있으나, 이에 제한되지는 않는다.
당업자는, 본 개시에 제시된 방식으로 장치 및/또는 프로세스를 기술하고, 그 후에 엔지니어링 기술을 사용해서 기술된 장치 및/또는 프로세서를 데이터 처리 시스템에 통합하는 것이 해당 기술 분야에서 일반적이라는 것을 인식할 것이다. 즉, 본 개시에 기술된 장치 및/또는 프로세스의 적어도 일부는 적절한 양의 실험을 통해 데이터 처리 시스템에 통합될 수 있다. 당업자는, 전형적인 데이터 처리 시스템은 일반적으로, 비디오 디스플레이 장치, 휘발성 및 비휘발성 메모리와 같은 메모리, 마이크로프로세서 및 디지털 신호 프로세서와 같은 프로세서, 운영 체제, 드라이버, 그래픽 사용자 인터페이스 및 응용 프로그램과 같은 계산 개체, 터치패드 또는 스크린과 같은 하나 이상의 상호작용 장치, 및/또는 피드백 루프 및 제어 모터(예를 들어, 위치 및/또는 속도를 감지하기 위한 피드백, 구성요소 및/또는 수량을 동작 및/또는 조정하기 위한 제어 모터)를 포함하는 제어 시스템을 포함하는 하나 이상의 시스템 장치를 포함한다는 것을 인식할 것이다. 전형적인 데이터 처리 시스템은, 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템에서 일반적으로 발견되는 것과 같은 적절한 상업적으로 사용 가능한 구성요소들을 사용하여 구현될 수 있다.
본 개시에 기술된 대상들은 종종 서로 다른 구성요소 내에 포함되거나 그와 연결된 서로 다른 구성요소들을 예시한다. 이와 같이 도시된 구조들은 단순한 예들이며, 실제로 다수의 다른 구성들이 동일한 기능을 달성하기 위해 구현될 수 있음을 이해해야 한다. 개념적인 의미에서, 동일한 기능을 달성하기 위한 구성요소들의 임의의 배열은 요구되는 기능이 달성되도록 효율적으로 "연관(associated)"되어 있다. 따라서, 특정 기능을 달성하기 위해 본 개시에서 결합된 임의의 두 개의 구성요소는, 구조나 중간적인 구성요소와 무관하게, 요구되는 기능을 달성하기 위해 상호 "연관"된 것으로 볼 수 있다. 마찬가지로, 이와 같이 연관된 임의의 두 개의 구성요소는, 요구되는 기능을 달성하기 위해 상호 "동작적으로 연결(operably connected)", 또는 "동작적으로 연결(operably coupled)"된 것으로 볼 수 있으며, 이와 같이 연관될 수 있는 임의의 두 개의 구성요소는, 요구되는 기능을 달성하기 위해 상호 "동작적으로 연결될 수 있는(operably couplable)" 것으로 볼 수 있다. 동작적으로 연결될 수 있는 특정 예는, 물리적으로 짝지어질 수 있는 것 및/또는 물리적으로 상호작용할 수 있는 구성요소 및/또는 무선으로 상호작용할 수 있는 것 및/또는 무선으로 상호작용할 수 있는 구성요소 및/또는 논리적으로 상호작용할 수 있는 것 및/또는 논리적으로 상호작용할 수 있는 구성요소를 포함하지만, 이에 제한되지 않는다.
본 개시의 실질적으로 어떠한 복수 및/또는 단수 용어들의 사용에 관해서, 당업자라면 문맥 및/또는 응용에 적합하도록 복수를 단수로 해석하거나 단수를 복수로 해석할 수 있다. 다양한 단수/복수 조합은 명확성을 위해 본 개시에 명시적으로 기재될 수 있다.
당업자라면, 일반적으로 본 개시에 사용되며 특히 첨부된 청구범위(예를 들어, 첨부된 청구범위)에 사용된 용어들이 일반적으로 개방적(open) 용어(예를 들어, 용어 "포함하는"은 "포함하지만 이에 제한되지 않는"으로, 용어 "갖는"는 "적어도 갖는"으로, 용어 "포함하다"는 "포함하지만 이에 한정되지 않는" 등으로 해석되어야 함)로 의도되었음을 이해할 것이다. 당업자라면, 도입된 청구항의 기재사항의 특정 수가 의도된 경우, 그러한 의도가 청구항에 명시적으로 기재될 것이며, 그러한 기재사항이 없는 경우, 그러한 의도가 없음을 또한 이해할 것이다. 예를 들어, 이해를 돕기 위해, 이하의 첨부 청구범위는 "적어도 하나" 및 "하나 이상" 등의 도입 구절의 사용을 포함하여 청구항 기재사항을 도입할 수 있다. 그러나, 그러한 구절의 사용이, 부정관사 "하나"("a" 또는 "an")에 의한 청구항 기재사항의 도입이, 그러한 하나의 기재사항을 포함하는 대상으로, 그러한 도입된 청구항 기재사항을 포함하는 특정 청구항을 제한함을 암시하는 것으로 해석되어서는 안되며, 동일한 청구항이 도입 구절인 "하나 이상" 또는 "적어도 하나" 및 "하나"("a" 또는 "an")과 같은 부정관사(예를 들어, "하나"는 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 일반적으로 해석되어야 함)를 포함하는 경우에도 마찬가지로 해석되어야 한다. 이는 청구항 기재사항을 도입하기 위해 사용된 정관사의 경우에도 적용된다. 또한, 도입된 청구항 기재사항의 특정 수가 명시적으로 기재되는 경우에도, 당업자라면 그러한 기재가 일반적으로 적어도 기재된 수(예를 들어, 다른 수식어가 없는 "두 개의 기재"를 단순히 기재한 것은, 일반적으로 적어도 두 개의 기재사항 또는 두 개 이상의 기재사항을 의미함)를 의미하도록 해석되어야 함을 이해할 것이다. 또한, "A, B 및 C 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 또는 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). "A, B 또는 C 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 및 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). 또한 당업자라면, 실질적으로 어떠한 이접 접속어(disjunctive word) 및/또는 두 개 이상의 대안적인 용어들을 나타내는 구절은, 그것이 상세한 설명, 청구범위 또는 도면에 있는 지와 상관없이, 그 용어들 중의 하나, 그 용어들 중의 어느 하나, 또는 그 용어들 두 개 모두를 포함하는 가능성을 고려했음을 이해할 것이다. 예를 들어, "A 또는 B"라는 구절은 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.
또한, 본 개시의 특징 또는 양상이 마쿠쉬 그룹(Markush group)으로 기술된 경우, 당업자는, 본 개시가 또한 마쿠쉬 그룹의 개별 구성요소 또는 부분집합으로 기술될 수 있음을 인식할 것이다.
당업자가 이해하는 바와 같이, 서면의 기재를 제공하는 것과 같은 어떠한 그리고 모든 목적을 위해서, 본 개시에 기재된 모든 범위는 모든 어떠한 가능한 하위범위 및 그 하위범위의 결합을 또한 포괄한다. 임의의 나열된 범위는, 그 동일한 범위가 적어도 동일한 이분 범위, 삼분 범위, 사분 범위, 오분 범위, 십분 범위 등으로 분할될 수 있으며, 그러한 동일 범위를 충분히 기술하는 것으로 용이하게 인식될 수 있다. 제한되지 않은 예로서, 본 개시에 기재된 각 범위는, 하위 삼분, 중간 삼분, 상위 삼분 등으로 용이하게 분할될 수 있다. 또한 당업자가 이해하는 바와 같이, "까지(up to"), "적어도(at least)" 등과 같은 모든 언어는 인용된 수를 포함하며, 상술한 바와 같은 하위 범위로 분할될 수 있는 범위들을 나타낸다. 마지막으로, 당업자가 이해하는 바와 같이, 범위는 각 개별 구성요소를 포함한다. 따라서, 예를 들어, 1-3셀을 갖는 그룹은, 1 셀, 2 셀 또는 3 셀을 갖는 그룹을 나타낸다. 마찬가지로, 1-5셀을 갖는 그룹은, 1 셀, 2 셀, 3 셀, 4 셀 또는 5 셀 등을 갖는 그룹을 나타낸다.
상기한 내용으로부터, 본 개시의 다양한 실시예는 예시를 위해 기재된 것이며, 본 개시의 사상 및 범위를 벗어나지 않으면서 다양한 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 본 개시에 기재된 다양한 실시예는 제한을 의도한 것이 아니며, 그 진정한 사상 및 범위는 이하 청구범위에 의해 나타난다.

Claims (20)

  1. 사용자의 입력에 응답하여 웹 컨텐트 및 마커를 검색하도록 구성되는 검색 엔진;
    상기 검색된 마커를 상기 검색된 웹 컨텐트와 매칭하도록 구성되는 매칭 유닛; 및
    상기 검색된 웹 컨텐트 및 상기 검색된 마커를 포함하는 문서를 상기 사용자에게 전송하도록 구성되는 출력 유닛
    을 포함하는 시스템.
  2. 제1항에 있어서,
    다수의 웹 컨텐트를 저장하도록 구성되는 웹 컨텐트 데이터베이스; 및
    다수의 마커를 저장하도록 구성되는 마커 데이터베이스
    를 더 포함하고,
    상기 검색 엔진은, 상기 사용자의 상기 입력에 응답하여, 상기 웹 컨텐트 및 상기 마커를 검색하기 위해 상기 웹 컨텐트 데이터베이스 및 상기 마커 데이터베이스를 액세스하는, 시스템.
  3. 제2항에 있어서,
    외부 장치로부터 마커 및 대응하는 인덱스를 수신하고, 상기 수신된 마커 및 상기 인덱스를 상기 마커 데이터베이스에 전송하도록 구성되는 마커 입력 유닛
    을 더 포함하는 시스템.
  4. 제3항에 있어서,
    상기 마커 입력 유닛은, 상기 외부 장치로부터 상기 마커 및 상기 인덱스를 수신하도록 구성되는 사용자 인터페이스를 포함하는, 시스템.
  5. 제3항에 있어서,
    상기 마커의 상기 인덱스는, 가상 현실(VR) 데이터를 기술하는 상위 개념 항목 또는 하위 개념 항목을 포함하는, 시스템.
  6. 제1항에 있어서,
    상기 문서는, 상기 검색된 웹 컨텐트 및 상기 검색된 마커를 포함하는 웹 페이지인, 시스템.
  7. 증강 현실(AR) 사용자 장치와 통신하는 AR 서비스 서버에 있어서,
    상기 AR 사용자 장치로부터 마커 데이터를 수신하도록 구성되는 마커 데이터 수신기;
    가상 현실(VR) 데이터를 저장하도록 구성되는 VR 데이터 데이터베이스;
    상기 마커 데이터 수신기로부터 상기 마커 데이터를 수신하고, 상기 수신된 마커 데이터에 대응하는 VR 데이터를 검색하기 위해 상기 VR 데이터 데이터베이스를 액세스하도록 구성되는 VR 데이터 검색기; 및
    상기 검색된 VR 데이터를 상기 AR 사용자 장치에 전송하도록 구성되는 VR 데이터 송신기
    를 포함하는 AR 서비스 서버.
  8. 제7항에 있어서,
    상기 마커 데이터는 상기 마커의 식별자(ID)를 포함하며, 상기 VR 데이터 검색기는, 상기 마커의 상기 ID를 이용하여, 상기 수신된 마커 데이터에 대응하는 상기 VR 데이터를 검색하도록 더 구성되는, AR 서비스 서버.
  9. 제7항에 있어서,
    상기 VR 데이터를 생성하고, 상기 생성된 VR 데이터를 상기 VR 데이터 데이터베이스에 제공하도록 구성되는 VR 데이터 생성기; 및
    상기 생성된 VR 데이터에 대응하는 상기 마커를 생성하고, 상기 생성된 마커를 상기 VR 데이터 데이터베이스에 제공하도록 구성되는 마커 생성기
    를 더 포함하는 AR 서비스 서버.
  10. 증강 현실(AR) 서비스 서버와 통신하는 AR 사용자 장치에 있어서,
    카메라에 의해 캡쳐된 실세계 이미지로부터 마커를 감지 및 추출하도록 구성되는 마커 센서;
    상기 마커의 마커 데이터를 상기 AR 서비스 서버에 전송하도록 구성되는 마커 데이터 송신기;
    상기 AR 서비스 서버로부터 상기 마커 데이터에 대응하는 가상 현실(VR) 데이터를 수신하도록 구성되는 VR 데이터 수신기; 및
    상기 수신된 VR 데이터 및 상기 실세계 이미지를 이용하여 AR 데이터를 생성하도록 구성되는 AR 데이터 생성기
    를 포함하는 AR 사용자 장치.
  11. 제10항에 있어서,
    상기 실세계 이미지는 웹 컨텐트 및 상기 마커를 포함하는, AR 사용자 장치.
  12. 제11항에 있어서,
    상기 웹 컨텐트 및 상기 마커는, 상기 AR 사용자 장치와 통신하는 검색 시스템으로부터 수신되는, AR 사용자 장치.
  13. 제10항에 있어서,
    상기 실세계 이미지를 디지털 이미지 데이터로 변환하고, 상기 디지털 이미지 데이터를 상기 마커 센서로 전송하도록 구성되는 이미지 처리기
    를 더 포함하는 AR 사용자 장치.
  14. 제10항에 있어서,
    상기 마커 센서로부터 수신된 추출된 마커를 분석하고, 상기 마커 데이터 송신기로 전송하기 위한 상기 마커 데이터를 생성하도록 구성되는 마커 분석기
    를 더 포함하는 AR 사용자 장치.
  15. 제10항에 있어서,
    상기 마커 데이터는 상기 마커의 이미지를 포함하는, AR 사용자 장치.
  16. 제10항에 있어서,
    상기 마커 데이터는, 상기 AR 서비스 서버의 주소 및 마커 식별자(ID) 중의 적어도 하나를 포함하는, AR 사용자 장치.
  17. 제12항에 있어서,
    상기 마커 데이터는 상기 검색 시스템의 주소를 포함하는, AR 사용자 장치.
  18. 제16항에 있어서,
    상기 AR 사용자 장치는, 게이트웨이를 통해 다수의 상기 AR 서비스 서버와 통신하며, 상기 게이트웨이는 상기 마커 데이터를 이용하여 상기 다수의 상기 AR 서비스 서버 중의 하나를 선택하여 상기 선택된 AR 서비스 서버로 상기 마커를 전송하는, AR 사용자 장치.
  19. 제18항에 있어서,
    상기 게이트웨이는, 상기 마커 데이터로부터 상기 AR 서비스 서버의 상기 주소를 추출함으로써, 상기 다수의 상기 AR 서비스 서버 중의 하나를 선택하는, AR 사용자 장치.
  20. 제19항에 있어서,
    상기 게이트웨이는, 상기 선택된 AR 서비스 서버로부터 상기 VR 데이터를 수신하고, 상기 VR 데이터를 상기 AR 사용자 장치로 전송하는, AR 사용자 장치.
KR1020127024323A 2010-04-16 2010-12-15 증강 현실 서비스를 위한 마커 검색 시스템 KR101462571B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/762,224 2010-04-16
US12/762,224 US8682879B2 (en) 2010-04-16 2010-04-16 Marker search system for augmented reality service
PCT/KR2010/008986 WO2011129513A1 (en) 2010-04-16 2010-12-15 Marker search system for augmented reality service

Publications (2)

Publication Number Publication Date
KR20120129982A true KR20120129982A (ko) 2012-11-28
KR101462571B1 KR101462571B1 (ko) 2014-11-17

Family

ID=44788983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024323A KR101462571B1 (ko) 2010-04-16 2010-12-15 증강 현실 서비스를 위한 마커 검색 시스템

Country Status (4)

Country Link
US (2) US8682879B2 (ko)
JP (1) JP5512831B2 (ko)
KR (1) KR101462571B1 (ko)
WO (1) WO2011129513A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380854B1 (ko) * 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
WO2016006920A1 (ko) * 2014-07-07 2016-01-14 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
KR20160036915A (ko) * 2014-09-26 2016-04-05 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR102595385B1 (ko) * 2022-12-14 2023-10-30 주식회사 버넥트 식별코드 기반의 ar 객체 제공 방법 및 시스템

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
KR101295544B1 (ko) * 2011-01-25 2013-08-16 주식회사 팬택 증강 현실 통합정보 제공 장치와 그 방법 및, 이를 포함하는 시스템
US20120256955A1 (en) * 2011-04-07 2012-10-11 Infosys Limited System and method for enabling augmented reality in reports
US8963957B2 (en) 2011-07-15 2015-02-24 Mark Skarulis Systems and methods for an augmented reality platform
US8738516B1 (en) 2011-10-13 2014-05-27 Consumerinfo.Com, Inc. Debt services candidate locator
US9870429B2 (en) * 2011-11-30 2018-01-16 Nokia Technologies Oy Method and apparatus for web-based augmented reality application viewer
KR20130118820A (ko) * 2012-04-20 2013-10-30 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 제공 방법 및 장치
US20130297460A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
CN103389978B (zh) * 2012-05-07 2016-10-05 联想(北京)有限公司 一种通过增强现实技术获取信息的方法及系统
CN103514211A (zh) * 2012-06-27 2014-01-15 腾讯科技（深圳）有限公司 获取信息的方法和装置
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9916621B1 (en) 2012-11-30 2018-03-13 Consumerinfo.Com, Inc. Presentation of credit score factors
CN103853757B (zh) * 2012-12-03 2018-07-27 腾讯科技（北京）有限公司 网络的信息展示方法和系统、终端和信息展示处理装置
US9092818B2 (en) 2013-01-31 2015-07-28 Wal-Mart Stores, Inc. Method and system for answering a query from a consumer in a retail store
JP6155889B2 (ja) * 2013-06-19 2017-07-05 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、携帯情報端末
WO2015031168A1 (en) * 2013-08-28 2015-03-05 Qualcomm Incorporated Dynamic display markers
US9466266B2 (en) * 2013-08-28 2016-10-11 Qualcomm Incorporated Dynamic display markers
US9865088B2 (en) * 2014-01-31 2018-01-09 Empire Technology Development Llc Evaluation of augmented reality skins
JP6334715B2 (ja) 2014-01-31 2018-05-30 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実スキンの評価
EP3100238A4 (en) * 2014-01-31 2017-07-05 Empire Technology Development LLC Subject selected augmented reality skin
US9953462B2 (en) 2014-01-31 2018-04-24 Empire Technology Development Llc Augmented reality skin manager
US9721389B2 (en) * 2014-03-03 2017-08-01 Yahoo! Inc. 3-dimensional augmented reality markers
JP5963325B2 (ja) * 2014-08-14 2016-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ マーカに基づいて特定される情報を提示する装置、方法およびプログラム
JP6424525B2 (ja) * 2014-09-10 2018-11-21 コニカミノルタ株式会社 情報表示システム、情報表示方法、情報表示装置、原稿表示装置及びプログラム
US9892560B2 (en) 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
JP6451173B2 (ja) * 2014-09-22 2019-01-16 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
CN104581418B (zh) * 2015-01-28 2018-02-09 广州三人行壹佰教育科技有限公司 一种内容直播方法及相关设备
US20170330036A1 (en) * 2015-01-29 2017-11-16 Aurasma Limited Provide augmented reality content
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US20180349367A1 (en) * 2017-06-06 2018-12-06 Tsunami VR, Inc. Systems and methods for associating virtual objects with electronic documents, and searching for a virtual object or an electronic document based on the association
WO2019059725A1 (en) * 2017-09-22 2019-03-28 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR PROVIDING SERVICE OF INCREASED REALITY
CN107908328A (zh) * 2017-11-15 2018-04-13 百度在线网络技术（北京）有限公司 增强现实方法和装置
CN110019906B (zh) * 2017-11-22 2022-07-08 百度在线网络技术（北京）有限公司 用于显示信息的方法和装置
DE112018006666T5 (de) * 2017-12-28 2020-09-24 Sony Corporation Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
CN110447000A (zh) * 2018-02-28 2019-11-12 华为技术有限公司 终端通过图片搜索vr资源
TWI690826B (zh) * 2018-05-23 2020-04-11 國立臺灣師範大學 擴增內容的產生方法
US10916220B2 (en) * 2018-08-07 2021-02-09 Apple Inc. Detection and display of mixed 2D/3D content
KR102223335B1 (ko) * 2018-08-29 2021-03-08 주식회사 케이티 정규화 영상을 생성하는 서버, 방법 및 컴퓨터 프로그램
US10880313B2 (en) 2018-09-05 2020-12-29 Consumerinfo.Com, Inc. Database platform for realtime updating of user data from third party sources
CN109558523B (zh) * 2018-11-06 2021-09-21 广东美的制冷设备有限公司 搜索处理方法、装置及终端设备
US11238656B1 (en) * 2019-02-22 2022-02-01 Consumerinfo.Com, Inc. System and method for an augmented reality experience via an artificial intelligence bot
US10997776B2 (en) * 2019-02-23 2021-05-04 Microsoft Technology Licensing, Llc Connecting spatial anchors for augmented reality
CN114585423A (zh) 2019-08-22 2022-06-03 Nantg移动有限责任公司 虚拟和现实世界的内容创建、装置、系统和方法
US20220392172A1 (en) * 2020-08-25 2022-12-08 Scott Focke Augmented Reality App and App Development Toolkit
US11853524B2 (en) * 2022-04-01 2023-12-26 Capital One Services, Llc Augmented reality extended view

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6942150B2 (en) * 1993-11-24 2005-09-13 Metrologic Instruments, Inc. Web-based mobile information access terminal
JP3634099B2 (ja) * 1997-02-17 2005-03-30 株式会社リコー 文書情報管理システム，媒体用紙情報作成装置および文書情報管理装置
US5886698A (en) * 1997-04-21 1999-03-23 Sony Corporation Method for filtering search results with a graphical squeegee
ES2274380T3 (es) * 1998-12-03 2007-05-16 Metrologic Instruments, Inc. Sistema activado automaticamente de lectura de codigo de barras mediante escaneo manual por laser con interruptor de activacion de transmision de datos.
JP2000322602A (ja) * 1999-05-12 2000-11-24 Sony Corp 画像処理装置および方法、並びに媒体
US6601026B2 (en) * 1999-09-17 2003-07-29 Discern Communications, Inc. Information retrieval by natural language querying
US7798417B2 (en) * 2000-01-03 2010-09-21 Snyder David M Method for data interchange
US7231418B2 (en) * 2000-05-24 2007-06-12 Canon Kabushiki Kaisha Information providing method, information providing system, terminal apparatus, and storage medium storing information providing program
US20030018541A1 (en) * 2001-07-17 2003-01-23 Nohr Steven Paul System and method for delivering virtual content associated with physical objects, images and events
US8046408B2 (en) * 2001-08-20 2011-10-25 Alcatel Lucent Virtual reality systems and methods
US7209913B2 (en) * 2001-12-28 2007-04-24 International Business Machines Corporation Method and system for searching and retrieving documents
US6917370B2 (en) * 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
JP2003345807A (ja) 2002-05-29 2003-12-05 Cosmos Network:Kk 電子カタログ提供システム
US20070035562A1 (en) * 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
BRPI0411007A (pt) * 2003-06-06 2006-07-04 Neomedia Tech Inc acesso automático de conteúdo da internet com um telefone celular habilitado com cámera
US7337317B2 (en) * 2003-07-03 2008-02-26 Hand Held Products, Inc. Memory data copying system for devices
JP2005250950A (ja) 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7295220B2 (en) 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
US8385589B2 (en) * 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US20070239724A1 (en) * 2005-09-14 2007-10-11 Jorey Ramer Mobile search services related to direct identifiers
TW200734931A (en) * 2006-03-08 2007-09-16 Sunplus Technology Co Ltd System and method for applying universal information code to handheld wireless communication device to read data
US20070294171A1 (en) * 2006-06-06 2007-12-20 Eric Sprunk Method and apparatus for providing a virtual universe
JP5031286B2 (ja) 2006-07-20 2012-09-19 パイオニア株式会社 番組管理情報処理装置およびこれと共に用いられる端末装置
US20080048044A1 (en) * 2006-08-25 2008-02-28 Microsoft Corporation Barcode Encoding and Decoding
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4529974B2 (ja) 2006-12-26 2010-08-25 日本電気株式会社 サーバ負荷分散システム、サーバ負荷分散装置、コンテンツ管理装置、及びサーバ負荷分散プログラム
GB2451435B (en) * 2007-07-27 2012-06-20 Hewlett Packard Development Co A Method of enabling the downloading of content
US20090238626A1 (en) * 2008-03-18 2009-09-24 Konica Minolta Systems Laboratory, Inc. Creation and placement of two-dimensional barcode stamps on printed documents for storing authentication information
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
JP4518196B2 (ja) * 2008-06-16 2010-08-04 コニカミノルタビジネステクノロジーズ株式会社 プリントシステム、画像形成装置、ウェブページ印刷方法、およびコンピュータプログラム
EP2157545A1 (en) 2008-08-19 2010-02-24 Sony Computer Entertainment Europe Limited Entertainment device, system and method
US20100048290A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
JP4995934B2 (ja) 2010-03-26 2012-08-08 株式会社コナミデジタルエンタテインメント 拡張現実システム、マーカ端末、撮影端末、拡張現実方法、ならびに、情報記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380854B1 (ko) * 2013-03-21 2014-04-04 한국과학기술연구원 웹 정보구조에 기반한 증강현실 콘텐츠 제공장치 및 방법
US9904664B2 (en) 2013-03-21 2018-02-27 Korea Institute Of Science And Technology Apparatus and method providing augmented reality contents based on web information structure
WO2016006920A1 (ko) * 2014-07-07 2016-01-14 넥시스 주식회사 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법
KR20160036915A (ko) * 2014-09-26 2016-04-05 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR102595385B1 (ko) * 2022-12-14 2023-10-30 주식회사 버넥트 식별코드 기반의 ar 객체 제공 방법 및 시스템

Also Published As

Publication number Publication date
JP5512831B2 (ja) 2014-06-04
US20110258175A1 (en) 2011-10-20
WO2011129513A1 (en) 2011-10-20
KR101462571B1 (ko) 2014-11-17
US20140015860A1 (en) 2014-01-16
US8682879B2 (en) 2014-03-25
JP2013520743A (ja) 2013-06-06

Similar Documents

Publication Publication Date Title
KR101462571B1 (ko) 증강 현실 서비스를 위한 마커 검색 시스템
US9128909B2 (en) Intelligent augmentation of media content
EP2946316B1 (en) Indexing application pages of native applications
KR101722687B1 (ko) 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US8909617B2 (en) Semantic matching by content analysis
CN108090111B (zh) 用于搜索结果的动画摘录
CN103823907B (zh) 一种整合在线视频资源地址的方法、装置及引擎
JP4878591B2 (ja) コンテンツ検索装置、コンテンツ検索方法、プログラムおよび記録媒体
US9569465B2 (en) Image processing
CN103838862A (zh) 一种视频搜索的方法、装置及终端
US9984104B2 (en) Indexing content and source code of a software application
US9977793B2 (en) Information processing system, information processing method, and information processing apparatus
CN101611423B (zh) 将结构化数据用于在线调查
US10609321B2 (en) Interfacing a television with a second device
US20230044463A1 (en) System and method for locating products
Shabani et al. City-stories: a multimedia hybrid content and entity retrieval system for historical data
CN114845128B (zh) 弹幕互动方法、装置、设备及存储介质
Hou et al. Logo recognition using textual and visual search
KR20240082551A (ko) 객체 인식 기반의 컨텐츠 하이퍼링크를 생성하는 방법 및 장치
JP2014021918A (ja) 検索システムおよびプログラム
US20170318225A1 (en) Method and program for image-based status resolution services
KR20150040664A (ko) 컨텐츠 제공 시스템 및 방법
JP2007148625A (ja) 情報提示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181113

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 6