KR20110125866A

KR20110125866A - 증강현실을 통한 정보제공 방법 및 장치

Info

Publication number: KR20110125866A
Application number: KR1020100045481A
Authority: KR
Inventors: 채동국; 도현구
Original assignee: 퍼펙트데이타시스템 주식회사; 도현구
Priority date: 2010-05-14
Filing date: 2010-05-14
Publication date: 2011-11-22

Abstract

본 발명에서는 증강현실을 통한 정보제공 방법이 제공되는데, 단말기를 통해 촬상된 대상체에 대하여 이미지 비교 내지는 태그 독출을 통해 대상체를 식별해 내고 대상체에 대한 검색어를 추출하여 이를 서버에 보내면 서버에서는 검색어에 해당하는 정보 내지는 광고를 단말기에 송부할 수 있다.

Description

증강현실을 통한 정보제공 방법 및 장치{Method and apparatus for providing information through augmented reality}

본 발명은 증강현실을 통한 정보 제공 방법 및 장치와 관련된다. 증강현실을 통해 획득된 이미지는 검색을 위한 정보로 변환되고 단말기는 광고 내용이 저장된 서버를 통해 광고 내용 및 정보를 제공받을 수 있다.

1966년 이반 서더랜드가 가상세계로 안내하는 창(window)이 될 것이라고 제안하면서 "see-through HMD(head-mounted display)를 발전시킨 것을 시발로 하여 연구되기 시작한 증강현실(Augmented Reality)은 가상현실(Virtual Reality, VR)의 한 분야로서 가상현실과는 또 다른 의미를 가진다. 가상현실기술들은 일반적으로 사용자로 하여금 가상의 환경에 들어가게 하여 사용자는 실제의 환경과는 격리되거나 동떨어진 상태에 있게 하는 반면, 증강현실기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 가진다.

즉, 증강현실은 가상현실(Virtual Reality)의 한 분야이긴 하지만, 가상현실과는 다르게 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실 환경에 증강현실을 응용할 수 있으며, 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.

이러한 증강현실을 통한 응용이 다방면에서 이루어지고 있는데, 특별히 촬상기능을 가진 단말기의 경우 그 응용의 폭이 무궁무진하다. 카메라와 같은 촬상 기능을 갖는 단말기에서 이미지를 획득하여 그 이미지를 해석을 통해 이미지 대상체와 관련되는 검색어 내지는 정보를 추출하여 이를 광고에 사용할 수 있다.

실생활에서 촬상되는 이미지를 통해 텍스트로서의 검색어와 같은 광고 대상 정보를 결정하여 이를 통해 단말기에 광고하고 실제 물품이 거래되는 수단이 요구된다.

상기의 과제를 해결하기 위해 본 발명에 따른 증강현실을 통한 정보제공 방법은 단말기를 통해 대상체를 촬상하여 이미지를 생성하는 단계; 상기 생성된 이미지를 통해 하나 이상의 상기 대상체에 관한 정보를 추출하는 단계; 상기 추출된 정보 중 적어도 하나의 정보가 선택되는 단계; 상기 선택된 정보를 상기 서버에 전송하면서 검색요청을 하는 단계; 상기 단말기는 상기 서버로부터 상기 정보에 대하여 광고주가 지정한 광고조건과 일치하는 복수의 광고 내용 중 가장 우선순위가 높은 광고 내용을 다운로드받는 단계; 및 상기 단말기는 상기 광고 내용을 디스플레이하는 단계를 포함하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해 본 발명에 따른 증강현실을 통한 정보제공 방법은 단말기를 통해 대상체를 촬상하여 이미지를 생성하는 단계; 상기 생성된 이미지를 서버에 전송하는 단계; 상기 서버로부터 전송되어온 하나 이상의 상기 대상체에 관한 정보 중 적어도 하나의 정보가 선택되는 단계; 상기 선택된 정보를 상기 서버에 전송하면서 검색요청을 하는 단계; 상기 단말기는 상기 서버로부터 상기 정보에 대하여 광고주가 지정한 광고조건과 일치하는 복수의 광고 내용 중 가장 우선순위가 높은 광고 내용을 다운로드받는 단계; 및 상기 단말기는 상기 광고 내용을 디스플레이하는 단계를 포함하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해 본 발명에 따른 증강현실을 통한 정보제공 장치는 대상체를 촬상하는 촬상부; 상기 촬상부에 의해 촬상된 이미지로부터 정보를 추출하는 이미지해석부; 상기 추출된 정보를 선택하도록 하는 인터페이스부; 상기 정보 중 적어도 일부가 선택되는 경우 상기 정보를 서버에 전송하는 전송부; 상기 서버로부터 상기 정보에 대하여 광고주가 지정한 광고조건과 일치하는 복수의 광고 내용 중 가장 우선순위가 높고 광고내용을 다운로드 받는 수신부; 및 상기 광고내용을 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 한다.

상기의 과제를 해결하기 위해 본 발명에 따른 증강현실을 통한 정보제공 방법은 단말기를 통해 대상체를 촬상하여 이미지를 생성하는 단계; 상기 생성된 이미지를 통해 유사 이미지 매칭 검색에 의해 하나 이상의 상기 대상체에 관한 명칭, 상호, 상품명, 상표 또는 로고 중 어느 하나를 검색 대상으로 추출하는 단계; 상기 선택된 검색 대상을 서버에 전송하면서 검색요청을 하는 단계; 상기 단말기는 상기 서버로부터 상기 검색 대상에 해당하는 상세 정보를 다운로드받는 단계; 및 상기 단말기는 상기 다운로드된 상세 정보를 디스플레이하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 단말기에서 증강현실을 통한 정보제공 방법 및 장치에 따라 이동 단말기에서 주변 장소를 촬상하여 광고 내용을 볼 수 있고 또 광고 내용과 연결되는 실제적인 상업적 구매도 가능하도록 할 수 있는 효과가 있다.

도 1은 증강현실을 응용한 전투기와 자동차의 예를 나타내는 도면이다.
도 2는 이동 단말기를 통한 증강현실을 구현하는 일실시예를 나타낸다.
도 3a는 촬상을 통한 증강현실 응용을 나타내는 일실시예이다.
도 3b는 본 발명의 일실시예에 따라 증강현실에 의한 이미지 또는 텍스트 선택 시 관련 정보가 표출되는 방식을 나타낸다.
도 4는 본 발명의 일실시예에 따른 증강현실을 통한 정보제공 방법을 나타내는 흐름도이다.
도 5는 본 발명의 또 다른 일실시예에 따른 증강현실을 통한 정보제공 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 단말기를 나타내는 블럭도이다.
도 7은 본 발명의 일실시예에 따라 광고 서버를 통해 광고를 등록하는 것을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 서버장치를 나타내는 블럭도이다.

이하 본 명세서에서 기술되는 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안된다.

본 발명의 개념에 따른 실시 예는 다양한 변경이나 변형을 가할 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있어서 반드시 직접 연결된 것이 아니라 공간적으로 떨어져 있거나 무선으로 연결되는 모든 형태의 연결이나 접속을 포함하는 것으로 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 위와 마찬가지로 해석되어야 한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하기 위한 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있음을 주지하여야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있고 복수로 표현되었다고 하더라도 단수를 지칭할 수도 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 일부 또는 이들의 조합이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 일부 또는 이들의 조합이 존재하거나 또는 부가될 수 있는 가능성을 미리 배제하는 것은 아니다..

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 본 출원서에 걸쳐서 문자 메시지와 전자 메시지는 특별한 언급이 없는 한 동일한 의미로 사용된다.

증강현실은 현실 세계에 가상의 물체를 중첩함으로써 현실세계를 보충하여 사용자에게 보여준다는 점에서 가상현실 기술과 차별성을 가지며, 가상현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 장점이 있다. 무엇보다 중요한 것은 증강현실이 현실에는 존재하지 않는 속성을 가상현실을 통해서 현실 사물에 내재시킴으로써 증강된 현실을 보여준다는 것이다. 로널드 아즈마(Ronald Azuma)의 증강현실에 대한 정의가 그 특징을 가장 잘 설명해 주고 있다. 거기에서 그는 증강현실의 목적(goal)에 대한 몇 가지 요소를 거론하는데 그것을 통해서 전체적인 증강현실의 의미를 파악할 수 있다. 아즈마의 정의에 따르면, 증강현실 시스템이란, (1) 현실(real-world)의 이미지와 가상(virtual-world)의 이미지를 결합한 것, (2) 실시간으로 상호작용(interaction)이 가능한 것, 및 (3) 3차원 공간 안에 놓인 것으로 정의한다.

실제로 증강현실을 이용하여 톰 크로델은 1990년 보잉사가 작업자들에게 항공기의 전선을 조립하는 것을 돕기 위한 과정에서 증강현실을 응용하여 일의 효율성을 꾀하였고, 다음과 같은 기술들에서 증강현실이 접목되어 급속한 발전이 이루어지고 있다. 위치인식 분야에서 공간추적장치, 사용자센서감지, 환경인식, 생체인식 분야세 동작인식미세조작, 사용자전자기 감지, 인공지능 분야에서 다양한 SW 반응, 성장시스템, 프로파일 분석, 오감구현 분야에서 HMD(Head mounted display), 3D 오디오, 하프틱, 전자코, 데이터글로브(DataGlove), 모바일 기술에서 모바일 증강현실 등이 구현되고 있다.

흔히 볼 수 있는 대표적인 증강현실 응용으로 전투기나 자동차 앞면 유리세 속도, 방향 등의 정보를 표시해주는 HUD(Head Up display) 내비게이션이 바로 그것이다. 아마도 내비게이션 시스템도 자동차 유리를 통해 증강현실을 통한 구현으로 발전해 갈 것으로 예측된다.

도 1은 증강현실을 응용한 전투기와 자동차의 예를 나타내는 도면이다.

도 1의 (a)는 전투기의 예이다. 전투기 조종사는 전투기를 조정할 때 여러 계기판(101)이 정면을 주시하는 창(100)에 함께 투영되는 경우 전투기 조정 조작에 많은 도움을 얻을 수 있다. 예를 들어 조종기 정면 창(100)에 전투기의 속도나 고도, 레이다와 같은 내용이 함께 투영되면 조종기 운전 중에 정면을 주시하면서 그와 동시에 중요한 정보를 한눈에 인지할 수 있다.

이러한 응용은 자동차를 운전하는 운전자에게도 적용된다.

도 1의 (b)는 그러한 예이다. 운전자는 정면 창(150)을 통해 정면을 주시한다. 이 때 정면 창에 내비게이션에서 제공하는 정보와 동일한 정보(151)가 창(150)에 같이 투시되면 시야 확보 면에서 한결 편리할 것이다.

최근에는 휴대폰, 특히 촬영과 디스플레이 및 사용자 인터페이스와 OS를 구비한 스마트폰이 급속히 발달하면서 증강현실을 이용한 서비스들이 시작되고 있다. 대표적인 것으로 위치기반서비스(Location based service, LBS)가 새롭게 주목받고 있다. LBS란 휴대폰과 같은 이동단말기에 기지국이나 위성항법장치(GPS)와 연결되는 칩을 부착해 위치추적서비스, 공공안전서비스, 위치정보서비스 등을 제공하는 것을 말한다.

이같은 LBS는 최근 사회 전영역에서 이루어지고 있는 모바일화와 맞물려 이용자들에게는 모바일 시대의 필수 사용 아이템으로, 사업자에게는 새로운 수익원으로 부상하고 있다. 이 LBS에 증강현실이라는 새로운 기술이 접목되면서 더욱 그 쓰임새에 대한 관심이 증폭되고 있다.

LBS가 제공하는 서비스 범주는 다양하다. 보안 및 안전, 교통, 네비게이션, 정보 및 엔터테인먼트, SNS(social networking service) 등이 대표적이다. 보안 및 안전의 경우 어린 자녀들의 등하교길의 위치를 알려주는 서비스, 집에 혼자 있는 노약자 들의 실시간 화면을 보호자에게 제공하는 서비스 등이 인기이다. 교통과 네비게이션의 경우 통합적으로 제공되는 추세이며 가장 사용량이 많고 꾸준히 이용되고 있는 서비스 가운데 하나다. 최근에는 위치기반의 SNS 서비스도 대거 등장하고 있다. 해외의 유명 SNS인 페이스북(Facebook)과 트위터(tweeter) 등의 영향도 작용하고 있지만, 스마트폰 보급으로 소비자들의 모바일 커뮤니티 서비스 요구가 늘고 있는 것이 주요한 배경으로 꼽힌다. 예를 들면 휴대폰 카메라로 자신이 현재 위치한 주위의 건물을 비추면, 해당 건물의 이미지 위로 전화번호와 홈페이지 등 관련정보가 보여지고 이를 소비자가 직, 간접적으로 이용할 수 있는 것이다.

최근에는 어플리케이션에서는 증강현실 기반의 위치기반 서비스가 대거 등장하고 있다. 카메라로 주변 환경을 비추면 화면 속의 유적지, 커피숍, 공원, 식당 등의 정보가 화면에 나타나는 서비스, 위치기반으로 자신의 사진과 글을 올리고 공유할 수 있는 어플리케이션 등이 보급되어 가고 있다.

증강현실 기술 자체도 진화를 거듭하고 있는데, 사전에 빌딩이나 상점 등에 바코드 등을 붙여두고 카메라로 판독해 대응하는 '마커' 방식이 대두되고 있다. 하지만, 앞으로는 마커없이 눈에 보이는 영상을 직접 판별하고, 그것을 토대로 관련 정보를 취득해 영상에 부가하는 '마크리스(markless)' 기술도 관심의 대상이다.

도 2는 이동 단말기를 통한 증강현실을 구현하는 일실시예를 나타낸다.

사용자는 이동 단말기(200)를 통해 얻고자 하는 정보와 관련된 대상체를 촬상할 수 있다. 이동 단말기(200)는 디지털 카메라와 같이 외부를 촬상할 수 있는 기기여야 증강현실을 통한 다양한 응용예가 가능하다. 보통은 촬상되는 대상체의 위치를 기반으로 대상체의 정보를 표시하는 응용 예가 많다. 그러나, 도 2에서는 대상체의 이미지를 판독하여 증강현실을 응용하는 예를 설명한다.

도 2의 (a)에서 이동 단말기(200)는 나무에 달린 사과(201)를 촬상한다. 이동 단말기 내부에 이미지 판독을 통해 증강현실 응용을 구현하는 부분이 따로 구비되어 있어, 사과 이미지를 인식하여 "사과"라는 대상체를 식별해 낸다. 식별하는 과정은 아래와 같다.

먼저 촬상된 이미지(203)를 (b)와 같이 분할한다. (b)에서는 이미지를 9개의 영역으로 분할하였다. 이미지를 실제로는 데이터베이스에 이미 존재하는 이미지와 매칭되는지를 판단하여야 하므로 "영역기반 유사 이미지 추출 매칭기법(A region based similar image retrieval matching method)"을 사용한다. 이 기법은 이미지의 영역을 (b)와 같이 분할하였을 때 분할된 영역을 추출하여 이미지의 형태를 추출하는 검색기법으로서 사물의 위치에 사용자가 포커스를 설정하여 이미지를 1차 추출하며, 1차 추출된 이미지를 모바일 장치 자체검색 및 서버로 전송하여 모바일 장치 검색프로그램 및 서버에서 영역기반매칭검색을 한다.

좀더 구체적으로 설명한다. 이미지 내용을 표현하기 위해 사용되는 특징들에는 이미지에 대한 객체형태, 질감 등을 이용하는 방법, Wavelet 변환 함수를 이용하여 추출한 Wavelet 계수를 이용하는 방법, 그리고 컬러 히스토그램을 이용하는 방법 등이 있다.

특히 컬러 히스토그램을 이용하는 방법 중에는 이미지 전체 특성추출기법이 있는데, 이 기법은 이미지 전체를 저차원으로 변환하여 사용하며, 이미지 전체 픽셀에 대한 평균 RGB 값을 구하여 저차원 히스토그램을 구한다. 다만, 이미지 전체 특성추출프로그램은 전혀 다른 이미지임에도 이미지들이 유사한 색상 분포를 보일 경우 매칭되는 이미지로 선택될 수 있는 가능성이 있다. 이러한 문제를 보완하기 위해 이미지 블럭 특성추출기법을 사용한다. 즉 도 2의 (b)와 같이 이미지를 동일 크기의 블럭으로 분할하고 각 블럭의 평균 RGB 값을 구한 후 이미지 블럭 평균 RGB 값을 이용하여 유사 이미지를 검색할 수 있다. 즉, 이동 단말기(또는 서버)에 기저장된 이미지와 촬상된 이미지 간의 블럭 평균 RGB 값을 비교하여 유사 이미지를 판단하여 촬상 대상체를 구별해 낼 수 있다.

또 다른 방법으로는 이미지에서 영역을 구하기 위해서 슬라이딩 윈도우 기법을 사용할 수도 있다. 윈도우 기법은 이미지의 리모트 지점으로부터 윈도우를 설정하고 이 윈도우에서 특성값을 구한 후 이 윈도우를 일정한 인터벌로 이동시키면서 반복하여 특성값을 구하는 방식이다.

슬라이딩 윈도우 추출 알고리즘은 다양하게 존재할 수 있는데, 예를 들면 다음과 같은 알고리즘이 가능하다. 이미지의 리모트 지점으로부터 윈도우 크기 내에 속하는 픽셀의 RGB 히스토그램을 구하고 이 히스토그램을 픽셀 수로 나누어 평균 RGB 값을 구한다. 이 값들을 슬라이딩 윈도우마다 구한다. 모든 윈도우에서 구한 RGB 값을 이용하여 이미지 매칭검색에 사용한다.

대상체를 식별해 내면 도 2의 (c)와 같이 자동으로 이동 단말기(200)에 사과에 관한 일반정보(205)가 이동 단말기 상에 표시된다. 또한, 이동 단말기가 외부 서버와 통신할 수 있다면 식별된 대상체인 "사과"라는 단어와 연계되는 광고(207)를 다운로드 받아서 표시할 수 있다. 물론 대상체를 식별한 후 반드시 자동으로 이러한 정보를 표시할 필요는 없다. 사용자의 선택에 따라 "사과"라는 단어가 이동 단말기 상에 표시되면 이를 사용자가 선택함에 따라 이동 단말기 내부에 이미 저장된 정보를 표시하거나 사용자가 선택하는 순간 "사과"라는 검색어가 외부 서버에 보내져 외부 서버가 저장하고 있는 "사과"에 관련된 정보와 광고가 이동 단말기(200)와의 통신을 통해 전송될 수 있다. 이동 단말기에 표시되는 정보 중에는 구매링크(209)도 같이 포함될 수 있다. 사용자가 구매링크를 선택하면 해당 광고 내용에 표시된 구체적인 상품을 구매하는 일반 인터넷 프로세스와 동일한 형태로 진행되게 될 수도 있고, 또는 사용자는 구매링크(209)나 광고 내용의 일부를 선택함으로써 더 다양한 관련 내용의 광고나 구매가능한 상품 리스트를 조회할 수도 있다.

구매를 위해서는 일반 온라인 구매와 유사하게 진행될 수 있다. 사용자는 구매링크(209)를 선택하게 되고, 구매링크는 추가적으로 수량, 배달처, 결제 수단 등을 입력하는 창을 디스플레이할 수 있다.

도 3a는 촬상을 통한 증강현실 응용을 나타내는 일실시예이다.

이동 단말기(300) 사용자는 이동 단말기(300)를 통해 거리를 촬상한다. 거리를 통해 맥햄버거라는 상호(301)를 촬상하면 이를 인식하여 "맥햄버거"(303)라는 텍스트 및/또는 대표 이미지(상표, 로고 등)가 이동 단말기(300) 상에 표시된다. 이 텍스트 및/또는 대표 이미지(상표, 로고)는 실제 촬상되는 내용이 아니며, 촬상되는 대상체의 이미지가 해석되어 나타나는 간단정보이다. 화면에서 맥햄버거라는 업소 근처에 있는 시티극장(307)이라는 극장도 같이 촬상되어 시티극장이라는 정보가 표시되고 있는 것을 알 수 있다. 선택적으로 이동 단말기(300)에는 현재의 위치 주소(305)도 함께 표시될 수 있으나 이는 선택적이다.

증강현실에 의해 맥햄버거(301)라는 상점을 인식하기 위해서는 맥햄버거(301)라는 회사가 사용하는 고유의 상호 이미지를 통해 식별할 수도 있겠으나, 또 다른 편리한 방법으로는 맥햄버거 상점마다 간판에 식별 태그를 삽입하는 것이다. 이러한 식별 태그를 촬상하는 단말기는 식별 태그를 인식할 수 있는 장치가 구비되어 있고, 이 태그를 통해 해당 상점이 "맥햄버거"임을 식별하게 된다. 하지만, 이러한 상업적 상점의 경우 인위적으로 태그를 삽입하여 식별할 수 있으나, 도 2의 경우처럼 임의의 자연물(사과나 바나나 등)은 일일이 태그를 삽입할 수 없으므로 증강현실에 의한 사물 인식이 불가능하다. 이러한 경우와 같이 장소나 인공 태그에 의해 인식이 불가능한 경우는 이미지 인식밖에는 대안이 없을 것이다.

이제 이 맥햄버거(303)라는 텍스트 및/또는 대표 이미지를 통해 사용자가 일정한 정보 내지는 광고를 보고 싶다면 이 맥햄버거(303)라는 텍스트 또는 대표 이미지를 선택한다. 터치 스크린을 제공하는 단말기라면 직접 이 텍스트를 손으로 터치함에 의해 선택할 수 있을 것이다. 맥햄버거(303) 텍스트 또는 대표 이미지 선택에 의해 맥햄버거 관련 광고가 단말기 상에 표출되게 된다.

도 3b는 본 발명의 일실시예에 따라 증강현실에 의한 이미지 또는 텍스트 선택 시 관련 정보가 표출되는 방식을 나타낸다.

만일 도 3a에서 "맥햄버거"가 실제 화상과 겹쳐서 디스플레이되었고 이를 사용자가 선택하게 되면 도 3b의 (a)와 같이 이동 단말기는 검색을 실행한다.

이동 단말기 사용자는 시각적으로 구분된 특정 검색 대상 용어인 "맥햄버거"에 대하여 검색 요청을 하고자 할 경우 '맥햄버거' 버튼을 눌러서 광고 서버나 포털 검색 서버에 검색 요청을 한다. 검색 요청이 이루어지면 (a)와 같이 '검색 중'이 진행되고 검색이 진행되는 동안 범용광고가 단말기 상에 표출된다.

광고 서버에서는 해당 검색어인 "맥햄버거"에 상당하는 광고 내용이 있을 경우 광고 내용을 우선순위에 따라 이동 단말기에 전송한다. 도 3b의 (b)에서는 사용자가 검색어인 "맥햄버거"에 대하여 수신한 광고 내용이 이동 단말기 상에 표출된 것을 나타낸다. 현재 (b)에 나타난 광고 내용은 주로 이미지로 이루어져 있으나, 이에 한정되는 것은 아니고 텍스트, 플래쉬, 이모티콘 등의 다양한 형태로 모바일 기기에 표출될 수 있다.

사용자는 광고 내용에서 적절히 자신이 관심있는 아이템을 선택할 수 있다. 사용자는 예를 들어 "맥햄버거"의 광고 내용 중 세트 메뉴인 "조이 세트"를 선택하면 "조이 세트"에 대한 더 상세한 추가 광고 내용이 광고 서버로부터 전송되어올 수 있다.

이동 단말기 사용자는 (c)에서 볼 수 있는 바와 같이 "조이 세트"를 선택하고 도시되지는 않았지만, "구매"를 확정하게 되면 선택한 "맥햄버거"의 "조이 세트"에 대한 전자 쿠폰을 수신할 수 있다. 이는 광고 서버를 통해서 전송되어 온 것이다. 예를 들어 모바일 기기 내에 저장된 어플리케이션은 사용자가 "맥햄버거"의 "조이 세트"를 선택하는 순간 "맥햄버거"의 "조이 세트"가 선택되었음을 감지하여 이를 광고 서버나 포털 검색 서버에 통지하고, 광고 서버는 "맥햄버거"의 "조이 세트" 상품에 해당하는 할인 쿠폰을 전자 쿠폰의 형태로 전송한다. 물론 이러한 전자 쿠폰은 사용자가 문자 메시지를 통해서도 문자 메시지 수신자에게 전송할 수 있다. (d)에서 보는 바와 같이 사용자는 이제 무선 통신을 통해 광고 서버로부터 할인쿠폰을 받을 수 있는 키를 입력할 수 있는 창을 볼 수 있게 된다.

할인 쿠폰은 1차원, 2차원 또는 3차원 바코드가 포함된 형태로 전송되어 이동 단말기 상에서 바로 바코드를 인식시켜 사용할 수도 있다. 또는, 할인 쿠폰은 이동 단말기가 RFID를 구비하는 경우, RFID에 전자쿠폰 정보가 삽입되도록 메시지 전송자에게 제공될 수도 있다. 이럴 경우에는 메시지 전송 후 (c)와 같이 "맥햄버거"의 "조이 세트"의 이미지를 표출한 후 "할인쿠폰을 받으세요"라는 메시지를 띄우고, 사용자가 이를 승인하면 "할인쿠폰이 RFID에 삽입되었습니다"라는 식의 메시지를 전달할 수 있다.

도 4는 본 발명의 일실시예에 따른 증강현실을 통한 정보제공 방법을 나타내는 흐름도이다.

먼저 카메라와 같은 촬상기가 부착된 단말기로 대상체를 촬상하고 단말기에서 이미지를 생성한다(S401). 단말기는 휴대폰이나 PDA, e-북, PMP, 컴퓨터 등과 같은 다양한 종류의 전자 단말기가 모두 가능하다.

이제 촬상된 대상체의 이미지를 통해 대상체의 정보를 추출한다(S403). 이미지를 통해 대상체의 정보를 추출하기 위해서는 단말기 내부의 이미지 해석을 하는 알고리즘을 포함하는 애플리케이션이나 소프트웨어 및 이를 구동하는 프로세서가 필요할 것이다. 또한, 필요하면 이미지 비교를 위하여 이미지를 저장하고 있는 버퍼가 필요할 것이다. 상술한 바와 같이 비단 이미지를 통해서만 대상체 정보를 추출하는 것에 국한되는 것은 아니다. 대상체에 만약 대상체를 식별할 수 있는 태그가 부착되어 있다면 태그를 통해서도 단말기는 대상체를 식별할 수 있다. 물론 단말기는 태그를 읽을 수 있는 별도의 장치가 부착되어있어야 할 것이다. 이 대상체에 관한 정보는 대상체의 이미지의 명칭이 될 수 있다. 예를 들면 이미지가 바나나이면 이미지 비교 검색을 통해 데이터베이스에 저장된 바나나 이미지와 유사할 경우 대상체의 정보는 바나나로 리턴될 것이다. 또는 앞선 도 3의 예에서와 같이 어느 상점을 비추었을 때는 그 상점의 상호나 상표가 될 수 있다. "맥햄버거" 상점을 비추었을 때 "맥햄버거"라는 상호(또는 상표)가 대상체의 정보로 추출되어 단말기에 리턴될 것이다. 또 다른 예로 촬상된 이미지가 특정 제품일 때는 제품 명이 리턴될 것이다. 또는 특정 유적지가 랜드마크가 될 수도 있다. 뉴욕에서 자유의 여신상을 비춘다면 "자유의 여신상"이라는 랜드마크가 리턴될 것이고 이 자유의 여신상에 대한 정보를 검색하길 원한다면 사용자는 '검색 요청'을 통해 서버로부터 '자유의 여신상'에 관한 여러가지 정보를 받아볼 수 있을 것이다.

대상체 정보가 추출되면 대상체를 식별하는 한정된 검색어 또는 검색 이미지가 표시될 수 있을 것이다. 예를 들면 "맥햄버거" 상점을 단말기로 촬상하였다면, "맥햄버거"라는 텍스트 및/또는 "맥햄버거" 로고(상표 이미지) 등이 단말기 상에 표출될 수 있다.

사용자는 이러한 텍스트 및/또는 로고를 선택하여 원격 서버인 광고 서버나 정보 서버에 검색 요청을 한다(S405). 이제 광고 서버 또는 정보 서버는 전송되어온 검색어를 통해 기등록된 매치되는 광고 내용 또는 정보를 추출한다. 서버는 복수의 광고 내용이나 정보가 검색되면 정해진 우선순위에 따라 최우선 순위의 광고 내용이나 정보를 단말기에 전송한다. 이제, 단말기는 이들 서버로부터 광고 내용 또는 정보를 다운로드한다(S407). ,

단말기는 다운로드한 광고 내용 또는 정보를 디스플레이한다(S409). 단말기 사용자는 광고 내용의 적어도 일부를 선택함으로써 추가의 광고를 광고 서버 또는 정보 서버로부터 요청하여 볼 수 있고, 또는 광고 내용 중 구매를 원하는 품목을 선택하고 구매를 진행할 수 있다(S411). 사용자는 광고 내용의 적어도 일부를 선택하여 상기 광고 내용을 관련되는 사이트에 직접 연결될 수도 있다. 광고주는 어떤 측면에서는 자신의 광고 내용에 의해 사용자가 직접 자신의 사이트를 방문하는 것을 더 선호할 수 있다. 따라서, 광고 내용을 클릭함으로써 "사과"이면 "사과"를 판매하는 판매자가 직접 운영하는 웹 사이트로 직접 이동하여 거기서 사과 구매를 진행할 수도 있다.

사용자가 광고 내용과 연결되는 품목의 구매를 진행하려는 의사로 사용자가 "구매"를 선택하면 광고 서버는 만일 해당 품목에 대하여 할인 전자쿠폰이 있다면 이를 단말기에 전송한다(S413). 전자쿠폰은 1차원, 2차원, 3차원 바코드 어느 형태를 취할 수 있다. 바코드 형태의 전자쿠폰은 식별성이 있고 바로 단말기를 바코드 인식기에 접근시켜 사용할 수 있는 편의성이 있다. 또한 RFID 에 전자쿠폰 정보를 삽입하여 사용할 수도 있다.

도 5는 본 발명의 또 다른 일실시예에 따른 증강현실을 통한 정보제공 방법을 나타내는 흐름도이다.

도 5의 방법이 도 4와 구별되는 점은 촬상된 이미지의 해석을 원격 서버에서 행한다는 점이다. 먼저 카메라와 같은 촬상기가 부착된 단말기로 대상체를 촬상하고 단말기에서 이미지를 생성한다(S501). 단말기는 휴대폰이나 PDA, e-북, PMP, 컴퓨터 등과 같은 다양한 종류의 전자 단말기가 모두 가능하다.

이제 촬상된 대상체의 이미지를 통해 대상체의 정보를 추출하기 위해서 이미지를 서버에 전송한다(S503). 이미지를 통해 대상체의 정보를 추출하기 위해서는 서버 내부에는 이미지 해석을 하는 알고리즘을 포함하는 애플리케이션이나 소프트웨어 및 이를 구동하는 프로세서가 필요할 것이다. 또한, 필요하면 이미지 비교를 위하여 이미지를 저장하고 있는 데이터베이스가 필요할 것이다. 상술한 바와 같이 비단 이미지를 통해서만 대상체 정보를 추출하는 것에 국한되는 것은 아니다. 대상체에 만약 대상체를 식별할 수 있는 태그가 부착되어 있다면 태그를 통해서도 단말기는 대상체를 식별할 수 있다. 물론 단말기는 태그를 읽을 수 있는 별도의 장치가 부착되어있어야 할 것이다. 단말기는 대상체 식별을 위해 이 태그 정보를 서버에 전송한다.

대상체 정보가 추출되면 대상체를 식별하는 한정된 검색어가 단말기로 전송된다(S505). 예를 들면 "맥햄버거" 상점을 단말기로 촬상하였다면, "맥햄버거"라는 텍스트 및/또는 "맥햄버거" 로고(상표 이미지) 등이 서버로부터 전송되어와서 단말기 상에 표출될 수 있다.

사용자는 이러한 텍스트 및/또는 로고를 선택하여 광고 서버 또는 정보 서버에 검색 요청을 한다(S507). 이제 서버는 전송되어온 검색어를 통해 기등록된 매치되는 광고 내용 또는 정보를 추출한다. 서버는 복수의 광고 내용이나 정보가 검색되면 정해진 우선순위에 따라 최우선 순위의 광고 내용이나 정보를 단말기에 전송한다. 이제, 단말기는 서버로부터 광고 내용 또는 정보를 다운로드한다(S509).

단말기는 다운로드한 광고 내용 또는 정보를 디스플레이한다(S511). 단말기 사용자는 광고 내용의 적어도 일부를 선택함으로써 추가의 광고를 서버로부터 요청하여 볼 수 있고, 또는 광고 내용 중 구매를 원하는 품목을 선택하고 구매를 진행할 수 있다(S513). 사용자가 광고 내용과 연결되는 품목의 구매를 진행하려는 의사로 사용자가 "구매"를 선택하면 원격 서버는 만일 해당 품목에 대하여 할인 전자쿠폰이 있다면 이를 단말기에 전송한다(S515). 앞에서 대상체의 이미지를 수신하여 대상체를 식별하기 위한 서버와 광고 서버, 정보 서버는 모두 하나의 서버로 운용될 수 있다.

도 6은 본 발명의 일실시예에 따른 단말기를 나타내는 블럭도이다.

단말기(600)는 바람직하기는 이동 단말기이면서 주위를 촬영할 수 있는 촬상부(610)를 구비하여야 한다. 촬상을 통해 이미지가 얻어지면 이미지해석부(620)가 이미지와 매칭되는 유사 이미지를 검색하여 이미지로 표출된 대상체의 명칭, 상표, 상호, 로고나 제품명 등을 결정하여 이를 디스플레이한다(660).

이제 사용자는 대상체와 함께 대상체의 명칭, 상표, 상호 또는 로고나 제품명이 단말기 상에 함께 디스플레이되는 것을 볼 수 있다. 인터페이스부(630)를 통해 사용자는 이미지와 연결된 검색어를 선택할 수 있다. 예를 들어 인터페이스부(630)는 터치 패널이 될 수도 있고 터치 패드가 될 수도 있다. 여하튼 디스플레이 상에 나타난 검색어나 명칭을 선택할 수 있는 모든 종류의 인터페이스가 인터페이스부(630)에 해당된다. 명칭, 상표, 상호 또는 로고나 제품명과 같은 검색어가 선택되면 전송부(640)를 통해 서버로 전송된다. 검색어에 대하여 해당 정보 광고 내용은 서버로부터 수신부(650)를 통해서 수신한다. 수신부에서 전송된 광고 내용은 디스플레이부(660)에 디스플레이된다.

태그 리더부(615)는 촬상부(610)를 통해 촬상된 태그를 읽어들이는 부분이다. 태그 리더부(615)는 태그를 통해 대상체를 식별하고 이를 통해 검색어를 표출시키면 인터페이스부(630)에서 이를 선택할 수 있다.

도 7은 본 발명의 일실시예에 따라 광고 서버를 통해 광고를 등록하는 것을 나타내는 흐름도이다.

광고주는 광고 운영자가 운영하는 광고 서버의 웹 사이트에 접속한다(S701). 회원 가입을 한다든지 등의 웹 사이트 회원 등록 절차 등을 거쳐 광고주와 같은 정보 제공자는 자신의 광고 내용을 등록하기 위해 우선 전자 단말기에 표출될 수 있는 단어가 검색어로서 검색 요청이 이루어질 때 그 단어와 연결되는 광고 내용이 표출될 수 있도록 검색어를 등록한다(S703). 검색어는 하나의 광고 내용에 대해서 복수의 검색어를 등록할 수 있다. 즉, "맥햄버거"에 대해 "햄버거", "간식", "패스트푸드" 등 여러가지를 등록할 수 있다. 반대로 하나의 검색어에 대해서 여러가지의 광고 내용도 등록할 수 있다. 광고 내용 등록은 아래에서 설명하는 단계에서 이루어지지만, 미리 설명하면 광고주는 등록한 검색어 "햄버거"에 대해 "맥햄버거 조이세트", "맥햄버거 스마일 세트" 등 여러가지 광고 내용을 등록할 수 있고, 광고주는 필요에 따라 여러가지 광고 내용에 대해 우선 순위를 자체적으로 설정하여 놓을 수 있다.

이제 광고주는 광고 조건을 선택한다(S705). 앞에서 등록된 검색어와 연결된 광고 내용의 광고 기간, 광고 시간대, 광고 내용을 표출하는 단말기 사용자의 조건, 통신 비용 부담 조건 등을 광고 서버에 등록한다. 광고 조건은 아래와 같이 설정할 수 있다.

먼저, 사용자가 휴대폰이나, PDA, e-북, PMP, 컴퓨터 등과 같은 단말기를 통해 유무선으로 전달되는 검색 대상이 되는 단어가 입력된다.

사용자가 검색 요청을 하게 되면 검색이 일어나게 되고 검색 중에는 단말기 내부의 범용 광고가 표출되게 될 수 있다. 범용광고는 광고 서버로부터 단말기에 미리 받아놓은 광고 내용으로서, 해당 검색어와 대응되는 광고 내용이다. 범용광고는 단말기가 주로 사용되지 않는 수면시간대와 같은 시간대에 정기적으로 다운로드되거나 업데이트될 수 있다. 또는 일정한 이벤트 시에 다운로드되거나 업데이트될 수 있다. 이벤트라 함은 예를 들어, 사용자가 단말기 사용을 더 이상 하지 않기 위해 단말기 전원을 꺼서 종료시키는 경우 등을 들 수 있다. 이러한 경우 단말기 사용에 장애가 되지 않으므로 범용광고의 업데이트는 사용자에게 불편을 초래하지 않을 것이다.

검색이 진행되면 광고 서버의 경우 검색 대상이 되는 단어에 대하여 미리 광고주가 지정한 조건의 키워드 및 광고조건과 일치하는 복수의 광고 내용 중 가장 우선순위가 높은 광고 내용을 결정한다.

우선순위를 결정하는 방법은 다양하다. 우선 광고 서버에 광고주가 미리 광고를 등록할 때 광고내용에 대하여 복수의 키워드를 등록한다. 예를 들어 자신의 햄버거 광고에 대하여 "햄버거", "간식", "패스트푸드", "맥햄버거", "샌드위치" 등의 키워드를 등록한다.

그리고, 광고 내용이 표출되는데 대한 다양한 광고 조건을 등록할 수 있다. 예를 들면, "햄버거"는 주로 청소년이나 젊은 층이 선호하는 경향이 강하고, 학생들이나 화이트 컬러 직장인들이, 저녁보다는 점심이나 간식 메뉴로 찾는 경우가 많다고 볼 수 있다. 검색 요청을 하는 단말기 소유자의 성별, 연령대, 직업 등을 살펴서 예를 들면, "맥햄버거" 광고주가 자신의 광고 조건을 남자, 10~19세 청소년, 학생, 12시~2시 사이에 가장 높은 우선순위를 설정하여 놓을 수 있다. 또한, 광고주가 자신의 "맥햄버거" 매장이 신촌과 강남역에 있다면 "강남역 패스트푸드", 또는 "신촌 만나기 좋은 장소"와 같은 키워드도 대응되도록 할 수 있고, 신촌과 강남구에 대한 우선순위도 높게 설정하는 것이 바람직하다. 광고주는 이러한 광고 조건에 대하여 과금을 가장 높게 설정하여 놓을 수 있다.

만일, 비슷한 조건에 대하여, 예를 들면 "버거퀸"이라는 햄버거 프랜차이즈를 운영하는 광고주가 "맥햄버거"와 비슷한 광고조건에 더 높은 과금을 선택하여 광고 서버에 등록하게 되면 다음과 같이 처리한다. 좀더 구체적으로 "맥햄버거" 광고주는 자신의 광고 표출에 대하여 표출 당 천원 과금을 선택하였고, "버거퀸" 광고주는 자신의 광고 표출에 대하여 표출 당 이천원 과금을 선택하였다.

광고 서버 운영자 입장에서는 "버거퀸" 광고주의 과금이 2배로 높으므로 광고 표출 빈도를 2배로 높여주어야 하고, 광고 서버에서는 이를 자동적으로 처리하여 예를 들면, "햄버거"라는 검색어를 입력한 단말기 사용자들에게 "맥햄버거"와 "버거퀸"을 각각 1:2의 비율로 표출시키도록 한다. 물론 이러한 표출 빈도는 각각의 광고주가 선택한 광고 조건에 따라 크게 변할 수도 있어서, "버거퀸"이 주로 저녁 대용으로 먹을 수 있는 마케팅 타겟을 하고 있다면 광고 서버는 "햄버거" 검색 요청에 대하여 저녁 시간대 6~8시 사이에는 "맥햄버거" 표출은 거의 하지 않고 "버거퀸"을 집중적으로 표출하도록 자동으로 조정한다.

연령대 면에서도 만일 "버거퀸"이 웰빙 햄버거로서 30~40대 직장인을 상대로 집중 마케팅을 하는 품목이라면 단말기 소유자의 연령을 살펴서 광고 표출에 대한 표출당 과금 차이에도 불구하고 청소년들을 상대로는 "맥햄버거"와 "버거퀸"이 2:1로 표출되도록 하고, 30~40대 직장인을 상대로는 "맥햄버거"와 "버거퀸"이 1:4로 표출되도록 조정할 수 있다.

이러한 광고 조건은 상술한 바와 같이 광고 시간대나 기간, 전자 단말기나 모바일 기기 소유자의 성별(남, 여), 연령(예) 10~19, 31~45), 직업(전문직, 학생, 교수, 군인 등), 거주지역이나 업무 지역에 따라 다르게 등록될 수 있다.

검색 요청에 대하여 광고 서버에서나 일반 포털 검색 서버에서 검색이 완료되면 단말기에는 광고 서버로부터 전송되어온 광고 내용이 표출되거나 일반 포털 검색 서버로부터 전송되어온 광고 내용이나 검색 리스트를 제공받을 수 있다. 위 두가지 광고 내용은 동시에 화면에 분할되어 표출되거나 전체 화면에 연속되는 복수의 페이지로 나누어 표출될 수도 있다. 또는, 사용자의 설정에 따라 광고 서버로부터만, 또는 일반 포털 검색 서버로부터만 전송되어온 광고 내용이나 정보만을 단말기에 표출시킬 수도 있다.

서버에서는 검색 단어에 대한 응답으로 광고 내용을 전송하면서 동시에 또는 연속적으로 해당 광고 내용에 대한 할인 쿠폰과 같은 전자 쿠폰을 단말기에 전송해 줄 수 있다

이동통신 서비스를 제공하는 업체에서는 사용자가 검색어 요청을 하고 광고 내용을 다운로드받는데 대한 통신비로서 소정의 금액을 과금하는 것이 보통이다. 사용자는 만일 본 발명에 따라 광고 내용을 수신하는 경우 선택적으로 광고 내용을 제공하는 광고주에게 통신비 대신 부담을 요청할 수 있다. 그 대신 사용자는 좀더 많은 광고를 통신비 대신 부담에 대한 대가로서 다운로드하여야 할지도 모른다.

이렇게 광고주가 통신료를 부담하는 것은 상술한 바와 같이 광고 조건의 일부가 될 수 있다. 즉, 사용자가 검색 요청을 할 때 하나의 조건으로 광고주 통신부 부담부 광고 내용을 선호하는 경우 광고 서버에 광고 내용을 등록할 때 등록하는 광고주 자신이 단말기 사용자의 광고 내용 수신 통신료를 부담하겠다는 조건을 걸면 위와 같은 사용자의 검색 요청 시에 광고 내용 표출 우선 순위가 높아질 수 있다. 사용자는 검색 요청 시에 광고 내용 표출에 대하여 통신료를 부담하는 광고주의 광고 내용만을 선택적으로 검색하도록 요청할 수 있다.

또한, 광고 내용이 표출될 때 사용자가 모바일 단말기를 가지고 있는 경우 단말기의 위치에 가장 가까운 광고주의 사무실, 프랜차이즈, 상품이나 서비스 판매처를 같이 표시할 수도 있다. 예를 들어, 신촌에서 모바일 단말기로 "맥햄버거" 단어가 메시지에 포함될 때, "맥햄버거" 광고 내용이 표출되는 것과 가장 가까운 "맥햄버거" 매장이나 프랜차이즈가 표시될 수 있다. 이상 광고 조건 등록이 완료되었다.

광고주는 이제 등록된 검색어에 대하여 표출될 광고 내용을 등록한다(S707). 마지막으로 광고주는 광고 내용이 등록된 광고 조건에 따라 표출될 때 어떻게 과금이 될 것인가에 대한 과금 조건을 등록(S709)하는 것으로 광고 내용 등록을 종료한다.

여기서 과금 조건은 광고 내용의 표출 횟수가 기준이 될 수도 있고, 광고 내용의 표출 시간, 또는 단말기 사용자가 광고 내용에 대해서 세부 광고나 추가 광고를 클릭하여 다음 단계의 광고로 더 진입하는 기준, 실제 매출 기준, 실제 순익 발생 기준 등 다양하게 설정할 수 있다. 실제 상품이나 서비스를 구매하는 기준은 광고 내용과 동시에 혹은 따로 발송한 전자 쿠폰의 사용 내역을 통해서 알 수 있다.

도 8은 본 발명의 일실시예에 따른 서버장치를 나타내는 블럭도이다.

본 발명에 따른 광고 서버 장치(800)는 먼저 수신부(810)에서 단말기로부터의 검색어를 수신하여 검색 요청에 대한 프로세스를 진행한다. 제어부(820)는 메인 처리 장치로서 광고 서버 장치의 모든 프로세싱과 탐색 등의 작업을 수행하도록 명령한다.

광고 서버 장치는 제어부(820)를 통해 이제 광고정보 데이터베이스부(830)를 탐색하여 검색어에 대응되는 광고 내용이나 정보가 있는지 파악한다. 광고정보 데이터베이스부(830)에는 광고주로부터 미리 등록된 광고 내용이나 정보 제공자가 제공하는 상세한 정보를 저장하여 놓고 있다. 또한, 범용광고 내지는 일반 정보를 저장하여 놓고 있다가 주기적으로 또는 이벤트 발생 시에 단말기에 업데이트할 수 있다.

동일한 검색어에 대하여 복수의 광고 내용이 발견되면 이제 제어부(820)는 어떤 광고 내용이 전송되어 단말기에 표출되어야 하는지를 결정하기 위해 우선 순위를 결정하여야 한다. 이 때 제어부(820)는 우선순위 데이터베이스부(840)를 참조하여 광고 내용에 대한 우선순위를 결정할 수 있다. 우선순위 데이터베이스부(840)와 광고정보 데이터베이스부(830)는 메모리로서 하나의 데이터베이스로 구성하는 것도 가능하다.

우선순위가 결정되면 광고 내용이 선택되고 이에 따라서 광고 내용은 송신부(850)를 통해 단말기로 전송된다. 제어부(820)는 광고 내용이 송출되면서 표출 조건이나 미리 등록된 과금 조건에 따라 어떻게 과금해야 할지를 결정한다.

본 발명에 따른 광고 서버 장치(800)는 단말기로부터 수신한 이미지를 수신하면 이를 이미지 매칭 검색을 하여 어떤 이미지인지를 식별하는 이미지 해석부(860)를 더 포함할 수 있다.

만일 사용자가 광고 내용에 대하여 세부 광고나 추가 광고를 요청하게 되면 수신부(810)에서는 이러한 요청신호를 수신한다. 제어부(820)에서는 광고정보 데이터베이스부(830)를 검색하여 추가 광고가 있는지를 알아내고 추가 광고가 있으면 이를 송신부(850)를 통해 단말기에 보낸다.

또한, 제어부(820)는 전자쿠폰도 송신부(850)를 통해 보낼 수 있다.

이상으로 증강현실을 통한 정보 제공방법과 장치에 대해서 기술하였다. 단말기를 통해 촬상된 이미지나 위치, 태그 등을 통해 대상체를 식별할 수 있고 이를 통해 다양한 정보를 얻을 수 있고 대상체와 관련되는 광고를 수신할 수 있고 수신된 광고를 통해 구매도 가능하다.

이상으로 도면과 명세서를 통해 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미를 한정하거나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이행할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

200, 600; 단말기
610; 촬상부 620; 이미지 해석부
615; 태그리더부 630; 인터페이스부
640; 전송부 650; 수신부
660; 디스플레이부
800; 서버 장치
810; 수신부 820; 제어부
830; 광고정보데이터베이스부 840; 우선 순위 데이터베이스부
850; 송신부 860; 이미지 해석부

Claims

단말기를 통해 대상체를 촬상하여 이미지를 생성하는 단계;
상기 생성된 이미지를 통해 하나 이상의 상기 대상체에 관한 정보를 추출하는 단계;
상기 추출된 정보 중 적어도 하나의 정보가 선택되는 단계;
상기 선택된 정보를 상기 서버에 전송하면서 검색요청을 하는 단계;
상기 단말기는 상기 서버로부터 상기 정보에 대하여 광고주가 지정한 광고조건과 일치하는 복수의 광고 내용 중 가장 우선순위가 높은 광고 내용을 다운로드받는 단계; 및
상기 단말기는 상기 광고 내용을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서, 상기 대상체에 관한 정보는 상기 대상체의 이미지의 명칭이거나 상호, 상표, 제품명 중 어느 하나인 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서, 상기 광고 내용을 선택할 시 상기 대상체에 관한 추가 정보를 상기 서버로부터 다운로드하여 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서,
상기 광고 내용 중 적어도 일부가 선택되는 단계;
상기 선택된 상기 광고 내용 중 적어도 일부가 상기 서버에 전송되는 단계;
상기 단말기는 상기 서버로부터 상기 광고 내용 중 적어도 일부에 대한 추가광고를 다운로드 받는 단계; 및
상기 단말기는 상기 추가 광고 내용을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서, 상기 광고 내용 또는 상기 광고 내용의 적어도 일부의 선택에 의해 상기 광고 내용과 관련되는 사이트에 연결될 수 있는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서, 상기 광고 내용은 구매 메뉴를 포함하고, 상기 구매 메뉴가 선택될 시 상기 단말기는 상기 서버로부터 상기 광고 내용에 대응되는 전자쿠폰을 상기 서버로부터 다운로드 받는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제6항에 있어서, 상기 전자쿠폰은 1차원, 2차원 및 3차원 바코드 중 적어도 하나를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제7항에 있어서, 상기 전자쿠폰은 상기 단말기가 RFID를 구비한 경우, 상기 RFID에 상기 전자쿠폰 정보가 삽입되는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서, 상기 단말기가 상기 광고 내용을 다운로드할 때 상기 서버와의 통신 비용은 상기 서버를 통해 상기 광고 내용을 등록한 광고주에 자동으로 부과되는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서, 상기 이미지는 상기 대상체를 식별할 수 있는 태그인 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제1항에 있어서, 상기 우선순위는 상기 단말기가 상기 광고 내용을 다운로드받는 단계에서 상기 서버에서 상기 단말기 사용자의 연령, 성별, 직업, 상기 검색요청 시간대, 상기 검색 요청이 이루어지는 상기 단말기의 위치에 따라 결정되는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
단말기를 통해 대상체를 촬상하여 이미지를 생성하는 단계;
상기 생성된 이미지를 서버에 전송하는 단계;
상기 서버로부터 전송되어온 하나 이상의 상기 대상체에 관한 정보 중 적어도 하나의 정보가 선택되는 단계;
상기 선택된 정보를 상기 서버에 전송하면서 검색요청을 하는 단계;
상기 단말기는 상기 서버로부터 상기 정보에 대하여 광고주가 지정한 광고조건과 일치하는 복수의 광고 내용 중 가장 우선순위가 높은 광고 내용을 다운로드받는 단계; 및
상기 단말기는 상기 광고 내용을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 대상체에 관한 정보는 상기 대상체의 이미지의 명칭이거나 상호, 상표, 제품명 중 어느 하나인 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 광고 내용을 선택할 시 상기 대상체에 관한 추가 정보를 상기 서버로부터 다운로드하여 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서,
상기 광고 내용 중 적어도 일부가 선택되는 단계;
상기 선택된 상기 광고 내용 중 적어도 일부가 상기 서버에 전송되는 단계;
상기 단말기는 상기 서버로부터 상기 광고 내용 중 적어도 일부에 대한 추가광고를 다운로드 받는 단계; 및
상기 단말기는 상기 추가 광고 내용을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 광고 내용 또는 상기 광고 내용의 적어도 일부의 선택에 의해 상기 광고 내용과 관련되는 사이트에 연결될 수 있는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 광고 내용은 구매 메뉴를 포함하고, 상기 구매 메뉴가 선택될 시 상기 단말기는 상기 서버로부터 상기 광고 내용에 대응되는 전자쿠폰을 상기 서버로부터 다운로드 받는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제17항에 있어서, 상기 전자쿠폰은 1차원, 2차원 및 3차원 바코드 중 적어도 하나를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제18항에 있어서, 상기 전자쿠폰은 상기 단말기가 RFID를 구비한 경우, 상기 RFID에 상기 전자쿠폰 정보가 삽입되는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 단말기가 상기 광고 내용을 다운로드할 때 상기 서버와의 통신 비용은 상기 서버를 통해 상기 광고 내용을 등록한 광고주에 자동으로 부과되는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 우선순위는 상기 단말기가 상기 광고 내용을 다운로드받는 단계에서 상기 서버에서 상기 단말기 사용자의 연령, 성별, 직업, 상기 검색요청 시간대, 상기 검색 요청이 이루어지는 상기 단말기의 위치에 따라 결정되는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 이미지를 전송받아서 상기 대상체에 관한 정보를 추출하는 서버와 상기 광고 내용을 상기 단말기에 제공하는 서버는 서로 별개의 서버인 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
제12항에 있어서, 상기 이미지는 상기 대상체를 식별할 수 있는 태그인 것을 특징으로 하는 증강현실을 통한 정보제공 방법.
대상체를 촬상하는 촬상부;
상기 촬상부에 의해 촬상된 이미지로부터 정보를 추출하는 이미지해석부;
상기 추출된 정보를 선택하도록 하는 인터페이스부;
상기 정보 중 적어도 일부가 선택되는 경우 상기 정보를 서버에 전송하는 전송부;
상기 서버로부터 상기 정보에 대하여 광고주가 지정한 광고조건과 일치하는 복수의 광고 내용 중 가장 우선순위가 높고 광고내용을 다운로드 받는 수신부; 및
상기 광고내용을 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 장치.
제23항에 있어서, 상기 증강현실해석부는 상기 이미지의 문자로부터 텍스트 정보를 추출하여 상기 텍스트를 상기 서버에 전송하는 상기 정보의 일부가 되도록 하는 것을 특징으로 하는 증강현실을 통한 정보제공 장치.
제24항에 있어서, 상기 단말기는 상기 서버로부터 전자쿠폰 정보를 삽입할 수 있는 RFID부를 더 구비한 것을 특징으로 하는 증강현실을 통한 정보제공 장치.
제24항에 있어서, 상기 정보제공 장치는 촬상이 가능한 이동통신 단말기, PDA, e-북, PMP, 컴퓨터 중 적어도 하나인 것을 특징으로 하는 증강현실을 통한 정보제공 장치.
단말기를 통해 대상체를 촬상하여 이미지를 생성하는 단계;
상기 생성된 이미지를 통해 유사 이미지 매칭 검색에 의해 하나 이상의 상기 대상체에 관한 명칭, 상호, 상품명, 상표 또는 로고 중 어느 하나를 검색 대상으로 추출하는 단계;
상기 선택된 검색 대상을 서버에 전송하면서 검색요청을 하는 단계;
상기 단말기는 상기 서버로부터 상기 검색 대상에 해당하는 상세 정보를 다운로드받는 단계; 및
상기 단말기는 상기 다운로드된 상세 정보를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 증강현실을 통한 정보제공 방법.