KR101973934B1 - 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트 - Google Patents

증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트 Download PDF

Info

Publication number
KR101973934B1
KR101973934B1 KR1020120116599A KR20120116599A KR101973934B1 KR 101973934 B1 KR101973934 B1 KR 101973934B1 KR 1020120116599 A KR1020120116599 A KR 1020120116599A KR 20120116599 A KR20120116599 A KR 20120116599A KR 101973934 B1 KR101973934 B1 KR 101973934B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
related information
access point
information
Prior art date
Application number
KR1020120116599A
Other languages
English (en)
Other versions
KR20140050328A (ko
Inventor
류철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120116599A priority Critical patent/KR101973934B1/ko
Priority to US14/030,027 priority patent/US9384395B2/en
Publication of KR20140050328A publication Critical patent/KR20140050328A/ko
Application granted granted Critical
Publication of KR101973934B1 publication Critical patent/KR101973934B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/203—Image generating hardware
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

증강현실 서비스 제공하는 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트가 개시된다. 본 발명의 일 측면에 따른 사용자 단말 장치는, 적어도 하나의 액세스 포인트가 브로드캐스팅하는 증강현실 관련 정보를 수신하는 수신부, 대상물의 이미지를 촬영하여 획득하는 촬영부, 촬영하여 획득한 상기 대상물의 이미지를 상기 적어도 하나의 액세스 포인트로부터 수신한 상기 증강현실 관련 정보와 비교하여, 상기 대상물을 확정하는 비교부를 포함하여 증강현실 서비스를 제공한다.

Description

증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트{METHOD FOR PROVIDING AUGMENTED REALITY, USER TERMINAL AND ACCESS POINT USING THE SAME}
본 발명은 증강현실 서비스에 관한 것으로, 더욱 상세하게는 증강현실 서비스를 제공하는 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트에 관한 것이다.
최근 휴대폰과 개인휴대단말(eprsonal digital assitan; PDA)의 장점을 결합한 스마트폰의 사용이 증가하고 있는데, 스마트폰은 기본적인 휴대폰 기능에 데이터 통신기능을 통합한 형태로, 게임, 이메일, 모닝콜, MP3, 일정 관리, 디지털 카메라, 멀티미디어 메시지 및 무선 인터넷 서비스 등 다양한 응용프로그램을 제공한다.
이러한 스마트폰의 빠른 보급은 증강현실의 상업화에 속도를 더해주고 있다. 증강현실은 현실세계를 가상세계로 보완해주는 개념으로, 컴퓨터 그래픽을 이용해 만든 가상환경을 제공하지만 주가 되는 것은 현실 환경이고, 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 수행한다.
증강현실(Augmented Reality; AR)은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주어 현실세계에서 실시간으로 부가정보를 갖는 가상 세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
이러한 증강현실 서비스에서 주변 장치 또는 주변 대상물에 대해 정보를 제공받는 방식으로 기존에는 미리 구축된 특정 사업자 서버의 중앙집중형 데이터베이스를 이용하는 방식이 주로 사용되었다. 즉, 증강현실 서비스를 제공 받으려는 이용자는 증강현실 서비스 제공자에게 자신의 위치 정보와 바라보는 방향 등의 정보를 포함한 서비스 요청을 보낸다. 증강현실 서비스 제공자는 서비스 이용자의 위치 또는 바라보는 방향 정보등을 이용하여 데이터베이스에 저장된 대상물의 정보를 비교하여 매칭되는 정보를 서비스 이용자 단말에 전송한다. 이를 획득한 증강 현실 응용에서는 사용자가 보는 화면에 주변 대상물의 이미지에 더하여 부가적인 정보를 시각적으로 나타내는 형태로 증강현실 서비스가 제공되었다.
이렇듯, 기존의 증강현실 서비스를 이용하고자 하는 사용자는 이동통신망(예를 들어, 3G 데이터 통신이나 LTE 데이터 통신)이나 근거리무선통신망(예를 들어, WLAN)을 이용하여 인터넷에 접근할 수 있는 능력을 갖추어야만 증강현실 서비스를 제공받을 수 있었다. 또한 이 과정에서 증강현실 사용자는 증강현실 서비스 제공자에게 자신의 위치나 바라보고 있는 방향 등 사생활에 관련된 정보를 전달해야 한다. 즉, 인터넷에 접속할 수 있는 능력과 사생활 보호의 측면에서 단점이 존재하였다.
또한, 이러한 중앙 집중적 데이터베이스를 통하여 서비스를 제공하기 위해서는 대상물에 대한 정보(예를 들어, 상점의 상호와 판매하는 서비스나 상품에 대한 정보)를 수집하는 작업이 필요한데, 일반적으로 광고주가 서비스와 관련된 위치와 함께 이런 정보를 제공하게 된다. 그러나, 이러한 광고가 여러가지 이유로 부정확하거나 쓸모없게 된 때에는 삭제 또는 상태 변경에 대한 정보를 갱신해야 하는 후처리 과정이 필요하다. 하지만, 광고주가 강제성이 없는 이러한 의무를 소홀히 할 경우 부정확한 정보가 데이터베이스에 잔존하게 되고, 증강현실 서비스 이용자에게 부정확한 정보를 제공하게 되는 문제가 발생한다. 따라서, 이러한 정보를 실시간으로 갱신하여 최신 정보를 서비스 이용자에게 제공하기 위해서는 서비스 제공자의 추가적인 관리 비용을 야기한다.
뿐만 아니라, 증강 현실을 통한 서비스 이용 방식은 사용자 주변의 디바이스 밀집도가 높을 경우 또는 사용자가 바라보는 방향으로 대상물이 겹쳐 있을 경우, 대상물을 정확하게 인식하기 어렵다는 단점 또한 존재한다.
상술한 문제점을 극복하기 위한 본 발명의 목적은 증강현실 서비스를 제공하는 사용자 단말 장치를 제공하는 데 있다.
본 발명의 다른 목적은 단말 장치로부터 증강현실 관련 정보를 수집하여 주변의 단말로 제공하는 액세스 포인트를 제공하는 데 있다.
본 발명의 또 다른 목적은 사용자 단말 장치에서 증강현실 서비스를 제공하는 방법을 제공하는 데 있다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 사용자 단말 장치는, 적어도 하나의 액세스 포인트가 브로드캐스팅하는 증강현실 관련 정보를 수신하는 수신부, 대상물의 이미지를 촬영하여 획득하는 촬영부, 촬영하여 획득한 상기 대상물의 이미지를 상기 적어도 하나의 액세스 포인트로부터 수신한 상기 증강현실 관련 정보와 비교하여, 상기 대상물을 확정하는 비교부를 포함하여 증강현실 서비스를 제공한다.
상기 사용자 단말 장치는, 상기 수신부가 출력하는 증강현실 관련 정보를 데이터베이스에 저장하고 관리하는 제어부를 더 포함할 수 있다.
상기 사용자 단말 장치는, 상기 대상물에 대한 촬영 이미지 및 상기 적어도 하나의 대상물 관련 정보를 액세스 포인트로 송신하는 송신부를 더 포함할 수 있다.
상기 사용자 단말 장치는, 상기 확정된 대상물에 대한 부가 정보를 가시화하여 출력하는 출력부를 더 포함할 수 있다.
상기 비교부는, 대상물의 촬영 이미지로부터 이미지 특성을 추출하고, 추출된 이미지 특성을 기반으로 하여 상기 대상물의 촬영 이미지와 데이터베이스에 저장된 적어도 하나의 이미지 간의 유사도를 계산하여, 가장 높은 유사도를 가진 이미지로 상기 대상물을 특정할 수 있다.
단말 장치의 사용자가 특정된 대상물과의 통신을 원하는 경우, 상기 제어부는 확정된 대상물과 사용자 단말과의 통신을 제어할 수 있다.
여기서, 상기 수신부는 상기 적어도 하나의 액세스 포인트와 프리-어소시에시션 상태에서 상기 적어도 하나의 액세스 포인트로부터 증강현실 관련 정보를 수신한다.
여기서, 상기 증강현실 관련 정보는, 적어도 하나의 대상물에 대한 이미지 및 관련 부가 정보를 포함할 수 있다.
상기 송신부는, 상기 적어도 하나의 액세스 포인트와 프리-어소시에이션 상태에서 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 대상물 관련 정보를 상기 액세스 포인트로 송신할 수 있다.
상기 제어부는, 대상물의 촬영 지점, 오토포커싱, 대상물을 주변 배경과 분리하기 위해 터치스크린 상에서의 대상물의 형태에 따른 잘라내기 기능 중 적어도 하나의 기능을 상기 대상물의 촬영 이미지에 적용한 결과 값을 상기 비교부로 제공하여 상기 대상물의 촬영 이미지와 데이터베이스에 저장된 적어도 하나의 이미지 간의 유사도 계산에 이용토록 한다.
본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 액세스 포인트는, 프리-어소시에이션 상태인 적어도 하나의 단말로부터 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 수신하는 수신부, 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 데이터베이스에 등록하는 등록부 및 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 브로드캐스팅하는 송신부를 포함할 수 있다.
상기 액세스 포인트는, 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보 간의 우선순위, 상기 데이터베이스에 저장된 데이터의 양, 네트워크 상황 중 적어도 하나를 고려하여 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보에 대한 스케쥴링을 수행하고, 스케쥴링에 따라 정보를 송신하도록 상기 송신부를 제어하는 상기 제어부를 더 포함할 수 있다.
상기 제어부는, 비컨(Beacon), 프로브 요청(Probe Request), 서비스 디스커버리 요청(Service Discovery Request), 공공 액션(Public Action) 프레임 중 적어도 하나의 프레임을 이용해, 프리-어소시에이션 상태인 적어도 하나의 단말로 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 브로드캐스팅할 수 있다.
상기 액세스 포인트는 모바일 AP 또는 고정 AP일 수 있다.
본 발명의 또 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 사용자 단말 장치에서 증강현실 서비스를 제공하는 방법은, 적어도 하나의 액세스 포인트가 브로드캐스팅하는 증강현실 관련 정보를, 프리-어소시에이션 상태에서 수신하여 데이터베이스에 저장하는 단계, 대상물의 이미지를 촬영하여 획득하는 단계, 및 촬영하여 획득한 상기 대상물의 이미지를 상기 적어도 하나의 액세스 포인트로부터 수신한 상기 증강현실 관련 정보와 비교하여, 상기 대상물을 확정하는 단계를 포함하여 구성될 수 있다.
상기 증강현실 서비스 제공 방법은, 상기 확정된 대상물에 대한 부가 정보를 가시화하여 출력하는 단계를 더 포함할 수 있다.
상기 대상물을 확정하는 단계는, 대상물의 촬영 이미지로부터 이미지 특성을 추출하는 단계, 추출된 이미지 특성을 기반으로 하여 상기 대상물의 촬영 이미지와 상기 데이터베이스에 저장된 적어도 하나의 이미지 간의 유사도를 계산하는 단계, 상기 유사도 계산 결과, 상기 촬영 이미지와 가장 높은 유사도를 가진 이미지로 상기 대상물을 특정하는 단계를 포함할 수 있다.
상술한 바와 같은 본 발명의 구성에 따르면, 사용자는 스마트폰, 웹 패드와 같은 모바일 기기의 카메라와 통신기능을 활용하여 사진 또는 동영상을 촬영하는 직관적 방식으로 통신기능을 갖는 주변장치로 직접 연결하거나 통신기능이 없는 사물에 대해서도 부가적인 정보를 획득할 수 있다.
본 발명은 통신기능이 없는 사물에 대해서도 모바일 AP 또는 고정 AP에 7등록된 이미지를 통해 부가적인 정보제공이 가능하므로, 특정 사업자 서버에 의존성 없이 사용자 주변장치에 대해 증강현실 서비스를 제공할 수 있다.
도 1은 본 발명에 따른 서비스 개념을 설명하기 위한 개념도이다.
도 2는 본 발명에 따라 사용자 참여형 증강현실 서비스를 제공하는 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 관련 정보 수집 방법에 대한 개념도이다.
도 4는 본 발명의 다른 실시예에 따른 증강현실 관련 이미지 표현 방법의 개념도이다.
도 5는 증강현실 정보를 제공하는 액세스 포인트의 동작 개념도이다.
도 6은 본 발명의 일 실시예에 따른 사용자 단말의 동작 순서도이다.
도 7은 본 발명의 일 실시예에 따른 증강현실 제공 서비스의 대표적인 사용예를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 출원에서 사용하는 '단말'은 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 무선 기기(wireless device), 무선 통신 디바이스, 무선송수신유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일 또는 다른 용어들로서 지칭될 수 있다. 단말의 다양한 실시예들은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 명세서에서 사용되는 용어 '액세스 포인트' 또는 'AP'는 일반적으로 단말과 통신하는 고정되거나 이동하는 지점으로서 다수의 단말과 접속할 수 있으며, 접속된 단말들을 인터넷망 또는 통신망으로 연결할 수 있는 능력을 가진 기기를 통칭하기 위해 사용된다.
본 발명에서는 사용자 단말에 장착된 카메라와 직접통신 모듈을 이용하여 인터넷 망 접속을 통한 서비스 제공자의 도움없이 주변사물을 간편하게 인식하여 통신 접속 후 서비스를 제공받을 수 있는 방법을 개시한다.
일반적인 단말간(또는 디바이스간) 직접통신 기술에서는 주변장치와 접속하여 콘텐츠를 송수하기 위해서는 디바이스 검색, 서비스 검색, 디바이스 페어링, 보안 및 접근권한 검사, IP 할당 등의 과정을 거친다. 이러한 단말간 직접 통신이 효율적으로 이용될 수 있는 예로는, 콘서트 등에 참석한 방문자들에게 대용량의 자료를 제공하는 로컬 미디어 서버에 의한 서비스를 그 예로 들 수 있다.
이에 반하여 본 발명에서는, IP와 같은 통신 식별자 할당이 이뤄지는 네트워크 접속 이전 단계인 디바이스 또는 서비스 검색 단계에서 이미지 정보를 수신 받는 기능과 현재 촬영한 이미지와 비교하는 방법을 통해 통신 대상을 직관적으로 선택할 수 있는 방법을 제시한다. 모바일 사용자 단말은 선택된 주변장치의 기본적인 통신 식별자 또는 부가적인 정보를 얻을 수 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 서비스 개념을 설명하기 위한 개념도이다.
도 1에 도시된 개념에 따르는 본 발명은, 액세스 포인트(AP1, AP2)가 주변에 위치하는 여러 사용자 단말(110, 120, 130)로부터 주변사물(A 내지 G)에 대한 이미지와 관련된 정보(A1 내지 G1)를 수집하고, 무선랜 신호를 수신할 수 있는 주변의 사용자 단말로 기 수집된 이미지를 포함한 정보를 브로캐스팅한다. 여기서, 모바일 단말과 액세스 포인트는 서로 접속을 맺은 상태가 아닌, 프리-어소시에이션(pre-Association) 상태이다.
사용자 단말(110, 120, 130)은 브로드캐스팅된 주변 사물의 이미지와 관련된 정보를 수신하여 저장 및 관리하고, 사용자 단말 자신의 카메라로 획득한 이미지와 수집한 이미지를 비교한다. 비교 결과, 주변 사물과 가장 매칭율이 높은 이미지를 주변사물로 인식하고, 해당 이미지와 관련된 부가정보를 사용자 단말의 증강현실 그래픽으로 나타내거나 다른 통신방식에서 이용할 수 있는 통신 식별자 정보를 제공한다.
이 과정에서 사용자 단말은 주변 사물의 이미지 정보를 제공하고, 또한 이미지 정보와 관련된 부가 정보를 수신할 액세스 포인트와의 연결을 시도한다. 사용자 단말은 이를 위해 주변에 존재하는 액세스 포인트를 검색한 후, 신호의 세기가 좋은 액세스 포인트를 우선적으로 연결하고자 할 것이다.
이때, 액세스 포인트와 단말간 통신에 이용되는 프로토콜은 IEEE 802.11 규격을 따른다. IEEE 802.11은 유선 LAN(Local Area Network) 형태인 이더넷의 단점을 보완하기 위해 고안된 기술로, 이더넷 네트워크의 말단에 위치해 필요 없는 배선 작업과 유지관리 비용을 최소화하기 위해 널리 쓰이고 있다. 보통 폐쇄되지 않은 넓은 공간(예를 들어, 하나의 사무실)에 하나의 핫스팟을 설치하며, 외부 WAN(Wide Area Network)과 백본 스위치, 각 사무실 핫스팟 사이를 이더넷 네트워크로 연결하고, 핫스팟부터 각 사무실의 컴퓨터는 무선으로 연결함으로써 사무실 내에 번거로이 케이블을 설치하고 유지보수를 하지 않아도 된다.
관련하여, 802.11에 따른 스테이션(예를 들어, 모바일 단말)의 초기 연결 설정 과정은 스테이션의 전원이 켜지거나 BSS(Basic Service Set) 영역에 진입하게 되면 이루어진다. 이 과정을 위해 스테이션은 AP로부터 동기화 정보를 얻어야 하는데, 스테이션은 동기화 정보를 얻기 위해 모든 채널에 있어 수동 혹은 능동적인 탐색을 수행한다. 수동적인 AP 탐색의 경우 스테이션에서 각기 주파수가 다른 물리 채널을 검색하며 주기적으로 AP에서 송신하는 비컨 프레임의 정보를 이용하여 적합한 AP를 선택한 후 연결 요청을 시도한다.
수동적 AP 탐색의 경우 스테이션은 물리 계층에서 각 채널별로 검색하여 AP들의 비컨 프레이을 비교한 후, 비컨 프레임의 신호 세기를 토대로 가장 양호한 AP를 선택하여 연결 설정 요구 메시지를 송신하고 AP로부터 연결 응답 메시지를 수신하면 채널이 연결된다. 능동적인 AP 탐색의 경우 스테이션은 각 주파수가 다른 물리 채널로 프로브 요청 메시지를 전송하고 AP에서 응답하는 프로브 응답 메시지들을 검색하여 적합한 AP를 선택한 후 ACK 메시지와 함께 연결 요청을 시도하는 형태로 초기 연결 설정 절차가 이루어진다.
하지만, 본 발명에 따른 증강현실 서비스 제공 방법은, 사용자 단말과 액세스 포인트간에 연결이 이루어진 상태뿐 아니라 사용자 단말과 액세스 포인트 간에 아직 네트워크 계층 접속이 이루어지지 않은 상태에서 사용자 단말과 액세스 포인트간에 송수신하는 정보를 이용해 제공될 수 있다.
사용자 단말과 액세스 포인트 간에 네트워크 계층 접속이 이루어지지 않은 상태에서 사용할 수 있는 무선랜 프레임으로는, 비컨 프레임, 프로브 요청 프레임, 서비스 디스커버리 요청 프레임, 공용 액션 프레임 등을 들 수 있다.
도 1에 나타난 실시예를 참조하여 직접통신을 이용한 사용자 참여형 증강현실 서비스의 개념을 살펴본다.
도 1의 AP 1과 AP 2는 액세스 포인트(Access Point; AP)이고, 그 주위로 증강현실 기능을 수행할 수 있는 모바일 단말 1 내지 모바일 단말 4(110 내지 140)가 위치한다. A, B, C, D, E, F, G는 인식의 대상이 되는 대상 사물로 모바일 단말들 주위에 산발적으로 위치하고 있다.
많은 사용자들이 증강현실 서비스를 이용할 만한 곳에서 단말 1(110)이 내장 카메라를 이용하여 인식 대상물인 B를 촬영한다. 단말 1(110)은 촬영을 통해 B1이라는 이미지를 생성하고 대상물 B와 관련된 정보를 부가한 후, 작성된 B 관련 정보를 AP 1 혹은 AP 1이 브로드캐스팅을 위하여 참조하는 데이터베이스를 보유한 서버로 등록 요청한다. 이때 단말 1은, AP 1과의 접속을 형성하지 않은 상태(즉, pre-association 상태)이거나, AP 1가 구축해 놓은 무선 네트워크에 참가한 상태(즉, post-association 상태)일 수 있다.
AP 1은 자신이 보유하거나 데이터베이스에 저장된 증강현실 정보를, 적당한 일정을 계획하여 무선랜 모듈을 이용해 브로드캐스팅한다.
한편, 단말 2(120)도 대상 사물 G를 촬영한 이미지 G1을 생성하여 AP 1에 등록을 요청한다. 마찬가지로 단말 3(130)도 증강현실 정보를 생성하여 AP 1보다 가까운 곳에 위치하는 AP 2로 등록을 요청한다.
AP 1과 AP 2는 네트워크의 상황과 자신의 보유하고 있는 증강현실 사물 정보의 양을 고려하여 적절한 스케쥴링을 수행하고, 근처의 무선랜 기기가 모두 정보를 수신할 수 있는 방법으로 브로드캐스팅을 수행한다. 이를 위하여 프리어소시에이션(pre-association) 상태에서 사용할 수 있는 무선랜 프레임은 802.11-2012에서 규정하고 있는 비컨(Beacon), 프로브 요청(Probe Request), 서비스 디스커버리 요청(Service Discovery Request), 공용 액션(Public Action) 프레임 등이 될 수 있다.
AP 1은 B1 관련 증강현실 정보, G1 관련 증강현실 정보를 브로드캐스팅하고 AP 2는 F1 관련 증강현실 정보를 브로드캐스팅한다. 인식 대상물 B를 바라보는 전형적인 위치에 도달한 프리에소시에이션 상태에 있는 단말 4(140)는 AP 1가 브로드캐스팅하는 B1 관련 증강현실 정보와 더불어 G1 관련 증강현실 정보를 수신한다. 단말 4(140)는 또한, AP 2가 브로드캐스팅하는 F1를 수신한다.
B1, G1, F1를 수신한 단말 4(140)는 자신이 관심의 대상인 B를 촬영한 이미지 B2과 가장 유사한 B1을 선택하고, B1와 함께 송신된 관련 정보를 카메라 영상과 함께 가시화하여 사용자에게 제공한다. 사용자는 찾은 관련 정보를 이용하여 인터넷을 검색하거나 식별자로 특정된 대상과 가용한 통신 방법을 통하여 통신을 수행한다.
도 2는 본 발명에 따라 사용자 참여형 증강현실 서비스를 제공하는 시스템의 구성도이다.
도 2는 이미지 수신 및 이미지 비교 기능을 갖는 모바일 단말, 이미지 송신 및 이미지 등록 기능을 갖는 모바일 AP 또는 고정 AP, 주변 대상물을 포함하여 구성될 수 있는 본 발명의 전체적인 구성의 일 실시예를 보여준다.
본 발명에서, 모바일 AP(210) 또는 고정 AP(220)를 통해 인식하고자 하는 대상은 사람(301), 사물(302, 303)로 분류할 수 있으며, 사용자의 자발적인 참여를 통해 이들 대상을 고정 AP와 모바일 AP에 등록할 수 있다.
등록된 이미지를 포함한 정보들은 고정 AP 또는 모바일 AP의 무선통신 모듈에 의해 주변으로 브로드캐스팅 형태로 송신된다.
브로드캐스팅되는 무선 커버리지 내에 있는 모바일 단말(100)은 무선통신 모듈의 수신부(110)를 통해 이미지 등을 포함하는 정보를 프리-어소시에이션(pre-Association) 상태에서 수집한다. 모바일 사용자는 단말에 장착된 카메라 모듈(120)을 통해 주변의 사물들을 촬영하여 이미지를 획득하고, 모바일 AP 또는 고정 AP로부터 기 수집된 이미지 정보와 비교하여 통신대상 또는 사용자가 원하는 사물의 부가 정보를 획득할 수 있다.
좀더 구체적으로, 모바일 AP(210) 및 고정 AP(220)는 각각, 수신부(201), 등록부(202), 제어부(203), 송신부(204)를 포함하여 구성될 수 있다.
수신부(201)는 프리-어소시에이션 상태인 적어도 하나의 단말로부터 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 수신한다.
등록부(202)는 수신한 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 데이터베이스에 등록하며, 송신부(204)는 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 브로드캐스팅하는 역할을 수행한다. 이때, 송신부는 액세스 포인트와 네트워크 계층 접속 이전인 상태의 단말들에게 증강현실 관련 이미지 및 부가 정보를 브로드캐스팅한다.
제어부(203)는 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보 간의 우선순위, 데이터베이스에 저장된 데이터의 양, 네트워크 상황 중 적어도 하나를 고려하여 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보에 대한 스케쥴링을 수행하고, 스케쥴링에 따라 정보를 송신하도록 송신부(204)를 제어한다.
제어부(203)가 프리-어소시에이션 상태인 적어도 하나의 단말로 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 브로드캐스팅함에 있어 사용할 수 있는 프레임은, 비컨(Beacon) 프레임, 프로브 요청(Probe Request) 프레임, 서비스 디스커버리 요청(Service Discovery Request) 프레임, 공공 액션(Public Action) 프레임 등이다.
이와 같은 본 발명에 따른 구성을 통해, 유선 기반의 레거시 디바이스들도 액세스 포인트에 이미지를 등록할 수 있고, 고정 AP가 대신하여 해당 레거시 디바이스의 이미지를, 액세스 포인트와 프리-어소시에이션 상태에 있는 적어도 하나의 사용자 단말로 브로드캐스팅한다.
이를 위해 모바일 AP(210) 및 고정 AP(220)는 사전에 자신 또는 주변 장치를 식별할 수 있는 이미지를 저장하고 있을 필요가 있다. 일 실시예로, 모바일 단말을 대표할 수 있는 이미지로 스마트폰, 웹패드, 노트북 등의 이미지를 저장할 수 있다. 고정 AP는, 유선통신 기능만 가진 프린터, TV 등의 이미지를 저장하거나 통신 기능이 없는 주변 사물에 대한 이미지 또한 저장할 수 있다. 고정 AP는 또한 사물을 추가적으로 등록할 수 있도록 동적 이미지 업데이트를 수행할 수 있다. 고정 AP에 등록된 이미지 인식률을 높이기 위해 전형적인 위치(typical position) 정보가 활용될 수 있다.
한편, 모바일 단말(100)은 수신부(110), 촬영부(120), 비교부(130), 및 제어부(140)를 포함하여 구성될 수 있다.
수신부(110)는 적어도 하나의 액세스 포인트가 브로드캐스팅하는 증강현실 관련 정보를 수신한다. 즉, 수신부(110)는, 사용자 단말이 액세스 포인트와 프리-어소시에시션 상태에서, 모바일 AP 또는 고정 AP가 브로드캐스팅하는 이미지 관련 특성 정보를 수신한다. 여기서, 증강현실 관련 정보는 적어도 하나의 대상물에 대한 이미지 및 관련 부가 정보를 포함할 수 있다.
촬영부(120)는, 통신 대상물(피사체)을 촬영함으로써 모바일 사용자 또는 주변 사물의 이미지를 획득한다.
비교부(130)는 촬영하여 획득한 대상물의 이미지를 액세스 포인트로부터 수신한 증강현실 관련 정보와 비교하고 대상물을 확정하여, 모바일 사용자가 의도한 통신 대상을 구분하여 제어부(140)로 제공한다. 여기서, 비교부(130)는, 대상물의 촬영 이미지로부터 이미지 특성을 추출하고, 추출된 이미지 특성을 기반으로 하여 대상물의 촬영 이미지와 데이터베이스에 저장된 적어도 하나의 이미지 간의 유사도를 계산하여, 가장 높은 유사도를 가진 이미지로 대상물을 특정한다.
제어부(140)는 수신부(110)가 수신한 이미지 관련 특성 정보를 저장하고 관리하며, 사용자가 확정된 대상물과의 통신을 원하는 경우, 확정된 대상물과 사용자 단말과의 통신을 제어한다.
제어부(140)는 또한, 주변 장치의 밀집도가 높거나, 사용자 주변으로부터 멀리 이동하는 모바일 AP로부터 수신한 정보들을 시간, 수신 주기, 정보의 반복성 등에 의한 스케줄링 정책에 의해 모바일 단말의 메모리를 갱신한다. 여기서, 메모리를 갱신하는 스케줄링의 구체적인 방법은 특정 방법으로 제한되지 않으며, 필요없는 정보를 삭제하거나 필요한 정보를 추가 획득하여 메모리 또는 저장소를 변경하는 일체의 관리 기능을 포함하는 방법이다.
한편, 사용자 단말 장치는, 증강현실 데이터를 액세스 포인트에 등록하기 위해, 대상물에 대한 촬영 이미지 및 적어도 하나의 대상물 관련 정보를 액세스 포인트로 송신하는 송신부(미도시)를 더 포함할 수 있다.
또한, 사용자 단말 장치는, 확정된 대상물에 대한 부가 정보를 가시화하여 출력하는 출력부(미도시)를 더 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강현실 관련 정보 수집 방법에 대한 개념도이다.
본 발명에 따라 모바일 사용자 단말에서 주변사물의 이미지 정보 등을 수집하기 위해서는, 모바일 AP 또는 고정 AP에 미리 관련 데이터베이스를 구축해야 할 필요가 있다. 본 발명에서는 이러한 데이터베이스 구축 과정에서 모바일 사용자가 주변 사물을 촬영하여 직접 등록할 수 있는 기능을 제공한다.
도 3에서는, 카메라가 부착된 모바일 단말에서 대상물 B를 촬영한 이미지 B1을 생성한 후, 대상물 B 관련 부가 정보를 사용자로부터 입력 받는 화면을 예시적으로 나타내고 있다.
사용자는 대상물 B를 가장 조망하기 좋은 곳이나 사물의 정면 등 특정하기 쉬운 곳에서 사진을 촬영한다(S310). 이러한 곳은 다른 사용자들도 증강현실 서비스를 이용할 가능성이 높은 곳이 바람직할 것이다. 이러한 방법은 참여형 방법으로 정확도가 높은 증강현실 서비스를 제공할 확률을 높이는 역할을 한다.
사용자는 이미지 B1와 함께 자신이 알고 있는 B와 관련된 정보를 입력한다(S320). 촬영 대상은 사무실 내의 프린터 등 사무용품이 될 수도 있고, 가로에서 상점의 외관일 수 있다. 프린터라면 프린터를 설정하기 위한 정보나 프린터의 소모품을 주문할 수 있는 URL이 프린터 관련 부가 정보가 될 수 있을 것이다. 상점이라면 온라인 주문 시스템이나 메뉴가 상점 관련 부가 정보가 될 것이다.
이후 모바일 단말(100)은 대상물 관련 부가 정보와 이미지 B1을 함께 AP로 전송하여, AP로 하여금 주변에 존재하거나 미래에 존재할 증강현실 단말을 위한 서비스를 제공하도록 요청한다(S330).
여기서, 모바일 단말(100)은 AP에게 802.11-2012에서 규정하고 있는 비컨(Beacon), 프로브 요청(Probe Request), 서비스 디스커버리 요청(Service Discovery Request), 공용 액션(Public Action) 프레임에 정보를 담아 전달하거나, AP가 제공하는 무선 네트워크에 참여하여 AP가 제공하는 웹이나 다른 응용 프로토콜을 이용하여 등록을 요청한다.
개별 모바일 AP 또는 고정 AP(200)에서는 주변사물에 대한 이미지를 포함한 통신 ID와 같은 기본정보 이외에 광고 메시지, 사진을 촬영한 곳의 GPS 좌표, 추가정보 제공을 위한 URL 등의 사용자 정의 메시지 등을 등록할 수 있는 기능을 제공한다.
본 발명은 이처럼 모바일 단말이 주변장치와 접속하는 과정에서 사용자가 동영상 또는 사진을 촬영하는 방식으로 통신 대상을 손쉽게 선택할 수 있는 방법을 제공한다.
도 4는 본 발명의 다른 실시예에 따른 증강현실 관련 이미지 표현 방법의 개념도이다.
다시 말해, 도 4는 모바일 단말에 의해 수행되는 기 수집된 정보와 촬영된 이미지를 비교하는 과정, 이미지 유사도에 의해 통신대상이 선택되었음을 알리는 과정을 표현한 도면이다.
증강현실 서비스를 이용하는 모바일 단말(100)은 프리어소시에이션(pre-association) 상태에서 AP 1과 AP 2가 전송하는 B1, G1, F1 관련 증강현실 정보를 수신하여 데이터베이스에 저장해 둔다(S410).
단말 사용자가 증강현실 서비스를 통하여 대상물 B에 대해서 정보를 요구하면 실제 대상인 B를 촬영하고(S420), 촬영한 이미지 B2와 데이터베이스가 저장하는 이미지(B1, G1, F1를 포함)를 비교하여, B2와 가장 유사한 이미지 B1을 선택한다. 단말은 선택된 이미지 B1과 관련된 정보를 증강현실 응용 프로그램의 화상에 가시화하여 표시한다(S430). 이후, 사용자는 제공된 증강현실 정보를 보고 대상 B가 다른 단말인 경우 B와 통신을 시도하거나, B와 관련된 URL을 선택하여 인터넷 검색을 수행하는 등의 추가 동작을 선택할 수 있다(S440).
여기서, 본 발명의 일 실시예에 따르면, 모바일 단말과 주변장치가 네트워크 계층접속 이전(pre-Association) 상태에서, 모바일 단말은 수신한 주변 이미지 정보와 현재 촬영한 이미지 비교 과정에서 인식률을 높이기 위해 사진 촬영지점(photo point) 또는 오토포커싱 또는 통신 대상을 주변 배경과 분리하기 위해 터치스크린 상에서 대상의 형태에 따른 잘라내기 기능을 적용할 수 있다.
이와 같이 본 발명에 따르면, 모바일 단말이 주변의 액세스 포인트들(모바일 AP 또는 고정 AP)과 네트워크 계층에서의 접속을 이루기 전에, 즉 프리-어소시에이션 상태에서, 액세스 포인트로부터 이미지 정보를 미리 수신하고, 현재 카메라에서 촬영하고 있는 이미지의 유사도를 계산하여 가장 높은 유사도를 가진 주변장치로 접속이 이루어지거나 주변장치에 대한 부가적인 정보를 표시할 수 있다.
이를 위해 액세스 포인트는 자신 또는 주변사물을 대표할 수 있는 이미지 정보를 미리 보유할 필요가 있다. 본 발명에 따르면 통신 기능이 없는 주변사물들도 사용자 참여, 즉 사용자가 소지하는 단말을 통해 액세스 포인트에 등록될 수 있으며, 등록된 주변 사물들의 존재는 액세스 포인트를 통해 주변장치들로 브로드캐스팅된다.
도 5는 증강현실 정보를 제공하는 액세스 포인트의 동작 개념도이다.
적어도 하나의 단말로부터의 요청에 의해 대상물의 이미지 및 관련 부가 정보가 액세스 포인트에 등록되면(S510), 액세스 포인트가 그 정보를 적절한 시간 간격으로 브로드캐스팅하는 모습(S520)을 나타내고 있다.
브로드캐스팅을 수행함에 있어 G1, F1, B1 간의 스케쥴링은 증강 현실 데이터로 어떤 무선 프레임을 이용하냐에 따라 여러 방식의 스케줄링이 사용될 수 있다.
액세스 포인트는 또한 현재 자신의 주변 무선 네트워크의 트래픽 상황을 파악하여 증강 현실 데이터를 적절한 간격으로 송신한다. 액세스 포인트는 또한, G1, F1, B1 증강 현실 데이터를 순환적으로 송신하되 그 내용에 따라 달라지는 특성에 맞추어 재전송 간격을 조절할 수 있다. 예를 들어, 긴급한 정보나 중요한 정보는 더 짧은 주기로 재전송을 실시한다.
액세스 포인트(200)로부터 증강현실 관련 정보를 수신한 적어도 하나의 모바일 단말이, 브로드캐스팅된 증강 현실 데이터를 저장/보관하였다가 사용자가 요청하는 대상 사물과 비교하고, 적절한 이미지를 사용자에게 제공함은 이미 설명한 바 있다.
도 6은 본 발명의 일 실시예에 따른 모바일 단말의 동작 순서도이다.
도 6은 전반적으로, 증강현실 서비스를 제공하는 사용자 단말의 동작 절차도로서, 모바일 단말이 액세스 포인트로부터 증강현실 관련 정보를 수신하는 과정을 거져 증강현실 어플리케이션을 이용하여 사물을 인식하는 절차를 나타낸다.
구체적으로, 우선 모바일 단말은, 무선통신 상태가 ON인지 체크하여(S601), 무선 통신이 ON이 아니라면 무선 통신 모듈의 동작을 개시한다(S602). 이후 단말은, 프리-어소시에이션 상태에 진입한다(S603). 이 상태에서 모바일 단말은 주변 기기로부터 이미지를 수집하고 자신이 보유하는 데이터베이스에 저장한다(S605). 여기서, 주변 기기의 대표적인 예로는 고정 AP 및 모바일 AP를 들 수 있으나, 본 발명의 범주가 여기에 국한되는 것은 아니며, 해당 모바일 단말과 직접 통신하는 다른 모바일 단말일 수도 있다.
여기서, 주변 기기가 다른 모바일 단말인 경우 다른 모바일 단말은 앞서 설명한 모바일 AP로서 동작하는 것으로 이해될 수 있다. 즉, 모바일 단말은 앞서 서술한 바와 같은 이미지 수집 및 브로드캐스팅 동작을 수행하는 본 발명에 따른 AP로서 동작할 수 있으며, 브로드캐스팅되는 이미지 및 관련 정보를 수신하는 다른 단말과는 직접 통신을 이용해 송수신 동작을 수행한다.
이후, 모바일 단말의 사용자가 관심을 가지는 주변 대상물을 촬영(S607)하고, 대상물의 촬영 이미지로부터 이미지 특성을 추출한다(S609). 추출된 이미지 특성을 기반으로 촬영 이미지와 데이터베이스에 저장하고 있던 여러 이미지를 비교하여(S611), 대상물의 신원을 확정한다. 사용자 단말은 추가적으로 해당 대상물에 대한 부가 정보를 표시하여(S613), 사용자에게 제공한다.
도 7은 본 발명의 일 실시예에 따른 증강현실 제공 서비스의 대표적인 사용예를 나타낸다.
도 7은, 본 발명에 의해 스마트폰의 카메라 모듈을 활용하여 주변 사람의 얼굴을 촬영한 이미지로부터 프리-어소시에이션(pre-Association) 상태에서 앞서 수집한 이미지 기반 주변사물들에 대한 이미지 유사도를 계산하여 가장 순위가 높은 순으로 모바일 화면에 출력한 응용 예를 보여준다.
하지만, 본 발명의 범주가 도 7에 도시된 실시예에 제한되는 것은 아니며, 네트워크 계층에서 접속이 이뤄지지 않은 프리-어소시에이션 상태에서 이미지 정보를 수신하여, 현재 모바일 사용자가 바라보는 대상을 촬영하여 얻은 이미지와 비교하는 방식에 대한 보다 다양한 사례를 포함한다.
상술한 바와 같은 본 발명에 따르는 경우, 인식하고자 하는 사물 또는 사람이 통신기능을 가지고 있지 않더라도, 액세스 포인트에 저장된 데이터베이스 저장 정보만으로 사물에 대한 정보를 얻을 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100, 110, 120, 140: 사용자 단말
200, 210, 220: 액세스 포인트
110: 수신부 120: 촬영부
130: 비교부 140: 제어부

Claims (18)

  1. 증강현실 서비스를 제공하는 사용자 단말 장치로서,
    적어도 하나의 액세스 포인트가 브로드캐스팅하는 증강현실 관련 정보를 수신하는 수신부;
    대상물의 이미지를 촬영하여 획득하는 촬영부; 및
    촬영하여 획득한 상기 대상물의 이미지를 상기 적어도 하나의 액세스 포인트로부터 수신한 상기 증강현실 관련 정보와 비교하여, 상기 대상물을 확정하는 비교부; 및
    상기 대상물에 대한 촬영 이미지 및 대상물 관련 정보를 액세스 포인트로 송신하는 송신부를 포함하고,
    상기 대상물 관련 정보는 상기 대상물의 이름, 상기 대상물의 식별번호, 상기 대상물 관련 URL 및 상기 대상물의 이미지를 촬영한 곳의 좌표 중 하나 이상을 포함하는, 사용자 단말 장치.
  2. 청구항 1에 있어서,
    상기 수신부가 출력하는 증강현실 관련 정보를 데이터베이스에 저장하고 관리하는 제어부를 더 포함하는 사용자 단말 장치.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 확정된 대상물에 대한 부가 정보를 가시화하여 출력하는 출력부를 더 포함하는, 사용자 단말 장치.
  5. 청구항 1에 있어서,
    상기 비교부는,
    대상물의 촬영 이미지로부터 이미지 특성을 추출하고, 추출된 이미지 특성을 기반으로 하여 상기 대상물의 촬영 이미지와 데이터베이스에 저장된 적어도 하나의 이미지 간의 유사도를 계산하여, 가장 높은 유사도를 가진 이미지로 상기 대상물을 특정하는 것을 특징으로 하는, 사용자 단말 장치.
  6. 청구항 2에 있어서,
    상기 제어부는 확정된 대상물과 사용자 단말과의 통신을 제어하는 것을 특징으로 하는, 사용자 단말 장치.
  7. 청구항 1에 있어서,
    상기 수신부는 프리-어소시에시션 상태에서 상기 적어도 하나의 액세스 포인트로부터 증강현실 관련 정보를 수신하는, 사용자 단말 장치.
  8. 청구항 1에 있어서,
    상기 증강현실 관련 정보는,
    적어도 하나의 대상물에 대한 이미지 및 부가 정보를 포함하는 것을 특징으로 하는, 사용자 단말 장치.
  9. 청구항 1에 있어서,
    상기 송신부는,
    상기 적어도 하나의 액세스 포인트와 프리-어소시에이션 상태에서 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 대상물 관련 정보를 상기 액세스 포인트로 송신하는, 사용자 단말 장치.
  10. 청구항 2에 있어서,
    상기 제어부는,
    대상물의 촬영 지점, 오토포커싱, 대상물을 주변 배경과 분리하기 위해 터치스크린 상에서의 대상물의 형태에 따른 잘라내기 기능 중 적어도 하나의 기능을 상기 대상물의 촬영 이미지에 적용하고, 적용 결과 값을 상기 비교부로 제공하여 상기 대상물의 촬영 이미지와 데이터베이스에 저장된 적어도 하나의 이미지 간의 유사도 계산에 이용하도록 제어하는 것을 특징으로 하는, 사용자 단말 장치.
  11. 적어도 하나의 단말로부터 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 수신하는 수신부;
    상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 데이터베이스에 등록하는 등록부; 및
    상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 브로드캐스팅하는 송신부를 포함하는 액세스 포인트.
  12. 청구항 11에 있어서,
    상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보 간의 우선순위, 상기 데이터베이스에 저장된 데이터의 양, 네트워크 상황 중 적어도 하나를 고려하여 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보에 대한 스케쥴링을 수행하고, 스케쥴링에 따라 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 브로드캐스팅하도록 상기 송신부를 제어하는 제어부를 더 포함하는, 액세스 포인트.
  13. 청구항 12에 있어서,
    상기 제어부는,
    비컨(Beacon) 프레임, 프로브 요청(Probe Request) 프레임, 서비스 디스커버리 요청(Service Discovery Request) 프레임, 공공 액션(Public Action) 프레임 중 적어도 하나의 프레임을 이용해, 프리-어소시에이션 상태인 적어도 하나의 단말로 상기 적어도 하나의 대상물에 대한 촬영 이미지 및 관련 정보를 브로드캐스팅하는, 액세스 포인트.
  14. 청구항 11에 있어서,
    상기 액세스 포인트는 모바일 AP 또는 고정 AP인 것을 특징으로 하는, 액세스 포인트.
  15. 청구항 11에 있어서,
    상기 적어도 하나의 대상물에 대한 관련 정보는 상기 대상물의 이름, 상기 대상물의 식별번호, 상기 대상물 관련 URL, 및 상기 대상물의 이미지를 촬영한 곳의 좌표 중 하나 이상을 포함하는, 액세스 포인트.
  16. 사용자 단말 장치에서 증강현실 서비스를 제공하는 방법에 있어서,
    적어도 하나의 액세스 포인트가 브로드캐스팅하는 증강현실 관련 정보를, 프리-어소시에이션 상태에서 수신하고 데이터베이스에 저장하는 단계;
    대상물의 이미지를 촬영하여 획득하는 단계;
    촬영하여 획득한 상기 대상물의 이미지를 상기 적어도 하나의 액세스 포인트로부터 수신한 상기 증강현실 관련 정보와 비교하여, 상기 대상물을 확정하는 단계; 및
    상기 대상물에 대한 촬영 이미지 및 대상물 관련 정보를 액세스 포인트로 송신하는 단계를 포함하고,
    상기 대상물 관련 정보는 상기 대상물의 이름, 상기 대상물의 식별번호, 상기 대상물 관련 URL 및 상기 대상물의 이미지를 촬영한 곳의 좌표 중 하나 이상을 포함하는, 증강현실 서비스 제공 방법.
  17. 청구항 16에 있어서,
    상기 확정된 대상물에 대한 부가 정보를 가시화하여 출력하는 단계를 더 포함하는, 증강현실 서비스 제공 방법.
  18. 청구항 16에 있어서,
    상기 대상물을 확정하는 단계는,
    대상물의 촬영 이미지로부터 이미지 특성을 추출하는 단계;
    추출된 이미지 특성을 기반으로 하여 상기 대상물의 촬영 이미지와 상기 데이터베이스에 저장된 적어도 하나의 이미지 간의 유사도를 계산하는 단계; 및
    상기 유사도 계산 결과, 상기 촬영 이미지와 가장 높은 유사도를 가지는 이미지로 상기 대상물을 특정하는 단계를 포함하는, 증강현실 서비스 제공 방법.
KR1020120116599A 2012-10-19 2012-10-19 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트 KR101973934B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120116599A KR101973934B1 (ko) 2012-10-19 2012-10-19 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트
US14/030,027 US9384395B2 (en) 2012-10-19 2013-09-18 Method for providing augmented reality, and user terminal and access point using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116599A KR101973934B1 (ko) 2012-10-19 2012-10-19 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트

Publications (2)

Publication Number Publication Date
KR20140050328A KR20140050328A (ko) 2014-04-29
KR101973934B1 true KR101973934B1 (ko) 2019-04-30

Family

ID=50485259

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116599A KR101973934B1 (ko) 2012-10-19 2012-10-19 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트

Country Status (2)

Country Link
US (1) US9384395B2 (ko)
KR (1) KR101973934B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2908919A1 (en) * 2012-10-22 2015-08-26 Longsand Limited Collaborative augmented reality
TWI512642B (zh) * 2013-01-25 2015-12-11 Delta Electronics Inc 快速圖形比對方法
US10460371B2 (en) * 2013-03-14 2019-10-29 Duragift, Llc Durable memento method
KR20160112898A (ko) * 2015-03-20 2016-09-28 한국과학기술원 증강현실 기반 동적 서비스 제공 방법 및 장치
KR101850482B1 (ko) * 2016-10-27 2018-04-19 주식회사 씨제이헬로 방송 연동형 증강현실 서비스 시스템 및 방법
US11048325B2 (en) 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
CN107817897A (zh) * 2017-10-30 2018-03-20 努比亚技术有限公司 一种信息智能显示方法及移动终端
CN108551420B (zh) * 2018-04-08 2021-12-14 北京灵犀微光科技有限公司 增强现实设备及其信息处理方法
JP2020123261A (ja) * 2019-01-31 2020-08-13 株式会社東芝 無線通信装置、方法、およびプログラム
KR102386919B1 (ko) * 2020-06-10 2022-04-15 네이버파이낸셜 주식회사 비가청 신호를 이용한 온라인 구매 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102594258B1 (ko) * 2021-04-26 2023-10-26 한국전자통신연구원 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131118B1 (en) * 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
WO2010051858A1 (en) * 2008-11-10 2010-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Method of providing data to a client
EP2280563B1 (en) 2009-07-10 2014-10-01 Deutsche Telekom AG Method and system for adaptive wireless services in augmented environments
KR101401321B1 (ko) * 2009-10-20 2014-05-29 에스케이플래닛 주식회사 근거리 무선 네트워크 기반 증강현실 서비스 시스템 및 그 방법
US20120001724A1 (en) * 2010-07-01 2012-01-05 Petros Belimpasakis Interacting with Peer Devices Based on Machine Detection of Physical Characteristics of Objects
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
KR101662716B1 (ko) 2010-12-14 2016-10-05 삼성전자주식회사 휴대용 단말기에서 억세스 포인트를 검색하기 위한 장치 및 방법
US9773285B2 (en) * 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
WO2013065045A1 (en) * 2011-10-31 2013-05-10 Eyecue Vision Technologies Ltd System for vision recognition based toys and games operated by a mobile device
US20130159869A1 (en) * 2011-12-20 2013-06-20 Crowdscreens, LLC System and method for broadcasting mass market messages over a network of screens
WO2013123598A1 (en) * 2012-02-21 2013-08-29 Alexandre Archambault Packaging or shipping materials acquisition techniques
GB2501567A (en) * 2012-04-25 2013-10-30 Christian Sternitzke Augmented reality information obtaining system

Also Published As

Publication number Publication date
KR20140050328A (ko) 2014-04-29
US20140112265A1 (en) 2014-04-24
US9384395B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
KR101973934B1 (ko) 증강현실 서비스 제공 방법, 이를 이용하는 사용자 단말 장치 및 액세스 포인트
US10314098B2 (en) Method and apparatus for connecting short-range wireless communication in terminal
EP3474523B1 (en) Pairing a mobile terminal with a wireless device
US8805352B2 (en) Determining virtual location based upon scanned wireless signals
KR102391111B1 (ko) 제어 장치 및 방법
JP6186508B2 (ja) ネットワーク接続方法及び端末
US11715177B2 (en) Information processing apparatus and method, electronic device and computer readable medium
JP2004104788A (ja) 通信装置、通信システム、無線通信ネットワーク形成方法
EP2571326A2 (en) Apparatus and method for connecting to device in wireless terminal
JP6080561B2 (ja) 生成機器、制御方法、及びプログラム
US20120184289A1 (en) Positioning system and positioning method thereof
KR20170029281A (ko) 통신 시스템에서 데이터 송수신 방법 및 장치
CN107548129A (zh) 无线通信装置及其控制方法和计算机可读存储介质
KR102197851B1 (ko) 단말간 직접 통신에서 대상 발견 방법 및 장치
CN111246562B (zh) 通信装置及控制方法和存储介质
KR102025363B1 (ko) 휴대형 단말기
KR101181917B1 (ko) Ｄｍｂ용 이동 통신 단말기를 이용한 감시 영상 서비스시스템 및 방법
US20170048654A1 (en) Information processing apparatus, information processing method, and program
CN103841435A (zh) 图片抓拍方法及系统、业务服务器、前端设备
US20120287158A1 (en) Display apparatus, control method for display apparatus, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant