KR20110071210A - 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법 - Google Patents

실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법 Download PDF

Info

Publication number
KR20110071210A
KR20110071210A KR1020090127714A KR20090127714A KR20110071210A KR 20110071210 A KR20110071210 A KR 20110071210A KR 1020090127714 A KR1020090127714 A KR 1020090127714A KR 20090127714 A KR20090127714 A KR 20090127714A KR 20110071210 A KR20110071210 A KR 20110071210A
Authority
KR
South Korea
Prior art keywords
mixed reality
mobile
content
data
camera
Prior art date
Application number
KR1020090127714A
Other languages
English (en)
Other versions
KR101229078B1 (ko
Inventor
손욱호
이건
최진성
정일권
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090127714A priority Critical patent/KR101229078B1/ko
Priority to US12/895,794 priority patent/US20110148922A1/en
Publication of KR20110071210A publication Critical patent/KR20110071210A/ko
Application granted granted Critical
Publication of KR101229078B1 publication Critical patent/KR101229078B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/61—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor using advertising information
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5573—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history player location
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2242/00—Special services or facilities
    • H04M2242/30—Determination of the location of a subscriber
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법에 관한 것으로서, 일면에 따른 모바일 혼합현실 콘텐츠 운용 장치는 사용자의 실내외 주변 환경 및 상황을 분석 및 인지하여 사용자에게 필요한 정보를 모바일 단말기 상의 실제 영상에 가상정보가 중첩된 혼합현실(Mixed Reality)의 콘텐츠(Contents) 형태로 제공하기 위한 것이다.
혼합현실, 특징점 메타 데이터베이스, 센서 네트워크

Description

실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법{Apparatus And Method for Mixed Reality Content Operation Based On Indoor and Outdoor Context Awareness}
본 발명은 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법에 관한 것으로서, 보다 구체적으로는 사용자에게 인지된 실내외 주변 환경 및 상황을 모바일 기반의 응용 콘텐츠 형태로 제공하는 장치 및 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2007-S-051-03,과제명:디지털 크리쳐 제작 S/W 개발].
일반적인 실내외 상황인식 기반의 모바일 응용 콘텐츠 장치는 전시관과 같은 실내에서 각 전시물들에 부착된 고유 RFID 태그로부터 정보를 취득하여 제공하거나 영상인식 정보만으로 부가적인 정보를 제공한다.
실외 환경에서 상황을 인지하는 경우에도, 실내에서와 마찬가지로 영상인식 정보만 활용하고, 센서 네트워크로부터 획득된 정보를 영상인식 정보와 동시에 활용하지 못하여 제한적인 모바일 응용 콘텐츠를 제공한다.
게다가, 실외 환경에서 정확한 지형지물 인식을 위하여 단순 지리정보시스템(GIS)의 데이터베이스(DB)에 저장된 데이터만 활용하기 때문에 개별 지형지물을 정확하게 구분하지 못하고, 자세한 건물 안내 정보 또는 오류 없는 길 안내 정보를 제공하지 못하는 단점이 있다.
본 발명은 상기와 같은 단점을 감안하여 창출한 것으로서, 실내외 주변 환경 및 상황에 대한 센싱 정보 및 영상 인식 정보를 활용하여 사용자에게 모바일 기반의 응용 콘텐츠 서비스를 제공하는 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 콘텐츠와 관련된 데이터베이스의 상위 계층으로 특징점(Feature Point) 메타 데이터베이스를 구축하고, 이를 이용하여 정확하고 상세한 응용 콘텐츠 서비스를 제공하는 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 카메라가 장착된 모바일 기반의 혼합현실 콘텐츠 운용 장치는 감지된 상기 모바일의 주변 데이터 및 상기 카메라의 위치/자세 데이터 중 적어도 하나를 전달받아 이를 근거로 상기 모바일의 주변 상황을 인식하는 상황인지 처리부; 상기 카메라를 통해 획득된 실제영상 위에 가상객체 및 텍스트 중 적어도 하나를 중첩하여 혼합현실 영상을 생성하는 혼합현실 가시화 처리부; 및 인식된 상기 모바일의 주변 상황에 따라 상황연계형으로 콘텐츠를 제공하는 혼합현실 응용 콘텐츠 구동부를 포함한다.
본 발명의 다른 면에 따른 카메라가 장착된 모바일 기반의 혼합현실 콘텐츠 운용 방법은 감지된 상기 모바일의 주변 데이터 및 상기 카메라의 위치/자세 데이 터 중 적어도 하나를 수신하는 단계; 수신된 데이터를 근거로 상기 모바일의 주변 상황을 인식하는 단계; 및 인식된 상기 모바일의 주변 상황에 따라 상황연계형으로 콘텐츠를 제공하는 단계를 포함한다.
본 발명에 따르면, 실내/외 환경 및 상황에 대한 부가 정보를 혼합현실의 콘텐츠 형태로 제공할 수 있다.
특히 센서 네트워크를 통해 획득된 정보와 카메라를 통해 인식된 정보를 근거로 사용자에게 실시간으로 필요한 정보를 혼합현실 콘텐츠 형태로 제공할 수 있는 이점이 있다.
또한, 콘텐츠와 관련된 데이터베이스의 상위 계층으로 구축된 특징점(Feature Point) 메타 데이터베이스를 이용하여 사용자에게 필요한 정보를 정확하고 상세하게 혼합현실 콘텐츠 형태로 제공할 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제 한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 도 1을 참조하여 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 장치를 설명한다. 도 1은 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 장치를 설명하기 위한 블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 장치(100)는 카메라가 장착된 모바일 기반의 혼합현실 콘텐츠 운용 장치로서, 센서 데이터 획득부(110), 혼합현실 가시화 처리부(120), 상황인지 처리부(130), 혼합현실 응용 콘텐츠 구동부(140) 및 표시부(150)를 포함한다.
센서 데이터 획득부(110)는 센서 네트워크 및 위치/자세 센서로부터의 센서 정보를 추출한다.
예컨대, 센서 데이터 획득부(110)는 센서 네트워크나 휴대 정보 단말기에 부착된 위치/자세 센서로부터 미가공 센서 데이터(Raw Sensor Data)를 획득한 후 가공 처리하여 위치/자세 데이터를 혼합현실 가시화 처리부(130)로 출력하고, 획득된 모든 센서 데이터를 상황인지 처리부(120)로 출력한다.
즉, 센서 데이터 획득부(110)는 모바일의 주변에 형성된 센서 네트워크로부터 모바일의 주변 데이터를 획득하고, 카메라의 위치/자세를 추적하는 위치/자세 센서로부터 카메라의 위치/자세 데이터를 획득한다. 센서 데이터 획득부(110)는 획득된 위치/자세 데이터를 혼합현실 가시화 처리부(120)로 전달하고, 획득된 주변 데이터 및 위치/자세 데이터를 상황인지 처리부(130)로 전달한다.
혼합현실 가시화 처리부(120)는 카메라로 획득된 실제영상 위에 가상객체 및 텍스트를 중첩하여 영상을 생성한다.
예컨대, 혼합현실 가시화 처리부(120)는 위치/자세 데이터를 실시간으로 추적한 후 특징점(Feature Point)기반의 영상인식을 바탕으로 영상정합을 처리하고, 합성된 영상을 생성한다.
상황인지 처리부(130)는 획득된 센서 정보의 자동분석 또는 위치/자세 센서 데이터로부터의 실내/외 상황 인식을 한다.
예컨대, 상황인지 처리부(130)는 센서 데이터를 활용하여 날씨/위치/시간/도메인/사용자 의도 등의 상황인식을 한 후 인식된 상황정보를 혼합현실 응용 콘텐츠 구동부(140)로 출력한다.
혼합현실 응용 콘텐츠 구동부(140)는 다양한 모바일 상황인식에 따라 상황연계형으로 콘텐츠 제시를 한다.
예컨대, 혼합현실 응용 콘텐츠 구동부(140)는 콘텐츠 서버(200)로부터 상황정보와 연동되어 콘텐츠 서버(200)에 의해 정보/콘텐츠 DB(300)로부터 추출된 맞춤형 데이터가 반영된 콘텐츠를 제공한다.
표시부(150)는 생성된 혼합현실 영상에 상황연계형으로 제공되는 콘텐츠를 표시한다. 예컨대, 표시부(150)는 실내외 전시물 안내, 퍼스널 내비게이션(길 안내 서비스), 개인 맞춤형 광고 등의 혼합현실 콘텐츠를 표시한다.
콘텐츠 서버(200)는 정보/콘텐츠 DB(300)를 상황정보와 연계시킴과 동시에 상황정보에 연계된 콘텐츠 데이터를 정보/콘텐츠 DB(300)로부터 추출한 후 무선 네트워크 전송에 의하여 혼합현실 응용 콘텐츠 구동부(140)로 출력한다.
정보/콘텐츠 DB(300)는 GIS 특징점 메타 DB, GIS 정보 DB, 콘텐츠 DB 등을 포함하고, 사용자 프로파일을 저장한다.
이상 도 1을 참조하여 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 장치를 설명하였고, 이하에서는 도 2 및 도 3을 참조하여 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 방법을 설명한다. 도 2 및 도 3은 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 방법을 설명하기 위해 데이터 흐름을 표시한 도면이다.
도 2 및 도 3에 도시된 바와 같이, 센서 데이터 획득부(110)는 센세 네트워크로부터 모바일의 주변 데이터를 획득하고, 위치/자세 센서로부터 위치/자세 데이터를 획득한다. 센서 데이터 획득부(110)는 획득된 위치/자세 데이터를 혼합현실 가시화 처리부(120)로 전달하고, 획득된 모든 센서 데이터, 즉 주변 데이터 및 위치/자세 데이터를 상황인지 처리부(130)로 전달한다.
혼합현실 가시화 처리부(120)는 위치 및 자세 트래킹 모듈, 혼합현실 정합 모듈 및 혼합현실 영상 합성 모듈을 포함한다.
예컨대, 혼합현실 가시화 처리부(120)는 위치 및 자세 트래킹 모듈을 통해 실시간으로 카메라의 위치 및 자세 트래킹을 하고, 혼합현실 정합 모듈을 통해 카메라 매개변수로부터 영상인식 기반 혼합현실 정합을 하며, 혼합현실 영상 합성 모 듈을 통해 영상합성 매개변수를 활용하여 혼합현실 영상 합성을 한다.
상황인지 처리부(130)는 날씨 인지 모듈, 위치 인지 모듈, 시간 인지 모듈, 도메인 인지 모듈 및 사용자 의도 인지 모듈을 포함한다.
상황인지 처리부(130)는 날씨 인지 모듈을 통해 전달된 센서 데이터를 근거로 현재 날씨를 인지하고, 위치 인지 모듈을 통해 전달된 센서 데이터를 근거로 현재 위치를 인지하며, 시간 인지 모듈을 통해 전달된 센서 데이터를 근거로 현재시간을 인지한다. 또한, 상황인지 처리부(130)는 도메인 인지 모듈을 통해 전달된 센서 데이터를 근거로 정보 제공 도메인을 인지하고, 사용자 의도 인지 모듈을 통해 전달된 센서 데이터를 근거로 사용자의 의도를 인지한다.
혼합현실 응용 콘텐츠 구동부(140)는 콘텐츠 클라이언트(141) 및 응용 콘텐츠 브라우저(142)를 포함한다.
콘텐츠 클라이언트(141)는 콘텐츠 서버(200)로부터 상황인지에 맞추어진 DB 데이터를 가져온다.
응용 콘텐츠 브라우저(142)는 콘텐츠 클라이언트와 해당 상황정보가 반영된 모바일 혼합현실 콘텐츠를 그래픽으로 처리한다.
여기서 혼합현실 콘텐츠는 응용서비스 영상으로서, 실내외 전시물 안내, 퍼스널 내비게이션, 게인 맞춤형 광고 등이다.
콘텐츠 서버(200)는 사용자 정보를 관리하고, 콘텐츠를 보관 및 전송하며, 상황정보에 연동한다. 예컨대, 콘텐츠 서버(200)는 정보/콘텐츠 DB(300)로부터 상황 정보에 대응되는 맞춤형 콘텐츠 정보를 추출하고, 추출된 맞춤형 콘텐츠 정보를 혼합현실 운용 장치(100)로 전송한다.
정보/콘텐츠 DB(300)는 사용자 서비스 DB, GIS 특징점 메타 DB, GIS 정보 DB, 콘텐츠 DB를 포함하고, 사용자 서비스 DB에는 개인 프로파일, 서비스 이용 기록 등이 저장되고, GIS 정보 DB에는 지도 데이터, 3D 지형 데이터 등이 저장되며, 콘텐츠 DB에는 3D 모델, 웹 링크, 광고, 위치 연계 정보 등이 저장된다. GIS 특징점 메타 DB에는 GIS 정보 DB에 저장된 데이터보다 구체적이고 세부적인 지도 관련 데이터가 저장된다.
이상 도 2 및 도 3을 참조하여 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 장치의 데이터 흐름을 설명하였고, 이하에서는 도 4를 참조하여 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 장치의 응용 예를 설명한다. 도 4는 본 발명의 일실시예에 따른 콘텐츠 응용 장치의 응용 예를 설명하기 위한 예시도이다.
도 4에 도시된 바와 같이, 본 발명의 혼합현실 콘텐츠 운용 장치(100)는 모바일 단말기에 탑재될 수 있다.
이렇게 혼합현실 콘텐츠 운용 장치(100)가 탑재된 모바일 단말기를 휴대한 사용자가 전시관을 관람하거나 도보 중일 경우, 콘텐츠 운용 장치(100)는 사용자의 조작에 따라 모바일 단말기에 장착된 카메라를 통해 실제 영상을 입력받을 수 있다. 혼합현실 운용 장치(100)는 입력된 실제 영상에 나타난 특정 전시물 또는 건물 등의 객체 상에 가상 객체 및 텍스트가 중첩된 형태의 혼합현실 영상으로 부가설명이 나타나는 서비스를 제공할 수 있다.
예컨대, 혼합현실 운용 장치(100)는 사용자가 전시관을 체험하고자할 경우, 가상 도우미역할을 수행하여 사용자에게 안내 서비스를 제공할 수 있고, 사용자가 이동 중일 경우에는 사용자에게 건물 정보 안내, 건물 식별, 길 안내 서비스 등을 제공할 수 있다.
이러한 서비스를 제공하기 위해 혼합현실 운용 장치(100)는 콘텐츠 서버(200)로부터 인식된 상황 정보에 대응되는 정보를 제공받는다.
즉, 콘텐츠 서버(200)는 혼합현실 운용 장치(100)로 정보를 제공하기 위해 사용자 서비스 DB, GIS 정보 DB, 콘텐츠 DB를 포함한 정보/콘텐츠 DB(300)로부터 인식된 상황 정보에 대응되는 정보를 추출하고, 추출된 정보를 혼합현실 운용 장치(100)로 전송한다. 사용자 서비스 DB에는 개인 프로파일, 서비스 이용 기록 등이 저장되고, GIS 정보 DB에는 지도 데이터, 3D 지형 데이터 등이 저장되며, 콘텐츠 DB에는 3D 모델, 웹 링크, 광고, 위치 연계 정보 등이 저장된다.
한편, 혼합현실 운용 장치(100)는 날씨/시간/장소/도메인/사용자 의도 등의 세밀한 상황정보를 반영하여 실사 수준으로 표현된 혼합현실 콘텐츠 영상을 생성하고, 생성된 혼합현실 콘텐츠 영상을 통해 모바일 가상광고 서비스를 제공할 수 있다.
또한, 혼합현실 운용 장치(100)는 건물 안내 정보 서비스를 위해 특징점 메타 DB가 구축된 경우, 구축된 특징점 메타 DB를 통해 얽혀있는 복잡한 건물에 대해 세부 구분이 가능하도록 하는 서비스를 제공할 수도 있다.
전술한 바와 같이, 본 발명의 혼합현실 콘텐츠 운용 장치(100)는 모바일 단말기에 탑재되어 혼합현실 기반으로 응용 콘텐츠를 운용할 경우, 센서 네트워크의 센서 정보 및 카메라 영상 정보를 모두 활용하여 위치인식뿐 아니라, 날씨/시간/위치/도메인/사용자 의도 등의 다양한 형태의 상황인식 처리결과 및 특징점 메타 DB를 활용하여 지형지물을 식별할 수 있어서, 사용자에게 실내/외 환경에서 자동 상황인지에 의한 전시관 관람 안내 서비스, 건물 안내 서비스, 길 안내 서비스 및 맞춤형 광고 서비스 등을 혼합현실 콘텐츠 형태로 제공할 수 있다.
즉, 본 발명의 혼합현실 콘텐츠 운용 장치(100)는 RFID 기반의 모바일 정보 서비스 및 제한된 형태의 건물 안내 정보를 혼합현실 콘텐츠 형태로 제공받는 서비스의 한계를 극복하여 새로운 형태의 서비스를 제공할 수 있다.
또한 본 발명의 혼합현실 콘텐츠 운용 장치(100)는 엔터테인먼트 분야에서 다자 참여가 가능한 모바일 가상현실 게임 서비스, 가상 환경에서의 작업 훈련 및 교육이나 웨어러블 컴퓨팅, 유비쿼터스 컴퓨팅, 편재형 지능 응용 서비스 등의 폭 넓은 분야에 활용 가능하다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 장치를 설명한 블럭도.
도 2 및 도 3은 본 발명의 일실시예에 따른 혼합현실 콘텐츠 운용 방법을 설명하기 위해 데이터 흐름을 표시한 도면.
도 4는 본 발명의 일실시예에 따른 콘텐츠 응용 장치의 응용 예를 설명한 예시도.
<도면의 주요 참조부호에 대한 설명>
100 : 혼합현실 콘텐츠 운용 장치 110 : 센서 데이터 획득부
120 : 혼합현실 가시화 처리부 130 : 상황인지 처리부
140 : 혼합현실 응용 콘텐츠 구동부 150 : 표시부
200 : 콘텐츠 서버 300 : 정보/콘텐츠 DB

Claims (15)

  1. 카메라가 장착된 모바일 기반의 혼합현실 콘텐츠 운용 장치에 있어서,
    상기 카메라를 통해 획득된 실제영상 위에 가상객체 및 텍스트 중 적어도 하나를 중첩하여 혼합현실 영상을 생성하는 혼합현실 가시화 처리부;
    감지된 상기 모바일의 주변 데이터 및 상기 카메라의 위치/자세 데이터 중 적어도 하나를 전달받아 이를 근거로 상기 모바일의 주변 상황을 인식하는 상황인지 처리부; 및
    인식된 상기 모바일의 주변 상황에 따라 상황연계형으로 콘텐츠를 제공하는 혼합현실 응용 콘텐츠 구동부
    를 포함하는 혼합현실 콘텐츠 운용 장치.
  2. 제1항에 있어서,
    생성된 상기 혼합현실 영상에 상기 상황연계형으로 제공되는 상기 콘텐츠를 표시하는 표시부를 더 포함하는 혼합현실 콘텐츠 운용 장치.
  3. 제1항에 있어서,
    상기 모바일의 주변에 형성된 센서 네트워크로부터 상기 모바일의 주변 데이터를 획득하고, 상기 카메라의 위치/자세를 추적하는 위치/자세 센서로부터 상기 카메라의 위치/자세 데이터를 획득하며, 획득된 상기 주변 데이터 및 상기 위치/자 세 데이터 중 적어도 하나를 전달하는 센서 데이터 획득부를 더 포함하는 혼합현실 콘텐츠 운용 장치.
  4. 제1항에 있어서,
    상기 혼합현실 가시화 처리부는 전달된 상기 위치/자세 데이터를 실시간으로 추적한 후 특징점(Feature Point) 기반의 영상인식을 바탕으로 영상정합을 처리하여 합성된 상기 혼합현실 영상을 생성하는 것
    인 혼합현실 콘텐츠 운용 장치.
  5. 제1항에 있어서,
    상기 상황인지 처리부는 전달된 상기 모바일의 주변 데이터 및 상기 카메라의 위치/자세 데이터 중 적어도 하나를 활용하여 날씨, 위치, 시간, 도메인 및 사용자의 의도 중 적어도 하나에 대한 인식을 통해 상기 모바일의 주변 상황을 인식하는 것
    인 혼합현실 콘텐츠 운용 장치.
  6. 제1항에 있어서,
    상기 혼합현실 응용 콘텐츠 구동부는 콘텐츠 서버와 연동하여 상기 콘텐츠 서버로부터 상기 모바일의 주변 상황을 근거로 추출된 맞춤형 데이터를 수신하고, 수신된 상기 맞춤형 데이터를 반영한 상기 콘텐츠를 제공하는 것
    인 혼합현실 콘텐츠 운용 장치.
  7. 제6항에 있어서,
    상기 혼합현실 응용 콘텐츠 구동부는 정보 서비스를 위해 구축된 특징점 메타 데이터베이스로부터 상기 콘텐츠 서버에 의해 추출된 상기 모바일의 주변 상황에 대응되는 세부정보를 상기 콘텐츠 서버로부터 수신하고, 수신된 상기 세부정보를 반영한 상기 콘텐츠를 제공하는 것
    인 혼합현실 콘텐츠 운용 장치.
  8. 제1항에 있어서,
    상기 상황인지 처리부는 날씨, 시간, 위치, 도메인, 사용자 의도 중 적어도 하나에 대한 인식을 통해 상기 모바일의 주변 상황을 인식하되,
    상기 혼합현실 응용 콘텐츠 구동부는 상기 모바일의 주변 상황 인식에 대응되는 특징점 메타 데이터를 활용하여 상기 사용자에게 전시관 관람, 건물 안내, 길 안내 및 맞춤형 광고 서비스 중 적어도 하나를 혼합현실 콘텐츠 형태로 제공하는 것
    인 혼합현실 콘텐츠 운용 장치.
  9. 카메라가 장착된 모바일 기반의 혼합현실 콘텐츠 운용 방법에 있어서,
    감지된 상기 모바일의 주변 데이터 및 상기 카메라의 위치/자세 데이터 중 적어도 하나를 수신하는 단계;
    수신된 데이터를 근거로 상기 모바일의 주변 상황을 인식하는 단계; 및
    인식된 상기 모바일의 주변 상황에 따라 상황연계형으로 콘텐츠를 제공하는 단계
    를 포함하는 혼합현실 콘텐츠 운용 방법.
  10. 제9항에 있어서,
    상기 카메라를 통해 획득된 실제영상 위에 가상객체 및 텍스트 중 적어도 하나를 중첩하여 혼합현실 영상을 생성하는 단계; 및
    생성된 상기 혼합현실 영상에 상기 상황연계형으로 제공되는 상기 콘텐츠를 표시하는 단계
    를 더 포함하는 혼합현실 콘텐츠 운용 방법.
  11. 제10항에 있어서, 상기 생성하는 단계는,
    전달된 상기 위치/자세 데이터를 실시간으로 추적한 후 특징점(Feature Point) 기반으로 상기 실제영상을 인식하는 단계;
    인식된 상기 실제영상을 바탕으로 영상정합을 처리하여 합성된 상기 혼합현실 영상을 생성하는 단계
    를 포함하는 것인 혼합현실 콘텐츠 운용 방법.
  12. 제9항에 있어서,
    상기 모바일의 주변에 형성된 센서 네트워크로부터 상기 모바일의 주변 데이터를 획득하는 단계;
    상기 카메라의 위치/자세를 추적하여 상기 카메라의 위치/자세 데이터를 획득하는 단계; 및
    획득된 상기 주변 데이터 및 상기 위치/자세 데이터 중 적어도 하나를 전달하는 단계
    를 더 포함하는 혼합현실 콘텐츠 운용 방법.
  13. 제9항에 있어서, 상기 주변 상황을 인식하는 단계는,
    전달된 상기 모바일의 주변 데이터 및 상기 카메라의 위치/자세 데이터 중 적어도 하나를 활용하여 날씨, 위치, 시간, 도메인 및 사용자의 의도 중 적어도 하나에 대한 인식을 통해 상기 모바일의 주변 상황을 인식하는 단계인 것
    인 혼합현실 콘텐츠 운용 방법.
  14. 제9항에 있어서, 상기 제공하는 단계는,
    콘텐츠 서버와 연동하여 상기 콘텐츠 서버로부터 상기 모바일의 주변 상황을 근거로 추출된 맞춤형 데이터를 수신하는 단계; 및
    수신된 상기 맞춤형 데이터를 반영한 상기 콘텐츠를 제공하는 단계
    를 포함하는 것인 혼합현실 콘텐츠 운용 방법.
  15. 제9항에 있어서,
    날씨, 시간, 위치, 도메인, 사용자 의도 중 적어도 하나에 대한 인식을 통해 상기 모바일의 주변 상황이 인식되되,
    상기 제공하는 단계는,
    상기 모바일의 주변 상황 인식에 대응되는 특징점 메타 데이터를 활용하여 상기 사용자에게 전시관 관람, 건물 안내, 길 안내 및 맞춤형 광고 서비스 중 적어도 하나를 혼합현실 콘텐츠 형태로 제공하는 단계를 포함하는 것
    인 혼합현실 콘텐츠 운용 방법.
KR1020090127714A 2009-12-21 2009-12-21 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법 KR101229078B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090127714A KR101229078B1 (ko) 2009-12-21 2009-12-21 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
US12/895,794 US20110148922A1 (en) 2009-12-21 2010-09-30 Apparatus and method for mixed reality content operation based on indoor and outdoor context awareness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090127714A KR101229078B1 (ko) 2009-12-21 2009-12-21 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110071210A true KR20110071210A (ko) 2011-06-29
KR101229078B1 KR101229078B1 (ko) 2013-02-04

Family

ID=44150413

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090127714A KR101229078B1 (ko) 2009-12-21 2009-12-21 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법

Country Status (2)

Country Link
US (1) US20110148922A1 (ko)
KR (1) KR101229078B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281161B1 (ko) * 2011-07-21 2013-07-02 주식회사 엘지씨엔에스 증강현실 기반의 경품 서비스 제공 방법
KR20150130383A (ko) * 2013-03-15 2015-11-23 퀄컴 인코포레이티드 콘텍스트 인식 로컬화, 매핑, 및 트래킹
KR20180006432A (ko) * 2015-10-30 2018-01-17 스냅 인코포레이티드 증강 현실 시스템에서의 이미지 기반 추적
US10657708B1 (en) 2015-11-30 2020-05-19 Snap Inc. Image and point cloud based tracking and in augmented reality systems
KR20210026966A (ko) 2019-09-02 2021-03-10 주식회사 인터포 증강현실 및 빅데이터를 이용한 가상객체 관리 방법 및 그를 수행하는 모바일 단말
KR20210078342A (ko) 2019-12-18 2021-06-28 주식회사 인터포 증강현실을 이용한 가상객체 관리 방법, 증강현실을 이용한 행사 관리 방법 및 모바일 단말
US11189299B1 (en) 2017-02-20 2021-11-30 Snap Inc. Augmented reality speech balloon system
US11195018B1 (en) 2017-04-20 2021-12-07 Snap Inc. Augmented reality typography personalization system
US11861795B1 (en) 2017-02-17 2024-01-02 Snap Inc. Augmented reality anamorphosis system
US12033253B2 (en) 2021-11-17 2024-07-09 Snap Inc. Augmented reality typography personalization system

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL208600A (en) * 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
KR101317532B1 (ko) * 2010-10-13 2013-10-15 주식회사 팬택 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
KR101837082B1 (ko) * 2011-01-20 2018-03-09 삼성전자주식회사 기기 제어 방법 및 그 장치
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
US9600933B2 (en) 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
CN104160750B (zh) * 2011-12-28 2018-03-30 英特尔公司 替代的视觉呈现
US8668136B2 (en) 2012-03-01 2014-03-11 Trimble Navigation Limited Method and system for RFID-assisted imaging
US20150262208A1 (en) * 2012-10-04 2015-09-17 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9424472B2 (en) 2012-11-26 2016-08-23 Ebay Inc. Augmented reality information system
US9292936B2 (en) 2013-01-09 2016-03-22 Omiimii Ltd. Method and apparatus for determining location
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
KR20140122458A (ko) * 2013-04-10 2014-10-20 삼성전자주식회사 휴대 단말 장치의 화면 표시 방법 및 장치
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10021247B2 (en) 2013-11-14 2018-07-10 Wells Fargo Bank, N.A. Call center interface
US9864972B2 (en) 2013-11-14 2018-01-09 Wells Fargo Bank, N.A. Vehicle interface
US10037542B2 (en) 2013-11-14 2018-07-31 Wells Fargo Bank, N.A. Automated teller machine (ATM) interface
EP3087798A4 (en) 2013-12-28 2017-08-30 Intel Corporation System and method for device action and configuration based on user context detection from sensors in peripheral devices
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
EP3449649A4 (en) * 2016-09-29 2019-12-11 Hewlett-Packard Development Company, L.P. ADJUSTING SETTINGS TO COMPUTER DEVICES BASED ON LOCATION
US10163242B2 (en) * 2017-01-31 2018-12-25 Gordon Todd Jagerson, Jr. Energy grid data platform
EP3367210A1 (en) 2017-02-24 2018-08-29 Thomson Licensing Method for operating a device and corresponding device, system, computer readable program product and computer readable storage medium
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
KR101917359B1 (ko) 2017-08-03 2019-01-24 한국과학기술연구원 내부 및 외부 영상의 적응형 정합을 통한 실감 투시 방법 및 시스템
WO2019175789A1 (ru) * 2018-03-15 2019-09-19 ГИОРГАДЗЕ, Анико Тенгизовна Способ выбора виртуального рекламного объекта для последующей демонстрации его пользователю
WO2020003014A1 (ru) * 2018-06-26 2020-01-02 ГИОРГАДЗЕ, Анико Тенгизовна Устранение пробелов в понимании информации, возникающих при взаимодействии пользователей в коммуникационных системах, использующих объекты дополненной реальности
CN117678002A (zh) * 2021-07-14 2024-03-08 扎纳特·马尔别科夫 具有智能信息控制的多功能信息通讯平台
US20230081271A1 (en) * 2021-09-13 2023-03-16 Fei Teng Method for displaying commericial advertisements in virtual reality scene

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
DE10159610B4 (de) * 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
KR100651508B1 (ko) * 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US8301159B2 (en) * 2004-12-31 2012-10-30 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
DE602005016311D1 (de) * 2005-06-06 2009-10-08 Tomtom Int Bv Navigationseinrichtung mit kamera-info
JP4527155B2 (ja) * 2005-12-28 2010-08-18 富士通株式会社 ナビゲーション情報表示システム、ナビゲーション情報表示方法、およびそのためのプログラム
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
KR20090001667A (ko) * 2007-05-09 2009-01-09 삼성전자주식회사 증강 현실 기술을 이용하여 컨텐츠를 구현하기 위한 장치및 방법
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
KR100914848B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 혼합현실 시스템 및 그 구현 방법
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
WO2010065915A1 (en) * 2008-12-04 2010-06-10 Apisphere, Inc. System for and method of location-based process execution
AU2008365415A1 (en) * 2008-12-19 2010-06-24 Tele Atlas B.V. Dynamically mapping images on objects in a navigation system
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281161B1 (ko) * 2011-07-21 2013-07-02 주식회사 엘지씨엔에스 증강현실 기반의 경품 서비스 제공 방법
KR20150130383A (ko) * 2013-03-15 2015-11-23 퀄컴 인코포레이티드 콘텍스트 인식 로컬화, 매핑, 및 트래킹
US11315331B2 (en) 2015-10-30 2022-04-26 Snap Inc. Image based tracking in augmented reality systems
KR20180006432A (ko) * 2015-10-30 2018-01-17 스냅 인코포레이티드 증강 현실 시스템에서의 이미지 기반 추적
US10366543B1 (en) 2015-10-30 2019-07-30 Snap Inc. Image based tracking in augmented reality systems
US11769307B2 (en) 2015-10-30 2023-09-26 Snap Inc. Image based tracking in augmented reality systems
US10733802B2 (en) 2015-10-30 2020-08-04 Snap Inc. Image based tracking in augmented reality systems
US11380051B2 (en) 2015-11-30 2022-07-05 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10997783B2 (en) 2015-11-30 2021-05-04 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10657708B1 (en) 2015-11-30 2020-05-19 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US11861795B1 (en) 2017-02-17 2024-01-02 Snap Inc. Augmented reality anamorphosis system
US11189299B1 (en) 2017-02-20 2021-11-30 Snap Inc. Augmented reality speech balloon system
US11748579B2 (en) 2017-02-20 2023-09-05 Snap Inc. Augmented reality speech balloon system
US11195018B1 (en) 2017-04-20 2021-12-07 Snap Inc. Augmented reality typography personalization system
KR20210026966A (ko) 2019-09-02 2021-03-10 주식회사 인터포 증강현실 및 빅데이터를 이용한 가상객체 관리 방법 및 그를 수행하는 모바일 단말
KR20210078342A (ko) 2019-12-18 2021-06-28 주식회사 인터포 증강현실을 이용한 가상객체 관리 방법, 증강현실을 이용한 행사 관리 방법 및 모바일 단말
US12033253B2 (en) 2021-11-17 2024-07-09 Snap Inc. Augmented reality typography personalization system

Also Published As

Publication number Publication date
US20110148922A1 (en) 2011-06-23
KR101229078B1 (ko) 2013-02-04

Similar Documents

Publication Publication Date Title
KR101229078B1 (ko) 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
EP2418621B1 (en) Apparatus and method for providing augmented reality information
US8947421B2 (en) Method and server computer for generating map images for creating virtual spaces representing the real world
US8494215B2 (en) Augmenting a field of view in connection with vision-tracking
US20090289955A1 (en) Reality overlay device
US9767610B2 (en) Image processing device, image processing method, and terminal device for distorting an acquired image
US20170046877A1 (en) Augmented visualization system for hidden structures
US20190086214A1 (en) Image processing device, image processing method, and program
US20180189688A1 (en) Method for using the capacity of facilites in a ski area, a trade fair, an amusement park, or a stadium
US20100146454A1 (en) Position-dependent information representation system, position-dependent information representation control device, and position-dependent information representation method
US20090289956A1 (en) Virtual billboards
KR102204027B1 (ko) 지역기반으로 분류하여 저장된 데이터를 통한 증강현실 콘텐츠 제공 시스템 및 그 방법
JP7296406B2 (ja) プログラム、情報処理方法、及び情報処理端末
JP2017162374A (ja) 情報表示効果測定システムおよび情報表示効果測定方法
Repenning et al. Mobility agents: guiding and tracking public transportation users
US20130135348A1 (en) Communication device, communication system, communication method, and communication program
JP2009245310A (ja) タグ特定装置、タグ特定方法およびタグ特定プログラム
JP2019075126A (ja) 情報処理装置及びプログラム
WO2021079828A1 (ja) 情報共有装置、イベント支援システム、情報共有方法、及びイベント支援システムの生産方法
WO2021079820A1 (ja) 需要度算出装置、イベント支援システム、需要度算出方法、及びイベント支援システムの生産方法
JP2008524664A (ja) 入射光の元で視覚可能な画像、テキスト及び情報を作成する方法、デバイス及びシステム
Arbaoui Applying Augmented Reality to Stimulate User Awareness in Urban Environments
JP2019074649A (ja) 情報処理装置及びプログラム
WO2021079829A1 (ja) 表示装置、イベント支援システム、表示方法、及びイベント支援システムの生産方法
WO2021079821A1 (ja) 広告情報生成装置、イベント支援システム、広告情報生成方法、及びイベント支援システムの生産方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151223

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170126

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 6