KR20100124947A - Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology - Google Patents

Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology Download PDF

Info

Publication number
KR20100124947A
KR20100124947A KR1020090043912A KR20090043912A KR20100124947A KR 20100124947 A KR20100124947 A KR 20100124947A KR 1020090043912 A KR1020090043912 A KR 1020090043912A KR 20090043912 A KR20090043912 A KR 20090043912A KR 20100124947 A KR20100124947 A KR 20100124947A
Authority
KR
South Korea
Prior art keywords
content
image
portable terminal
server
information
Prior art date
Application number
KR1020090043912A
Other languages
Korean (ko)
Inventor
정용욱
김한철
이정선
김무항
김승경
김동환
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020090043912A priority Critical patent/KR20100124947A/en
Publication of KR20100124947A publication Critical patent/KR20100124947A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor

Abstract

PURPOSE: An augmented reality contents providing system and a method for providing the contents to offer local information through a portable terminal using augmented reality are provided to conveniently search information by matching augmented contents with the real time image taken by a user. CONSTITUTION: A mobile terminal(10) offers the location information of user and the image inputted through the image sensor through network to the server(100). The mobile terminal matches the augmented reality contents offered from the server and the real-time video inputted through the image sensor. The server searches the contents correspond with the image. The server offers the augmented reality contents to the mobile terminal. The augmented reality contents are processed by the augmented reality technology.

Description

증강현실을 이용하여 휴대형 단말기에 실시간 지역정보를 제공하는 ＡＲ컨텐츠 제공시스템 및 그 제공방법{ＡＲ contents providing system and method providing a portable terminal real-time regional information by using Augmented reality technology} ARA contents providing system and method providing a portable terminal real-time regional information by using Augmented reality technology}

본 발명은 AR컨텐츠 제공시스템 및 그 제공방법에 관한 것으로서, 보다 상세하게는, 사용자가 촬영한 이미지에 매칭되는 컨텐츠를 증강현실 기술을 이용하여 처리한 AR컨텐츠를 생성하고, 사용자가 촬영한 실시간 이미지에 AR컨텐츠를 정합시켜 제공함으로써, 사용자가 간편하게 원하는 정보를 검색할 수 있을 뿐만 아니라, 증강현실을 이용하여 보다 몰입적인 형태로 사용자에게 정보를 제공하여 정보제공의 효율성을 향상시킬 수 있도록 하는 AR컨텐츠 제공시스템 및 그 제공방법에 관한 것이다. The present invention relates to an AR content providing system and a method of providing the same, and more particularly, to generate AR content processed by augmented reality technology to match the content captured by the user image, a real-time image taken by the user By arranging and arranging AR contents, AR content not only enables users to easily search for desired information, but also improves the efficiency of information provision by providing information to users in a more immersive form using augmented reality. It relates to a providing system and a method of providing the same.

최근 들어 휴대폰, PDA, UMPC 등의 휴대형 단말기의 사용이 일반화됨에 따라, 다양한 부가 서비스 및 기능을 가진 휴대형 단말기가 개발되고 있다. 이러한 부가 서비스 및 기능 중, 휴대형 단말기의 위치를 측정하여 이를 제공하는 위치정보 제공 기술이 개발되어 있으며, 휴대형 단말기의 위치를 측정하는 기술은 다른 서비스와 접목시켜 사용할 수 있기 때문에 그 효용성이 커서 활발히 연구되고 있는 분야이다. Recently, as the use of portable terminals such as mobile phones, PDAs, and UMPCs has become common, portable terminals having various additional services and functions have been developed. Among these additional services and functions, a location information providing technology has been developed to measure the location of a mobile terminal and provide it. Since the technology of measuring the location of a mobile terminal can be used in conjunction with other services, it is very useful for its research. It is becoming a field.

이러한 위치정보 제공 기술의 하나로 연구되고 있는 것이 증강현실(Augmented Reality) 기술이다. 증강현실 기술은 가상현실 기술에서 파생된 기술로서, 실세계에 대한 인지도를 향상시키는 기술을 말한다. 실세계와의 상호작용을 배제하고 오직 미리 구축해놓은 가상공간 내에서의 상호작용을 처리하는 가상현실 기술과는 달리, 증강현실 기술은 실시간 처리를 바탕으로 미리 구축된 실세계 정보가 특수 인터페이스를 통해 실제로 관찰되는 실세계의 영상에 겹쳐서 표현되고, 실제와의 상호작용을 제공하도록 함으로써, 관찰자가 실세계 관찰지역에 대한 신속하고 편리한 상황판단을 할 수 있도록 하는 기술이다. One such location information providing technology is being researched in Augmented Reality technology. Augmented reality technology is a technology derived from virtual reality technology, and refers to a technology for improving the awareness of the real world. Unlike virtual reality technology, which excludes interaction with the real world and handles interactions only in the pre-established virtual space, augmented reality technology actually monitors real-time information pre-built based on real-time processing through a special interface. It is a technology that allows the observer to make a quick and convenient situation judgment on the real world observation area by superimposing the real world image and providing interaction with the real world.

이러한 증강현실 기술을 이용한 한국공개특허 제2005-0078136호 "증강현실을 이용한 지역 정보 제공 방법 및 이를 위한 지역 정보 서비스 시스템"에서는, GPS 수신기와 자이로 센서를 구비하여 실사영상을 촬영하는 촬영 위치 및 자세 정보를 기반으로 위치 정보 데이터를 생성하여 이를 서버로 전송한다. 서버에서는 위치 정보 데이터를 분석하여 실사영상에 대한 지역 정보를 인출하여 이동통신 단말기로 전송한다. 그런데, 이러한 선행기술에서는 지역정보의 인출을 위해 실사영상을 직접적으로 사용하는 것이 아니라, GPS 수신기와 자이로 센서를 이용하여 카메라의 위치에 기초하여 실사영상을 파악하고 있다. 따라서, 실사영상의 파악을 위한 측위가 센서의 오차범위내에서 이루어지기 때문에, 사용자의 시선과 센서 간의 오차가 발생할 수 있다는 단점이 있다. In Korean Laid-Open Patent Publication No. 2005-0078136 using the augmented reality technology, "Local information providing method using augmented reality and local information service system for this", a shooting position and posture for shooting a live image with a GPS receiver and a gyro sensor Generate location information data based on the information and send it to the server. The server analyzes the location information data, retrieves the local information on the live-action image, and transmits it to the mobile communication terminal. By the way, in the prior art, rather than using the live image directly for the extraction of local information, the real image is grasped based on the position of the camera using a GPS receiver and a gyro sensor. Therefore, since the positioning for grasping the live-action image is made within the error range of the sensor, an error between the user's gaze and the sensor may occur.

한편, 한국공개특허 제2009-0000186호 "증강현실을 이용한 관심 지점 표시 장치 및 방법"에서는, 관심지점 표시장치의 현재 위치와 자세를 측정하고, 지도정보를 바탕으로 소정 범위의 검색 영역을 선정한다. 그리고 선정된 검색 영역에서 카메라의 시야각 내에 존재하는 소정 개수의 관심지점을 선정하고, 해당 관심지점에 상응하는 추가정보를 추출한 다음, 관심지점과 추가정보를 합성하여 사용자에게 제공한다. 그런데, 이러한 선행기술에서는 지역정보의 추출시 카메라의 현재 위치와 자세로 사용자의 시선방향을 결정하고, 해당 시선방향에 대한 지도정보를 사용하기 때문에, 기등록되지 아니한 위치정보와 시선방향에 대해서는 정보를 추출할 수 없다는 단점이 있다. On the other hand, Korean Patent Laid-Open Publication No. 2009-0000186, "Point of interest display apparatus and method using augmented reality", measures the current position and attitude of the point of interest display device, and selects a search range of a predetermined range based on the map information. . A predetermined number of points of interest existing in the viewing angle of the camera are selected from the selected search area, additional information corresponding to the points of interest is extracted, and then the points of interest and the additional information are synthesized and provided to the user. However, in the prior art, since the user's gaze direction is determined based on the current position and attitude of the camera when the local information is extracted, and the map information for the gaze direction is used, information about the location information and the gaze direction which are not registered in advance is informed. There is a disadvantage in that it cannot be extracted.

한편, 기존의 광고 및 정보 제공 서비스들은, 불특정 고객을 대상으로 하는 일방적인 광고나 정보를 제공하였으나, 이러한 일방적인 광고나 정보의 효용성이 떨어짐에 따라, 점차 사용자의 상황이나 필요에 부합되는 광고나 정보의 제공에 대한 필요성이 증가하고 있다. Meanwhile, the existing advertisement and information providing services provided unilateral advertisements or information for unspecified customers, but as the utility of such unilateral advertisements and information is less effective, the advertisements and information provisions gradually meet the user's situation or needs. There is a growing need for the provision of information.

본 발명의 목적은, 보다 정확하게 사용자가 원하는 정보를 검색할 수 있을 뿐만 아니라, 증강현실을 이용하여 보다 몰입적인 형태로 사용자에게 정보를 제공하고, 사용자의 상황이나 필요에 부합되는 광고나 정보를 제공함으로써, 광고 및 정보제공의 효율성을 향상시키고, 보다 간편하고 신속하게 정보를 검색할 수 있도록 하는 AR컨텐츠 제공시스템 및 그 제공방법을 제공하는 것이다. The purpose of the present invention is to not only search for the information desired by the user more accurately, but also provide information to the user in a more immersive form using augmented reality, and provide advertisements or information according to the user's situation or needs. By providing an AR content providing system and a method of providing the same, the efficiency of advertisement and information provision can be improved, and information can be searched more simply and quickly.

상기 목적은, 이미지 센서를 통해 입력된 이미지와 사용자의 위치정보를 네트워크를 통해 서버로 제공하고, 상기 서버로부터 상기 이미지와 위치정보에 기초하여 제공된 AR컨텐츠와, 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하여 외부로 표시하는 휴대형 단말기; 및, 상기 휴대형 단말기로부터 상기 이미지와 위치정보를 제공받아, 상기 휴대형 단말기가 위치하는 지역범위내에서 상기 이미지에 부합되는 컨텐츠를 검색하고, 검색된 컨텐츠를 증강현실 기술로 처리한 AR컨텐츠를 상기 휴대형 단말기로 제공하는 서버;를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템에 의해 달성된다. The purpose is to provide an image input through the image sensor and the user's location information to the server via a network, AR content provided from the server based on the image and the location information, and the real-time image input through the image sensor A portable terminal for matching and displaying to the outside; And receiving the image and the location information from the portable terminal, searching for a content corresponding to the image within an area in which the portable terminal is located, and arranging AR content processed by the augmented reality technology. Provided by a server; is achieved by the AR content providing system comprising a.

본 AR컨텐츠 제공시스템 및 그 방법은, 증강현실 기술을 기반으로 사용자가 촬영한 이미지를 기반으로 정보 및 맞춤화된 광고의 제공이 가능하므로, 보다 정확한 정보 및 광고를 사용자에게 제공할 수 있을 뿐만 아니라, 사용자에게 몰입감을 주어 정보 및 광고 서비스의 효율을 향상시킬 수 있다. 또한, 실시간 촬영에 의한 이미지 입력으로 사용자의 입력을 대신함으로써, 사용자의 편의성을 증대시킬 수 있으며, 검색에 소요되는 시간도 감소시킬 수 있다. The AR content providing system and method thereof, based on the augmented reality technology can provide information and personalized advertising based on the image taken by the user, not only can provide more accurate information and advertising to the user, The user can be immersed to improve the efficiency of information and advertising services. In addition, by replacing the user's input with the image input by real-time shooting, the user's convenience can be increased, and the time required for searching can be reduced.

본 증강현실을 이용하여 휴대형 단말기에 실시간 지역정보를 제공하는 AR컨텐츠 제공시스템 및 그 제공방법은, 이미지센서를 통해 입력된 이미지와, 휴대형 단말기의 위치에 따라, 해당 이미지에 관련된 지역정보를 증강현실 기술로 처리하여 표시함으로써, 휴대형 단말기의 사용자에게 실시간으로 지역정보인 AR컨텐츠를 제공할 수 있도록 한다. AR content providing system for providing real-time local information to a portable terminal using the augmented reality and its providing method, according to the image input through the image sensor and the location of the portable terminal, the local information related to the image is augmented reality By processing and displaying by technology, it is possible to provide AR content, which is local information, to a user of a portable terminal in real time.

이하, 첨부도면을 이용하여 본 발명을 상세히 설명하도록 한다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 증강현실을 이용하여 휴대형 단말기로 실시간 지역정보를 제공하는 AR컨텐츠 제공시스템의 구성블럭도이다. 1 is a block diagram of an AR content providing system for providing real-time local information to a portable terminal using augmented reality of the present invention.

본 실시예에 따른 AR컨텐츠 제공시스템은, 이미지를 촬영하는 휴대형 단말기(10)와, 휴대형 단말기(10)에서 촬영된 이미지에 대한 AR컨텐츠를 제공하는 서버(100)를 포함한다. 여기서, 촬영된 이미지는 동영상을 의미하며, 서버(100)로부터 제공된 AR컨텐츠는 동영상과 함께 휴대형 단말기(10)에 표시된다. The AR content providing system according to the present embodiment includes a portable terminal 10 for capturing an image and a server 100 for providing AR content for an image captured by the portable terminal 10. Here, the photographed image means a video, and AR content provided from the server 100 is displayed on the portable terminal 10 together with the video.

본 휴대형 단말기(10)는, 영상의 촬영으로 인해 생성된 이미지 프레임과, 휴대형 단말기(10)의 위치정보를 서버(100)로 전달하고, 서버(100)에서 제공된 해당 이미지에 대한 AR컨텐츠를 실시간 이미지와 함께 디스플레이창(11)에 표시한다. 이를 위해, 휴대형 단말기(10)는, 촬영모듈(15), 프레임 버퍼(20), 위치센서(25), 단말기측 통신부(35), AR컨텐츠-영상 정합기(45), 영상 재생기(40), 단말기 제어부(30)를 포함한다. The portable terminal 10 transmits an image frame generated by capturing an image and location information of the portable terminal 10 to the server 100, and provides AR content of the corresponding image provided from the server 100 in real time. The image is displayed on the display window 11 together with the image. To this end, the portable terminal 10 includes a photographing module 15, a frame buffer 20, a position sensor 25, a terminal-side communication unit 35, an AR content-matching unit 45, and an image player 40. And a terminal controller 30.

본 발명의 적용이 가능한 휴대형 단말기(10)로는, 휴대폰, UMPC(Ultra Mobile PC), PDA, 디지털 카메라 등 영상 촬영 기능을 내장 또는 외장하는 소형 단말기가 바람직하나, 휴대형 단말기(10)의 종류가 이에 한정되지 아니함은 물론이다. As the portable terminal 10 to which the present invention is applicable, a small terminal in which an image capturing function such as a mobile phone, an ultra mobile PC (PDA), a PDA, and a digital camera is built or externally is preferable, but the type of the portable terminal 10 is Of course, it is not limited.

휴대형 단말기(10)의 촬영모듈(15)은, 촬영된 이미지의 디지털화가 가능한 이미지 센서를 포함하며, 이미지 센서로는 CMOS, CCD, NMOS 등이 사용될 수 있다. 촬영모듈(15)은 이미지 센서를 통해 얻어진 이미지를 프레임 버퍼(20)로 전달한다. The photographing module 15 of the portable terminal 10 includes an image sensor capable of digitizing a photographed image, and the image sensor may be CMOS, CCD, NMOS, or the like. The photographing module 15 transfers the image obtained through the image sensor to the frame buffer 20.

프레임 버퍼(20)는, 이미지 센서를 통해 입력된 이미지를 프레임 단위로 버퍼링하여 디스플레이창(11)으로 제공하여 디스플레이되도록 한다. The frame buffer 20 buffers the image input through the image sensor in units of frames and provides the image to the display window 11 to be displayed.

위치센서(25)는, 휴대형 단말기(10)가 이미지를 촬영하고 있는 위치를 감지하기 위한 것으로서, GPS, WiFi, CDMA 방식 중 하나 또는 둘 이상의 방식을 혼용하여 사용할 수 있다. GPS 방식의 경우 GPS 위성과의 통신을 통해 위치정보를 생성하고, WiFi 방식의 경우 무선AP와의 통신을 통해 위치정보를 생성하며, CDMA 방식의 경우 셀타워와의 통신을 통해 위치정보를 생성한다. 위치센서(25)에서 생성된 위치정보는 서버(100)로 제공되어 휴대형 단말기(10)의 위치를 파악하는데 사용된다. The position sensor 25 is for detecting a location where the portable terminal 10 is capturing an image, and may use one or two or more of GPS, WiFi, and CDMA methods. In the case of the GPS method, location information is generated through communication with a GPS satellite, in the case of the WiFi method, location information is generated through communication with a wireless AP, and in the case of the CDMA method, location information is generated through communication with a cell tower. The position information generated by the position sensor 25 is provided to the server 100 and used to determine the position of the portable terminal 10.

단말기측 통신부(35)는, 네트워크를 통해 서버(100)와 통신하며, 단말기 제어부(30)의 제어에 따라, 프레임 버퍼(20)에서 버퍼링된 이미지 프레임과 위치센 서(25)에서 생성된 위치정보를 서버(100)로 제공하고, 서버(100)에서 제공된 AR컨텐츠를 제공받는다. The terminal-side communication unit 35 communicates with the server 100 through a network, and under the control of the terminal control unit 30, an image frame buffered in the frame buffer 20 and a position generated in the location sensor 25. Information is provided to the server 100, and AR content provided from the server 100 is provided.

AR컨텐츠-영상 정합기(45)는, 실시간으로 촬영모듈(15)을 통해 입력되는 영상과, 서버(100)로부터 제공된 AR컨텐츠를 정합시킴으로써, 휴대형 단말기(10)의 디스플레이창(11)에 실시간 이미지와 AR컨텐츠가 함께 표시가능하도록 처리한다. 이때, AR컨텐츠-영상 정합기(45)는, 촬영모듈(15)로부터의 3차원 영상에 3차원으로 랜더링된 AR컨텐츠를 합성하게 된다. The AR content-matching unit 45 matches the image inputted through the photographing module 15 with the AR content provided from the server 100 in real time, thereby real-time to the display window 11 of the portable terminal 10. Processes image and AR content together. At this time, the AR content-image matcher 45 synthesizes the AR content rendered in three dimensions to the three-dimensional image from the photographing module 15.

영상 재생기(40)는, AR컨텐츠-영상 정합기(45)에서 정합된 실시간 영상과 AR컨텐츠를 디스플레이창(11)을 통해 표시한다. The image player 40 displays the real time image and the AR content matched by the AR content-image matcher 45 on the display window 11.

단말기 제어부(30)는, 사용자가 버튼 등의 선택수단을 이용하여 실시간 지역정보의 제공을 선택한 경우, 촬영모듈(15)과 위치센서(25)를 동작시킨다. 사용자가 지역정보의 제공을 원하는 이미지를 촬영하면, 단말기 제어부(30)는 촬영된 이미지를 프레임 버퍼(20)로 전달하여 이미지가 버퍼링되도록 한다. 이와 동시에, 위치센서(25)에서는 휴대형 단말기(10)의 위치정보를 수집한다. 그러면, 단말기 제어부(30)는 위치센서(25)를 통해 생성된 위치정보와 버퍼링된 이미지 프레임을 단말기측 통신부(35)를 동작시켜 서버(100)로 전송하도록 한다. 그런 다음, 서버(100)에서 해당 이미지에 대한 AR컨텐츠를 제공하면, 단말기 제어부(30)는 AR컨텐츠-영상 정합기(45)를 동작시켜 해당 AR컨텐츠가 실시간으로 촬영모듈(15)을 통해 입력되는 이미지와 정합되도록 하고, 정합된 이미지와 AR컨텐츠를 영상 재생기(40)로 전달하여 디스플레이창(11)에 표시되도록 한다. 또한, 단말기 제어 부(30)는, 사용자가 촬영한 이미지에 매칭되는 이미지가 서버(100)에 존재하지 않거나, 해당 이미지에 부합되는 AR컨텐츠가 존재하지 아니하는 경우, 서버(100)로부터 제공되는 이미지 부재 또는 AR컨텐츠 부재에 대한 안내 정보를 디스플레이창(11)에 표시한다. The terminal controller 30 operates the photographing module 15 and the position sensor 25 when the user selects to provide real-time local information using a selection means such as a button. When the user captures an image for which the user wants to provide local information, the terminal controller 30 transfers the captured image to the frame buffer 20 so that the image is buffered. At the same time, the position sensor 25 collects position information of the portable terminal 10. Then, the terminal controller 30 operates the terminal side communication unit 35 to transmit the position information and the buffered image frame generated by the position sensor 25 to the server 100. Then, when the server 100 provides AR content for the corresponding image, the terminal controller 30 operates the AR content-image matcher 45 so that the AR content is input through the photographing module 15 in real time. The matching image and the AR content are transferred to the image player 40 to be displayed on the display window 11. In addition, the terminal controller 30 is provided from the server 100 when an image matching the image photographed by the user does not exist in the server 100 or when AR content corresponding to the image does not exist. The guide information about the image member or the AR content member is displayed on the display window 11.

한편, 서버(100)는, 휴대형 단말기(10)로부터 제공된 이미지와 휴대형 단말기(10)의 위치에 따라, 해당 이미지에 대응되는 컨텐츠를 추출하고, 추출된 컨텐츠를 AR컨텐츠로 변환하여 휴대형 단말기(10)로 제공한다. 이를 위해, 본 서버(100)는, 서버측 통신부(110), 위치 판단기(115), 영상검색엔진(130), 영상DB(135), 컨텐츠 추출기(140), 컨텐츠DB(145), AR컨텐츠 생성기(150), 서버 제어부(120)를 포함한다. On the other hand, the server 100, according to the image provided from the portable terminal 10 and the position of the portable terminal 10, extracts the content corresponding to the image, converts the extracted content into AR content to the portable terminal 10 ) To this end, the server 100, the server-side communication unit 110, the position determiner 115, the image search engine 130, the image DB 135, the content extractor 140, the content DB 145, AR And a content generator 150 and a server controller 120.

서버측 통신부(110)는, 네트워크를 통해 휴대형 단말기(10)의 단말기측 통신부(35)와 통신하며, 단말기측 통신부(35)를 통해 전송된 이미지와 위치정보를 제공받고, 서버(100)측에서 추출된 AR컨텐츠를 단말기측 통신부(35)로 전송한다. The server-side communication unit 110 communicates with the terminal-side communication unit 35 of the portable terminal 10 through a network, receives the image and position information transmitted through the terminal-side communication unit 35, and the server 100 side. The AR content extracted from the terminal is transmitted to the communication unit 35.

위치 판단기(115)는, 휴대형 단말기(10)의 위치센서(25)에 의해 수집된 위치정보를 제공받아 휴대형 단말기(10)의 위치를 산출한다. 위치 판단기(115)에서 위치를 산출하는 방법은, 위치센서(25)의 종류에 따라 달라진다. 예를 들어, GPS 위성을 이용하는 경우 삼각측량법을 이용하는 것과 같은 공지의 기술이다. 이와 같이, 위치를 산출하는 방법은 종래에 널리 알려진 공지기술이므로, 상세한 설명은 생략하기로 한다. The position determiner 115 receives the position information collected by the position sensor 25 of the portable terminal 10 and calculates the position of the portable terminal 10. The method of calculating the position in the position determiner 115 depends on the type of the position sensor 25. For example, when using GPS satellites, it is a known technique such as using triangulation. As such, since the method for calculating the position is well known in the art, a detailed description thereof will be omitted.

이렇게 위치 판단기(115)에서 산출된 위치는, 휴대형 단말기(10)로부터 제공 된 이미지가 촬영된 지역범위를 한정하는 역할을 한다. 실제로 위치센서(25)를 이용하여 휴대형 단말기(10)의 위치를 산출하는 방법은, 위치센서(25)의 오차 발생에 따라 다소 간의 오차범위를 가지고 있다. 따라서, 본 발명에서는 위치센서(25) 및 위치 판단기(115)를 통해 휴대형 단말기(10)의 정확한 위치를 파악하는 것을 목적으로 하는 것이 아니라, 휴대형 단말기(10)에서 촬영된 이미지에 매칭되는 지역정보인 AR컨텐츠의 추출시, 위치센서(25) 및 위치 판단기(115)를 통해 파악된 휴대형 단말기(10)의 지역범위내에서 해당 이미지에 부합되는 지역정보를 추출하도록 함으로써, AR컨텐츠의 정확성을 추구한다. In this way, the position calculated by the position determiner 115 serves to limit an area in which the image provided from the portable terminal 10 is photographed. In practice, the method of calculating the position of the portable terminal 10 using the position sensor 25 has a somewhat error range depending on the occurrence of the error of the position sensor 25. Therefore, the present invention is not intended to determine the exact position of the portable terminal 10 through the position sensor 25 and the position determiner 115, but an area matching the image captured by the portable terminal 10. When extracting the AR content that is information, the accuracy of the AR content by extracting the local information corresponding to the image within the region range of the portable terminal 10 identified by the position sensor 25 and the position determiner 115 Seek.

영상검색엔진(130)은, 공지의 내용기반영상검색엔진(CBVIR:Content-Based Visual Information Retrieval)이 사용되며, 휴대형 단말기(10)로부터 제공된 이미지 프레임을 이용하여 영상DB(135)로부터 매칭되는 이미지의 의미를 추출해낸다. 이때, 영상검색엔진(130)은, 위치 판단기(115)에서 산출된 휴대형 단말기(10)의 위치를 이용하여 이미지를 검색할 검색범위를 한정한다. 예를 들어, 휴대형 단말기(10)의 위치가 강남역으로 판단된 경우, 영상검색엔진(130)은 영상DB(135)에서 강남역 주변으로 검색범위를 한정한 다음, 강남역 주변의 이미지들 중 휴대형 단말기(10)로부터 제공된 이미지에 매칭되는 이미지가 영상DB(135)에 존재하는지 검색한다. As the image search engine 130, a known content-based visual information retrieval (CBVIR) is used, and the image is matched from the image DB 135 using an image frame provided from the portable terminal 10. Extract the meaning of. In this case, the image search engine 130 defines a search range for searching for an image by using the position of the portable terminal 10 calculated by the position determiner 115. For example, when the location of the portable terminal 10 is determined to be Gangnam Station, the image search engine 130 limits the search range from the image DB 135 to the vicinity of Gangnam Station, and then displays the portable terminal among the images around the Gangnam Station. It is searched whether an image matching the image provided from 10 exists in the image DB 135.

영상DB(135)는 건물, 표지판, 간판, 관광지 등의 다양한 아이템이 이미지 형태로 저장되어 있으며, 이와 함께, 해당 이미지에 대한 컨텐츠를 찾아낼 수 있도록 의미가 부여되어 있으며, 여기서, 의미는 건물명, 관광지명 등 해당 이미지에 대해 일반적으로 사용되는 이름 등이 사용될 수 있다. 이렇게 각 이미지에 대한 의미를 사용하면, 키워드 역할을 하는 별도의 마커를 제작하지 아니하여도 되므로, AR컨텐츠의 이용이 용이해진다. 한편, 영상DB(135)의 각 이미지는 지역에 따라 분류되어 저장되어 있으며, 이에 따라, 영상검색엔진(130)은 휴대형 단말기(10)의 위치에 해당하는 검색범위 내의 이미지만을 검색함으로써, 매칭되는 이미지를 보다 정확하게 검색할 수 있을 뿐만 아니라, 검색에 소요되는 시간을 단축할 수 있다. Image DB (135) is a variety of items such as buildings, signs, signs, tourist attractions are stored in the form of an image, with the meaning is given to find the content for the image, where the meaning is a building name, The name commonly used for the image such as a tourist name may be used. If the meaning of each image is used in this way, it is not necessary to produce a separate marker that serves as a keyword, so that AR content can be easily used. Meanwhile, each image of the image DB 135 is classified and stored according to a region, and accordingly, the image search engine 130 matches by searching only an image within a search range corresponding to the position of the portable terminal 10. Not only can you search for images more accurately, but you can also reduce the time it takes to search.

컨텐츠 추출기(140)는 영상검색엔진(130)에 의해 영상DB(135)에서 추출된 이미지의 의미를 제공받고, 해당 의미에 부합되는 컨텐츠를 컨텐츠DB(145)로부터 추출한다. 이때, 컨텐츠 추출기(140)는, 사용자의 선택에 따라 표시되는 컨텐츠의 내용을 선택하여 추출할 수도 있고, 임의대로 컨텐츠를 선택하여 추출할 수도 있다. 예를 들어, 사용자가 컨텐츠의 내용을 별도로 선택하지 아니한 경우, 컨텐츠 추출기(140)는 해당 의미에 해당하는 모든 컨텐츠를 컨텐츠DB(145)로부터 추출할 수도 있고, 임의대로 선택하여 추출할 수도 있다. 반면, 사용자가 관광 컨텐츠를 선택하는 경우처럼 특정 컨텐츠 내용을 선택하는 경우, 컨텐츠 추출기(140)는 해당 컨텐츠만을 추출한다. The content extractor 140 receives the meaning of the image extracted from the image DB 135 by the image search engine 130, and extracts content corresponding to the meaning from the content DB 145. In this case, the content extractor 140 may select and extract the content of the displayed content according to the user's selection, or may select and extract the content arbitrarily. For example, when the user does not separately select the contents of the contents, the content extractor 140 may extract all contents corresponding to the corresponding meanings from the contents DB 145 or may arbitrarily select and extract the contents. On the other hand, when a user selects specific content content, such as when selecting a tourist content, the content extractor 140 extracts only the corresponding content.

컨텐츠DB(145)에는 각 이미지에 해당되는 다양한 컨텐츠가 의미에 따라 매칭되어 저장되어 있다. 여기서, 컨텐츠는 이미지의 종류에 따라 다양하게 구비되어 컨텐츠DB(145)에 저장될 수 있다. 예를 들어, 이미지가 관광지인 경우, 컨텐츠는 관광지 또는 유적지 안내, 음식점 정보, 교통안내 등을 포함할 수 있다. 그리고 이미지가 빌딩인 경우, 빌딩명, 빌딩의 소유자, 입주해 있는 회사명, 주소, 빌딩에 서 개최되는 행사 정보 등을 컨텐츠로서 구비할 수 있다. 또한, 이미지가 특정 상점인 경우, 상점에서 취급하는 상품이나 메뉴, 인기상품이나 메뉴, 이벤트 등의 정보를 컨텐츠로서 구비할 수 있다. In the content DB 145, various contents corresponding to each image are matched and stored according to meaning. Here, the content may be variously provided according to the type of image and stored in the content DB 145. For example, when the image is a tourist destination, the content may include a tourist or historic site guide, restaurant information, traffic guide, and the like. If the image is a building, the content may include a building name, the owner of the building, the name of the company occupied, the address, and the event information held in the building. In addition, when the image is a specific store, information such as a product or menu handled by the store, a popular product, a menu, an event, or the like can be provided as the content.

AR컨텐츠 생성기(150)는 컨텐츠DB(145)에서 추출된 지역정보를 휴대형 단말기(10)의 디스플레이창(11)에 증강현실 형태로 보여주기 위해, 컨텐츠를 증강현실에 부합되는 포맷으로 변환한다. 컨텐츠를 증강현실에 부합되는 포맷으로 변환하는 기술은, 기존에 이미 개발되어 공지된 것이며, 본 발명은 증강현실에 관련된 기술을 청구하는 것이 아니므로, AR컨텐츠 생성기(150)에서 포맷을 변환하는 기술 및 과정에 대한 상세한 설명은 생략하기로 한다. 다만 그 원리를 간단히 설명하면, AR컨텐츠 생성기(150)는, 3차원 원근 투영법을 이용하여 실제 카메라가 실사 영상을 투영하는 것과 같이 컨텐츠를 랜더링하여 3차원의 AR컨텐츠를 생성한다. The AR content generator 150 converts the content into a format corresponding to the augmented reality in order to show the local information extracted from the content DB 145 in the form of augmented reality on the display window 11 of the portable terminal 10. The technology for converting the content into a format compatible with augmented reality is already developed and known, and the present invention does not claim a technology related to augmented reality, so the technology for converting the format in the AR content generator 150 And a detailed description of the process will be omitted. However, if the principle is briefly described, the AR content generator 150 generates the 3D AR content by rendering the content as if the actual camera projects the real image using the 3D perspective projection method.

서버 제어부(120)는, 휴대형 단말기(10)의 위치정보를 위치 판단기(115)로 제공하여 휴대형 단말기(10)의 위치를 파악하고, 파악된 위치와 이미지를 영상검색엔진(130)으로 제공한다. 영상검색엔진(130)에서 매칭되는 이미지가 검색되면, 서버 제어부(120)는 해당 이미지의 의미를 컨텐츠 추출기(140)로 전달하고, 매칭되는 이미지가 검색되지 아니하면, 매칭되는 이미지가 존재하지 않는다는 정보를 휴대형 단말기(10)로 전달한다. 의미를 제공받은 컨텐츠 추출기(140)가 컨텐츠를 추출하면, 서버 제어부(120)는 해당 컨텐츠를 AR컨텐츠 생성기(150)로 전달하여 AR컨텐츠가 생성되도록 한다. 이때, 컨텐츠DB(145)에 이미지에 부합되는 컨텐츠가 존재하지 아니하는 경우, 서버 제어부(120)는 부합되는 컨텐츠가 존재하지 않는다는 정보 를 휴대형 단말기(10)로 전달한다. 또한, 서버 제어부(120)는 AR컨텐츠 생성기(150)에서 생성된 AR컨텐츠를 휴대형 단말기(10)로 전송한다. The server controller 120 provides the position information of the portable terminal 10 to the position determiner 115 to determine the position of the portable terminal 10, and provides the identified position and image to the image search engine 130. do. When a matched image is searched by the image search engine 130, the server controller 120 transmits the meaning of the corresponding image to the content extractor 140. If the matched image is not found, the matched image does not exist. The information is transmitted to the portable terminal 10. When the content extractor 140 provided with meaning extracts the content, the server controller 120 delivers the corresponding content to the AR content generator 150 to generate the AR content. In this case, when there is no content corresponding to the image in the content DB 145, the server controller 120 transmits information to the portable terminal 10 that the corresponding content does not exist. In addition, the server controller 120 transmits the AR content generated by the AR content generator 150 to the portable terminal 10.

이러한 구성에 의한 AR컨텐츠 제공시스템에서 증강현실을 이용하여 휴대형 단말기(10)로 실시간 지역정보를 제공하는 과정을 도 2를 참조하여 설명하면 다음과 같다. The process of providing real-time local information to the portable terminal 10 using augmented reality in the AR content providing system according to this configuration will be described with reference to FIG. 2 as follows.

사용자가 실시간 지역정보 제공을 선택하면, 단말기 제어부(30)는 촬영모듈(15)과 위치센서(25)를 동작시킨다. 사용자가 촬영모듈(15)을 통해 실시간 지역정보의 제공을 원하는 대상을 촬영하면, 촬영된 이미지는 프레임 버퍼(20)로 전달되어 버퍼링되어 이미지 프레임이 추출된다(S200). 그리고 위치센서(25)에서는 GPS 위성, 무선AP, 셀타워 등과의 통신에 의해 위치정보를 생성한다(S205). 이렇게 생성된 이미지 프레임과 위치정보는, 단말기측 통신부(35)에서 서버측 통신부(110)로 전송된다(S210). When the user selects to provide real-time local information, the terminal controller 30 operates the photographing module 15 and the position sensor 25. When the user photographs a target for providing real-time local information through the photographing module 15, the photographed image is transferred to the frame buffer 20 and buffered to extract an image frame (S200). The position sensor 25 generates position information by communication with a GPS satellite, a wireless AP, a cell tower, and the like (S205). The generated image frame and the location information are transmitted from the terminal communication unit 35 to the server communication unit 110 (S210).

이미지 프레임과 위치정보를 제공받으면, 서버(100)는 위치 판단기(115)를 동작시키고, 위치 판단기(115)에서는 삼각 측량법과 같은 일반적인 위치계산 알고리즘을 이용하여 위치정보로부터 휴대형 단말기(10)의 위치를 파악한다(S215). 그리고 영상검색엔진(130)은 파악된 위치와 이미지 프레임을 이용하여 영상DB(135)에 저장된 이미지 중 휴대형 단말기(10)로부터의 이미지 프레임과 매칭되는 것이 있는지 검색하며, 이때, 휴대형 단말기(10)의 현재 위치를 이용하여 영상DB(135)의 검색범위를 한정한다(S220). 매칭되는 이미지가 추출되면(S220-Y), 영상검색엔진(130)은 해당 이미지의 의미를 인출하여 컨텐츠 추출기(140)로 전달한다(S230). 만약 매칭되는 이미지가 존재하지 아니하면(S220-N), 서버 제어부(120)는 매칭되는 이미지가 존재하지 않는다는 메시지를 서버측 통신부(110)를 통해 휴대형 단말기(10)로 전송한다(S225). 휴대형 단말기(10)의 단말기 제어부(30)는 해당 메시지를 디스플레이창(11)에 표시하여 사용자가 다른 대상을 촬영하도록 유도한다. When the image frame and the location information are provided, the server 100 operates the location determiner 115, and the location determiner 115 uses the general location calculation algorithm such as triangulation to calculate the portable terminal 10 from the location information. Determine the position of (S215). The image search engine 130 searches whether the image stored in the image DB 135 is matched with the image frame from the portable terminal 10 by using the identified position and the image frame. In this case, the portable terminal 10 The search range of the image DB 135 is defined by using the current position of S220. When the matching image is extracted (S220-Y), the image search engine 130 extracts the meaning of the image and transmits it to the content extractor 140 (S230). If there is no matching image (S220-N), the server controller 120 transmits a message indicating that there is no matching image to the portable terminal 10 through the server-side communication unit 110 (S225). The terminal controller 30 of the portable terminal 10 displays a corresponding message on the display window 11 to induce the user to photograph another object.

한편, 컨텐츠 추출기(140)는 해당 의미에 부합되는 컨텐츠가 컨텐츠DB(145)에 존재하는지 검색한다(S235). 이때, 해당 이미지에 대한 컨텐츠가 존재하지 아니하는 경우(S235-N), 서버 제어부(120)는 부합되는 컨텐츠가 존재하지 않는다는 메시지를 생성하여 서버측 통신부(110)를 통해 휴대형 단말기(10)로 전달한다(S240). 휴대형 단말기(10)의 단말기 제어부(30)는 해당 메시지를 디스플레이창(11)에 표시하여 사용자로 하여금 다른 대상을 촬영하도록 유도한다. On the other hand, the content extractor 140 searches for whether content corresponding to the meaning exists in the content DB 145 (S235). At this time, when the content for the image does not exist (S235-N), the server controller 120 generates a message that there is no corresponding content to the portable terminal 10 through the server-side communication unit 110 Transfer (S240). The terminal controller 30 of the portable terminal 10 displays a corresponding message on the display window 11 to induce a user to photograph another object.

한편, 컨텐츠DB(145)에 부합되는 컨텐츠가 존재하는 경우(S235-Y), 컨텐츠 추출기(140)는 컨텐츠를 인출하여 AR컨텐츠 생성기(150)로 제공한다(S245). AR컨텐츠 생성기(150)에서는 컨텐츠를 증강현실 형태로 표시하기 위해 컨텐츠를 증강현실 포맷으로 변환한다(S250). On the other hand, if there is content corresponding to the content DB 145 (S235-Y), the content extractor 140 retrieves the content and provides the content to the AR content generator 150 (S245). The AR content generator 150 converts the content into an augmented reality format in order to display the content in the form of augmented reality (S250).

변환된 AR컨텐츠는 휴대형 단말기(10)로 전송되고(S255), 휴대형 단말기(10)의 AR컨텐츠-영상 정합기(45)에서는 프레임 버퍼(20)에서 버퍼링된 실시간 영상과, AR컨텐츠를 정합하여 하나의 화면으로 구성한다(S260). 그러면, 영상 재생기(40)에서는 정합된 영상과 AR컨텐츠를 디스플레이창(11)에 표시한다(S265). 도 3은 영상 재생기(40)에서 합성한 이미지와 AR컨텐츠가 표시된 휴대형 단말기(10)의 디스플레이창(11)을 도시하고 있다. 도시된 바와 같이, AR컨텐츠는 이미지와 매칭되도 록 배치되어 있으며, AR컨텐츠가 여러 개인 경우, 각 AR컨텐츠는 상호 간섭되지 않고, 이미지와 자연스럽고 시각적으로 정보 전달에 효과적인 위치에 배치된다. The converted AR content is transmitted to the portable terminal 10 (S255), the AR content-image matcher 45 of the portable terminal 10 matches the real-time image buffered by the frame buffer 20 with AR content. It consists of one screen (S260). Then, the image player 40 displays the matched image and the AR content on the display window 11 (S265). FIG. 3 illustrates a display window 11 of the portable terminal 10 in which an image synthesized by the video player 40 and AR contents are displayed. As shown, the AR content is arranged to match the image, in the case of multiple AR content, each AR content is placed in a position that is effective for transmitting information naturally and visually without interfering with each other.

이러한 AR컨텐츠 제공시스템은, 증강현실 기술을 기반으로 사용자가 촬영한 이미지를 이용하여 보다 정확하고 새로운 형태로 정보 및 맞춤화된 광고의 제공이 가능하다. 먼저, 사용자가 위치하고 있는 특정 지역에서 사용자에게 유용한 정보나 맞춤화된 광고를 증강현실 기술을 이용하여 형성된 AR컨텐츠 형태로 제공함으로써, 사용자에게 몰입감 있는 새로운 형태의 정보 및 광고 서비스가 가능하여 서비스 효율을 향상시킬 수 있다. 게다가 본 AR컨텐츠 제공시스템에서는 사용자가 촬영한 이미지, 즉 실생활에 존재하는 대상을 이용하기 때문에 기존의 증강현실 기술을 생활에 쉽게 적용가능하다. 또한, 여러 개의 컨텐츠가 제공되는 경우, 컨텐츠들 간의 관계를 시각화하여 구성할 수 있게 함으로써, 가독성 및 컨텐츠의 이해 효과가 향상되고 정보의 시각화가 가능하다. 이러한 컨텐츠는 단순한 텍스트 형태가 아니라 몰입도 높은 멀티미디어로 생성될 수 있으며, 이에 따라, 정보 제공 및 광고 효과를 향상시킬 수 있다. 한편, 이렇게 정보 전달을 통한 서비스 이외에도, 증강현실 컨텐츠를 제작 및 유통시키는 증강현실 컨텐츠 마켓플레이스 서비스도 가능함은 물론이다. The AR content providing system is capable of providing information and customized advertisements in a more accurate and new form using images captured by a user based on augmented reality technology. First, by providing AR information formed by AR technology using useful information or customized advertisements in a specific area where the user is located, a new type of information and advertisement service immersed in the user is possible, thereby improving service efficiency. You can. In addition, the AR content providing system uses an image taken by a user, that is, an object existing in real life, so that existing AR technology can be easily applied to life. In addition, when a plurality of contents is provided, the relationship between the contents may be visualized and configured, thereby improving readability and understanding of the contents and visualizing the information. Such content may be generated in a immersive multimedia rather than a simple text form, thereby improving information provision and advertisement effects. On the other hand, in addition to the service through the information delivery, augmented reality content marketplace services that produce and distribute augmented reality content is also possible, of course.

이러한 AR컨텐츠 제공시스템은, 실시간 촬영에 의한 입력으로 사용자의 입력을 대신함으로써, 기존에 사용자가 임의의 정보를 검색하기 위해 수행하던 과정, 예를 들면, 단어 입력시간 및 검색버튼을 누르는 과정 등을 단축시켜 사용자의 편의성을 증대시킬 수 있으며, 검색에 소요되는 시간도 감소시킬 수 있다. 또한, 사 용자의 위치와 사용자가 촬영한 이미지에 기반하여 광고 및 정보를 제공함으로써, 사용자의 상황과 필요에 부합되는 광고 및 정보가 제공되어 광고 및 정보 제공 효과를 향상시킬 수 있다. The AR content providing system replaces the user's input with an input by real-time shooting, thereby performing a process previously performed by the user to search for arbitrary information, for example, pressing a word input time and a search button. By shortening it, the user's convenience can be increased, and the time required for searching can be reduced. In addition, by providing advertisements and information based on the user's location and the image taken by the user, advertisements and information corresponding to the user's situation and needs may be provided to improve the advertisement and information providing effect.

도 1은 본 발명의 증강현실을 이용하여 휴대형 단말기로 실시간 지역정보를 제공하는 AR컨텐츠 제공시스템의 구성블럭도, 1 is a block diagram of an AR content providing system for providing real-time local information to a portable terminal using augmented reality of the present invention,

도 2는 도 1의 AR컨텐츠 제공시스템에서 휴대형 단말기로 AR컨텐츠를 제공하는 과정을 도시한 흐름도, FIG. 2 is a flowchart illustrating a process of providing AR content to a portable terminal in the AR content providing system of FIG. 1;

도 3은 도 1의 AR컨텐츠 제공시스템에서 제공된 AR컨텐츠가 휴대형 단말기에 표시된 상태를 보인 휴대형 단말기의 정면도이다. 3 is a front view of a portable terminal showing a state in which AR contents provided in the AR content providing system of FIG. 1 are displayed on the portable terminal.

* 도면의 부호에 대한 간단한 설명 *Brief description of symbols in the drawings

10 : 휴대형 단말기 15 : 촬영모듈 10: portable terminal 15: shooting module

25 : 위치센서 40 : 영상 재생기25: position sensor 40: video player

45 : AR컨텐츠-영상 정합기 100 : 서버 45: AR content-image matcher 100: server

115 : 위치 판단기 130 : 영상검색엔진 115: position determiner 130: image search engine

135 : 영상DB 140 : 컨텐츠 추출기 135: Image DB 140: Content Extractor

145 : 컨텐츠DB 150 : AR컨텐츠 생성기 145: content DB 150: AR content generator

Claims (13)

이미지 센서를 통해 입력된 이미지와 사용자의 위치정보를 네트워크를 통해 서버로 제공하고, 상기 서버로부터 상기 이미지와 위치정보에 기초하여 제공된 AR컨텐츠와, 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하여 외부로 표시하는 휴대형 단말기; 및, Provides the image input through the image sensor and the user's location information to the server through the network, and matches the AR content provided from the server based on the image and the location information, and the real-time image input through the image sensor to the outside Portable terminal to display; And, 상기 휴대형 단말기로부터 상기 이미지와 위치정보를 제공받아, 상기 휴대형 단말기가 위치하는 지역범위내에서 상기 이미지에 부합되는 컨텐츠를 검색하고, 검색된 컨텐츠를 증강현실 기술로 처리한 AR컨텐츠를 상기 휴대형 단말기로 제공하는 서버;를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The mobile terminal receives the image and the location information from the portable terminal, searches for content corresponding to the image within a region where the portable terminal is located, and provides AR content in which the retrieved content is processed by augmented reality technology to the portable terminal. AR content providing system comprising a. 제 1 항에 있어서, The method of claim 1, 상기 휴대형 단말기는, 상기 휴대형 단말기와의 통신을 통해 상기 사용자의 위치에 관한 정보를 생성하는 위치센서를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The portable terminal, the AR content providing system, characterized in that it comprises a position sensor for generating information about the location of the user through communication with the portable terminal. 제 2 항에 있어서, The method of claim 2, 상기 위치센서는, GPS 방식, WiFi 방식, CDMA 방식 중 하나를 사용하는 센서인 것을 특징으로 하는 AR컨텐츠 제공시스템. The position sensor is an AR content providing system, characterized in that the sensor using one of the GPS method, WiFi method, CDMA method. 제 1 항에 있어서, The method of claim 1, 상기 휴대형 단말기는, 상기 AR컨텐츠와 상기 이미지 센서를 통해 입력된 실시간 영상을 정합하는 AR컨텐츠-영상 정합기를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The portable terminal is an AR content providing system, characterized in that it comprises an AR content-image matcher for matching the real-time image input through the AR content and the image sensor. 제 4 항에 있어서, The method of claim 4, wherein 상기 휴대형 단말기는, 상기 AR컨텐츠-영상 정합기에서 정합된 실시간 영상과 AR컨텐츠를 외부로 표시하는 영상 재생기를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The portable terminal is an AR content providing system, characterized in that it comprises a video player for displaying the real-time video and AR content matched by the AR content-image matcher. 제 1 항에 있어서, The method of claim 1, 상기 서버는, 상기 휴대형 단말기로부터 제공된 위치정보를 분석하여 상기 사용자의 위치를 파악하는 위치 판단기를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템.The server, the AR content providing system, characterized in that it comprises a position determiner to determine the location of the user by analyzing the location information provided from the portable terminal. 제 1 항에 있어서, The method of claim 1, 상기 서버는, 정보 검색의 대상이 되는 다양한 이미지가 의미에 매칭되어 저장된 영상DB와, 상기 휴대형 단말기로부터 제공된 이미지와 상기 영상DB내의 이미지를 비교하여 부합되는 이미지의 의미를 추출하는 영상검색엔진을 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The server may include an image DB in which various images to be searched for information are matched with meanings, and an image search engine for comparing the images provided from the portable terminal with the images in the image DB to extract the meanings of the matching images. AR content providing system, characterized in that. 제 7 항에 있어서, The method of claim 7, wherein 상기 영상DB의 이미지는 지역에 따라 분류되어 저장되어 있으며, 상기 영상검색엔진은 상기 휴대형 단말기가 위치하는 지역범위내의 이미지 중 상기 휴대형 단말기로부터의 이미지에 부합되는 것을 탐색하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The image of the image DB is classified and stored according to a region, and the image search engine provides AR content that searches for an image corresponding to the image from the portable terminal among the regions within the region where the portable terminal is located. system. 제 7 항에 있어서, The method of claim 7, wherein 상기 영상검색엔진은, 내용기반영상검색엔진(CBVIR:Content-Based Visual Information Retrieval)인 것을 특징으로 하는 AR컨텐츠 제공시스템. The image search engine is an AR content providing system, characterized in that the content-based visual information engine (CBVIR: Content-Based Visual Information Retrieval). 제 7 항에 있어서, The method of claim 7, wherein 상기 서버는, 상기 이미지에 부합되는 컨텐츠가 의미에 매칭되어 저장된 컨텐츠DB와, 상기 영상검색엔진에서 추출한 의미에 매칭되는 컨텐츠를 추출하는 컨텐츠 추출기를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The server, the AR content providing system, characterized in that the content matching the image stored in the content DB and a content extractor for extracting the content matching the meaning extracted from the image search engine. 제 10 항에 있어서,The method of claim 10, 상기 서버는, 상기 컨텐츠 추출기에서 추출된 컨텐츠를 증강현실 기술로 처리하여 AR컨텐츠를 생성하는 AR컨텐츠 생성기를 포함하는 것을 특징으로 하는 AR컨텐츠 제공시스템. The server is an AR content providing system, characterized in that it comprises an AR content generator for generating AR content by processing the content extracted by the content extractor in augmented reality technology. 이미지 센서를 통해 이미지를 얻고, 위치제공매체와의 통신을 통해 휴대형 단말기의 위치정보를 생성하는 단계; Obtaining an image through an image sensor and generating location information of the portable terminal through communication with a location providing medium; 네트워크를 통해 상기 이미지와 위치정보를 서버로 전송하는 단계; Transmitting the image and location information to a server via a network; 상기 위치정보에 기초하여 상기 휴대형 단말기가 위치하는 지역을 파악하는 단계; Determining an area in which the portable terminal is located based on the location information; 상기 휴대형 단말기가 위치하는 지역범위내에서 상기 휴대형 단말기로부터의 이미지에 부합되는 의미를 추출하는 단계; Extracting a meaning corresponding to an image from the portable terminal within an area in which the portable terminal is located; 상기 추출된 의미에 매칭된 컨텐츠를 추출하는 단계; Extracting content matching the extracted meaning; 상기 컨텐츠를 증강현실 기술로 처리하여 AR컨텐츠를 생성하는 단계; Generating AR content by processing the content with augmented reality technology; 상기 휴대형 단말기에서 상기 AR컨텐츠를 제공받아 실시간으로 입력되는 영상에 정합하는 단계; 및Receiving the AR content in the portable terminal and matching the received image in real time; And 정합된 실시간 영상과 AR컨텐츠를 외부로 표시하는 단계;를 포함하는 것을 특징으로 하는 AR컨텐츠 제공방법. Displaying the matched real-time image and the AR content to the outside; AR content providing method comprising a. 제 12 항에 있어서, 13. The method of claim 12, 상기 이미지를 추출하는 단계는, 내용기반영상검색엔진(CBVIR:Content-Based Visual Information Retrieval)을 사용하는 것을 특징으로 하는 AR컨텐츠 제공방법. The extracting of the image may include content-based visual information retrieval (CBVIR).
KR1020090043912A 2009-05-20 2009-05-20 Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology KR20100124947A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090043912A KR20100124947A (en) 2009-05-20 2009-05-20 Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090043912A KR20100124947A (en) 2009-05-20 2009-05-20 Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology

Publications (1)

Publication Number Publication Date
KR20100124947A true KR20100124947A (en) 2010-11-30

Family

ID=43408927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090043912A KR20100124947A (en) 2009-05-20 2009-05-20 Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology

Country Status (1)

Country Link
KR (1) KR20100124947A (en)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012112009A2 (en) * 2011-02-18 2012-08-23 Samsung Electronics Co., Ltd. Method and mobile apparatus for displaying an augmented reality
WO2012093816A3 (en) * 2011-01-04 2012-11-08 (주)올라웍스 Method for supporting collection of an object comprised in a generated image, and a recording medium able to be read by terminal devices and computers
CN103002410A (en) * 2012-11-21 2013-03-27 北京百度网讯科技有限公司 Augmented reality method and system for mobile terminals and mobile terminals
WO2013073727A1 (en) * 2011-11-17 2013-05-23 Song Chan Ho System and method for three-dimensional advertising
KR101288851B1 (en) * 2013-03-18 2013-07-23 (주)올포랜드 Operating method of augmented reality system with smart-phone
US8521128B1 (en) 2011-12-09 2013-08-27 Google Inc. Method, system, and computer program product for obtaining crowd-sourced location information
WO2013154562A1 (en) * 2012-04-12 2013-10-17 Intel Corporation Techniques for augmented social networking
KR101319667B1 (en) * 2012-05-24 2013-10-17 삼성에스디에스 주식회사 System and method for providing augmented reality and method for tracking region of interest used in the same
KR101358059B1 (en) * 2012-06-25 2014-02-05 에이알비전 (주) Method to express location information using augmented reality
WO2014133272A1 (en) * 2013-02-28 2014-09-04 Samsung Electronics Co., Ltd. Content delivery system with augmented reality mechanism and method of operation thereof
US8874673B2 (en) 2011-09-15 2014-10-28 Pantech Co., Ltd. Mobile terminal, server, and method for establishing communication channel using augmented reality (AR)
WO2015119674A3 (en) * 2013-10-17 2015-10-08 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9270885B2 (en) 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9325861B1 (en) 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images
KR20160095523A (en) 2015-02-03 2016-08-11 김이재 system for obtaining and supplying danger information
US9747012B1 (en) 2012-12-12 2017-08-29 Google Inc. Obtaining an image for a place of interest
WO2018074870A1 (en) * 2016-10-19 2018-04-26 (주)잼투고 Augmented reality object providing method and server using image authentication
WO2018101749A1 (en) * 2016-11-30 2018-06-07 (주)잼투고 On-site evaluation method using real world image of mobile terminal, and server
KR101875697B1 (en) * 2017-05-22 2018-07-09 김석종 Building information offering system based augmented and virtual reality and method for providing the system
KR20180107590A (en) * 2017-03-22 2018-10-02 삼아항업(주) Apparatus and method for providing three dimensional map
US10127733B2 (en) 2011-04-08 2018-11-13 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
KR101966037B1 (en) * 2018-04-16 2019-04-04 정영학 Method for providing time capsule based AR
KR101983256B1 (en) * 2017-12-27 2019-05-28 주식회사 버넥트 Augmented reality system with dynamic representation technique of augmented image considering mutual positional relationship between objects
KR102012183B1 (en) * 2018-02-12 2019-08-20 주식회사 캔디커뮤니케이션 Augmented Reality Based Computer Coding Education Omni-Edu System
KR102634060B1 (en) 2023-06-09 2024-02-07 주식회사 차후 System for informing risk information in disaster areas using augmented reality
US11967034B2 (en) 2023-10-31 2024-04-23 Nant Holdings Ip, Llc Augmented reality object management system

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012093816A3 (en) * 2011-01-04 2012-11-08 (주)올라웍스 Method for supporting collection of an object comprised in a generated image, and a recording medium able to be read by terminal devices and computers
WO2012112009A2 (en) * 2011-02-18 2012-08-23 Samsung Electronics Co., Ltd. Method and mobile apparatus for displaying an augmented reality
WO2012112009A3 (en) * 2011-02-18 2012-12-20 Samsung Electronics Co., Ltd. Method and mobile apparatus for displaying an augmented reality
US11869160B2 (en) 2011-04-08 2024-01-09 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US11854153B2 (en) 2011-04-08 2023-12-26 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US10127733B2 (en) 2011-04-08 2018-11-13 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US10403051B2 (en) 2011-04-08 2019-09-03 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US10726632B2 (en) 2011-04-08 2020-07-28 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US11107289B2 (en) 2011-04-08 2021-08-31 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US11514652B2 (en) 2011-04-08 2022-11-29 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8874673B2 (en) 2011-09-15 2014-10-28 Pantech Co., Ltd. Mobile terminal, server, and method for establishing communication channel using augmented reality (AR)
WO2013073727A1 (en) * 2011-11-17 2013-05-23 Song Chan Ho System and method for three-dimensional advertising
US9110982B1 (en) 2011-12-09 2015-08-18 Google Inc. Method, system, and computer program product for obtaining crowd-sourced location information
US8521128B1 (en) 2011-12-09 2013-08-27 Google Inc. Method, system, and computer program product for obtaining crowd-sourced location information
WO2013154562A1 (en) * 2012-04-12 2013-10-17 Intel Corporation Techniques for augmented social networking
US9894116B2 (en) 2012-04-12 2018-02-13 Intel Corporation Techniques for augmented social networking
KR101319667B1 (en) * 2012-05-24 2013-10-17 삼성에스디에스 주식회사 System and method for providing augmented reality and method for tracking region of interest used in the same
KR101358059B1 (en) * 2012-06-25 2014-02-05 에이알비전 (주) Method to express location information using augmented reality
US9832374B2 (en) 2012-10-26 2017-11-28 Google Llc Method, system, and computer program product for gamifying the process of obtaining panoramic images
US10165179B2 (en) 2012-10-26 2018-12-25 Google Llc Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9667862B2 (en) 2012-10-26 2017-05-30 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9723203B1 (en) 2012-10-26 2017-08-01 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images
US9270885B2 (en) 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9325861B1 (en) 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images
CN103002410A (en) * 2012-11-21 2013-03-27 北京百度网讯科技有限公司 Augmented reality method and system for mobile terminals and mobile terminals
US9747012B1 (en) 2012-12-12 2017-08-29 Google Inc. Obtaining an image for a place of interest
CN105009163A (en) * 2013-02-28 2015-10-28 三星电子株式会社 Content delivery system with augmented reality mechanism and method of operation thereof
US9654818B2 (en) 2013-02-28 2017-05-16 Samsung Electronics Co., Ltd. Content delivery system with augmented reality mechanism and method of operation thereof
WO2014133272A1 (en) * 2013-02-28 2014-09-04 Samsung Electronics Co., Ltd. Content delivery system with augmented reality mechanism and method of operation thereof
CN105009163B (en) * 2013-02-28 2019-05-07 三星电子株式会社 Content distribution system and its operating method with augmented reality mechanism
KR101288851B1 (en) * 2013-03-18 2013-07-23 (주)올포랜드 Operating method of augmented reality system with smart-phone
US9817848B2 (en) 2013-10-17 2017-11-14 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10140317B2 (en) 2013-10-17 2018-11-27 Nant Holdings Ip, Llc Wide area augmented reality location-based services
WO2015119674A3 (en) * 2013-10-17 2015-10-08 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US11392636B2 (en) 2013-10-17 2022-07-19 Nant Holdings Ip, Llc Augmented reality position-based service, methods, and systems
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US10664518B2 (en) 2013-10-17 2020-05-26 Nant Holdings Ip, Llc Wide area augmented reality location-based services
KR20160095523A (en) 2015-02-03 2016-08-11 김이재 system for obtaining and supplying danger information
US11023572B2 (en) 2016-10-19 2021-06-01 Jong Yoon Chun Augmented reality object providing method and server using image authentication
WO2018074870A1 (en) * 2016-10-19 2018-04-26 (주)잼투고 Augmented reality object providing method and server using image authentication
WO2018101749A1 (en) * 2016-11-30 2018-06-07 (주)잼투고 On-site evaluation method using real world image of mobile terminal, and server
KR20180107590A (en) * 2017-03-22 2018-10-02 삼아항업(주) Apparatus and method for providing three dimensional map
KR101875697B1 (en) * 2017-05-22 2018-07-09 김석종 Building information offering system based augmented and virtual reality and method for providing the system
KR101983256B1 (en) * 2017-12-27 2019-05-28 주식회사 버넥트 Augmented reality system with dynamic representation technique of augmented image considering mutual positional relationship between objects
KR102012183B1 (en) * 2018-02-12 2019-08-20 주식회사 캔디커뮤니케이션 Augmented Reality Based Computer Coding Education Omni-Edu System
KR101966037B1 (en) * 2018-04-16 2019-04-04 정영학 Method for providing time capsule based AR
KR102634060B1 (en) 2023-06-09 2024-02-07 주식회사 차후 System for informing risk information in disaster areas using augmented reality
US11967034B2 (en) 2023-10-31 2024-04-23 Nant Holdings Ip, Llc Augmented reality object management system

Similar Documents

Publication Publication Date Title
KR20100124947A (en) Ar contents providing system and method providing a portable terminal real-time regional information by using augmented reality technology
US11647276B2 (en) Portable information device having real-time display with relevant information
US10190885B2 (en) Method and apparatus for providing service using a sensor and image recognition in a portable terminal
JP5871976B2 (en) Mobile imaging device as navigator
EP2471281B1 (en) Mobile image capture device
US9874454B2 (en) Community-based data for mapping systems
US9525964B2 (en) Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
CN107404598B (en) Imaging device, information acquisition system, program, and recording medium
EP3550479A1 (en) Augmented-reality-based offline interaction method and apparatus
US8750559B2 (en) Terminal and method for providing augmented reality
US9074899B2 (en) Object guiding method, mobile viewing system and augmented reality system
US20090167919A1 (en) Method, Apparatus and Computer Program Product for Displaying an Indication of an Object Within a Current Field of View
US20130120450A1 (en) Method and apparatus for providing augmented reality tour platform service inside building by using wireless communication device
KR20140038355A (en) Computerized method and device for annotating at least one feature of an image of a view
CN108322885B (en) Interactive information acquisition method, interactive information setting method, user terminal and system
KR20120017293A (en) Apparatus and method for providing augmented reality
KR20140143777A (en) Method of communication and of information in augmented reality
KR20180100074A (en) Method and system for sorting a search result with space objects, and a computer-readable storage device
KR101397873B1 (en) Apparatus and method for providing contents matching related information
KR20210086834A (en) System and method for providing AR based tour information via smart glasses
JP2006285546A (en) Information providing system, database server, portable communication terminal
CN112307363A (en) Virtual-real fusion display method and device, electronic equipment and storage medium
CN108235764B (en) Information processing method and device, cloud processing equipment and computer program product
KR20130068463A (en) System for providing history information using location based information service and the method
KR101925181B1 (en) Augmented/virtual reality based dynamic information processing method and system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20111228

Effective date: 20130311