KR100983912B1 - Apparatus and Method for inputing and searching information for augumented reality - Google Patents
Apparatus and Method for inputing and searching information for augumented reality Download PDFInfo
- Publication number
- KR100983912B1 KR100983912B1 KR1020080031565A KR20080031565A KR100983912B1 KR 100983912 B1 KR100983912 B1 KR 100983912B1 KR 1020080031565 A KR1020080031565 A KR 1020080031565A KR 20080031565 A KR20080031565 A KR 20080031565A KR 100983912 B1 KR100983912 B1 KR 100983912B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- visual feature
- feature vector
- information processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 시각적 특징 벡터 및 위치정보를 수신받아, 상기 획득한 영상의 태깅된 정보를 읽어오는 정보처리 단계;및 증강 현실 기법을 통하여 표시장치에 사용자가 인식하고자 하는 대상 및 상기 태깅된 정보를 정합하여 표시해 주는 표시 단계를 포함하는 정보 검색 서비스 방법이 개시된다. 본 발명에 따르면, 모바일 환경에서 별도의 장치 없이 증강 현실 기법을 적용하여 사용자가 인식하고자 하는 대상물의 정보를 모바일 단말기에서 확인할 수 있다.Obtaining an image of a target to be recognized by a user; Extracting a visual feature vector from the acquired image; An information processing step of receiving the visual feature vector and the location information and reading tagged information of the acquired image; and matching and displaying the target information and the tagged information on the display device through an augmented reality technique. Disclosed is an information retrieval service method comprising a display step. According to the present invention, information on an object that a user wants to recognize can be confirmed in a mobile terminal by applying an augmented reality technique without a separate device in a mobile environment.
증강 현실 기법, 시각적 특징 벡터, 매쉬업 기술, 정보 검색 서비스 방법, 태그 Augmented Reality Techniques, Visual Feature Vectors, Mashup Techniques, Information Retrieval Services Methods, Tags
Description
본 발명은 휴대용 단말기로부터 입력되는 영상 신호와 GPS 단말기로부터 획득되는 위치 정보를 융합하여 카메라 입력을 통해서 보이는 사물이나 환경에 대한 정보를 웹 서비스를 통해서 획득하고 이를 사용자에게 증강 현실 기법을 통해 표시해 주는 방법에 관한 것이다. 또한 이러한 서비스를 원활하게 제공하기 위하여, 역으로 사용자가 휴대용 단말기로부터 입력되는 영상과 GPS 단말기로부터 획득되는 위치 정보와 그에 대한 정보를 웹 서버로 입력하는 방법에 관한 것이다. 그리고 위의 방법을 실시할 수 있도록, 영상으로부터 시각적 특징 벡터(visual descriptor) 를 추출하고 각각의 시각적 특징 벡터를 비교 분석하며, 그 결과로부터 이미지 서버에서 태깅된 정보를 가져오는 정보 처리 장치에 관한 것이다.The present invention is a method of fusing the image signal input from the portable terminal and the location information obtained from the GPS terminal to obtain information about the object or environment seen through the camera input through a web service and to display it to the user through augmented reality technique It is about. In addition, in order to smoothly provide such a service, the present invention relates to an image input from a portable terminal, a location information obtained from a GPS terminal, and a method of inputting the information to the web server. The present invention relates to an information processing apparatus which extracts a visual feature vector from an image, compares and analyzes each visual feature vector, and retrieves tagged information from the image server. .
최근 디지털 기기의 발달에 힘입어 모든 일반 사용자들이 모바일 환경에서 카메라를 이용하여 용이하게 영상을 획득할 수 있게 되었고, GPS 모듈 또한 장착되어 사용자들에게 편리하게 위치를 찾을 수 있도록 도움을 주고 있다. 또한 증강 현 실 분야에선 카메라로부터 입력되는 영상에 그래픽 영상 등의 새로운 부가 정보를 표시해 주는 방법을 통해 사용자에게 부가적인 정보를 제공해 줄 수 있도록 연구를 활발히 진행 중에 있다. 하지만, 모바일 기기에 장착된 카메라는 현재, 사진 촬영 혹은 영상 통화 등에 활용에 그치고 있고, GPS 정보 또한 네비게이션 기능으로 한정하여 사용하고 있다. 따라서 본 발명은 모바일 환경에서 GPS 모듈로부터 입력되는 위치 정보와 더불어, 입력되는 카메라 영상의 활용도를 높이고자, 영상 처리 기법을 적용하여, 사용자에게 유용한 정보를 증강 현실 기법을 이용하여 표시함으로써, 정보 접근성이 용이함 및 다양한 부가 서비스를 창출할 수 있는 방법에 관한 것이다. Recently, thanks to the development of digital devices, all general users can easily acquire images using a camera in a mobile environment, and a GPS module is also installed to help users find a location conveniently. In addition, in the field of augmented reality, research is being actively conducted to provide additional information to the user by displaying new additional information such as graphic images on the image input from the camera. However, cameras mounted on mobile devices are currently used only for taking pictures or making video calls. GPS information is also limited to navigation functions. Accordingly, the present invention, in addition to the location information input from the GPS module in a mobile environment, to increase the utilization of the input camera image, by applying an image processing technique, by using augmented reality technique to display information useful to the user, access to information It is about this ease and how to create a variety of additional services.
모바일 디바이스를 이용하여, 주변 사물에 대한 부가적인 정보를 얻는 방법으로 대표적인 방법으로는 RFID 기술을 이용하는 방법으로써, 모바일 기기에 RFID 리더기를 장착하고, 주변 사물에 RFID 태그를 부착하여 고유 아이디 인식을 기반으로 정보 표시해 주는 방법이 있다. 최근에는 모바일 디바이스에 카메라 장착 비율이 높아짐에 따라, 카메라로부터 입력되는 영상 신호를 분석하고, 영상 인식 모듈을 이용하여 인식된 환경이나 사물에 대한 부가 정보를 제공해 주는 방법도 제시되고 있다. 우선 RFID기술을 활용한 방법은 인식률이 상대적으로 높아서 활용에 있어서 신뢰도를 높일 수 있지만, RFID 리더기를 반드시 장착하여야 하며, 더욱이, RFID 태그를 반드시 부착해야 하는 문제점도 있다. Using a mobile device, a method of obtaining additional information about the surrounding objects is a typical method using RFID technology. An RFID reader is attached to a mobile device and an RFID tag is attached to the surrounding objects to generate unique ID recognition. There is a way to display information. Recently, as the camera mounting rate increases in a mobile device, a method of analyzing an image signal input from a camera and providing additional information on a recognized environment or an object using an image recognition module has also been proposed. First, the method using the RFID technology can increase the reliability in utilizing the relatively high recognition rate, but must also be equipped with an RFID reader, and furthermore, there is a problem that the RFID tag must be attached.
또한 현재 보급되어 있는 RFID 태그는 금속면에 부착시 인식이 되지 않는 문제점이 있으며, 주변에 RFID 부착물이 많이 있을 경우에는 사용자가 진정으로 원 하는 사물에 대한 정보를 획득하기 어려운 문제점을 지니고 있으며, 인식 반경을 매우 좁힐 경우에는 초근거리에서만 인식을 할 수 있어서 접근이 어려운 대상에 대해서는 정보를 획득할 수 없는 단점을 지니고 있다. 상대적으로 카메라를 기반으로 인식하는 방법은 부가적인 리더기를 모바일 디바이스에 장착할 필요가 없으며, 또한 인식 거리에 대해서도 카메라의 줌 기능을 활용하면, 거리 제한에도 어느 정도 대응할 수 있는 장점을 지닌다. 또한 카메라를 활용하면 특정 사물에 대한 정보뿐만 아니라, 주변 환경 정보에 대해서 정보를 획득할 수 있으며, 사용자가 관심을 가지고 있는 대상에 대해서 시점을 일치 시킴으로써, 대상 후보를 제한할 수 있는 장점을 가지고 있다. In addition, the current RFID tag has a problem that is not recognized when attached to the metal surface, and when there are a lot of RFID attachments in the vicinity, it has a problem that the user is difficult to obtain information about the object that you really want. If the radius is very narrow, it can be recognized only in the ultra-short distance, so that it is impossible to obtain information about an object that is difficult to access. Relatively camera-based recognition does not require an additional reader to be mounted on the mobile device, and the camera's zoom function also allows the camera to cope with the distance limitation. In addition, by using the camera, not only information about a specific object but also information on surrounding environment information can be obtained, and the target candidate can be limited by matching the viewpoints with respect to the object of interest to the user. .
하지만, 현재까지 제안된 카메라를 이용한 인식 방법은 미리 정의해 둔 영상 패턴, 즉 1D 혹은 2D 영상 패턴을 부착을 해 두고, 이를 인식하는 방법으로써, 이 방법 역시, 기존 RFID 태그를 활용한 방법에서 문제점으로 인식되어 온, 추가적인 인식 태그를 부착해야 하는 문제점을 지닌다. However, the proposed recognition method using a camera is a method of attaching a predefined image pattern, that is, a 1D or 2D image pattern, and recognizing it, which is also a problem in the method using an existing RFID tag. There is a problem in that an additional recognition tag has to be attached.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로써, 모바일 환경에서 별도의 장치 없이 증강 현실 기법을 적용하여 사용자가 인식하고자 하는 대상물의 정보를 모바일 단말기에서 확인할 수 있는 방법을 제공하는 것을 목적으로 한다. 또한 본 발명은 역으로 사용자가 휴대용 단말기로부터 입력되는 영상과 GPS 단말기로부터 획득되는 위치 정보와 그에 대한 정보를 웹 서버로 입력하는 방법을 제공하는 것을 목적으로 한다. 또한 본 발명은 영상으로부터 시각적 특징 벡터를 추출하고 각각의 시각적 특징 벡터를 비교 분석하며, 그 결과로부터 이미지 서버에서 태깅된 정보를 가져오는 정보 처리 장치를 제공하는 것을 목적으로 한다.The present invention has been proposed in order to solve the problems of the prior art as described above, and provides a method for confirming information on an object to be recognized by a user in a mobile terminal by applying an augmented reality technique without a separate device in a mobile environment. It aims to do it. Another object of the present invention is to provide a method for a user inputting an image input from a portable terminal, location information obtained from a GPS terminal, and information about the same to a web server. Another object of the present invention is to provide an information processing apparatus which extracts a visual feature vector from an image, compares and analyzes each visual feature vector, and retrieves tagged information from the image server.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 모바일 환경에서의 정보 검색 서비스 방법은 사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 시각적 특징 벡터 및 위치정보를 수신받아, 상기 획득한 영상의 태깅된 정보를 읽어오는 정보처리 단계;및 증강 현실 기법을 통하여 표시장치에 사용자가 인식하고자 하는 대상 및 상기 태깅된 정보를 정합하여 표시해 주는 표시 단계를 포함하여 구성될 수 있다.According to an embodiment of the present invention, an information retrieval service method in a mobile environment includes: acquiring an image of a target to be recognized by a user; Extracting a visual feature vector from the acquired image; An information processing step of receiving the visual feature vector and the location information and reading tagged information of the acquired image; and matching and displaying the target information and the tagged information on the display device through an augmented reality technique. Notes can be configured to include display steps.
또한 본 발명의 다른 실시예에 따른 모바일 환경에서의 정보 입력 방법은 사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 획득된 영상에 태깅 정보를 입력받는 단계;및 상기 시각적 특징 벡터 및 단말기의 지피에스(global positioning system; GPS)로 부터 획득한 위치정보 및 상기 태깅 정보가 저장되는 단계를 포함하여 구성될 수 있다.In addition, the information input method in a mobile environment according to another embodiment of the present invention comprises the steps of acquiring an image of a target to be recognized by the user; Extracting a visual feature vector from the acquired image; Receiving tagging information on the acquired image; and storing the tagging information and the location information acquired from the visual feature vector and the global positioning system (GPS) of the terminal.
또한 본 발명의 또 다른 실시예에 따른 정보 처리 장치는 미리 저장되어 있는 영상으로부터 시각적 특징 벡터를 추출해내는 추출부; 상기 추출부에서 추출된 시각적 특징 벡터와 단말기로부터 수신받은 시각적 특징 벡터를 매칭하는 비교부; 상기 비교부의 매칭 결과로 태깅된 정보를 읽어오는 정보호출부를 포함하여 구성될 수 있다.In addition, the information processing apparatus according to another embodiment of the present invention includes an extraction unit for extracting a visual feature vector from a pre-stored image; A comparator for matching the visual feature vector extracted by the extractor with the visual feature vector received from the terminal; It may be configured to include an information caller for reading the information tagged as a result of the matching of the comparison unit.
본 발명에서는, 카메라와 GPS가 내장되어 있는 모바일 기기를 활용하여, 실시간으로 주변 환경 혹은 사물에 대한 정보를, 웹서비스를 통해서 기존의 많은 사용자들이 태깅해 둔 정보로부터 매쉬업(mashup) 기술을 활용하여 정보를 얻는 방법을 제안한다. 본 발명을 통하면, 사용자가 낯선 곳에 가거나, 새로운 사물을 발견했을 때, 이에 대한 적절한 설명 자료나 추가 정보 제공기기가 없더라도, 손쉽게 사용자가 지니고 있는 모바일 기기를 통해서 정보를 제공 받을 수 있는 방법을 제시하고 있다. 또한 이 방법은 새로운 사물에 대해서 특별한 관리인이 정보를 등록하고 관리를 해야 하는 과정이 필요 없으며, 많은 사람들이 정보를 공유하는 사진 공유 사이트 등으로부터 축척된 정보를 활용하는 것을 바탕으로 하는 웹서비스 기 반으로 한 기술이므로, 유지 및 관리가 추가되지 않는 장점이 있다. In the present invention, by using a mobile device with a built-in camera and GPS, by using the mashup (mashup) technology in real time information about the surrounding environment or things, from the information that many users have been tagged through a web service Suggest ways to get information. According to the present invention, when a user goes to an unfamiliar place or discovers a new object, even if there is no appropriate description material or additional information providing device, the user can easily receive information through the mobile device of the user. Doing. In addition, this method does not require a special manager to register and manage the information about the new object, and is based on a web service based on information accumulated from a photo sharing site where many people share the information. As one technology, maintenance and management are not added.
또한 시각적 기반 특징 벡터를 활용하므로, 정보 검색을 위해서 사용자는 해당 관심 사물에 대해서 정확한 명칭을 몰라도 될 뿐 만 아니라, 직접 검색어를 입력하지 않아도 되는 장점을 지닌다. 기존의 모바일 기기에서의 검색 기법에서 필요로 했던 추가적인 태그 혹은 리더기를 필요로 하지 않아서 앞으로 서비스의 확대 가능성은 매우 높다고 할 수 있다.In addition, since the visual-based feature vector is used, the user does not need to know the exact name of the object of interest for information retrieval, and has the advantage of not having to directly enter a search word. Since there is no need for additional tags or readers, which are required in the existing mobile devices, the possibility of service expansion is very high.
시각 기반 인식에 있어서도, GPS를 통한 장소 범위의 제한을 통해, 검색 대상 범위의 축소 시킬 수 있으며, 이를 통해 검색 대상 이미지 후보를 대폭적으로 감소 시킬 수 있고, 결과적으로 해당 장소에서 찍은 영상에서 비교를 함으로써, 인식률을 증대시킬 수 있는 장점을 지닌다. 인식된 영상에 대해서 사용자가 원하는 정보를 현장에서 관심 대상에 잘 정합되어 보여주는 표시 방법을 제공함으로써, 사용자에게 양질의 정보를 제공해 줄 수 있다. 특히, 관광지 등에서는 방문했던 사람들의 이용 후기 정보 및 자신의 경험을 자연스럽게 현장에서 공유할 수 있어서 생생한 경험 공유 기능을 제공하고, 받을 수 있다. Even in vision-based recognition, the range of the search target can be reduced by limiting the range of the place through GPS, which can greatly reduce the candidate image to be searched, and as a result, compare the images taken at the place. This has the advantage of increasing recognition rate. By providing a display method in which the user's desired information about the recognized image is properly matched to the object of interest in the field, high-quality information can be provided to the user. In particular, tourist attractions, such as reviews of people who visited and their experiences can be naturally shared in the field to provide a vivid experience sharing function, and can be received.
이하 본 발명의 일 실시예에 따른 정보 검색 방법을 참조한 도면을 통하여 설명한다.Hereinafter, an information retrieval method according to an embodiment of the present invention will be described with reference to the accompanying drawings.
본 발명에 있어 시각적 특징 벡터(visual descriptor)는 사진과 같은 영상에서 영상에 기록된 사물 등의 특징부로서, 다른 사물 등과 구별할 수 있는 고유의 시각적 표시를 의미한다. 이는 텍스트(text) 기반 검색에서의 검색어와 같은 개념 으로 볼 수 있다.In the present invention, a visual descriptor vector is a feature such as an object recorded in an image in an image such as a picture, and means a unique visual display that can be distinguished from other objects. This is the same concept as the search term in text-based search.
도 1은 본 발명의 일 실시예에 따른 정보 검색 방법을 나타내고 있다.1 illustrates an information retrieval method according to an embodiment of the present invention.
상기 목적을 달성하기 위해서 본 발명은, 모바일 기기에 부착된 카메라를 이용하여, 사용자가 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 시각적 특징 벡터 및 위치정보를 수신받아, 상기 획득한 영상의 태깅된 정보를 읽어오는 정보처리 단계;및 증강 현실 기법을 통하여 표시장치에 사용자가 인식하고자 하는 대상 및 상기 태깅된 정보를 정합하여 표시해 주는 표시 단계를 포함하여 구성된다. 이와 같이 GPS 를 통한 위치정보를 이용하는 것은 시각적 특징 벡터만을 이용하여 영상을 비교 분석하게 되면, 비교 분석을 해야할 영상의 양이 많아지고 정확도가 떨어지기 때문이다. 비슷한 위치정보를 가진 영상으로 비교 분석을 할 영상의 범위를 한정해놓으면 시각적 특징 벡터만을 이용했을 경우보다 효율적인 검색이 가능하다.In order to achieve the above object, the present invention, using the camera attached to the mobile device, obtaining an image of the object to be recognized by the user; Extracting a visual feature vector from the acquired image; An information processing step of receiving the visual feature vector and the location information and reading tagged information of the acquired image; and matching and displaying the target information and the tagged information on the display device through an augmented reality technique. The note comprises a display step. The use of the location information through GPS is because the comparative analysis of the image using only the visual feature vector increases the amount of the image to be compared and decreases the accuracy. By limiting the range of images to be compared and analyzed with images with similar location information, it is possible to search more efficiently than using only visual feature vectors.
도 2는 본 발명의 일 실시예에 따른 정보 검색 방법의 정보처리 단계를 나타내고 있다.2 shows an information processing step of an information retrieval method according to an embodiment of the present invention.
정보처리 단계는 이미지 서버에 저장되어있는, 상기 위치정보의 장소에서 획득한 영상의 시각적 특징 벡터를 추출하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계에서, 추출한 시각적 특징 벡터 및 상기 영상의 시각적 특징 벡터를 비교 분석하는 매칭 단계; 이미지 서버에서 해당 영상의 태깅(tagging)된 정보를 읽어오는 단계를 포함하여 구성된다.The information processing step may include extracting a visual feature vector of an image acquired at a location of the location information stored in an image server; In the step of extracting a visual feature vector from the obtained image, a matching step of comparing and analyzing the extracted visual feature vector and the visual feature vector of the image; It comprises a step of reading the tagged information of the video from the image server.
대상물의 영상을 획득하는 단계에서는, 사용자는 모바일 기기 등의 카메라 로부터 얻고자하는 대상물의 영상을 얻을 수 있다. 모바일 기기는 이동통신망, 무선인터넷 서비스 등을 통하여 획득한 영상을 전송할 수 있어야 한다.In the step of acquiring an image of the object, the user may obtain an image of the object to be obtained from a camera such as a mobile device. The mobile device should be able to transmit the acquired image through a mobile communication network, a wireless Internet service.
획득된 영상으로부터 시각적 특징 벡터를 추출하는 단계에서는 크기, 회전, 어파인 변형(affine transformation) 등에도 강건한 성능을 보이는 SIFT(scale invariant feature transform; SIFT) 알고리듬을 활용하여 도 5의 (b)와 같은 시각적 특징 벡터(Visual Descriptor) 를 추출한다. In the step of extracting the visual feature vector from the acquired image, a scale invariant feature transform (SIFT) algorithm, which shows robust performance against size, rotation, and affine transformation, is used as shown in FIG. Extract the visual feature vector (Visual Descriptor).
이러한 시각적 특징 벡터의 추출 단계는 두 군데서 발생한다. 첫 번째는 오프라인 처리가 되는 것으로, 예를 들면 플리커(http://www.flickr.com) 와 같은 전세계 사람들이 사진 공유를 하기 위해서 가장 많이 사용되는 이미지 서버를 매쉬업(mashup) 기술을 활용하여, 그 서버에 저장되어 있는 이미지를 가져와서, 가져온 이미지에 대해서 미리 시각적 특징 벡터를 추출하여 구축한 정보처리 장치에 플리커와 같은 사진 공유 사이트의 이미지 데이터 링크와 함께 저장해 둔다. 두 번째는 사용자가 모바일 기기에서 촬영한 이미지에서 시각적 특징 벡터를 추출하는데 사용하는데, 이 경우 모바일 기기의 성능에 따라 모바일 기기에서 시각적 특징 벡터를 추출할 수 있거나, 촬영된 이미지를 구축한 정보처리 장치로 전송하여 장치에서 시각적 특징 벡터를 추출할 수 있다. The extraction phase of this visual feature vector occurs in two places. The first is offline processing, which uses mashup technology to create the most popular image server for photo sharing by people around the world, for example, Flickr ( http://www.flickr.com ). The image stored in the server is taken and stored in the information processing apparatus which has previously extracted the visual feature vector for the imported image together with the image data link of a photo sharing site such as Flickr. The second is used to extract the visual feature vector from the image taken by the user on the mobile device.In this case, the information processing device that can extract the visual feature vector from the mobile device or builds the captured image according to the performance of the mobile device. Can be used to extract the visual feature vector from the device.
정보처리 단계에서 이미지 서버와 일련의 정보처리를 하기 위해서, 사용자가 획득한 영상의 시각적 특징 벡터와 GPS로부터 획득한 영상의 위치정보를 정보처리 장치로 전송을 할 수 있다. 이 단계에서 데이터의 전송이 필요하기 때문에, 단말기는 이동통신망, 무선인터넷 서비스 등을 통하여 정보처리 장치와 연결되어 있 어야 한다.In order to process a series of information with the image server in the information processing step, the visual feature vector of the image acquired by the user and the position information of the image acquired from the GPS may be transmitted to the information processing apparatus. Since data transfer is necessary at this stage, the terminal must be connected to the information processing apparatus through a mobile communication network, a wireless Internet service, or the like.
정보처리 단계에서는, 우선 GPS 정보를 통해 매쉬업 기술을 활용하여, 사진 공유 사이트에서 해당 위치에서 촬영된 이미지 리스트를 불러오고, 이를 불러와 저장한 정보처리 장치에서 이미지 리스트의 시각적 특징 벡터들과 사용자에 의해 획득된 영상에서 추출된 시각적 특징 벡터와의 비교 분석이 이뤄진다. 추출된 시각적 특징 벡터와 가장 일치하는 시각적 특징 벡터의 이미지 정보를 매쉬업 기술로 해당 사진 공유 사이트에서 읽어온다. 이미 사진 공유 사이트에서는 공유해 둔 사진에 대해서 많은 사용자들이 텍스트 기반의 태깅을 해 둔 상태이므로, 해당 사진에 대한 태깅 정보를 가져오면 된다.In the information processing step, first, by using the mashup technology through GPS information, a list of images photographed at the location is retrieved from the photo sharing site, and the image processing apparatus retrieves and stores the visual feature vectors of the image list and the user. Comparative analysis with the visual feature vectors extracted from the acquired image is performed. The image information of the visual feature vector that best matches the extracted visual feature vector is read from the corresponding photo sharing site by mashup technology. Since many users have already done text-based tagging for the photos they have shared in the photo sharing site, you can get the tagging information for the photos.
표시 단계에서는, 이렇게 가져 온 정보를 사용자의 모바일 단말기 등의 화면에 카메라로부터 획득되는 관심 대상 사물과 정합되어 표시함으로써 사용자에게 상황에 맞는 정확한 정보를 제시해 줄 수 있게 된다.In the display step, the information thus obtained is matched with the object of interest obtained from the camera and displayed on the screen of the user's mobile terminal to present the user with accurate information suitable for the situation.
또한 도 2에서는, 정보처리 단계에 있어서 웹서비스 기반 질의어 생성 단계가 포함되어 있다. 수신된 시각적 특징 벡터 및 상기 위치정보를 통하여 질의어를 생성하고, 생성된 질의어를 통하여 카테고리별로 출력하는 질의어 생성 단계가 포함될 수 있다. 이렇게 질의어 생성단계가 추가되면, 시각적 특징 벡터를 비교 분석하는 매칭 단계에서 효율적인 자료 검색 및 매칭 작업이 가능하다.In addition, in FIG. 2, the web service based query generation step is included in the information processing step. A query may be generated by generating a query word based on the received visual feature vector and the location information and outputting the query word by category through the generated query word. When the query generation step is added, an efficient data search and matching operation is possible in the matching step of comparing and analyzing the visual feature vectors.
도 3은 본 발명의 다른 실시예에 따른 정보 입력 방법을 나타내고 있다.3 illustrates an information input method according to another embodiment of the present invention.
본 발명의 목적을 달성하기 위한 정보 입력 방법은 인식하고자 하는 대상의 영상을 획득하는 단계; 상기 획득한 영상으로부터 시각적 특징 벡터를 추출하는 단계; 상기 획득된 영상의 태깅 정보를 입력받는 단계;및 상기 시각적 특징 벡터 및 단말기의 지피에스(global positioning system; GPS)로 부터 획득한 위치정보 및 상기 태깅 정보가 저장되는 단계를 포함하여 구성된다. 이와 같이 현장에서 사용자에 의해 획득된 영상과 그 영상의 태깅정보를 서버 및 장치로 전송하면, 실시간으로 이미지 서버와 정보처리 장치 내의 시각적 특징 벡터 데이터베이스가 업데이트 될 수 있다. 이는 상기의 정보 검색 서비스 방법을 더 효율적으로 운용되게 하며, 다수의 사용자로 하여금 정보 접근성과 다양한 부가 서비스를 경험하게 해준다.An information input method for achieving the object of the present invention comprises the steps of obtaining an image of the object to be recognized; Extracting a visual feature vector from the acquired image; Receiving tagging information of the acquired image; and storing the tagging information and the location information acquired from the visual feature vector and the global positioning system (GPS) of the terminal. As such, when the image acquired by the user in the field and the tagging information of the image are transmitted to the server and the device, the visual feature vector database in the image server and the information processing device may be updated in real time. This allows the above information retrieval service method to be operated more efficiently, and allows multiple users to experience information accessibility and various additional services.
또한 상기에서 시각적 특징 벡터는 정보 처리 장치로 전송되고, 위치 정보 및 태깅 정보는 이미지 서버로 전송된다. 각각의 데이터들이 분리되어 저장되므로 효율적인 서비스의 제공이 가능하다.In addition, the visual feature vector is transmitted to the information processing device, and the location information and tagging information are transmitted to the image server. Since each data is stored separately, efficient service can be provided.
도 4는 본 발명의 실시예에 따른 정보 처리 장치를 나타내고 있다.4 shows an information processing apparatus according to an embodiment of the present invention.
본 발명의 목적을 달성하기 위한 정보 처리 장치는 미리 저장되어 있는 영상으로부터 시각적 특징 벡터를 추출해내는 추출부; 상기 추출부에서 추출된 시각적 특징 벡터와 단말기로부터 수신받은 시각적 특징 벡터를 매칭하는 비교부; 상기 비교부의 매칭결과로 태깅된 정보를 읽어오는 정보호출부를 포함하여 구성된다. 또한 추출부에서 추출된 시각적 특징 벡터를 저장하는 시각적 특징 벡터 데이터베이스를 더 포함하여 구성될 수 있다.An information processing apparatus for achieving the object of the present invention comprises an extraction unit for extracting a visual feature vector from a pre-stored image; A comparator for matching the visual feature vector extracted by the extractor with the visual feature vector received from the terminal; And an information caller for reading information tagged as a result of the matching of the comparison unit. The apparatus may further include a visual feature vector database that stores the visual feature vector extracted by the extractor.
시각적 특징 벡터를 추출하여 영상을 비교 분석하면 일치하는 영상을 검색하는데 시간과 데이터량이 줄어들고, 비교 분석 결과로 이미지 서버에서 태깅된 정 보를 읽어오면 사용자의 정보 입력의 노력과 시간을 감면해준다. 시각적 특징 벡터 데이터베이스를 구축해 놓으면, 사진 공유 사이트와 같은 이미지 서버에 접속할 필요없이 정보처리 장치내에서 시각적 특징 벡터와 GPS 위치정보를 기반으로 매칭 작업이 가능하다. Extracting the visual feature vector and analyzing the images reduces the time and amount of data for searching for matching images, and reading the tagged information from the image server as a result of the comparative analysis reduces the effort and time of user input. By constructing a visual feature vector database, a matching operation can be performed based on the visual feature vector and GPS location information in the information processing device without having to access an image server such as a photo sharing site.
도 5는 본 발명의 실시예에 따른 시각적 특징 벡터를 추출하는 예를 보여준다. 상기에서 설명한 대로, 시각적 특징 벡터의 추출은 사용자의 단말기에서 추출하거나 촬영된 영상을 정보처리 장치로 전송하여 장치에서 추출하는 경우, 그리고 이미지 서버에 이미 저장되어 있는 영상으로부터 추출하는 경우가 있다. 또한 위에서 설명한 바와 같이, 크기, 회전, 어파인 변형(affine transformation) 등에도 강건한 성능을 보이는 SIFT(scale invariant feature transform; SIFT) 알고리듬을 활용하여 도 5의 (b)와 같은 시각적 특징 벡터(Visual Descriptor) 를 추출한다. 5 shows an example of extracting a visual feature vector according to an embodiment of the present invention. As described above, the extraction of the visual feature vector may be performed when the image extracted or captured by the user's terminal is transmitted to the information processing apparatus to be extracted from the apparatus, and extracted from an image already stored in the image server. In addition, as described above, by utilizing a scale invariant feature transform (SIFT) algorithm that shows robust performance in size, rotation, affine transformation, etc., a visual feature vector as shown in FIG. )
이상에서 설명한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 변경 및 변형이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.The present invention described above is limited to the above-described embodiments and the accompanying drawings, as various changes and modifications can be made within the scope of the technical spirit of the present invention by those skilled in the art. It is not.
도 1은 본 발명의 일 실시예에 따른 정보 검색 서비스 방법을 나타낸 도면이다.1 is a diagram showing an information retrieval service method according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 정보 검색 서비스 방법 중 정보처리 단계를 나타낸 도면이다.2 is a diagram illustrating an information processing step of an information retrieval service method according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 정보 입력 방법을 나타낸 도면이다.3 is a diagram illustrating an information input method according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 정보 처리 장치를 나타낸 도면이다.4 is a diagram illustrating an information processing apparatus according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 시각적 특징 벡터를 추출하는 예를 나타낸 도면이다.5 is a diagram illustrating an example of extracting a visual feature vector according to an embodiment of the present invention.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080031565A KR100983912B1 (en) | 2008-04-04 | 2008-04-04 | Apparatus and Method for inputing and searching information for augumented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080031565A KR100983912B1 (en) | 2008-04-04 | 2008-04-04 | Apparatus and Method for inputing and searching information for augumented reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20090106069A KR20090106069A (en) | 2009-10-08 |
| KR100983912B1 true KR100983912B1 (en) | 2010-09-27 |
Family
ID=41535727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080031565A KR100983912B1 (en) | 2008-04-04 | 2008-04-04 | Apparatus and Method for inputing and searching information for augumented reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100983912B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160069144A (en) * | 2014-12-08 | 2016-06-16 | 엘지전자 주식회사 | Terminal device, information display system and controlling method thereof |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101036529B1 (en) * | 2010-01-06 | 2011-05-24 | 주식회사 비엔에스웍스 | Text message service method using pictorial symbol |
| KR101099137B1 (en) | 2010-01-29 | 2011-12-27 | 주식회사 팬택 | Method and Apparatus for Providing Augmented Reality Information in Mobile Communication System |
| KR100989663B1 (en) | 2010-01-29 | 2010-10-26 | (주)올라웍스 | Method, terminal device and computer-readable recording medium for providing information on an object not included in visual field of the terminal device |
| KR101435087B1 (en) * | 2010-06-28 | 2014-08-27 | 엘지전자 주식회사 | Method and apparatus for providing the operation state of an external device |
| KR101332816B1 (en) * | 2010-07-26 | 2013-11-27 | 주식회사 팬택 | Augmented Reality Method and Apparatus for Providing Private Tag |
| WO2012020867A1 (en) * | 2010-08-13 | 2012-02-16 | 엘지전자 주식회사 | Apparatus and method for displaying service information rendered within a service zone |
| KR101260576B1 (en) | 2010-10-13 | 2013-05-06 | 주식회사 팬택 | User Equipment and Method for providing AR service |
| KR101328032B1 (en) * | 2010-10-29 | 2013-11-13 | 에스케이플래닛 주식회사 | System and method for providing augmented reality service |
| KR101329102B1 (en) * | 2012-02-28 | 2013-11-14 | 주식회사 케이쓰리아이 | augmented reality - image retrieval system using layout descriptor and image feature. |
| KR102010252B1 (en) * | 2016-02-29 | 2019-08-14 | 한국전자통신연구원 | Apparatus and method for providing augmented reality service |
-
2008
- 2008-04-04 KR KR1020080031565A patent/KR100983912B1/en active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160069144A (en) * | 2014-12-08 | 2016-06-16 | 엘지전자 주식회사 | Terminal device, information display system and controlling method thereof |
| KR102302327B1 (en) | 2014-12-08 | 2021-09-15 | 엘지전자 주식회사 | Terminal device, information display system and controlling method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20090106069A (en) | 2009-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100983912B1 (en) | Apparatus and Method for inputing and searching information for augumented reality | |
| US10997788B2 (en) | Context-aware tagging for augmented reality environments | |
| CN101950351B (en) | Method of identifying target image using image recognition algorithm | |
| US8185596B2 (en) | Location-based communication method and system | |
| US9076069B2 (en) | Registering metadata apparatus | |
| US20100309226A1 (en) | Method and system for image-based information retrieval | |
| US10147399B1 (en) | Adaptive fiducials for image match recognition and tracking | |
| CN109040960A (en) | A kind of method and apparatus for realizing location-based service | |
| BRPI0614864A2 (en) | use of image derived information as search criteria for internet and other search agents | |
| JP2011055250A (en) | Information providing method and apparatus, information display method and mobile terminal, program, and information providing system | |
| JPWO2007116500A1 (en) | Information presentation system, information presentation terminal and server | |
| TWI470549B (en) | A method of using an image recognition guide to install an application, and an electronic device | |
| US8355533B2 (en) | Method for providing photographed image-related information to user, and mobile system therefor | |
| CN109189879A (en) | E-book display methods and device | |
| KR101889025B1 (en) | System and Method for Displaying 3-Dimension Images for Mobile Terminal Using Object Recognition Based on R-CNN Algorithm | |
| WO2012144124A1 (en) | Captured image processing system, captured image processing method, mobile terminal and information processing apparatus | |
| US20140112586A1 (en) | Pictogram and iso symbol decoder service | |
| KR102107208B1 (en) | Method for Providing Off-line Shop Information in Network, and Managing Server Used Therein | |
| JP2011076336A (en) | Digital signage system and method for identifying display device viewed by user | |
| CN111797266B (en) | Image processing method and apparatus, storage medium, and electronic device | |
| KR20140068302A (en) | System and Method for servicing contents using recognition of natural scene text | |
| Deniz et al. | A vision-based localization algorithm for an indoor navigation app | |
| KR20140093850A (en) | Method and Apparatus for providing contents in an integrated manner | |
| EP2362627B1 (en) | Location-based communication method and system | |
| KR101550358B1 (en) | Method and system for tag editor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130829 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20150831 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20160901 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20170912 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20190902 Year of fee payment: 10 |