KR101214612B1 - Building navigation system based on augmented reality - Google Patents

Building navigation system based on augmented reality Download PDF

Info

Publication number
KR101214612B1
KR101214612B1 KR1020100123083A KR20100123083A KR101214612B1 KR 101214612 B1 KR101214612 B1 KR 101214612B1 KR 1020100123083 A KR1020100123083 A KR 1020100123083A KR 20100123083 A KR20100123083 A KR 20100123083A KR 101214612 B1 KR101214612 B1 KR 101214612B1
Authority
KR
South Korea
Prior art keywords
marker
image
building
augmented reality
navigation system
Prior art date
Application number
KR1020100123083A
Other languages
Korean (ko)
Other versions
KR20120061696A (en
Inventor
최영규
김재환
김현민
이순규
정종현
진희정
최현철
Original Assignee
한국기술교육대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기술교육대학교 산학협력단 filed Critical 한국기술교육대학교 산학협력단
Priority to KR1020100123083A priority Critical patent/KR101214612B1/en
Publication of KR20120061696A publication Critical patent/KR20120061696A/en
Application granted granted Critical
Publication of KR101214612B1 publication Critical patent/KR101214612B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 건물 정보와 실제 환경을 연계하기 위한 매개체로 활용하는 마커, 상기 마커가 표시된 입력영상을 촬영하는 카메라, 상기 카메라에 촬영된 마커를 인식하는 마커 인식부, 상기 마커 인식부와 연동하여 상기 마커의 위치에 건물의 가상 영상을 증강시키는 영상처리부 및 상기 영상처리부에서 증강된 영상을 표시하는 디스플레이부를 포함하는 것을 특징으로 하는 증강현실 기반 건물 네비게이션 시스템에 관한 것이다. 본 발명에 의하면 마커 기반의 증강현실을 이용해 건물의 모습과 사용자가 가고자 하는 장소의 구체적인 모습들을 관찰함으로써 보다 빠르고 정확하게 목적지를 찾아갈 수 있게 하는 효과가 있다.The present invention provides a marker used as a medium for linking building information with a real environment, a camera for photographing an input image on which the marker is displayed, a marker recognition unit for recognizing a marker photographed by the camera, and the marker recognition unit. The present invention relates to an augmented reality-based building navigation system comprising an image processor for augmenting a virtual image of a building at a location of a marker and a display unit for displaying an image augmented by the image processor. According to the present invention, by using a marker-based augmented reality to observe the appearance of the building and the specific shape of the place where the user wants to go, there is an effect that can find the destination more quickly and accurately.

Description

증강현실 기반 건물 네비게이션 시스템{BUILDING NAVIGATION SYSTEM BASED ON AUGMENTED REALITY}Augmented Reality-based Building Navigation System {BUILDING NAVIGATION SYSTEM BASED ON AUGMENTED REALITY}

본 발명은 증강현실 기반 건물 네비게이션 시스템에 관한 것으로서, 더욱 상세히는 마커기반의 증강현실을 이용해 건물의 모습과, 사용자가 가고자 하는 장소의 정보를 미리 제공함으로써 보다 빠르고 정확하게 목적지를 찾을 수 있도록 하는 증강현실 기반 건물 네비게이션 시스템에 관한 것이다.The present invention relates to an augmented reality-based building navigation system, and more specifically, augmented reality that allows a user to find a destination more quickly and accurately by providing information of a building and a place where a user wants to go in advance using a marker-based augmented reality. A base building navigation system.

최근 가상현실(Virtual Reality:VR)의 한 분야인 증강현실(Augmented Reality:AR)에 대한 관심이 높아지고 있다. 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 것처럼 보여주는 이 증강현실기술은 최근 영상처리와 마커기반의 트래킹을 손쉽게 구현할 수 있게 도와주는 오픈 라이브러리가 등장하면서 이를 이용한 응용 프로그램이 늘어나고 연구하는 사람들이 늘어나고 관심이 증대되면서 앞으로의 기대 분야로 각광받고 있다.Recently, interest in Augmented Reality (AR), which is one area of Virtual Reality (VR), is increasing. This augmented reality technology, which synthesizes virtual objects in the real environment as if they exist in the original environment, has recently emerged as an open library that makes it easy to implement image processing and marker-based tracking. As this increase and interest increases, it is in the spotlight as a future expectation field.

특히, 요즘의 모바일 스마트폰 등에서 주로 이용하는 위치기반 서비스는 그 유용성 덕에 많은 사람들의 관심을 받고 있다. 현재의 증강현실을 이용한 네비게이션 어플리케이션들은 한 지점으로부터 다른 지점의 위치공간 정보를 제공하고 있지만, 특정 건물의 특정 호실을 찾고자 할 때, 단순히 위치기반 서비스를 이용해 방향만으로 찾아가야 하므로 가고자 하는 건물의 내부 정보 등을 미리 알 수 없으며, 그에 따라 보다 빠르고 정확하게 목적지를 찾을 수 없는 문제점이 있다.In particular, location-based services mainly used in mobile smartphones such as these days are attracting many people's attention due to their usefulness. Current navigation applications using augmented reality provide location space information from one point to another, but when you want to find a specific room of a specific building, you only need to use the location-based service to find directions. There is a problem that cannot be known in advance, and thus can not find the destination more quickly and accurately.

본 발명은 상술한 문제를 해결하기 위하여 안출된 것으로, 본 발명의 목적은 마커 기반의 증강현실을 이용해 건물의 모습과 사용자가 가고자 하는 장소의 구체적인 모습들을 관찰하여 사용자가 간접적인 경험을 통해 도서나 영상으로 보던 환경을 미리 경험하도록 하여 위치를 정확하게 알고 찾아갈 수 있도록 하여 보다 빠르게 목적지를 찾을 수 있도록 하는 증강현실 기반 건물 네비게이션 시스템을 제공하는데 있다.The present invention has been made to solve the above-described problem, the object of the present invention is to observe the appearance of the building and the specific shape of the place where the user wants to go by using a marker-based augmented reality through the user indirect experience It is to provide augmented reality-based building navigation system that enables users to experience the environment seen in video in advance so that they can know their location accurately and find their destination faster.

상술한 과제를 해결하기 위하여 제공되는 본 발명의 구성은 건물 정보와 실제 환경을 연계하기 위한 매개체로 활용하는 마커; 상기 마커가 표시된 입력영상을 촬영하는 카메라; 상기 카메라에 촬영된 마커를 인식하는 마커 인식부; 상기 마커 인식부와 연동하여 상기 마커의 위치에 건물의 가상 영상을 증강시키는 영상처리부; 상기 영상처리부에서 증강된 영상을 표시하는 디스플레이부; 를 포함하는 것을 특징으로 하는 증강현실 기반 건물 네비게이션 시스템을 제공하여 사용자로 하여금 보다 빠르고 정확하게 목적지를 찾을 수 있도록 할 수 있다.The configuration of the present invention provided to solve the above problems is a marker to be used as a medium for linking the building information and the actual environment; A camera for photographing the input image on which the marker is displayed; A marker recognition unit recognizing a marker photographed by the camera; An image processor for augmenting a virtual image of a building at a position of the marker in association with the marker recognition unit; A display unit which displays an image enhanced by the image processor; By providing an augmented reality-based building navigation system comprising a so that the user can find a destination more quickly and accurately.

특히, 상기 마커 인식부는, 입력영상을 바이너리 영상으로 변환하는 변환부; 상기 바이너리 영상에서 스퀘어 리전(square region)을 탐색하는 탐색부; 상기 각 스퀘어 리전 내의 패턴을 캡쳐하여 패턴 템플릿들과 매칭하여 마커인지 여부를 결정하는 마커 결정부; 상기 마커 결정부에 의해 마커로 인식된 경우 실제 영상에서의 위치를 계산하는 위치 연산부;를 포함하는 것을 특징으로 할 수 있다.In particular, the marker recognition unit, a conversion unit for converting the input image into a binary image; A searcher for searching a square region in the binary image; A marker determination unit which captures a pattern in each square region and matches the pattern templates to determine whether the marker is a marker; And a position calculator which calculates a position in an actual image when the marker is determined by the marker determiner.

또한, 상기 증강현실 기반 건물 네비게이션 시스템은, 건물 정보에 대한 탐색을 위한 터치입력이나 클릭에 따른 이벤트를 처리하는 이벤트 처리부를 더 포함하는 것을 특징으로 할 수 있다.The augmented reality-based building navigation system may further include an event processor configured to process an event according to a touch input or a click for searching for building information.

또한, 상기 건물 정보는, 건물의 외관, 층별 또는 특정 호실에 대한 정보인 것을 특징으로 할 수 있다.In addition, the building information may be characterized in that the information on the appearance, floor by floor or specific room.

아울러, 상기 마커는 책자형태인 것을 특징으로 할 수 있다.In addition, the marker may be characterized in that the booklet form.

또한, 상기 디스플레이부는, 파노라마 사진으로 증강된 영상을 구현하는 것을 특징으로 할 수 있다.The display unit may implement an image augmented with a panoramic picture.

본 발명에 의하면, 마커 기반의 증강현실을 이용해 건물의 모습과 사용자가 가고자 하는 장소의 구체적인 모습들을 관찰함으로써 위치를 정확하게 알고 찾아갈 수 있도록 하고 사용자는 직접 마커를 조절하여 건물 모델을 둘러보며 자연스럽게 목적지에 대한 정보를 습득할 수 있게 된다.According to the present invention, by using the marker-based augmented reality to observe the appearance of the building and the specific shape of the place where the user wants to go to know exactly the location and go to the user by adjusting the marker directly and look around the building model naturally You will be able to learn about.

도 1은 본 발명의 일 실시형태에 따른 증강현실 기반 건물 네비게이션 시스템의 구성도이다.
도 2은 본 발명의 일 실시형태에 따른 증강현실 기반 건물 네비게이션 시스템 순서도이다.
도 3a 및 도 3b는 파노라마 VR을 나타낸 예시도이다.
도 4a 내지 도 5d는 시연 모습을 도시한 예시도이다.
1 is a block diagram of an augmented reality based building navigation system according to an embodiment of the present invention.
2 is a flowchart of an augmented reality based building navigation system according to an embodiment of the present invention.
3A and 3B are exemplary views illustrating panorama VR.
4A to 5D are exemplary views showing a demonstration.

이하 첨부도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 그러나, 본 발명의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시예들로 인해 한정되어지는 것으로 해석되어져서는 안 된다. 본 발명의 실시예들은 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되어지는 것이다. 따라서, 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이며, 도면상에서 동일한 부호로 표시된 요소는 동일한 요소를 의미한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, embodiments of the present invention may be modified in many different forms, and the scope of the present invention should not be construed as being limited by the embodiments described below. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Therefore, the shapes and the like of the elements in the drawings are exaggerated in order to emphasize a clearer description, and elements denoted by the same symbols in the drawings denote the same elements.

도 1은 본 발명의 일 실시형태에 따른 증강현실 기반 건물 네비게이션 시스템의 구성도를 도시한 도면이다. 도 1을 참조하면, 본 발명은 건물 정보와 실제 환경을 연계하기 위한 매개체로 활용하는 마커(10), 상기 마커(10)가 표시된 입력영상을 촬영하는 카메라(20), 상기 카메라(20)에 촬영된 마커(10)를 인식하는 마커 인식부(30), 상기 마커 인식부(30)와 연동하여 상기 마커(10)의 위치에 건물의 가상 영상을 증강시키는 영상처리부(40) 및 상기 영상처리부(40)에서 증강된 영상을 표시하는 디스플레이부(60)를 포함하여 이루어질 수 있다. 이때, 상기 증강현실 기반 건물 네비게이션 시스템은 건물 정보에 대한 탐색을 위한 터치입력이나 클릭에 따른 이벤트를 처리하는 이벤트 처리부(50)를 더 포함하는 것이 바람직하다. 본 발명은 증강현실 오픈 라이브러리 중 OpenSceneGraph 라이브러리를 통하여 구현하였으며 증강현실 응용프로그램의 개발을 쉽게 할 수 있도록 osgART 라이브러리를 이용하였다.1 is a diagram illustrating a configuration of an augmented reality based building navigation system according to an embodiment of the present invention. Referring to FIG. 1, the present invention provides a marker 10 used as a medium for linking building information with a real environment, a camera 20 for photographing an input image on which the marker 10 is displayed, and the camera 20. Marker recognition unit 30 for recognizing the photographed marker 10, the image processing unit 40 and the image processing unit for augmenting the virtual image of the building at the position of the marker 10 in conjunction with the marker recognition unit 30 And a display unit 60 for displaying the image augmented at 40. In this case, the augmented reality-based building navigation system preferably further includes an event processor 50 for processing an event according to a touch input or click for searching for building information. The present invention was implemented through the OpenSceneGraph library among the augmented reality open library and used the osgART library to facilitate the development of augmented reality applications.

상기 마커 인식부(30)는 입력영상을 바이너리 영상으로 변환하는 변환부(31), 상기 바이너리 영상에서 스퀘어 리전(square region)을 탐색하는 탐색부(32), 상기 각 스퀘어 리전 내의 패턴을 캡쳐하여 패턴 템플릿들과 매칭하여 마커인지 여부를 결정하는 마커 결정부(33) 및 상기 마커 결정부(33)에 의해 마커(10)로 인식된 경우 실제 영상에서의 위치를 계산하는 위치 연산부(34)로 이루어지며, osgART에서는 트래커를 생성하고 상기 트래커와 비디오 영상을 세팅하고 트래커에 마커 등록 후 교정수치로 카메라를 생성하여 카메라 매트릭스가 생성되면 이 좌표에 가상정보를 표현하게 된다. osg파일들은 각각의 패턴이 등록되어 있는 매트릭스에 추가되고, 이들은 그룹노드에 모두 포함되어 있다. 마커파일들은 매트릭스폼에 등록되어 있고, 이벤트에 관한 처리는 가장 상위의 Viewer클래스에서 처리한다. 사용자는 책자형태로 제공되는 마커북을 가지고 건물의 전경 및 각 건물에 대한 모델들을 증강현실로 볼 수 있게 된다.The marker recognizer 30 converts an input image into a binary image, a searcher 32 searching a square region in the binary image, and captures a pattern in each square region. The marker determiner 33 determines whether the marker is matched with the pattern templates, and the position calculator 34 calculates a position in the actual image when the marker determiner 33 is recognized as the marker 10. In osgART, a tracker is generated, a video image is set with the tracker, a marker is registered in the tracker, and a camera is generated with calibration values. When a camera matrix is generated, virtual information is represented at these coordinates. The osg files are added to the matrix where each pattern is registered, and they are all contained in the group node. Marker files are registered in matrix form, and event handling is handled in the top class Viewer. With the marker book provided in book form, the user can view the view of the building and the models for each building in augmented reality.

터치입력이나 클릭이 들어오면 이를 핸들러에서 받아 처리한다. 이는 Viewer에 추가되어 있던 핸들러 중 하나로, 본 발명에서는 ARNSPickHandler 클래스로 핸들러가 구현되어 있으며, 여기에서 중요한 부분은 입력이 들어온 스크린의 위치(x,y) 좌표에 대한 상대적인 매트릭스의 좌표계산과 이에 따른 오브젝트 선택을 하도록 하는 pick() 메소드이다. 여기에서 Intersection Visitor를 사용하여 인터섹터를 검색하게 된다. 인터섹터는 화면에서 프로젝션 및 정규화된 인터섹터를 생성하여 오브젝트를 찾고, osg::Node로 이를 받아내어 이벤트 처리를 하게 된다.When a touch input or click comes in, the handler receives it and processes it. This is one of the handlers added to the Viewer. In the present invention, the handler is implemented by the ARNSPickHandler class. The important part is the calculation of the coordinates of the matrix relative to the position (x, y) coordinates of the screen where the input is input and the selection of the object accordingly. Pick () method to do this. Here you will use the Intersection Visitor to retrieve the intersector. The intersector creates a projection and normalized intersector on the screen, finds the object, receives it with osg :: Node, and processes the event.

도 2은 본 발명의 일 실시형태에 따른 증강현실 기반 건물 네비게이션 시스템 순서도이다. 시스템이 시작되면(S110) 기본적인 캠 연결 등의 작업을 거친 후, OSG 모델을 로딩하기 시작한다(S120). 각 모델에 대한 위치정보나 마커정보들은 ModelData에 파일로 저장되어 있다. 로딩이 끝이 나면 비디오 영상이 들어오고(S140), 크게는 마커 검출 작업(S150)과 터치 입력(S130)에 대한 이벤트 처리(S160)의 두 가지 작업으로 나뉘어지게 된다. 마커가 검출되면 해당 모델을 띄우게 되고(S170), 터치가 입력되면 해당 모델에서의 이벤트를 처리하도록 한다(S160).2 is a flowchart of an augmented reality based building navigation system according to an embodiment of the present invention. When the system starts (S110), after the basic cam connection and the like, and starts loading the OSG model (S120). Location information or marker information about each model is stored in a file in ModelData. When the loading is finished, the video image comes in (S140), and is divided into two tasks, a marker detection operation S150 and an event processing S160 for the touch input S130. When the marker is detected, the corresponding model is floated (S170). When a touch is input, an event in the model is processed (S160).

도 3a 및 도 3b는 Microsoft ICE(Image Composite Editor)를 사용하여 만든 스티치 화면으로서 디스플레이부는 상기와 같이 파노라마 사진들로 증강된 영상을 구현할 수 있으며 OpenSceneGraph를 사용하여 Cylinder를 화면에 그리고 도형의 안쪽 면에 파노라마 사진을 텍스처 매핑하고 도형의 중심에 카메라를 배치시켜서 카메라 시점을 마우스로 변화시켜서 화면 전환 효과를 나타낼 수 있다.3A and 3B are stitch screens created using the Microsoft Image Composite Editor (ICE), and the display unit may implement an image augmented with panorama photos as described above, and the cylinder is displayed on the screen and the inner surface of the figure using OpenSceneGraph. You can change the camera's point of view by texture mapping the panorama and placing the camera in the center of the figure to create a transition effect.

도 4a 내지 도 5d는 시연 모습을 도시한 예시도이다. 도 4a에서와 같이 마커를 스크린에 가져가면 왼쪽 이미지와 같이 전경이 나오며 전경에서 보고자 하는 건물을 선택하면 오른쪽 이미지와 같이 파노라마를 볼 수 있다. 또한, 도 4b에서처럼 왼쪽 이미지와 같이 보고자 하는 건물의 전체 모델을 볼 수 있고, 오른쪽 이미지와 같이 층별로 가고자 하는 호실의 위치를 확인할 수 있다.4A to 5D are exemplary views showing a demonstration. As shown in FIG. 4A, when the marker is brought to the screen, the foreground is displayed as shown in the left image, and when the building to be viewed is selected in the foreground, the panorama can be seen as shown in the right image. In addition, as shown in the left image as shown in Figure 4b you can see the entire model of the building, and the location of the room to go to each floor as shown in the right image.

도 5a는 프로그램 실행의 예시도를, 도 5b는 건물의 외관 관찰에 대한 예시도를 도시한 것이다. 또한, 도 5c는 터치입력을 통하여 건물 내부의 각 층별로 탐색시의 예시도를 도시한 것이며, 도 5d는 터치입력을 통한 특정 호실 검색시의 예시도를 도시한 것으로서 상기와 같이 건물의 외관은 물론, 각 층별 탐색과 특정 호실에 대한 탐색도 가능하다. 호실에 대한 탐색시 터치에 반응하여 특정호실에 화살표가 디스플레이 되며, 사용자는 마커를 돌려가며 각 호실의 위치와 건물의 구조를 보며 해당 정보를 얻을 수 있게 된다. 이와 같이 사용자에게 목적지 건물의 외관 및 내부의 형태를 미리 제공함으로써 자연스럽게 목적지에 대한 정보를 습득할 뿐 아니라 보다 빠르고 정확하게 목적지를 찾을 수 있게 된다.FIG. 5A shows an example of program execution, and FIG. 5B shows an example of appearance observation of a building. In addition, FIG. 5C illustrates an exemplary view when searching for each floor in a building through a touch input, and FIG. 5D illustrates an exemplary view when searching for a specific room through a touch input. Of course, it is possible to search for each floor and search for a specific room. When searching for a room, an arrow is displayed in a specific room in response to a touch, and the user can get information by looking at the location of each room and the structure of the building by rotating a marker. In this way, by providing the user with the exterior and interior form of the destination building in advance, it is possible not only to acquire information about the destination naturally but also to find the destination more quickly and accurately.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.The best embodiments have been disclosed in the drawings and specification above. Although specific terms have been employed herein, they are used for purposes of illustration only and are not intended to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

10: 마커 20: 카메라
30: 마커 인식부 40: 영상처리부
50: 이벤트 처리부 60: 디스플레이부
10: marker 20: camera
30: marker recognition unit 40: image processing unit
50: event processing unit 60: display unit

Claims (6)

건물 정보와 실제 환경을 연계하기 위한 매개체로 활용하는 마커;
상기 마커가 표시된 입력영상을 촬영하는 카메라;
상기 카메라에 촬영된 마커를 인식하는 마커 인식부;
상기 마커 인식부와 연동하여 상기 마커의 위치에 건물의 가상 영상을 증강시키는 영상처리부;
상기 영상처리부에서 증강된 영상을 표시하는 디스플레이부; 및
상기 건물 정보에 대한 탐색을 위한 터치입력이나 클릭에 따른 이벤트를 처리하는 이벤트 처리부
를 포함하고,
상기 마커 인식부는,
입력영상을 바이너리 영상으로 변환하는 변환부;
상기 바이너리 영상에서 스퀘어 리전(square region)을 탐색하는 탐색부;
상기 각 스퀘어 리전 내의 패턴을 캡쳐하여 패턴 템플릿들과 매칭하여 마커인지 여부를 결정하는 마커 결정부; 및
상기 마커 결정부에 의해 마커로 인식된 경우 실제 영상에서의 위치를 계산하는 위치 연산부
를 포함하는, 증강현실 기반 건물 네비게이션 시스템.
A marker used as a medium for linking building information with the real environment;
A camera for photographing the input image on which the marker is displayed;
A marker recognition unit recognizing a marker photographed by the camera;
An image processor for augmenting a virtual image of a building at a position of the marker in association with the marker recognition unit;
A display unit which displays an image enhanced by the image processor; And
An event processor for processing an event according to a touch input or click for searching for the building information
Including,
The marker recognition unit,
A converting unit converting the input image into a binary image;
A searcher for searching a square region in the binary image;
A marker determination unit which captures a pattern in each square region and matches the pattern templates to determine whether the marker is a marker; And
A position calculator for calculating a position in an actual image when recognized as a marker by the marker determiner
Including, augmented reality-based building navigation system.
삭제delete 삭제delete 청구항 1에 있어서,
상기 건물 정보는,
건물의 외관, 층별 또는 특정 호실에 대한 정보인, 증강현실 기반 건물 네비게이션 시스템.
The method according to claim 1,
The building information,
Augmented reality-based building navigation system that is information about the exterior, floor, or specific room of a building.
청구항 1에 있어서,
상기 마커는 책자형태인, 증강현실 기반 건물 네비게이션 시스템.
The method according to claim 1,
The marker is in the form of a book, augmented reality-based building navigation system.
청구항 1에 있어서,
상기 디스플레이부는,
사진으로 증강된 영상을 구현하는, 증강현실 기반 건물 네비게이션 시스템.
The method according to claim 1,
The display unit includes:
Augmented reality-based building navigation system that implements augmented image with photos.
KR1020100123083A 2010-12-03 2010-12-03 Building navigation system based on augmented reality KR101214612B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100123083A KR101214612B1 (en) 2010-12-03 2010-12-03 Building navigation system based on augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100123083A KR101214612B1 (en) 2010-12-03 2010-12-03 Building navigation system based on augmented reality

Publications (2)

Publication Number Publication Date
KR20120061696A KR20120061696A (en) 2012-06-13
KR101214612B1 true KR101214612B1 (en) 2012-12-21

Family

ID=46612191

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123083A KR101214612B1 (en) 2010-12-03 2010-12-03 Building navigation system based on augmented reality

Country Status (1)

Country Link
KR (1) KR101214612B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210111954A (en) 2020-03-03 2021-09-14 주식회사 코아소프트 Indoor navigation apparatus using digital signage

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101334980B1 (en) * 2012-12-11 2013-11-29 세종대학교산학협력단 Device and method for authoring contents for augmented reality
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100538082B1 (en) * 2005-05-12 2005-12-22 버츄얼빌더스 주식회사 Integrated building information management system based on augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100538082B1 (en) * 2005-05-12 2005-12-22 버츄얼빌더스 주식회사 Integrated building information management system based on augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210111954A (en) 2020-03-03 2021-09-14 주식회사 코아소프트 Indoor navigation apparatus using digital signage

Also Published As

Publication number Publication date
KR20120061696A (en) 2012-06-13

Similar Documents

Publication Publication Date Title
US11663785B2 (en) Augmented and virtual reality
US9661214B2 (en) Depth determination using camera focus
KR102149374B1 (en) Privacy-sensitive query for localization area description files
KR102044491B1 (en) Create and update crowd-sourcing of zone description files for mobile device localization
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US11636644B2 (en) Output of virtual content
US20140300775A1 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US20140248950A1 (en) System and method of interaction for mobile devices
US11842514B1 (en) Determining a pose of an object from rgb-d images
JP2011095797A (en) Image processing device, image processing method and program
JP6609640B2 (en) Managing feature data for environment mapping on electronic devices
JP2012094138A (en) Apparatus and method for providing augmented reality user interface
WO2013023705A1 (en) Methods and systems for enabling creation of augmented reality content
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
US11657085B1 (en) Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
KR20120015923A (en) Apparatus and method for recognizing object using filter information
JP2021520540A (en) Camera positioning methods and devices, terminals and computer programs
KR101214612B1 (en) Building navigation system based on augmented reality
EP3422145B1 (en) Provision of virtual reality content
KR20210146770A (en) Method for indoor localization and electronic device
Yeh et al. 3D reconstruction and visual SLAM of indoor scenes for augmented reality application
JP2018517312A (en) Cluster-based photo navigation
KR20220125715A (en) Data generation methods, devices, devices, storage media and programs
CN112017304B (en) Method, apparatus, electronic device and medium for presenting augmented reality data
KR102443049B1 (en) Electric apparatus and operation method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160322

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160928

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee