KR102162873B1 - An apparatus for providing an augmented reality in which virtual objects are installed in a real space, a method therefor and computer recordable medium storing program to perform the method - Google Patents
An apparatus for providing an augmented reality in which virtual objects are installed in a real space, a method therefor and computer recordable medium storing program to perform the method Download PDFInfo
- Publication number
- KR102162873B1 KR102162873B1 KR1020180152733A KR20180152733A KR102162873B1 KR 102162873 B1 KR102162873 B1 KR 102162873B1 KR 1020180152733 A KR1020180152733 A KR 1020180152733A KR 20180152733 A KR20180152733 A KR 20180152733A KR 102162873 B1 KR102162873 B1 KR 102162873B1
- Authority
- KR
- South Korea
- Prior art keywords
- plane
- real space
- augmented reality
- planes
- providing
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000009434 installation Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 현실 공간에 가상의 객체를 설치하는 증강 현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 현실 공간을 스캔하기 위한 카메라부와, 카메라부가 촬영된 현실 공간을 표시하는 표시부와, 상기 카메라부를 통해 현실 공간이 스캔되면, 상기 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식한 후, 객체를 설치할 수 있는 평면을 활성화하고, 활성화된 평면 중 소정의 위치가 선택되면, 선택된 평면에 가상의 객체를 합성하여 상기 표시부를 통해 표시하는 제어부를 포함하는 것을 특징으로 하는 증강 현실을 제공하기 위한 장치와, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다. The present invention relates to an apparatus for providing augmented reality in which a virtual object is installed in a real space, a method therefor, and a computer-readable recording medium in which a program for performing the method is recorded. A camera unit for scanning, a display unit displaying a real space in which the camera unit is photographed, and when a real space is scanned through the camera unit, a plane existing in the real space is recognized through a cloud point, and then an object can be installed. An apparatus for providing augmented reality, comprising: a control unit for activating a plane and displaying a virtual object on the selected plane through the display unit, when a predetermined position is selected among the activated planes, and A method and a computer-readable recording medium on which a program for performing the method is recorded are provided.
Description
본 발명은 증강 현실에 관한 것으로, 보다 상세하게는, 현실 공간에 객체를 설치하는 증강 현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다. The present invention relates to augmented reality, and more particularly, to an apparatus for providing augmented reality for installing an object in a real space, a method therefor, and a computer-readable recording medium in which a program for performing the method is recorded. will be.
증강 현실은 현실 세계에 컴퓨터 기술로 만든 가상물체 및 정보를 융합, 보완해 주는 기술을 말한다. 현실 세계에 실시간으로 부가정보를 갖는 가상 세계를 더해 하나의 영상으로 보여준다. 1990년 보잉사의 항공기 전선 조립과정을 설명하는 데 처음 사용된 이후 미국과 일본을 중심으로 이에 대한 기술 연구개발이 진행되었다. 2000년대 중반 이후 스마트폰이 등장하고 활성화됨에 따라 이 기술을 적용하면서 주목받기 시작했다. Augmented reality refers to a technology that combines and complements virtual objects and information made with computer technology in the real world. The virtual world with additional information in real time is added to the real world and displayed as a single image. Since it was first used to explain the assembly process of Boeing's aircraft cables in 1990, technical research and development has been carried out around the United States and Japan. As smartphones appeared and became active after the mid-2000s, they began to gain attention as they applied this technology.
가상현실(VR: virtual reality) 기술이 컴퓨터그래픽이 만든 가상환경에 사용자를 몰입하도록 함으로써 실제 환경을 볼 수 없는 데 비해, 증강현실 기술은 실제 환경에 가상의 객체를 혼합하여 사용자가 실제 환경에서 보다 실감나는 부가정보를 제공받을 수 있다. 예를 들면 길을 가다 스마트폰 카메라로 주변을 비추면 근처에 있는 상점의 위치 및 전화번호, 지도 등의 정보가 입체영상으로 표시되고, 하늘을 비추면 날씨정보가 나타나는 등 다양한 분야에 적용되고 있다. While VR (virtual reality) technology allows users to immerse users in a virtual environment created by computer graphics, so that they cannot see the real environment, augmented reality technology mixes virtual objects in the real environment so that users can see it in the real environment. You can receive realistic additional information. For example, it is applied in a variety of fields, such as when going on the road, when you look at the surroundings with a smartphone camera, information such as the location, phone number, and map of nearby stores is displayed in a 3D image, and when you shine the sky, weather information appears. .
한편, 가상현실과 증강현실을 혼합한 기술은 혼합현실(MR: mixed reality)이라고 한다. MR은 현실 배경에 현실과 가상의 정보를 혼합시켜 제공하는데, 대용량 데이터를 처리할 수 있는 기술이 필요해 아직 상용화되지는 않았다. VR과 AR, MR은 모두 실제로 존재하지 않는 현실을 구현해 사람이 이를 인지할 수 있도록 하는 기술이라는 점에서 공통점이 있다. 다만 AR은 실제 현실에 가상의 정보를 더해 보여주는 방식이고, VR은 모두 허구의 상황이 제시된다는 점에서 차이가 있다. Meanwhile, a technology that combines virtual reality and augmented reality is called mixed reality (MR). MR provides a mixture of real and virtual information in a real background, but it has not been commercialized yet because it requires a technology that can process large amounts of data. VR, AR, and MR all have something in common in that they are technologies that enable people to perceive reality by realizing a reality that does not exist. However, there is a difference in that AR is a method of adding virtual information to real reality, and in VR, all fictional situations are presented.
본 발명의 목적은 현실 공간에 객체를 설치하는 증강 현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. An object of the present invention is to provide an apparatus for providing augmented reality for installing objects in a real space, a method therefor, and a computer-readable recording medium in which a program for performing the method is recorded.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 객체 설치 시뮬레이션을 제공하기 위한 장치는 현실 공간을 스캔하기 위한 카메라부와, 카메라부가 촬영된 현실 공간을 표시하는 표시부와, 상기 카메라부를 통해 현실 공간이 스캔되면, 상기 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식한 후, 객체를 설치할 수 있는 평면을 활성화하고, 활성화된 평면 중 소정의 위치가 선택되면, 선택된 평면에 가상의 객체를 합성하여 상기 표시부를 통해 표시하는 제어부를 포함한다. An apparatus for providing an object installation simulation according to a preferred embodiment of the present invention for achieving the above object includes a camera unit for scanning a real space, a display unit for displaying the real space where the camera unit is photographed, and the camera When a real space is scanned through the unit, a plane existing in the real space is recognized through a cloud point, and then a plane on which an object can be installed is activated, and when a predetermined position is selected among the activated planes, a virtual And a control unit that synthesizes objects and displays them through the display unit.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 객체 설치 시뮬레이션을 제공하기 위한 방법은 카메라부를 통해 현실 공간을 스캔하여, 상기 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식하는 단계와, 상기 평면상에서 객체를 설치할 수 있는 평면을 활성화하는 단계와, 활성화된 평면 중 소정의 위치가 선택되면, 선택된 평면에 가상의 객체를 합성하여 표시부를 통해 표시하는 단계를 포함한다. A method for providing an object installation simulation according to a preferred embodiment of the present invention for achieving the above object is the step of scanning a real space through a camera unit and recognizing a plane existing in the real space through a cloud point. And, activating a plane on which an object can be installed on the plane, and when a predetermined position is selected from among the activated planes, synthesizing a virtual object on the selected plane and displaying it through a display unit.
본 발명의 다른 견지에 따르면, 전술한 바와 같은 본 발명의 바람직한 실시예에 따른 객체 설치 시뮬레이션을 제공하기 위한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다. According to another aspect of the present invention, there is provided a computer-readable recording medium in which a program for performing the method for providing an object installation simulation according to a preferred embodiment of the present invention is recorded.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 객체 설치 시뮬레이션을 제공하기 위한 장치는 현실 공간을 스캔하기 위한 카메라부와, 카메라부가 촬영된 현실 공간을 표시하는 표시부와, 상기 카메라부를 통해 현실 공간이 스캔되면, 상기 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식한 후, 객체를 설치할 수 있는 평면인 설치 가능 평면을 도출하고, 도출된 설치 가능 평면을 활성화하고, 활성화된 설치 가능 평면 중 소정의 위치가 선택되면, 선택된 평면에 가상의 객체를 합성하여 상기 표시부를 통해 표시하는 제어부를 포함한다. An apparatus for providing an object installation simulation according to a preferred embodiment of the present invention for achieving the above object includes a camera unit for scanning a real space, a display unit for displaying the real space where the camera unit is photographed, and the camera When the real space is scanned through the unit, the plane existing in the real space is recognized through the cloud point, and then an installable plane, which is a plane on which objects can be installed, is derived, the derived installable plane is activated, and the activated installation And a controller configured to synthesize a virtual object on the selected plane and display it through the display unit when a predetermined position is selected among possible planes.
상기 제어부는 상기 객체를 평면 상에 사영(projection)할 때 차지하는 면적인 객체의 수평 규격을 산출하고, 상기 현실 공간에 존재하는 평면 중 복수의 후보 평면을 구한 후, 상기 복수의 후보 평면 중 상기 객체의 수평 규격 보다 넓은 면적의 수평 규격을 가지는 후보 평면을 상기 설치 가능 평면으로 도출하는 것을 특징으로 한다. The control unit calculates a horizontal standard of the object, which is an area occupied when projecting the object on a plane, obtains a plurality of candidate planes among planes existing in the real space, and then calculates the object among the plurality of candidate planes. A candidate plane having a horizontal standard of a larger area than the horizontal standard of is derived as the installable plane.
상기 제어부는 상기 객체의 3D 모델의 콜라이더(Collider) 데이터 중 가로(x) 및 세로(y)의 길이를 이용하여 상기 객체의 수평 규격을 산출하는 것을 특징으로 한다. The controller is characterized in that the horizontal standard of the object is calculated using lengths of a horizontal (x) and a vertical (y) among collider data of the 3D model of the object.
상기 제어부는 상기 평면으로부터 복수의 특징점을 검출하고, 상기 복수의 특징점의 좌표를 도출하고, 상기 복수의 특징점의 좌표를 통해 복수의 평면을 도출하고, 복수의 평면 중 지표면에 수평하거나, 수직한 평면을 모두 후보 평면으로 도출하는 것을 특징으로 한다. The control unit detects a plurality of feature points from the plane, derives coordinates of the plurality of feature points, derives a plurality of planes through the coordinates of the plurality of feature points, and a plane horizontal or vertical to the ground surface among the plurality of planes It is characterized in that all are derived as candidate planes.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 증강현실장치의 객체 설치 시뮬레이션을 제공하기 위한 방법은 증강하고자 하는 객체가 선택되면, 선택된 객체를 평면 상에 사영(projection)할 때 차지하는 면적인 객체의 수평 규격을 산출하는 단계와, 현실 공간을 촬영하여 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식하는 단계와, 상기 객체의 수평 규격를 기초로 객체를 설치할 수 있는 평면인 설치 가능 평면을 도출하는 단계와, 상기 설치 가능 평면 중 소정의 위치가 선택되면, 선택된 평면에 가상의 객체를 합성하여 표시하는 단계를 포함하는 것을 특징으로 한다. The method for providing an object installation simulation of an augmented reality device according to a preferred embodiment of the present invention for achieving the above object is when an object to be augmented is selected, when the selected object is projected on a plane. Calculating the horizontal standard of the object as an area occupied, recognizing a plane existing in the real space through a cloud point by photographing a real space, and installing a plane that can install an object based on the horizontal standard of the object It characterized in that it comprises the step of deriving a plane, and when a predetermined position is selected among the installable planes, synthesizing and displaying a virtual object on the selected plane.
상기 객체의 수평 규격을 산출하는 단계는 상기 객체의 3D 모델의 콜라이더(Collider) 데이터 중 가로(x) 및 세로(y)의 길이를 이용하여 상기 객체의 수평 규격을 산출하는 것을 특징으로 한다. The calculating of the horizontal standard of the object is characterized in that the horizontal standard of the object is calculated using lengths of a horizontal (x) and a vertical (y) among collider data of the 3D model of the object.
상기 설치 가능 평면을 도출하는 단계는 상기 현실 공간에 존재하는 평면 중 복수의 후보 평면을 구한 후, 상기 복수의 후보 평면 중 상기 객체의 수평 규격 보다 넓은 면적의 수평 규격을 가지는 후보 평면을 상기 설치 가능 평면으로 도출하는 것을 특징으로 한다. In the step of deriving the installable plane, after obtaining a plurality of candidate planes among planes existing in the real space, among the plurality of candidate planes, a candidate plane having a horizontal standard having an area larger than the horizontal standard of the object may be installed. It is characterized in that it is derived in a plane.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 다른 견지에 따르면, 전술한 본 발명의 실시예에 따른 증강 현실을 제공하기 위한 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공할 수 있다. According to another aspect of the present invention for achieving the above object, a computer-readable recording medium in which a program for performing the method for providing augmented reality according to the above-described embodiment of the present invention is recorded can be provided. have.
본 발명에 따르면, 현실 공간에 가상의 객체, 예컨대, 전주 등을 설치한 증강 현실을 제공함으로써, 작업자는 실제로 설치 작업이 이루어지기 전, 증강 현실을 통해 현실 공간에서의 환경과의 간섭 여부를 손쉽게 파악할 수 있다. According to the present invention, by providing an augmented reality in which a virtual object, such as a pole, etc., is installed in a real space, the operator can easily determine whether there is interference with the environment in the real space through augmented reality before the installation work is actually performed I can grasp it.
도 1은 본 발명의 실시예에 따른 현실 공간에 객체를 설치하는 증강 현실을 제공하기 위한 장치의 구성을 설명하기 위한 흐름도이다.
도 2는 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강현실을 제공하기 위한 방법을 설명하기 위한 화면 예이다.
도 4 내지 도 7은 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 합성한 후, 수행되는 부가 기능을 설명하기 위한 화면 예이다.
도 8은 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예에 따른 가상의 객체의 수평 규격을 도출하는 방법을 설명하기 위한 도면이다. 1 is a flowchart illustrating a configuration of an apparatus for providing augmented reality in which an object is installed in a real space according to an embodiment of the present invention.
2 is a flowchart illustrating a method for providing augmented reality for installing a virtual object in a real space according to an embodiment of the present invention.
3 is an example of a screen for explaining a method for providing augmented reality for installing a virtual object in a real space according to an embodiment of the present invention.
4 to 7 are screen examples for explaining an additional function performed after synthesizing a virtual object in a real space according to an embodiment of the present invention.
8 is a flowchart illustrating a method for providing augmented reality in which a virtual object is installed in a real space according to an embodiment of the present invention.
9 is a diagram illustrating a method of deriving a horizontal standard of a virtual object according to an embodiment of the present invention.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, terms or words used in the present specification and claims described below should not be construed as being limited to their usual or dictionary meanings, and the inventors shall use their own invention in the best way. For explanation, based on the principle that it can be appropriately defined as a concept of terms, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, and various equivalents that can replace them at the time of application It should be understood that there may be water and variations.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are indicated by the same reference numerals as possible. In addition, detailed descriptions of known functions and configurations that may obscure the subject matter of the present invention will be omitted. For the same reason, some components in the accompanying drawings are exaggerated, omitted, or schematically illustrated, and the size of each component does not entirely reflect the actual size.
먼저, 본 발명의 실시예에 따른 현실 공간에 객체를 설치하는 증강 현실을 제공하기 위한 장치의 구성을 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 현실 공간에 객체를 설치하는 증강 현실을 제공하기 위한 장치의 구성을 설명하기 위한 흐름도이다. 도 1을 참조하면, 증강 현실을 제공하기 위한 장치(100: 이하, '증강현실장치'로 축약함)는 통신부(110), 카메라부(120), 입력부(130), 표시부(140), 저장부(150) 및 제어부(160)를 포함한다. First, a configuration of an apparatus for providing augmented reality in which an object is installed in a real space according to an embodiment of the present invention will be described. 1 is a flowchart illustrating a configuration of an apparatus for providing augmented reality in which an object is installed in a real space according to an embodiment of the present invention. Referring to FIG. 1, a device for providing augmented reality (100: hereinafter, abbreviated as'augmented reality device') includes a
통신부(110)는 네트워크를 통해 서버(미도시)와 통신하기 위한 것이다. 통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신부(110)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. 예컨대, 통신부(110)는 서버(미도시)로부터 현실 공간에 가상의 객체를 설치하는 증강 현실을 제공하기 위해 필요한 데이터를 수신할 수 있다. The
카메라부(110)는 이미지 센서를 포함하며, 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(110)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 복수의 픽셀을 가지는 이미지를 출력한다. 이러한 이미지는 현실 공간의 영상을 스캔 및 촬영하기 위한 것이다. The
또한, 카메라부(110)는 깊이 센서 혹은 3D 센서를 포함할 수 있다. 3D 센서는 비접촉 방식으로 영상의 각 픽셀에 대한 3차원 좌표를 획득하기 위한 센서이다. 카메라부(110)는 이미지 센서를 통해 이미지를 생성함과 동시에 3D 센서를 통해 촬영된 이미지의 각 픽셀에 대응하는 3차원 좌표를 검출할 수 있다. 한다. 이에 따라, 3D 센서를 통해 각 이미지의 픽셀의 카메라부(110)의 기준점, 예컨대, 초점 혹은 주점으로부터 객체까지의 거리를 식별할 수 있다. 깊이 센서 혹은 3D 센서는 레이저, 적외선, 가시광 등을 이용하는 다양한 방식의 센서를 이용할 수 있다. 이러한 3D 센서는 TOP(Time of Flight), 위상변위(Phase-shift) 및 Online Waveform Analysis 중 어느 하나를 이용하는 레이저 방식 3차원 스캐너, 광 삼각법을 이용하는 레이저 방식 3차원 스캐너, 백색광 혹은 변조광을 이용하는 광학방식 3차원 스캐너, Handheld Real Time 방식의 PHOTO, 광학방식 3차원 스캐너, Pattern Projection 혹은 Line Scanning을 이용하는 광학방식, 레이저 방식 전신 스캐너, 사진 측량(Photogrammetry)을 이용하는 사진방식 스캐너, 키네틱(Kinect Fusion)을 이용하는 실시간(Real Time) 스캐너 등을 예시할 수 있다. In addition, the
입력부(130)는 증강현실장치(100)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(160)에 전달한다. 입력부(130)는 증강현실장치(100)를 제어하기 위한 각 종 키들을 포함할 수 있다. 입력부(130)는 표시부(140)가 터치스크린으로 이루어진 경우, 각 종 키들의 기능이 표시부(140)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(130)는 생략될 수도 있다. The
표시부(140)는 증강현실장치(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(140)는 증강현실장치(100)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 특히, 표시부(140)는 본 발명의 실시예에 따라 카메라부(120)가 촬영한 현실 공간, 평면 사용자가 선택한 가상의 객체 등을 화면으로 출력하는 기능을 수행한다. 이러한 표시부(140)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(140)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(140)는 터치센서를 포함한다. 터치센서는 사용자의 터치 입력을 감지한다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(160)로 전송한다. 특히, 표시부(140)가 터치스크린으로 이루어진 경우, 입력부(130) 기능의 일부 또는 전부는 표시부(140)를 통해 이루어질 수 있다. The
저장부(150)는 증강현실장치(100)의 동작에 필요한 프로그램 및 데이터를 저장한다. 특히, 저장부(150)는 증강현실장치(100)의 사용에 따라 발생하는 사용자 데이터를 저장할 수 있다. 예컨대, 저장부(150)는 본 발명의 실시예에 따른 가상의 객체, 사용자가 저장할 것으로 선택한 증강 현실 화면 등을 저장할 수 있다. 저장부(150)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The
제어부(160)는 증강현실장치(100)의 전반적인 동작 및 증강현실장치(100)의 내부 블록(110 내지 150)들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(160)는 중앙처리장치(CPU: Central Processing Unit), 그래픽처리장치(GPU: Graphic Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. 제어부(160)는 카메라부(120)를 통해 현실 공간을 스캔하고, 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식한 후, 객체를 설치할 수 있는 평면을 활성화할 수 있다. 이에 따라, 사용자에 의해 활성화된 평면 중 소정의 위치가 선택되면, 제어부(160)는 입력부(130) 혹은 표시부(140)를 통해 사용자의 선택을 감지하고, 선택된 평면에 가상의 객체를 합성하여 표시부(140)를 통해 표시하도록 제어한다. 이러한 제어부(160)의 동작은 아래에서 더 상세하게 설명될 것이다. The
다음으로, 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강 현실을 제공하기 위한 방법에 대해서 설명하기로 한다. 도 2는 본 발명의 일 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다. 도 3은 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강현실을 제공하기 위한 방법을 설명하기 위한 화면 예이다. Next, a method for providing an augmented reality in which a virtual object is installed in a real space according to an embodiment of the present invention will be described. 2 is a flowchart illustrating a method for providing augmented reality for installing a virtual object in a real space according to an embodiment of the present invention. 3 is an example of a screen for explaining a method for providing augmented reality for installing a virtual object in a real space according to an embodiment of the present invention.
도 2를 참조하면, 먼저, 제어부(160)는 표시부(140)를 통해 선택 가능한 복수의 객체를 표시할 수 있다. 이러한 화면 예가 도 3의 (A)에 도시되었다. 예컨대, 제어부(160)는 표시부(140)를 통해 복수의 서로 다른 규격의 전주, 복수의 서로 다른 규격의 개폐기를 선택 가능하도록 제공할 수 있다. 이에 따라, 사용자는 복수의 객체 중 증강하고자 하는 객체를 입력부(130) 혹은 표시부(140)를 통해 선택할 수 있다. 제어부(160)는 S110 단계에서 입력부(130) 혹은 표시부(140)를 통해 사용자의 선택을 감지하고, 증강하고자 하는 객체를 선택한다. 이때, '직선형 전주 16M'이 선택되었다고 가정한다. Referring to FIG. 2, first, the
증강하고자 하는 객체를 선택한 후, 사용자는 증강현실장치(100)의 카메라부(120)를 통해 객체, 예컨대, 전주를 설치하고자 하는 현실 공간을 포커싱할 수 있다. 그러면, 제어부(160)는 S120 단계에서 카메라부(120)를 통해 포커싱된 실제 공간을 스캔하고, 실제 공간 상의 평면을 인식할 수 있다. 이러한 인식은 도 3의 (B)와 같이 클라우드 포인트를 통해 이루어진다. After selecting the object to be augmented, the user may focus on the object, for example, a real space in which the electric pole is to be installed through the
이어서, 제어부(160)는 S130 단계에서 카메라부(120)를 통해 인식된 평면 중 선택 가능한 평면을 활성화하여 표시한다. 예컨대, 도 3의 (C)와 같이 복수의 클라우드 포인트 중 선택 가능한 평면에 대한 클라우드 포인트의 색 혹은 형상을 변경하여 선택 가능한 평면을 표시할 수 있다. 이에 따라, 사용자는 입력부(130) 및 표시부(140) 중 어느 하나를 통해 활성화된 평면에서 증강하고자 하는 객체를 설치할 위치를 선택할 수 있다. Subsequently, the
제어부(160)는 S140 단계에서 입력부(130) 및 표시부(140) 중 어느 하나를 통해 사용자의 선택을 감지하여, 가상의 객체를 설치할 위치를 결정하고, S150 단계에서 결정된 위치에 객체를 합성하여 표시부를 통해 표시한다. 예컨대, 도 3의 (C)와 같은 화면에서 사용자가 선택한 위치가 S라고 하면, 도 3의 (D)와 같이, 앞서 선택된 객체, 즉, 전주를 해당 위치 S에 합성하여 표시한다. The
한편, 본 발명의 실시예에 따르면, 전술한 바와 같이, 객체를 현실 공간에 합성한 후, 다양한 부가 기능을 제공할 수 있다. 도 4 내지 도 7은 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 합성한 후, 수행되는 부가 기능을 설명하기 위한 화면 예이다. Meanwhile, according to an embodiment of the present invention, as described above, after synthesizing an object into a real space, various additional functions may be provided. 4 to 7 are screen examples for explaining an additional function performed after synthesizing a virtual object in a real space according to an embodiment of the present invention.
도 4를 참조하는 본 발명의 일 실시예에 따르면, 현실 공간에 합성된 가상의 객체의 위치를 수정할 수 있다. 제어부(160)는 입력부(130) 및 표시부(140) 중 어느 하나를 통해 사용자의 선택을 감지하여, 가상의 객체의 위치를 수정할 수 있다. 즉, 제어부(160)는 입력부(130) 및 표시부(140) 중 어느 하나를 통해 사용자의 객체 위치를 수정하는 입력을 감지하면, 수정된 위치에 객체를 이동시켜 표시부(140)를 통해 표시한다. 예컨대, 도 4의 (가)와 같은 화면에서 사용자가 선택한 객체의 위치를 이동하는 입력을 하면, 도 4의 (나)와 같이, 객체의 위치를 이동시켜 표시할 수 있다. According to an embodiment of the present invention with reference to FIG. 4, a position of a virtual object synthesized in a real space may be modified. The
도 5를 참조하는 본 발명의 다른 실시예에 따르면, 증강된 객체가 실제로 동작 가능한 경우, 해당 동작이 이루어지도록 조작하고, 이에 따라, 현실 공간과의 간섭이 있는지 여부를 파악할 수 있도록 한다. 제어부(160)는 동작 가능한 가상의 객체, 예컨대, 개폐기의 도어를 열거나, 닫는 동작을 수행시키고, 도어가 현실 공간상에서 간섭이 되는지 여부를 시뮬레이션 할 수 있다. 즉, 제어부(160)는 도 5의 (다)와 같이, 개폐기의 도어가 닫힌 상태에서 도 5의 (라)와 같이, 개폐기의 도어를 열어보는 시뮬레이션을 수행할 수 있으며, 이에 따라, 현실 공간에서 도어가 간섭이 되는지 여부를 사용자가 인지할 수 있도록 표시부(140)를 통해 표시할 수 있다. According to another embodiment of the present invention with reference to FIG. 5, when an augmented object is actually operable, a corresponding operation is manipulated so that it is possible to determine whether there is interference with a real space. The
도 6을 참조하는 본 발명의 다른 실시예에 따르면, 증강된 객체가 실제로 동작 가능한 경우, 해당 동작이 이루어지도록 조작하고, 이에 따라, 현실 공간과의 간섭이 있는지 여부를 파악할 수 있도록 한다. 제어부(160)는 동작 가능한 가상의 객체, 예컨대, 개폐기의 도어를 열거나, 닫는 동작을 수행시키고, 도어가 현실 공간상에서 간섭이 되는지 여부를 시뮬레이션 할 수 있다. 즉, 제어부(160)는 도 5의 (다)와 같이, 개폐기의 도어가 닫힌 상태에서 도 5의 (라)와 같이, 개폐기의 도어를 열어보는 시뮬레이션을 수행할 수 있으며, 이에 따라, 현실 공간에서 도어가 간섭이 되는지 여부를 사용자가 인지할 수 있도록 표시부(140)를 통해 표시할 수 있다. According to another embodiment of the present invention with reference to FIG. 6, when an augmented object is actually operable, a corresponding operation is manipulated so that it is possible to determine whether there is interference with a real space. The
도 7을 참조하는 본 발명의 다른 실시예에 따르면, 증강된 각도기 객체를 통해 현실 공간의 객체의 필요한 부분에 대한 각도를 도출할 수 있다. 도 7에 도시된 바와 같이, 제어부(160)는 사용자의 입력에 따라 현실 공간에 각도기 객체(P)를 설치할 수 있고, 설치된 각도기 객체(P)를 통해 객체(O1)에서 필요한 부분에 대한 각도(a)를 측정할 수 있다. According to another embodiment of the present invention with reference to FIG. 7, an angle for a required part of an object in real space may be derived through the augmented protractor object. As shown in FIG. 7, the
도 7을 참조하는 본 발명의 다른 실시예에 따르면, 증강된 줄자 객체를 통해 현실 공간의 객체의 필요한 부분에 대한 길이를 도출할 수 있다. 도 7의 (마) 및 (바)에 도시된 바와 같이, 제어부(160)는 사용자의 입력에 따라 현실 공간에 측정 길이를 설정할 수 있는 줄자(R)를 설치할 수 있고, 설치된 줄자(R)를 통해 현실 공간에 객체를 설치할 때, 간섭 여부 및 다른 객체와의 이격 거리 등을 측정할 수 있다. According to another embodiment of the present invention with reference to FIG. 7, a length of a required part of an object in real space may be derived through an augmented tape measure object. As shown in (E) and (B) of FIG. 7, the
또한, 본 발명의 실시예에 따르면, 표시부(140)를 통해 표시된 증강 현실 화면은 사용자의 선택에 따라, 캡처되어 이미지 파일로 생성될 수 있다. 또한, 제어부(160)는 사용자의 선택에 따라 이러한 이미지 파일을 통신부(110)를 통해 다른 장치로 전송할 수 있다. In addition, according to an embodiment of the present invention, an augmented reality screen displayed through the
다음으로, 본 발명의 다른 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강 현실을 제공하기 위한 방법에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 현실 공간에 가상의 객체를 설치하는 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다. 도 9는 본 발명의 실시예에 따른 가상의 객체의 수평 규격을 도출하는 방법을 설명하기 위한 도면이다. Next, a method for providing augmented reality in which a virtual object is installed in a real space according to another embodiment of the present invention will be described. 8 is a flowchart illustrating a method for providing augmented reality in which a virtual object is installed in a real space according to an embodiment of the present invention. 9 is a diagram illustrating a method of deriving a horizontal standard of a virtual object according to an embodiment of the present invention.
먼저, 도 3 및 도 8을 참조하면, 제어부(160)는 표시부(140)를 통해 선택 가능한 복수의 객체를 표시할 수 있다. 이러한 화면 예가 도 3의 (A)에 도시되었다. 예컨대, 제어부(160)는 표시부(140)를 통해 복수의 서로 다른 규격의 전주, 복수의 서로 다른 규격의 개폐기를 선택 가능하도록 제공할 수 있다. 이에 따라, 사용자는 복수의 객체 중 증강하고자 하는 객체를 입력부(130) 혹은 표시부(140)를 통해 선택할 수 있다. 제어부(160)는 S210 단계에서 입력부(130) 혹은 표시부(140)를 통해 사용자의 선택을 감지하고, 증강하고자 하는 객체를 선택한다. 예컨대, '직선형 전주 16M'이 선택될 수 있다. First, referring to FIGS. 3 and 8, the
객체가 선택되면, 제어부(160)는 선택된 객체의 수평 규격을 산출한다. 여기서, 객체의 수평 규격은 객체가 증강 현실 상에서 차지하는 수평면의 면적을 의미한다. 즉, 객체의 수평 규격은 객체를 평면에 사영했을 때 차지하는 면적을 나타낸다. 이러한 수평 규격은 선택된 객체의 3D 모델에 대한 콜라이더(Collider) 데이터로부터 얻어진다. 이러한 수평 규격은 산출하기 위해 제어부(160)는 S220 단계에서 선택된 객체의 3D 모델(OBJ)로부터 콜라이더 데이터를 추출한다. 도 9를 참조하면, 콜라이더 데이터는 객체의 3D 모델(OBJ)이 차지하는 영역을 모두 감싸는 직육면체 형상(COL)에 대한 규격이다. 이러한 콜라이더 데이터는 직육면체 형상(COL)의 가로(x), 세로(y) 및 높이(z)를 포함한다. 이어서, 제어부(160)는 S230 단계에서 추출된 콜라이더 데이터 중 가로(x) 및 세로(y)의 길이를 이용하여 가로(x) 및 세로(y)의 길이의 곱을 통해 객체의 수평 규격을 산출한다. 즉, 객체의 수평 규격은 직육면체 형상(COL)의 밑면의 넓이가 된다. 이러한 객체의 수평 규격은 해당 객체를 설치할 수 있는 평면을 도출하는 데에 사용된다. When an object is selected, the
한편, 사용자는 객체를 선택한 후, 증강현실장치(100)의 카메라부(120)를 통해 객체, 예컨대, 전주를 설치하고자 하는 현실 공간을 포커싱할 수 있다. 그러면, 제어부(160)는 S240 단계에서 카메라부(120)를 통해 포커싱된 실제 공간을 스캔하고, 실제 공간 상의 평면을 인식할 수 있다. 이러한 인식은 도 3의 (B)와 같이 클라우드 포인트를 통해 이루어진다. Meanwhile, after the user selects an object, the object, for example, a real space in which the electric pole is to be installed may be focused through the
이어서, 제어부(160)는 S250 단계에서 카메라부(120)를 통해 촬영된 영상에서 복수의 특징점을 인식한다. 여기서, 특징점은 영상에서 색이 급격하게 변화하는 부분이며, 제어부(160)는 영상의 각 픽셀의 픽셀값을 통해 픽셀 간의 색 차이를 비교하여 그 색의 차이가 색이 소정 수치 이상 변화하는 부분을 선별하여 특징점을 인식할 수 있다. Subsequently, the
다음으로, 제어부(160)는 S260 단계에서 복수의 특징점의 거리 및 깊이를 측정하여 복수의 특징점의 좌표를 도출한다. 이때, 제어부(160)는 카메라부(120)의 3D 센서를 통해 복수의 특징점 간의 상대적인 거리 및 카메라부(120)의 초점 혹은 주점으로부터의 거리인 깊이를 측정하여 현실 공간의 축적을 기초로 가상공간의 축적을 적용하여 좌표계를 생성하고, 생성된 좌표계에 따라 특징점의 좌표를 도출할 수 있다. Next, the
이어서, 제어부(160)는 S270 단계에서 좌표계를 기초로 복수의 특징점을 연결한 복수의 평면을 형성하고, 형성된 복수의 평면 중 지면과 평행하거나, 수직인 평면들을 모두 후보 평면으로 도출하여 후보 평면 리스트를 생성한다. 이때, 후보 평면은 활성화되지 않는다. Subsequently, the
이어서, 제어부(160)는 S280 단계에서 후보 평면 리스트에 포함된 복수의 후보 평면 각각의 수평 규격을 산출한다. 이때, 제어부(160)는 좌표계를 통해 각 후보 평면의 가로와 세로의 길이를 구하여 후보 평면의 수평 규격을 산출할 수 있다. Subsequently, the
다음으로, 제어부(160)는 S290 단계에서 복수의 후보 평면 중 수평 규격이 객체의 수평 규격 보다 큰 후보 평면을 선별하여 선택 가능한 평면으로 선정한다. Next, in step S290, the
즉, 객체의 수평 규격 보다 작은 수평 규격을 가지는 후보 평면에는 객체를 시공할 수 없기 때문에 수평 규격이 객체의 수평 규격 보다 큰 후보 평면을 선택 가능한 평면으로 선정한다. That is, since an object cannot be constructed on a candidate plane having a horizontal standard smaller than the horizontal standard of the object, a candidate plane having a horizontal standard larger than the horizontal standard of the object is selected as a selectable plane.
이어서, 제어부(160)는 S300 단계에서 선택 가능한 평면을 활성화하여 표시부(140)를 통해 표시한다. 예컨대, 도 3의 (C)와 같이 복수의 클라우드 포인트 중 선택 가능한 평면에 대한 클라우드 포인트의 색 혹은 형상을 변경하여 선택 가능한 평면을 표시할 수 있다. 이에 따라, 사용자는 입력부(130) 및 표시부(140) 중 어느 하나를 통해 활성화된 평면에서 증강하고자 하는 객체를 설치할 위치를 선택할 수 있다. Subsequently, the
제어부(160)는 S310 단계에서 입력부(130) 및 표시부(140) 중 어느 하나를 통해 사용자의 선택을 감지하여, 가상의 객체를 설치할 위치를 결정하고, S320 단계에서 결정된 위치에 객체를 합성하여 표시부를 통해 표시한다. 예컨대, 도 3의 (C)와 같은 화면에서 사용자가 선택한 위치가 S라고 하면, 도 3의 (D)와 같이, 앞서 선택된 객체, 즉, 전주를 해당 위치 S에 합성하여 표시한다. The
한편, 앞서 설명된 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the method according to the embodiment of the present invention described above may be implemented in the form of a program that can be read through various computer means and recorded on a computer-readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, or the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks ( magneto-optical media), and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only a machine language such as that produced by a compiler but also a high-level language that can be executed by a computer using an interpreter or the like. These hardware devices may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. The present invention has been described above using several preferred embodiments, but these embodiments are illustrative and not limiting. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made according to the equivalence theory without departing from the spirit of the present invention and the scope of the rights presented in the appended claims.
100: 증강현실장치
110: 통신부
120: 카메라부
130: 입력부
140: 표시부
150: 저장부
160: 제어부 100: augmented reality device
110: communication department
120: camera unit
130: input unit
140: display
150: storage unit
160: control unit
Claims (8)
현실 공간을 스캔하기 위한 카메라부;
카메라부가 촬영된 현실 공간을 표시하는 표시부; 및
상기 카메라부를 통해 현실 공간이 스캔되면, 상기 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식한 후, 객체를 설치할 수 있는 평면인 설치 가능 평면을 도출하고, 도출된 설치 가능 평면을 활성화하고, 활성화된 설치 가능 평면 중 소정의 위치가 선택되면, 선택된 평면에 가상의 객체를 합성하여 상기 표시부를 통해 표시하는 제어부;를 포함하며,
상기 제어부는
상기 객체를 평면 상에 사영(projection)할 때 차지하는 면적인 객체의 수평 규격을 산출하고, 상기 현실 공간에 존재하는 평면 중 복수의 후보 평면을 구한 후, 상기 복수의 후보 평면 중 상기 객체의 수평 규격 보다 넓은 면적의 수평 규격을 가지는 후보 평면을 상기 설치 가능 평면으로 도출하는 것을 특징으로 하는
증강 현실을 제공하기 위한 장치. In the apparatus for providing an object installation simulation,
A camera unit for scanning a real space;
A display unit that displays a real space in which the camera unit is photographed; And
When the real space is scanned through the camera unit, after recognizing the plane existing in the real space through the cloud point, an installable plane, which is a plane on which an object can be installed, is derived, the derived installable plane is activated, and activated. When a predetermined position is selected from among the installed installable planes, a controller for synthesizing a virtual object on the selected plane and displaying it through the display unit; and
The control unit
The horizontal standard of the object, which is the area occupied when projecting the object on a plane, is calculated, a plurality of candidate planes among planes existing in the real space are obtained, and then the horizontal standard of the object among the plurality of candidate planes Characterized in that the candidate plane having a larger area horizontal standard is derived as the installable plane
A device for providing augmented reality.
상기 제어부는
상기 객체의 3D 모델의 콜라이더(Collider) 데이터 중 가로(x) 및 세로(y)의 길이를 이용하여 상기 객체의 수평 규격을 산출하는 것을 특징으로 하는
증강 현실을 제공하기 위한 장치. The method of claim 1,
The control unit
The horizontal standard of the object is calculated by using the lengths of the horizontal (x) and vertical (y) of the collider data of the 3D model of the object.
A device for providing augmented reality.
상기 제어부는
상기 평면으로부터 복수의 특징점을 검출하고,
상기 복수의 특징점의 좌표를 도출하고,
상기 복수의 특징점의 좌표를 통해 복수의 평면을 도출하고,
복수의 평면 중 지표면에 수평하거나, 수직한 평면을 모두 후보 평면으로 도출하는 것을 특징으로 하는
증강 현실을 제공하기 위한 장치. The method of claim 1,
The control unit
Detecting a plurality of feature points from the plane,
Derive the coordinates of the plurality of feature points,
Derive a plurality of planes through the coordinates of the plurality of feature points,
It characterized in that all planes horizontal or perpendicular to the ground surface among a plurality of planes are derived as candidate planes.
A device for providing augmented reality.
증강하고자 하는 객체가 선택되면, 선택된 객체를 평면 상에 사영(projection)할 때 차지하는 면적인 객체의 수평 규격을 산출하는 단계;
현실 공간을 촬영하여 현실 공간에 존재하는 평면을 클라우드 포인트를 통해 인식하는 단계;
상기 현실 공간에 존재하는 평면 중 복수의 후보 평면을 구한 후, 상기 복수의 후보 평면 중 상기 객체의 수평 규격 보다 넓은 면적의 수평 규격을 가지는 후보 평면을 객체를 설치할 수 있는 평면인 설치 가능 평면으로 도출하는 단계; 및
상기 설치 가능 평면 중 소정의 위치가 선택되면, 선택된 평면에 가상의 객체를 합성하여 표시하는 단계;를 포함하는 것을 특징으로 하는
증강 현실을 제공하기 위한 방법. In a method for providing an object installation simulation of an augmented reality device,
When an object to be augmented is selected, calculating a horizontal standard of the object, which is an area occupied when projecting the selected object on a plane;
Photographing a real space and recognizing a plane existing in the real space through a cloud point;
After obtaining a plurality of candidate planes among the planes existing in the real space, a candidate plane having a horizontal standard of an area larger than the horizontal standard of the object among the plurality of candidate planes is derived as an installable plane, which is a plane in which an object can be installed. Step to do; And
When a predetermined position among the installable planes is selected, synthesizing and displaying a virtual object on the selected plane.
A method for providing augmented reality.
상기 객체의 수평 규격을 산출하는 단계는
상기 객체의 3D 모델의 콜라이더(Collider) 데이터 중 가로(x) 및 세로(y)의 길이를 이용하여 상기 객체의 수평 규격을 산출하는 것을 특징으로 하는
증강 현실을 제공하기 위한 방법. The method of claim 5,
The step of calculating the horizontal standard of the object
The horizontal standard of the object is calculated by using the lengths of the horizontal (x) and vertical (y) of the collider data of the 3D model of the object.
A method for providing augmented reality.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20180123309 | 2018-10-16 | ||
KR1020180123309 | 2018-10-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200042829A KR20200042829A (en) | 2020-04-24 |
KR102162873B1 true KR102162873B1 (en) | 2020-10-07 |
Family
ID=70466005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180152733A KR102162873B1 (en) | 2018-10-16 | 2018-11-30 | An apparatus for providing an augmented reality in which virtual objects are installed in a real space, a method therefor and computer recordable medium storing program to perform the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102162873B1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102434406B1 (en) * | 2016-01-05 | 2022-08-22 | 한국전자통신연구원 | Augmented Reality device based on recognition spacial structure and method thereof |
KR101856166B1 (en) * | 2016-07-11 | 2018-05-10 | 주식회사 디지탈테크 | Animal sensing device based on image recognition |
KR102330829B1 (en) | 2017-03-27 | 2021-11-24 | 삼성전자주식회사 | Method and apparatus for providing augmented reality function in electornic device |
-
2018
- 2018-11-30 KR KR1020180152733A patent/KR102162873B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20200042829A (en) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110974088B (en) | Sweeping robot control method, sweeping robot and storage medium | |
US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
KR101330805B1 (en) | Apparatus and Method for Providing Augmented Reality | |
CN106687850B (en) | Scanning laser planarity detection | |
US9013550B2 (en) | Online reference generation and tracking for multi-user augmented reality | |
KR101295712B1 (en) | Apparatus and Method for Providing Augmented Reality User Interface | |
US10157478B2 (en) | Enabling use of three-dimensional locations of features with two-dimensional images | |
CN108474653B (en) | Three-dimensional measurement device and measurement support processing method thereof | |
JP2008275391A (en) | Position attitude measurement device and method | |
US9207779B2 (en) | Method of recognizing contactless user interface motion and system there-of | |
KR101665399B1 (en) | Object generation apparatus and method of based augmented reality using actual measured | |
CN113741698A (en) | Method and equipment for determining and presenting target mark information | |
US20140192055A1 (en) | Method and apparatus for displaying video on 3d map | |
KR102197615B1 (en) | Method of providing augmented reality service and server for the providing augmented reality service | |
CN113052919A (en) | Calibration method and device of visual sensor, electronic equipment and storage medium | |
US11321864B1 (en) | User guided mode for measurement purposes | |
KR101912241B1 (en) | Augmented reality service providing apparatus for providing an augmented image relating to three-dimensional shape of real estate and method for the same | |
KR20200080378A (en) | An apparatus for recognizing a license plate of a vehicle, a method therefor, and computer recordable medium storing program to perform the method | |
KR102162873B1 (en) | An apparatus for providing an augmented reality in which virtual objects are installed in a real space, a method therefor and computer recordable medium storing program to perform the method | |
WO2019198446A1 (en) | Detection device, detection method, information processing device, and information processing program | |
CN114723923B (en) | Transmission solution simulation display system and method | |
KR20160109828A (en) | Augmented reality system | |
CN109214482A (en) | A kind of indoor orientation method, device, terminal device and storage medium | |
KR102183115B1 (en) | System for overlapping object on virtualized space based on real space | |
KR102268798B1 (en) | System and method for providing augmented reality user interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |