KR20210086837A - Interior simulation method using augmented reality(AR) - Google Patents

Interior simulation method using augmented reality(AR) Download PDF

Info

Publication number
KR20210086837A
KR20210086837A KR1020190178712A KR20190178712A KR20210086837A KR 20210086837 A KR20210086837 A KR 20210086837A KR 1020190178712 A KR1020190178712 A KR 1020190178712A KR 20190178712 A KR20190178712 A KR 20190178712A KR 20210086837 A KR20210086837 A KR 20210086837A
Authority
KR
South Korea
Prior art keywords
map
augmented reality
indoor
space
virtual object
Prior art date
Application number
KR1020190178712A
Other languages
Korean (ko)
Inventor
손윤식
강정석
구본준
전상엽
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190178712A priority Critical patent/KR20210086837A/en
Publication of KR20210086837A publication Critical patent/KR20210086837A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Abstract

The present invention relates to an indoor interior simulation method using augmented reality, and more particularly, to an indoor interior simulation method using augmented reality, in which an indoor space is scanned by using a space sensing device including an RGB-depth (RGB-D) camera and an inertial measurement unit (IMU) sensor, an indoor space 3D map that reflects a location of an object, a wall, or the like in an actual space is generated based on scanned data, a coordinate system is formed to designate a location on the generated 3D map, and a simulation environment in which a virtual object is able to be arranged in a precise location on the 3D map through formed three-dimensional space coordinates is provided to a user, so that in a space where an interior of a real world is reflected, a location of the virtual object is determined as coordinates to arrange the virtual object at a precise location desired by the user, and a changed interior state is supported to be accurately and realistically checked through the augmented reality.

Description

증강현실을 이용한 실내 인테리어 시뮬레이션 방법{Interior simulation method using augmented reality(AR)}Interior simulation method using augmented reality (AR)}

본 발명은 증강현실을 이용한 실내 인테리어 시뮬레이션 방법에 관한 것으로서, 더욱 상세하게는 RGB-D(RGB-Depth)카메라 및 IMU(Inertial Measurement Unit)센서를 포함한 공간센싱장치를 이용하여 실내 공간을 스캐닝하고, 스캐닝된 데이터를 바탕으로 실제 공간 내의 물건이나 벽 등의 위치를 반영한 실내 공간 3D MAP을 생성하며, 생성된 3D MAP 상에 위치를 지정할 수 있도록 좌표계를 형성한 후, 형성된 3차원 공간 좌표를 통해 3D MAP상의 정확한 위치에 가상의 오브젝트를 배치할 수 있는 시뮬레이션 환경을 사용자에게 제공함으로써, 현실의 인테리어가 반영된 공간 상에서, 가상객체의 위치를 좌표로 결정하여 사용자가 원하는 정확한 위치에 배치하고, 변화된 인테리어 상태를 증강현실을 통해 정교하고 실감나게 확인할 수 있도록 지원하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법에 관한 것이다.The present invention relates to an indoor interior simulation method using augmented reality, and more particularly, scanning an indoor space using a space sensing device including an RGB-D (RGB-Depth) camera and an IMU (Inertial Measurement Unit) sensor, Based on the scanned data, an indoor 3D MAP that reflects the location of objects or walls in the real space is created, and a coordinate system is formed so that the location can be specified on the generated 3D MAP, and then 3D through the formed 3D spatial coordinates By providing the user with a simulation environment in which virtual objects can be placed at precise locations on the MAP, the location of virtual objects is determined as coordinates in a space reflecting the interior of the real world and placed at the exact location desired by the user, and the changed interior state It relates to an indoor interior simulation method using augmented reality that supports sophisticated and realistic verification of

증강현실 기술은 현실의 정보에 가상의 정보를 합성해 영상이나 이미지의 정보를 증강시키는 것을 의미하여, 현실의 정보에 추가적인 가상 정보를 덧붙여 사물에 대한 인간의 감각과 인식을 확장한다는 측면에서 확장현실이라고 불리기도 한다. Augmented reality technology refers to augmenting video or image information by synthesizing virtual information with real information. Expanded reality in terms of expanding human sense and perception of objects by adding additional virtual information to real information It is also called

이러한 증강현실 영상을 제공하는데 있어서는 사용자의 위치를 정확히 인지 하는 트래킹 기술이 필수적인데, 최근에는 스마트폰, 태블릿 등에 카메라, GPS 및 자이로센서 등이 탑재되면서, 이를 이용한 트래킹 및 증강현실 제공 기술이 빠르게 개발되고 있다.In providing such an augmented reality image, tracking technology that accurately recognizes the user's location is essential. Recently, as cameras, GPS and gyro sensors have been installed in smartphones and tablets, tracking and augmented reality providing technologies using them have been rapidly developed. is becoming

그러나, 상기와 같은 카메라, GPS, 자이로센서 등을 이용한 종래의 증강현실 기술의 경우, GPS 통신이 원활하지 않은 실내에서는 사용이 어렵다는 단점이 있으며, 사용자 단말기의 카메라에 캡쳐되는 영상에 기반하여 가상의 오브젝트 위치를 결정하여 증강현실 영상을 출력하기 때문에, 카메라 뷰가 조금 이동되거나, 프로그램을 껐다 켜는 등의 이벤트 발생 시, 같은 위치에 정확하게 가상의 오브젝트를 표현하지 못하는 단점이 있다. However, in the case of the conventional augmented reality technology using the camera, GPS, and gyro sensor as described above, it is difficult to use indoors where GPS communication is not smooth, and based on the image captured by the camera of the user terminal, virtual Since the augmented reality image is output by determining the position of the object, there is a disadvantage in that the virtual object cannot be accurately expressed in the same position when the camera view is moved slightly or an event such as turning the program off and on occurs.

이에 따라, 최근 한국등록특허 제10-1901663호에서, 실내 공간에 이미지 마커를 부착하여 이미지 마커의 2차원 좌표를 가상의 3차원 좌표로 변환하고, 추출된 이미지 마커의 패턴에 해당하는 가상의 오브젝트를 합성하여 증강된 이미지를 제공하는 증강현실 기반 인테리어 시스템을 제시하여, 보다 효과적인 인테리어 시뮬레이션 방법을 제안하고 있기는 하나, 이 역시, 매번 증강현실을 구현할 때마다, 현실공간에 이미지 마커를 부착해야 한다는 번거로움이 존재하며, 2차원 좌표를 3차원으로 변환하는 과정에서 사실성이 떨어지는 문제가 있다.Accordingly, in recent Korean Patent Registration No. 10-1901663, an image marker is attached to an indoor space to convert the two-dimensional coordinates of the image marker into virtual three-dimensional coordinates, and a virtual object corresponding to the extracted image marker pattern. Although a more effective interior simulation method is proposed by presenting an augmented reality-based interior system that provides augmented images by synthesizing There is a cumbersome problem, and there is a problem that the realism is lowered in the process of converting the two-dimensional coordinates to the three-dimensional.

1. 대한민국 등록특허공보 제10-1901663호(등록일 : 2018.09.18) "증강현실 기반 셀프 인테리어 시스템 및 방법"1. Republic of Korea Patent Publication No. 10-1901663 (Registration date: 2018.09.18) "Augmented reality-based self-interior system and method"

본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 본 발명은 증강현실을 이용한 실내 인테리어 시뮬레이션 방법에 관한 것으로서, 더욱 상세하게는 RGB-D(RGB-Depth)카메라 및 IMU(Inertial Measurement Unit)센서를 포함한 공간센싱장치를 이용하여 실내 공간을 스캐닝하고, 스캐닝된 데이터를 바탕으로 실제 공간 내의 물건이나 벽 등의 위치를 반영한 실내 공간 3D MAP을 생성하며, 생성된 3D MAP 상에 위치를 지정할 수 있도록 좌표계를 형성한 후, 형성된 3차원 공간 좌표를 통해 3D MAP상의 정확한 위치에 가상의 오브젝트를 배치할 수 있는 시뮬레이션 환경을 사용자에게 제공함으로써, 현실의 인테리어가 반영된 공간 상에서, 가상객체의 위치를 좌표로 결정하여 사용자가 원하는 정확한 위치에 배치하고, 변화된 인테리어 상태를 증강현실을 통해 정교하고 실감나게 확인할 수 있도록 지원하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법을 제시하는 것을 목적으로 한다.The present invention relates to a method for simulating a room interior using augmented reality, and more particularly, an RGB-D (RGB-Depth) camera and an IMU (Inertial Measurement Unit). ) Scans the indoor space using a space sensing device including a sensor, creates a 3D map of the indoor space that reflects the location of objects or walls in the real space based on the scanned data, and specifies the location on the created 3D MAP. After forming a coordinate system so that the user can place a virtual object at an exact location on the 3D MAP through the formed three-dimensional space coordinates, a simulation environment is provided to the user to determine the location of the virtual object in a space reflecting the interior of the real world. The purpose of this study is to present an indoor interior simulation method using augmented reality that determines the coordinates, arranges them in the exact location desired by the user, and supports to accurately and realistically check the changed interior state through augmented reality.

상기와 같은 목적을 달성하기 위해 본 발명은, 증강현실을 이용한 인테리어 시뮬레이션 방법에 있어서, 공간센싱장치를 이용하여 3차원 실내 공간 데이터를 획득하는 단계; 상기 획득한 실내 공간 데이터를 기반으로 증강현실을 구현하기 위한 가상 실내 지도인 3D MAP을 구축하는 단계; 상기 구축된 3D MAP 상에 좌표계를 형성하는 단계; 상기 3D MAP상에 형성된 좌표계상의 좌표점을 이용하여 가상 객체를 상기 3D MAP에 맵핑하는 단계; 및 상기 가상객체가 맵핑된 3D MAP을 기반으로 증강현실 영상을 생성하여 디스플레이하는 단계; 를 포함하여 구성되는 것을 특징으로 하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법을 제공하는 것을 목적으로 한다.In order to achieve the above object, the present invention provides an interior simulation method using augmented reality, comprising: acquiring three-dimensional indoor space data using a space sensing device; building a 3D MAP which is a virtual indoor map for realizing augmented reality based on the obtained indoor spatial data; forming a coordinate system on the constructed 3D MAP; mapping a virtual object to the 3D MAP using coordinate points on the coordinate system formed on the 3D MAP; and generating and displaying an augmented reality image based on the 3D MAP to which the virtual object is mapped. An object of the present invention is to provide an indoor interior simulation method using augmented reality, characterized in that it comprises a.

본 발명에 따른 증강현실을 이용한 실내 인테리어 시뮬레이션 방법은 사용자의 디바이스를 통해 증강현실을 제공함에 있어서, 실내 공간의 물체 또는 벽의 위치를 점형태로 변환하여 구현한 3D MAP상에 3차원 좌표계를 형성하고, 형성된 공간 좌표를 통해 사용자가 가상객체의 위치를 결정할 수 있는 시뮬레이션 환경을 제공함으로써, 실제 인테리어가 반영된 가상 공간에서 3차원 좌표점을 이용하여 사용자가 원하는 정확한 위치에 가상 객체를 대입할 수 있으며, 3D MAP에 기반한 공간과 사용자 디바이스의 카메라 뷰 공간을 비교함으로써, 사용자가 보고있는 영역을 정확히 인식하여 가상객체의 위치를 더욱 정교하게 디스플레이 할 수 있는 장점이 있다.The indoor interior simulation method using augmented reality according to the present invention forms a three-dimensional coordinate system on a 3D MAP implemented by converting the position of an object or wall in an indoor space into a point form in providing augmented reality through a user's device. And, by providing a simulation environment in which the user can determine the location of the virtual object through the space coordinates formed, the virtual object can be substituted at the exact location desired by the user using the three-dimensional coordinate point in the virtual space reflecting the real interior. , by comparing the 3D MAP-based space with the camera view space of the user device, it has the advantage of accurately recognizing the area the user is looking at and displaying the location of the virtual object more precisely.

또한, 3D MAP과 더불어 가상객체의 맵핑정보를 저장함으로써, 사용자 디바이스의 카메라 뷰가 이동된 후 되돌아오거나, 프로그램이 꺼졌다 켜지는 등의 이벤트 발생 시에도, 사용자가 원하는 고정된 정확한 위치에 실내 인테리어를 디스플레이 할 수 있다는 장점이 있다.In addition, by storing the mapping information of the virtual object along with the 3D MAP, even when an event such as the camera view of the user device is moved or the program is turned off and on, the interior is placed at the exact location desired by the user. It has the advantage of being able to display.

도 1은 본 발명의 일실시예에 따른 증강현실을 이용한 실내 인테리어 시뮬레이션 제공 방법을 도시한 순서도이다.
도 2 내지 도 4는 본 발명의 일실시예에 따른 3D MAP상에 가상의 옷장이 배치되는 과정을 보여주고 있는 도면이다.1 is a flowchart illustrating a method for providing an indoor interior simulation using augmented reality according to an embodiment of the present invention.
2 to 4 are diagrams illustrating a process of arranging a virtual wardrobe on a 3D MAP according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.Since the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the text.

그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명 될 수 있다.However, this is not intended to limit the present invention to the specific disclosed form, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in the present application is only used to describe specific embodiments, and is not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification is present, and includes one or more other features or It should be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof does not preclude the possibility of addition.

이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail based on the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 증강현실을 이용한 실내 인테리어 시뮬레이션 제공 방법을 도시한 순서도이다.1 is a flowchart illustrating a method for providing an indoor interior simulation using augmented reality according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 증강현실을 이용한 실내 인테리어 시뮬레이션 제공 방법은 RGB-D(RGB-Depth) 카메라 및 IMU(Inertial Measurement Unit)센서 등의 공간센싱장치를 이용하여 실내 공간 데이터를 획득(S100)하는 것으로 시작되며, 공간센싱장치로부터 획득하는 실내 공간 데이터는 물체의 위치, 형상, 벽면의 위치 등을 모두 포함하는 3차원 영상 형태의 데이터이다.As shown in FIG. 1, the method for providing indoor interior simulation using augmented reality according to the present invention uses a spatial sensing device such as an RGB-D (RGB-Depth) camera and an IMU (Inertial Measurement Unit) sensor to provide indoor spatial data. It starts with acquiring (S100), and the indoor spatial data acquired from the spatial sensing device is data in the form of a three-dimensional image including the position of the object, the shape, the position of the wall, and the like.

이후, 획득한 실내 공간 데이터에서 물체 및 벽면 위치 등의 특징점 분석을 바탕으로 증강현실을 구현할 가상 실내 3D MAP을 구축(S101)한다. 즉, 실내 공간 데이터를 분석하여 영상에 수록된 실제 물체들의 외부 표면을 나타내는 포인트 클라우드(Point cloud) 모델을 생성하며, 이러한 포인트 클라우드 모델을 통해 3D MAP상에서 현실의 물체들을 각각의 개체로 인식하여 가상 공간을 형성하는 것이다. 이러한 포인트 클라우드 모델 생성은 3차원 형상을 모델링하는 기술분야에서는 다양한 기법들이 알려져 있으며, 본 발명에서는 이에 대한 구체적인 설명을 생략하기로 한다.Thereafter, a virtual indoor 3D MAP to implement augmented reality is built (S101) based on the analysis of feature points such as the location of objects and walls in the obtained indoor spatial data. That is, by analyzing indoor space data, a point cloud model representing the external surface of the real objects recorded in the image is generated, and real objects are recognized as individual objects on the 3D MAP through this point cloud model to create a virtual space. is to form Various techniques are known in the art of modeling a three-dimensional shape for generating a point cloud model, and a detailed description thereof will be omitted in the present invention.

이어서, 생성된 3D MAP 상에서 정확한 위치를 표현할 수 있도록 좌표계를 형성(S102)한다. 공간센싱장치는 실내 공간을 스캐닝 하기 시작할때의 위치를 원점으로하여, 실내 공간을 스캐닝 하면서 자신의 위치를 트래킹함과 동시에, 3차원 공간 데이터를 생성한다. 이러한 공간센싱장치에서 측정된 3차원 데이터를 참조하여, 실내 공간 내의 임의의 특정점을 원점으로 하는 좌표계를 생성하며, 생성된 좌표계상의 좌표점들은 가구나 전자제품 등의 가상 객체 삽입 위치 결정에 사용될 수 있을 뿐만 아니라, 가상 객체 형성에도 사용될 수 있다.Then, a coordinate system is formed so that an accurate position can be expressed on the generated 3D MAP (S102). The spatial sensing device uses the position at the start of scanning the indoor space as the origin, and tracks its own position while scanning the indoor space, and at the same time generates 3D spatial data. By referring to the three-dimensional data measured by such a space sensing device, a coordinate system is created with an arbitrary specific point in the indoor space as the origin, and the coordinate points on the created coordinate system can be used to determine the insertion position of virtual objects such as furniture or electronic products Not only that, but it can also be used to form virtual objects.

즉, 사용자는 새로운 인테리어 용품을 스캐닝하여 가상객체로 생성하고, 생성된 가상 인테리어 용품이 배치될 좌표점을 설정함으로써, 가구나 전자제품 등의 가상 객체를 원하는 위치에 맵핑할 수 있는 것이다.That is, the user can scan a new interior product to create a virtual object, and set a coordinate point at which the generated virtual interior product is to be placed, thereby mapping the virtual object, such as furniture or an electronic product, to a desired location.

또한, 3차원 상에서 선은 점과 점의 연결으로 표현될 수 있으므로, 사용자가 임의의 1개 점을 입력하면 원점과 이어지는 1개의 세그먼트가 형성되는 것이며, 나아가, 1개 이상의 임의의 점을 입력하면 여러개의 세그먼트가 형성되는 것으로, 3차원 상에서 가상객체의 모양을 형성할 수 있어, 사용자가 임의의 좌표점들을 입력함으로써 3차원 상에서 가상객체를 형성하여 맵핑할 수 있는 것이다.In addition, since a line can be expressed as a point-to-point connection in 3D, if the user inputs one arbitrary point, one segment connected to the origin is formed, and furthermore, if one or more arbitrary points are input By forming several segments, the shape of the virtual object can be formed in three dimensions, and the user can form and map the virtual object in three dimensions by inputting arbitrary coordinate points.

다음으로, 생성된 3D MAP상에 가상 객체를 맵핑(S103)하는 단계이다. 사용자는 가상 객체가 놓일 좌표점을 입력함으로써, 현실 물체들의 형상과 위치가 반영된 3D MAP상에서 가상 객체의 위치를 보다 정확하게 맵핑할 수 있다.Next, it is a step of mapping the virtual object on the generated 3D MAP (S103). By inputting a coordinate point at which the virtual object is to be placed, the user can more accurately map the location of the virtual object on the 3D MAP in which the shape and location of the real objects are reflected.

이와 같이, 기 인식된 현실세계의 물체들 사이 정확한 위치에 좌표를 통해 가상 객체를 맵핑하는 방법을 이용함으로써, 사용자는 현실 반영도가 높은 정확한 시뮬레이션 결과를 얻을 수 있는 효과가 있다.As described above, by using a method of mapping a virtual object through coordinates to an accurate location between previously recognized objects in the real world, there is an effect that the user can obtain an accurate simulation result with high reflection of reality.

마지막으로, 가상객체가 맵핑된 증강현실을 사용자의 디바이스를 통해 디스플레이(S104)하는 단계에서는, 카메라가 탑재된 사용자 디바이스로부터 사용자의 시선에 대응되는 카메라 뷰를 획득하고, 3D MAP에 기반하여 사용자 시선 영역을 분석하여, 사용자가 보고있는 영역을 파악함과 동시에, 3D MAP 상의 좌표점들과 대응되는 카메라 뷰 상의 위치를 추정하여, 3D MAP에 맵핑된 가상객체 위치와 대응되는 카메라 뷰 상의 위치에 가상 객체를 디스플레이한다. Finally, in the step of displaying (S104) the augmented reality to which the virtual object is mapped through the user's device, a camera view corresponding to the user's gaze is obtained from the user device equipped with a camera, and the user's gaze is based on the 3D MAP. By analyzing the region, the region being viewed by the user is identified, and the position on the camera view corresponding to the coordinate points on the 3D MAP is estimated, and the virtual object is mapped to the position on the camera view corresponding to the position of the virtual object mapped to the 3D MAP. Display the object.

이때, 디스플레이된 영상과 3D MAP을 비교하여, 즉, 사용자 디바이스 화면에 제공된 가상객체의 위치와 3D MAP 상에 맵핑된 가상객체의 위치를 비교하여, 가상객체가 화면에서 보다 정확한 위치에 디스플레이되도록 피드백 함으로써, 사용자는 더욱 정확한 위치에 맵핑된 증강 현실을 경험할 수 있다.In this case, by comparing the displayed image with the 3D MAP, that is, by comparing the position of the virtual object provided on the screen of the user device and the position of the virtual object mapped on the 3D MAP, feedback so that the virtual object is displayed at a more accurate position on the screen By doing so, the user can experience augmented reality mapped to a more accurate location.

여기서, 3D MAP 데이터와 가상객체 맵핑 정보는 사용자 디바이스에 저장됨으로써, 사용자 단말기의 카메라 뷰가 이동된 후 되돌아오거나, 프로그램이 꺼졌다 켜지는 등의 이벤트 발생 시에도, 사용자가 원하는 고정된 정확한 위치에 가상객체가 증강된 영상을 사용자에게 제공할 수 있다.Here, the 3D MAP data and the virtual object mapping information are stored in the user device, so that even when an event occurs, such as a camera view of the user terminal is moved, or a program is turned on and off, the virtual object is stored at a fixed and precise location desired by the user. An image in which the object is augmented may be provided to the user.

도 2 내지 도 4는 본 발명의 일실시예에 따른 3D MAP상에 가상의 옷장이 배치되는 과정을 보여주고 있는 도면이다.2 to 4 are diagrams illustrating a process of arranging a virtual wardrobe on a 3D MAP according to an embodiment of the present invention.

먼저, 도 2는 본 발명에 따라 촬영한 실내 공간을 3D MAP으로 구현한 모습을 일예로 보여주는 도면이다.First, FIG. 2 is a diagram showing an example of a state in which an indoor space photographed according to the present invention is implemented as a 3D MAP.

공간센싱장치를 이용하여 실내 공간이 스캐닝되면 포인트 클라우드 방식을 이용하여 3D MAP을 생성하는데, 생성된 3D MAP은, 도 2에 도시된 바와같이 실제 물체들의 위치를 포함하여 현실의 실내 공간을 높은 정확도로 반영한다.When an indoor space is scanned using a space sensing device, a 3D MAP is generated using a point cloud method. As shown in FIG. 2 , the generated 3D MAP is a real indoor space including the positions of real objects with high accuracy. reflected as

도 3은 도 2에서와같이 형성된 3D MAP 상에 좌표계(300)가 설정되고, 설정된 좌표계 상에 가상 옷장의 배치 위치(좌표점,400)가 선택된 모습이다.3 is a view showing a coordinate system 300 is set on the 3D MAP formed as shown in FIG. 2 , and an arrangement position (coordinate point 400 ) of the virtual wardrobe is selected on the set coordinate system.

도 3에 도시된 바와같이, 본 실시예에서는, 공간센싱장치의 3차원 데이터를 참조하여 좌표계를 생성하는데 있어서, 실내 공간에 기 배치되어 있는 테이블(200)상의 특정 위치를 좌표계(300)의 기준이 되는 원점(P0)으로 설정하고, 이로부터 3차원의 좌표계(300)를 생성하고 있음을 보여준다.As shown in FIG. 3 , in the present embodiment, in generating a coordinate system with reference to the three-dimensional data of the space sensing device, a specific position on the table 200 already arranged in an indoor space is used as a reference of the coordinate system 300 . It is set as the origin (P 0 ), which becomes , and shows that a three-dimensional coordinate system 300 is generated from this.

이후, 사용자가 좌표계(300)가 생성된 3D MAP상에서, 가상 옷장을 배치하기 위해 실제 옷장의 너비, 높이, 깊이에 맞는 좌표점들을 입력하면, 가상 옷장을 맵핑하기 위한 좌표점(400)들이 선택된다.Thereafter, when the user inputs coordinate points corresponding to the width, height, and depth of the actual wardrobe to arrange the virtual wardrobe on the 3D MAP in which the coordinate system 300 is generated, the coordinate points 400 for mapping the virtual wardrobe are selected. do.

도 4는 3D MAP 상에 가상 옷장이 맵핑된 모습을 보여주는 도면이다. 4 is a diagram illustrating a state in which a virtual wardrobe is mapped on a 3D MAP.

앞에서 설명한 바와같이, 본 발명에서는 사용자에 의해 설정된 좌표점(400) 위치에 따라, 사용자가 의도한 정확한 위치에 사용자가 배치하고자 하는 가상 옷장이 정확하게 맵핑됨으로써, 도 4에 도시된 바와 같이, 보다 정확한 지점에 가상 옷장(500)이 삽입되고, 주변 사물들과의 배치상태를 실감나게 확인할 수 있다.As described above, in the present invention, according to the location of the coordinate point 400 set by the user, the virtual wardrobe that the user intends to place is accurately mapped to the exact location intended by the user, so that, as shown in FIG. 4 , more accurate The virtual wardrobe 500 is inserted at the point, and it is possible to realistically check the arrangement state with surrounding objects.

상기와 같이 3D MAP 상에 맵핑된 가상 객체를 사용자 디바이스의 카메라를 통해 얻어지는 현실영상에 증강하여 표현함으로써, 사용자는 인테리어 변화를 미리 체험하여, 배치할 공간과 가구의 크기가 안맞아 배치를 여러번 다시하는 등의 불필요한 노동력이 들어가는 상황을 줄이고 최소의 비용과 노력으로 실내 인테리어를 꾸밀 수 있다.As described above, by augmenting and expressing the virtual object mapped on the 3D MAP to the real image obtained through the camera of the user device, the user experiences the interior change in advance, and the space to be arranged and the size of the furniture do not match, so the arrangement is repeated several times. It is possible to reduce the situation in which unnecessary labor is required and to decorate the interior with minimal cost and effort.

본 발명은, 본 발명에 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환 변형이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.The present invention is not limited to the above-described embodiments and the accompanying drawings because various substitutions and modifications are possible within the scope of the present invention for those of ordinary skill in the art to which the present invention belongs .

200 : 테이블 300 : 좌표계
400 : 좌표점 500 : 가상 옷장
P0 : 원점200: table 300: coordinate system
400: coordinate point 500: virtual wardrobe
P 0 : origin

Claims (6)

증강현실을 이용한 인테리어 시뮬레이션 방법에 있어서,
공간센싱장치를 이용하여 3차원 실내 공간 데이터를 획득하는 단계;
상기 획득한 실내 공간 데이터를 기반으로 증강현실을 구현하기 위한 가상 실내 지도인 3D MAP을 구축하는 단계;
상기 구축된 3D MAP 상에 좌표계를 형성하는 단계;
상기 3D MAP상에 형성된 좌표계상의 좌표점을 이용하여 가상 객체를 상기 3D MAP에 맵핑하는 단계;
및
상기 가상객체가 맵핑된 3D MAP을 기반으로 증강현실 영상을 생성하여 디스플레이하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
In the interior simulation method using augmented reality,
obtaining three-dimensional indoor spatial data using a space sensing device;
building a 3D MAP which is a virtual indoor map for realizing augmented reality based on the obtained indoor spatial data;
forming a coordinate system on the constructed 3D MAP;
mapping a virtual object to the 3D MAP using coordinate points on the coordinate system formed on the 3D MAP;
and
generating and displaying an augmented reality image based on the 3D MAP to which the virtual object is mapped;
Indoor interior simulation method using augmented reality, characterized in that it comprises a
 제 1항에 있어서,
상기 공간센싱장치를 이용하여 획득하는 3차원 실내 공간 데이터는,
물체의 위치, 형상 및 벽면의 위치를 포함하는 영상 형태의 데이터인 것을 특징으로 하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
The method of claim 1,
The three-dimensional indoor space data obtained by using the space sensing device is,
Indoor interior simulation method using augmented reality, characterized in that it is data in the form of an image including the position of the object, the shape, and the position of the wall
 제 1항에 있어서,
상기 획득한 실내 공간 데이터를 기반으로 증강현실을 구현하기 위한 가상 실내 지도인 3D MAP을 구축하는 단계에서는,
영상에 수록된 물체들의 외부 표면을 표시하는 포인트 클라우드(Point cloud) 모델을 생성하고, 상기 포인트 클라우드 모델을 통해 현실의 물체들을 각각의 개체로 인식하여 가상 공간을 형성하는 것을 특징으로 하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
The method of claim 1,
In the step of constructing a 3D MAP, which is a virtual indoor map for realizing augmented reality based on the obtained indoor spatial data,
Using augmented reality, characterized in that generating a point cloud model that displays the external surfaces of objects recorded in the image, and recognizing real objects as individual objects through the point cloud model to form a virtual space How to simulate a room interior
 제 1항에 있어서,
상기 구축된 3D MAP 상에 좌표계를 형성하는 단계에서는,
공간센싱장치에서 측정된 3차원 데이터를 바탕으로, 실내 공간 내에 임의의 특정점을 원점으로 하는 3차원 좌표계를 3D MAP 상에 생성하는 것을 특징으로 하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
The method of claim 1,
In the step of forming a coordinate system on the constructed 3D MAP,
Based on the three-dimensional data measured by the space sensing device, an indoor interior simulation method using augmented reality, characterized in that a three-dimensional coordinate system having an arbitrary specific point as the origin in the indoor space is created on the 3D MAP
 제 4항에 있어서,
상기 3D MAP상에 형성된 좌표계상의 좌표점을 이용하여 가상 객체를 상기 3D MAP에 맵핑하는 단계에서는,
사용자로부터 가상 객체가 배치될 3D MAP 상의 배치위치를 상기 3차원 좌표계 상의 좌표점 값들로 입력받아, 상기 3D MAP에 맵핑하는 것을 특징으로 하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법
5. The method of claim 4,
In the step of mapping the virtual object to the 3D MAP by using the coordinate points on the coordinate system formed on the 3D MAP,
An interior simulation method using augmented reality, characterized in that a location on a 3D MAP where a virtual object is to be placed is input from a user as coordinate point values on the 3D coordinate system, and is mapped to the 3D MAP.
 제 1항에 있어서,
상기 가상객체가 맵핑된 3D MAP을 기반으로 증강현실 영상을 생성하여 디스플레이하는 단계 이후에,
상기 생성된 3D MAP 및 가상 객체 맵핑 정보를 저장하는 단계;
를 추가로 구비하는 것을 특징으로 하는 증강현실을 이용한 실내 인테리어 시뮬레이션 방법The method of claim 1,
After generating and displaying an augmented reality image based on the 3D MAP to which the virtual object is mapped,
storing the generated 3D MAP and virtual object mapping information;
Indoor interior simulation method using augmented reality, characterized in that it further comprises
KR1020190178712A 2019-12-30 2019-12-30 Interior simulation method using augmented reality(AR) KR20210086837A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190178712A KR20210086837A (en) 2019-12-30 2019-12-30 Interior simulation method using augmented reality(AR)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190178712A KR20210086837A (en) 2019-12-30 2019-12-30 Interior simulation method using augmented reality(AR)

Publications (1)

Publication Number Publication Date
KR20210086837A true KR20210086837A (en) 2021-07-09

Family

ID=76865020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190178712A KR20210086837A (en) 2019-12-30 2019-12-30 Interior simulation method using augmented reality(AR)

Country Status (1)

Country Link
KR (1) KR20210086837A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102446974B1 (en) * 2022-03-29 2022-09-23 주식회사 셀버스 Metabus based virtual space management system
KR102459440B1 (en) 2021-10-05 2022-10-26 주식회사 하이앤드 Interior simulation method and the system using augmented reality
KR102476745B1 (en) * 2021-12-21 2022-12-13 (주)웅진씽크빅 Apparatus and method for providing virtual service for forming habit of arrangement
KR20230045879A (en) 2021-09-29 2023-04-05 주식회사 디자인핸들 Spatial design system based on virtual and augmented reality
CN116310918A (en) * 2023-02-16 2023-06-23 东易日盛家居装饰集团股份有限公司 Indoor key object identification and positioning method, device and equipment based on mixed reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901663B1 (en) 2017-06-13 2018-09-27 한남대학교 산학협력단 A self interior system based on augmented reality and a method using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901663B1 (en) 2017-06-13 2018-09-27 한남대학교 산학협력단 A self interior system based on augmented reality and a method using the same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230045879A (en) 2021-09-29 2023-04-05 주식회사 디자인핸들 Spatial design system based on virtual and augmented reality
KR102459440B1 (en) 2021-10-05 2022-10-26 주식회사 하이앤드 Interior simulation method and the system using augmented reality
KR102476745B1 (en) * 2021-12-21 2022-12-13 (주)웅진씽크빅 Apparatus and method for providing virtual service for forming habit of arrangement
KR102446974B1 (en) * 2022-03-29 2022-09-23 주식회사 셀버스 Metabus based virtual space management system
CN116310918A (en) * 2023-02-16 2023-06-23 东易日盛家居装饰集团股份有限公司 Indoor key object identification and positioning method, device and equipment based on mixed reality
CN116310918B (en) * 2023-02-16 2024-01-09 东易日盛家居装饰集团股份有限公司 Indoor key object identification and positioning method, device and equipment based on mixed reality

Similar Documents

Publication Publication Date Title
KR102417645B1 (en) AR scene image processing method, device, electronic device and storage medium
KR20210086837A (en) Interior simulation method using augmented reality(AR)
TWI782332B (en) An augmented reality data presentation method, device and storage medium
JP4999734B2 (en) ENVIRONMENTAL MAP GENERATION DEVICE, METHOD, AND PROGRAM
US7398481B2 (en) Virtual environment capture
JP5976019B2 (en) Theme-based expansion of photorealistic views
US20180350145A1 (en) Augmented Reality Devices and Methods Thereof for Rendering Virtual Objects
JP4880350B2 (en) Augmented reality system for identifying real marker objects
JP4253567B2 (en) Data authoring processor
KR102197732B1 (en) Method and apparatus for generating 3d map of indoor space
KR102036545B1 (en) Digital camera with audio, visual and motion analysis
TW202113759A (en) Three-dimensional scene engineering simulation and real scene fusion system and method
JP7182976B2 (en) Information processing device, information processing method, and program
JP6310149B2 (en) Image generation apparatus, image generation system, and image generation method
KR20190048506A (en) Method and apparatus for providing virtual room
US10957100B2 (en) Method and apparatus for generating 3D map of indoor space
US11341716B1 (en) Augmented-reality system and method
US11941763B2 (en) Viewing system, model creation apparatus, and control method
CN110313021B (en) Augmented reality providing method, apparatus, and computer-readable recording medium
CN116310188B (en) Virtual city generation method and storage medium based on instance segmentation and building reconstruction
JP6253834B1 (en) Virtual work display method, virtual work data creation method, and three-dimensional space marking data creation method
JP2000137834A (en) Device and method for generating composite moving picture
TWI639133B (en) Apparatus and method for constructing indoor map using cloud point
CN117197223A (en) Space calibration method, device, equipment, medium and program
KR102358950B1 (en) Augmented reality implement apparatus and method using mobile scanned object model scaling

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application