KR101770648B1 - A method for providing indoor virtual experience based on panorama pictures and a 3d floor plan, a portable terminal and a method for providing floor plans using the portable terminal - Google Patents

A method for providing indoor virtual experience based on panorama pictures and a 3d floor plan, a portable terminal and a method for providing floor plans using the portable terminal Download PDF

Info

Publication number
KR101770648B1
KR101770648B1 KR1020160061060A KR20160061060A KR101770648B1 KR 101770648 B1 KR101770648 B1 KR 101770648B1 KR 1020160061060 A KR1020160061060 A KR 1020160061060A KR 20160061060 A KR20160061060 A KR 20160061060A KR 101770648 B1 KR101770648 B1 KR 101770648B1
Authority
KR
South Korea
Prior art keywords
information
dimensional
panoramic
portable terminal
image
Prior art date
Application number
KR1020160061060A
Other languages
Korean (ko)
Inventor
배석훈
Original Assignee
주식회사 큐픽스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐픽스 filed Critical 주식회사 큐픽스
Priority to KR1020160061060A priority Critical patent/KR101770648B1/en
Application granted granted Critical
Publication of KR101770648B1 publication Critical patent/KR101770648B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04N13/0456—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

An indoor virtual experience providing method using a portable terminal according to an embodiment of the present invention comprises the steps of: acquiring at least one photograph photographed indoors; acquiring three-dimensional building floor plan information calculated from the at least one photograph; acquiring a panoramic photograph configured so that at least one photograph matches the three-dimensional building floor plan information; and providing an indoor virtual experience interface through which the three-dimensional building floor plan information is guided on the panoramic photograph according to a user input.

Description

파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법{A METHOD FOR PROVIDING INDOOR VIRTUAL EXPERIENCE BASED ON PANORAMA PICTURES AND A 3D FLOOR PLAN, A PORTABLE TERMINAL AND A METHOD FOR PROVIDING FLOOR PLANS USING THE PORTABLE TERMINAL}TECHNICAL FIELD The present invention relates to a method for providing indoor virtual experience based on a panorama and a three-dimensional building plan, a portable terminal using the panoramic image, and a portable terminal using the panoramic image and a method of operating the same. BACKGROUND OF THE INVENTION 1. Field of the Invention THE PORTABLE TERMINAL}

본 발명은 실내 가상체험 제공 방법 및, 이를 이용한 휴대용 단말기와 그 동작 방법에 관한 것이다.The present invention relates to a method for providing an indoor virtual experience and a portable terminal using the same and an operation method thereof.

일반적으로 건축물의 도면 설계 작업시에는 퍼스널컴퓨터나 노트북 컴퓨터 등에 CAD 프로그램을 설치하고, 마우스나 타블렛 같은 장치를 이용하여 도면을 작성하고, 결과물을 산출한다.Generally, when designing a drawing of a building, a CAD program is installed in a personal computer or a notebook computer, a drawing is made using a device such as a mouse or a tablet, and the result is calculated.

그러나, 사회가 산업 사회에서 정보화 사회로 발전하면서, 도면이 아닌 3차원 모델링 결과물 자체를 사용자 체험 형식으로 보다 쉽게 사용자에게 제공하여 견본주택 등의 기능을 대체할 수 있는 가상현실 기술들이 대두되고 있다.However, as the society develops from an industrial society to an information society, virtual reality technologies that are able to substitute functions of sample houses and the like by providing the user with the result of 3D modeling itself rather than the drawings themselves are becoming more popular.

예를 들어, 건축물 실내(주택, 아파트, 사무실, 병원, 교회 등등)의 가상 투어(virtual tour) 또는 가구배치 가상체험(또는 실내 가상체험)의 목적으로 VR(Virtual Reality) 또는 AR(Augmented Reality)가 생성되고, 사용자에게 이에 기반한 환경 및 상황 등을 모의로 제공하고 상호작용하도록 하는 다양한 방식들이 제안되고 있다.For example, a Virtual Reality (VR) or Augmented Reality (AR) for the purpose of virtual tour or furniture placement virtual experience (or indoor virtual experience) of a building interior (house, apartment, office, hospital, church, And various methods for simulating and interacting with the user based on the environment and situation based thereon have been proposed.

특히, 상기 가상현실을 이용한 실내 건축물 관련 정보를 제공하는 기술들은 크게는 두 가지로 구분될 수 있다.In particular, technologies for providing information related to indoor architecture using the virtual reality can be roughly divided into two types.

먼저, 파노라마 이미지를 이용하여, 360도 둘러볼 수 있는 이미지를 제공하는 것이 하나의 방식이다. 이는 실사를 반영하여 현장감은 높을 수 있으나, 파노마라 이미지는 2차원, 즉 평면으로서 깊이감이 존재하지 않기 때문에 현장감이 떨어지게 된다. 특히, 가구배치 등을 3차원으로 시뮬레이션 하고자 하는 경우에는 더욱더 현실감이 떨어지게 되는 문제점이 있다.First, using panoramic images, one way is to provide an image that can be viewed 360 degrees. This may be due to the fact that the real feeling is high, but the panorama image is two-dimensional, that is, there is no depth feeling as a plane, so the feeling of presence is reduced. Particularly, in the case of simulating a furniture arrangement or the like in three dimensions, there is a problem that the reality is further deteriorated.

한편, 미리 수작업이나 3D 스캐너로 건물이나 실내 구조의 3차원 데이터를 생성하고, 이에 기반한 가상 현실을 제공하는 방식이 예시될 수 있다. 그러나, 이 방식의 경우에는 스캔 정보 또는 도면 등으로부터의 추정에 의한 3차원 건축 모델링 과정을 필요로 하여, 제작의 어려움이 있을 뿐만 아니라, 데이터 처리의 한계 및 수작업의 한계로 인해 실질적으로 현실을 단순화하여 표현하기 때문에 그 현실감 또는 생동감이 떨어지게 되는 문제점이 있다.On the other hand, a method of generating three-dimensional data of a building or an indoor structure with a manual work or a 3D scanner and providing a virtual reality based on the generated three-dimensional data can be exemplified. However, this method requires a three-dimensional architectural modeling process based on estimation from scan information or drawings, so that it is not only difficult to produce, but also substantially simplifies reality due to limitation of data processing and limitation of manual operation There is a problem that the reality or the feeling of liveliness is deteriorated.

따라서, 현재의 기술만으로는 현실적으로 건축물의 실내 정보를 시뮬레이션하는데에는 현실과는 다소 동떨어지는 경험만을 제공하는데 그 한계가 있는 실정이다.Therefore, it is a reality that the current technology only realizes the experience of simulating the indoor information of the building.

본 발명은 상기와 같은 과제를 해결하기 위한 것으로, 실제 촬영된 파노라마 사진과 이로부터 추출되는 3차원 건물평면도 정보를 정합하고, 이에 기반한 실내 가상체험 인터페이스를 통해 사용자가 직관적이고 현실적으로 파노라마 사진의 입체감을 경험할 수 있도록 하는 3차원 동기화된 가이드 인터페이스를 제공함으로써, 사용자가 휴대용 단말기만으로도 실내에서의 3차원 가구 배치 등의 가상체험을 현실감있게 제공받을 수 있는 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법, 이를 이용한 휴대용 단말기 및 그 동작 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an indoor virtual experience interface that matches actual panoramic photographs and 3D building floor plan information extracted from the panoramic photographs to provide users with intuitive and realistic stereoscopic views of panoramic photographs The present invention relates to a method for providing an indoor virtual experience based on a panoramic image and a three-dimensional building plan that enables a user to realistically receive a virtual experience such as three-dimensional furniture placement in a room even with a portable terminal alone by providing a three- And a portable terminal using the same and an operation method thereof.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 휴대용 단말기를 이용한 실내 가상체험 제공 방법에 있어서, 실내에서 촬영된 하나 이상의 사진을 획득하는 단계; 상기 하나 이상의 사진으로부터 산출되는 3차원 건물평면도 정보를 획득하는 단계; 상기 하나 이상의 사진이 상기 3차원 건물평면도 정보에 정합되도록 구성되는 파노라마 사진을 획득하는 단계; 및 사용자 입력에 따라, 상기 파노라마 사진상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for providing an indoor virtual experience using a portable terminal, the method comprising: acquiring one or more pictures photographed in a room; Obtaining three-dimensional building floor plan information calculated from the at least one photograph; Obtaining a panoramic picture in which the at least one picture is configured to match the 3D building floor plan information; And providing an indoor virtual experience interface in which the 3D building floor plan information is guided on the panoramic picture according to a user input.

또한, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 디스플레이부; 실내에서 촬영된 하나 이상의 사진을 획득하는 카메라; 상기 하나 이상의 사진으로부터 산출되는 3차원 건물평면도 정보를 획득하는 3차원 정보 처리부; 상기 하나 이상의 사진이 상기 3차원 건물평면도 정보에 정합되도록 구성되는 파노라마 사진을 획득하는 파노라마 처리부; 및 상기 디스플레이부에 대한 사용자 입력에 따라, 상기 파노라마 사진상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공하는 제어부를 포함한다.According to another aspect of the present invention, there is provided an apparatus comprising: a display; A camera for acquiring one or more pictures taken indoors; A three-dimensional information processing unit for obtaining three-dimensional building floor plan information calculated from the at least one photograph; A panoramic processing unit for obtaining a panoramic photograph in which the at least one photograph is configured to match the three-dimensional building floor plan information; And a controller for providing an indoor virtual experience interface in which the 3D building floor plan information is guided on the panoramic picture according to a user input to the display unit.

그리고, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 서버의 실내 가상체험(indoor virtual experience) 제공 방법에 있어서, 휴대용 단말기가 위치한 실내에서 촬영된 하나 이상의 사진을 상기 휴대용 단말기로부터 수신하는 단계; 상기 하나 이상의 사진으로부터 복수의 평면 정보를 포함하는 3차원 건물평면도 정보를 산출하는 단계; 상기 하나 이상의 사진이 상기 3차원 건물평면도 정보의 평면에 정합되도록 구성되는 파노라마 사진을 획득하는 단계; 및 상기 파노라마 사진 및 상기 3차원 건물평면도 정보를 상기 휴대용 단말기로 전송하여, 상기 휴대용 단말기를 통해 상기 파노라마 사진상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for providing an indoor virtual experience of a server, the method comprising: receiving one or more pictures photographed in a room where the portable terminal is located; ; Calculating three-dimensional building floor plan information including a plurality of plane information from the one or more photographs; Obtaining a panoramic picture in which the at least one picture is configured to be matched to a plane of the three-dimensional building floor plan information; And transmitting the panoramic photograph and the 3D building floor plan information to the portable terminal and providing the indoor virtual experience interface through which the 3D building floor plan information is guided on the panoramic picture through the portable terminal.

한편, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램 및 상기 프로그램이 기록된 기록 매체로 구현될 수 있다.According to another aspect of the present invention, there is provided a method for executing the method in a computer and a recording medium on which the program is recorded.

본 발명의 실시 예에 따르면, 실제 촬영된 파노라마 사진과 이로부터 추출되는 3차원 건물평면도 정보를 정합하고, 이에 기반하여 상기 파노라마 사진과 3차원 동기화된 가이드 인터페이스를 제공할 수 있다. 이에 따라, 사용자가 직관적이고 현실적으로 파노라마 사진의 입체감을 경험할 수 있도록 하는 제공함으로써, 실내 가상체험 인터페이스를 제공할 수 있다.According to the embodiment of the present invention, the actual photographed panoramic picture and the three-dimensional building floor plan information extracted therefrom are matched with each other, and the guide interface synchronized with the panoramic picture can be provided. Accordingly, the user can intuitively and realistically experience the stereoscopic effect of the panoramic picture, thereby providing the indoor virtual experience interface.

또한, 본 발명의 실시 예에 따르면, 3차원 가상 객체를 상기 파노라마 이미지상에 배치함에 있어서, 상기 가이드 인터페이스상의 배치 영역에 따라 적절히 변형 가변되도록 제어함으로써, 사용자는 상기 가이드 인터페이스에 기반한 실내에서의 3차원 가구 배치 등의 가상체험을 현실감있게 제공받을 수 있다.According to an embodiment of the present invention, when the 3D virtual object is placed on the panoramic image, the user can control the 3D virtual object so that the 3D virtual object is appropriately deformed according to the placement area on the guide interface, Dimensional furniture arrangement, and so on.

따라서, 본 발명의 실시 예에 따르면, 파노라마 사진에 기반한 현실감있는 실내 가상체험을 제공할 뿐만 아니라, 가이드 인터페이스를 이용한 파노라마 사진의 입체감을 부여하고, 이에 기반한 자연스러운 3차원적인 객체 배치를 제공함으로써, 사용자가 실제 사진상에 객체를 배치하는 것과 같은 경험을 제공할 수 있게 되는 효과가 있다.Therefore, according to the embodiment of the present invention, not only realistic indoor virtual experience based on panoramic photographs is provided but also stereoscopic effect of a panoramic photograph using a guide interface is provided and natural three-dimensional object placement based on the three- Can provide the same experience as placing objects on actual photographs.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 휴대용 단말기를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 서버를 보다 구체적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 휴대용 단말기와 서버간 동작을 설명하기 위한 래더 다이어그램이다.
도 5는 본 발명의 실시 예에 따른 파노라마 사진 및 가이드 인터페이스를 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 휴대용 단말기의 동작을 설명하기 위한 흐름도이다.
도 7 내지 도 10은 본 발명의 실시 예에 따른 파노라마 사진 및 가이드 인터페이스와, 이에 대한 3차원 가상 객체의 배치를 설명하기 위한 도면들이다.1 is a conceptual diagram schematically showing an overall system according to an embodiment of the present invention.
2 is a block diagram illustrating a portable terminal according to an embodiment of the present invention.
3 is a block diagram showing a server according to an embodiment of the present invention in more detail.
4 is a ladder diagram illustrating operations between the portable terminal and the server according to the embodiment of the present invention.
5 is a view for explaining a panoramic photograph and a guide interface according to an embodiment of the present invention.
6 is a flowchart illustrating an operation of a portable terminal according to an embodiment of the present invention.
FIGS. 7 to 10 are views for explaining a panoramic photograph and a guide interface according to an embodiment of the present invention, and arranging a three-dimensional virtual object thereon.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.The following merely illustrates the principles of the invention. Thus, those skilled in the art will be able to devise various apparatuses which, although not explicitly described or shown herein, embody the principles of the invention and are included in the concept and scope of the invention. Furthermore, all of the conditional terms and embodiments listed herein are, in principle, intended only for the purpose of enabling understanding of the concepts of the present invention, and are not intended to be limiting in any way to the specifically listed embodiments and conditions .

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.It is also to be understood that the detailed description, as well as the principles, aspects and embodiments of the invention, as well as specific embodiments thereof, are intended to cover structural and functional equivalents thereof. It is also to be understood that such equivalents include all elements contemplated to perform the same function irrespective of the currently known equivalents as well as the equivalents to be developed in the future, i.e., the structure.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.Thus, for example, it should be understood that the block diagrams herein represent conceptual views of exemplary circuits embodying the principles of the invention. Similarly, all flowcharts, state transition diagrams, pseudo code, and the like are representative of various processes that may be substantially represented on a computer-readable medium and executed by a computer or processor, whether or not the computer or processor is explicitly shown .

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.The functions of the various elements shown in the figures, including the functional blocks depicted in the processor or similar concept, may be provided by use of dedicated hardware as well as hardware capable of executing software in connection with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.Also, the explicit use of terms such as processor, control, or similar concepts should not be interpreted exclusively as hardware capable of running software, and may be used without limitation as a digital signal processor (DSP) (ROM), random access memory (RAM), and non-volatile memory. Other hardware may also be included.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.In the claims hereof, the elements represented as means for performing the functions described in the detailed description include all types of software including, for example, a combination of circuit elements performing the function or firmware / microcode etc. , And is coupled with appropriate circuitry to execute the software to perform the function. It is to be understood that the invention defined by the appended claims is not to be construed as encompassing any means capable of providing such functionality, as the functions provided by the various listed means are combined and combined with the manner in which the claims require .

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, in which: There will be. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 휴대용 단말기 및 서버 장치를 포함한 전체 시스템을 개략적으로 나타낸 도면이다.1 is a schematic view of an entire system including a portable terminal and a server according to an embodiment of the present invention.

본 발명의 일 실시 예에 따른 파노라마와 3차원 건물평면도 기반 실내 가상체험 제공을 위한 전체 시스템은 휴대용 단말기(100) 및 서버 장치(200)를 포함한다.The overall system for providing indoor virtual experience based on panoramic and 3D building plan according to an embodiment of the present invention includes the portable terminal 100 and the server device 200. [

휴대용 단말기(100) 및 서버 장치(200)는 네트워크를 통해 연결될 수 있으며, 상호간 통신을 수행할 수 있다.The portable terminal 100 and the server device 200 can be connected through a network and can communicate with each other.

여기서 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.The network may be a local area network (LAN), a wide area network (WAN), a value added network (VAN), a personal area network (PAN), a mobile radiocommunication network, or satellite communication network, or the like.

그리고, 본 명세서에서 설명되는 휴대용 단말기(100)는 사용자 입력에 따라 동작되는 휴대폰, 스마트 폰(smart phone), 컴퓨터, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등 다양한 전자 기기를이 예시될 수 있다.The portable terminal 100 described in the present specification may be a cellular phone, a smart phone, a computer, a laptop computer, a digital broadcasting terminal, a PDA (personal digital assistant), a PMP Portable Multimedia Player), navigation, and the like.

그리고, 휴대용 단말기(100)에는 본 발명의 실시 예에 따른 실내 가상체험 제공 방법을 실행시키기 위한 프로그램 또는 어플리케이션이 설치되어 동작할 수 있다.The portable terminal 100 may be installed with a program or an application for executing the indoor virtual experience providing method according to the embodiment of the present invention.

이에 따라, 본 발명의 실시 예에 따른 휴대용 단말기(100)는 실내 가상체험을 제공할 수 있으며, 본 발명의 실시 예에 따른 실내 가상체험은 파노라마 사진 및 상기 파노라마 사진에 대응되는 3차원 건물평면도 정보가 정합된 가이드 인터페이스를 통해 제공될 수 있다.Accordingly, the portable terminal 100 according to the embodiment of the present invention can provide an indoor virtual experience, and the indoor virtual experience according to the embodiment of the present invention includes a panoramic photograph and a three-dimensional building floor plan information corresponding to the panoramic photograph Can be provided through the matched guide interface.

이를 위해, 휴대용 단말기(100)는 실내에서 촬영된 하나 이상의 사진을 획득하고, 상기 하나 이상의 사진으로부터 산출되는 3차원 건물평면도 정보를 획득하며, 상기 하나 이상의 사진이 상기 3차원 건물평면도 정보에 정합되도록 구성되는 파노라마 사진을 획득하고, 사용자 입력에 따라, 상기 파노라마 사진상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공함에 따라, 파노라마와 3차원 건물평면도 기반 실내 가상체험을 제공할 수 있다.To this end, the portable terminal 100 acquires one or more pictures photographed in the room, obtains three-dimensional building floor plan information calculated from the one or more pictures, and adjusts the one or more pictures to match the three-dimensional building floor plan information And provides an indoor virtual experience interface in which the three-dimensional building floor plan information is guided on the panoramic picture according to a user input, thereby providing an indoor virtual experience based on a panorama and a three-dimensional building floor plan .

본 명세서에서, 실내 가상체험은 휴대용 단말기(100)의 디스플레이 등에 표시되는 가상 공간상에 현실과 유사한 3차원 공간을 가시화하고, 이에 대응되는 3차원 객체를 자유롭게 배치할 수 있는 기능을 포함할 수 있다. 이에 따라, 실내 가상체험은 바람직하게는 방에 배치할 가구 등을 시뮬레이션하는 플로어 플랜(FLOOR PLAN)에 이용될 수 있으며, 실내 가상체험을 제공하는 어플리케이션에는 플로어 플랜 어플리케이션이 포함될 수 있다.In the present specification, the indoor virtual experience may include a function of visualizing a reality-like three-dimensional space on a virtual space displayed on a display or the like of the portable terminal 100 and freely arranging the corresponding three-dimensional object . Accordingly, the indoor virtual experience can be preferably used in a floor plan (FLOOR PLAN) for simulating furniture to be placed in a room, and an application providing an indoor virtual experience can include a floor plan application.

한편, 서버 장치(200)는 휴대용 단말기(100)에서 설치 가능한 상기 소정의 어플리케이션과 상기 실내 가상체험을 제공하기 위해 필요한 정보를 저장할 수 있으며, 휴대용 단말기(100)의 사용자에 대한 사용자 등록 및 3차원 객체 정보 관리를 제공할 수 있다. 휴대용 단말기(100)는 서버 장치(200)로부터 어플리케이션을 다운로드하여 설치할 수 있다.Meanwhile, the server device 200 may store information necessary for providing the predetermined application and the indoor virtual experience, which can be installed in the portable terminal 100, and may store user registration and three-dimensional Object information management can be provided. The portable terminal 100 can download and install an application from the server device 200. [

또한, 휴대용 단말기(100)는 서버 장치(200)와 연동하여 상기 실내 가상체험을 위한 동작들을 처리할 수 있다. 예를 들어, 서버 장치(200)는 3차원 건물평면도 정보를 산출하는 연산과 상기 3차원 건물평면도 정보에 정합 가능한 파노라마 사진 이미지를 생성하는 연산 처리를 위한 프로세스 또는 클라우드 서비스 프로그램을 구비할 수 있다.In addition, the portable terminal 100 can process operations for the indoor virtual experience in cooperation with the server device 200. [ For example, the server apparatus 200 may include a process or a cloud service program for an operation for calculating three-dimensional building floor plan information and an arithmetic processing for creating a panoramic picture image that can match the three-dimensional building floor plan information.

이에 따라, 휴대용 단말기(100)는 먼저, 상기 실내에서 촬영된 하나 이상의 사진들을 서버 장치(200)로 전송할 수 있다.Accordingly, the portable terminal 100 can first transmit one or more pictures taken in the room to the server 200. [

그리고, 서버 장치(200)는 휴대용 단말기(100)가 위치한 실내에서 촬영된 하나 이상의 사진이 상기 휴대용 단말기(100)로부터 수신할 수 있으며, 상기 하나 이상의 사진으로부터 복수의 평면 정보를 포함하는 3차원 건물평면도 정보를 산출할 수 있고, 상기 하나 이상의 사진이 상기 3차원 건물평면도 정보의 평면에 정합되도록 구성되는 파노라마 사진을 획득하며, 상기 파노라마 사진 및 상기 3차원 건물평면도 정보를 상기 휴대용 단말기로 전송하여, 상기 휴대용 단말기를 통해 상기 파노라마 사진상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공할 수 있다.The server device 200 can receive one or more photographs photographed in the room where the portable terminal 100 is located, from the portable terminal 100, and acquire, from the one or more photographs, a three-dimensional building Acquiring a panoramic photograph which is capable of calculating plan view information and the at least one photograph is matched with a plane of the three-dimensional building plan view information, transmitting the panorama photograph and the three-dimensional building plan view information to the portable terminal, And an indoor virtual experience interface through which the 3D building floor plan information is guided on the panoramic picture through the portable terminal.

이와 같은 시스템 구성에 따라, 실내에서 실제 촬영된 파노라마 사진과 이로부터 추출되는 3차원 건물평면도 정보를 정합하고, 이에 기반하여 상기 파노라마 사진과 3차원 동기화된 가이드 인터페이스를 제공할 수 있다. 이에 따라, 사용자가 직관적이고 현실적으로 파노라마 사진의 입체감을 경험할 수 있도록 하는 제공함으로써, 실내 가상체험 인터페이스를 제공할 수 있다.According to such a system configuration, the panoramic photograph actually photographed in the room and the three-dimensional building plan information extracted therefrom are matched with each other, and the guide interface synchronized with the panoramic photograph can be provided. Accordingly, the user can intuitively and realistically experience the stereoscopic effect of the panoramic picture, thereby providing the indoor virtual experience interface.

또한, 본 발명의 실시 예에 따르면, 3차원 가상 객체를 상기 파노라마 이미지상에 배치함에 있어서, 상기 가이드 인터페이스상의 배치 영역에 따라 적절히 변형 가변되도록 제어함으로써, 사용자는 상기 가이드 인터페이스에 기반한 실내에서의 3차원 가구 배치 등의 가상체험을 현실감있게 제공받을 수 있다.According to an embodiment of the present invention, when the 3D virtual object is placed on the panoramic image, the user can control the 3D virtual object so that the 3D virtual object is appropriately deformed according to the placement area on the guide interface, Dimensional furniture arrangement, and so on.

따라서, 본 발명의 실시 예에 따르면, 파노라마 사진에 기반한 현실감있는 실내 가상체험을 제공할 뿐만 아니라, 가이드 인터페이스를 이용한 파노라마 사진의 입체감을 부여하고, 이에 기반한 자연스러운 3차원적인 객체 배치를 제공함으로써, 사용자가 실제 공간상에 객체를 배치하는 것과 같은 경험을 제공할 수 있게 된다.Therefore, according to the embodiment of the present invention, not only realistic indoor virtual experience based on panoramic photographs is provided but also stereoscopic effect of a panoramic photograph using a guide interface is provided and natural three-dimensional object placement based on the three- Lt; RTI ID = 0.0 > real-space < / RTI >

이를 구현하기 위한 각 장치의 세부 구성들에 대하여 하기에서 보다 상세하게 설명하도록 한다.The details of each device for realizing this will be described in more detail below.

도 2는 본 발명의 실시 예에 따른 휴대용 단말기를 보다 구체적으로 도시한 블록도이다.2 is a block diagram illustrating a portable terminal according to an embodiment of the present invention.

도 2를 참조하면, 휴대용 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 3차원 정보 처리부(181), 파노라마 처리부(182) 및 전원 공급부(190) 등을 포함할 수 있다. 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단말기가 구현될 수도 있다.2, the portable terminal 100 includes a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, An interface unit 170, a control unit 180, a three-dimensional information processing unit 181, a panorama processing unit 182, a power supply unit 190, and the like. The components shown in Fig. 2 are not essential, so that a terminal having more or fewer components may be implemented.

무선 통신부(110)는 휴대용 단말기(100)와 무선 통신 시스템 사이 또는 휴대용 단말기(100)와 휴대용 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.The wireless communication unit 110 may include one or more modules for enabling wireless communication between the portable terminal 100 and the wireless communication system or between the portable terminal 100 and the network in which the portable terminal 100 is located. For example, the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short range communication module 114, and a location information module 115 .

이동통신 모듈(112)은, 이동 통신망 상에서 서버 장치(200), 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.The mobile communication module 112 transmits and receives a radio signal to at least one of the server device 200, the base station, the external terminal, and the server on the mobile communication network.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 휴대용 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The wireless Internet module 113 is a module for wireless Internet access, and may be built in or enclosed in the portable terminal 100. WLAN (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) and the like can be used as wireless Internet technologies.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.The short-range communication module 114 refers to a module for short-range communication. Bluetooth, Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), ZigBee, and the like can be used as a short range communication technology.

위치정보 모듈(115)은 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.The position information module 115 is a module for obtaining the position of the terminal, and a representative example thereof is a Global Position System (GPS) module.

또한, 예를 들어 무선 통신부(110)는 서버 장치(200)로 실내에서 촬영된 하나 이상의 사진 정보를 전송하고, 상기 서버 장치(200)로부터 이에 대응되어 전송되는 3차원 건물평면도 정보 및 이에 정합가능한 파노라마 사진 정보를 수신할 수 있다.In addition, for example, the wireless communication unit 110 may transmit one or more pieces of photograph information photographed in the room to the server device 200, transmit the three-dimensional building floor plan information corresponding thereto transmitted from the server device 200, The panoramic photograph information can be received.

그리고, 도 2를 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 특히, 상기 카메라(121)는 사용자가 직접 복수의 실내 사진을 촬영하는데 이용될 수 있다.2, an A / V (Audio / Video) input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122. In particular, the camera 121 can be used by a user to directly photograph a plurality of indoor photographs.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.The user input unit 130 generates input data for a user to control the operation of the terminal. The user input unit 130 may include a key pad dome switch, a touch pad (static / static), a jog wheel, a jog switch, and the like.

센싱부(140)는 휴대용 단말기(100)의 개폐 상태, 휴대용 단말기(100)의 위치, 사용자 접촉 유무, 단말기의 방위, 단말기의 가속/감속 등과 같이 휴대용 단말기(100)의 현 상태를 감지하여 휴대용 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. The sensing unit 140 senses the current state of the portable terminal 100 such as the open / closed state of the portable terminal 100, the position of the portable terminal 100, the presence or absence of user contact, the orientation of the terminal, And generates a sensing signal for controlling the operation of the terminal 100.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다.The output unit 150 is for generating output related to the visual, auditory or tactile sense and includes a display unit 151, an audio output module 152, an alarm unit 153, and a haptic module 154 .

디스플레이부(151)는 휴대용 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 단말기가 실내 가상체험 모드인 경우, 실내 가상체험 및 플로어 플랜과 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고, 인터페이스 화면에는 본 발명의 실시 예에 따른 파노라마 사진 및 이에 대응되는 가이드 인터페이스가 표시될 수 있다.The display unit 151 displays (outputs) information processed in the portable terminal 100. For example, when the terminal is in the indoor virtual experience mode, a UI (User Interface) or a GUI (Graphic User Interface) associated with the indoor virtual experience and the floor plan is displayed. The interface screen may display a panoramic picture according to an embodiment of the present invention and a corresponding guide interface.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The display unit 151 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display display, and a 3D display.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 알람부(153)는 휴대용 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다.The audio output module 152 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception mode, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, The alarm unit 153 outputs a signal for notifying the occurrence of an event of the portable terminal 100.

메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 사진 정보, 파노라마 사진, 3차원 건물평면도 정보 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory 160 may store a program for the operation of the controller 180 and temporarily store input / output data (e.g., photograph information, panorama photograph, 3D building plan view information, and the like). The memory 160 may store data on vibration and sound of various patterns outputted when a touch is input on the touch screen.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), a RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM A disk, and / or an optical disk.

인터페이스부(170)는 휴대용 단말기(100)에 물리적으로 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 휴대용 단말기(100) 내부의 각 구성 요소에 전달하거나, 휴대용 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.The interface unit 170 serves as a path to all the external devices physically connected to the portable terminal 100. The interface unit 170 receives data from an external device or supplies power to each component in the portable terminal 100 or allows data in the portable terminal 100 to be transmitted to an external device. For example, a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, a port for connecting a device having an identification module, an audio I / O port, A video input / output (I / O) port, an earphone port, and the like may be included in the interface unit 170.

제어부(controller, 180)는 통상적으로 단말기의 전반적인 동작을 제어한다. 예를 들어 실내 가상체험 제공, 인터페이스 제공, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다.The controller 180 typically controls the overall operation of the terminal. For example, providing indoor virtual experiences, providing interfaces, voice calls, data communications, video calls, and the like.

제어부(180)는 본 발명의 실시 예에 따른 3차원 정보 처리부(181) 및 파노라마 처리부(182)를 구비할 수도 있다. 3차원 정보 처리부(181) 및 파노라마 처리부(182)는 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.The control unit 180 may include a three-dimensional information processing unit 181 and a panorama processing unit 182 according to an embodiment of the present invention. The three-dimensional information processing unit 181 and the panorama processing unit 182 may be implemented in the control unit 180 or separately from the control unit 180.

이에 따라, 제어부(180)는 3차원 정보 처리부(181)와 파노라마 처리부(182)를 제어하여 본 발명의 실시 예에 따른 실내 가상체험을 제공할 수 있다.Accordingly, the controller 180 can control the three-dimensional information processing unit 181 and the panorama processing unit 182 to provide the indoor virtual experience according to the embodiment of the present invention.

먼저, 실내 가상체험 제공에 앞서, 휴대용 단말기(100)는 실내 가상체험을 위한 3차원 건물평면도 정보를 그 실내에서 촬영된 하나 이상의 사진 정보로부터 획득할 수 있다.First, prior to providing the indoor virtual experience, the portable terminal 100 may acquire the three-dimensional building floor plan information for indoor virtual experience from at least one photograph information photographed in the indoor.

이를 위해, 제어부(180)는 사용자가 휴대용 단말기(100)를 통해 실제 실내 공간을 촬영한 사진으로부터 3차원 건물평면도가 생성될 수 있도록, 촬영 당시의 휴대용 단말기(100)의 3차원 좌표 정보를 획득하여 저장할 수 있다.For this, the controller 180 acquires the three-dimensional coordinate information of the portable terminal 100 at the time of photographing so that a three-dimensional building floor plan can be created from a photograph of the user's actual indoor space through the portable terminal 100 .

또한, 제어부(180)는 사용자가 적절히 3차원 건물평면도 정보가 생성되기 위해, 디스플레이부(151)를 통해 공간의 각 꼭지점(천정과 벽면의 꼭지점, 바닥과 벽면의 꼭지점) 등을 촬영하기 위한 각각의 마커를 제공할 수 있다. 이에 따라, 사용자는 3차원 건물평면도를 위한 적절한 복수의 사진들을 각 좌표별로 촬영하여 상기 복수의 사진들을 획득할 수 있다.In addition, the controller 180 controls the display unit 151 to photograph each vertex of the space (the vertex of the ceiling and the wall, the vertex of the floor, and the wall surface) through the display unit 151 in order to appropriately generate the three- Can be provided. Accordingly, the user can acquire the plurality of photographs by photographing an appropriate plurality of photographs for each three-dimensional building plan for each coordinate.

다만 본 발명의 실시 예에서, 촬영 방식을 한정하는 것은 아니며, 제어부(180)는 카메라(121) 뿐만 아니라 외부 장치에서 연속적으로 촬영된 복수의 실내 사진을 수신하여 획득하거나, 미리 별도 메모리(160)에 저장된 실내 사진 정보를 획득할 수도 있다.However, the present invention is not limited to the photographing mode, and the control unit 180 can receive and acquire a plurality of indoor photographs successively photographed from an external device as well as the camera 121, The user can obtain the indoor photograph information stored in the indoor photograph information.

한편, 3차원 정보 처리부(181)는 상기 하나 이상의 사진으로부터 산출되는 3차원 건물평면도 정보를 획득한다.On the other hand, the three-dimensional information processing unit 181 acquires the three-dimensional building floor plan information calculated from the one or more photographs.

3차원 정보 처리부(181)는 상기 복수의 실내 사진 정보를 서버 장치(200)로 전송하고, 상기 서버 장치(200)로부터의 연산에 따라 산출된 3차원 건물평면도 정보를 무선 통신부(110)를 통해 수신할 수 있다.The three-dimensional information processing unit 181 transmits the plurality of indoor photograph information to the server apparatus 200 and transmits the three-dimensional building floor plan information calculated according to the calculation from the server apparatus 200 to the wireless communication unit 110 .

여기서, 복수의 사진 정보로부터 3차원 건물평면도 정보를 획득하는 것은 다양한 방식이 이용될 수 있으며, 바람직하게는 서로 다른 각도에서 동일한 위치를 촬영한 수 장의 사진을 기반으로 특정 점의 3차원 좌표값을 수학적으로 추출하는 포토그라메트리(Photogrametry) 기법을 이용한 3차원 좌표 측정방식이 예시될 수 있다.Here, various methods can be used to obtain the three-dimensional building floor plan information from a plurality of pieces of photograph information. Preferably, three-dimensional coordinate values of a specific point are calculated based on a plurality of photographs taken at the same position from different angles A method of measuring a three-dimensional coordinate using a photogrammetry technique for mathematically extracting an object may be exemplified.

예를 들어, 상기 복수의 사진 정보가 측정하고자 하는 대상을 포함하는 경우, 대상의 3차원 좌표 값(x, y, z)이 획득될 수 있다. 그리고, 본 발명의 실시 예에서, 실내 가상체험을 위한 대상은 실내를 구성하는 하나 이상의 주요 평면 정보를 포함할 수 있다. 주요 평면들은 실내를 구성하는 벽면에 대응될 수 있으며, 실내 가상체험을 위한 베이스 좌표를 구성할 수 있다.For example, when the plurality of pieces of photograph information include an object to be measured, three-dimensional coordinate values (x, y, z) of the object can be obtained. And, in the embodiment of the present invention, the object for the indoor virtual experience may include one or more main plane information constituting the indoor. The main planes can correspond to the wall surfaces constituting the interior, and the base coordinates for the indoor virtual experience can be configured.

이에 따라, 상기 3차원 건물평면도 정보는, 하나 이상의 주요 평면 정보와, 이에 대응되는 베이스 좌표 정보를 포함할 수 있다.Accordingly, the three-dimensional building floor plan information may include at least one main floor information and corresponding base coordinate information.

그리고, 파노라마 처리부(182)는 상기 하나 이상의 사진이 상기 3차원 건물평면도 정보에 정합되도록 구성되는 파노라마 사진을 획득한다.Then, the panoramic processing unit 182 acquires a panoramic photograph in which the at least one photograph is configured to be matched with the three-dimensional building floor plan information.

파노라마 처리부(182)는 상기 서버 장치(200)로부터, 상기 복수의 사진으로부터 추출된 상기 3차원 건물평면도 정보에 정합되도록 구성되는 파노라마 사진 이미지를 수신하여 상기 파노라마 사진을 획득할 수 있다.The panoramic processing unit 182 can receive the panoramic photographs from the server apparatus 200 by receiving the panoramic photograph images configured to match the three-dimensional building floor plan information extracted from the plurality of photographs.

이에 따라, 상기 제어부(180)는 상기 실내 가상체험 인터페이스를 생성할 수 있다. 예를 들어, 수신된 파노라마 사진은 실내 가상체험을 위한 배경 이미지를 구성할 수 있으며, 제어부(180)는 사용자 입력부(130)를 통한 사용자 입력에 따라 상기 파노라마 이미지상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공할 수 있다.Accordingly, the controller 180 may generate the indoor virtual experience interface. For example, the received panoramic image may constitute a background image for indoor virtual experience, and the controller 180 controls the three-dimensional building floor plan information on the panoramic image according to user input through the user input unit 130 It is possible to provide a guided indoor virtual experience interface.

보다 구체적으로, 상기 제어부(180)는 상기 실내 가상체험 인터페이스를 디스플레이부(151)를 통해 제공할 수 있으며, 디스플레이부(151)에 대응되는 터치 또는 제스처 입력에 따라 상기 가상체험 인터페이스에 대한 조작 기능을 제공할 수 있다.More specifically, the control unit 180 may provide the indoor virtual experience interface through the display unit 151, and may provide an operation function for the virtual experience interface according to a touch or a gesture input corresponding to the display unit 151 Can be provided.

또한, 제어부(180)는 사용자 입력에 따라 상기 파노라마 사진 이미지를 전방향(Omnidirectional) 회전 가능하게 디스플레이할 수 있다.In addition, the controller 180 may display the panoramic image in an omnidirectional manner according to a user input.

그리고, 제어부(180)는 상기 파노라마 사진 이미지가 회전되는 동안, 상기 파노라마 사진 이미지의 방향 및 회전각도에 동기화되어, 상기 3차원 건물평면도 정보에 따른 가이드 이미지가 동적으로 디스플레이되도록 제어할 수 있다. 예를 들어, 제어부(180)는 상기 파노라마 사진 이미지에 대한 터치 입력이 유지되는 동안 상기 가이드 이미지를 동기화하여 디스플레이할 수 있다.The control unit 180 may synchronize with the direction and the rotation angle of the panoramic image while the panoramic image is rotated so that the guide image corresponding to the three-dimensional building floor plan information is dynamically displayed. For example, the controller 180 may synchronize and display the guide image while the touch input to the panoramic image is maintained.

본 발명의 실시 예에서, 상기 가이드 이미지는 3차원 건물평면도 정보에 따라 입체감을 제공하는 3차원 격자 또는 그리드(GRID) 구조의 이미지를 포함할 수 있다. 예를 들어, 상기 가이드 이미지는 상기 파노라마 사진 이미지의 주요 평면상에 오버레이되는 격자 또는 그리드(GRID) 구조 이미지를 포함할 수 있다.In an embodiment of the present invention, the guide image may include an image of a three-dimensional grid or grid (GRID) structure that provides a three-dimensional feeling according to three-dimensional building floor plan information. For example, the guide image may include a grid or grid (GRID) structure image overlaid on the main plane of the panoramic image.

이에 따라, 사용자는 파노라마 사진을 회전시킴과 동시에, 상기 파노라마 사진 이미지에 부가된 입체감을 경험할 수 있게 되며, 사진상의 공간을 현실적이면서도, 입체감있게 인지할 수 있게 된다.Accordingly, the user can experience the stereoscopic feeling added to the panoramic photograph image while rotating the panoramic photograph, and realistic and stereoscopic recognition of the space on the photograph becomes possible.

또한, 본 발명의 실시 예에서 상기 실내 가상체험 인터페이스는 상기 파노라마 이미지를 포함하는 제1 레이어 및 상기 가이드 이미지를 포함하는 제2 레이어를 포함할 수 있으며, 사용자 입력에 따라 제1 레이어상에 상기 제2 레이어가 오버레이되는 방식으로 구동될 수 있다. 예를 들어, 제1 레이어 및 제2 레이어의 투명도, 색상, 채도 등은 각각 별도로 사용자 설정에 따라 가변될 수 있다.In addition, in the embodiment of the present invention, the indoor virtual experience interface may include a first layer including the panorama image and a second layer including the guide image, Two layers may be overlaid. For example, transparency, color, saturation, etc. of the first layer and the second layer may be varied depending on the user's setting.

한편, 제어부(180)는 상기 실내 가상체험 인터페이스를 제공함에 있어서 미리 준비된 3차원 가상 객체 정보를 획득하고, 상기 사용자 입력에 따라, 상기 3차원 가상 객체를 상기 파노라마 이미지상에 배치하도록 디스플레이부(151)를 제어하며, 상기 배치에 따른 파노라마 이미지상의 좌표 정보 및 상기 3차원 건물평면도 정보에 기초하여, 상기 3차원 가상 객체의 배치 영역을 결정하고, 상기 배치 영역에 따라 상기 3차원 가상 객체의 형상을 가변시킬 수 있다. 여기서, 상기 3차원 가상 객체는 3차원 텍스트, 3차원 도형, 미리 설정된 사물 모델 중 적어도 하나일 수 있다.Meanwhile, the control unit 180 acquires the 3D virtual object information prepared in advance in providing the indoor virtual experience interface, and displays the 3D virtual object on the panoramic image according to the user input. Dimensional virtual building information based on the coordinate information on the panoramic image according to the arrangement and the three-dimensional building floor plan information, and determines the shape of the three-dimensional virtual object according to the arrangement area Can be varied. Here, the 3D virtual object may be at least one of a three-dimensional text, a three-dimensional graphic, and a predetermined object model.

이에 따라, 사용자는 가구 등의 3차원 가상 객체를 상기 파노라마 이미지상에 현실적이고 자유롭게 배치할 수 있다. 상기 3차원 가상 객체는 상기 가이드 이미지의 3차원 건물평면도 정보에 따른 베이스 좌표에 따라 각 영역별로 그 크기, 각도 등이 가변됨으로써, 제어부(180)는 상기 파노라마 이미지와 부합된 현실적 배치를 가능하게 한다.Accordingly, the user can freely and realistically place a three-dimensional virtual object such as furniture on the panoramic image. The size, angle, and the like of each of the three-dimensional virtual objects are varied according to the base coordinates according to the three-dimensional building floor plan information of the guide image, so that the controller 180 can realistically align the panoramic image .

또한, 제어부(180)는 사용자 입력부(130)를 통해 상기 3차원 가상 객체의 크기 조정 정보를 입력받기 위한 조정 인터페이스를 제공할 수 있으며, 제어부(180)는 상기 크기 조정 정보 및 상기 배치 영역에 따라 상기 3차원 가상 객체의 형상을 가변시킬 수 있다. 예를 들어, 제어부(180)는 상기 3차원 가상 객체의 크기 조정 정보를 상기 파노라마 이미지상에 디스플레이하고, 사용자에게 상기 조정 정보에 기반한 객체 형상이 실제와 보다 정확히 캘리브레이션 되도록 제공할 수 있다.The control unit 180 may provide an adjustment interface for receiving the size adjustment information of the 3D virtual object through the user input unit 130. The control unit 180 may control the size of the 3D virtual object based on the size adjustment information and the arrangement area The shape of the 3D virtual object can be varied. For example, the controller 180 may display the size adjustment information of the 3D virtual object on the panoramic image, and provide the user with a more accurate calibration of the object shape based on the adjustment information.

한편, 제어부(180)는 상기 실내의 식별 정보, 상기 3차원 건물평면도 정보, 상기 파노라마 사진 및 상기 3차원 가상 객체의 배치 정보가 연동된 실내 가상체험 정보를 생성할 수 있으며, 생성된 실내 가상체험 정보는 무선 통신부(110)를 통해 서버 장치(200)로 전송될 수 있다.Meanwhile, the controller 180 may generate the indoor virtual experience information in which the identification information of the indoor space, the 3D building floor plan information, the panoramic picture, and the placement information of the 3D virtual object are interlocked, Information may be transmitted to the server apparatus 200 through the wireless communication unit 110. [

이에 따라, 상기 실내 가상체험 정보는 상기 휴대용 단말기(100)의 사용자 계정 정보에 매칭되어 클라우드 서버 또는 서버 장치(200) 자체에 저장 및 관리될 수 있다.Accordingly, the indoor virtual experience information may be stored and managed in the cloud server or the server 200 by matching with the user account information of the portable terminal 100.

한편, 전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.Meanwhile, the power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power required for operation of the respective components.

도 3은 본 발명의 실시 예에 따른 서버 장치를 보다 구체적으로 도시한 블록도이다.3 is a block diagram showing a server apparatus according to an embodiment of the present invention in more detail.

도 3을 참조하면, 본 발명의 실시 예에 따른 서버 장치(200)는 통신부(220), 3차원 건물평면도 생성부(230), 파노라마 생성부(240), 사용자 관리부(260) 및 객체 정보 관리부(270)를 포함한다.3, a server apparatus 200 according to an exemplary embodiment of the present invention includes a communication unit 220, a three-dimensional building floor plan generation unit 230, a panorama generation unit 240, a user management unit 260, (Not shown).

통신부(220)는 휴대용 단말기(100)와 네트워크 연결될 수 있으며, 통신을 수행할 수 있다. 서버 장치(200)의 통신부는 어플리케이션 설치 데이터, 파노라마 사진 이미지, 3차원 건물평면도 정보, 정합 정보, 3차원 객체 정보 중 적어도 하나를 휴대용 단말기(100)로 송신하거나 촬영된 복수의 실내 사진 이미지, 3차원 객체 정보 요청 등을 휴대용 단말기(100)로부터 수신할 수 있다.The communication unit 220 can be connected to the portable terminal 100 via a network and can perform communication. The communication unit of the server device 200 transmits at least one of the application installation data, the panoramic photograph image, the three-dimensional building plan view information, the registration information, and the three-dimensional object information to the portable terminal 100, Dimensional object information request or the like from the portable terminal 100.

3차원 건물평면도 생성부(230)는 휴대용 단말기(100)로부터 수신된 복수의 사진 이미지로부터 3차원 건물평면도 정보를 구축한다.The three-dimensional building floor plan generating unit 230 constructs three-dimensional building floor plan information from a plurality of photographic images received from the portable terminal 100.

전술한 바와 같이, 복수의 사진 정보로부터 3차원 건물평면도 정보를 획득하는 것은 다양한 방식이 이용될 수 있으며, 바람직하게는 서로 다른 각도에서 동일한 위치를 촬영한 수 장의 사진을 기반으로 특정 점의 3차원 좌표값을 수학적으로 추출하는 포토그라메트리(Photogrametry) 기법을 이용한 3차원 좌표 측정방식이 예시될 수 있다. 또한, 별도의 사용자가 3차원 건물평면도 생성 소프트웨어를 이용하여 상기 복수의 사진으로부터 추정되는 3차원 건물평면도 정보를 구축하는 것도 가능하다.As described above, various methods can be used to obtain three-dimensional building floor plan information from a plurality of pieces of photograph information. Preferably, three-dimensional building plan information based on a plurality of photographs taken at the same position from different angles A three-dimensional coordinate measurement method using a photogrammetry technique for mathematically extracting coordinate values can be exemplified. It is also possible for a separate user to construct three-dimensional building floor plan information estimated from the plurality of photographs by using the three-dimensional building floor plan generation software.

또한, 전술한 바와 같이, 상기 복수의 사진 정보가 측정하고자 하는 대상을 포함하는 경우, 대상의 3차원 좌표 값(x, y, z)이 획득될 수 있다. 그리고, 본 발명의 실시 예에서, 실내 가상체험을 위한 대상은 실내를 구성하는 하나 이상의 주요 평면 정보를 포함할 수 있다. 주요 평면들은 실내를 구성하는 벽면에 대응될 수 있으며, 실내 가상체험을 위한 베이스 좌표를 구성할 수 있다. 이에 따라, 상기 3차원 건물평면도 정보는, 하나 이상의 주요 평면 정보와, 이에 대응되는 베이스 좌표 정보를 포함할 수 있다.In addition, as described above, when the plurality of pieces of photograph information include an object to be measured, three-dimensional coordinate values (x, y, z) of the object can be obtained. And, in the embodiment of the present invention, the object for the indoor virtual experience may include one or more main plane information constituting the indoor. The main planes can correspond to the wall surfaces constituting the interior, and the base coordinates for the indoor virtual experience can be configured. Accordingly, the three-dimensional building floor plan information may include at least one main floor information and corresponding base coordinate information.

이와 같이 획득된 3차원 건물평면도 정보는 통신부(220)를 통해 휴대용 단말기(100)로 전송될 수 있다.The thus obtained three-dimensional building floor plan information can be transmitted to the portable terminal 100 through the communication unit 220. [

한편, 파노라마 생성부(240)는 상기 3차원 건물평면도 생성부(230)로부터 처리된 복수의 사진 정보로부터 상기 3차원 건물평면도 정보에 정합 가능한 파노라마 사진 이미지를 생성한다.On the other hand, the panorama generation unit 240 generates a panorama photograph image that can be matched with the three-dimensional building floor plan information from the plurality of pieces of photograph information processed from the three-dimensional building floor plan generation unit 230.

여기서, 본 발명의 실시 예에서의 정합 프로세스는 일반적인 사진들의 정합이라기 보다는, 상기 3차원 건물평면도 좌표평면상에 상기 파노라마 이미지를 통합시키기 위한 프로세스를 의미할 수 있다. 즉, 파노라마 생성부(240)는 3차원 건물평면도 정보와 상기 파노라마 사진 이미지가 통합되어 자연스럽게 겹쳐질 수 있도록 하기 위한 본 발명의 실시 예에 따른 정합 처리를 수행할 수 있다.Here, the matching process in the embodiment of the present invention may refer to a process for integrating the panoramic image on the three-dimensional building floor plan coordinate plane, rather than a matching of general photographs. That is, the panorama generation unit 240 may perform the matching process according to the embodiment of the present invention so that the three-dimensional building floor plan information and the panorama image are integrated and naturally overlapped.

따라서, 상기 정합방식은 다양한 방식이 예시될 수 있다. 먼저, 상기 복수의 사진이 3D 스캐너 장치에서 촬영된 사진이거나, 파노라마 이미지를 구성하는 원시 사진인 경우에는 3차원 건물평면도 정보는 사진으로부터 추출되므로 별도의 정합처리 없이도 이미 정합된 파노라마 이미지가 용이하게 생성될 수 있다.Therefore, various methods can be exemplified as the matching method. First, if the plurality of photographs are photographed by the 3D scanner device or are raw photographs constituting the panoramic image, the 3D building plan information is extracted from the photograph, so that the already registered panoramic image can be easily generated .

또한, 3D 스캐너와 사진 촬영용 카메라 렌즈를 병치한 장치를 이용하여 3D 스캔과 사진 촬영이 동시에 이루어진 경우에는, 파노라마 생성부(240)는 3D 스캐너와 카메라 렌즈간 상대위치 데이터를 휴대용 단말기(100)로부터 별도 수신하여 이에 기초한 3차원 건물평면도 정보에 대한 정합을 처리할 수 있다.When 3D scanning and photographing are simultaneously performed using a device in which a 3D scanner and a photographing camera lens are juxtaposed, the panorama generating unit 240 generates relative position data between the 3D scanner and the camera lens from the portable terminal 100 It is possible to separately receive and process the matching of the three-dimensional building floor plan information based thereon.

한편, 3차원 건물평면도 정보가 상기 복수의 사진 정보와는 별도로 미리 건축 소프트웨어 등에 의해 생성되어 있는 경우에는, 파노라마 생성부(240)는 복수의 사진으로부터 획득되는 파노라마 이미지상의 특징점과 매치되는 상기 3차원 건물평면도상의 특징점을 자동 또는 수동으로 지정함으로써 정합시킬 수 있다.If the three-dimensional building plan information is generated in advance by the building software or the like separately from the plurality of photograph information, the panorama generation unit 240 generates the panorama image, The feature points on the building plan can be matched automatically or manually.

그리고, 파노라마 생성부(240)는 이와 같이 정합된 파노라마 사진을 통신부(220)를 통해 휴대용 단말기(100)로 전송할 수 있다.The panorama generation unit 240 may transmit the panorama image thus obtained to the portable terminal 100 through the communication unit 220. [

한편, 사용자 관리부(260)는 휴대용 단말기(100)의 사용자 계정 정보에 대응하여 상기 실내 정보, 상기 3차원 건물평면도 정보, 상기 파노라마 정보 및 상기 3차원 가상 객체의 배치 정보를 저장 및 관리할 수 있다. 다만, 상기 저장 및 관리는 클라우드 서버를 통해 공유 저장 및 관리될 수 있다.Meanwhile, the user management unit 260 may store and manage the indoor information, the 3D building plan information, the panorama information, and the placement information of the 3D virtual object corresponding to the user account information of the portable terminal 100 . However, the storage and management can be shared and managed through a cloud server.

그리고, 객체 정보 관리부(270)는 본 발명의 실시 예에서 휴대용 단말기(100)에서 필요로 하는 가구 등과 같은 3차원 객체 정보를 수집하여 저장하는 데이터베이스를 포함할 수 있다. 또한, 객체 정보 관리부(270)는 휴대용 단말기(100)의 요청에 따라 3차원 객체 정보의 색인 기능을 휴대용 단말기(100)로 제공할 수 있다.The object information management unit 270 may include a database for collecting and storing three-dimensional object information such as furniture required by the portable terminal 100 in the embodiment of the present invention. The object information management unit 270 may provide the index function of the three-dimensional object information to the portable terminal 100 at the request of the portable terminal 100.

도 4는 본 발명의 실시 예에 따른 휴대용 단말기와 서버간 동작을 설명하기 위한 래더 다이어그램이다.4 is a ladder diagram illustrating operations between the portable terminal and the server according to the embodiment of the present invention.

도 4를 참조하면, 먼저 휴대용 단말기(100)는 무선 통신부(110)를 통해 수신된 어플리케이션을 설치하고(S101), 제어부(180)를 통해 서버 장치(200)에 사용자 등록을 수행한다(S103).4, the portable terminal 100 first installs an application received through the wireless communication unit 110 (S101) and performs user registration with the server 200 through the controller 180 (S103) .

그리고, 휴대용 단말기(100)는 카메라(121), 무선 통신부(110) 또는 인터페이스부(170) 중 적어도 하나를 통해 내부 또는 외부로부터 사진별 촬영 좌표 정보를 포함하는 하나 이상의 사진 이미지를 획득한다(S105).The portable terminal 100 acquires one or more photographic images including photographing coordinate information from the inside or the outside through at least one of the camera 121, the wireless communication unit 110, and the interface unit 170 (S105 ).

그리고, 휴대용 단말기(100)는 서버 장치(200)로 상기 하나 이상의 사진 이미지를 포함하는 사진 정보를 전송한다(S109).Then, the portable terminal 100 transmits the photo information including the at least one photo image to the server device 200 (S109).

그리고, 서버 장치(200)는 3차원 건물평면도 생성부(230)를 통해 촬영 좌표에 따른 특징점으로부터 주요 평면 정보를 추출하고(S111), 주요 평면 정보에 대응되는 3차원 건물평면도 정보를 산출한다(S113).Then, the server device 200 extracts the main plane information from the minutiae corresponding to the photographing coordinates through the three-dimensional building plan diagram generation unit 230 (S111), and calculates the three-dimensional building plan information corresponding to the main plane information ( S113).

그리고, 서버 장치(200)는 파노라마 생성부(240)를 통해 상기 3차원 건물평면도 정보에 상기 하나 이상의 사진 이미지를 정합하여, 파노라마 사진 이미지를 생성한다(S115).Then, the server device 200 generates the panoramic photograph image by matching the at least one photograph image with the three-dimensional building floor plan information through the panorama generating unit 240 (S115).

그리고, 서버 장치(200)는 통신부(220)를 통해 상기 3차원 건물평면도 정보 및 상기 파노라마 사진 이미지와 정합 정보를 포함하는 파노라마 사진 정보를 휴대용 단말기(100)로 전송한다(S117).Then, the server 200 transmits the panoramic photograph information including the panoramic photograph image and the matching information to the portable terminal 100 through the communication unit 220 (S117).

이후, 휴대용 단말기(100)는 제어부(180)를 통해 상기 파노라마 사진 기반 실내 가상체험 인터페이스를 제공한다(S119).Thereafter, the portable terminal 100 provides the panoramic photo-based indoor virtual experience interface through the controller 180 (S119).

그리고, 휴대용 단말기(100)는 제어부(180)를 통해 사용자 회전 입력이 수신되는지 판단하고(S121), 사용자 회전 입력에 따라 상기 파노라마 사진 이미지를 회전시킨다(S123).Then, the portable terminal 100 determines whether a user rotation input is received through the controller 180 (S121), and rotates the panorama image according to the user rotation input (S123).

이에 따라, 휴대용 단말기(100)는 제어부(180)를 통해 파노라마 사진 이미지의 방향 및 회전각도에 동기화되어, 3차원 건물평면도 정보에 가이드 이미지가 동적 디스플레이되도록 제어한다(S125).Accordingly, the portable terminal 100 controls the controller 180 to dynamically display the guide image in the three-dimensional building floor plan information in synchronization with the direction and the rotation angle of the panoramic picture image (S125).

상기 과정에 따른 인터페이스 제어동작을 도 5를 통해 설명한다.The interface control operation according to the above process will be described with reference to FIG.

도 5는 본 발명의 실시 예에 따른 파노라마 사진 및 가이드 인터페이스를 설명하기 위한 도면이다.5 is a view for explaining a panoramic photograph and a guide interface according to an embodiment of the present invention.

도 5(A)를 참조하면, 본 발명의 실시 예에 따른 휴대용 단말기(100)의 실내 인터페이스에는 파노라마 사진 이미지(101)가 제1 레이어상에 표시될 수 있다. 여기서, 사용자는 상기 파노라마 사진 이미지(101)를 좌우 또는 상하로 전방향 회전 이동시키기 위한 터치 또는 제스처 입력을 수행할 수 있다.Referring to FIG. 5A, a panoramic photograph image 101 may be displayed on the first layer in the indoor interface of the portable terminal 100 according to the embodiment of the present invention. Here, the user can perform a touch or gesture input for moving the panoramic image 101 in the leftward, rightward or upward and downward direction.

이에 따라, 도 5(B)를 참조하면, 휴대용 단말기(100)는 사용자의 입력에 따른 이미지 회전이 처리되는 동안, 격자 또는 그리드(GRID) 구조에 의해 3차원 건물평면도 정보를 나타내는 가이드 이미지(102)를 상기 제1 레이어 위의 제2 레이어상에 디스플레이할 수 있다. 이에 따라, 사용자는 파노라마 사진을 회전 하거나 움직이는 경우, 보다 입체적이고 현실감있는 공간감각을 느낄수 있게 된다.5B, the portable terminal 100 displays a guide image 102 (FIG. 5B) representing the three-dimensional building floor plan information by the grid or grid (GRID) structure while the image rotation according to the input of the user is processed. ) On the second layer above the first layer. Accordingly, when the user rotates or moves the panoramic picture, the user can feel a more stereoscopic and realistic sense of space.

도 6은 본 발명의 실시 예에 따른 휴대용 단말기의 동작을 설명하기 위한 흐름도이다.6 is a flowchart illustrating an operation of a portable terminal according to an embodiment of the present invention.

도 6을 참조하면, 휴대용 단말기(100)는 제어부(180)를 통해, 사용자 입력에 따라, 3차원 가상 객체를 파노라마 이미지상에 배치한다(S201).Referring to FIG. 6, the portable terminal 100 places a 3D virtual object on a panoramic image according to a user input through the controller 180 (S201).

그리고, 휴대용 단말기(100)는 제어부(180)를 통해, 상기 배치에 따른 파노라마 이미지상의 좌표 정보 및 상기 3차원 건물평면도 정보에 기초하여, 상기 3차원 가상 객체의 배치 영역을 결정한다(203).Then, the portable terminal 100 determines the placement area of the 3D virtual object based on the coordinate information on the panoramic image according to the arrangement and the 3D building floor plan information through the controller 180 (203).

이후, 휴대용 단말기(100)는 디스플레이부(151)를 통해 가상 객체의 크기 조정 정보를 디스플레이하며(S205), 휴대용 단말기(100)는 사용자 입력부(130)를 통해 입력된 크기 조정 정보와 배치 영역에 따라 3차원 가상 객체의 형상을 가변한다(S207).Then, the portable terminal 100 displays the size adjustment information of the virtual object through the display unit 151 (S205), and the portable terminal 100 displays the size adjustment information input through the user input unit 130 and the size adjustment information The shape of the three-dimensional virtual object is varied (S207).

그리고, 배치 및 조정이 완료되면, 휴대용 단말기(100)는 제어부(180)를 통해 실내 식별 정보, 3차원 건물평면도 정보, 파노라마 사진 및 상기 3차원 가상 객체의 배치 정보가 연동된 실내 가상체험 정보를 생성하며(S209), 통신부(220)를 통해 실내 가상체험 정보를 클라우드 서버 장치(200)로 전송하여 저장 및 관리한다(S211).When the arrangement and adjustment are completed, the portable terminal 100 displays the indoor virtual experience information in which the room identification information, the three-dimensional building floor plan information, the panoramic picture, and the arrangement information of the three-dimensional virtual object are interlocked through the controller 180 (S209). The indoor virtual experience information is transmitted to the cloud server 200 through the communication unit 220, and stored and managed (S211).

상기 과정에 따른 인터페이스 제어동작을 도 7 내지 도 10을 통해 설명한다.The interface control operation according to the above process will be described with reference to FIG. 7 through FIG.

도 7 내지 도 10은 본 발명의 실시 예에 따른 파노라마 사진 및 가이드 인터페이스와, 이에 대한 3차원 가상 객체의 배치를 설명하기 위한 도면들이다.FIGS. 7 to 10 are views for explaining a panoramic photograph and guide interface according to an embodiment of the present invention, and arrangements of a three-dimensional virtual object.

도 7(A)를 참조하면, 3차원 가상 객체인 직육면체 도형(103A)이 파노라마 사진 이미지(101)상에 배치될 수 있다. 특히, 본 발명의 실시 예에 따르면 직육면체 도형(103A)은 3차원 건물평면도 정보에 기반한 그 배치 영역에 따라 그 형상이 가변될 수 있다. 도 7(A)에서, 직육면체 도형(103A)는 가이드 이미지를 베이스 좌표로 하는 측벽면상에 배치되도록 형성될 수 있다.Referring to FIG. 7A, a rectangular parallelepiped figure 103A, which is a three-dimensional virtual object, may be placed on the panoramic photograph image 101. FIG. Particularly, according to the embodiment of the present invention, the shape of the rectangular parallelepiped graphic 103A can be varied according to the layout area based on the three-dimensional building floor plan information. In Fig. 7A, the rectangular parallelepiped graphic 103A can be formed to be disposed on a sidewall surface having a base image as a guide image.

그리고, 사용자는 도 7(B)와 같이 상기 직육면체 도형(103A)을 하단으로 이동시킬 수 있다. 이에 따라, 상기 직육면체 도형(103A)은 측벽면상에서의 배치 영역과는 상이한 지면 영역에 배치됨에 따라, 그 형태 및 모양이 가변될 수 있다.Then, the user can move the rectangular parallelepiped graphic 103A to the bottom as shown in Fig. 7 (B). Accordingly, since the rectangular parallelepiped graphic 103A is disposed in a ground area different from the arrangement area on the side wall surface, its shape and shape can be varied.

도 8에서는 본 발명의 실시 예에 따른 3차원 가상 객체(103C)의 형상을 보다 구체적을 조정하기 위한 조정 인터페이스(104)를 도시하고 있다. 조정 인터페이스(104)에 대한 제어를 통해 사용자는 3차원 가상 객체(103C)의 실제 크기를 정확히 조정해볼 수 있으며, 파노라마 사진 이미지상에 어떻게 배치될지를 정확히 예상할 수 있게 된다. 또한, 도 8과 같이 상기 3차원 가상 객체(103C) 주변에는 상기 조정 인터페이스(104)에 따른 조정값이 디스플레이될 수 있다.8 shows an adjustment interface 104 for more specifically adjusting the shape of the three-dimensional virtual object 103C according to the embodiment of the present invention. The control over the adjustment interface 104 allows the user to precisely adjust the actual size of the three-dimensional virtual object 103C and accurately predict how it will be placed on the panoramic picture image. Also, as shown in FIG. 8, adjustment values according to the adjustment interface 104 may be displayed around the 3D virtual object 103C.

또한, 상기 3차원 가상 객체(103C)에는 하나 이상의 텍스쳐(103D)가 선택적으로 입혀질 수 있다. 도 9에 도시된 바와 같이, 상기 도 8에서의 3차원 가상 객체(103C)에 TV 화면 텍스쳐가 입혀진 TV 가상 객체(105)가 가이드 이미지(102)상에 배치될 수 있다.Also, one or more textures 103D may be selectively applied to the 3D virtual object 103C. As shown in FIG. 9, a TV virtual object 105 to which a TV screen texture is put on the 3D virtual object 103C in FIG. 8 may be placed on the guide image 102. FIG.

한편, 도 10에서는 본 발명의 실시 예에 따라 3차원 가상 객체가 텍스트 객체(103E)인 경우를 도시하고 있다. 텍스트의 경우, 사용자 입력에 따라 조정 인터페이스(104)에 입력되는 텍스트 기물이 파노라마 사진 이미지와 가이드 이미지상에 배치될 수 있으며, 3차원 건물평면도 정보와 그 배치 영역에 따라 형태 및 모양이 가변될 수 있게 된다.In FIG. 10, a 3D virtual object is a text object 103E according to an embodiment of the present invention. In the case of text, a text object input to the adjustment interface 104 according to a user input may be arranged on the panoramic image and the guide image, and the shape and the shape may be changed according to the three- .

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.The method according to the present invention may be implemented as a program for execution on a computer and stored in a computer-readable recording medium. Examples of the computer-readable recording medium include a ROM, a RAM, a CD- , A floppy disk, an optical data storage device, and the like.

컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer-readable recording medium can be stored and executed by a computer-readable code. And, functional programs, codes and code segments for implementing the above method can be easily inferred by programmers of the technical field to which the present invention belongs.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

100: 휴대용 단말기
200: 서버100: Portable terminal
200: Server

Claims (18)

휴대용 단말기를 이용한 실내 가상체험(virtual experience) 제공 방법에 있어서,
3차원 건물평면도 정보를 획득하는 단계;
상기 3차원 건물평면도 정보와 정합 가능한 파노라마 사진 이미지를 획득하는 단계; 및
사용자 입력에 따라, 상기 파노라마 사진 이미지상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공하는 단계를 포함하고,
상기 파노라마 사진 이미지를 획득하는 단계는,
실내에서 촬영된 복수의 사진 이미지 및 상기 복수의 사진 이미지별 촬영 좌표 정보를 획득하여, 서버로 전송하는 단계; 및
상기 서버가 상기 촬영 좌표 정보에 따라 산출되는 상기 3차원 건물평면도 정보를 이용하여, 상기 복수의 사진 이미지중 하나 이상의 사진 이미지를 주요 평면에 대응시켜 정합 처리하여 생성한 파노라마 사진 이미지를, 상기 서버로부터 수신하는 단계를 포함하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.A method for providing an indoor virtual experience using a portable terminal,
Acquiring three-dimensional building floor plan information;
Acquiring a panoramic photograph image that is compatible with the three-dimensional building floor plan information; And
Providing an indoor virtual experience interface in which the 3D building floor plan information is guided by the user input on the panoramic photograph image,
Wherein acquiring the panoramic image comprises:
Acquiring a plurality of photographic images photographed indoors and photographed coordinate information for each of the plurality of photographed images, and transmitting the photographed coordinate information to a server; And
Wherein the server obtains a panoramic photograph image generated by matching processing of one or more photograph images of the plurality of photograph images corresponding to the main plane by using the three-dimensional building floor plan information calculated according to the photographing coordinate information, Comprising receiving
A method of providing indoor virtual experience based on panorama and 3D building plan. 제1항에 있어서,
상기 실내 가상체험 인터페이스를 제공하는 단계는,
상기 파노라마 사진 이미지를 전방향(Omnidirectional) 회전 가능하게 디스플레이하는 단계;
상기 파노라마 사진 이미지가 회전되는 동안, 상기 파노라마 사진 이미지의 방향 및 회전각도에 동기화되어, 상기 3차원 건물평면도 정보에 따른 가이드 이미지가 동적으로 디스플레이되는 단계를 포함하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.The method according to claim 1,
Wherein providing the indoor virtual experience interface comprises:
Displaying the panoramic photographic image rotatably in an omnidirectional manner;
And dynamically displaying a guide image in accordance with the three-dimensional building floor plan information synchronized with the direction and rotation angle of the panoramic photograph image while the panoramic photograph image is rotated
A method of providing indoor virtual experience based on panorama and 3D building plan. 제2항에 있어서,
상기 실내 가상체험 인터페이스를 제공하는 단계는,
상기 파노라마 사진 이미지에 대한 터치 입력이 유지되는 동안 상기 가이드 이미지를 동기화하여 디스플레이하는 단계를 포함하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.3. The method of claim 2,
Wherein providing the indoor virtual experience interface comprises:
And synchronizing and displaying the guide image while the touch input to the panoramic photo image is maintained
A method of providing indoor virtual experience based on panorama and 3D building plan. 제2항에 있어서,
상기 가이드 이미지는 상기 파노라마 사진 이미지의 주요 평면상에 오버레이되는 격자 또는 그리드(GRID) 구조 이미지를 포함하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.3. The method of claim 2,
Wherein the guide image comprises a grid or grid (GRID) structure image overlaid on a major plane of the panoramic image
A method of providing indoor virtual experience based on panorama and 3D building plan. 제1항에 있어서,
상기 실내 가상체험 인터페이스를 제공하는 단계는,
미리 설정된 3차원 가상 객체 정보를 획득하는 단계;
상기 사용자 입력에 따라, 상기 3차원 가상 객체를 상기 파노라마 사진 이미지상에 배치하는 단계;
상기 배치에 따른 파노라마 사진 이미지상의 좌표 정보 및 상기 3차원 건물평면도 정보에 기초하여, 상기 3차원 가상 객체의 배치 영역을 결정하는 단계; 및
상기 배치 영역에 따라 상기 3차원 가상 객체의 형상을 가변시키는 단계를 포함하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.The method according to claim 1,
Wherein providing the indoor virtual experience interface comprises:
Acquiring preset three-dimensional virtual object information;
Placing the 3D virtual object on the panoramic picture image according to the user input;
Determining an arrangement area of the three-dimensional virtual object based on the coordinate information on the panoramic photograph image according to the arrangement and the three-dimensional building floor plan information; And
And varying the shape of the three-dimensional virtual object according to the placement area
A method of providing indoor virtual experience based on panorama and 3D building plan. 제5항에 있어서,
상기 3차원 가상 객체의 크기 조정 정보를 입력받는 단계; 및
상기 크기 조정 정보 및 상기 배치 영역에 따라 상기 3차원 가상 객체의 형상을 가변시키는 단계를 더 포함하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.6. The method of claim 5,
Receiving size adjustment information of the 3D virtual object; And
Further comprising changing the shape of the 3D virtual object according to the scaling information and the placement area
A method of providing indoor virtual experience based on panorama and 3D building plan. 제6항에 있어서,
상기 3차원 가상 객체의 크기 조정 정보를 상기 파노라마 사진 이미지상에 디스플레이하는 단계를 더 포함하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.The method according to claim 6,
And displaying the resizing information of the three-dimensional virtual object on the panoramic photograph image
A method of providing indoor virtual experience based on panorama and 3D building plan. 제5항에 있어서,
상기 3차원 가상 객체는 3차원 텍스트, 3차원 도형, 미리 설정된 사물 모델 중 적어도 하나인
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.6. The method of claim 5,
The three-dimensional virtual object is at least one of a three-dimensional text, a three-dimensional graphic, and a predetermined object model
A method of providing indoor virtual experience based on panorama and 3D building plan. 제5항에 있어서,
상기 실내의 식별 정보, 상기 3차원 건물평면도 정보, 상기 파노라마 사진 이미지 및 상기 3차원 가상 객체의 배치 정보가 연동된 실내 가상체험 정보를 생성하는 단계를 더 포함하고,
상기 실내 가상체험 정보는 상기 휴대용 단말기의 사용자 계정 정보에 매칭되어 클라우드 서버에 저장 및 관리되는 것을 특징으로 하는
파노라마와 3차원 건물평면도 기반 실내 가상체험 제공 방법.6. The method of claim 5,
Further comprising the step of generating indoor virtual experience information in which the identification information of the room, the three-dimensional building floor plan information, the panoramic photograph image, and the placement information of the three-dimensional virtual object are interlocked,
And the indoor virtual experience information is stored and managed in the cloud server by matching with the user account information of the portable terminal
A method of providing indoor virtual experience based on panorama and 3D building plan. 제1항 내지 제9항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 기록매체에 저장되어 컴퓨터가 읽을 수 있는 컴퓨터 프로그램.A computer program readable by a computer for executing the method of any one of claims 1 to 9 on a recording medium for executing the method. 휴대용 단말기에 있어서,
디스플레이부;
3차원 건물평면도 정보를 획득하는 3차원 정보 처리부;
상기 3차원 건물평면도 정보에 정합 가능한 파노라마 사진 이미지를 획득하는 파노라마 처리부; 및
상기 디스플레이부에 대한 사용자 입력에 따라, 상기 파노라마 사진 이미지상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공하는 제어부를 포함하고,
실내에서 촬영된 복수의 사진 이미지 및 상기 복수의 사진 이미지별 촬영 좌표 정보를 획득하여, 서버로 전송하는 통신부;를 더 포함하며,
상기 통신부는
상기 서버가 상기 촬영 좌표 정보에 따라 산출되는 상기 3차원 건물평면도 정보를 이용하여, 상기 복수의 사진 이미지중 하나 이상의 사진 이미지를 주요 평면에 대응시켜 정합 처리하여 생성한 파노라마 사진 이미지를, 상기 서버로부터 수신하는
휴대용 단말기.In a portable terminal,
A display unit;
A three-dimensional information processing unit for obtaining three-dimensional building floor plan information;
A panoramic processing unit for obtaining a panoramic photograph image that can be matched with the three-dimensional building floor plan information; And
And a controller for providing an indoor virtual experience interface in which the 3D building floor plan information is guided on the panoramic photograph image according to user input to the display unit,
And a communication unit for acquiring the plurality of photographic images photographed in the room and the photographed coordinate information for each of the plurality of photographed images and transmitting the acquired photographed coordinate information to a server,
The communication unit
Wherein the server obtains a panoramic photograph image generated by matching processing of one or more photograph images of the plurality of photograph images corresponding to the main plane by using the three-dimensional building floor plan information calculated according to the photographing coordinate information, Receiving
Portable terminal. 제11항에 있어서,
상기 제어부는,
상기 디스플레이부를 통해 상기 파노라마 사진 이미지를 전방향 회전 가능하게 디스플레이하되, 상기 파노라마 사진 이미지가 회전되는 동안, 상기 파노라마 사진 이미지의 방향 및 회전각도에 따라, 상기 3차원 건물평면도 정보에 따른 가이드 이미지를 동적으로 디스플레이하는
휴대용 단말기.12. The method of claim 11,
Wherein,
The method of claim 1, further comprising: displaying the panoramic photograph image in a rotatable manner through the display unit, wherein, during rotation of the panoramic photograph image, a guide image according to the three- Display
Portable terminal. 제12항에 있어서,
상기 제어부는
상기 파노라마 사진 이미지에 대한 터치 입력이 유지되는 동안 상기 가이드 이미지를 디스플레이하도록 상기 디스플레이부를 제어하는
휴대용 단말기.13. The method of claim 12,
The control unit
And controls the display unit to display the guide image while the touch input to the panoramic photo image is maintained
Portable terminal. 제12항에 있어서,
상기 가이드 이미지는 상기 파노라마 사진 이미지의 주요 평면상에 오버레이되는 격자 구조 이미지를 포함하는
휴대용 단말기.13. The method of claim 12,
Wherein the guide image comprises a grid-like image overlaid on a main plane of the panoramic image
Portable terminal. 제11항에 있어서,
상기 제어부는 미리 설정된 3차원 가상 객체 정보를 획득하고,
상기 사용자 입력에 따라, 상기 3차원 가상 객체를 상기 파노라마 사진 이미지상에 배치하며, 상기 배치에 따른 파노라마 사진 이미지상의 좌표 정보 및 상기 3차원 건물평면도 정보에 기초하여, 상기 3차원 가상 객체의 배치 영역을 결정하고, 상기 배치 영역에 따라 상기 3차원 가상 객체의 형상을 가변시키는
휴대용 단말기.12. The method of claim 11,
Wherein the controller acquires the preset three-dimensional virtual object information,
Placing the 3D virtual object on the panoramic picture image according to the user input, and based on the coordinate information on the panoramic picture image according to the arrangement and the 3D building floor plan information, And changing the shape of the three-dimensional virtual object according to the arrangement area
Portable terminal. 제15항에 있어서,
상기 제어부는,
상기 3차원 가상 객체의 크기 조정 정보를 입력받은 경우, 상기 크기 조정 정보 및 상기 배치 영역에 따라 상기 3차원 가상 객체의 형상을 가변시키는
휴대용 단말기.16. The method of claim 15,
Wherein,
Dimensional virtual object, and when the size adjustment information of the three-dimensional virtual object is inputted, the shape of the three-dimensional virtual object is varied according to the size adjustment information and the arrangement area
Portable terminal. 제16항에 있어서,
상기 실내 정보, 상기 3차원 건물평면도 정보, 상기 파노라마 사진 이미지상의 좌표 정보 및 상기 3차원 가상 객체의 배치 정보는, 상기 휴대용 단말기 사용자 계정 정보에 매칭되어 클라우드 서버에 저장 및 관리되는 것을 특징으로 하는
휴대용 단말기.17. The method of claim 16,
Wherein the indoor information, the 3D building plan view information, the coordinate information on the panoramic picture image, and the 3D virtual object placement information are stored and managed in the cloud server by matching with the portable terminal user account information
Portable terminal. 서버 장치의 실내 가상체험 제공 방법에 있어서,
휴대용 단말기가 위치한 실내에서 촬영된 하나 이상의 사진을 상기 휴대용 단말기로부터 수신하는 단계;
상기 하나 이상의 사진으로부터 복수의 평면 정보를 포함하는 3차원 건물평면도 정보를 산출하는 단계;
상기 하나 이상의 사진이 상기 3차원 건물평면도 정보의 평면에 정합되도록 구성되는 파노라마 사진 이미지를 획득하는 단계; 및
상기 파노라마 사진 이미지 및 상기 3차원 건물평면도 정보를 상기 휴대용 단말기로 전송하여, 상기 휴대용 단말기를 통해 상기 파노라마 사진 이미지상에 상기 3차원 건물평면도 정보가 가이드되는 실내 가상체험 인터페이스를 제공하는 단계를 포함하고,
상기 수신하는 단계는,
상기 실내에서 촬영된 복수의 사진 이미지별 촬영 좌표 정보를 수신하는 단계를 더 포함하고,
상기 획득하는 단계는,
상기 촬영 좌표 정보에 따라 산출되는 상기 3차원 건물평면도 정보를 이용하여, 상기 복수의 사진 이미지중 하나 이상의 사진 이미지를 주요 평면에 대응시켜 정합 처리하여 상기 파노라마 사진 이미지를 생성하는 단계를 포함하는
3차원 건물평면도 기반 실내 가상체험 제공 방법.A method for providing an indoor virtual experience of a server device,
Receiving one or more pictures photographed in a room where the portable terminal is located from the portable terminal;
Calculating three-dimensional building floor plan information including a plurality of plane information from the one or more photographs;
Acquiring a panoramic photograph image in which the at least one photograph is configured to be matched to a plane of the three-dimensional building plan view information; And
And providing the indoor virtual experience interface through which the panoramic photograph image and the three-dimensional building floor plan information are transmitted to the portable terminal and the three-dimensional building floor plan information is guided on the panoramic photograph image through the portable terminal ,
Wherein the receiving comprises:
Further comprising receiving photographing coordinate information for each of a plurality of photographic images photographed in the room,
Wherein the acquiring comprises:
And generating the panoramic image by matching the at least one photographic image of the plurality of photographic images with a major plane using the three-dimensional building plan information calculated according to the photographed coordinate information
A method of providing indoor virtual experience based on a three - dimensional building plan.
KR1020160061060A 2016-05-18 2016-05-18 A method for providing indoor virtual experience based on panorama pictures and a 3d floor plan, a portable terminal and a method for providing floor plans using the portable terminal KR101770648B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160061060A KR101770648B1 (en) 2016-05-18 2016-05-18 A method for providing indoor virtual experience based on panorama pictures and a 3d floor plan, a portable terminal and a method for providing floor plans using the portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160061060A KR101770648B1 (en) 2016-05-18 2016-05-18 A method for providing indoor virtual experience based on panorama pictures and a 3d floor plan, a portable terminal and a method for providing floor plans using the portable terminal

Publications (1)

Publication Number Publication Date
KR101770648B1 true KR101770648B1 (en) 2017-08-23

Family

ID=59759233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160061060A KR101770648B1 (en) 2016-05-18 2016-05-18 A method for providing indoor virtual experience based on panorama pictures and a 3d floor plan, a portable terminal and a method for providing floor plans using the portable terminal

Country Status (1)

Country Link
KR (1) KR101770648B1 (en)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101881705B1 (en) * 2017-11-24 2018-07-25 공간정보기술 주식회사 Panoramic labeling system based on indoor view image
KR101902131B1 (en) * 2017-11-24 2018-09-28 공간정보기술 주식회사 System for producing simulation panoramic indoor images
US10530997B2 (en) 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
US10708507B1 (en) 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
US10809066B2 (en) 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US10825247B1 (en) 2019-11-12 2020-11-03 Zillow Group, Inc. Presenting integrated building information using three-dimensional building models
CN111932666A (en) * 2020-07-17 2020-11-13 北京字节跳动网络技术有限公司 Reconstruction method and device of house three-dimensional virtual image and electronic equipment
WO2020242064A1 (en) * 2019-05-31 2020-12-03 삼성전자주식회사 Mobile device and mobile device control method
KR20210020536A (en) * 2019-08-16 2021-02-24 (주) 아키드로우 A portable terminal for generating floor plans based on pointing walls
US11057561B2 (en) 2017-07-13 2021-07-06 Zillow, Inc. Capture, analysis and use of building data from mobile devices
EP3704630A4 (en) * 2017-10-31 2021-08-11 Outward, Inc. Aligned augmented reality views
US11164361B2 (en) 2019-10-28 2021-11-02 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US11164368B2 (en) 2019-10-07 2021-11-02 Zillow, Inc. Providing simulated lighting information for three-dimensional building models
US11243656B2 (en) 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings
KR20220015578A (en) * 2020-07-31 2022-02-08 주식회사 쓰리아이 Method for processing omnidirectional image and server performing the same
US11252329B1 (en) 2021-01-08 2022-02-15 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11405549B2 (en) 2020-06-05 2022-08-02 Zillow, Inc. Automated generation on mobile devices of panorama images for building locations and subsequent use
US11481925B1 (en) 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
US11480433B2 (en) 2018-10-11 2022-10-25 Zillow, Inc. Use of automated mapping information from inter-connected images
US11501492B1 (en) 2021-07-27 2022-11-15 Zillow, Inc. Automated room shape determination using visual data of multiple captured in-room images
US11514674B2 (en) 2020-09-04 2022-11-29 Zillow, Inc. Automated analysis of image contents to determine the acquisition location of the image
US11592969B2 (en) 2020-10-13 2023-02-28 MFTB Holdco, Inc. Automated tools for generating building mapping information
KR20230029130A (en) 2021-08-23 2023-03-03 이동훈 Apparatus and method for creating dynamic, live-type metaverse virtual interior space
US11632602B2 (en) 2021-01-08 2023-04-18 MFIB Holdco, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
US11790648B2 (en) 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11830135B1 (en) 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images
US11836973B2 (en) 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
US11842464B2 (en) 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
KR102616456B1 (en) * 2023-02-07 2023-12-21 (주)위치스 System for providing metaverse camping content based on augmented reality
CN111932666B (en) * 2020-07-17 2024-04-26 北京字节跳动网络技术有限公司 Method and device for reconstructing three-dimensional virtual image of house and electronic equipment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155179A (en) * 1999-11-30 2001-06-08 Sony Corp System for providing dwelling house-related information
KR100735676B1 (en) * 2006-02-24 2007-07-06 조현덕 Operating system for model house with virtual reality and method thereof
JP2014203413A (en) * 2013-04-10 2014-10-27 ミサワホーム株式会社 House computer graphics device, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155179A (en) * 1999-11-30 2001-06-08 Sony Corp System for providing dwelling house-related information
KR100735676B1 (en) * 2006-02-24 2007-07-06 조현덕 Operating system for model house with virtual reality and method thereof
JP2014203413A (en) * 2013-04-10 2014-10-27 ミサワホーム株式会社 House computer graphics device, and program

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11057561B2 (en) 2017-07-13 2021-07-06 Zillow, Inc. Capture, analysis and use of building data from mobile devices
US10530997B2 (en) 2017-07-13 2020-01-07 Zillow Group, Inc. Connecting and using building interior data acquired from mobile devices
US11632516B2 (en) 2017-07-13 2023-04-18 MFIB Holdco, Inc. Capture, analysis and use of building data from mobile devices
US10834317B2 (en) 2017-07-13 2020-11-10 Zillow Group, Inc. Connecting and using building data acquired from mobile devices
US11165959B2 (en) 2017-07-13 2021-11-02 Zillow, Inc. Connecting and using building data acquired from mobile devices
US11557084B2 (en) 2017-10-31 2023-01-17 Outward, Inc. Aligned augmented reality views
EP3704630A4 (en) * 2017-10-31 2021-08-11 Outward, Inc. Aligned augmented reality views
KR101902131B1 (en) * 2017-11-24 2018-09-28 공간정보기술 주식회사 System for producing simulation panoramic indoor images
KR101881705B1 (en) * 2017-11-24 2018-07-25 공간정보기술 주식회사 Panoramic labeling system based on indoor view image
US10643386B2 (en) 2018-04-11 2020-05-05 Zillow Group, Inc. Presenting image transition sequences between viewing locations
US11217019B2 (en) 2018-04-11 2022-01-04 Zillow, Inc. Presenting image transition sequences between viewing locations
US11627387B2 (en) 2018-10-11 2023-04-11 MFTB Holdco, Inc. Automated control of image acquisition via use of mobile device interface
US11638069B2 (en) 2018-10-11 2023-04-25 MFTB Holdco, Inc. Automated control of image acquisition via use of mobile device user interface
US10708507B1 (en) 2018-10-11 2020-07-07 Zillow Group, Inc. Automated control of image acquisition via use of acquisition device sensors
US10809066B2 (en) 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US11480433B2 (en) 2018-10-11 2022-10-25 Zillow, Inc. Use of automated mapping information from inter-connected images
US11408738B2 (en) 2018-10-11 2022-08-09 Zillow, Inc. Automated mapping information generation from inter-connected images
US11405558B2 (en) 2018-10-11 2022-08-02 Zillow, Inc. Automated control of image acquisition via use of hardware sensors and camera content
US11284006B2 (en) 2018-10-11 2022-03-22 Zillow, Inc. Automated control of image acquisition via acquisition location determination
WO2020242064A1 (en) * 2019-05-31 2020-12-03 삼성전자주식회사 Mobile device and mobile device control method
CN113906379A (en) * 2019-05-31 2022-01-07 三星电子株式会社 Mobile device and mobile device control method
KR102388541B1 (en) * 2019-08-16 2022-04-20 (주) 아키드로우 A portable terminal for generating floor plans based on pointing walls
KR20210020536A (en) * 2019-08-16 2021-02-24 (주) 아키드로우 A portable terminal for generating floor plans based on pointing walls
US11243656B2 (en) 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings
US11823325B2 (en) 2019-10-07 2023-11-21 MFTB Holdco, Inc. Providing simulated lighting information for building models
US11164368B2 (en) 2019-10-07 2021-11-02 Zillow, Inc. Providing simulated lighting information for three-dimensional building models
US11164361B2 (en) 2019-10-28 2021-11-02 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US11494973B2 (en) 2019-10-28 2022-11-08 Zillow, Inc. Generating floor maps for buildings from automated analysis of visual data of the buildings' interiors
US10825247B1 (en) 2019-11-12 2020-11-03 Zillow Group, Inc. Presenting integrated building information using three-dimensional building models
US11676344B2 (en) 2019-11-12 2023-06-13 MFTB Holdco, Inc. Presenting building information using building models
US11238652B2 (en) 2019-11-12 2022-02-01 Zillow, Inc. Presenting integrated building information using building models
US11935196B2 (en) 2019-11-12 2024-03-19 MFTB Holdco, Inc. Presenting building information using building models
US11405549B2 (en) 2020-06-05 2022-08-02 Zillow, Inc. Automated generation on mobile devices of panorama images for building locations and subsequent use
CN111932666A (en) * 2020-07-17 2020-11-13 北京字节跳动网络技术有限公司 Reconstruction method and device of house three-dimensional virtual image and electronic equipment
CN111932666B (en) * 2020-07-17 2024-04-26 北京字节跳动网络技术有限公司 Method and device for reconstructing three-dimensional virtual image of house and electronic equipment
KR102483388B1 (en) * 2020-07-31 2022-12-30 주식회사 쓰리아이 Method for processing omnidirectional image and server performing the same
KR20220015578A (en) * 2020-07-31 2022-02-08 주식회사 쓰리아이 Method for processing omnidirectional image and server performing the same
US11514674B2 (en) 2020-09-04 2022-11-29 Zillow, Inc. Automated analysis of image contents to determine the acquisition location of the image
US11592969B2 (en) 2020-10-13 2023-02-28 MFTB Holdco, Inc. Automated tools for generating building mapping information
US11797159B2 (en) 2020-10-13 2023-10-24 MFTB Holdco, Inc. Automated tools for generating building mapping information
US11481925B1 (en) 2020-11-23 2022-10-25 Zillow, Inc. Automated determination of image acquisition locations in building interiors using determined room shapes
US11645781B2 (en) 2020-11-23 2023-05-09 MFTB Holdco, Inc. Automated determination of acquisition locations of acquired building images based on determined surrounding room data
US11252329B1 (en) 2021-01-08 2022-02-15 Zillow, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11632602B2 (en) 2021-01-08 2023-04-18 MFIB Holdco, Inc. Automated determination of image acquisition locations in building interiors using multiple data capture devices
US11790648B2 (en) 2021-02-25 2023-10-17 MFTB Holdco, Inc. Automated usability assessment of buildings using visual data of captured in-room images
US11836973B2 (en) 2021-02-25 2023-12-05 MFTB Holdco, Inc. Automated direction of capturing in-room information for use in usability assessment of buildings
US11501492B1 (en) 2021-07-27 2022-11-15 Zillow, Inc. Automated room shape determination using visual data of multiple captured in-room images
KR20230029130A (en) 2021-08-23 2023-03-03 이동훈 Apparatus and method for creating dynamic, live-type metaverse virtual interior space
US11842464B2 (en) 2021-09-22 2023-12-12 MFTB Holdco, Inc. Automated exchange and use of attribute information between building images of multiple types
US11830135B1 (en) 2022-07-13 2023-11-28 MFTB Holdco, Inc. Automated building identification using floor plans and acquired building images
KR102616456B1 (en) * 2023-02-07 2023-12-21 (주)위치스 System for providing metaverse camping content based on augmented reality

Similar Documents

Publication Publication Date Title
KR101770648B1 (en) A method for providing indoor virtual experience based on panorama pictures and a 3d floor plan, a portable terminal and a method for providing floor plans using the portable terminal
US20190041972A1 (en) Method for providing indoor virtual experience based on a panorama and a 3d building floor plan, a portable terminal using the same, and an operation method thereof
JP7190042B2 (en) Shadow rendering method, apparatus, computer device and computer program
US9424371B2 (en) Click to accept as built modeling
KR102595150B1 (en) Method for controlling multiple virtual characters, device, apparatus, and storage medium
CA2926861C (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
JP6077068B1 (en) Augmented reality system and augmented reality method
CN112870707B (en) Virtual object display method in virtual scene, computer device and storage medium
JP6469706B2 (en) Modeling structures using depth sensors
JP7026819B2 (en) Camera positioning method and equipment, terminals and computer programs
CN103513951A (en) Apparatus and method for providing augmented reality information using three dimension map
CN111932664A (en) Image rendering method and device, electronic equipment and storage medium
US9239892B2 (en) X-ray vision for buildings
CN112581571B (en) Control method and device for virtual image model, electronic equipment and storage medium
CN112150560B (en) Method, device and computer storage medium for determining vanishing point
US9495773B2 (en) Location map submission framework
CN112308103B (en) Method and device for generating training samples
US20220228869A1 (en) Method and apparatus for generating semantic map, and readable storage medium
KR20210083571A (en) A portable terminal for generating floor plans based on pointing walls and providing mapping of virtual objects to the floor plans
WO2023142755A1 (en) Device control method, apparatus, user device, and computer-readable storage medium
CN114092655A (en) Map construction method, device, equipment and storage medium
KR102388541B1 (en) A portable terminal for generating floor plans based on pointing walls
CN112308766A (en) Image data display method and device, electronic equipment and storage medium
CN113209610A (en) Virtual scene picture display method and device, computer equipment and storage medium
KR20210083572A (en) A portable terminal for generating and re-designing floor plans based on pointing walls

Legal Events

Date Code Title Description
GRNT Written decision to grant