KR101844588B1 - Apparatus and method for providing image using indoor positioning - Google Patents

Apparatus and method for providing image using indoor positioning Download PDF

Info

Publication number
KR101844588B1
KR101844588B1 KR1020170017714A KR20170017714A KR101844588B1 KR 101844588 B1 KR101844588 B1 KR 101844588B1 KR 1020170017714 A KR1020170017714 A KR 1020170017714A KR 20170017714 A KR20170017714 A KR 20170017714A KR 101844588 B1 KR101844588 B1 KR 101844588B1
Authority
KR
South Korea
Prior art keywords
image
user
degree spherical
detecting
indoor
Prior art date
Application number
KR1020170017714A
Other languages
Korean (ko)
Inventor
송창근
이창희
유영제
이충재
전우형
박재균
Original Assignee
한림대학교 산학협력단
주식회사 스프링웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단, 주식회사 스프링웍스 filed Critical 한림대학교 산학협력단
Priority to KR1020170017714A priority Critical patent/KR101844588B1/en
Application granted granted Critical
Publication of KR101844588B1 publication Critical patent/KR101844588B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04N13/0429—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Suggested are an apparatus and method for providing an image using indoor positioning, for measuring the indoor position of a user using sensed values measured by an inertial sensor and a Wi-Fi sensor of an HMD worn by the user and providing a 360-degree spherical image based on the measured indoor position. The apparatus for providing an image stores a plurality of 360-degree spherical images measured at different positions in a service region, stores the 360-degree images associated with a providing range, determines whether the user moves based on position information received from a mobile HMD that enters a virtual reality service space, and detects the 360-degree spherical images associated with the providing range including a user indoor position calculated based on the position information when the user moves.

Description

실내 측위를 이용한 영상 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING IMAGE USING INDOOR POSITIONING}TECHNICAL FIELD [0001] The present invention relates to an image providing apparatus,

본 발명은 사용자 위치를 기반으로 영상을 제공하는 기술에 관한 것으로, 더욱 상세하게는 사용자의 위치에서 촬영된 360도 구형 영상을 제공하는 실내 측위를 이용한 영상 제공 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a technique for providing an image based on a user's location, and more particularly, to an apparatus and method for providing an image using indoor positioning that provides a 360-degree spherical image photographed at a user's location.

촬영 위치를 기준으로 360도 구형(spherical) 영상을 촬영할 수 있는 다양한 촬영 장치가 개발됨에 따라, 촬영된 360도 구형 영상을 이용한 다양한 서비스가 제공되고 있다.Various photographing apparatuses capable of photographing a 360-degree spherical image based on a photographing position have been developed, and various services using the 360-degree spherical image photographed have been provided.

360도 구형 영상은 스마트폰, 태블릿 등과 같이 관성 센서가 장착된 휴대 단말을 통해 서비스되며, 휴대 단말은 촬영된 360도 구형 영상을 전송받고, 관성 센서의 센싱값을 기반으로 360도 구형 영상을 표시한다.The 360-degree spherical image is served through a mobile terminal equipped with an inertial sensor such as a smart phone or a tablet. The mobile terminal receives the 360-degree spherical image and displays a 360-degree spherical image based on the sensed value of the inertial sensor. do.

최근에는 360도 구형 영상을 가상현실 서비스를 통해 사용자에게 제공하는 서비스들이 개발되고 있다. 즉, 가상현실 서비스는 사용자의 움직임에 따라 연속적으로 360도 구형 영상을 제공한다.Recently, services for providing 360-degree spherical images to users through virtual reality services are being developed. That is, the virtual reality service continuously provides a 360-degree spherical image according to the movement of the user.

이때, 연속적인 360도 구형 영상을 제공하기 위해서는 다양한 위치에서 촬영된 360도 구형 영상을 필요하며, 이로 인해 많은 양의 데이터를 제작 및 관리해야 하기 때문에 제작 기간 및 비용이 증가하게 된다.In this case, in order to provide a continuous 360-degree spherical image, a 360-degree spherical image taken at various positions is required, which requires a large amount of data to be produced and managed.

이에, 종래에는 가상현실 서비스에 적용시 특정 위치에서만 연동된 360도 구형 영상을 제공하고 있다.Conventionally, when applied to a virtual reality service, a 360-degree spherical image interlocked only at a specific location is provided.

이때, 종래의 가상현실 서비스는 주로 실내에서 제공되기 때문에 Gaze 방식을 통해 사용자에게 360도 구형 영상을 제공한다. 즉, 가상현실 시스템은 모바일 HMD(Head-Mounted Display)의 관성 센서에서 감지한 센싱값을 근거로 사용자의 머리 방향을 추적하여, 사용자가 가상공간에 배치된 버튼을 일정 시간 이상 주시하면 해당 버튼에 연동된 360도 구형 영상을 제공한다.At this time, since the conventional virtual reality service is mainly provided indoors, a 360-degree spherical image is provided to the user through the Gaze method. That is, the virtual reality system tracks the head direction of the user on the basis of the sensing value sensed by the inertial sensor of the mobile HMD (Head-Mounted Display), and when the user watches the button arranged in the virtual space for a predetermined time or more, Provides 360 degree spherical images that are interlocked.

하지만, 종래의 가상현실 서비스는 사용자가 제자리에서 영상을 변경(즉, 텔레포트 방식)하기 때문에 360도 구형 영상의 촬영 위치를 직관적으로 알 수 없는 문제점이 있다.However, the conventional virtual reality service has a problem that the user can not intuitively know the photographing position of the 360-degree spherical image because the user changes the image in place (i.e., the teleporting method).

이로 인해, 종래의 가상현실 서비스는 가상현실 서비스를 이용하는 사용자의 몰입감이 떨어지는 문제점이 있다.Therefore, the conventional virtual reality service has a problem that the user who uses the virtual reality service is less immersed.

한국등록특허 제10-0926231호(명칭: 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그 구축 방법)Korean Registered Patent No. 10-0926231 (Name: 360 degree video image based spatial information construction system and its construction method)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 사용자가 착용한 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공하도록 한 실내 측위를 이용한 영상 제공 장치 및 방법을 제공하는 것을 목적으로 한다.Disclosure of Invention Technical Problem [8] The present invention has been proposed in order to solve the above-described problems, and it is an object of the present invention to provide a mobile communication system, which measures a user's indoor position using a sensed value measured by a WIFI sensor and an inertial sensor of a mobile HMD worn by a user, And to provide an image providing apparatus and method using the indoor positioning in which a 360-degree spherical image is provided.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 서비스 대상 지역 내의 서로 다른 위치에서 측정된 복수의 360도 구형 영상을 저장하되, 제공 범위가 연계된 360도 영상을 저장하는 영상 저장부, 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값 중 적어도 하나를 포함하는 위치 정보를 수신하는 통신부, 통신부에서 수신한 위치 정보를 근거로 사용자 이동 여부를 판단하고, 사용자 이동시 위치 정보를 근거로 사용자 실내 위치를 산출하는 사용자 검출부 및 사용자 검출부에서 산출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 영상 저장부로부터 검출하는 영상 추출부를 포함한다.According to an embodiment of the present invention, there is provided an image providing apparatus using indoor positioning, including a plurality of 360 degree spherical images measured at different positions in a service area, A communication unit for receiving location information including at least one of a sensing value of a WIFI sensor and an inertial sensor from a mobile HMD entering a virtual reality service space; A user detection unit for calculating a user indoor position based on the positional information when the user moves, and an image extraction unit for detecting a 360-degree spherical image associated with the provided range including the user indoor position calculated by the user detection unit from the image storage unit .

본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 영상 저장부는 360도 구형 영상에 중심 좌표를 더 연계하여 저장하고, 영상 추출부는 복수의 360도 구형 영상이 검출되면 사용자 검출부에서 산출한 사용자 실내 위치와 각 360도 구형 영상에 연계된 중심 좌표를 근거로 영상과 사용자 사이의 거리를 산출하고, 산출한 영상과 사용자 사이의 거리가 가장 짧은 중심 좌표에 연계된 360도 영상을 모바일 HMD로 제공할 수 있다.In an image providing apparatus using indoor positioning according to an exemplary embodiment of the present invention, the image storage unit stores the 360-degree spherical image in association with the center coordinates, and the image extracting unit stores the 360- The distance between the image and the user is calculated based on the indoor position and the center coordinates associated with each 360 degree spherical image, and the 360 degree image associated with the center coordinates having the shortest distance between the calculated image and the user is provided to the mobile HMD can do.

본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 영상 저장부는 360도 구형 영상에 사용 빈도를 더 연계하여 저장하고, 영상 추출부는 복수의 360도 구형 영상이 검출되면 복수의 360도 구형 영상에 연계된 사용 빈도를 검출하고, 가장 낮은 사용 빈도를 갖는 360도 구형 영상을 모바일 HMD로 제공할 수 있다.In the image providing apparatus using the indoor positioning according to the embodiment of the present invention, the image storing unit stores the usage frequency more in association with the 360 degree spherical image, and when a plurality of 360 degree spherical images are detected, And a 360-degree spherical image having the lowest frequency of use can be provided as a mobile HMD.

본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치는 영상 추출부에서 추출한 360도 구형 영상의 사용 빈도를 관리하는 영상 관리부를 더 포함하고, 영상 관리부는 360도 구형 영상이 모바일 HMD에서 설정 시간 이상 사용되면 사용 빈도를 증가시킬 수 있다.The image providing apparatus using indoor positioning according to an embodiment of the present invention further includes a video management unit for managing the frequency of use of the 360 degree spherical image extracted by the video extracting unit, If used more frequently, the frequency of use can be increased.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법은 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값을 포함하는 위치 정보를 수집하는 단계, 위치 정보에 포함된 WIFI 센서 및 관성 센서의 센싱값을 근거로 가상현실 서비스 공간에서의 사용자 실내 위치를 검출하는 단계 및 사용자 실내 위치를 근거로 기저장된 360도 구형 영상 중에서 모바일 HMD로 제공될 360도 구형 영상을 검출하는 단계를 포함하고, 360도 구형 영상을 검출하는 단계에서는 복수의 360도 구형 영상이 검출되면 사용자 실내 위치와 복수의 360도 구형 영상들 간의 거리를 근거로 하나의 360도 구형 영상을 검출한다.According to another aspect of the present invention, there is provided a method of providing an image using indoor positioning, the method comprising: collecting location information including a sensing value of a WIFI sensor and an inertial sensor from a mobile HMD entering a virtual reality service space; Detecting the user's indoor position in the virtual reality service space based on the sensed values of the WIFI sensor and the inertial sensor included in the positional information, and determining a 360-degree And detecting a spherical image. In the step of detecting a 360-degree spherical image, when a plurality of 360-degree spherical images are detected, based on the distance between the user's indoor position and a plurality of 360-degree spherical images, .

이때, 360도 구형 영상을 검출하는 단계는 사용자 실내 위치를 근거로 360도 구형 영상을 검출하는 단계, 검출하는 단계에서 복수의 360도 구형 영상이 검출되면 360도 구형 영상과 사용자 실내 위치 사이의 거리를 산출하는 단계, 산출한 360도 구형 영상과 사용자 실내 위치 사이의 거리가 가장 짧은 360도 구형 영상을 제공 영상으로 검출하는 단계 및 검출한 제공 영상을 모바일 HMD로 전송하는 단계를 포함한다.In this case, the step of detecting the 360 degree spherical image may include detecting 360 degree spherical image based on the user's indoor position, detecting a 360 degree spherical image when the detecting step detects the distance between the 360 degree spherical image and the user's indoor position Detecting a 360-degree spherical image having a shortest distance between the calculated 360-degree spherical image and the user's indoor position as a providing image, and transmitting the detected providing image to the mobile HMD.

본 발명의 다른 실시예에 따른 실내 측위를 이용한 영상 제공 방법은 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값을 포함하는 위치 정보를 수집하는 단계, 위치 정보에 포함된 WIFI 센서 및 관성 센서의 센싱값을 근거로 가상현실 서비스 공간에서의 사용자 실내 위치를 검출하는 단계 및 사용자 실내 위치를 근거로 기저장된 360도 구형 영상 중에서 모바일 HMD로 제공될 360도 구형 영상을 검출하는 단계를 포함하고, 360도 구형 영상을 검출하는 단계에서는 복수의 360도 구형 영상이 검출되면 검출된 360도 구형 영상에 연계된 사용 빈도를 근거로 하나의 360도 구형 영상을 검출한다. 이때, 본 발명의 다른 실시예에 따른 실내 측위를 이용한 영상 제공 방법은 검출한 360도 구형 영상의 사용 빈도를 관리하는 단계를 더 포함하고, 사용 빈도를 관리하는 단계에서는 360도 구형 영상이 모바일 HMD에서 설정 시간 이상 사용되면 사용 빈도를 증가시킬 수 있다.According to another embodiment of the present invention, there is provided a method for providing an image using indoor positioning, the method comprising: collecting location information including a sensing value of a WIFI sensor and an inertial sensor from a mobile HMD entering a virtual reality service space; Detecting a user's indoor position in a virtual reality service space based on a sensed value of the sensor and the inertial sensor, and detecting a 360-degree spherical image to be provided as a mobile HMD among previously stored 360- In detecting a 360-degree spherical image, when a plurality of 360-degree spherical images are detected, one 360-degree spherical image is detected based on the used frequency associated with the detected 360-degree spherical image. Here, the method for providing an image using indoor positioning according to another embodiment of the present invention may further include managing frequency of use of the detected 360-degree spherical image. In the step of managing frequency of use, a 360- The frequency of use can be increased.

여기서, 360도 구형 영상을 검출하는 단계는 사용자 실내 위치를 근거로 360도 구형 영상을 검출하는 단계, 검출하는 단계에서 복수의 360도 구형 영상이 검출되면 360도 구형 영상에 연계된 사용 빈도를 검출하고, 가장 높은 사용 빈도를 갖는 360도 구형 영상을 검출하는 단계 및 검출한 제공 영상을 모바일 HMD로 전송하는 단계를 포함할 수 있다.The 360 degree spherical image detecting step includes detecting 360 degree spherical image based on the user's indoor position, detecting the use frequency associated with 360 degree spherical image when detecting a plurality of 360 degree spherical images in the detecting step, Detecting a 360-degree spherical image having the highest frequency of use, and transmitting the detected provided image to the mobile HMD.

사용자 실내 위치를 검출하는 단계에서는 WIFI 센서의 센싱값과 가상현실 서비스 공간에 설치된 WIFI AP의 신호 세기를 비교하여 사용자 실내 위치를 검출하되, WIFI 센서의 센싱값 또는 관성 센서의 센싱값이 이전 센싱값에서 변화된 값이면 WIFI 센서의 센싱값을 근거로 사용자 실내 위치를 재산출하고, 재산출한 사용자 실내 위치가 이전 사용자 실내 위치에서 설정 거리 이상 이격되면 사용자 이동으로 판단하여 재산출한 사용자 실내 위치를 사용자 실내 위치로 검출할 수 있다.In the step of detecting the user's indoor position, the user's indoor position is detected by comparing the sensed value of the WIFI sensor with the signal intensity of the WIFI AP installed in the virtual reality service space. When the sensing value of the WIFI sensor or the sensed value of the inertia sensor is equal to the previous sensing value The user's indoor position is re-calculated on the basis of the sensed value of the WIFI sensor. If the user's indoor position is not spaced more than the set distance from the previous user's indoor position, Can be detected.

360도 구형 영상을 검출하는 단계에서는 기저장된 복수의 360도 구형 영상 중에서 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출할 수 있다.In the step of detecting a 360-degree spherical image, a 360-degree spherical image associated with a providing range including a user's indoor position can be detected from a plurality of previously stored 360-degree spherical images.

본 발명에 의하면, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자가 변경된 360도 구형 영상의 촬영 위치를 직관적으로 알 수 있는 효과가 있다.According to the present invention, an image providing apparatus and method using indoor positioning measures a user's indoor position using a sensed value measured by a WIFI sensor and an inertial sensor of a mobile HMD, and displays a 360-degree spherical image It is possible to intuitively know the photographing position of the changed 360-degree spherical image by the user.

또한, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자의 실내 위치 이동에 따른 능동적인 360도 구형 영상을 제공하여 사용자의 몰입감을 증가시킬 수 있는 효과가 있다.In addition, the apparatus and method for providing an image using the indoor positioning measure a user's indoor position using a sensing value measured by a WIFI sensor and an inertial sensor of a mobile HMD, and provide a 360-degree spherical image based on the measured indoor position And an active 360-degree spherical image according to the movement of the indoor position of the user, thereby increasing the immersion feeling of the user.

이를 통해, 실내 측위를 이용한 영상 제공 장치 및 방법은 거리, 비용 등의 문제로 인해 직접 체험하기 어려운 관광 명소, 문화 유적지 등을 실내에서 보다 몰입감있게 체험할 수 있는 효과가 있다.Accordingly, the image providing apparatus and method using the indoor positioning has the effect of being able to experience tourist attractions and cultural sites, which are difficult to directly experience due to the problems of distance, cost, etc., more immersed in the indoor environment.

도 1을 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치를 설명하기 위한 도면.
도 2는 도 1의 영상 제공 장치를 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법을 설명하기 위한 흐름도.
도 4 및 도 5는 도 3의 360도 구형 영상 추출 단계를 설명하기 위한 흐름도.1 is a view for explaining an image providing apparatus using indoor positioning according to an embodiment of the present invention.
2 is a view for explaining a video providing apparatus of FIG. 1;
3 is a flowchart illustrating an image providing method using indoor positioning according to an embodiment of the present invention.
FIG. 4 and FIG. 5 are flowcharts for explaining the 360-degree spherical image extracting step of FIG. 3;

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention. . In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

이하, 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1을 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 장치를 설명하기 위한 도면이고, 도 2는 도 1의 영상 제공 장치의 구성을 설명하기 위한 도면이다.Hereinafter, an image providing apparatus using indoor positioning according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 1 is a view for explaining an image providing apparatus using indoor positioning according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining a configuration of the image providing apparatus of FIG.

도 1을 참조하면, 실내 측위를 이용한 영상 제공 장치(100; 이하, 영상 제공 장치(100))는 가상현실 서비스 공간에 위치한 모바일 HMD(200; Head-Mounted Display)에게로 가상현실 서비스를 제공한다. 이때, 영상 제공 장치(100)는 가상현실 서비스에 대응되는 실제 공간에서 촬영된 복수의 360도 구형 영상을 실내에 위치한 가상현실 서비스 공간에 위치한 사용자에게 제공한다.1, an image providing apparatus 100 (hereinafter referred to as an image providing apparatus 100) using indoor positioning provides a virtual reality service to a mobile HMD 200 (Head-Mounted Display) located in a virtual reality service space . At this time, the image providing apparatus 100 provides a plurality of 360 degree spherical images photographed in an actual space corresponding to the virtual reality service to a user located in the virtual reality service space located in the room.

이를 위해, 도 2를 참조하면, 영상 제공 장치(100)는 영상 저장부(110), 통신부(130), 사용자 검출부(150), 영상 추출부(170) 및 영상 관리부(190)를 포함한다.2, the image providing apparatus 100 includes an image storing unit 110, a communication unit 130, a user detecting unit 150, an image extracting unit 170, and an image managing unit 190.

영상 저장부(110)는 복수의 360도 구형 영상을 저장한다. 이때, 영상 저장부(110)는 촬영 좌표, 제공 범위, 사용빈도 등을 복수의 360도 구형 영상에 연계하여 저장한다. 여기서, 촬영 좌표는 360도 구형 영상이 실제 촬영된 촬영 좌표에 가상현실 서비스 공간과 실제 공간 간의 비율을 반영하여 보정한 좌표이다. 제공 범위는 연계된 360도 구형 영상이 제공되는 가상현실 서비스 공간 내의 영역이다. 사용빈도는 연계된 360도 구형 영상이 사용된 횟수이다.The image storage unit 110 stores a plurality of 360 degree spherical images. At this time, the image storage unit 110 stores the coordinates, the range, and the frequency of use in association with a plurality of 360 degree spherical images. Here, the photographing coordinates are coordinates that are corrected by reflecting the ratio between the virtual reality service space and the actual space in the photographing coordinates where the 360 degree spherical image is actually photographed. The coverage is the area within the virtual reality service space in which the associated 360 degree spherical image is provided. The frequency of use is the number of times the associated 360 degree spherical image is used.

통신부(130)는 가상현실 서비스 공간 내에 위치한 모바일 HMD(200)와 데이터를 송수신한다. 이때, 통신부(130)는 모바일 HMD(200)로부터 WIFI 센싱값, 관성 센서 센싱값 중에 적어도 하나를 포함하는 위치 정보를 수신한다. 통신부(130)는 영상 추출부(170)에서 추출한 360도 구형 영상을 모바일 HMD(200)에게로 전송한다.The communication unit 130 transmits and receives data to and from the mobile HMD 200 located in the virtual reality service space. At this time, the communication unit 130 receives position information including at least one of a WIFI sensing value and an inertial sensor sensing value from the mobile HMD 200. The communication unit 130 transmits the 360-degree spherical image extracted by the image extracting unit 170 to the mobile HMD 200.

사용자 검출부(150)는 모바일 HMD(200)의 위치 정보를 근거로 사용자(즉, 모바일 HMD(200))의 실내 위치를 검출한다.The user detection unit 150 detects the indoor position of the user (i.e., the mobile HMD 200) based on the position information of the mobile HMD 200.

사용자 검출부(150)는 위치 정보에 포함된 WIFI 센싱값과 가상현실 서비스 공간에 설치된 WIFI AP(Access Point)의 신호 세기를 비교하여 사용자 실내 위치를 검출한다.The user detector 150 detects the user indoor position by comparing the WIFI sensing value included in the location information with the signal strength of the WIFI AP (Access Point) installed in the virtual reality service space.

사용자 검출부(150)는 WIFI 센싱값의 변화를 근거로 사용자의 이동 여부를 검출하고, 사용자 이동시 사용자 실내 위치를 재검출하여 갱신한다. 여기서, 사용자 검출부(150)는 이전 사용자 실내 위치와 WIFI 센싱값의 변화에 따라 산출한 위치가 설정 거리 이상 이격된 경우에만 사용자 이동으로 검출한다.The user detector 150 detects whether the user is moving based on a change in the WIFI sensing value, and detects and updates the user indoor position when the user moves. Here, the user detection unit 150 detects the user movement only when the position calculated according to the change of the previous user indoor position and the WIFI sensing value is separated by more than the set distance.

사용자 검출부(150)는 사용자의 실내 위치 및 위치 정보에 포함된 관성 센서 센싱값을 근거로 사용자의 이동 여부를 검출하고, 사용자 실내 위치를 갱신할 수 있다.The user detection unit 150 may detect whether the user is moving based on the inertial sensor sensing value included in the user's indoor position and position information, and may update the user indoor position.

영상 추출부(170)는 사용자 검출부(150)의 검출 결과를 근거로 영상 저장부(110)에 저장된 복수의 360도 구형 영상 중에서 적어도 하나를 추출한다. 이때, 사용자 검출부(150)에서 사용자 이동으로 검출하면, 영상 추출부(170)는 사용자 검출부(150)에서 검출한 사용자 실내 위치와 복수의 360도 구형 영상을 비교하여 모바일 HMD(200)로 제공할 하나의 360도 구형 영상을 추출한다.The image extracting unit 170 extracts at least one of the plurality of 360 degree spherical images stored in the image storing unit 110 based on the detection result of the user detecting unit 150. [ At this time, if the user detecting unit 150 detects that the user moves, the image extracting unit 170 compares the user indoor position detected by the user detecting unit 150 with a plurality of 360-degree spherical images and provides them to the mobile HMD 200 One 360 degree spherical image is extracted.

영상 추출부(170)는 영상 저장부(110)로부터 360도 구형 영상을 검출하되, 사용자 검출부(150)에서 검출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.The image extracting unit 170 detects a 360-degree spherical image from the image storing unit 110 and detects a 360-degree spherical image associated with a providing range including a user's indoor position detected by the user detecting unit 150.

영상 추출부(170)는 복수의 360도 구형 영상이 검출되면, 복수의 360도 구형 영상 중 하나를 제공 영상으로 추출한다. 이때, 영상 추출부(170)는 360도 구형 영상과 사용자 실내 위치 사이의 거리, 360도 구형 영상의 사용 빈도 등을 근거로 제공 영상을 추출한다.When a plurality of 360 degree spherical images are detected, the image extracting unit 170 extracts one of a plurality of 360 degree spherical images as a provided image. At this time, the image extracting unit 170 extracts the provided image based on the distance between the 360 degree spherical image and the user's indoor position, the frequency of use of the 360 degree spherical image, and the like.

일례로, 영상 추출부(170)는 복수의 360도 구형 영상이 추출되면 각 360도 구형 영상에 연계된 촬영 좌표와 사용자 실내 위치 사이의 거리를 산출한다. 영상 추출부(170)는 산출한 거리가 가장 짧은 360도 구형 영상을 제공 영상으로 검출한다.For example, when a plurality of 360-degree spherical images are extracted, the image extracting unit 170 calculates a distance between the shooting coordinates associated with each 360-degree spherical image and the user's indoor position. The image extracting unit 170 detects the 360-degree spherical image having the shortest calculated distance as the provided image.

다른 일례로, 영상 추출부(170)는 복수의 360도 구형 영상이 추출되면 각 360도 구형 영상에 연계된 사용 빈도를 근거로 제공 영상을 추출한다. 이때, 영상 추출부(170)는 사용 빈도가 가장 높은 360도 구형 영상을 제공 영상으로 추출한다.In another example, when a plurality of 360 degree spherical images are extracted, the image extracting unit 170 extracts the provided images based on the usage frequency associated with each 360 degree spherical image. At this time, the image extracting unit 170 extracts the 360-degree spherical image having the highest frequency of use as the provided image.

영상 관리부(190)는 영상 저장부(110)에 저장된 복수의 360도 구형 영상을 관리한다. 즉, 영상 관리부(190)는 영상 저장부(110)에 360도 구형 영상을 추가, 삭제, 갱신한다.The image management unit 190 manages a plurality of 360-degree spherical images stored in the image storage unit 110. That is, the image management unit 190 adds, deletes, and updates the 360-degree spherical image to the image storage unit 110.

영상 관리부(190)는 영상 추출부(170)에서 제공 영상으로 추출된 360도 구형 영상의 사용 빈도를 관리한다. 즉, 영상 관리부(190)는 제공 영상으로 추출된 360도 구형 영상의 사용 빈도를 증가시킨다.The image management unit 190 manages the frequency of use of the 360-degree rectangular image extracted by the image extracting unit 170. That is, the image management unit 190 increases the frequency of use of the 360-degree spherical image extracted as the provided image.

영상 추출부(170)에서 복수의 360도 구형 영상이 검출된 경우 사용자에 따라 선호하는 영상이 다를 수 있다. 그에 따라, 사용자는 영상 추출부(170)에서 제공 영상으로 추출된 360도 구형 영상을 사용하지 않고, 이동하여 다른 360도 구형 영상을 이용할 수 있다.When a plurality of 360 degree spherical images are detected by the image extracting unit 170, a preferred image may be different according to the user. Accordingly, the user can use another 360-degree spherical image without using the 360-degree spherical image extracted as the provided image by the image extracting unit 170. FIG.

이에, 영상 관리부(190)는 360도 구형 영상이 모바일 HMD(200)에서 설정 시간 이상 사용된 경우에만 사용 빈도를 증가시킨다.Accordingly, the image management unit 190 increases the frequency of use only when the 360-degree spherical image is used in the mobile HMD 200 for the set time or more.

이하, 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 3은 본 발명의 실시예에 따른 실내 측위를 이용한 영상 제공 방법을 설명하기 위한 흐름도이고, 도 4 및 도 5는 도 3의 360도 구형 영상 추출 단계를 설명하기 위한 흐름도이다.Hereinafter, an image providing method using indoor positioning according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. FIG. 3 is a flowchart for explaining an image providing method using indoor positioning according to an embodiment of the present invention, and FIGS. 4 and 5 are flowcharts for explaining a 360-degree spherical image extracting step of FIG.

먼저, 실내 측위를 이용한 영상 제공 방법은 실내 측위를 이용한 영상 제공 장치(100; 이하, 영상 제공 장치(100))를 통해 가상현실 서비스 공간에 위치한 모바일 HMD(200; Head-Mounted Display)에게로 가상현실 서비스를 제공한다. 이때, First, an image providing method using indoor positioning is performed by a mobile HMD 200 (Head-Mounted Display) located in a virtual reality service space through an image providing apparatus 100 (hereinafter, image providing apparatus 100) Provide real service. At this time,

실내 측위를 이용한 영상 제공 방법은 가상현실 서비스에 대응되는 실제 공간에서 촬영된 복수의 360도 구형 영상을 실내에 위치한 가상현실 서비스 공간에 위치한 사용자에게 제공한다.The image providing method using indoor positioning provides a plurality of 360 degree spherical images photographed in an actual space corresponding to a virtual reality service to a user located in a virtual reality service space located in a room.

이를 위해, 영상 제공 장치(100)는 서비스 대상 지역(예를 들면, 관광 명소, 문화 유적지 등)에서 촬영된 복수의 360도 구형 영상을 수집한다. 이때, 복수의 360도 구형 영상은 대상 지역 내에서 서로 다른 위치에서 측정된 영상이다.To this end, the image providing apparatus 100 collects a plurality of 360-degree spherical images photographed in a service target area (for example, tourist spots, cultural sites, etc.). At this time, a plurality of 360 degree spherical images are images measured at different positions in the target area.

영상 제공 장치(100)는 복수의 360도 구형 영상을 저장하되, 각각의 360도 구형 영상에 촬영 좌표, 제공 범위, 사용빈도 등을 연계하여 저장한다. 여기서, 촬영 좌표는 360도 구형 영상이 실제 촬영된 촬영 좌표에 가상현실 서비스 공간과 실제 공간 간의 비율을 반영하여 보정한 좌표이다. 제공 범위는 연계된 360도 구형 영상이 제공되는 가상현실 서비스 공간 내의 영역이다. 사용빈도는 연계된 360도 구형 영상이 사용된 횟수이다.The image providing apparatus 100 stores a plurality of 360-degree spherical images, and stores the coordinates, the range of use, and the frequency of use in association with each 360-degree spherical image. Here, the photographing coordinates are coordinates that are corrected by reflecting the ratio between the virtual reality service space and the actual space in the photographing coordinates where the 360 degree spherical image is actually photographed. The coverage is the area within the virtual reality service space in which the associated 360 degree spherical image is provided. The frequency of use is the number of times the associated 360 degree spherical image is used.

도 3을 참조하면, 실내 측위를 이용한 영상 제공 방법은 위치 정보 수집 단계(S100), 사용자 실내 위치 검출 단계(S200), 사용자 이동 판단 단계(S300), 360도 구형 영상 추출 단계(S400) 및 360도 구형 영상 관리 단계(S500)를 포함한다.Referring to FIG. 3, an image providing method using indoor positioning includes a position information collecting step S100, a user indoor position detecting step S200, a user movement determining step S300, a 360 degree spherical image extracting step S400, And a spherical image management step S500.

위치 정보 수집 단계(S100)에서는 가상현실 서비스 공간 내에 진입한 모바일 HMD(200)로부터 위치 정보를 수집한다. 이때, 위치 정보 수집 단계(S100)에서는 모바일 HMD(200)로부터 WIFI 센싱값, 관성 센서 센싱값 중에 적어도 하나를 포함하는 위치 정보를 수신한다. In the location information collection step S100, location information is collected from the mobile HMD 200 that has entered the virtual reality service space. At this time, the position information including at least one of the WIFI sensing value and the inertial sensor sensing value is received from the mobile HMD 200 in the position information collection step S100.

사용자 실내 위치 검출 단계(S200)에서는 S100 단계에서 수집한 모바일 HMD(200)의 위치 정보를 근거로 사용자(즉, 모바일 HMD(200))의 실내 위치를 검출한다.In step S200, the indoor position of the user (i.e., the mobile HMD 200) is detected based on the position information of the mobile HMD 200 collected in step S100.

사용자 실내 위치 검출 단계(S200)에서는 위치 정보에 포함된 WIFI 센싱값과 가상현실 서비스 공간에 설치된 WIFI AP(Access Point)의 신호 세기를 비교하여 사용자 실내 위치를 검출한다.In the user indoor position detection step (S200), the user indoor position is detected by comparing the WIFI sensing value included in the location information with the signal strength of the WIFI AP (Access Point) installed in the virtual reality service space.

일례로, 사용자 실내 위치 검출 단계(S200)에서는 WIFI 센싱값의 변화를 근거로 사용자의 이동 여부를 검출한다. 사용자 실내 위치 검출 단계(S200)에서는 사용자 이동으로 판단시 사용자 실내 위치를 재검출하여 갱신한다.For example, the user indoor position detection step S200 detects whether the user is moving based on a change in the WIFI sensing value. In the user indoor position detecting step (S200), when the user is determined to move, the user's indoor position is re-detected and updated.

여기서, 사용자 실내 위치 검출 단계(S200)에서는 이전 사용자 실내 위치와 WIFI 센싱값의 변화에 따라 산출한 위치가 설정 거리 이상 이격된 경우에만 사용자 이동으로 검출한다.Here, in the user indoor position detecting step S200, only when the position calculated according to the change of the previous user indoor position and the WIFI sensing value is separated by more than the set distance, it is detected as the user movement.

사용자 실내 위치 검출 단계(S200)에서는 사용자의 실내 위치 및 위치 정보에 포함된 관성 센서 센싱값을 근거로 사용자의 이동 여부를 검출하고, 사용자 실내 위치를 갱신할 수 있다.In the user indoor position detection step S200, it is possible to detect whether the user is moving based on the inertial sensor sensing value included in the user's indoor position and position information, and to update the user indoor position.

360도 구형 영상 추출 단계(S300)에서는 360도 구형 영상 추출 단계(S300)에서는 S200 단계에서의 검출 결과를 근거로 기저장된 복수의 360도 구형 영상 중에서 적어도 하나를 추출한다.In the 360 degree spherical image extraction step (S300), at least one of the 360 degrees spherical images previously stored is extracted based on the detection result in step S200 in the 360 degree spherical image extraction step (S300).

이때, S200 단계에서 사용자 이동으로 검출하면, 360도 구형 영상 추출 단계(S300)에서는 S200 단계에서 검출한 사용자 실내 위치와 복수의 360도 구형 영상을 비교하여 모바일 HMD(200)로 제공할 하나의 360도 구형 영상을 추출한다.If it is detected that the user moves in step S200, the 360 degree spherical image extracting step S300 compares a user's indoor position detected in step S200 with a plurality of 360 degree spherical images to provide one 360 And extracts spherical images.

여기서, 360도 구형 영상 추출 단계(S300)에서는 S200 단계에서 검출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.Here, in the 360-degree spherical image extracting step (S300), a 360-degree spherical image associated with the providing range including the user's indoor position detected in step S200 is detected.

360도 구형 영상 추출 단계(S300)에서는 복수의 360도 구형 영상이 검출되면, 복수의 360도 구형 영상 중 하나를 제공 영상으로 추출한다. 이때, 360도 구형 영상 추출 단계(S300)에서는 360도 구형 영상과 사용자 실내 위치 사이의 거리, 360도 구형 영상의 사용 빈도 등을 근거로 제공 영상을 추출한다.In the 360 degree spherical image extraction step (S300), when a plurality of 360 degree spherical images are detected, one of a plurality of 360 degree spherical images is extracted as a provided image. At this time, in the 360 degree spherical image extraction step (S300), the provided image is extracted based on the distance between the 360 degree spherical image and the user's indoor position, and the frequency of use of the 360 degree spherical image.

일례로, 도 4를 참조하면, 360도 구형 영상 추출 단계(S300)는 360도 구형 영상 검출 단계(S312), 복수의 영상 검출 여부 판단 단계(S314), 제공 영상 설정 단계(S316) 및 제공 영상 전송 단계(S318)를 포함한다.4, the 360 degree spherical image extracting step S300 includes a 360 degree spherical image detecting step S312, a plurality of image detecting judging step S314, a providing image setting step S316, And a transmission step S318.

360도 구형 영상 검출 단계(S312)는 S200 단계에서 검출한 사용자 실내 위치를 근거로 360도 구형 영상을 검출한다. 이때, 360도 구형 영상 검출 단계(S312)는 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.The 360-degree spherical image detection step (S312) detects a 360-degree spherical image based on the user's indoor position detected in step S200. At this time, the 360-degree spherical image detecting step (S312) detects a 360-degree spherical image associated with the providing range including the user's indoor position.

복수의 영상 검출 여부 판단 단계(S314)에서는 S312 단계에서 검출된 360도 구형 영상의 수를 판단한다.In step S314, the number of 360-degree spherical images detected in step S312 is determined.

S314 단계에서 복수의 영상 검출로 판단하면, 제공 영상 설정 단계(S316)에서는 각 360도 구형 영상에 연계된 사용 빈도를 근거로 제공 영상을 설정한다. 이때, 제공 영상 설정 단계(S316)는 S312 단계에서 검출된 복수의 360도 구형 영상들 중에서 사용 빈도가 가장 높은 360도 구형 영상을 제공 영상으로 설정한다.If it is determined in step S314 that a plurality of images are detected, the provided image is set based on the frequency of use associated with each 360 degree spherical image in the provided image setting step S316. At this time, the provided image setting step S316 sets the 360-degree spherical image having the highest frequency of use among the plurality of 360-degree spherical images detected in step S312 as the provided image.

제공 영상 전송 단계(S318)에서는 S316 단계에서 검출한 제공 영상을 모바일 HMD(200)로 전송한다. 이때, 제공 영상 전송 단계(S318)에서는 S314 단계에서 360도 구형 영상이 단일 영상인 것으로 판단하면 해당 360도 구형 영상을 제공 영상으로 하여 모바일 HMD(200)로 전송한다.In the provided video transmission step S318, the provided video detected in step S316 is transmitted to the mobile HMD 200. [ At this time, if it is determined in step S318 that the 360-degree spherical image is a single image, the 360-degree spherical image is transmitted as a provided image to the mobile HMD 200 in step S318.

다른 일례로, 도 5를 참조하면, 360도 구형 영상 추출 단계(S300)는 360도 구형 영상 검출 단계(S321), 복수의 영상 검출 여부 판단 단계(S323), 영상과 사용자 거리 산출 단계(S325), 제공 영상 설정 단계(S327) 및 제공 영상 전송 단계(S329)를 포함한다.5, the 360-degree spherical image extraction step S300 includes a 360-degree spherical image detection step S321, a plurality of image detection determination steps S323, an image and a user distance calculation step S325, A provision image setting step S327, and a provision image transmission step S329.

360도 구형 영상 검출 단계(S321)는 S200 단계에서 검출한 사용자 실내 위치를 근거로 360도 구형 영상을 검출한다. 이때, 360도 구형 영상 검출 단계(S321)는 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 검출한다.The 360 degree spherical image detection step (S321) detects a 360 degree spherical image based on the user's indoor position detected in step S200. At this time, the 360-degree spherical image detecting step S321 detects a 360-degree spherical image associated with the providing range including the user's indoor position.

복수의 영상 검출 여부 판단 단계(S323)에서는 S321 단계에서 검출된 360도 구형 영상의 수를 판단한다.In step S323, the number of 360-degree spherical images detected in step S321 is determined.

S323 단계에서 복수의 영상 검출로 판단하면, 영상과 사용자 거리 산출 단계(S325)에서는 S321 단계에서 검출된 360도 구형 영상과 사용자 실내 위치를 근거로 영상과 사용자 사이의 거리를 산출한다.If it is determined in step S323 that a plurality of images are detected, the distance between the image and the user is calculated on the basis of the 360 degree spherical image and the user indoor position detected in step S321 in the image and user distance calculation step S325.

이때, 영상과 사용자 거리 산출 단계(S325)에서는 각 360도 구형 영상에 연계된 촬영 좌표와 사용자 실내 위치 사이의 거리를 산출한다. At this time, in the image and user distance calculation step S325, the distance between the photographing coordinates associated with each 360 degree spherical image and the user's indoor position is calculated.

제공 영상 설정 단계(S327)에서는 검출된 모든 360도 구형 영상에 대한 거리 산출이 완료되면 각 360도 구형 영상의 거리를 비교하여 제공 영상을 설정한다. 이때, 제공 영상 설정 단계(S327)에서는 산출한 거리가 가장 짧은 360도 구형 영상을 제공 영상으로 설정한다.In the providing image setting step S327, when the distance calculation for all the 360 degree spherical images detected is completed, the provided images are set by comparing the distances of the 360 degree spherical images. At this time, in the providing image setting step S327, the 360-degree spherical image having the shortest calculated distance is set as the providing image.

제공 영상 전송 단계(S329)에서는 S327 단계에서 검출한 제공 영상을 모바일 HMD(200)로 전송한다. 이때, 제공 영상 전송 단계(S329)에서는 S323 단계에서 360도 구형 영상이 단일 영상인 것으로 판단하면 해당 360도 구형 영상을 제공 영상으로 하여 모바일 HMD(200)로 전송한다.In the provided image transmission step S329, the provided image detected in step S327 is transmitted to the mobile HMD 200. [ At this time, if it is determined in step S329 that the 360-degree spherical image is a single image, the 360-degree spherical image is transmitted to the mobile HMD 200 as a provided image.

360도 구형 영상 관리 단계(S400)에서는 S300 단계에서 추출된 360도 구형 영상의 사용 빈도를 관리한다. 즉, 360도 구형 영상 관리 단계(S400)에서는 제공 영상으로 추출된 360도 구형 영상의 사용 빈도를 증가시킨다.In the 360 degree spherical image management step (S400), the frequency of use of the 360 degree spherical image extracted in the step S300 is managed. That is, in the 360 degree spherical image management step (S400), the use frequency of the 360 degree spherical image extracted as the provided image is increased.

S300 단계에서 복수의 360도 구형 영상이 검출된 경우 사용자에 따라 선호하는 영상이 다를 수 있으므로, 제공된 360도 구형 영상을 사용하지 않고 이동하여 다른 360도 구형 영상을 이용할 수 있다.If a plurality of 360 degree spherical images are detected in step S300, the preferred images may be different according to the user, so that the 360 degree spherical images can be used without moving the provided 360 degree spherical images.

이에, 360도 구형 영상 관리 단계(S400)에서는 360도 구형 영상이 모바일 HMD(200)에서 설정 시간 이상 사용된 경우에만 사용 빈도를 증가시킨다.Accordingly, in the 360 degree spherical image management step (S400), the frequency of use is increased only when the 360 degree spherical image is used in the mobile HMD 200 for the set time or more.

360도 구형 영상 관리 단계(S400)에서는 360도 구형 영상 관리 단계(S400)에서는 기저장된 복수의 360도 구형 영상을 관리한다. 즉, 360도 구형 영상 관리 단계(S400)에서는 360도 구형 영상을 추가, 삭제, 갱신할 수 있다.In the 360 degree spherical image management step (S400), the 360 degree spherical image management step (S400) manages a plurality of previously stored 360 degree spherical images. That is, in the 360 degree spherical image management step (S400), the 360 degree spherical image can be added, deleted and updated.

상술한 바와 같이, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자가 변경된 360도 구형 영상의 촬영 위치를 직관적으로 알 수 있는 효과가 있다.As described above, the image providing apparatus and method using the indoor positioning measure the indoor position of the user using the sensed values measured by the WIFI sensor and the inertial sensor of the mobile HMD, and based on the measured indoor position, It is possible to intuitively know the photographing position of the changed 360-degree spherical image by the user.

또한, 실내 측위를 이용한 영상 제공 장치 및 방법은 모바일 HMD의 WIFI 센서 및 관성 센서에서 측정된 센싱값을 이용하여 사용자의 실내 위치를 측정하고, 측정된 실내 위치를 근거로 360도 구형 영상을 제공함으로써, 사용자의 실내 위치 이동에 따른 능동적인 360도 구형 영상을 제공하여 사용자의 몰입감을 증가시킬 수 있는 효과가 있다.In addition, the apparatus and method for providing an image using the indoor positioning measure a user's indoor position using a sensing value measured by a WIFI sensor and an inertial sensor of a mobile HMD, and provide a 360-degree spherical image based on the measured indoor position And an active 360-degree spherical image according to the movement of the indoor position of the user, thereby increasing the immersion feeling of the user.

이를 통해, 실내 측위를 이용한 영상 제공 장치 및 방법은 거리, 비용 등의 문제로 인해 직접 체험하기 어려운 관광 명소, 문화 유적지 등을 실내에서 보다 몰입감있게 체험할 수 있는 효과가 있다.Accordingly, the image providing apparatus and method using the indoor positioning has the effect of being able to experience tourist attractions and cultural sites, which are difficult to directly experience due to the problems of distance, cost, etc., more immersed in the indoor environment.

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but many variations and modifications may be made without departing from the scope of the present invention. It will be understood that the invention may be practiced.

100: 영상 제공 장치 110: 영상 저장부
130: 통신부 150: 사용자 검출부
170: 영상 추출부 190: 영상 관리부
200: 모바일 HMD100: image providing apparatus 110: image storing unit
130: communication unit 150: user detection unit
170: image extracting unit 190:
200: Mobile HMD

Claims (11)

서비스 대상 지역에서 촬영된 360도 구형 영상을 저장하되, 상기 360도 구형 영상을 지역별로 분류하여 서비스 대상 지역별 영상으로 저장하며, 각 서비스 대상 지역별 영상은 적어도 하나 이상의 촬영 위치별 영상을 포함시켜 저장하는 영상 저장부;
가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값 중 적어도 하나를 포함하는 위치 정보를 수신하는 통신부;
상기 통신부에서 수신한 위치 정보를 근거로 사용자 이동 여부를 판단하고, 사용자 이동시 상기 위치 정보를 근거로 사용자 실내 위치를 산출하는 사용자 검출부; 및
상기 사용자 검출부에서 산출한 사용자 실내 위치를 포함하는 제공 범위에 연계된 360도 구형 영상을 상기 영상 저장부로부터 검출하는 영상 추출부;를 포함하고,
상기 영상 저장부는 360도 구형 영상에 중심 좌표 및 사용 빈도를 더 연계하여 저장하고,
상기 영상 추출부는
상기 사용자 실내 위치를 포함하는 제공범위에 연계된 복수개의 서비스 대상 지역별 영상이 검출되면, 상기 제공범위에 연계된 복수개의 서비스 대상 지역별 영상의 촬영 좌표와 사용자 실내 위치의 좌표 사이의 거리를 산출하여 상기 거리가 가장 짧은 서비스 대상 지역별 영상을 검출하고,
상기 검출된 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하는지 여부를 판단하여, 상기 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하면 사용빈도가 가장 높은 촬영 위치별 영상을 제공할 영상으로 검출하여 상기 모바일 HMD로 전송하고,
상기 모바일 HMD로 영상이 전송되면, 상기 WIFI 센서의 센싱값과 상기 가상현실 서비스 공간에 설치된 WIFI AP의 신호 세기를 비교하여 사용자 실내 위치를 검출하되,
상기 WIFI 센서의 센싱값 또는 상기 관성 센서의 센싱값이 이전 센싱값에서 변화된 값이면 상기 WIFI 센서의 센싱값을 근거로 사용자 실내 위치를 재산출하고,
재산출한 사용자 실내 위치가 이전 사용자 실내 위치에서 설정 거리 이상 이격되었는지 여부 및 이동 거리를 판단하며, 상기 판단된 이동 거리로부터 사용자 실내 위치의 거리 비율을 반영한 실제 공간의 이동 거리에 대응하는 촬영 위치별 영상을 검출하여 제공하고,
상기 영상 추출부는
상기 추출한 360도 구형 영상의 사용 빈도를 관리하는 영상 관리부를 더 포함하고,
상기 영상 관리부는 상기 360도 구형 영상이 상기 모바일 HMD에서 설정 시간 이상 사용되면 사용 빈도를 증가시키며,
상기 촬영 위치별 영상은
기준 촬영 위치로부터의 촬영방향 및 촬영 대상을 기준으로 분류되는 것을 특징으로 하는 실내 측위를 이용한 영상 제공 장치.The 360-degree spherical image is stored by storing the 360-degree spherical image in the service target area, and stores the 360-degree spherical image as an image for each service area. An image storage unit;
A communication unit for receiving position information including at least one of a sensing value of a WIFI sensor and an inertial sensor from a mobile HMD entering a virtual reality service space;
A user detecting unit for determining whether the user is moved based on the location information received by the communication unit and calculating a user indoor location based on the location information when the user moves; And
And an image extracting unit for detecting a 360-degree spherical image associated with a providing range including a user indoor position calculated by the user detecting unit from the image storing unit,
The image storage unit stores the coordinates and frequency of use of the 360-degree spherical image in association with each other,
The image extracting unit
Calculating a distance between coordinates of a plurality of service area-specific images associated with the service area and coordinates of the user's indoor location when a plurality of images for each service area associated with the service area including the user indoor location are detected, The image of the service area having the shortest distance is detected,
Determining whether or not the detected image of the service area includes a plurality of images of each photographing position, and if the image of each service area includes the images of the plurality of photographing positions, And transmits it to the mobile HMD,
And detecting a user indoor position by comparing a sensed value of the WIFI sensor with a signal intensity of a WIFI AP installed in the virtual reality service space when an image is transmitted to the mobile HMD,
If the sensing value of the WIFI sensor or the sensing value of the inertial sensor is a value changed from the previous sensing value, re-calculates the user's indoor position based on the sensing value of the WIFI sensor,
The method according to any one of claims 1 to 3, further comprising: determining whether the user indoor position is located at a previous user's indoor position by a predetermined distance or more and determining a moving distance; And provides,
The image extracting unit
Further comprising a video management unit for managing the frequency of use of the extracted 360 degree spherical video,
The image management unit increases the frequency of use when the 360-degree spherical image is used in the mobile HMD for a set time or more,
The image by the photographing position is
Wherein the image is classified based on a photographing direction and a photographing direction from a reference photographing position. 삭제delete 삭제delete 삭제delete 가상현실 서비스 공간에 진입한 모바일 HMD로부터 WIFI 센서 및 관성 센서의 센싱값을 포함하는 위치 정보를 수집하는 단계;
상기 위치 정보에 포함된 WIFI 센서 및 관성 센서의 센싱값을 근거로 상기 가상현실 서비스 공간에서의 사용자 실내 위치를 검출하는 단계; 및
상기 사용자 실내 위치를 근거로 기저장된 360도 구형 영상 중에서 상기 모바일 HMD로 제공될 360도 구형 영상을 검출하는 단계를 포함하고,
상기 사용자 실내 위치를 검출하는 단계는
상기 WIFI 센서의 센싱값과 상기 가상현실 서비스 공간에 설치된 WIFI AP의 신호 세기를 비교하여 사용자 실내 위치를 검출하되,
상기 WIFI 센서의 센싱값 또는 상기 관성 센서의 센싱값이 이전 센싱값에서 변화된 값이면 상기 WIFI 센서의 센싱값을 근거로 사용자 실내 위치를 재산출하고,
재산출한 사용자 실내 위치가 이전 사용자 실내 위치에서 설정 거리 이상 이격되면 사용자 이동으로 판단하여 재산출한 사용자 실내 위치를 사용자 실내 위치로 검출하며,
상기 360도 구형 영상을 검출하는 단계는
복수의 360도 구형 영상이 검출되면 상기 사용자 실내 위치와 복수의 360도 구형 영상들 간의 거리를 기반으로 제공범위가 매칭되는 서비스 대상 지역별 영상을 검출하는 단계;
상기 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하는지 여부를 판단하는 단계;
상기 서비스 대상 지역별 영상이 복수개의 촬영 위치별 영상을 포함하는 경우, 사용빈도가 가장 높은 촬영 위치별 영상을 제공할 영상으로 검출하는 단계; 및
상기 검출한 제공 영상을 상기 모바일 HMD로 전송하는 단계;를 포함하고,
상기 서비스 대상 지역별 영상을 검출하는 단계는
상기 사용자 실내 위치를 포함하는 제공범위에 연계된 복수개의 서비스 대상 지역별 영상을 검출하는 단계;
상기 제공범위에 연계된 복수개의 서비스 대상 지역별 영상의 촬영 좌표와 사용자 실내 위치의 좌표 사이의 거리를 산출하는 단계;
상기 산출한 서비스 대상 지역별 영상의 촬영 좌표와 사용자 실내 위치 좌표 사이의 거리가 가장 짧은 서비스 대상 지역별 영상을 제공 영상으로 검출하는 단계;를 포함하고,
상기 촬영 위치별 영상은
기준 촬영 위치로부터의 촬영방향 및 촬영 대상을 기준으로 분류되는 것을 특징으로 하는 실내 측위를 이용한 영상 제공 방법.Collecting location information including a sensing value of a WIFI sensor and an inertial sensor from a mobile HMD entering a virtual reality service space;
Detecting a user indoor position in the virtual reality service space based on a sensing value of a WIFI sensor and an inertial sensor included in the positional information; And
Detecting a 360-degree spherical image to be provided to the mobile HMD from previously stored 360-degree spherical images based on the user indoor position,
The step of detecting the user indoor position
Detecting a user indoor position by comparing a sensing value of the WIFI sensor with a signal intensity of a WIFI AP installed in the virtual reality service space,
If the sensing value of the WIFI sensor or the sensing value of the inertial sensor is a value changed from the previous sensing value, re-calculates the user's indoor position based on the sensing value of the WIFI sensor,
If the user's indoor location is separated from the previous user's indoor location by a set distance or more, the user's indoor location is determined as the user indoor location,
The step of detecting the 360 degree spherical image
Detecting a 360-degree spherical image when the detected 360-degree spherical image is detected; and detecting a 360-degree spherical image based on a distance between the user's indoor location and a plurality of 360 degree spherical images;
Determining whether the image for each service area includes a plurality of images for each photographing position;
Detecting, as an image to be provided, an image for each photographing position having the highest frequency of use when the image for each service area includes images for a plurality of photographing positions; And
And transmitting the detected providing image to the mobile HMD,
The step of detecting the image for each service area
Detecting a plurality of images for each service area associated with a providing range including the user indoor position;
Calculating a distance between coordinates of the image of the plurality of service target regions associated with the providing range and coordinates of the user indoor position;
Detecting an image for each service area having a shortest distance between the image capturing coordinates of the image of the service target area and the user indoor position coordinates, as the providing image,
The image by the photographing position is
Wherein the image is classified based on a photographing direction and a photographing direction from a reference photographing position. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020170017714A 2017-02-08 2017-02-08 Apparatus and method for providing image using indoor positioning KR101844588B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170017714A KR101844588B1 (en) 2017-02-08 2017-02-08 Apparatus and method for providing image using indoor positioning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170017714A KR101844588B1 (en) 2017-02-08 2017-02-08 Apparatus and method for providing image using indoor positioning

Publications (1)

Publication Number Publication Date
KR101844588B1 true KR101844588B1 (en) 2018-04-02

Family

ID=61976088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170017714A KR101844588B1 (en) 2017-02-08 2017-02-08 Apparatus and method for providing image using indoor positioning

Country Status (1)

Country Link
KR (1) KR101844588B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113108775A (en) * 2021-06-15 2021-07-13 北京奇岱松科技有限公司 Indoor positioning system based on Bluetooth and vision

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603227B1 (en) * 2014-10-24 2016-03-15 트라이콤텍 주식회사 Information providing method for indoor area by using the immersive media's video data based on 360 degree
JP5913709B1 (en) * 2015-09-29 2016-04-27 株式会社コロプラ Image generation apparatus, image generation method, and image generation program
KR101703924B1 (en) * 2015-09-22 2017-02-07 하태진 3d virtual reality system using 3d-spectacles for virtual image display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101603227B1 (en) * 2014-10-24 2016-03-15 트라이콤텍 주식회사 Information providing method for indoor area by using the immersive media's video data based on 360 degree
KR101703924B1 (en) * 2015-09-22 2017-02-07 하태진 3d virtual reality system using 3d-spectacles for virtual image display
JP5913709B1 (en) * 2015-09-29 2016-04-27 株式会社コロプラ Image generation apparatus, image generation method, and image generation program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113108775A (en) * 2021-06-15 2021-07-13 北京奇岱松科技有限公司 Indoor positioning system based on Bluetooth and vision

Similar Documents

Publication Publication Date Title
CN105940429B (en) For determining the method and system of the estimation of equipment moving
US10057725B2 (en) Sensor-based geolocation of a user device
Ahn et al. An indoor augmented-reality evacuation system for the Smartphone using personalized Pedometry
TWI485365B (en) Method and system for estimating a real-world distance , and computer -readable medium
US10049455B2 (en) Physically-constrained radiomaps
CN103354909B (en) Position determining means, method, system, air handling system and illuminator
US20130211718A1 (en) Apparatus and method for providing indoor navigation service
KR20110132208A (en) Apparatus and method for recognizing zone in portable terminal
CN105190345A (en) Systems and methods for using three-dimensional location information to improve location services
US7342648B2 (en) Information sensing and sharing system for supporting rescue operations from burning buildings
CN103270540A (en) Tracking moving objects using a camera network
KR101465974B1 (en) Method and apparatus for position detecting and communication of device
JP2014530532A (en) Device and method for collecting information related to access points
KR20130047386A (en) System and method for mersuring location in wireless communication terminal, method for collecting fingerprint information in wireless communication terminal, fingerprint server and method for providing location using the same
KR20140147926A (en) Method for implementing location based service, machine-readable storage medium, server and electronic device
CN108917766B (en) Navigation method and mobile terminal
KR20170032147A (en) A terminal for measuring a position and method thereof
CN110426725B (en) Method for accurately positioning indoor user mobile terminal
KR101233841B1 (en) Method of apparatus for building up finger print map
WO2016060312A1 (en) Indoor position recognition-based security management device and method
KR101844588B1 (en) Apparatus and method for providing image using indoor positioning
KR102317183B1 (en) Indoor positioning system based on user location information and its indoor positioning method
CN111551179A (en) Indoor navigation method and device, terminal and readable storage medium
CN109474889B (en) Information transmission method, mobile terminal and server
JP6435640B2 (en) Congestion degree estimation system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant