KR102297010B1 - Method and server for displaying detailed information of exhibit using augmented reality - Google Patents

Method and server for displaying detailed information of exhibit using augmented reality Download PDF

Info

Publication number
KR102297010B1
KR102297010B1 KR1020200109314A KR20200109314A KR102297010B1 KR 102297010 B1 KR102297010 B1 KR 102297010B1 KR 1020200109314 A KR1020200109314 A KR 1020200109314A KR 20200109314 A KR20200109314 A KR 20200109314A KR 102297010 B1 KR102297010 B1 KR 102297010B1
Authority
KR
South Korea
Prior art keywords
exhibition
image
information
space
user terminal
Prior art date
Application number
KR1020200109314A
Other languages
Korean (ko)
Inventor
김대정
Original Assignee
김대정
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김대정 filed Critical 김대정
Priority to KR1020200109314A priority Critical patent/KR102297010B1/en
Application granted granted Critical
Publication of KR102297010B1 publication Critical patent/KR102297010B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with three-dimensional environments, e.g. control of viewpoint to navigate in the environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Abstract

본 발명의 일 실시예에 따르면, 서버에 의해 수행되는, 증강현실을 이용하여 전시물의 상세 정보를 디스플레이 하기 위한 방법에 있어서, 사용자 단말에서 제1 전시물이 위치하고 있는 제1 공간에 대한 촬영이 수행되면, 상기 제1 공간의 촬영을 통해 생성된 제1 이미지 정보를 상기 사용자 단말로부터 수신하는 단계; 상기 제1 이미지 정보를 분석하여, 상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 면적을 산출하는 단계; 상기 제1 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, 상기 제1 이미지가 상기 제1 전시물을 촬영한 것으로 인식하여, 상기 제1 전시물과 상응하는 제1 전시물 상세 정보를 획득하는 단계; 및 상기 제1 전시물 상세 정보를 상기 사용자 단말로 제공하여, 상기 제1 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 상기 제1 이미지와 중첩되어 디스플레이 되도록 제어하는 단계를 포함하는, 증강현실을 이용한 전시물 상세 정보 디스플레이 방법이 제공된다.According to an embodiment of the present invention, in a method for displaying detailed information on an exhibition object using augmented reality, which is performed by a server, when the user terminal captures the first space where the first exhibition object is located, , receiving first image information generated through the photographing of the first space from the user terminal; analyzing the first image information and calculating an area occupied by the first exhibition object in the first image; when it is confirmed that the area of the first exhibition object is larger than the reference area, recognizing that the first image is a photograph of the first exhibition object, and obtaining detailed information about the first exhibition object corresponding to the first exhibition object; and providing the detailed first exhibition object information to the user terminal, and controlling the content for the first exhibition object detailed information to be displayed while being superimposed on the first image through augmented reality. A detailed information display method is provided.

Description

증강현실을 이용한 전시물 상세 정보 디스플레이 방법 및 서버 {METHOD AND SERVER FOR DISPLAYING DETAILED INFORMATION OF EXHIBIT USING AUGMENTED REALITY}Method and Server for Displaying Detailed Information on Exhibits Using Augmented Reality {METHOD AND SERVER FOR DISPLAYING DETAILED INFORMATION OF EXHIBIT USING AUGMENTED REALITY}
본 발명은 증강현실을 이용한 전시물 상세 정보 디스플레이 방법 및 서버에 관한 것으로, 더욱 상세하게는, 특정 공간의 촬영을 통해 생성된 이미지 정보의 분석 결과, 이미지 내에서 전시물이 차지하고 있는 면적이 기준 면적 보다 넓은 것으로 확인되면, 해당 전시물을 촬영한 것으로 인식하여, 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 이미지와 디스플레이 되도록 제어하는 방법 및 서버에 관한 것이다.The present invention relates to a method and a server for displaying detailed exhibition information using augmented reality, and more particularly, as a result of analysis of image information generated through photographing of a specific space, the area occupied by the exhibit in the image is larger than the reference area It relates to a method and a server for recognizing that the exhibit is photographed, and controlling the content for the detailed information on the exhibit to be displayed with an image through augmented reality.
최근 여가시간의 증가 및 문화 생활에 대한 관심 증대로 인해, 다양한 방면의 문화 활동에 대한 사람들의 관심이 높아지고 있으며, 이로 인해 다양한 전시회, 박람회 등이 개최되고 있다.Recently, due to an increase in leisure time and an increase in interest in cultural life, people's interest in cultural activities in various fields is increasing, and as a result, various exhibitions and expositions are being held.
문화 수준이 높아지고 전시회의 질적 수준이 향상되면서, 전시회들은 점차 전문화 및 다양화가 이루어지고 있는 추세이지만, 전시물의 상세한 정보를 파악하는데 어려움이 있다.As the level of culture increases and the quality of exhibitions improves, exhibitions are gradually becoming more specialized and diversified, but it is difficult to grasp detailed information about the exhibits.
특히, 종래에는 전시물의 상세 정보를 전시회에 상주하는 안내원에 의해 제공받을 수 있었지만, 이 경우, 시간대별로 관람자 그룹을 모아 전시관의 동선에 따라 일괄적으로 전시물의 상세 정보를 소개하는 형식으로 인해, 관람자가 원하지 않는 전시물의 상세 정보까지 제공되어 지루함을 느끼게 되는 문제가 있다.In particular, in the past, detailed information on exhibits could be provided by a guide resident at the exhibition. There is a problem in that the detailed information of the exhibits that the viewer does not want are provided, which makes them feel bored.
따라서, 관람자가 원하는 전시물에 대해서만 상세 정보를 확인할 수 있을 뿐만 아니라, 전시물과 전시물의 상세 정보를 한 번에 용이하게 확인할 수 있는 서비스에 대한 요구가 증대되고 있다.Accordingly, there is an increasing demand for a service that allows a viewer to not only check detailed information about an exhibition object desired by the viewer, but also easily check the detailed information about an exhibition object and an exhibition object at a time.
본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로, 특정 공간의 촬영을 통해 생성된 이미지 정보의 분석 결과, 이미지 내에서 전시물이 차지하고 있는 면적이 기준 면적 보다 넓은 것으로 확인되면, 해당 전시물을 촬영한 것으로 인식하여, 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 이미지와 디스플레이 되도록 제어하는 방법 및 서버를 제공하기 위한 것을 그 목적으로 한다.The present invention is to solve the problems of the prior art described above, and as a result of analyzing image information generated through photographing of a specific space, if it is confirmed that the area occupied by the exhibition object in the image is larger than the reference area, the corresponding exhibition object is photographed An object of the present invention is to provide a method and a server for controlling content for detailed exhibition information to be displayed with an image through augmented reality.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.Objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood from the description below.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 서버에 의해 수행되는, 증강현실을 이용하여 전시물의 상세 정보를 디스플레이 하기 위한 방법에 있어서, 사용자 단말에서 제1 전시물이 위치하고 있는 제1 공간에 대한 촬영이 수행되면, 상기 제1 공간의 촬영을 통해 생성된 제1 이미지 정보를 상기 사용자 단말로부터 수신하는 단계; 상기 제1 이미지 정보를 분석하여, 상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 면적을 산출하는 단계; 상기 제1 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, 상기 제1 이미지가 상기 제1 전시물을 촬영한 것으로 인식하여, 상기 제1 전시물과 상응하는 제1 전시물 상세 정보를 획득하는 단계; 및 상기 제1 전시물 상세 정보를 상기 사용자 단말로 제공하여, 상기 제1 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 상기 제1 이미지와 중첩되어 디스플레이 되도록 제어하는 단계를 포함하는, 증강현실을 이용한 전시물 상세 정보 디스플레이 방법이 제공된다.According to an embodiment of the present invention for achieving the above object, in a method for displaying detailed information of an exhibition object using augmented reality, performed by a server, the first exhibition object is located in the user terminal receiving first image information generated through photographing of the first space from the user terminal when photographing of the space is performed; analyzing the first image information and calculating an area occupied by the first exhibition object in the first image; when it is confirmed that the area of the first exhibition object is larger than the reference area, recognizing that the first image is a photograph of the first exhibition object, and obtaining detailed information about the first exhibition object corresponding to the first exhibition object; and providing the detailed first exhibition object information to the user terminal, and controlling the content for the first exhibition object detailed information to be displayed while being superimposed on the first image through augmented reality. A detailed information display method is provided.
상기 제1 전시물 상세 정보의 획득 단계는, 상기 사용자 단말의 위치 정보를 기초로, 상기 사용자 단말의 촬영 공간을 확인하는 단계; 상기 사용자 단말의 촬영 공간이 상기 제1 공간으로 확인되면, 상기 제1 공간에 배치된 전시물 리스트를 획득하는 단계; 상기 제1 공간에 배치된 전시물 리스트에 포함되어 있는 전시물들의 모양과 상기 제1 이미지에서 확인된 전시물의 모양을 비교하는 단계; 및 상기 전시물 모양의 비교 결과를 통해, 상기 제1 이미지가 상기 제1 전시물을 촬영한 것인지 여부를 판단하는 단계를 포함할 수 있다.The acquiring of the first detailed exhibition object information may include: checking a photographing space of the user terminal based on the location information of the user terminal; obtaining a list of exhibits arranged in the first space when the photographing space of the user terminal is identified as the first space; comparing the shapes of the exhibits included in the list of exhibits arranged in the first space with the shapes of the exhibits identified in the first image; and determining whether the first image is a photograph of the first exhibition object based on the comparison result of the shape of the exhibition object.
상기 증강현실을 이용한 전시물 상세 정보 디스플레이 방법은, 상기 사용자 단말로부터 수신된 제2 이미지 정보를 분석한 결과, 상기 제2 이미지 내에 복수의 전시물이 있는 것으로 확인되면, 상기 제2 이미지 내에서 각각의 전시물이 차지하고 있는 면적을 산출하는 단계; 상기 제2 이미지 내에서 제2 전시물의 면적 및 제3 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, 상기 제2 전시물 및 상기 제3 전시물 중 상기 제1 전시물과 관련이 있는 전시물이 있는지 여부를 확인하는 단계; 및 상기 제2 전시물이 상기 제1 전시물과 관련이 있는 것으로 확인되면, 상기 제2 이미지가 상기 제2 전시물을 촬영한 것으로 인식하여, 상기 제2 전시물과 상응하는 제2 전시물 상세 정보를 획득하는 단계를 더 포함할 수 있다.In the method for displaying detailed exhibition object information using augmented reality, when it is confirmed that there are a plurality of exhibition objects in the second image as a result of analyzing the second image information received from the user terminal, each exhibition object in the second image calculating the area occupied by this; When it is confirmed that the area of the second exhibition object and the area of the third exhibition object in the second image are larger than the reference area, it is checked whether there is an exhibition object related to the first exhibition object among the second exhibition object and the third exhibition object to do; and when it is confirmed that the second exhibition object is related to the first exhibition object, recognizing that the second image is a photograph of the second exhibition object, and obtaining detailed information on a second exhibition object corresponding to the second exhibition object may further include.
상기 제1 전시물 상세 정보에 대한 콘텐츠의 디스플레이 제어 단계는, 상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 제1 영역과 상기 제1 전시물이 차지하고 있지 않은 제2 영역을 구분하는 단계; 상기 제2 영역에서 상기 제1 전시물 상세 정보에 대한 콘텐츠가 디스플레이 되도록 제어하는 단계; 상기 제1 전시물의 관람과 이어서 연계된 관람을 추천하기 위한 제2 전시물을 선정하고, 상기 제2 전시물이 위치하고 있는 제2 공간을 확인하는 단계; 상기 제1 공간 및 상기 제2 공간의 위치를 비교하여, 상기 제1 공간에서 상기 제2 공간으로 이동하기 위한 이동 방향 및 이동 거리를 확인하고, 상기 이동 방향 및 이동 거리를 통해 상기 제2 전시물의 위치로 이동하는 것을 안내하는 제2 전시물 안내 정보를 생성하는 단계; 및 상기 제2 영역에서 상기 제1 전시물 상세 정보에 대한 콘텐츠가 미리 설정된 시간 동안 디스플레이 되면, 상기 제1 전시물 상세 정보를 대체하여 상기 제2 전시물 안내 정보에 대한 콘텐츠가 디스플레이 되도록 제어하는 단계를 포함할 수 있다.The step of controlling the display of the content for the detailed first exhibition object information may include: distinguishing a first area occupied by the first exhibition object and a second area not occupied by the first exhibition object in the first image; controlling content for the first detailed information on the first exhibit to be displayed in the second area; selecting a second exhibition object for recommending viewing in connection with the viewing of the first exhibition object, and confirming a second space in which the second exhibition object is located; By comparing the positions of the first space and the second space, a movement direction and a movement distance for moving from the first space to the second space are confirmed, and the second exhibition object is determined based on the movement direction and movement distance. generating second exhibit guide information for guiding movement to a location; and when the content for the first detailed exhibition information is displayed in the second area for a preset time, controlling the display of the content for the second exhibition guide information by replacing the first detailed information on the first exhibition object. can
상기 제1 전시물 상세 정보의 획득 단계는, 상기 사용자 단말의 위치 정보를 통해 상기 사용자 단말의 촬영 공간이 상기 제1 공간으로 확인되면, 상기 제1 공간에 배치된 전시물 리스트를 통해 상기 제1 공간에 상기 제1 전시물이 위치하고 있는지 여부를 확인하는 단계; 상기 제1 공간에 상기 제1 전시물이 위치하고 있는 것으로 확인되면, 상기 제1 이미지 내에서 상기 제1 전시물에 대한 특징점을 인식하고, 상기 특징점의 개수를 산출하는 단계; 및 상기 특징점의 개수가 상기 제1 전시물에 설정된 기준 개수 보다 많은 것으로 확인되면, 상기 제1 이미지가 상기 제1 전시물을 촬영한 것으로 인식하여, 상기 제1 전시물 상세 정보를 획득하는 단계를 포함할 수 있다.In the acquiring of the first detailed information on the exhibits, if the photographing space of the user terminal is identified as the first space through the location information of the user terminal, the first space is displayed in the first space through the list of exhibits arranged in the first space. checking whether the first exhibit is located; when it is confirmed that the first exhibition object is located in the first space, recognizing a characteristic point of the first exhibition object in the first image and calculating the number of the characteristic point; and when it is confirmed that the number of the feature points is greater than the reference number set in the first exhibition object, recognizing that the first image is a photograph of the first exhibition object, and obtaining detailed information on the first exhibition object have.
상기 제1 전시물 상세 정보에 대한 콘텐츠의 디스플레이 제어 단계는, 상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 면적을 통해, 상기 사용자 단말과 상기 제1 전시물 간의 거리를 산출하는 단계; 및 상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 면적 및 상기 사용자 단말과 상기 제1 전시물 간의 거리를 기초로, 상기 제1 전시물 상세 정보에 대한 콘텐츠의 크기를 설정하고, 상기 제1 전시물 상세 정보에 대한 콘텐츠가 상기 제1 이미지 내에서 디스플레이 되도록 제어하는 단계를 포함할 수 있다.The step of controlling the display of the content for the detailed first exhibition object information may include: calculating a distance between the user terminal and the first exhibition object based on an area occupied by the first exhibition object in the first image; and based on the area occupied by the first exhibition object in the first image and the distance between the user terminal and the first exhibition object, set the size of the content for the first exhibition object detailed information, and the first exhibition object detail It may include controlling content for information to be displayed in the first image.
본 발명의 일 실시예에 따르면, 특정 공간의 촬영을 통해 생성된 이미지 정보의 분석 결과, 이미지 내에서 전시물이 차지하고 있는 면적이 기준 면적 보다 넓은 것으로 확인되면, 해당 전시물을 촬영한 것으로 인식하여, 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 이미지와 디스플레이 되도록 제어함으로써, 관람자가 원하는 전시물에 대한 상세 정보를 용이하게 확인하여 사용자 흥미를 증대시킬 수 있는 효과가 있다According to an embodiment of the present invention, if it is confirmed that the area occupied by the exhibition object in the image is larger than the reference area as a result of analysis of image information generated through photographing of a specific space, it is recognized that the corresponding exhibition object has been photographed, and the exhibition object By controlling the contents of detailed information to be displayed with images through augmented reality, it is possible to easily check detailed information about the exhibits desired by the viewer, thereby increasing user interest.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above-described effects, and include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용하여 전시물의 상세 정보를 디스플레이 하기 위한 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 서버의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용하여 전시물 상세 정보를 디스플레이 하는 과정을 나타낸 순서도이다.
도 5는 본 발명의 다른 실시예에 따른 증강현실을 이용하여 전시물 상세 정보를 디스플레이 하는 과정을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 복수의 전시물에 대한 촬영을 인식 과정을 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 증강현실을 이용하여 전시물 안내 정보를 디스플레이 하는 과정을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 전시물에 대한 촬영을 인식하는 과정을 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 증강현실 콘텐츠의 크기를 설정하는 과정을 나타낸 순서도이다.
1 is a diagram schematically showing the configuration of a system for displaying detailed information of an exhibition object using augmented reality according to an embodiment of the present invention.
2 is a diagram showing the configuration of a server according to an embodiment of the present invention.
3 is a diagram showing the configuration of a user terminal according to an embodiment of the present invention.
4 is a flowchart illustrating a process of displaying detailed information on exhibits using augmented reality according to an embodiment of the present invention.
5 is a flowchart illustrating a process of displaying detailed exhibition object information using augmented reality according to another embodiment of the present invention.
6 is a flowchart illustrating a process of recognizing a photograph of a plurality of exhibits according to an embodiment of the present invention.
7 is a flowchart illustrating a process of displaying exhibition guide information using augmented reality according to an embodiment of the present invention.
8 is a flowchart illustrating a process of recognizing a photograph of an exhibition object according to an embodiment of the present invention.
9 is a flowchart illustrating a process of setting the size of augmented reality content according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다. 그러나 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, the embodiment of the present invention may be modified in various other forms, and the scope of the present invention is not limited only to the embodiments described below. The shapes and sizes of elements in the drawings may be exaggerated for clearer description, and elements indicated by the same reference numerals in the drawings are the same elements.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as “first” and “second” are for distinguishing one component from another, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
그리고 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때 이는 "직접적으로 연결"되어 있는 경우 뿐만 아니라 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다.And throughout the specification, when a part is "connected" with another part, it includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. In addition, when a part "includes" or "includes" a certain component, it means that other components may be further included or provided without excluding other components unless otherwise stated. .
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용하여 전시물의 상세 정보를 디스플레이 하기 위한 시스템의 구성을 개략적으로 나타낸 도면이다.1 is a diagram schematically showing the configuration of a system for displaying detailed information of an exhibition object using augmented reality according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템은 서버(100) 및 사용자 단말(200)을 포함하며, 서버(100)와 사용자 단말(200)을 상호 연결하는 통신망(300)을 포함한다.Referring to FIG. 1 , the system according to an embodiment of the present invention includes a server 100 and a user terminal 200 , and includes a communication network 300 that interconnects the server 100 and the user terminal 200 . do.
본 발명의 일 실시예에 따른 서버(100)는 특정 공간을 촬영하여 생성된 이미지 정보를 사용자 단말(200)로부터 수신할 수 있으며, 사용자 단말(200)에 탑재된 애플리케이션을 통해 전시물 상세 정보를 제공하여, 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 현재 촬영하여 생성된 이미지와 중첩되어 디스플레이 되도록 처리할 수 있다.The server 100 according to an embodiment of the present invention may receive image information generated by photographing a specific space from the user terminal 200 , and provides detailed information on exhibits through an application mounted on the user terminal 200 . Thus, it is possible to process the content for the detailed information on the exhibit to be displayed while being superimposed on the image that is currently captured and generated through augmented reality.
본 발명의 일 실시예에 따른 사용자 단말(200)은 전시물이 배치된 공간을 방문한 관람객들이 사용하는 단말로, 사용자 단말(200)에 포함된 카메라 모듈을 이용하여 특정 공간을 촬영하고, 촬영을 통해 생성된 이미지 정보를 서버(100)로 전송할 수 있다.The user terminal 200 according to an embodiment of the present invention is a terminal used by visitors who visit a space where exhibits are arranged, and uses a camera module included in the user terminal 200 to photograph a specific space, and The generated image information may be transmitted to the server 100 .
사용자 단말(200)은 이미지 정보의 분석을 통해 서버(100)로부터 전시물 상세 정보가 제공되면, 이미지 내에서 전시물 상세 정보에 대한 콘텐츠를 증강현실을 통해 중첩하여 화면에 디스플레이 할 수 있다.When the detailed exhibition object information is provided from the server 100 through the analysis of the image information, the user terminal 200 may display the content of the detailed exhibition object information in the image by superimposing it on the screen through augmented reality.
전시물 상세 정보에 대한 콘텐츠를 디스플레이 하기 위해 사용되는 애플리케이션은 사용자 단말(200)에 내장된 애플리케이션이거나, 애플리케이션 배포 서버로부터 다운로드되어 사용자 단말(200)에 설치된 애플리케이션일 수 있다.The application used to display the content for the detailed exhibition information may be an application built into the user terminal 200 or an application downloaded from an application distribution server and installed in the user terminal 200 .
사용자 단말(200)은 유무선 통신 환경에서 애플리케이션을 이용할 수 있는 통신 단말기를 의미할 수 있으며, 예를 들면, 휴대용 단말기일 수 있다. 사용자 단말(200)은 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 상술한 바와 같이 애플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.The user terminal 200 may mean a communication terminal capable of using an application in a wired/wireless communication environment, and may be, for example, a portable terminal. The user terminal 200 may include any form of a handheld computing device (eg, PDA, email client, etc.), a mobile phone, or any other type of computing or communication platform, although the present invention is not limited thereto. It is not limited, and as described above, it may be borrowed without limitation for a terminal capable of mounting an application.
한편, 통신망(300)은 서버(100)와 사용자 단말(200)을 연결하는 역할을 수행한다. 즉, 통신망(300)은 사용자 단말(200)이 서버(100)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망(300)은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Meanwhile, the communication network 300 serves to connect the server 100 and the user terminal 200 . That is, the communication network 300 refers to a communication network that provides an access path so that the user terminal 200 can transmit and receive data after accessing the server 100 . The communication network 300 is, for example, a wired network such as LANs (Local Area Networks), WANs (Wide Area Networks), MANs (Metropolitan Area Networks), ISDNs (Integrated Service Digital Networks), wireless LANs, CDMA, Bluetooth, satellite communication, etc. may cover a wireless network, but the scope of the present invention is not limited thereto.
도 2는 본 발명의 일 실시예에 따른 서버(100)의 구성을 나타낸 도면이다.2 is a diagram showing the configuration of the server 100 according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.Referring to FIG. 2 , the server 100 according to an embodiment of the present invention includes a communication module 110 , a memory 120 , a processor 130 , and a database 140 .
통신 모듈(110)은 통신망(300)과 연동하여 서버(100)와 사용자 단말(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 사용자 단말(200)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.The communication module 110 provides a communication interface necessary for providing a transmission/reception signal between the server 100 and the user terminal 200 in the form of packet data by interworking with the communication network 300 . Furthermore, the communication module 110 may perform a role of receiving a data request from the user terminal 200 and transmitting data in response thereto.
통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The communication module 110 may be a device including hardware and software necessary for transmitting and receiving signals such as control signals or data signals through wired/wireless connection with other network devices.
메모리(120)는 이미지 정보를 분석하여 전시물 상세 정보를 제공하는 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.In the memory 120, a program for performing a method of providing detailed information on exhibits by analyzing image information is recorded. In addition, the processor 130 performs a function of temporarily or permanently storing the processed data. Here, the memory 120 may include magnetic storage media or flash storage media, but the scope of the present invention is not limited thereto.
프로세서(130)는 일종의 중앙처리장치로서 이미지 내에서 인식된 전시물과 상응하는 전시물 상세 정보를 제공하는 방법에 대한 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 4 내지 도 9를 참조하여 후술하기로 한다.The processor 130 is a kind of central processing unit and controls the entire process of a method of providing detailed information about an exhibition object recognized in the image and corresponding exhibition object information. Each step performed by the processor 130 will be described later with reference to FIGS. 4 to 9 .
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the processor 130 may include all kinds of devices capable of processing data, such as a processor. Here, the 'processor' may refer to a data processing device embedded in hardware, for example, having a physically structured circuit to perform a function expressed as a code or an instruction included in a program. As an example of the data processing apparatus embedded in the hardware as described above, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) circuit) and a processing device such as a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.
데이터베이스(140)에는 전시물 별로 구분된 전시물의 상세 정보, 공간 별로 구분된 전시물 리스트 등이 저장될 수 있다.The database 140 may store detailed information on exhibits classified for each exhibit, a list of exhibits classified by space, and the like.
여기서 전시물의 상세 정보란 전시물을 관람하는데 있어 도움이 되는 상세 정보로, 전시물의 분야, 제작자, 제작시대, 관람 포인트 등에 대한 정보를 포함할 수 있으며, 전시물 리스트는 특정 공간에 배치된 전시물 각각의 명칭, 모양, 크기 등에 대한 정보를 정렬하여 포함할 수 있다.Here, the detailed information of the exhibits is detailed information that is helpful in viewing the exhibits, and may include information on the field, producer, production period, viewing point, etc. of the exhibits. , information on shape, size, etc. can be sorted and included.
도 3은 본 발명의 일 실시예에 따른 사용자 단말(200)의 구성을 나타낸 도면이다.3 is a diagram showing the configuration of the user terminal 200 according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 사용자 단말(200)은 통신 모듈(210), 메모리(220), 프로세서(230), 디스플레이 모듈(240) 및 카메라 모듈(250)을 포함한다.Referring to FIG. 3 , the user terminal 200 according to an embodiment of the present invention includes a communication module 210 , a memory 220 , a processor 230 , a display module 240 , and a camera module 250 . .
통신 모듈(210), 메모리(220) 및 프로세서(230)에 대한 설명에 있어, 도 2를 참조하여 상술한 통신 모듈(110), 메모리(120) 및 프로세서(130)에 대한 설명과 중복되는 설명은 생략하기로 한다.In the description of the communication module 210 , the memory 220 and the processor 230 , the description overlaps with the description of the communication module 110 , the memory 120 and the processor 130 described above with reference to FIG. 2 . is to be omitted.
상세히, 통신 모듈(210)은 통신망(300)과 연동하여 서버(100)와 사용자 단말(200) 간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(210)은 서버(100)로 데이터 요청을 송신하고, 이에 대한 응답으로 데이터를 수신하는 역할을 수행할 수 있다.In detail, the communication module 210 provides a communication interface necessary to provide a transmission/reception signal between the server 100 and the user terminal 200 in the form of packet data in conjunction with the communication network 300 . Furthermore, the communication module 210 may transmit a data request to the server 100 and receive data in response thereto.
메모리(220)는 이미지 정보를 분석하여 전시물 상세 정보를 제공하는 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(230)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 이 때, 메모리(120) 및 메모리(220)에 기록되는 이미지 정보를 분석하여 전시물 상세 정보를 제공하는 방법을 수행하기 위한 프로그램은 단말용 및 서버용으로 상이한 것일 수 있다.In the memory 220, a program for performing a method of providing detailed information on exhibits by analyzing image information is recorded. In addition, the processor 230 performs a function of temporarily or permanently storing the processed data. In this case, a program for performing a method of providing detailed information on exhibits by analyzing image information recorded in the memory 120 and the memory 220 may be different for a terminal and a server.
프로세서(230)는 일종의 중앙처리장치로서 이미지 내에서 인식된 전시물과 상응하는 전시물 상세 정보를 증강현실을 이용하여 디스플레이 하는 방법에 대한 전체 과정을 제어한다. 프로세서(230)는 자체적으로 전시물 상세 정보를 증강현실을 이용하여 디스플레이 하는 과정을 수행할 수 있지만, 바람직하게는, 서버(100)를 통해 전시물 상세 정보를 증강현실을 이용하여 디스플레이 하는 과정을 수행할 수 있다.The processor 230 is a kind of central processing unit and controls the entire process of a method of displaying detailed information about an exhibition object recognized in the image and corresponding exhibition object detail information using augmented reality. The processor 230 may perform the process of displaying the detailed exhibition object information using augmented reality by itself, but preferably, the process of displaying the detailed exhibition object information using the augmented reality through the server 100 is performed. can
디스플레이 모듈(240)은 카메라 모듈(250)을 통해 촬영된 이미지를 디스플레이 하고, 이미지 내에서 전시물이 인식되면, 이미지 내에서 전시물의 상세 정보에 대한 콘텐츠를 증강현실을 통해 중첩하여 디스플레이 하는 기능을 수행할 수 있다.The display module 240 displays an image taken through the camera module 250, and when an exhibition object is recognized in the image, it performs a function of overlapping and displaying contents for detailed information of the exhibition object in the image through augmented reality. can do.
카메라 모듈(250)은 특정 공간을 촬영하기 위한 장치로, 특정 공간의 촬영을 통해 이미지 정보를 생성할 수 있으며, 이미지 뿐만 아니라 영상 정보도 생성하는 기능을 가질 수 있다.The camera module 250 is a device for photographing a specific space, and may generate image information through photographing of a specific space, and may have a function of generating image information as well as images.
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용하여 전시물 상세 정보를 디스플레이 하는 과정을 나타낸 순서도이다.4 is a flowchart illustrating a process of displaying detailed information on exhibits using augmented reality according to an embodiment of the present invention.
도 4를 참조하면, 먼저, S401 단계에서, 서버(100)는 사용자 단말(200)로부터 제1 이미지 정보를 수신할 수 있다.Referring to FIG. 4 , first, in step S401 , the server 100 may receive first image information from the user terminal 200 .
구체적으로, 사용자 단말(200)은 제1 전시물이 위치하고 있는 제1 공간에 대한 촬영을 수행하여, 제1 공간의 촬영을 통해 제1 이미지 정보를 생성할 수 있으며, 서버(100)는 사용자 단말(200)로부터 제1 이미지 정보를 수신할 수 있다.Specifically, the user terminal 200 may generate first image information by photographing the first space in which the first exhibition object is located, and the server 100 may generate the first image information through the photographing of the first space. 200) may receive the first image information.
S402 단계에서, 서버(100)는 제1 이미지 정보를 분석하여, 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적을 산출할 수 있다.In step S402 , the server 100 may analyze the first image information to calculate an area occupied by the first exhibition object in the first image.
구체적으로, 사용자 단말(200)은 제1 이미지 정보의 분석을 통해, 제1 이미지 내에서 제1 전시물을 인식할 수 있으며, 제1 이미지 내에서 제1 전시물이 차지하고 있는 영역을 구분하고, 제1 이미지 내에서 제1 전시물이 차지하고 있는 영역에 대한 면적을 산출할 수 있다.Specifically, the user terminal 200 may recognize the first exhibition object in the first image through the analysis of the first image information, classify the area occupied by the first exhibition object in the first image, and The area of the area occupied by the first exhibition object in the image may be calculated.
S403 단계에서, 서버(100)는 제1 전시물의 면적이 기준 면적 보다 넓은지 여부를 확인할 수 있다.In step S403 , the server 100 may check whether the area of the first exhibition object is larger than the reference area.
S403 단계에서 제1 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, S404 단계에서 서버(100)는 제1 이미지가 제1 전시물을 촬영한 것으로 인식할 수 있다.If it is determined in step S403 that the area of the first exhibition object is larger than the reference area, in operation S404 the server 100 may recognize that the first image is a photograph of the first exhibition object.
예를 들어, 제1 이미지 내에서 제1 전시물이 차지하고 있는 영역에 대한 면적이 60%이고, 기준 면적이 50%로 설정되어 있는 경우, 서버(100)는 제1 이미지가 제1 전시물을 촬영한 것으로 인식할 수 있다.For example, when the area occupied by the first exhibition object in the first image is 60% and the reference area is set to 50%, the server 100 determines that the first image captures the first exhibition object. can be recognized as
S405 단계에서, 서버(100)는 제1 전시물과 상응하는 제1 전시물 상세 정보를 데이터베이스(140)에서 획득할 수 있다.In step S405 , the server 100 may obtain detailed information about the first exhibition object corresponding to the first exhibition object from the database 140 .
예를 들어, 제1 전시물이 유물로 확인되면, 서버(100)는 유물에 대한 상세 정보를 데이터베이스(140)에서 획득할 수 있다.For example, when the first exhibition object is identified as a relic, the server 100 may obtain detailed information about the relic from the database 140 .
S406 단계에서, 서버(100)는 제1 전시물 상세 정보를 사용자 단말(200)로 제공하여, 제1 이미지에 제1 전시물 상세 정보를 중첩하여 디스플레이 되도록 제어할 수 있다. 이때, 사용자 단말(200)은 제1 이미지 내에서 제1 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 제1 이미지와 중첩되어 디스플레이 되도록 처리할 수 있다.In step S406 , the server 100 may provide the detailed first exhibition object information to the user terminal 200 to control the display so that the first exhibition object detailed information is superimposed on the first image. In this case, the user terminal 200 may process the content for the first exhibition object detailed information in the first image to be displayed while being superimposed with the first image through augmented reality.
이와 같이, 본 발명의 일 실시예에 따르면, 제1 전시물이 위치하고 있는 제1 공간의 촬영을 통해 생성된 제1 이미지 정보를 분석한 결과, 기준 면적 보다 더 넓은 면적으로 제1 전시물이 촬영되어야만, 제1 이미지가 제1 전시물을 촬영한 것으로 인식할 수 있으며, 제1 전시물을 촬영한 것으로 인식되면, 제1 전시물의 상세 정보에 대한 콘텐츠가 제1 이미지와 중첩되어 사용자 단말(200)에서 디스플레이 되도록 제어할 수 있다.As such, according to an embodiment of the present invention, as a result of analyzing the first image information generated through the photographing of the first space in which the first exhibition object is located, the first exhibition object must be photographed with a larger area than the reference area, It can be recognized that the first image is a photograph of the first exhibition object, and when it is recognized that the first exhibition object has been photographed, the content for the detailed information of the first exhibition object is displayed on the user terminal 200 by overlapping the first image. can be controlled
한편, S403 단계에서 제1 전시물의 면적이 기준 면적 보다 넓지 않은 것으로 확인되면, S407 단계에서, 서버(100)는 제1 이미지가 제1 전시물이 아닌 다른 피사체를 촬영한 것으로 인식할 수 있다.Meanwhile, if it is determined in step S403 that the area of the first exhibition object is not wider than the reference area, in operation S407 , the server 100 may recognize that the first image is a photograph of a subject other than the first exhibition object.
예를 들어, 제1 이미지 내에서 제1 전시물이 차지하고 있는 영역에 대한 면적이 40%이고, 기준 면적이 50%로 설정되어 있는 경우, 서버(100)는 제1 이미지가 제1 전시물을 촬영한 것이 아니라, 제1 전시물 옆에 위치한 다른 피사체를 촬영한 것으로 인식할 수 있다.For example, when the area occupied by the first exhibition object in the first image is 40% and the reference area is set to 50%, the server 100 determines that the first image captures the first exhibition object. Rather, it may be recognized that another subject located next to the first exhibition object was photographed.
S408 단계에서, 서버(100)는 제1 이미지가 제1 전시물을 촬영한 것이 아니므로, 제1 이미지 그대로 사용자 단말(200)에서 디스플레이 되도록 제어할 수 있다.In step S408 , since the first image is not a photograph of the first exhibition object, the server 100 may control the first image to be displayed on the user terminal 200 as it is.
도 5는 본 발명의 다른 실시예에 따른 증강현실을 이용하여 전시물 상세 정보를 디스플레이 하는 과정을 나타낸 순서도이다.5 is a flowchart illustrating a process of displaying detailed exhibition object information using augmented reality according to another embodiment of the present invention.
도 5를 설명하는데 있어, 도 4를 참조하여 상술한 내용과 중복되는 설명은 생략하기로 한다.In the description of FIG. 5 , descriptions that overlap with those described above with reference to FIG. 4 will be omitted.
먼저, S501 단계에서, 서버(100)는 사용자 단말(200)로부터 제1 공간에 대한 촬영을 통해 생성된 제1 이미지 정보를 수신할 수 있다.First, in step S501 , the server 100 may receive first image information generated by photographing the first space from the user terminal 200 .
S502 단계에서, 서버(100)는 사용자 단말(200)의 위치 정보를 획득할 수 있다.In step S502 , the server 100 may acquire location information of the user terminal 200 .
S503 단계에서, 서버(100)는 사용자 단말(200)의 위치 정보를 기초로, 사용자 단말(200)의 촬영 공간을 확인할 수 있다.In step S503 , the server 100 may check the photographing space of the user terminal 200 based on the location information of the user terminal 200 .
예를 들어, 서버(100)는 사용자 단말(200)의 위치 정보를 기초로, 사용자가 전시장의 어느 공간에 위치하는지 확인하여, 확인된 위치를 통해 제1 이미지를 촬영한 공간을 확인할 수 있다.For example, the server 100 may identify a space in which the user is located in an exhibition hall based on the location information of the user terminal 200 , and check the space in which the first image is captured through the confirmed location.
S504 단계에서, 서버(100)는 사용자 단말(200)의 촬영 공간이 제1 공간으로 확인되면, 제1 공간에 배치된 전시물 리스트를 데이터베이스(140)에서 획득할 수 있다.In step S504 , when the photographing space of the user terminal 200 is identified as the first space, the server 100 may obtain a list of exhibits arranged in the first space from the database 140 .
예를 들어, 전시장이 시대 흐름에 따라 구역별로 구분되어 있는데, 사용자 단말(200)의 촬영 공간이 조선 시대의 유물이 배치된 제1 공간으로 확인되면, 서버(100)는 제1 공간에 배치된 조선 시대의 유물 리스트를 데이터베이스(140)에서 획득할 수 있다.For example, the exhibition hall is divided into zones according to the passage of time. A list of relics of the Joseon Dynasty may be obtained from the database 140 .
한편, S505 단계에서, 서버(100)는 제1 이미지 정보를 분석하여, 제1 이미지 내에서 인식된 제1 전시물을 확인할 수 있다.Meanwhile, in step S505 , the server 100 may analyze the first image information to check the first exhibition object recognized in the first image.
S506 단계에서, 서버(100)는 S504 단계에서 획득된 제1 공간에 배치된 전시물 리스트에 포함되어 있는 전시물들의 모양과, S505 단계에서 확인된 제1 전시물의 모양을 비교할 수 있다.In step S506 , the server 100 may compare the shapes of the exhibits included in the list of exhibits arranged in the first space obtained in step S504 with the shapes of the first exhibits identified in step S505 .
예를 들어, 제1 공간에 배치된 전시물 리스트에는 제1 전시물, 제2 전시물, 제3 전시물 등이 포함될 수 있으며, 전시물 리스트에 포함된 각각의 전시물의 모양과 제1 이미지 내에서 확인된 제1 전시물의 모양이 비교될 수 있다.For example, the list of exhibits arranged in the first space may include a first exhibit, a second exhibit, a third exhibit, and the like, and the shape of each exhibit included in the list of exhibits and the first object identified in the first image. The shape of the exhibits can be compared.
S507 단계에서, 서버(100)는 제1 공간에 배치된 전시물 리스트에 포함되어 있는 전시물들의 모양과 제1 이미지에서 확인된 제1 전시물의 모양의 비교 결과를 통해, 제1 이미지가 제1 전시물을 촬영한 것인지 여부를 판단할 수 있다.In step S507, the server 100 compares the shapes of the exhibits included in the list of exhibits arranged in the first space with the shapes of the first exhibits identified in the first image, so that the first image selects the first exhibits. You can judge whether or not it was filmed.
즉, 서버(100)는 제1 공간에 배치된 전시물 리스트에서 제1 전시물의 모양과 동일한 전시물이 있는지 여부를 확인하여, 제1 전시물을 촬영한 것인지 여부를 판단할 수 있다.That is, the server 100 may determine whether the first exhibit is photographed by checking whether there is an exhibit having the same shape as the first exhibit in the list of exhibits arranged in the first space.
S507 단계에서 제1 전시물을 촬영한 것으로 확인되면, S508 단계에서, 서버(100)는 제1 전시물의 상세 정보에 대한 콘텐츠가 제1 이미지와 중첩되어 사용자 단말(200)에서 디스플레이 되도록 제어할 수 있다.If it is confirmed in step S507 that the first exhibition object has been photographed, in step S508, the server 100 may control the content for the detailed information of the first exhibition object to be displayed on the user terminal 200 by overlapping the first image. .
S507 단계에서 제1 전시물을 촬영하지 않은 것으로 확인되면, S509 단계에서, 서버(100)는 제1 이미지 그대로 사용자 단말(200)에서 디스플레이 되도록 제어할 수 있다.If it is determined in step S507 that the first exhibition object has not been photographed, in step S509 , the server 100 may control the first image to be displayed on the user terminal 200 as it is.
이와 같이, 본 발명의 일 실시예에 따르면, 제1 공간의 촬영을 통해 제1 이미지 정보가 생성되면, 제1 공간에 배치된 전시물 리스트를 확인하여, 제1 이미지에서 제1 전시물이 확인되더라도, 제1 공간에 배치된 전시물 리스트를 통해 제1 전시물의 모양이 확인되어야만, 제1 전시물을 촬영한 것으로 인식할 수 있다.As described above, according to an embodiment of the present invention, when the first image information is generated through photographing of the first space, the list of exhibits arranged in the first space is checked, and even if the first exhibit is identified in the first image, Only when the shape of the first exhibit is confirmed through the list of exhibits arranged in the first space, the first exhibit can be recognized as being photographed.
도 6은 본 발명의 일 실시예에 따른 복수의 전시물에 대한 촬영을 인식 과정을 나타낸 순서도이다.6 is a flowchart illustrating a process of recognizing a photograph of a plurality of exhibits according to an embodiment of the present invention.
도 6을 설명하는데 있어, 도 4및 도 5를 참조하여 상술한 내용과 중복되는 설명은 생략하기로 한다.In the description of FIG. 6 , descriptions that overlap with those described above with reference to FIGS. 4 and 5 will be omitted.
먼저, 제1 이미지 정보의 분석을 통해 제1 이미지 내에서 제1 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 제1 이미지와 중첩되어 사용자 단말(200)에서 디스플레이 된 후, S601 단계에서, 서버(100)는 사용자 단말(200)로부터 제2 이미지 정보를 수신할 수 있다.First, through the analysis of the first image information, the content for the first exhibition object detailed information in the first image is displayed in the user terminal 200 by being superimposed with the first image through augmented reality, and then in step S601, the server ( 100 may receive the second image information from the user terminal 200 .
S602 단계에서, 서버(100)는 제2 이미지 정보를 분석한 결과, 제2 이미지 내에 복수의 전시물이 있는지 여부를 확인할 수 있다.In step S602 , as a result of analyzing the second image information, the server 100 may determine whether there are a plurality of exhibits in the second image.
S602 단계에서 복수의 전시물이 있는 것으로 확인되면, S603 단계에서, 서버(100)는 제2 이미지 내에서 각각의 전시물이 차지하고 있는 면적을 산출할 수 있다.If it is determined in step S602 that there are a plurality of exhibits, in step S603 , the server 100 may calculate an area occupied by each of the exhibits in the second image.
예를 들어, 제2 이미지 내에 제2 전시물 및 제3 전시물이 있는 것으로 확인되면, 서버(100)는 제2 이미지 내에서 제2 전시물이 차지하고 있는 면적과 제2 이미지 내에서 제3 전시물이 차지하고 있는 면적을 산출할 수 있다.For example, if it is confirmed that there are the second exhibition object and the third exhibition object in the second image, the server 100 determines the area occupied by the second exhibition object in the second image and the area occupied by the third exhibition object in the second image. area can be calculated.
S602 단계에서 복수의 전시물이 아닌 제2 전시물만 있는 것으로 확인되면, S607 단계에서, 서버(100)는 제2 이미지가 제2 전시물을 촬영한 것으로 인식할 수 있다.If it is determined in step S602 that there is only the second exhibition object rather than the plurality of exhibition objects, in operation S607 , the server 100 may recognize that the second image is a photograph of the second exhibition object.
서버(100)는 제2 이미지 내에서 제2 전시물의 면적 및 제3 전시물의 면적이 기준 면적 보다 넓은지 여부를 확인할 수 있으며, 제2 전시물의 면적 및 제3 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, 제2 전시물 및 제3 전시물 중 제1 전시물과 관련이 있는 전시물을 촬영한 것으로 인식할 수 있다. 이와 관련된 내용을 S604 단계 내지 S610 단계를 참조하여 상세히 설명하기로 하며, 설명의 편의상, 제2 이미지에서 전시물 중 가장 큰 면적을 차지하고 있는 전시물을 제2 전시물로, 제2 이미지에서 제2 전시물 다음으로 큰 면적을 차지하고 있는 전시물을 제3 전시물로 칭하기로 한다.The server 100 may check whether the area of the second exhibition object and the area of the third exhibition object are larger than the reference area in the second image, and determine that the area of the second exhibition object and the third exhibition object are larger than the reference area. If confirmed, it may be recognized that the exhibits related to the first exhibit among the second and third exhibits have been photographed. The related contents will be described in detail with reference to steps S604 to S610. For convenience of explanation, the exhibit occupying the largest area among the exhibits in the second image is the second exhibit, and in the second image, the second exhibit is followed. The exhibits occupying a large area will be referred to as the third exhibits.
구체적으로, S604 단계에서, 서버(100)는 제2 전시물의 면적이 기준 면적 보다 넓은지 여부를 확인할 수 있다.Specifically, in step S604 , the server 100 may check whether the area of the second exhibition object is larger than the reference area.
S604 단계에서 제2 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, S605 단계에서, 서버(100)는 제3 전시물의 면적이 기준 면적 보다 넓은지 여부를 확인할 수 있다.If it is determined in step S604 that the area of the second exhibition object is larger than the reference area, in operation S605 , the server 100 may check whether the area of the third exhibition object is larger than the reference area.
S604 단계에서 제2 전시물의 면적이 기준 면적 보다 넓지 않은 것으로 확인되면, 제2 이미지에서 전시물 중 가장 큰 면적을 차지하고 있는 제2 전시물의 면적이 기준 면적 보다 넓지 않아, 제3 전시물의 면적도 기준 면적 보다 넓지 않으므로, S610 단계에서, 서버(100)는 제2 이미지가 어떠한 전시물이 아닌 다른 피사체를 촬영한 것으로 인식할 수 있다.If it is confirmed in step S604 that the area of the second exhibition object is not larger than the reference area, the area of the second exhibition object occupying the largest area among the objects in the second image is not larger than the reference area, so the area of the third exhibition object is also the reference area Since it is not wider, in step S610 , the server 100 may recognize that the second image is a photograph of a subject other than an exhibition object.
S605 단계에서 제3 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, S606 단계에서, 서버(100)는 제1 전시물과 제2 전시물이 관련이 있는지 여부를 확인할 수 있다.If it is determined in step S605 that the area of the third exhibition object is larger than the reference area, in operation S606 , the server 100 may determine whether the first exhibition object and the second exhibition object are related.
예를 들어, 서버(100)는 제1 전시물이 조선 시대의 유물인 경우, 제2 전시물도 조선 시대의 유물인지 확인하여, 제1 전시물과 제2 전시물이 관련이 있는지 여부를 확인할 수 있다.For example, when the first exhibition object is a relic of the Joseon Dynasty, the server 100 may check whether the second exhibition object is also a relic of the Joseon Dynasty, thereby confirming whether the first exhibition object and the second exhibition object are related.
S605 단계에서 제3 전시물의 면적이 기준 면적 보다 넓지 않은 것으로 확인되면, 제2 이미지 내에서 제2 전시물의 면적만 기준 면적 보다 넓으므로, S607 단계에서, 서버(100)는 제2 이미지가 제2 전시물을 촬영한 것으로 인식할 수 있다.If it is confirmed in step S605 that the area of the third exhibition object is not larger than the reference area, only the area of the second exhibition object in the second image is larger than the reference area, so in step S607, the server 100 determines that the second image is not larger than the reference area. It can be recognized that the exhibit was photographed.
S606 단계에서 제1 전시물과 제2 전시물이 관련이 있는 것으로 확인되면, S607 단계에서, 서버(100)는 제2 이미지가 제2 전시물을 촬영한 것으로 인식하여, 제2 전시물과 상응하는 제2 전시물 상세 정보를 데이터베이스(140)에서 획득할 수 있다.If it is confirmed in step S606 that the first exhibition object and the second exhibition object are related, in step S607 , the server 100 recognizes that the second image is a photograph of the second exhibition object, and a second exhibition object corresponding to the second exhibition object Detailed information may be obtained from the database 140 .
S606 단계에서 제1 전시물과 제2 전시물이 관련이 없는 것으로 확인되면, S608 단계에서, 서버(100)는 제1 전시물과 제3 전시물이 관련이 있는지 여부를 확인할 수 있다.If it is determined in step S606 that the first exhibition object and the second exhibition object are not related, in operation S608 , the server 100 may check whether the first exhibition object and the third exhibition object are related.
S608 단계에서 제1 전시물과 제3 전시물이 관련이 있는 것으로 확인되면, S609 단계에서, 서버(100)는 제2 이미지가 제3 전시물을 촬영한 것으로 인식하여, 제3 전시물과 상응하는 제3 전시물 상세 정보를 데이터베이스(140)에서 획득할 수 있다.If it is confirmed in step S608 that the first exhibition object and the third exhibition object are related, in step S609, the server 100 recognizes that the second image is a photograph of the third exhibition object, and the third exhibition object corresponding to the third exhibition object Detailed information may be obtained from the database 140 .
S608 단계에서 제1 전시물과 제3 전시물이 관련이 없는 것으로 확인되면, S610 단계에서, 서버(100)는 제2 이미지가 어떠한 전시물이 아닌 다른 피사체를 촬영한 것으로 인식할 수 있다.If it is determined in step S608 that the first exhibition object and the third exhibition object are not related, in operation S610 , the server 100 may recognize that the second image is a photograph of a subject other than any exhibition object.
이와 같이, 본 발명의 일 실시예에 따르면, 제2 이미지 내에서 복수의 전시물이 확인된 경우, 제1 이미지에서 확인된 제1 전시물과 관련이 있는 전시물을 제2 이미지를 통해 촬영한 것으로 인식하여, 제1 전시물과 관련이 있는 전시물을 제1 전시물과 이어서 관람할 수 있도록 관련 콘텐츠를 제공할 수 있다.As such, according to an embodiment of the present invention, when a plurality of exhibits are identified in the second image, the exhibits related to the first exhibit identified in the first image are recognized as being photographed through the second image. , it is possible to provide related content so that an exhibit related to the first exhibit can be viewed in succession with the first exhibit.
도 7은 본 발명의 일 실시예에 따른 증강현실을 이용하여 전시물 안내 정보를 디스플레이 하는 과정을 나타낸 순서도이다.7 is a flowchart illustrating a process of displaying exhibition guide information using augmented reality according to an embodiment of the present invention.
도 7을 설명하는데 있어, 도 4 내지 도 6을 참조하여 상술한 내용과 중복되는 설명은 생략하기로 한다.In the description of FIG. 7 , descriptions that overlap with those described above with reference to FIGS. 4 to 6 will be omitted.
먼저, S701 단계에서, 서버(100)는 사용자 단말(200)로부터 제1 이미지 정보를 수신할 수 있다.First, in step S701 , the server 100 may receive first image information from the user terminal 200 .
S702 단계에서, 서버(100)는 제1 이미지 정보의 분석을 통해 제1 이미지가 제1 전시물을 촬영한 것으로 인식할 수 있다.In step S702 , the server 100 may recognize that the first image is a photograph of the first exhibition object through the analysis of the first image information.
S703 단계에서, 서버(100)는 제1 이미지 내에서 제1 전시물이 차지하고 있는 제1 영역과 제1 전시물이 차지하고 있지 않은 제2 영역을 구분할 수 있다.In step S703 , the server 100 may distinguish a first area occupied by the first exhibition object and a second area not occupied by the first exhibition object in the first image.
S704 단계에서, 서버(100)는 제1 전시물의 상세 정보에 대한 콘텐츠가 제1 이미지와 중첩되어 사용자 단말(200)에서 디스플레이 되도록 제어하는데 있어, 제1 이미지의 제2 영역에서 제1 전시물 상세 정보에 대한 콘텐츠가 디스플레이 되도록 제어할 수 있다.In step S704 , the server 100 controls the content of the detailed information of the first exhibition to be displayed on the user terminal 200 by overlapping the first image, and the detailed information of the first exhibition in the second area of the first image You can control the content to be displayed.
S705 단계에서, 서버(100)는 제1 전시물의 관람과 이어서 연계된 관람을 추천하기 위한 전시물이 있는지 여부를 데이터베이스(140)를 통해 확인할 수 있다.In step S705 , the server 100 may check, through the database 140 , whether there is an exhibition object for recommending viewing in connection with the viewing of the first exhibition object.
S705 단계에서 제1 전시물의 관람과 이어서 연계된 관람을 추천하기 위한 전시물이 있는 것으로 확인되면, S706 단계에서, 서버(100)는 제1 전시물의 관람에 이어서 연계하여 관람하면 좋을 것으로 판단된 추천 전시물로 제2 전시물을 선정하고, 제2 전시물에 대한 안내 정보를 생성할 수 있다.If it is confirmed in step S705 that there is an exhibit for recommending viewing in connection with the viewing of the first exhibition object, in step S706, the server 100 determines that it is good to view the first exhibition in conjunction with the recommended exhibition. to select a second exhibition object and generate guide information for the second exhibition object.
구체적으로, 서버(100)는 제1 전시물이 위치하고 있는 제1 공간과 제2 전시물이 위치하고 있는 제2 공간의 위치를 비교하여, 제1 공간에서 제2 공간으로 이동하기 위한 이동 방향 및 이동 거리를 확인하고, 이동 방향 및 이동 거리를 통해 현재 위치에서 제2 전시물의 위치로 이동하는 것을 안내하는 제2 전시물 안내 정보를 생성할 수 있다.Specifically, the server 100 compares the positions of the first space where the first exhibition object is located and the second space where the second exhibition object is located, and determines the movement direction and movement distance for moving from the first space to the second space. and may generate second exhibition object guide information for guiding movement from the current location to the location of the second exhibition object through the movement direction and movement distance.
예를 들어, 제1 공간에서 제2 공간으로 이동하기 위해 우측 방향으로 500m 이동해야 하는 것으로 확인되면, 서버(100)는 우측 방향으로 500m 이동해야 하는 것을 알려주는 화살표 모양을 통해 제2 전시물 안내 정보를 생성할 수 있다.For example, if it is confirmed that moving 500m in the right direction is required to move from the first space to the second space, the server 100 provides information on the second exhibition object through an arrow shape indicating that the user needs to move 500m in the right direction. can create
S707 단계에서, 서버(100)는 제2 영역에서 제1 전시물 상세 정보에 대한 콘텐츠가 디스플레이 된 시간이 미리 설정된 기준 시간 보다 긴지 여부를 확인할 수 있다.In step S707 , the server 100 may check whether a time for displaying the content for the first detailed information on the first exhibition object in the second area is longer than a preset reference time.
S707 단계에서 제1 전시물 상세 정보에 대한 콘텐츠의 디스플레이 시간이 기준 시간 보다 긴 것으로 확인되면, S708 단계에서, 서버(100)는 제2 영역에서 제1 전시물 상세 정보를 대체하여 제2 전시물 안내 정보에 대한 콘텐츠가 디스플레이 되도록 제어할 수 있다.If it is determined in step S707 that the display time of the content for the first detailed information on the first exhibit is longer than the reference time, in step S708, the server 100 replaces the first detailed information on the first exhibit in the second area to provide the second exhibition guide information. You can control the content to be displayed.
예를 들어, 제1 이미지의 제2 영역에서 제1 전시물 상세 정보에 대한 콘텐츠가 기준 시간 3초 보다 길게 디스플레이 된 것이 확인되면, 서버(100)는 제1 전시물 상세 정보에 대한 콘텐츠가 더 이상 디스플레이 되지 않고, 그 자리에 제2 전시물 안내 정보에 대한 콘텐츠가 대신 디스플레이 되도록 제어할 수 있다.For example, if it is confirmed that the content for the detailed first exhibition information is displayed in the second area of the first image for a longer than 3 seconds, the server 100 may no longer display the content for the detailed first exhibition information. Instead, it is possible to control so that the content for the second exhibition guide information is displayed instead.
S707 단계에서 제1 전시물 상세 정보에 대한 콘텐츠의 디스플레이 시간이 기준 시간 보다 짧은 것으로 확인되면, S704 단계로 되돌아가, 서버(100)는 제2 영역에서 제1 전시물 상세 정보에 대한 콘텐츠가 기준 시간만큼 디스플레이 되도록 제어할 수 있다.If it is confirmed in step S707 that the display time of the content for the detailed first exhibition object information is shorter than the reference time, the process returns to step S704, and the server 100 displays the content for the first detailed exhibition object information in the second area as long as the reference time. It can be controlled to be displayed.
이와 같이, 본 발명의 일 실시예에 따르면, 제1 전시물의 상세 정보에 대한 콘텐츠를 디스플레이 한 후, 제1 전시물의 관람과 이어서 연계하여 관람하면 좋을 것으로 추천된 제2 전시물의 안내 정보에 대한 콘텐츠를 디스플레이 함으로써, 제1 전시물과 제2 전시물을 연계하여 관람하도록 유도할 수 있다.As described above, according to an embodiment of the present invention, after displaying the content for the detailed information of the first exhibition object, the contents for the guide information of the second exhibition object recommended to be viewed in connection with the viewing of the first exhibition object By displaying , it is possible to induce viewing in connection with the first and second exhibits.
도 8은 본 발명의 일 실시예에 따른 전시물에 대한 촬영을 인식하는 과정을 나타낸 순서도이다.8 is a flowchart illustrating a process of recognizing a photograph of an exhibition object according to an embodiment of the present invention.
도 8을 설명하는데 있어, 도 4 내지 도 7을 참조하여 상술한 내용과 중복되는 설명은 생략하기로 한다.In the description of FIG. 8 , descriptions that overlap with those described above with reference to FIGS. 4 to 7 will be omitted.
먼저, S801 단계에서, 서버(100)는 사용자 단말(200)로부터 제1 공간에 대한 촬영을 통해 생성된 제1 이미지 정보를 수신할 수 있다.First, in step S801 , the server 100 may receive first image information generated by photographing the first space from the user terminal 200 .
S802 단계에서, 서버(100)는 사용자 단말(200)의 위치 정보를 획득할 수 있다.In step S802 , the server 100 may acquire location information of the user terminal 200 .
S803 단계에서, 서버(100)는 사용자 단말(200)의 위치 정보를 기초로, 사용자 단말(200)의 촬영 공간을 확인할 수 있다.In step S803 , the server 100 may check the photographing space of the user terminal 200 based on the location information of the user terminal 200 .
S804 단계에서, 서버(100)는 사용자 단말(200)의 촬영 공간이 제1 공간으로 확인되면, 제1 공간에 배치된 전시물 리스트를 데이터베이스(140)에서 획득할 수 있다.In step S804 , when the photographing space of the user terminal 200 is identified as the first space, the server 100 may obtain a list of exhibits arranged in the first space from the database 140 .
한편, S805 단계에서, 서버(100)는 제1 이미지 정보를 분석하여, 제1 이미지 내에서 인식된 제1 전시물을 확인할 수 있다.Meanwhile, in step S805 , the server 100 may analyze the first image information and confirm the first exhibition object recognized in the first image.
S806 단계에서, 서버(100)는 제1 공간에 배치된 전시물 리스트를 통해 제1 공간에 제1 전시물이 위치하고 있는지 여부를 확인할 수 있다.In step S806 , the server 100 may check whether the first exhibit is located in the first space through the list of exhibits arranged in the first space.
S806 단계에서 제1 공간에 제1 전시물이 위치하고 있는 것으로 확인되면, S807 단계에서, 서버(100)는 제1 이미지 내에서 제1 전시물에 대한 특징점을 인식하고, 인식된 특징점의 개수를 산출할 수 있다.If it is confirmed in step S806 that the first exhibition object is located in the first space, in step S807, the server 100 recognizes the feature points for the first exhibition object in the first image and calculates the number of recognized feature points. have.
S806 단계에서 제1 공간에 제1 전시물이 위치하고 있지 않은 것으로 확인되면, S810 단계에서, 서버(100)는 제1 이미지가 제1 전시물이 아닌 다른 피사체를 촬영한 것으로 인식할 수 있다.If it is determined in step S806 that the first exhibition object is not located in the first space, in operation S810 , the server 100 may recognize that the first image is a photograph of a subject other than the first exhibition object.
S808 단계에서, 서버(100)는 S807 단계에서 산출된 특징점의 개수가 제1 전시물에 설정된 기준 개수 보다 많은지 여부를 확인할 수 있다.In step S808 , the server 100 may check whether the number of feature points calculated in step S807 is greater than the reference number set in the first exhibition object.
S808 단계에서 특징점의 개수가 기준 개수 보다 많은 것으로 확인되면, S809 단계에서, 서버(100)는 제1 이미지가 제1 전시물을 촬영한 것으로 인식하여, 제1 전시물 상세 정보를 획득할 수 있다.If it is confirmed in step S808 that the number of feature points is greater than the reference number, in step S809 , the server 100 may recognize that the first image is a photograph of the first exhibition object and obtain detailed information on the first exhibition object.
S808 단계에서 특징점의 개수가 기준 개수 보다 많지 않은 것으로 확인되면, S810 단계에서, 서버(100)는 제1 이미지가 제1 전시물이 아닌 다른 피사체를 촬영한 것으로 인식할 수 있다.If it is determined in step S808 that the number of feature points is not greater than the reference number, in step S810 , the server 100 may recognize that the first image is a photograph of a subject other than the first exhibition object.
이와 같이, 본 발명의 일 실시예에 따르면, 제1 이미지 내에서 제1 전시물이 확인되더라도, 제1 전시물의 특징점의 개수가 기준 개수 보다 많은 것으로 확인되는 경우에만, 제1 전시물을 촬영한 것으로 인식함으로써, 전시물 인식에 대한 정확성을 높일 수 있다.As such, according to an embodiment of the present invention, even if the first exhibition object is identified in the first image, it is recognized that the first exhibition object has been photographed only when it is confirmed that the number of feature points of the first exhibition object is greater than the reference number. By doing so, it is possible to increase the accuracy of the recognition of exhibits.
도 9는 본 발명의 일 실시예에 따른 증강현실 콘텐츠의 크기를 설정하는 과정을 나타낸 순서도이다.9 is a flowchart illustrating a process of setting the size of augmented reality content according to an embodiment of the present invention.
도 9를 설명하는데 있어, 도 4 내지 도 8을 참조하여 상술한 내용과 중복되는 설명은 생략하기로 한다.In the description of FIG. 9 , descriptions that overlap with those described above with reference to FIGS. 4 to 8 will be omitted.
먼저, S901 단계에서, 서버(100)는 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적을 산출할 수 있다.First, in step S901 , the server 100 may calculate the area occupied by the first exhibition object in the first image.
S902 단계에서, 서버(100)는 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적을 통해, 사용자 단말(200)과 제1 전시물 간의 거리를 산출할 수 있다.In step S902 , the server 100 may calculate the distance between the user terminal 200 and the first exhibition object based on the area occupied by the first exhibition object in the first image.
예를 들어, 서버(100)는 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적이 80%이면, 사용자 단말(200)과 제1 전시물 간의 거리를 5m로 산출하고, 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적이 60%이면, 사용자 단말(200)과 제1 전시물 간의 거리를 8m로 산출할 수 있다.For example, if the area occupied by the first exhibition object in the first image is 80%, the server 100 calculates the distance between the user terminal 200 and the first exhibition object as 5 m, and in the first image If the area occupied by the exhibition object is 60%, the distance between the user terminal 200 and the first exhibition object may be calculated as 8 m.
S903 단계에서, 서버(100)는 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적 및 사용자 단말(200)과 제1 전시물 간의 거리를 기초로, 제1 전시물 상세 정보에 대한 콘텐츠의 크기를 설정할 수 있다.In step S903, the server 100 may set the size of the content for the detailed information on the first exhibition object based on the area occupied by the first exhibition object in the first image and the distance between the user terminal 200 and the first exhibition object. have.
예를 들어, 서버(100)는 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적이 넓고 사용자 단말(200)과 제1 전시물 간의 거리가 가까울수록, 제1 전시물 상세 정보에 대한 콘텐츠를 크기를 작게 설정하고, 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적이 좁고 사용자 단말(200)과 제1 전시물 간의 거리가 멀수록, 제1 전시물 상세 정보에 대한 콘텐츠를 크기를 크게 설정할 수 있다.For example, as the area occupied by the first exhibition object in the first image increases and the distance between the user terminal 200 and the first exhibition object increases, the server 100 reduces the size of the content for the detailed information on the first exhibition object. In the first image, the smaller the area occupied by the first exhibition object and the greater the distance between the user terminal 200 and the first exhibition object, the larger the size of the content for the first exhibition object detailed information may be set.
S904 단계에서, 서버(100)는 콘텐츠의 크기가 기준 범위 내에서 설정되었는지 여부를 확인할 수 있다.In step S904, the server 100 may check whether the size of the content is set within the reference range.
S904 단계에서 콘텐츠의 크기가 기준 범위 내에서 설정된 것으로 확인되면, S905 단계에서, 서버(100)는 제1 전시물 상세 정보에 대한 콘텐츠가 제1 이미지 내에서 중첩되어 사용자 단말(200)에서 디스플레이 되도록 제어할 수 있다.If it is confirmed in step S904 that the size of the content is set within the reference range, in step S905, the server 100 controls the content for the first exhibit detailed information to be displayed on the user terminal 200 by being superimposed in the first image. can do.
S904 단계에서 콘텐츠의 크기가 기준 범위를 벗어나 너무 작은 크기로 설정되거나 너무 큰 크기로 설정된 것으로 확인되면, S901 단계로 되돌아가, 서버(100)는 다른 이미지에서 제1 전시물을 확인하여, 해당 이미지에서 제1 전시물이 차지하고 있는 면적을 다시 산출할 수 있다.If it is confirmed that the size of the content is set to too small or too large outside the reference range in step S904, the process returns to step S901, the server 100 checks the first exhibit in another image, and The area occupied by the first exhibit can be recalculated.
이와 같이, 본 발명의 일 실시예에 따르면, 제1 이미지 내에서 제1 전시물이 차지하고 있는 면적 및 사용자 단말(200)과 제1 전시물 간의 거리를 기초로, 제1 전시물 상세 정보에 대한 콘텐츠의 크기를 설정함으로써, 제1 전시물 상세 정보에 대한 콘텐츠를 사용자가 용이하게 확인하도록 처리할 수 있다.As described above, according to an embodiment of the present invention, the size of the content for the detailed information on the first exhibition object based on the area occupied by the first exhibition object in the first image and the distance between the user terminal 200 and the first exhibition object By setting , it is possible to process so that the user can easily check the contents of the first exhibition object detailed information.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention.
100 : 서버 110 : 통신 모듈
120 : 메모리 130 : 프로세서
140 : 데이터베이스 200 : 사용자 단말
210 : 통신 모듈 220 : 메모리
230 : 프로세서 240 : 디스플레이 모듈
250 : 카메라 모듈 300 : 통신망
100: server 110: communication module
120: memory 130: processor
140: database 200: user terminal
210: communication module 220: memory
230: processor 240: display module
250: camera module 300: communication network

Claims (6)

  1. 서버에 의해 수행되는, 증강현실을 이용하여 전시물의 상세 정보를 디스플레이 하기 위한 방법에 있어서,
    사용자 단말에서 제1 전시물이 위치하고 있는 제1 공간에 대한 촬영이 수행되면, 상기 제1 공간의 촬영을 통해 생성된 제1 이미지 정보를 상기 사용자 단말로부터 수신하는 단계;
    상기 제1 이미지 정보를 분석하여, 상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 면적을 산출하는 단계;
    상기 제1 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, 상기 제1 이미지가 상기 제1 전시물을 촬영한 것으로 인식하여, 상기 제1 전시물과 상응하는 제1 전시물 상세 정보를 획득하는 단계; 및
    상기 제1 전시물 상세 정보를 상기 사용자 단말로 제공하여, 상기 제1 전시물 상세 정보에 대한 콘텐츠가 증강현실을 통해 상기 제1 이미지와 중첩되어 디스플레이 되도록 제어하는 단계를 포함하고,
    상기 사용자 단말로부터 수신된 제2 이미지 정보를 분석한 결과, 상기 제2 이미지 내에 복수의 전시물이 있는 것으로 확인되면, 상기 제2 이미지 내에서 각각의 전시물이 차지하고 있는 면적을 산출하는 단계;
    상기 제2 이미지 내에서 제2 전시물의 면적 및 제3 전시물의 면적이 기준 면적 보다 넓은 것으로 확인되면, 상기 제2 전시물 및 상기 제3 전시물 중 상기 제1 전시물과 관련이 있는 전시물이 있는지 여부를 확인하는 단계; 및
    상기 제2 전시물이 상기 제1 전시물과 관련이 있는 것으로 확인되면, 상기 제2 이미지가 상기 제2 전시물을 촬영한 것으로 인식하여, 상기 제2 전시물과 상응하는 제2 전시물 상세 정보를 획득하는 단계를 더 포함하는, 증강현실을 이용한 전시물 상세 정보 디스플레이 방법.
    In the method for displaying detailed information of an exhibition object using augmented reality, performed by a server,
    receiving, from the user terminal, first image information generated through the photographing of the first space when the user terminal captures the first space in which the first exhibition object is located;
    analyzing the first image information and calculating an area occupied by the first exhibition object in the first image;
    when it is confirmed that the area of the first exhibition object is larger than the reference area, recognizing that the first image is a photograph of the first exhibition object, and obtaining detailed information about the first exhibition object corresponding to the first exhibition object; and
    providing the detailed first exhibition object information to the user terminal, and controlling the content for the first exhibition object detailed information to be displayed while being superimposed with the first image through augmented reality;
    calculating an area occupied by each of the exhibits in the second image when it is confirmed that there are a plurality of exhibits in the second image as a result of analyzing the second image information received from the user terminal;
    When it is confirmed that the area of the second exhibition object and the area of the third exhibition object in the second image are larger than the reference area, it is checked whether there is an exhibition object related to the first exhibition object among the second exhibition object and the third exhibition object to do; and
    when it is confirmed that the second exhibition object is related to the first exhibition object, recognizing that the second image is a photograph of the second exhibition object, and obtaining detailed information on a second exhibition object corresponding to the second exhibition object; Further comprising, a method of displaying detailed information on exhibits using augmented reality.
  2. 제1항에 있어서,
    상기 제1 전시물 상세 정보의 획득 단계는,
    상기 사용자 단말의 위치 정보를 기초로, 상기 사용자 단말의 촬영 공간을 확인하는 단계;
    상기 사용자 단말의 촬영 공간이 상기 제1 공간으로 확인되면, 상기 제1 공간에 배치된 전시물 리스트를 획득하는 단계;
    상기 제1 공간에 배치된 전시물 리스트에 포함되어 있는 전시물들의 모양과 상기 제1 이미지에서 확인된 전시물의 모양을 비교하는 단계; 및
    상기 전시물 모양의 비교 결과를 통해, 상기 제1 이미지가 상기 제1 전시물을 촬영한 것인지 여부를 판단하는 단계를 포함하는, 증강현실을 이용한 전시물 상세 정보 디스플레이 방법.
    According to claim 1,
    The first step of obtaining detailed information about the exhibit includes:
    checking a photographing space of the user terminal based on the location information of the user terminal;
    obtaining a list of exhibits arranged in the first space when the photographing space of the user terminal is identified as the first space;
    comparing the shapes of the exhibits included in the list of exhibits arranged in the first space with the shapes of the exhibits identified in the first image; and
    and determining whether the first image is a photograph of the first exhibition object based on a result of comparing the shape of the exhibition object.
  3. 삭제delete
  4. 제1항에 있어서,
    상기 제1 전시물 상세 정보에 대한 콘텐츠의 디스플레이 제어 단계는,
    상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 제1 영역과 상기 제1 전시물이 차지하고 있지 않은 제2 영역을 구분하는 단계;
    상기 제2 영역에서 상기 제1 전시물 상세 정보에 대한 콘텐츠가 디스플레이 되도록 제어하는 단계;
    상기 제1 전시물의 관람과 이어서 연계된 관람을 추천하기 위한 제2 전시물을 선정하고, 상기 제2 전시물이 위치하고 있는 제2 공간을 확인하는 단계;
    상기 제1 공간 및 상기 제2 공간의 위치를 비교하여, 상기 제1 공간에서 상기 제2 공간으로 이동하기 위한 이동 방향 및 이동 거리를 확인하고, 상기 이동 방향 및 이동 거리를 통해 상기 제2 전시물의 위치로 이동하는 것을 안내하는 제2 전시물 안내 정보를 생성하는 단계; 및
    상기 제2 영역에서 상기 제1 전시물 상세 정보에 대한 콘텐츠가 미리 설정된 시간 동안 디스플레이 되면, 상기 제1 전시물 상세 정보를 대체하여 상기 제2 전시물 안내 정보에 대한 콘텐츠가 디스플레이 되도록 제어하는 단계를 포함하는, 증강현실을 이용한 전시물 상세 정보 디스플레이 방법.
    According to claim 1,
    The step of controlling the display of the content for the first detailed information on the exhibit includes:
    distinguishing a first area occupied by the first exhibition object and a second area not occupied by the first exhibition object in the first image;
    controlling content for the first detailed information on the first exhibit to be displayed in the second area;
    selecting a second exhibition object for recommending viewing in connection with the viewing of the first exhibition object, and confirming a second space in which the second exhibition object is located;
    By comparing the positions of the first space and the second space, a movement direction and a movement distance for moving from the first space to the second space are confirmed, and the second exhibition object is determined based on the movement direction and movement distance. generating second exhibit guide information for guiding movement to a location; and
    and when the content for the first detailed exhibition information is displayed in the second area for a preset time, controlling the content for the second exhibition guide information to be displayed by replacing the first detailed information on the first exhibition object; A method for displaying detailed information on exhibits using augmented reality.
  5. 제1항에 있어서,
    상기 제1 전시물 상세 정보의 획득 단계는,
    상기 사용자 단말의 위치 정보를 통해 상기 사용자 단말의 촬영 공간이 상기 제1 공간으로 확인되면, 상기 제1 공간에 배치된 전시물 리스트를 통해 상기 제1 공간에 상기 제1 전시물이 위치하고 있는지 여부를 확인하는 단계;
    상기 제1 공간에 상기 제1 전시물이 위치하고 있는 것으로 확인되면, 상기 제1 이미지 내에서 상기 제1 전시물에 대한 특징점을 인식하고, 상기 특징점의 개수를 산출하는 단계; 및
    상기 특징점의 개수가 상기 제1 전시물에 설정된 기준 개수 보다 많은 것으로 확인되면, 상기 제1 이미지가 상기 제1 전시물을 촬영한 것으로 인식하여, 상기 제1 전시물 상세 정보를 획득하는 단계를 포함하는, 증강현실을 이용한 전시물 상세 정보 디스플레이 방법.
    According to claim 1,
    The first step of obtaining detailed information about the exhibit includes:
    When the photographing space of the user terminal is identified as the first space through the location information of the user terminal, it is confirmed whether the first exhibition object is located in the first space through an exhibition object list arranged in the first space step;
    when it is confirmed that the first exhibition object is located in the first space, recognizing a characteristic point of the first exhibition object in the first image and calculating the number of the characteristic point; and
    when it is confirmed that the number of the feature points is greater than the reference number set in the first exhibition object, recognizing that the first image is a photograph of the first exhibition object, and obtaining detailed information on the first exhibition object A method of displaying detailed information on exhibits using reality.
  6. 제1항에 있어서,
    상기 제1 전시물 상세 정보에 대한 콘텐츠의 디스플레이 제어 단계는,
    상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 면적을 통해, 상기 사용자 단말과 상기 제1 전시물 간의 거리를 산출하는 단계; 및
    상기 제1 이미지 내에서 상기 제1 전시물이 차지하고 있는 면적 및 상기 사용자 단말과 상기 제1 전시물 간의 거리를 기초로, 상기 제1 전시물 상세 정보에 대한 콘텐츠의 크기를 설정하고, 상기 제1 전시물 상세 정보에 대한 콘텐츠가 상기 제1 이미지 내에서 디스플레이 되도록 제어하는 단계를 포함하는, 증강현실을 이용한 전시물 상세 정보 디스플레이 방법.
    According to claim 1,
    The step of controlling the display of the content for the first detailed information on the exhibit includes:
    calculating a distance between the user terminal and the first exhibition object based on the area occupied by the first exhibition object in the first image; and
    Based on the area occupied by the first exhibition object in the first image and the distance between the user terminal and the first exhibition object, the size of the content for the first exhibition object detailed information is set, and the first exhibition object detailed information A method for displaying detailed exhibition information using augmented reality, comprising the step of controlling the contents for display to be displayed in the first image.
KR1020200109314A 2020-08-28 2020-08-28 Method and server for displaying detailed information of exhibit using augmented reality KR102297010B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200109314A KR102297010B1 (en) 2020-08-28 2020-08-28 Method and server for displaying detailed information of exhibit using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109314A KR102297010B1 (en) 2020-08-28 2020-08-28 Method and server for displaying detailed information of exhibit using augmented reality

Publications (1)

Publication Number Publication Date
KR102297010B1 true KR102297010B1 (en) 2021-09-02

Family

ID=77794122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109314A KR102297010B1 (en) 2020-08-28 2020-08-28 Method and server for displaying detailed information of exhibit using augmented reality

Country Status (1)

Country Link
KR (1) KR102297010B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672268B1 (en) * 2015-07-30 2016-11-04 (주) 씽크브릿지 Exhibition area control system and control method thereof
KR20190098091A (en) * 2019-07-23 2019-08-21 엘지전자 주식회사 Artificial intelligence apparatus for recognizing user from image data and method for the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101672268B1 (en) * 2015-07-30 2016-11-04 (주) 씽크브릿지 Exhibition area control system and control method thereof
KR20190098091A (en) * 2019-07-23 2019-08-21 엘지전자 주식회사 Artificial intelligence apparatus for recognizing user from image data and method for the same

Similar Documents

Publication Publication Date Title
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
US8676623B2 (en) Building directory aided navigation
JP5255595B2 (en) Terminal location specifying system and terminal location specifying method
KR20180081028A (en) Method and system for determining spatial characteristics of a camera
CN105339758A (en) Use of overlap areas to optimize bundle adjustment
US10726262B2 (en) Imaging support system, device and method, and imaging terminal
US20090297067A1 (en) Apparatus providing search service, method and program thereof
JP2012038153A (en) Surrounding information retrieval device and surrounding information retrieval method
KR101797870B1 (en) Method and system for measuring quality of video call
KR101176743B1 (en) Apparatus and method for recognizing object, information content providing apparatus and information content managing server
KR102297010B1 (en) Method and server for displaying detailed information of exhibit using augmented reality
Wang et al. iNavigation: an image based indoor navigation system
CN105611153A (en) Image processing method and electronic device
KR20210077760A (en) Method and apparatus for displaying movement state information, electronic device and recording medium
JP5578719B2 (en) Information system, terminal device, advertisement output method, and program
KR101225476B1 (en) Social network system using augmented reality
KR20190110013A (en) Camera system
KR101790755B1 (en) Navigation service providing method though interworking with user device and smart glass thereof
KR20180080600A (en) Apparatus and method for recommending media content
KR20150106621A (en) Terminal and service providing device, control method thereof, computer readable medium having computer program recorded therefor and image searching system
JP5584581B2 (en) Information system, terminal device, server device, and Web page search method
KR20190080278A (en) Tour album providing system for providing a tour album by predicting a user's preference according to a tour location and operating method thereof
JP5674418B2 (en) Terminal device, server device, and program
KR20180100074A (en) Method and system for sorting a search result with space objects, and a computer-readable storage device
JP2020071564A (en) Destination guidance system and destination guidance program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant