KR102323880B1 - System for providing cultural property information using machine learning image analysis method - Google Patents

System for providing cultural property information using machine learning image analysis method Download PDF

Info

Publication number
KR102323880B1
KR102323880B1 KR1020210054572A KR20210054572A KR102323880B1 KR 102323880 B1 KR102323880 B1 KR 102323880B1 KR 1020210054572 A KR1020210054572 A KR 1020210054572A KR 20210054572 A KR20210054572 A KR 20210054572A KR 102323880 B1 KR102323880 B1 KR 102323880B1
Authority
KR
South Korea
Prior art keywords
cultural
image
information
cultural property
property
Prior art date
Application number
KR1020210054572A
Other languages
Korean (ko)
Inventor
박희철
박주현
Original Assignee
다온플레이스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다온플레이스 주식회사 filed Critical 다온플레이스 주식회사
Priority to KR1020210054572A priority Critical patent/KR102323880B1/en
Application granted granted Critical
Publication of KR102323880B1 publication Critical patent/KR102323880B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

The present invention relates to a system for providing cultural property information based on machine learning image analysis, which automatically analyzes and identifies the type of a cultural property photo (image information) taken by a user terminal based on machine learning, to provide related voice information and text information to the user terminal, thereby allowing tourists to easily and conveniently obtain accurate information about cultural properties that the tourists encounter for the first time. The system for providing cultural property information based on machine learning image analysis includes: a cultural property image learning unit (110); a database (120); and a cultural property information providing unit (130).

Description

머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템{SYSTEM FOR PROVIDING CULTURAL PROPERTY INFORMATION USING MACHINE LEARNING IMAGE ANALYSIS METHOD}A system for providing cultural properties information based on machine learning image analysis {SYSTEM FOR PROVIDING CULTURAL PROPERTY INFORMATION USING MACHINE LEARNING IMAGE ANALYSIS METHOD}

본 발명은 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템에 관한 것으로서, 보다 구체적으로는, 사용자 단말을 통해 촬영되는 문화재 사진(이미지 정보)을 머신러닝에 기반하여 자동으로 분석 및 종류를 파악하여 관련 음성 정보 및 텍스트 정보를 사용자 단말에 제공함으로써, 관광객들로 하여금 처음 접하는 문화재에 대한 정확한 정보를 쉽고 간편하게 얻을 수 있도록 하는 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템에 관한 것이다.The present invention relates to a system for providing cultural property information based on machine learning image analysis, and more specifically, by automatically analyzing and identifying the type of cultural property photo (image information) taken through a user terminal based on machine learning, the related voice By providing information and text information to a user terminal, it relates to a cultural heritage information providing system based on machine learning image analysis that enables tourists to easily and conveniently obtain accurate information about cultural assets they encounter for the first time.

현재 문화재나 관광지의 경우, 관련된 문화재 정보 혹은 관광지 정보 대부분이 문화재 입구나 근처에 위치한 안내판을 통해 안내되거나, 혹은 별도의 안내 책자에 인쇄되어 제공되고 있다.Currently, in the case of cultural properties or tourist destinations, most of the related cultural property information or tourist information is provided through information boards located at or near the entrance to cultural properties, or printed in a separate brochure.

이때, 어려운 한자가 섞여 있거나 한눈에 알아보기 힘든 장문 형태로 작성되어 있고, 특히 영어, 일본어와 같이 다국어가 제한적으로 번역되어 있다는 점에서, 문화재나 관광지를 방문한 어린 학생들이나 고령자 혹은 외국인이 이를 읽었을 때 제대로 된 문화재 정보를 얻기 힘들다는 문제점과 문화재나 관광지 방문에 부담을 느끼게 되는 요소로도 작용될 수 있게 된다.At this time, because difficult Chinese characters are mixed or written in long sentences that are difficult to recognize at a glance, and in particular, multilingual translations such as English and Japanese are limited. It can act as a problem that it is difficult to obtain proper information on cultural properties and a factor that makes visiting cultural properties or tourist attractions feel burdensome.

이와 관련하여, 종래에는 AR 증강현실을 이용하여 역사 실감 컨텐츠를 제공하기 위한 서비스가 개발되어 있지만, 이는 유명 문화재나 소수의 문화재에 한정되어 공급되고 있고, 사용자의 스마트폰을 이용하여 조형요소나 문화재를 검색하여 스마트폰을 통해 이를 안내해주는 응용 프로그램은 다수 사용화되어 있지만, 이 또한 사용자가 해당 문화재가 어떠한 문화재인지를 인지하고 있어야만 검색이 가능하다는 점에서, 앞서 살펴본 다양한 문제점들은 여전히 해결되지 못하고 있는 실정이다.In this regard, conventionally, a service for providing historically realistic content using AR augmented reality has been developed, but this is limited to famous cultural properties or a small number of cultural properties, and modeling elements or cultural properties using the user's smartphone. There are many applications that search for and guide them through a smartphone, but in that the search is only possible when the user is aware of what kind of cultural property the cultural property is, the various problems discussed above are still unresolved. the current situation.

한국공개특허 제10-2017-0035362호Korean Patent Publication No. 10-2017-0035362

본 발명은 사용자 단말을 통해 촬영되는 문화재 사진(이미지 정보)을 머신러닝에 기반하여 분석하고 해당 촬영된 문화재를 자동으로 파악하여 관련 음성 정보 및 텍스트 정보를 사용자 단말에 제공함으로써, 관광객들로 하여금 처음 접하는 문화재에 대한 정확한 정보를 쉽고 간편하게 얻을 수 있도록 하는 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템에 관한 것이다.The present invention analyzes a photograph of cultural property (image information) taken through a user terminal based on machine learning, automatically identifies the photographed cultural property, and provides related voice information and text information to the user terminal, thereby allowing tourists to first It relates to a cultural heritage information provision system based on machine learning image analysis that allows you to easily and conveniently obtain accurate information about cultural assets you encounter.

본 발명의 일 실시예에 따른 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템(100)은 기 입력된 다수의 문화재 이미지를 학습하는 문화재 이미지 학습부(110), 학습된 각 문화재 이미지 별 정보가 저장된 데이터베이스(120) 및 사용자 단말(1)을 통해 입력되는 문화재 이미지를 상기 문화재 이미지 학습부(110)로 제공하고, 상기 문화재 이미지 학습부(110)에 기 학습된 문화재 이미지와의 유사도를 판단하여 해당 문화재의 종류가 파악되도록 한 후, 해당 파악된 문화재 이미지에 대한 정보를 상기 데이터베이스(120)로부터 불러와 해당 사용자 단말(1)에 제공하는 문화재 정보 제공부(130)를 포함하는 것을 특징으로 할 수 있다.The cultural heritage information providing system 100 based on machine learning image analysis according to an embodiment of the present invention includes a cultural heritage image learning unit 110 that learns a plurality of previously input cultural heritage images, and a database in which information for each learned cultural heritage image is stored. The cultural heritage image input through 120 and the user terminal 1 is provided to the cultural heritage image learning unit 110, and similarity with the cultural heritage image previously learned by the cultural heritage image learning unit 110 is determined to determine the cultural heritage image. It may be characterized in that it includes a cultural property information providing unit 130 that retrieves information on the identified cultural property image from the database 120 and provides it to the user terminal 1 after the type of the cultural property is identified. .

일 실시예에서, 상기 문화재 이미지 학습부(110)는 상기 기 입력된 다수의 문화재 이미지 별 벡터값을 추출하여 저장하고, 상기 사용자 단말(1)을 통해 입력되는 문화재 이미지의 벡터값을 추출 후, 기 저장된 문화재 이미지 별 벡터값과 비교하여 가장 높은 유사도를 가지는 문화재 이미지를 선택하는 것을 특징으로 할 수 있다.In one embodiment, the cultural heritage image learning unit 110 extracts and stores the vector values for each of the plurality of cultural assets images previously input, and after extracting the vector values of the cultural assets images input through the user terminal 1, It may be characterized in that the cultural heritage image having the highest similarity is selected by comparing it with a vector value for each previously stored cultural heritage image.

일 실시예에서, 상기 문화재 정보 제공부는 상기 파악된 문화재 이미지에 대한 음성 정보 및 텍스트 정보를 불러와 상기 사용자 단말(1)에 제공하되, 해당 사용자 단말(1)에 의해 설정된 언어에 상응하도록 자동 번역하여 제공하는 것을 특징으로 할 수 있다.In one embodiment, the cultural property information providing unit fetches voice information and text information for the identified cultural property image and provides it to the user terminal 1, but automatically translates to correspond to the language set by the user terminal 1 It may be characterized in that it is provided.

본 발명에 따르면, 사용자 단말을 통해 촬영되는 문화재 사진(이미지 정보)을 머신러닝에 기반하여 자동으로 분석 및 종류를 파악하여 관련 음성 정보 및 텍스트 정보를 사용자 단말에 제공함으로써, 관광객들로 하여금 처음 접하는 문화재에 대한 정확한 정보를 쉽고 간편하게 얻을 수 있도록 할 수 있는 이점을 가진다.According to the present invention, by automatically analyzing and identifying the type of cultural property photos (image information) taken through the user terminal based on machine learning, and providing related voice information and text information to the user terminal, tourists can experience It has the advantage of being able to easily and conveniently obtain accurate information on cultural properties.

또한, 본 발명에 따르면 단순 음성 정보 혹은 텍스트 정보뿐만 아니라, 관련된 영상 정보를 포함하는 링크도 함께 제공할 수 있는 이점을 가진다.In addition, according to the present invention, it is possible to provide not only simple audio information or text information, but also a link including related image information.

또한, 본 발명에 따르면 관광객들에게 문화재에 대한 다양한 정보를 쉽고 간편하게 제공함으로써, 지역문화재에 대한 이해 증대 및 지역 관광 활성화를 도모할 수 있는 이점을 가진다.In addition, according to the present invention, by providing tourists with various information on cultural properties easily and conveniently, it is possible to increase understanding of local cultural properties and promote local tourism.

도 1은 본 발명의 일 실시예에 따른 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템(100)의 구성을 도시한 도면이다.
도 2는 문화재 이미지 학습부(110)에서 기 입력된 다수의 문화재 이미지를 학습하는 과정을 순서대로 도시한 도면이다.
도 3은 도 1에 도시된 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템(100)을 이용하여 문화재 정보를 제공하는 과정을 순서대로 도시한 도면이다.1 is a diagram illustrating the configuration of a cultural property information providing system 100 based on machine learning image analysis according to an embodiment of the present invention.
FIG. 2 is a view sequentially illustrating a process of learning a plurality of previously input cultural heritage images by the cultural heritage image learning unit 110 .
3 is a diagram sequentially illustrating a process of providing cultural heritage information using the cultural heritage information providing system 100 based on machine learning image analysis shown in FIG. 1 .

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present invention pertains can easily implement them. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly explain the present invention, parts irrelevant to the description are omitted, and the same reference numerals are given to the same or similar elements throughout the specification.

또한, 여러 실시예들에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적인 실시예에서만 설명하고, 그 외의 다른 실시예에서는 대표적인 실시예와 다른 구성에 대해서만 설명하기로 한다.In addition, in various embodiments, components having the same configuration will be described using the same reference numerals only in the representative embodiment, and only configurations different from the representative embodiment will be described in other embodiments.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐만 아니라, 다른 부재를 사이에 두고 "간접적으로 연결"된 것도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하는 것을 의미할 수 있다.Throughout the specification, when a part is "connected" to another part, it includes not only the case where it is "directly connected" but also the case where it is "indirectly connected" with another member interposed therebetween. In addition, when a part "includes" a certain component, this may mean further including other components rather than excluding other components unless otherwise stated.

도 1은 본 발명의 일 실시예에 따른 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템(100)의 구성을 도시한 도면이다.1 is a diagram illustrating the configuration of a cultural property information providing system 100 based on machine learning image analysis according to an embodiment of the present invention.

도 1을 살펴보면, 본 발명의 일 실시예에 따른 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템(100)은 크게 문화재 이미지 학습부(110), 데이터베이스(120) 및 문화재 정보 제공부(130)를 포함하여 구성될 수 있다.Referring to FIG. 1 , the cultural property information providing system 100 based on machine learning image analysis according to an embodiment of the present invention largely includes a cultural property image learning unit 110 , a database 120 and a cultural property information providing unit 130 . can be configured.

문화재 이미지 학습부(110)는 관리자 단말(미도시)에 의해 기 입력되는 다수의 문화재 이미지 혹은 조형요소 이미지 별 벡터값을 추출하여 저장하며, 머신러닝에 기반하여 각 문화재 별 종류 또는 각 조형요소 별 종류를 자체적으로 학습하게 된다.The cultural heritage image learning unit 110 extracts and stores a plurality of cultural heritage images or vector values for each modeling element image previously input by the manager terminal (not shown), and based on machine learning for each cultural heritage type or each modeling element You learn the type on your own.

또한, 문화재 이미지 학습부(110)는 사용자 단말(1)에 내장된 카메라 장치를 통해 촬영된 문화재 이미지를 입력받은 후 해당 문화재 이미지의 벡터값을 추출 후, 기 저장된 문화재 이미지 별 벡터값과 비교함으로써, 가장 높은 유사도를 가지는 문화재 이미지를 선택하게 되고 해당 문화재 이미지에 대한 종류를 결정하여 이를 문화재 정보 제공부(130)에 제공하게 된다. 이에 관한 순서를 살펴보면 다음과 같다.In addition, the cultural property image learning unit 110 receives the cultural property image captured through the camera device built into the user terminal 1, extracts the vector value of the cultural property image, and compares it with the vector value for each cultural property image stored in advance. , a cultural property image having the highest similarity is selected, and the type of the cultural property image is determined and provided to the cultural property information providing unit 130 . The order of this is as follows.

도 2는 문화재 이미지 학습부(110)에서 기 입력된 다수의 문화재 이미지를 학습하는 과정을 순서대로 도시한 도면이다.FIG. 2 is a view sequentially illustrating a process of learning a plurality of previously input cultural heritage images by the cultural heritage image learning unit 110 .

도 2를 살펴보면, 먼저 관리자 단말(미도시)을 통해 문화재 이미지 학습부(110)에 학습 기준이 되는 다수의 문화재 이미지 또는 조형요소 이미지가 입력된다(S201).Referring to FIG. 2 , first, a plurality of images of cultural assets or modeling element images serving as learning standards are input to the cultural heritage image learning unit 110 through a manager terminal (not shown) ( S201 ).

다음으로, 문화재 이미지 학습부(110)는 각 문화재 이미지 혹은 각 조형요소 이미지의 벡터값을 추출 및 저장한 후(S202), 각 문화재 이미지 혹은 각 조형요소 이미지들의 벡터값을 서로 비교함으로써 자체적으로 문화재 종류 혹은 조형요소 종류를 결정하는 과정을 반복 학습하게 된다(S203).Next, the cultural property image learning unit 110 extracts and stores the vector values of each cultural property image or each modeling element image (S202), and then compares the vector values of each cultural property image or each modeling element image with each other, thereby making its own cultural assets. The process of determining the type or the type of modeling element is repeatedly learned (S203).

다시 도 1로 돌아와서, 데이터베이스(120)는 문화재 이미지 학습부(110)를 통해 학습된 각 문화재 이미지 혹은 각 조형요소 이미지 별 정보를 저장하는 역할을 한다.Returning to FIG. 1 again, the database 120 serves to store information for each cultural heritage image or each modeling element image learned through the cultural heritage image learning unit 110 .

여기에서, 각 문화재 이미지 별 정보라 함은 문화재 종류, 문화재에 대한 역사 및 문화재 기록과 관련된 음성 정보, 텍스트 정보 혹은 영상 정보를 모두 포함하는 의미로 해석될 수 있다. 또한 각 조형요소 이미지 별 정보도 마찬가지로 조형요소 종류, 조형요소에 대한 역사 및 조형요소 기록과 관련된 음성 정보, 텍스트 정보 혹은 영상 정보를 모두 포함하는 의미로 해석될 수 있다. 더 나아가, 각 문화재와 관련된 유튜브와 같은 영상 제공 서비스의 링크 정보도 포함할 수 있다.Here, the information for each cultural property image may be interpreted to include all of the audio information, text information, or image information related to the type of cultural property, the history of the cultural property, and the cultural property record. In addition, information for each image of each formative element can be interpreted as meaning that includes all of the formative element type, the history of the formative element, and audio information, text information, or image information related to the formative element record. Furthermore, link information of a video providing service such as YouTube related to each cultural property may be included.

문화재 정보 제공부(130)는 사용자 단말(1)을 통해 촬영 및 입력되는 문화재 이미지를 문화재 이미지 학습부(110)로 제공하고, 문화재 이미지 학습부(110)를 통해 해당 문화재 이미지의 종류가 파악되도록 한 후, 해당 문화재에 대한 정보를 데이터베이스(120)로부터 불러와 다시 사용자 단말(1)에 제공하는 역할을 한다.The cultural property information providing unit 130 provides the cultural property image captured and input through the user terminal 1 to the cultural property image learning unit 110 so that the type of the cultural property image is identified through the cultural property image learning unit 110 . After that, it serves to retrieve information on the cultural property from the database 120 and provide it to the user terminal 1 again.

보다 구체적으로, 문화재 정보 제공부(130)는 사용자 단말(1)을 통해 촬영되는 문화재 이미지를 문화재 이미지 학습부(110)로 제공함으로써, 해당 문화재 이미지의 벡터값이 추출되도록 하며, 동시에 문화재 이미지 학습부(110)를 통해 기 학습된 문화재 이미지와의 유사도가 판단되도록 한다.More specifically, the cultural property information providing unit 130 provides the cultural property image photographed through the user terminal 1 to the cultural property image learning unit 110 so that a vector value of the corresponding cultural property image is extracted, and at the same time learning the cultural property image. A degree of similarity with the previously learned cultural property image is determined through the unit 110 .

이에 따라 문화재 이미지 학습부(110)에서는 해당 문화재 이미지와 가장 유사도가 높은 문화재 이미지를 선택하여 문화재 종류를 특정하게 되고, 문화재 정보 제공부(130)는 해당 특정된 문화재 종류에 대한 음성 정보, 텍스트 정보 혹은 영상 정보를 데이터베이스(120)에서 조회한 후 사용자 단말(1)에 제공하게 된다.Accordingly, the cultural property image learning unit 110 selects a cultural property image with the highest similarity to the corresponding cultural property image to specify the cultural property type, and the cultural property information providing unit 130 provides voice information and text information for the specified cultural property type. Alternatively, the image information is searched in the database 120 and then provided to the user terminal 1 .

일 실시예에서, 본 발명은 문화재 이미지 학습부(110)를 통해 학습된 문화재 이미지에 대한 음성 정보, 텍스트 정보 및 영상 정보와 함께, 해당 문화재의 AR 데이터 생성을 위한 AR 데이터 생성부(미도시)를 더 포함할 수 있다.In one embodiment, the present invention provides an AR data generation unit (not shown) for generating AR data of the cultural property along with audio information, text information, and image information about the cultural property image learned through the cultural property image learning unit 110 . may further include.

AR 데이터 생성부는 문화재 이미지 학습부(110)를 통해 학습된 문화재가 사용자 단말(1) 상에서 증강현실 형태로 출력되도록, AR 데이터 생성을 위하여 외부 이미지 검색 서버(미도시)로부터 해당 문화재와 관련된 다수의 이미지 정보를 불러온 후, 불러온 이미지 정보를 조합함으로써 해당 문화재에 대한 3차원 이미지 데이터를 생성하고 이를 토대로 해당 문화재에 대한 AR 데이터를 생성하게 된다.The AR data generator generates AR data from an external image search server (not shown) so that the cultural heritage learned through the cultural heritage image learning unit 110 is output in the form of augmented reality on the user terminal 1 . After retrieving the image information, by combining the retrieved image information, 3D image data for the cultural property is generated, and AR data for the corresponding cultural property is generated based on this.

추후, 문화재 정보 제공부(130)를 통해 해당 문화재에 대한 정보가 사용자 단말(1)에 제공되는 경우, AR 데이터 생성부는 해당 AR 데이터를 사용자 단말(1)에 함께 제공함으로써 사용자 단말(1) 상에 해당 문화재와 관련된 음성 정보, 텍스트 정보, 영상 정보는 물론 AR 데이터가 출력되도록 할 수 있다.Later, when information on the corresponding cultural property is provided to the user terminal 1 through the cultural property information providing unit 130 , the AR data generating unit provides the corresponding AR data to the user terminal 1 together with the user terminal 1 . AR data as well as audio information, text information, and image information related to the relevant cultural property can be output.

일 실시예에서, 문화재 정보 제공부(130)는 사용자 단말(1)에 제공되는 문화재 이미지에 대한 음성 정보 및 텍스트 정보를, 사용자 단말(1)에 의해 설정되는 언어에 상응하도록 자동으로 번역하여 제공할 수 있다.In an embodiment, the cultural property information providing unit 130 automatically translates and provides audio information and text information for the cultural property image provided to the user terminal 1 to correspond to the language set by the user terminal 1 . can do.

이때, 사용자 단말(1)은 사용자의 국적 혹은 사용 언어에 따라 사용자 단말(1) 자체적으로 국가가 설정되어 있다. 따라서, 문화재 정보 제공부(130)는 해당 사용자 단말(1)에 의해 자체적으로 설정된 언어에 따라 문화재 이미지에 대한 음성 정보 및 텍스트 정보를 자동으로 번역시킨 후 사용자 단말(1)에 제공하는 것이다.In this case, the user terminal 1 has its own country set according to the user's nationality or language. Accordingly, the cultural property information providing unit 130 automatically translates the audio information and text information for the cultural property image according to the language set by the user terminal 1 and provides it to the user terminal 1 .

일 실시예에서, 문화재 정보 제공부(130)는 사용자 단말(1)에 의해 촬영된 문화재와 인접한 반경(예를 들어, 100m 혹은 500m 내) 내에 위치하는 다른 문화재에 대한 정보도 추가로 안내될 수 있도록 사용자 단말(1) 상에 인접한 타 문화재를 추천할 수 있다.In an embodiment, the cultural property information providing unit 130 may additionally guide information on other cultural properties located within a radius (eg, within 100 m or 500 m) adjacent to the cultural property photographed by the user terminal 1 . So, it is possible to recommend other cultural properties adjacent to the user terminal 1 .

또한, 일 실시예에서, 문화재 정보 제공부(130)는 사용자 단말(1)에 의해 촬영된 문화재와 인접한 반경 내에 위치하는 다른 문화재를 추천하되, 타 사용자 단말(1)에 의해 다수 촬영 및 다수 검색된 문화재를 순위별로 나열 수 이를 사용자 단말(1)에 제공함으로써, 사용자(관광객)에게 유명한 문화재가 어떠한 문화재인지를 알릴 수 있다.In addition, in one embodiment, the cultural property information providing unit 130 recommends other cultural properties located within a radius adjacent to the cultural property photographed by the user terminal 1, but a plurality of photographed and searched by the other user terminal 1 By providing the number of cultural properties listed by rank to the user terminal 1, it is possible to inform the user (tourist) what kind of cultural properties the famous cultural properties are.

또한, 일 실시예에서, 문화재 정보 제공부(130)는 사용자 단말(1)에 이전에 제공된 문화재에 대한 내역을 날짜 별, 위치 별로 정리한 후 사용자 단말(1)에 제공함으로써, 추후 사용자가 해당 내역을 확인함으로써 자신이 관광하였던 문화재들을 다시금 확인할 수 있도록 할 수 있다.In addition, in one embodiment, the cultural heritage information providing unit 130 provides the user terminal 1 after arranging the details of the cultural heritage previously provided to the user terminal 1 by date and location, so that the user can By checking the details, you can check the cultural assets you have visited again.

또한, 일 실시예에서, 문화재 정보 제공부(130)는 사용자 단말(1)에 의해 촬영되는 문화재의 위치 정보를 기반으로 해당 사용자 단말(1)의 이동 동선을 파악하고 해당 이동 동선에 각 문화재를 매칭시켜 저장함으로써, 추후 사용자가 해당 이동 동선을 확인함으로써 자신이 관광하였던 문화재들이 시간 순서 혹은 이동 순서에 따라 어떠한 문화재들이었는지를 확인할 수 있도록 할 수 있다.Further, in one embodiment, the cultural property information providing unit 130 determines the movement of the user terminal 1 based on the location information of the cultural property photographed by the user terminal 1, and assigns each cultural property to the corresponding movement line. By matching and storing, it is possible for the user to check the cultural assets that he or she has toured in the time sequence or the movement sequence by confirming the corresponding movement route later.

도 3은 도 1에 도시된 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템(100)을 이용하여 문화재 정보를 제공하는 과정을 순서대로 도시한 도면이다.3 is a diagram sequentially illustrating a process of providing cultural heritage information using the cultural heritage information providing system 100 based on machine learning image analysis shown in FIG. 1 .

도 3을 살펴보면, 먼저 관리자 단말(미도시)을 통해 문화재 이미지 학습부(110)에 학습 기준이 되는 다수의 문화재 이미지가 입력되고(301), 문화재 이미지 학습부(110)에서는 각 문화재 이미지 별 벡터값을 추출 후 서로 비교함으로써 문화재 종류를 결정하는 과정을 반복 학습한다(302).Referring to FIG. 3 , first, a plurality of cultural assets images serving as learning standards are input to the cultural heritage image learning unit 110 through a manager terminal (not shown) ( 301 ), and in the cultural heritage image learning unit 110 , a vector for each cultural asset image The process of determining the type of cultural property by extracting values and comparing them with each other is repeatedly learned (302).

그 다음, 사용자 단말(1)을 통해 특정 문화재가 촬영되어 문화재 이미지가 입력되는 경우(303), 문화재 정보 제공부(130)에서는 해당 문화재 이미지를 문화재 이미지 학습부(110)로 제공하여 기 학습된 문화재 ` 유사도를 토대로 문화재 종류가 파악되도록 한 후(304), 데이터베이스(120)로부터 해당 문화재 이미지에 대한 정보를 불러와 사용자 단말(1)에 제공하게 된다(S305).Next, when a specific cultural property is photographed through the user terminal 1 and an image of the cultural property is input ( 303 ), the cultural property information providing unit 130 provides the cultural property image to the cultural property image learning unit 110 to learn the previously learned cultural properties. After the cultural property types are identified based on the similarity of cultural properties (304), information on the corresponding cultural properties image is retrieved from the database 120 and provided to the user terminal 1 (S305).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can.

1: 사용자 단말
100: 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템
110: 문화재 이미지 학습부
120: 데이터베이스
130: 문화재 정보 제공부1: User terminal
100: System for providing information on cultural assets based on machine learning image analysis
110: Cultural Heritage Image Learning Department
120: database
130: cultural property information provision unit

Claims (3)

기 입력된 다수의 문화재 이미지를 학습하는 문화재 이미지 학습부(110);
학습된 각 문화재 이미지 별 정보가 저장된 데이터베이스(120); 및
사용자 단말(1)을 통해 입력되는 문화재 이미지를 상기 문화재 이미지 학습부(110)로 제공하고, 상기 문화재 이미지 학습부(110)에 기 학습된 문화재 이미지와의 유사도를 판단하여 해당 문화재의 종류가 파악되도록 한 후, 해당 파악된 문화재 이미지에 대한 정보를 상기 데이터베이스(120)로부터 불러와 해당 사용자 단말(1)에 제공하는 문화재 정보 제공부(130);를 포함하고,
상기 문화재 정보 제공부는,
해당 문화재에 대한 AR 데이터를 제공하기 위하여, 외부 이미지 검색 서버로부터 해당 문화재와 관련된 다수의 이미지 정보를 불러온 후, 불러온 이미지 정보를 조합함으로써 해당 문화재에 대한 3차원 이미지 데이터를 생성하고,
상기 사용자 단말(1)에 의해 촬영된 문화재와 인접한 기설정된 반경 내에 위치하는 다른 문화재에 대한 정보를 제공할 때, 타 사용자 단말에 의해 촬영된 횟수에 기초하여 상기 촬영된 문화재와 상기 다른 문화재 간의 유명 비교 우위를 알리고,
상기 사용자 단말(1)에 의해 촬영되는 각 문화재의 위치 정보를 기반으로, 이동 동선 및 시간 순서에 따른 문화재 내역 정보를 제공하는 것을 특징으로 하는, 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템.
a cultural property image learning unit 110 for learning a plurality of previously input cultural properties images;
a database 120 in which information for each learned cultural property image is stored; and
The cultural heritage image input through the user terminal 1 is provided to the cultural heritage image learning unit 110, and the similarity with the cultural heritage image previously learned in the cultural heritage image learning unit 110 is determined to determine the type of the cultural heritage. and, after making it possible, the cultural property information providing unit 130 that retrieves information on the identified cultural property image from the database 120 and provides it to the user terminal 1;
The cultural property information providing unit,
In order to provide AR data for the cultural property, a plurality of image information related to the cultural property is retrieved from an external image search server, and three-dimensional image data for the cultural property is generated by combining the retrieved image information,
When providing information on other cultural assets located within a preset radius adjacent to the cultural assets photographed by the user terminal 1, the famous between the photographed cultural assets and the other cultural assets based on the number of times photographed by other user terminals promote comparative advantage,
Based on the location information of each cultural property photographed by the user terminal (1), the cultural heritage information providing system based on machine learning image analysis, characterized in that it provides information on the cultural heritage details according to the moving line and time sequence.
 제1항에 있어서,
상기 문화재 이미지 학습부(110)는,
상기 기 입력된 다수의 문화재 이미지 별 벡터값을 추출하여 저장하고, 상기 사용자 단말(1)을 통해 입력되는 문화재 이미지의 벡터값을 추출 후, 기 저장된 문화재 이미지 별 벡터값과 비교하여 가장 높은 유사도를 가지는 문화재 이미지를 선택하는 것을 특징으로 하는, 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템.
According to claim 1,
The cultural property image learning unit 110,
After extracting and storing the vector values for each of the plurality of images of cultural assets inputted in advance, and after extracting the vector values of the images of cultural assets input through the user terminal 1, the highest similarity is obtained by comparing the vector values for each image of cultural assets stored in advance. A system for providing cultural property information based on machine learning image analysis, characterized in that the cultural property image is selected.
 제1항에 있어서,
상기 문화재 정보 제공부(130)는,
상기 파악된 문화재 이미지에 대한 음성 정보 및 텍스트 정보를 불러와 상기 사용자 단말(1)에 제공하되, 해당 사용자 단말(1)에 의해 설정된 언어에 상응하도록 자동 번역하여 제공하는 것을 특징으로 하는, 머신러닝 이미지 분석에 기반한 문화재 정보 제공 시스템.According to claim 1,
The cultural property information providing unit 130,
Machine learning, characterized in that the voice information and text information for the identified cultural assets image is retrieved and provided to the user terminal 1, which is automatically translated and provided to correspond to the language set by the user terminal 1 A system for providing information on cultural assets based on image analysis.
KR1020210054572A 2021-04-27 2021-04-27 System for providing cultural property information using machine learning image analysis method KR102323880B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210054572A KR102323880B1 (en) 2021-04-27 2021-04-27 System for providing cultural property information using machine learning image analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210054572A KR102323880B1 (en) 2021-04-27 2021-04-27 System for providing cultural property information using machine learning image analysis method

Publications (1)

Publication Number Publication Date
KR102323880B1 true KR102323880B1 (en) 2021-11-09

Family

ID=78610387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210054572A KR102323880B1 (en) 2021-04-27 2021-04-27 System for providing cultural property information using machine learning image analysis method

Country Status (1)

Country Link
KR (1) KR102323880B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150006669A (en) * 2013-07-09 2015-01-19 박용재 Guide system for stuffed objects in museum and method of the same
KR20170035362A (en) 2015-08-31 2017-03-31 (주)늘푸른광고산업 Cultural properties guide system using wireless terminal and guide plate for cultural properties guide system using wireless terminal
KR20190095606A (en) * 2018-01-25 2019-08-16 상명대학교산학협력단 System and Method for recognizing art objects in video combining deep learning technology and image feature extraction technology
KR102021435B1 (en) * 2018-10-26 2019-09-18 주식회사 아낌없이주는나무 System For Providing Contents Linked To Guide Sign
KR20190115930A (en) * 2018-04-04 2019-10-14 네이버 주식회사 Method, apparatus and computer program for searching image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150006669A (en) * 2013-07-09 2015-01-19 박용재 Guide system for stuffed objects in museum and method of the same
KR20170035362A (en) 2015-08-31 2017-03-31 (주)늘푸른광고산업 Cultural properties guide system using wireless terminal and guide plate for cultural properties guide system using wireless terminal
KR20190095606A (en) * 2018-01-25 2019-08-16 상명대학교산학협력단 System and Method for recognizing art objects in video combining deep learning technology and image feature extraction technology
KR20190115930A (en) * 2018-04-04 2019-10-14 네이버 주식회사 Method, apparatus and computer program for searching image
KR102021435B1 (en) * 2018-10-26 2019-09-18 주식회사 아낌없이주는나무 System For Providing Contents Linked To Guide Sign

Similar Documents

Publication Publication Date Title
CN111611436B (en) Label data processing method and device and computer readable storage medium
CN110781347A (en) Video processing method, device, equipment and readable storage medium
CN113283551A (en) Training method and training device of multi-mode pre-training model and electronic equipment
CN113011186B (en) Named entity recognition method, named entity recognition device, named entity recognition equipment and computer readable storage medium
KR101062929B1 (en) Method, terminal, and computer-readable recording medium for supporting collection of object included in the image which is taken
CN112069349A (en) Method for automatically filling in answer, electronic device and readable storage medium
CN114332679A (en) Video processing method, device, equipment, storage medium and computer program product
JP6832322B2 (en) Search device, search method, search program and recording medium
CN113989476A (en) Object identification method and electronic equipment
CN111832826A (en) Library management method and device based on augmented reality and storage medium
CN110888975A (en) Text visualization
KR102323880B1 (en) System for providing cultural property information using machine learning image analysis method
JP2017182646A (en) Information processing device, program and information processing method
US20210390251A1 (en) Automatic generation of form application
CN110851629A (en) Image retrieval method
KR20210061728A (en) Foreign language method, system and computer program providing ai recommendation service
CN114528851B (en) Reply sentence determination method, reply sentence determination device, electronic equipment and storage medium
CN112287159B (en) Retrieval method, electronic device and computer readable medium
CN109284401A (en) The addition of courseware label, courseware recommended method, device and storage medium
CN114676705A (en) Dialogue relation processing method, computer and readable storage medium
JP6370082B2 (en) Information processing apparatus, information processing method, and program
CN113392312A (en) Information processing method and system and electronic equipment
KR20200078946A (en) Method and apparatus for providing information for a simple coding practice linked to a book
CN115880697B (en) Image searching method and device, readable storage medium and electronic equipment
CN116701640B (en) Watermark identification model generation method, watermark identification device and electronic equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant