KR20190069250A - Server and operation method of the server for providing naturual learning contents - Google Patents
Server and operation method of the server for providing naturual learning contents Download PDFInfo
- Publication number
- KR20190069250A KR20190069250A KR1020170169787A KR20170169787A KR20190069250A KR 20190069250 A KR20190069250 A KR 20190069250A KR 1020170169787 A KR1020170169787 A KR 1020170169787A KR 20170169787 A KR20170169787 A KR 20170169787A KR 20190069250 A KR20190069250 A KR 20190069250A
- Authority
- KR
- South Korea
- Prior art keywords
- server
- information
- terminal
- image
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 241000238631 Hexapoda Species 0.000 claims abstract description 16
- 241001465754 Metazoa Species 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 241000196324 Embryophyta Species 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 241000220479 Acacia Species 0.000 description 6
- 235000010643 Leucaena leucocephala Nutrition 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000131091 Lucanus cervus Species 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
- G06Q50/2057—Career enhancement or continuing education service
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Electrically Operated Instructional Devices (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 자연 학습 컨텐츠를 제공하는 서버 및 단말에 관한 것으로, 증강 현실 기반의 자연 학습 컨텐츠를 제공 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a server and a terminal for providing natural learning contents, and relates to a technology for providing natural learning contents based on an augmented reality.
증강현실(Augmented Reality)은 현실의 이미지나 배경에 가상 이미지를 결합하는 기술이다. 증강현실 기술은 현실의 이미지나 배경에 가상으로 생성된 정보를 증강하고 사용자가 가상의 정보와 상호작용할 수 있는 환경을 제공한다. 스마트폰의 보급화에 따라 증강 현실 기술을 적용한 애플리케이션의 수요 및 공급이 증가하고 있는 추세이다.Augmented Reality is a technology that combines virtual images into real images or backgrounds. Augmented reality technology enhances the virtually generated information in the image or background of reality and provides an environment in which the user can interact with the virtual information. As smartphones become more widespread, demand and supply of applications using Augmented Reality technology is increasing.
대부분의 증강현실 애플리케이션은 박물관이나 전시관 등 제한된 환경 및 플랫폼에서 제공되었다. 최근 자연 환경에 대한 관심도가 높아지면서, 자연 학습 컨텐츠의 수요가 늘고 있다. 하지만, 임의의 장소에서 사용자가 처한 환경에 적절한 자연 환경 컨텐츠를 제공하는 기술은 상용화 되지 않았다. 본 발명에서는 사용자가 처한 환경에 따라 동적으로 가상 컨텐츠를 생성하여 사용자에게 제공함으로써, 사용자가 흥미를 느끼도록 하는 자연 학습 컨텐츠 제공 기술을 다룬다.Most augmented reality applications were provided in limited environments and platforms, such as museums and exhibition halls. Recently, as interest in the natural environment has increased, demand for natural learning contents is increasing. However, a technique for providing natural environment contents suitable for the user's environment in an arbitrary place has not been commercialized. In the present invention, a technique of providing a natural learning content to create a virtual content dynamically according to an environment of a user and providing the virtual content to a user, thereby making the user feel interesting.
본 발명은, 자연 학습 컨텐츠를 제공하는 서버 및 서버의 동작 방법을 제시한다. 본 발명에 따르면 다양한 환경에서 사용자가 증강 현실 기반의 자연 학습 컨텐츠가 제공받을 수 있다.The present invention provides a method of operating a server and a server for providing natural learning contents. According to the present invention, a user can receive augmented reality-based natural learning contents in various environments.
일 측면에 있어서, In one aspect,
단말로부터 단말의 촬영 이미지를 수신하는 단계; 상기 촬영 이미지를 분석함으로써, 상기 촬영 이미지의 환경 정보를 추출하는 단계; 상기 환경 정보에 기초하여, 상기 환경 정보와 연관된 자연 학습 컨텐츠를 상기 단말에게 제공하는 단계;를 포함하며, 상기 촬영 이미지의 환경 정보는 상기 촬영 이미지에 포함된 동식물의 식별 정보, 촬영 이미지에 포함된 곤충의 식별 정보 및 상기 촬영 이미지가 촬영된 지역의 생태 정보 중 적어도 하나를 포함하는 서버의 동작 방법이 제공된다.Receiving an image of the terminal from the terminal; Extracting environment information of the photographed image by analyzing the photographed image; And providing the environment learning information associated with the environment information to the terminal based on the environment information, wherein the environment information of the captured image includes at least one of identification information of flora and fauna included in the captured image, An identification information of an insect, and ecology information of an area where the photographed image is photographed.
상기 서버는 기계학습 방식의 이미지 분석 모델에 기초하여 상기 촬영 이미지의 환경 정보를 추출할 수 있다.The server may extract environment information of the photographed image based on an image analysis model of a machine learning method.
상기 서버는 컨볼루셔널 뉴럴 네트워크를 이용하여 상기 촬영 이미지에 포함된 식물의 식별 정보를 추출할 수 있다.The server can extract the identification information of the plant included in the photographed image using the convolutional neural network.
상기 단말로부터 사용자의 조작 정보를 수신하고, 상기 사용자의 조작 정보에 기초하여, 상기 촬영 이미지에서 상기 사용자의 관심 영역을 결정하고, 상기 관심 영역에 포함된 식물의 식별 정보를 추출할 수 있다.The user's operation information is received from the terminal, the user's interest area is determined based on the user's operation information, and the identification information of the plant included in the interest area is extracted.
상기 자연 학습 컨텐츠는 상기 촬영 이미지에 포함된 식물에 서식하는 곤충 정보 및 동물 정보 중 적어도 하나를 포함할 수 있다.The natural learning contents may include at least one of insect information and animal information in the plant contained in the photographed image.
상기 자연 학습 컨텐츠를 제공하는 단계는,Wherein the providing of the natural learning contents comprises:
상기 촬영 이미지가 나타내는 자연 환경에 서식하는 동물 및 곤충 중 적어도 하나에 대한 가상 캐릭터 정보를 생성하고 상기 가상 캐릭터 정보를 상기 단말에게 전송할 수 있다.It is possible to generate virtual character information for at least one of an animal and an insect inhabiting the natural environment represented by the captured image and transmit the virtual character information to the terminal.
개시된 실시예들에 따르면, 서버가 단말로부터 수신한 촬영 이미지에 기초하여 사용자에게 유용한 자연 학습 컨텐츠를 제공할 수 있다. 또한, 서버는 기계 학습 모델에 기반하여 이미지를 분석하고 분석 결과에 기초하여 자연 학습 컨텐츠를 생성할 수 있다. 이를 통해 서버는 다양한 환경에서 사용자에게 증강 현실 기반의 자연 학습 컨텐츠를 제공할 수 있다.According to the disclosed embodiments, the server can provide useful natural learning contents to the user based on the shot image received from the terminal. In addition, the server can analyze the image based on the machine learning model and generate the natural learning contents based on the analysis result. Through this, the server can provide augmented reality based natural learning contents to the user in various environments.
도 1은 본 발명의 예시적인 실시예에 따른 시스템을 나타낸 개념도이다.
도 2는 서버의 구성을 나타낸 블록도이다.
도 3은 단말의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 서버의 동작 방법을 나타낸 순서도이다.
도 5는 서버가 수신한 촬영 이미지의 예이다.
도 6은 서버가 생성한 자연 학습 컨텐츠의 일 예이다.
도 7은 서버가 사용자의 조작 명령을 참조하여 촬영 영상의 환경 정보를 추출하는 일 예를 나타낸 개념도이다.
도 8은 서버가 단말에게 제공하는 자연 학습 컨텐츠의 일 예를 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 서버의 동작 방법을 나타낸 순서도이다.
도 10은 단말에서 표시되는 가상환경 및 가상 캐릭터를 예시적으로 나타낸 개념도이다.
도 11은 본 발명의 추가적인 실시예에 따른 서버의 자연 학습 컨텐츠 관련 서비스 제공 방법을 나타낸 개념도이다.1 is a conceptual diagram illustrating a system according to an exemplary embodiment of the present invention.
2 is a block diagram showing a configuration of a server.
3 is a block diagram showing a configuration of a terminal.
4 is a flowchart illustrating an operation method of a server according to an embodiment of the present invention.
5 is an example of a shot image received by the server.
6 is an example of the natural learning contents generated by the server.
7 is a conceptual diagram illustrating an example in which the server extracts environmental information of a photographed image with reference to a user's operation command.
8 is a conceptual diagram illustrating an example of natural learning contents provided by a server to a terminal.
9 is a flowchart illustrating an operation method of a server according to an embodiment of the present invention.
10 is a conceptual diagram exemplifying a virtual environment and a virtual character displayed on the terminal.
11 is a conceptual diagram illustrating a method of providing a service related to a natural learning content of a server according to a further embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.
도 1은 본 발명의 예시적인 실시예에 따른 시스템을 나타낸 개념도이다.1 is a conceptual diagram illustrating a system according to an exemplary embodiment of the present invention.
도 1을 참조하면, 시스템은 서버(100) 및 단말(200)을 포함할 수 있다.단말(200)은 스마트폰, 태블릿 PC, 랩톱 등을 포함할 수 있으나, 단말(200)의 종류는 상술한 예에 제한되지 않는다. 단말(200)과 서버(100)는 네트워크를 통해 통신할 수 있다. 네트워크는 무선 LANs, CDMA, 블루투스, 위성 통신 등을 포함할 수 있으나 실시예가 이에 제한되는 것은 아니다.1, the system may include a
단말(200)은 촬영 이미지, 사용자의 조작 정보 등을 서버(100)에게 전송할 수 있다. 서버(100)는 단말(200)로부터 수신한 촬영 이미지를 분석할 수 있다. 서버(100)는 촬영 이미지의 환경 정보를 추출할 수 있다. 환경 정보는 촬영된 장소의 생태 정보, 촬영 이미지에 포함된 식물, 동물, 곤충 등의 식별 정보 등을 포함할 수 있다. 생태 정보는 생물이 처한 환경조건, 환경조건에 따른 생물의 적응상태 등에 대한 정보를 포함할 수 있다. 서버(100)는 촬영 이미지를 분석하기 위해 이미지 분석을 수행할 수 있다. 예를 들어, 서버(100)는 기계학습 모델에 기초하여 촬영 이미지의 특성 정보를 추출하고, 추출한 특성 정보에 기초하여 환경 정보를 분류할 수 있다.The
서버(100)는 촬영 이미지의 환경 정보를 추출하기 위해 서버(100)에 저장된 데이터 베이스를 이용할 수 있다. 서버(100)는 추출한 환경 정보에 기초하여, 자연 학습 컨텐츠를 생성할 수 있다. 서버(100)는 자연 학습 컨텐츠를 단말(200)에게 전송할 수 있다. 단말(200)은 서버(100)로부터 수신한 자연 학습 컨텐츠를 디스플레이로 표시하거나 사운드로 출력할 수 있다. The
서버(100)는 단말(200)로부터 사용자의 조작 정보를 수신하여, 사용자의 조작 정보에 따라 사용자 계정에 연동된 정보를 갱신할 수 있다. 또한, 서버(100)는 사용자의 조작에 대응하는 정보를 단말(200)에게 제공할 수 있다.The
도 2는 서버(100)의 구성을 나타낸 블록도이다.2 is a block diagram showing a configuration of the
도 2를 참조하면, 서버(100)는 적어도 하나의 프로세서(120), 저장부(110) 및 통신부(130) 등을 포함할 수 있다. Referring to FIG. 2, the
프로세서(120)는 메모리 및/또는 저장부(110)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(120)는 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphics processing unit; GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 저장부(110)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. The
저장부(110)에는 서버(100)가 이미지 분석에 활용하기 위한 기계학습 모델 및 기계학습 모델의 훈련 데이터가 저장되어 있을 수 있다. 저장부(110)에는 자연 학습 컨텐츠에 대한 데이터 베이스가 저장되어 있을 수 있다. 프로세서(120)는 촬영 이미지로부터 환경 정보를 추출하고, 환경 정보에 대응하는 자연 학습 컨텐츠를 데이터 베이스에서 로드할 수 있다.In the
통신부(130)는 프로세서(120)의 명령에 따라 단말(200)과의 통신을 수행할 수 있다. 통신부(130)는 단말(200)로부터 촬영 이미지, 사용자의 조작 정보 등을 수신하고 단말(200)에게 자연 학습 컨텐츠 등을 전송할 수 있다.The
도 3은 단말(200)의 구성을 나타낸 블록도이다.3 is a block diagram showing the configuration of the terminal 200. As shown in Fig.
도 3을 참조하면, 단말(200)은 적어도 하나의 프로세서(220), 저장부(210), 통신부(230) 및 입출력 인터페이스(240) 등을 포함할 수 있다. 3, the terminal 200 may include at least one
프로세서(220)는 메모리 및/또는 저장부(110)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(120)는 중앙 처리 장치(central processing unit; CPU), 그래픽 처리 장치(graphics processing unit; GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 저장부(110)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. The
저장부(210)에는 자연 학습 컨텐츠 제공을 위한 애플리케이션이 저장되어 있을 수 있다. 통신부(230)는 프로세서(220)의 명령에 따라 서버(100)와의 통신을 수행할 수 있다. 통신부(230)는 촬영 이미지, 사용자의 조작 정보 등을 서버(100)에게 전송하고, 서버(100)로부터 자연 학습 컨텐츠 등을 수신할 수 있다.The
입출력 인터페이스(240)는 사용자의 조작 정보 등을 입력 받을 수 있다. 입출력 인터페이스(240)는 촬영 이미지, 자연 학습 컨텐츠와 관련된 화면 정보, 사운드 등을 출력할 수 있다. 입출력 인터페이스(240)는 터치 스크린, 사운드 장치 등을 포함할 수 있다.The input /
도 4는 본 발명의 실시예에 따른 서버(100)의 동작 방법을 나타낸 순서도이다.4 is a flowchart illustrating an operation method of the
도 4를 참조하면, S410 단계에서, 서버(100)는 단말(200)로부터 촬영 이미지를 수신할 수 있다. S420 단계에서, 서버(100)는 단말(200)로부터 수신한 촬영 이미지를 분석하고, 촬영 이미지의 환경 정보를 추출할 수 있다.Referring to FIG. 4, in step S410, the
도 5는 서버(100)가 수신한 촬영 이미지의 예이다. 서버(100)는 촬영 이미지를 분석하고, 촬영 이미지에 포함된 식물의 식별 정보를 추출할 수 있다. 예를 들어, 서버(100)는 촬영 이미지에 포함된 식물이 아카시아 나무라는 정보를 추출할 수 있다. 서버(100)는 기계학습 모델 등을 이용하여 촬영 이미지를 분석할 수 있다. 예를 들어, 서버(100)는 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network; CNN)를 이용하여 촬영 이미지의 특징 벡터들을 추출할 수 있다. 서버(100)는 촬영 이미지에서 객체가 존재하는 영역을 확정하고 객체의 특성으로부터 객체를 카테고리화 할 수 있다. 5 is an example of a photographed image received by the
이상에서는 서버(100)가 촬영 이미지에 포함된 식물의 식별 정보를 추출하는 예를 기술했다. 하지만, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 서버(100)는 촬영 이미지에 포함된 동물 또는 곤충의 식별 정보를 추출할 수도 있다. 서버(100)는 촬영 이미지에 포함된 객체들의 식별 정보 등에 기초하여, 촬영 이미지가 촬영된 장소의 생태 정보를 추출할 수도 있다. 서버(100)는 촬영 이미지가 촬영된 장소의 생태 특성, 장소에서 서식하는 동식물, 곤충 등에 대한 정보를 추출할 수 있다.In the foregoing, the
다시 도 4를 참조하면, 서버(100)는 자연 학습 컨텐츠를 생성하고, 단말(200)에게 전송할 수 있다. 서버(100)는 S420 단계에서 추출한 환경 정보에 기초하여, 자연 학습 컨텐츠를 생성할 수 있다. Referring again to FIG. 4, the
도 6은 서버(100)가 생성한 자연 학습 컨텐츠의 일 예이다.6 is an example of the natural learning contents generated by the
도 6을 참조하면, 서버(100)는 자연 환경 정보로부터 자연 학습 컨텐츠를 생성할 수 있다. 예를 들어, 도 5에서 나타낸 바와 같이 서버(100)가 촬영 이미지에 포함된 식물이 아카시아 나무라는 것을 알아낸 경우, 서버(100)는 아카시아 나무와 관련된 자연 학습 컨텐츠를 생성할 수 있다. 예를 들어, 서버(100)는 데이터 베이스에 기초하여, 아카시아 나무에 서식하는 곤충에 대한 정보를 자연 학습 컨텐츠로 생성할 수 있다. 서버(100)는 아카시아 나무에 사는 사슴 벌레에 대한 정보를 데이터 베이스에서 로드하여 자연 학습 컨텐츠로 생성할 수 있다.Referring to FIG. 6, the
서버(100)는 단말(200)에게 자연 학습 컨텐츠를 전송할 수 있다. 단말(200)은 서버(100)로부터 수신한 자연 학습 컨텐츠를 사용자에게 출력할 수 있다. 예를 들어, 단말(200)은 사슴 벌레에 대한 정보를 수신하고, 아카시아 나무에 서식하는 곤충에 대한 정보로서 사슴 벌레에 대한 정보를 화면에 출력할 수 있다.The
도 5에서는 촬영 영상에 한 종류의 식물들이 있어서 서버(100)의 환경 정보 추출이 상대적으로 용이할 수 있다. 다른 예로 촬영 영상에 여러 종류의 동식물 또는 곤충들이 있거나, 사용자가 촬영 영상 안의 특정 개체와 관련된 자연 학습 정보를 원할 수 있다. 이 경우, 단말(200)은 입출력 인터페이스(240)를 통해 사용자의 조작 명령을 입력 받을 수 있다. 단말(200)은 사용자의 조작 정보를 서버(100)에게 전송할 수 있다. 서버(100)는 사용자의 조작 명령을 참조하여 촬영 영상의 환경 정보를 추출할 수 있다.In FIG. 5, there is one kind of plant in the photographed image, so that the environment information extraction of the
도 7은 서버(100)가 사용자의 조작 명령을 참조하여 촬영 영상의 환경 정보를 추출하는 일 예를 나타낸 개념도이다.7 is a conceptual diagram showing an example in which the
도 7을 참조하면, 단말(200)은 사용자가 촬영 이미지에서 특정 영역을 선택하는 조작 명령을 입력 받을 수 있다. 단말(200)은 사용자의 조작 정보를 서버(100)에게 전송할 수 있다. 서버(100)는 사용자의 조작 명령에 기초하여, 사용자가 관심있는 영역을 설정하고, 설정한 영역 안에서 이미지를 분석할 수 있다. 서버(100)는 사용자가 설정한 영역 안에 있는 동물, 식물 또는 곤충의 식별 정보를 추출할 수 있다. 이를 통해, 서버(100)의 이미지 분석이 용이해지고, 서버(100)가 제공하는 자연 학습 컨텐츠가 사용자의 니즈(needs)에 부합할 수 있다.Referring to FIG. 7, the terminal 200 may receive an operation command for the user to select a specific region in the captured image. The terminal 200 can transmit the operation information of the user to the
서버(100)는 단순한 학습 정보를 제공하는데 그치지 않고, 증강 현실에 기반한 자연 학습 컨텐츠를 제공할 수도 있다.The
도 8은 서버(100)가 단말(200)에게 제공하는 자연 학습 컨텐츠의 일 예를 나타낸 개념도이다.8 is a conceptual diagram illustrating an example of natural learning contents that the
도 8을 참조하면, 서버(100)는 수신한 촬영 영상에 기반하여, 촬영 영상의 환경 정보와 연관된 가상 캐릭터를 자연 학습 컨텐츠로 제공할 수 있다. 단말(200)은 서버(100)로부터 가상 캐릭터에 대한 정보를 수신할 수 있다. 단말(200)은 디스플레이 등을 통해 촬영 영상에 가상 캐릭터를 결합하여, 증강현실 서비스를 사용자에게 제공할 수 있다. 예를 들어, 서버(100)는 영상의 촬영 장소에 서식하는 동물 또는 곤충을 결정하고, 결정한 동물 또는 곤충의 가상 캐릭터를 자연 학습 컨텐츠로서 단말(200)에게 제공할 수 있다. 서버(100)는 촬영 영상에 포함된 식물들의 식별 정보 및 식물들의 위치에 기반하여, 가상 캐릭터의 종류와 가상 캐릭터가 표시되는 위치를 결정할 수 있다. Referring to FIG. 8, the
서버(100)가 가상 캐릭터의 종류와, 가상 캐릭터의 위치 정보를 단말(200)에게 전송하면, 단말(200)은 촬영 영상에 가상 캐릭터를 결합하여 표시할 수 있다. 가상 캐릭터가 표시되는 위치는 서버(100)에 의해 결정될 수 있다. 다른 예로, 서버(100)가 가상 캐릭터가 표시되는 위치를 결정하지 않은 경우, 단말(200)의 프로세서(220)가 가상 캐릭터의 표시 위치를 결정할 수도 있다.When the
도 9는 본 발명의 실시예에 따른 서버(100)의 동작 방법을 나타낸 순서도이다. 도 9의 실시예를 설명함에 있어서, 도 4와 중복되는 내용은 생략한다.9 is a flowchart illustrating an operation method of the
도 9를 참조하면, S930 단계에서, 서버(100)는 도 8을 참조하여 나타낸 바와 같이 가상 캐릭터 정보를 자연 학습 컨텐츠로서 단말(200)에게 제공할 수 있다. 단말(200)은 가상 캐릭터를 촬영 영상과 함께 표시할 수 있다. 단말(200)은 사용자로부터 가상 캐릭터와 관련된 사용자 조작을 입력 받을 수 있다. 단말(200)의 입출력 인터페이스(240)는 터치 스크린, 자이로스코프 등의 동작 인식 센서 등을 포함할 수 있다. 단말(200)은 사용자의 터치 또는 사용자의 동작을 인식할 수 있다. Referring to FIG. 9, in step S930, the
단말(200)은 사용자의 조작을 입력 받고, 가상 캐릭터에 대한 사용자 정보를 생성할 수 있다. 예를 들어, 단말(200)은 사용자의 조작에 기초하여, 가상 캐릭터에 대한 채집 정보를 생성할 수 있다. 단말(200)은 가상 캐릭터에 대한 채집 정보를 서버(100)에게 전송할 수 있다. 채집 정보는 채집된 가상 캐릭터의 식별 정보, 채집 장소 등에 대한 정보를 포함할 수 있다.The terminal 200 receives the user's operation and can generate user information for the virtual character. For example, the terminal 200 can generate collection information for a virtual character based on a user's operation. The terminal 200 can transmit the collection information about the virtual character to the
서버(100)는 단말(200)로부터 가상 캐릭터의 채집 정보를 수신할 수 있다. 서버(100)는 채집 정보에 기초하여, 사용자의 계정과 연동된 정보를 갱신할 수 있다. 예를 들어, 사용자의 계정과 연동된 정보는, 사용자가 자연 학습 컨텐츠를 제공 받은 장소, 사용자가 가상 캐릭터를 채집한 장소, 사용자가 채집한 가상 캐릭터 목록 등에 대한 정보를 포함할 수 있다. 서버(100)는 단말(200)로부터 수신한 채집 정보에 기초하여 사용자가 채집한 가상 캐릭터의 목록과, 사용자의 채집 장소, 시각 등에 대한 정보를 갱신할 수 있다. The
단말(200)은 서버(100)로부터 사용자의 계정과 연동된 정보를 제공받을 수 있다. 예를 들어, 단말(200)은 서버(100)로부터 사용자가 채집한 가상 캐릭터의 목록 등에 대한 정보를 수신할 수 있다. 단말(200)은 사용자가 채집한 가상 캐릭터를 가상환경과 함께 표시할 수 있다.The terminal 200 can receive information linked with the user's account from the
도 10은 단말(200)에서 표시되는 가상환경 및 가상 캐릭터를 예시적으로 나타낸 개념도이다.10 is a conceptual diagram exemplarily showing a virtual environment and a virtual character displayed in the
도 10을 참조하면, 단말(200)은 동물원 등과 같은 가상환경에 사용자가 채집한 가상 캐릭터를 증강하여 표시할 수 있다. 단말(200)은 서버(100)로부터 제공받은 사용자 계정 연동 정보에 기초하여 가상환경에 증강되는 가상 캐릭터를 결정할 수 있다. 사용자의 계정 연동 정보 중 일부는 다른 사용자와 공유될 수도 있다. 서버(100)는 제1 사용자가 채집한 가상 캐릭터 정보를 제2 사용자의 단말에게도 제공할 수 있다. 이를 통해, 친구 관계에 있는 사용자들끼리 각자가 채집한 가상 캐릭터 정보를 공유할 수 있다.Referring to FIG. 10, the terminal 200 may augment and display a virtual character collected by a user in a virtual environment such as a zoo. The terminal 200 can determine a virtual character to be augmented in the virtual environment based on the user account interworking information provided from the
도 11은 본 발명의 추가적인 실시예에 따른 서버(100)의 자연 학습 컨텐츠 관련 서비스 제공 방법을 나타낸 개념도이다.11 is a conceptual diagram illustrating a method of providing a service related to a natural learning content of the
도 11을 참조하면, 서버(100)는 단말(200)로부터 단말(200)의 위치 정보를 수신할 수 있다. 서버(100)는 단말(200)의 위치 정보에 기초하여, 사용자 주변의 수목원, 동물원 등 추천 방문 장소를 결정할 수 있다. 서버(100)는 추천 방문 장소에 대한 정보를 단말(200)에게 전송할 수 있다. 단말(200)은 서버(100)로부터 수신한 정보에 기초하여, 지도 등과 함께 추천 방문 장소의 위치 및 추천 방문 장소에 대한 정보를 표시할 수 있다.Referring to FIG. 11, the
이상에서 도 1 내지 도 11을 참조하여, 본 발명의 예시적인 실시예들에 서버 및 서버의 동작 방법에 관하여 설명하였다. 상술한 실시예들에 따르면, 서버가 단말로부터 수신한 촬영 이미지에 기초하여 사용자에게 유용한 자연 학습 컨텐츠를 제공할 수 있다. 또한, 서버는 기계 학습 모델에 기반하여 이미지를 분석하고 분석 결과에 기초하여 자연 학습 컨텐츠를 생성할 수 있다. 이를 통해 서버는 다양한 환경에서 사용자에게 증강 현실 기반의 자연 학습 컨텐츠를 제공할 수 있다.[0040] The operation method of the server and the server has been described in the exemplary embodiments of the present invention with reference to FIG. 1 through FIG. According to the above-described embodiments, the server can provide the user with useful natural learning contents based on the captured image received from the terminal. In addition, the server can analyze the image based on the machine learning model and generate the natural learning contents based on the analysis result. Through this, the server can provide augmented reality based natural learning contents to the user in various environments.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.The methods according to the present invention can be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention or may be available to those skilled in the computer software.
컴퓨터 판독 가능 매체의 예에는 롬, 램, 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 1의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer readable media include hardware devices that are specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by the compiler 1, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
Claims (6)
단말로부터 단말의 촬영 이미지를 수신하는 단계;
상기 촬영 이미지를 분석함으로써, 상기 촬영 이미지의 환경 정보를 추출하는 단계;
상기 환경 정보에 기초하여, 상기 환경 정보와 연관된 자연 학습 컨텐츠를 상기 단말에게 제공하는 단계;를 포함하며,
상기 촬영 이미지의 환경 정보는 상기 촬영 이미지에 포함된 동식물의 식별 정보, 촬영 이미지에 포함된 곤충의 식별 정보 및 상기 촬영 이미지가 촬영된 지역의 생태 정보 중 적어도 하나를 포함하는 서버의 동작 방법.A method of operating a server for providing natural learning contents,
Receiving an image of the terminal from the terminal;
Extracting environment information of the photographed image by analyzing the photographed image;
And providing natural learning contents associated with the environment information to the terminal based on the environment information,
Wherein the environment information of the photographed image includes at least one of identification information of an animal and a plant included in the photographed image, identification information of an insect included in the photographed image, and ecological information of an area where the photographed image is photographed.
상기 서버는 기계학습 방식의 이미지 분석 모델에 기초하여 상기 촬영 이미지의 환경 정보를 추출하는 서버의 동작 방법.The method according to claim 1,
Wherein the server extracts environment information of the photographed image based on an image analysis model of a machine learning method.
상기 서버는 컨볼루셔널 뉴럴 네트워크를 이용하여 상기 촬영 이미지에 포함된 식물의 식별 정보를 추출하는 서버의 동작 방법.The method of claim 2,
Wherein the server extracts identification information of a plant included in the captured image using a convolutional neural network.
상기 단말로부터 사용자의 조작 정보를 수신하고, 상기 사용자의 조작 정보에 기초하여, 상기 촬영 이미지에서 상기 사용자의 관심 영역을 결정하고, 상기 관심 영역에 포함된 식물의 식별 정보를 추출하는 서버의 동작 방법.The method of claim 3,
An operation method of a server that receives user's operation information from the terminal, determines an area of interest of the user in the captured image based on the user's operation information, and extracts identification information of the plant included in the area of interest .
상기 자연 학습 컨텐츠는 상기 촬영 이미지에 포함된 식물에 서식하는 곤충 정보 및 동물 정보 중 적어도 하나를 포함하는 서버의 동작 방법.The method according to claim 1,
Wherein the natural learning contents include at least one of insect information and animal information in a plant contained in the photographed image.
상기 자연 학습 컨텐츠를 제공하는 단계는,
상기 촬영 이미지가 나타내는 자연 환경에 서식하는 동물 및 곤충 중 적어도 하나에 대한 가상 캐릭터 정보를 생성하고 상기 가상 캐릭터 정보를 상기 단말에게 전송하는 서버의 동작 방법.The method according to claim 1,
Wherein the providing of the natural learning contents comprises:
Generating virtual character information for at least one of an animal and an insect inhabiting a natural environment represented by the captured image, and transmitting the virtual character information to the terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170169787A KR20190069250A (en) | 2017-12-11 | 2017-12-11 | Server and operation method of the server for providing naturual learning contents |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170169787A KR20190069250A (en) | 2017-12-11 | 2017-12-11 | Server and operation method of the server for providing naturual learning contents |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190069250A true KR20190069250A (en) | 2019-06-19 |
Family
ID=67104714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170169787A KR20190069250A (en) | 2017-12-11 | 2017-12-11 | Server and operation method of the server for providing naturual learning contents |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20190069250A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102195389B1 (en) * | 2020-02-03 | 2020-12-24 | 주식회사 씨팩토리 | Game control method and apparatus for ecological play |
KR102342843B1 (en) * | 2021-10-01 | 2021-12-23 | 주식회사 빛글림 | A method of serving customized content considering circumstance |
-
2017
- 2017-12-11 KR KR1020170169787A patent/KR20190069250A/en unknown
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102195389B1 (en) * | 2020-02-03 | 2020-12-24 | 주식회사 씨팩토리 | Game control method and apparatus for ecological play |
KR102342843B1 (en) * | 2021-10-01 | 2021-12-23 | 주식회사 빛글림 | A method of serving customized content considering circumstance |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10664060B2 (en) | Multimodal input-based interaction method and device | |
CN105808056B (en) | A kind of Media method and system based on two dimensional code | |
CN110716645A (en) | Augmented reality data presentation method and device, electronic equipment and storage medium | |
CN109063662B (en) | Data processing method, device, equipment and storage medium | |
KR101615171B1 (en) | system and method for providing collaborative contents service based on augmented reality | |
Rodrigues et al. | Adaptive card design UI implementation for an augmented reality museum application | |
CN112164002B (en) | Training method and device of face correction model, electronic equipment and storage medium | |
CN112040273B (en) | Video synthesis method and device | |
CN111862341A (en) | Virtual object driving method and device, display equipment and computer storage medium | |
CN111652983A (en) | Augmented reality AR special effect generation method, device and equipment | |
KR20190069250A (en) | Server and operation method of the server for providing naturual learning contents | |
CN114116086A (en) | Page editing method, device, equipment and storage medium | |
CN112569591B (en) | Data processing method, device and equipment and readable storage medium | |
CN112270384B (en) | Loop detection method and device, electronic equipment and storage medium | |
CN115619867B (en) | Data processing method, device, equipment and storage medium | |
CN106503174A (en) | A kind of environment Visualization method and system modeled based on Network Three-dimensional | |
KR20200100274A (en) | Image Pattern MARK and Image Recognition System Using Augmented Reality | |
KR100945288B1 (en) | Applying Extended ARG to Augmented Reality Based Single Media Multi-Services Method and the system | |
Orhei | Urban landmark detection using computer vision | |
CN108932088B (en) | Virtual object collection method and portable electronic device | |
CN111131913A (en) | Video generation method and device based on virtual reality technology and storage medium | |
KR20120052128A (en) | Apparatus and method of studing using ae | |
Lim et al. | A study on web augmented reality based smart exhibition system design for user participating | |
Ogi et al. | Development of AR information system based on deep learning and gamification | |
Ristić et al. | Designing augmented reality application for interaction with smart environment |