KR102195389B1 - 생태 놀이를 위한 게임 제어 방법 및 장치 - Google Patents
생태 놀이를 위한 게임 제어 방법 및 장치 Download PDFInfo
- Publication number
- KR102195389B1 KR102195389B1 KR1020200015383A KR20200015383A KR102195389B1 KR 102195389 B1 KR102195389 B1 KR 102195389B1 KR 1020200015383 A KR1020200015383 A KR 1020200015383A KR 20200015383 A KR20200015383 A KR 20200015383A KR 102195389 B1 KR102195389 B1 KR 102195389B1
- Authority
- KR
- South Korea
- Prior art keywords
- seed
- information
- ecological
- game control
- target area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000009331 sowing Methods 0.000 claims abstract description 113
- 238000010899 nucleation Methods 0.000 claims abstract description 53
- 230000004044 response Effects 0.000 claims abstract description 10
- 239000002689 soil Substances 0.000 claims description 150
- 238000013528 artificial neural network Methods 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 37
- 239000002245 particle Substances 0.000 claims description 25
- 230000012010 growth Effects 0.000 claims description 19
- 239000004927 clay Substances 0.000 claims description 16
- 239000004576 sand Substances 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 72
- 241000196324 Embryophyta Species 0.000 description 27
- 238000012545 processing Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 19
- 239000000284 extract Substances 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000035040 seed growth Effects 0.000 description 5
- 235000011301 Brassica oleracea var capitata Nutrition 0.000 description 4
- 240000004160 Capsicum annuum Species 0.000 description 4
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 240000008415 Lactuca sativa Species 0.000 description 4
- 235000003228 Lactuca sativa Nutrition 0.000 description 4
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 4
- 240000003768 Solanum lycopersicum Species 0.000 description 4
- 235000002597 Solanum melongena Nutrition 0.000 description 4
- 244000061458 Solanum melongena Species 0.000 description 4
- -1 electricity Substances 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 4
- 241000234282 Allium Species 0.000 description 3
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 3
- 240000002234 Allium sativum Species 0.000 description 3
- 235000021537 Beetroot Nutrition 0.000 description 3
- 244000067456 Chrysanthemum coronarium Species 0.000 description 3
- 244000241235 Citrullus lanatus Species 0.000 description 3
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 3
- 244000017020 Ipomoea batatas Species 0.000 description 3
- 235000002678 Ipomoea batatas Nutrition 0.000 description 3
- 244000088415 Raphanus sativus Species 0.000 description 3
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 3
- 235000009337 Spinacia oleracea Nutrition 0.000 description 3
- 244000300264 Spinacia oleracea Species 0.000 description 3
- 240000008042 Zea mays Species 0.000 description 3
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000001511 capsicum annuum Substances 0.000 description 3
- 235000005822 corn Nutrition 0.000 description 3
- 235000015134 garland chrysanthemum Nutrition 0.000 description 3
- 235000004611 garlic Nutrition 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000001179 sorption measurement Methods 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- LPLLVINFLBSFRP-UHFFFAOYSA-N 2-methylamino-1-phenylpropan-1-one Chemical compound CNC(C)C(=O)C1=CC=CC=C1 LPLLVINFLBSFRP-UHFFFAOYSA-N 0.000 description 2
- 240000005304 Ageratina riparia Species 0.000 description 2
- 235000005254 Allium ampeloprasum Nutrition 0.000 description 2
- 240000006108 Allium ampeloprasum Species 0.000 description 2
- 235000000832 Ayote Nutrition 0.000 description 2
- 240000007124 Brassica oleracea Species 0.000 description 2
- 235000003899 Brassica oleracea var acephala Nutrition 0.000 description 2
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 2
- 235000001169 Brassica oleracea var oleracea Nutrition 0.000 description 2
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 2
- 244000178937 Brassica oleracea var. capitata Species 0.000 description 2
- 235000010149 Brassica rapa subsp chinensis Nutrition 0.000 description 2
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 2
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 2
- 235000007542 Cichorium intybus Nutrition 0.000 description 2
- 244000298479 Cichorium intybus Species 0.000 description 2
- 241000132539 Cosmos Species 0.000 description 2
- 235000005956 Cosmos caudatus Nutrition 0.000 description 2
- 241000219112 Cucumis Species 0.000 description 2
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 2
- 240000008067 Cucumis sativus Species 0.000 description 2
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 2
- 240000004244 Cucurbita moschata Species 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 2
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 2
- 244000000626 Daucus carota Species 0.000 description 2
- 235000002767 Daucus carota Nutrition 0.000 description 2
- 240000009088 Fragaria x ananassa Species 0.000 description 2
- 244000046052 Phaseolus vulgaris Species 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 235000006886 Zingiber officinale Nutrition 0.000 description 2
- 244000273928 Zingiber officinale Species 0.000 description 2
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000035784 germination Effects 0.000 description 2
- 235000008397 ginger Nutrition 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 235000015097 nutrients Nutrition 0.000 description 2
- 239000005416 organic matter Substances 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 235000015136 pumpkin Nutrition 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 235000021012 strawberries Nutrition 0.000 description 2
- 235000013311 vegetables Nutrition 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- 235000017060 Arachis glabrata Nutrition 0.000 description 1
- 244000105624 Arachis hypogaea Species 0.000 description 1
- 235000010777 Arachis hypogaea Nutrition 0.000 description 1
- 235000018262 Arachis monticola Nutrition 0.000 description 1
- 244000003416 Asparagus officinalis Species 0.000 description 1
- 235000005340 Asparagus officinalis Nutrition 0.000 description 1
- 235000017647 Brassica oleracea var italica Nutrition 0.000 description 1
- 244000304217 Brassica oleracea var. gongylodes Species 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000007862 Capsicum baccatum Nutrition 0.000 description 1
- 235000005940 Centaurea cyanus Nutrition 0.000 description 1
- 240000004385 Centaurea cyanus Species 0.000 description 1
- 240000006740 Cichorium endivia Species 0.000 description 1
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 244000205754 Colocasia esculenta Species 0.000 description 1
- 235000003222 Helianthus annuus Nutrition 0.000 description 1
- 244000020551 Helianthus annuus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 240000000982 Malva neglecta Species 0.000 description 1
- 235000000060 Malva neglecta Nutrition 0.000 description 1
- PWHULOQIROXLJO-UHFFFAOYSA-N Manganese Chemical compound [Mn] PWHULOQIROXLJO-UHFFFAOYSA-N 0.000 description 1
- 241000234479 Narcissus Species 0.000 description 1
- 235000010676 Ocimum basilicum Nutrition 0.000 description 1
- 240000007926 Ocimum gratissimum Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000004347 Perilla Nutrition 0.000 description 1
- 244000124853 Perilla frutescens Species 0.000 description 1
- 235000003823 Petasites japonicus Nutrition 0.000 description 1
- 240000003296 Petasites japonicus Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 240000003889 Piper guineense Species 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 241000758706 Piperaceae Species 0.000 description 1
- 244000178231 Rosmarinus officinalis Species 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 241000352057 Solanum vernei Species 0.000 description 1
- 235000004976 Solanum vernei Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000001436 butterbur Nutrition 0.000 description 1
- 239000001728 capsicum frutescens Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000003733 chicria Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000012364 cultivation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000035558 fertility Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000003864 humus Substances 0.000 description 1
- 239000010954 inorganic particle Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000021332 kidney beans Nutrition 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 229910052748 manganese Inorganic materials 0.000 description 1
- 239000011572 manganese Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000020232 peanut Nutrition 0.000 description 1
- 230000008636 plant growth process Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
-
- G06K9/46—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biodiversity & Conservation Biology (AREA)
- Botany (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
Abstract
생태 놀이를 위한 게임 제어 방법 및 장치가 개시된다. 일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 생태 놀이에 참여하는 유저의 위치를 수신하는 단계; 상기 위치를 중심으로 미리 정의된 반경 내에서 적어도 하나의 씨앗 뿌리기 대상 구역을 포함하는 생태 놀이 맵을 제공하는 단계; 상기 위치에 기초하여, 상기 유저가 접근한 씨앗 뿌리기 대상 구역을 식별하는 단계; 상기 식별된 씨앗 뿌리기 대상 구역의 대상 구역 이미지를 획득하는 단계; 상기 유저가 상기 식별된 씨앗 뿌리기 대상 구역에 심고자 하는 씨앗의 씨앗 정보를 획득하는 단계; 상기 대상 구역 이미지 및 상기 씨앗 정보에 기초하여, 상기 씨앗이 상기 씨앗 뿌리기 대상 구역에 적합한지 여부에 대한 판단 결과를 생성하는 단계; 상기 판단 결과에 응답하여, 상기 유저에 의해 수행된 씨앗 뿌리기 결과를 수신하는 단계; 및 상기 수신된 씨앗 뿌리기 결과에 기초하여, 상기 생태 놀이 맵을 갱신하는 단계를 포함한다.
Description
실시예들은 생태 놀이를 위한 게임 제어 기술에 관한 것이다. 실시예들은 씨앗을 심는 체험감을 유저들에게 제공하기 위해 씨앗과 씨앗을 뿌리고자 하는 대상을 분석하고, 분석 결과를 기반으로 UI/UX(User Interface/User Experience)를 제공하여 생태 놀이에 대한 참여도를 높이는 어플리케이션 동작의 제어 기술에 관한 것이다.
사회적인 활동과 운동에 자발적인 참여를 유도하기 위한 어플리케이션의 출시가 많아지고 있다. 스마트폰의 대중화와 통신 기술의 발전으로 유저들 간에 소통하고, 유저의 히스토리를 기반으로 적합한 컨텐츠를 제공하는 서비스도 다각화되고 있다. 환경 문제의 중요성도 점점 부각되면서, 법과 규제를 통해 사람들의 행동을 강제하는 것뿐만 아니라 스마트폰 기반의 컨텐츠를 통해 사람들의 자발적인 행동을 자연스럽게 유도하는 방식도 많이 도입되고 있다.
생태 문제와 관련하여, 생태계를 가꾸고 녹지를 조성하는 역할을 확대하는 움직임이 있고, 이를 위한 사회 운동도 관심이 높아지고 있다. 자연 환경에 대한 책임 의식이 확장되고 사회 구성원들에게 공유되면서, 환경 운동의 참여를 유도하는 컨텐츠와 서비스의 고도화도 요구된다. 최근에는 야생초와 같은 식물을 번식시키기 위해 흙이나 나대지에 씨앗을 뿌리는 씨앗 폭탄 활동도 주목을 받고 있다. 스마트폰을 활용하여 데이터를 수집하고, 방대한 데이터를 처리하는 기술도 고도화되면서 사회 구성원의 참여가 요구되는 활동과 사용자 기반 서비스를 접목시키는 기술, 즉 생태 놀이에 친숙해지고 재미와 체험감을 높이기 위한 기술의 연구가 요구된다.
실시예들은 씨앗 이미지와 땅 이미지를 분석하여 씨앗을 뿌리기에 적합한 땅인지 여부를 판단하여 씨 뿌리기 활동에 적합한 결과를 제시하고, 이를 통해 씨앗 뿌리기에 대한 체험감, 참여도 및 몰입도를 높이고자 한다.
실시예들은 씨앗을 뿌리는 행위에 파생되는 컨텐츠를 제공하기 위해 씨앗과 땅 관련 이미지를 수집하고, 학습을 기반으로 씨앗의 성장 관련 결과를 제시하고자 한다.
실시예들은 인공지능을 기반으로 씨앗 이미지를 분석하여 씨앗 정보를 생성하는 동작을 수행하고, 씨앗 정보와 관련된 데이터의 학습을 기반으로 씨앗 정보를 제공하고자 한다.
실시예들은 인공지능을 기반으로 씨앗 뿌리기 대상이 되는 구역의 이미지를 처리하고, 씨앗의 성장과 관련된 변수들의 학습을 기반으로 생태계 조성에 적합한 결과를 제공하고자 한다.
실시예들은 씨앗을 뿌리는 체험감을 제공하여, 생태 놀이에 자연스럽게 적응하고 재미를 유도하는 방법을 제공하고자 한다.
일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 생태 놀이에 참여하는 유저의 위치를 수신하는 단계; 상기 위치를 중심으로 미리 정의된 반경 내에서 적어도 하나의 씨앗 뿌리기 대상 구역을 포함하는 생태 놀이 맵을 제공하는 단계; 상기 위치에 기초하여, 상기 유저가 접근한 씨앗 뿌리기 대상 구역을 식별하는 단계; 상기 식별된 씨앗 뿌리기 대상 구역의 대상 구역 이미지를 획득하는 단계; 상기 유저가 상기 식별된 씨앗 뿌리기 대상 구역에 심고자 하는 씨앗의 씨앗 정보를 획득하는 단계; 상기 대상 구역 이미지 및 상기 씨앗 정보에 기초하여, 상기 씨앗이 상기 씨앗 뿌리기 대상 구역에 적합한지 여부에 대한 판단 결과를 생성하는 단계; 상기 판단 결과에 응답하여, 상기 유저에 의해 수행된 씨앗 뿌리기 결과를 수신하는 단계; 및 상기 수신된 씨앗 뿌리기 결과에 기초하여, 상기 생태 놀이 맵을 갱신하는 단계를 포함한다.
일실시예에 따르면, 상기 씨앗 정보를 획득하는 단계는 상기 씨앗의 씨앗 이미지를 획득하는 단계; 상기 씨앗 이미지 내 적어도 하나의 씨앗을 포함하는 씨앗 그룹 객체를 배경으로부터 분리하는 단계; 상기 씨앗 그룹 객체의 곡률들의 변화율의 연속성에 기초하여 씨앗 객체들을 식별하는 단계; 상기 씨앗 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들을 추출하는 단계; 상기 추출된 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 특징 벡터를 생성하는 단계; 상기 제1 특징 벡터를 미리 학습된 제1 뉴럴 네트워크에 적용하여 제1 출력을 획득하는 단계; 및 상기 제1 출력에 기초하여 상기 씨앗의 씨앗 정보를 획득하는 단계를 포함할 수 있다.
일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 레이블드 트레이닝 씨앗 이미지들을 획득하는 단계; 상기 레이블드 트레이닝 씨앗 이미지들의 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 트레이닝 특징 벡터들을 생성하는 단계; 상기 제1 트레이닝 특징 벡터들을 상기 제1 뉴럴 네트워크에 적용하여 제1 트레이닝 출력들을 획득하는 단계; 및 상기 제1 트레이닝 출력들 및 제1 레이블들에 기초하여 상기 제1 뉴럴 네트워크를 학습시키는 단계를 더 포함할 수 있다.
일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 상기 생태 놀이 맵 내 씨앗 뿌리기 대상 구역들의 토양 정보들을 획득하는 단계; 상기 씨앗 정보 및 상기 토양 정보들에 기초하여, 상기 씨앗과 상기 씨앗 뿌리기 대상 구역들의 매칭도들을 판단하는 단계; 및 상기 매칭도들에 기초하여, 상기 씨앗 뿌리기 대상 구역들 중 적어도 일부를 상기 생태 놀이 맵에 시각화하여 제공하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 생태 놀이 맵에 시각화하여 제공하는 단계는 상기 매칭도들에 기초하여, 상기 생태 놀이에 참여하는데 요구되는 인센티브를 상기 씨앗 뿌리기 대상 구역들 중 적어도 일부에 차별적으로 시각화하여 제공하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 생태 놀이 맵에 시각화하여 제공하는 단계는 상기 씨앗 뿌리기 대상 구역들에 대응하는 유저들에 의해 설정된 씨뿌리기 요청 씨앗 정보들을 수신하는 단계; 및 상기 씨뿌리기 요청 씨앗 정보들에 기초하여, 상기 생태 놀이에 참여하는데 요구되는 인센티브를 상기 씨앗 뿌리기 대상 구역들 중 적어도 일부에 차별적으로 시각화하여 제공하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 판단 결과를 생성하는 단계는 상기 대상 구역 이미지 내 색상 정보 및 텍스쳐 정보에 기초하여, 유효 토양 경계를 식별하는 단계; 상기 식별된 유효 토양 경계로 분리되는 유효 토양 영역 내 입자 객체들의 외관 특징들을 추출하는 단계; 상기 추출된 외관 특징들에 기초하여, 상기 입자 객체들 중 적어도 하나의 이물질 객체를 식별하고, 상기 이물질 객체를 상기 유효 토양 영역으로부터 제거하는 단계; 상기 이물질 객체가 제거된 상기 유효 토양 영역 내 입자 객체들의 크기 특징들을 추출하는 단계; 상기 크기 특징들에 기초하여, 상기 입자 객체들을 자갈 객체, 모래 객체, 미사 객체 및 점토 객체 중 어느 하나로 각각 분류하는 단계; 상기 자갈 객체로 분류된 적어도 하나의 입자 객체의 상기 유효 토양 영역 내 제1 비율을 생성하는 단계; 상기 모래 객체, 상기 미사 객체 및 상기 점토 객체로 분류된 적어도 하나의 입자 객체의 상기 유효 토양 영역 내 제2 비율들을 생성하는 단계; 상기 이물질 객체의 상기 유효 토양 영역 내 제3 비율을 생성하는 단계; 상기 이물질 객체가 제거된 상기 유효 토양 영역의 색상 특징에 기초하여, 토색 정보를 생성하는 단계; 상기 제1 비율, 상기 제2 비율들, 상기 제3 비율 및 상기 토색 정보에 기초하여, 표토 정보를 생성하는 단계; 상기 위치에 따라 식별되는 상기 대상 구역 이미지의 경사도 정보, 심토 성분 정보, 배수 정보를 조회하여, 보조 토양 정보를 생성하는 단계; 상기 표토 정보 및 상기 보조 토양 정보에 기초하여, 상기 유효 토양 영역에 대응하는 제2 특징 벡터를 생성하는 단계; 상기 제2 특징 벡터를 미리 학습된 제2 뉴럴 네트워크에 적용하여 제2 출력을 획득하는 단계; 및 상기 제2 출력에 기초하여 상기 유효 토양 영역에 대응하는 토양 정보를 생성하는 단계를 포함할 수 있다.
일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 레이블드 트레이닝 구역 이미지들을 획득하는 단계; 상기 레이블드 트레이닝 구역 이미지들의 색상 정보, 텍스쳐 정보 및 입자 객체들의 외관 특징들, 크기 특징들 중 적어도 하나에 기초하여 자갈 객체에 대응하는 제1 비율, 모래 객체, 미사 객체 및 점토 객체에 대응하는 제2 비율들, 이물질 객체에 대응하는 제3 비율 및 토색 정보에 기초하여 표토 정보를 생성하는 단계; 상기 표토 정보에 기초하여 제2 트레이닝 특징 벡터들을 생성하는 단계; 상기 제2 트레이닝 특징 벡터들을 상기 제2 뉴럴 네트워크에 적용하여 제2 트레이닝 출력들을 획득하는 단계; 및 상기 제2 트레이닝 출력들 및 제2 레이블들에 기초하여 상기 제2 뉴럴 네트워크를 학습시키는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 판단 결과를 생성하는 단계는 상기 위치에 기초하여 기후 및 계절 정보를 획득하는 단계; 상기 기후 및 계절 정보, 상기 씨앗 정보 및 상기 토양 정보에 기초하여 제3 특징 벡터를 생성하는 단계; 상기 제3 특징 벡터를 미리 학습된 제3 뉴럴 네트워크에 적용하여 제3 출력을 획득하는 단계; 상기 제3 출력에 기초하여 상기 씨앗과 상기 씨앗 뿌리기 대상 구역의 매칭도를 생성하는 단계; 및 상기 생성된 매칭도에 기초하여 상기 씨앗이 상기 씨앗 뿌리기 대상 구역에 적합한지 여부에 대해 판단하는 단계를 더 포함할 수 있다.
일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 레이블드 트레이닝 씨앗 정보들 및 레이블드 트레이닝 토양 정보들을 획득하는 단계; 상기 레이블드 트레이닝 씨앗 정보들 및 상기 레이블드 트레이닝 토양 정보들에 기초하여 제3 트레이닝 특징 벡터들을 생성하는 단계; 상기 제3 트레이닝 특징 벡터들을 상기 제3 뉴럴 네트워크에 적용하여 제3 트레이닝 출력들을 획득하는 단계; 및 상기 제3 트레이닝 출력들 및 제3 레이블들에 기초하여 상기 제3 뉴럴 네트워크를 학습시키는 단계를 더 포함하고, 상기 제3 레이블들은 상기 레이블드 트레이닝 토양 정보들에 대응하는 트레이닝 구역 이미지들에 기초하여 설정될 수 있다.
일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 상기 매칭도 및 상기 씨앗 정보에 기초하여, 상기 씨앗의 심는 방법 및 상기 씨앗의 성장 예상 결과를 제공하는 단계를 더 포함할 수 있다.
일실시예에 따른 생태 놀이를 위한 게임 제어 방법은 상기 생태 놀이 맵 내 씨앗 뿌리기 히스토리에 기초하여, 이미지 촬영 요청 구역들을 식별하는 단계; 상기 식별된 이미지 촬영 요청 구역들에 뿌려진 씨앗의 성장 속도들에 기초하여, 상기 생태 놀이에 참여하는데 요구되는 인센티브를 상기 식별된 이미지 촬영 요청 구역들 중 적어도 일부에 차별적으로 시각화하여 제공하는 단계; 상기 식별된 이미지 촬영 요청 구역들 중 어느 하나에 대한 촬영 이미지를 획득하는 단계; 상기 촬영 이미지의 획득에 응답하여, 인센티브를 제공하고 상기 촬영 이미지를 상기 촬영 이미지에 대응하는 씨앗을 뿌린 유저에 제공하는 단계; 및 상기 촬영 이미지를 레이블링하여 씨앗들과 구역들 사이의 매칭도를 학습시키는 단계를 더 포함할 수 있다.
일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.
실시예들은 씨앗 이미지와 땅 이미지를 분석하여 씨앗을 뿌리기에 적합한 땅인지 여부를 판단하여 씨 뿌리기 활동에 적합한 결과를 제시하고, 이를 통해 씨앗 뿌리기에 대한 체험감, 참여도 및 몰입도를 높일 수 있다.
실시예들은 씨앗을 뿌리는 행위에 파생되는 컨텐츠를 제공하기 위해 씨앗과 땅 관련 이미지를 수집하고, 학습을 기반으로 씨앗의 성장 관련 결과를 제시할 수 있다.
실시예들은 인공지능을 기반으로 씨앗 이미지를 분석하여 씨앗 정보를 생성하는 동작을 수행하고, 씨앗 정보와 관련된 데이터의 학습을 기반으로 씨앗 정보를 제공할 수 있다.
실시예들은 인공지능을 기반으로 씨앗 뿌리기 대상이 되는 구역의 이미지를 처리하고, 씨앗의 성장과 관련된 변수들의 학습을 기반으로 생태계 조성에 적합한 결과를 제공할 수 있다.
실시예들은 씨앗을 뿌리는 체험감을 제공하여, 생태 놀이에 자연스럽게 적응하고 재미를 유도하는 방법을 제공할 수 있다.
도 1은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 순서도이다.
도 2는 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 개념도이다.
도 3은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 씨앗과 관련된 도면이다.
도 4는 일실시예에 따른 생태 놀이를 위한 씨앗 이미지를 처리하는 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 생태 놀이를 위한 씨앗 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 6 및 7은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 생태 놀이를 위한 씨앗을 뿌리고자 하는 대상의 이미지를 처리하는 방법을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 생태 놀이를 위한 씨앗을 뿌리고자 하는 대상의 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 생태 놀이를 위한 씨앗 정보와 씨앗 뿌리기 대상 구역 사이의 적합도를 판단하는 방법을 설명하기 위한 도면이다.
도 11은 일실시예에 따른 생태 놀이를 위한 씨앗 정보와 씨앗 뿌리기 대상 구역 사이의 적합도를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 12 및 13은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
도 14는 일실시예에 따른 장치의 구성의 예시도이다.
도 2는 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 개념도이다.
도 3은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 씨앗과 관련된 도면이다.
도 4는 일실시예에 따른 생태 놀이를 위한 씨앗 이미지를 처리하는 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 생태 놀이를 위한 씨앗 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 6 및 7은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 생태 놀이를 위한 씨앗을 뿌리고자 하는 대상의 이미지를 처리하는 방법을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 생태 놀이를 위한 씨앗을 뿌리고자 하는 대상의 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 생태 놀이를 위한 씨앗 정보와 씨앗 뿌리기 대상 구역 사이의 적합도를 판단하는 방법을 설명하기 위한 도면이다.
도 11은 일실시예에 따른 생태 놀이를 위한 씨앗 정보와 씨앗 뿌리기 대상 구역 사이의 적합도를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
도 12 및 13은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
도 14는 일실시예에 따른 장치의 구성의 예시도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.
도 1은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 순서도이다.
도 1을 참조하면, 생태 놀이를 위한 게임 제어 장치는 생태 놀이에 참여하는 유저의 위치를 수신할 수 있다(101). 생태 놀이를 위한 게임 제어 장치는 생태 놀이를 위한 게임 제어 방법을 수행하는 장치로서, 예를 들어 하드웨어 모듈, 소프트웨어 모듈 또는 이들의 조합으로 구현될 수 있다.
일실시예에 따르면, 게임 제어 장치는 서버로 구현될 수 있다. 서버는 단말과 통신할 수 있고, 필요한 정보를 데이터베이스로부터 열람하여 판단 동작에 채용하고, 판단의 결과물을 기반으로 데이터베이스를 갱신할 수 있다. 예를 들어, 게임 제어 장치는 유저들의 위치와 씨 뿌리기 결과를 획득하고, 획득된 정보를 바탕으로 유저, 씨앗 뿌리기 대상 구역과 관련된 정보를 갱신하고, 갱신된 정보를 기반으로 생태 놀이 맵을 갱신할 수 있다.
일실시예에 따르면, 게임 제어 장치는 GPS(Global Positioning System) 기반 측위 기술, 와이파이(Wi-Fi) 기반 측위 기술, WCDMA, WiBro, 3G, LTE, 5G, WiMAX 등 이동통신 또는 셀룰러 기반 측위 기술, 근거리 통신(RFID, ZigBee, NFC, Bluetooth) 및 기타 다중 인프라들과 같이 다양한 방식을 통해 유저의 위치를 획득할 수 있으며, 위치 획득 방식에는 다양한 기법들이 적용 및 응용될 수 있다. 게임 제어 장치는 서버 및 단말 중 적어도 하나로 구현될 수 있다. 게임 제어 장치에 의해 수행되는 동작은 서버 및 단말 중 어느 하나 단독으로 구현될 수도 있지만, 서버 및 단말의 상호작용에 의해 구현될 수도 있다. 서버 및 단말은 전자 장치를 포함할 수 있다.
일실시예에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 일실시예에에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 일실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 일실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다. 다양한 실시예에서 이용되는 유저라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
일실시예에 따른 전자 장치는 프로세서, 메모리, 유저 인터페이스 및 통신 인터페이스를 포함하고, 다른 전자 장치와 네트워크를 통해 연결될 수 있다. 통신 인터페이스는 유, 무선 네트워크 또는 유선 직렬 통신 등을 통하여 소정 거리 이내의 다른 전자 장치와 데이터를 송수신할 수 있다. 네트워크는 일실시예에 따른 전자 장치와 다양한 개체들(entities) 간의 유, 무선 통신을 가능하게 한다. 전자 장치는 네트워크를 통해 다양한 개체들과 통신할 수 있고, 네트워크는 표준 통신 기술 및/또는 프로토콜들을 사용할 수 있다. 이때, 네트워크(network)는 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network) 등을 포함하나 이에 한정되지 않으며, 정보를 송, 수신할 수 있는 다른 종류의 네트워크가 될 수도 있음을 통신 기술 분야의 통상의 지식을 가진 자라면 알 수 있다.
일실시예에 따른 휴대용 단말기는 통신 기능이 포함된 전자 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 스마트카(smart car) 또는 스마트 와치(smartwatch)중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 게임 제어 장치는 유저의 위치를 중심으로 미리 정의된 반경 내에서 적어도 하나의 씨앗 뿌리기 대상 구역을 포함하는 생태 놀이 맵을 제공할 수 있다(102). 생태 놀이 맵은 유저들이 생태 놀이에 참여하는데 필요한 정보를 위치 기반으로 제공하는 맵으로서, 씨앗을 뿌리는데 필요한 위치 정보, 해당 구역에 적합한 씨앗 정보, 식물의 성장 정보 등을 제공할 수 있으며, 씨앗 뿌리기 대상 구역을 달리 표시하는 방식의 UI 등 다양한 방식으로 시각화될 수 있다. 미리 정의된 반경은 유저에게 제공되는 생태 놀이 맵에서 씨앗 뿌리기 대상 구역을 표현하기 위해 설정된 반경으로, 미리 설정된 값일 수 있지만 유저의 입력에 따라 변경될 수 있다.
일실시예에 따르면, 씨앗 뿌리기 대상 구역은 씨앗을 뿌리는데 적합하거나 씨앗 뿌리기가 요구되는 구역으로서, 미리 설정된 구역들이 데이터베이스화되어 생태 놀이 맵에 표현될 수 있다. 게임 제어 장치는 씨앗 뿌리기 대상 구역들 별로 정보를 데이터베이스에 기록할 수 있고, 새롭게 갱신된 정보도 반영할 수 있다. 게임 제어 장치는 씨앗 뿌리기 대상 구역을 신규로 등록할 수 있으며, 유저에 의해 요청되는 이미지와 위치 정보를 기반으로 씨앗 뿌리기 대상 구역을 신규 등록할지 여부를 판단할 수 있다. 게임 제어 장치는 씨앗 뿌리기 대상 구역을 생태 놀이 맵에 제공하여 유저의 씨 뿌리기 활동 참여를 유도할 수 있고, 유저가 씨앗 뿌리기 대상 구역을 직접 찾아 씨앗을 뿌리는 체험감을 제공하여 재미를 높일 수 있다.
일실시예에 따르면, 게임 제어 장치는 유저의 위치에 기초하여, 유저가 접근한 씨앗 뿌리기 대상 구역을 식별할 수 있다(103). 게임 제어 장치는 유저의 위치를 기준으로 생태 놀이 맵 내에서 씨앗 뿌리기 대상 구역들의 위치들 중 유저의 위치에 근접한 위치를 식별하고, 식별된 위치에 대응하는 씨앗 뿌리기 대상 구역을 식별할 수 있다. 게임 제어 장치는 유저가 근접한 씨앗 뿌리기 대상 구역을 생태 놀이 맵 내에서 특정하여 시각화할 수 있고, 유저는 이를 통해 자신이 근접한 씨앗 뿌리기 대상 구역을 확인할 수 있다.
일실시예에 따르면, 게임 제어 장치는 식별된 씨앗 뿌리기 대상 구역의 대상 구역 이미지를 획득할 수 있다(104). 유저는 유저 단말을 이용하여 씨앗 뿌리기 대상 구역을 촬영하고, 게임 제어 장치는 유저에 의해 촬영된 대상 구역 이미지를 수신할 수 있다. 게임 제어 장치는 유저로부터 수신한 이미지가 씨앗 뿌리기 대상 구역과 매칭되는지 여부를 판단하고, 매칭이 되는 경우 대상 구역 이미지를 데이터베이스에 기록할 수 있다. 게임 제어 장치는 대상 구역 이미지를 분석하여 씨앗 뿌리기 대상 구역과 관련된 정보를 생성할 수 있다.
일실시예에 따르면, 게임 제어 장치는 이미지 처리 결과에 기반하여 씨앗 뿌리기 대상 구역과 관련된 토양 정보를 생성하고, 생성된 토양 정보를 씨앗 뿌리기 대상 구역과 연관시켜 데이터베이스에 기록할 수 있다. 게임 제어 장치는 토양 정보를 기반으로 씨앗 뿌리기 대상 구역에 씨 뿌리기 동작에 필요한 정보를 유저에게 제공할 수 있다. 씨앗 뿌리기 대상 구역의 대상 구역 이미지를 처리하는 내용은 도 8 및 9를 참고하여 설명된다. 씨앗 뿌리기 대상 구역과 씨앗 과의 매칭도를 판단하는 내용은 도 10 및 11을 참고하여 설명된다.
일실시예에 따르면, 게임 제어 장치는 식별된 씨앗 뿌리기 대상 구역에 유저가 심고자 하는 씨앗의 씨앗 정보를 획득할 수 있다(105). 유저는 씨앗의 이미지를 촬영하고, 게임 제어 장치는 촬영된 이미지를 수신할 수 있다. 게임 제어 장치는 씨앗의 이미지를 분석하여 씨앗 정보를 생성할 수 있다. 게임 제어 장치는 유저에 의해 입력된 씨앗 정보를 획득할 수 있다. 씨앗 정보는 씨앗을 식별하는 정보로서, 씨앗을 심기 위해 필요한 다양한 정보를 포함한다. 씨앗 정보는 씨앗 뿌리기 대상 구역에 해당 씨앗을 뿌리는 것이 적합한지, 또는 씨앗을 어떠한 방식으로 심는 것이 적합한지 등 씨 뿌리기에 필요한 씨앗과 관련된 정보를 포함한다. 예를 들어, 씨앗은 만수국, 산수국, 한련, 코스모스, 사루비아, 백일홍, 안개초, 해바라기 등일 수 있고, 야생 식물일 수 있으며 심는 깊이에 따라 생착률이 달라질 수 있다.
일실시예에 따르면, 게임 제어 장치는 대상 구역 이미지 및 씨앗 정보에 기초하여, 씨앗이 씨앗 뿌리기 대상 구역에 적합한지 여부에 대한 판단 결과를 생성할 수 있다(106). 씨앗은 씨앗 별로 성장에 적합한 토양 상태가 다를 수 있다. 토양 상태는 심토 성분, 표토 성분, 경사도, 자갈의 비율 등 다양한 변수에 의해 설명될 수 있다. 예를 들어 A라는 씨앗은 점토 성분이 높고, 배수도가 높으며, 황갈색의 빛을 띄고, 바람이 잘 불면서, 습한 구역에 해당하는 씨앗 뿌리기 대상 구역 B에 적합할 수 있다. 게임 제어 장치는 A와 B의 정보를 처리하여 A가 B에 적합하다는 판단 결과를 생성할 수 있다. 씨앗과 대상 구역 사이의 적합도를 판단하는 내용은 도 10 및 11을 참고하여 후술된다.
일실시예에 따르면, 게임 제어 장치는 씨앗이 씨앗 뿌리기 대상 구역에 적합한지 여부에 대한 판단 결과에 응답하여, 유저에 의해 수행된 씨앗 뿌리기 결과를 수신할 수 있다(107). 유저는 자신이 근접한 씨앗 뿌리기 대상 구역에 자신이 심고자 하는 씨앗을 뿌리는 것이 적합한지에 대한 결과를 단말로 확인하고, 확인된 결과에 따라 씨앗을 씨앗 뿌리기 대상 구역에 심을 수 있다.
일실시예에 따르면, 유저는 씨앗을 뿌리는 행위의 결과에 대해 인센티브를 제공받을 수 있다. 게임 제어 장치는 인센티브를 씨앗과 씨앗 뿌리기 대상 구역의 매칭도나 씨앗 뿌리기 대상 구역에 대응하는 씨 뿌리기 요청도에 따라 인센티브를 달리 책정할 수 있고, 유저의 씨 뿌리기 행위를 유도할 수 있다. 인센티브는 씨앗 정보나 씨앗 뿌리기 대상 구역의 정보의 노출되는 정도에 영향을 줄 수 있고, 생태 놀이 플랫폼에서 씨앗을 구매하는데 적용될 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗 뿌리기 결과에 기초하여 생태 놀이 맵을 갱신할 수 있다(108). 게임 제어 장치는 씨앗 뿌리기 결과를 데이터베이스에 기록하고, 생태 놀이 맵 내 씨앗 뿌리기 대상 구역과 관련된 정보를 갱신할 수 있고, 갱신된 생태 놀이 맵을 제공할 수 있다.
예를 들어, 게임 제어 장치는 A라는 씨앗이 B라는 씨앗 뿌리기 대상 구역에 심어졌다는 정보를 데이터베이스에 기록할 수 있으며, 이에 따라 B에서는 A의 씨앗에 따른 식물이 성장하는 정보를 기록할 수 있다. 추후 다른 유저가 씨앗 뿌리기 대상 구역 B에 특정 씨앗을 심고자 할 때는 B에 A 씨앗이 심겨져 있다는 정보를 기반으로 그 다른 유저가 심고자 하는 씨앗과 B 사이의 매칭도를 조절하여 제공할 수 있다. 예를 들어, A 씨앗이 심겨져 있는 B에는 다른 씨앗을 심는 것이 불필요하다고 게임 제어 장치가 판단한다면, 그 다른 유저에게 씨앗을 심는 행위를 권장하지 않는다는 메시지를 제공할 수 있다.
일실시예에 따르면, 게임 제어 장치는 생태 놀이 맵 내 씨앗 뿌리기 대상 구역들에 대한 유저들의 정보 요청을 유도할 수 있다. 게임 제어 장치는 생태 놀이에 참여하는 유저에게 특정 씨앗 뿌리기 대상 구역에 대한 이미지 제공을 요청하고, 그 요청에 따른 인센티브를 제시할 수 있다. 인센티브에 따라 반응하는 유저가 대상 구역에 대한 이미지를 촬영하여 제공한다면, 게임 제어 장치는 해당 이미지를 대상 구역의 정보를 갱신하는데 활용할 수 있다. 게임 제어 장치는 유저들이 촬영하는 이미지들을 획득하여, 씨앗 뿌리기 대상 구역들에 대한 정보를 갱신할 수 있고, 갱신된 정보에 기반하여 씨앗과 씨앗 뿌리기 대상 구역 사이의 매칭도를 학습할 수 있다. 게임 제어 장치는 특정 씨앗 뿌리기 대상 구역에 심겨진 씨앗이 성장하는 모습을 유저들의 촬영 이미지들로 수집하고, 수집된 촬영 이미지들을 레이블링하여 트레이닝 데이터를 구축하고, 구축된 트레이닝 데이터를 이용하여 씨앗과 씨앗 뿌리기 대상 구역 사이의 매칭도를 추론하도록 뉴럴 네트워크를 학습시킬 수 있다. 학습과 관련된 내용은 도 11을 참고하여 후술된다. 게임 제어 장치는 인공지능을 기반으로 영상처리할 수 있고, 이를 바탕으로 씨앗 뿌리기의 적합 여부를 판단할 수 있는데, 이러한 내용은 도면들을 참고하여 후술된다.
도 2는 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 개념도이다.
일실시예에 따르면, 게임 제어 장치는 씨앗 뿌리기 대상 구역들(203)을 식별하여 표시하는 생태 놀이 맵을 제공할 수 있다. 게임 제어 장치는 유저(201)의 단말(202)로 유저(201)가 근접한 씨앗 뿌리기 대상 구역(203)의 정보를 제공할 수 있다. 게임 제어 장치는 씨앗 뿌리기 대상 구역(203)의 토양 특성에 적합한 씨앗 정보들을 단말(202)에 제공할 수 있다.
게임 제어 장치는 씨앗 뿌리기 대상 구역(203)에 토양 특성에 따른 씨앗 별 적합도들에 기초하여, 씨앗 별로 씨 뿌리기의 인센티브를 달리 책정하여 제시할 수 있다. 유저(201)에 의해 촬영된 씨앗 뿌리기 대상 구역(203)의 이미지를 게임 제어 장치는 단말(202)로부터 수신할 수 있고, 게임 제어 장치는 기 저장된 씨앗 뿌리기 대상 구역(203)의 정보를 수신된 이미지 처리 결과에 따라 갱신할 수 있다.
일실시예에 따르면, 게임 제어 장치는 유저(204)가 씨 뿌리기에 관심 있는 씨앗 정보를 단말(205)로부터 수신하고, 수신된 씨앗 정보에 기초하여 씨앗 뿌리기 대상 구역에 해당 씨앗을 뿌렸을 때의 성장 결과를 유저(204)에게 제공할 수 있다. 게임 제어 장치는 씨앗 정보와 씨앗 뿌리기 대상 구역의 매칭도를 분석하여, 씨앗이 성장하는 결과를 추정하고, 추정 결과를 시각화하여 제공할 수 있다.
예를 들어, 게임 제어 장치는 씨앗의 식물 성장 과정을 표시하는 AR(Augmented Reality) 컨텐츠를 생성하고, 생성된 AR 콘텐츠를 단말(205)로 제공할 수 있다. 유저(204)는 자신이 심고자 하는 씨앗을 특정 씨앗 뿌리기 대상 구역에 심었을 때 예상되는 성장 과정을 AR 콘텐츠로 확인할 수 있다. 유저(204)는 AR 콘텐츠를 시청하여 씨앗 뿌리기 대상 구역에 해당 씨앗을 심을지 여부를 판단할 수 있고, 게임 제어 장치는 이러한 콘텐츠와 인센티브로 씨앗을 뿌리는 활동에 유저들을 참여시킬 수 있다.
일실시예에 따르면, 게임 제어 장치는 유저(206)가 씨앗 뿌리기 대상 구역(208)에 씨앗(207)을 심는 이벤트에 응답하여, 씨앗 뿌리기 대상 구역(208)의 정보를 갱신하고, 갱신된 정보에 따른 생태 놀이 맵을 유저들에게 제공할 수 있다. 게임 제어 장치는 유저(206)에 의해 촬영된 씨앗(207)을 심기 전/후에 각각 대응하는 씨앗 뿌리기 대상 구역(208)의 이미지들을 획득할 수 있고, 획득된 이미지들을 처리하여 씨앗 뿌리기 대상 구역(208)과 관려된 정보를 갱신하고, 유저(206)에게 인센티브를 제공할 수 있다.
게임 제어 장치는 씨앗(208)을 씨앗 뿌리기 대상 구역(208)에 심고 난 후의 이미지를 획득하고, 획득된 이미지에 따른 피드백을 생성하여 유저(206)에게 제공할 수 있다. 유저(206)는 피드백을 확인하고, 씨앗(208)을 심는 방식에 잘못된 점이 있는지 판단하고, 다시 씨앗(208)을 심고, 그 결과를 이미지로 제공할 수 있다. 게임 제어 장치는 유저들에게 씨앗을 심는 방식을 교정하고, 씨앗의 생착률을 높일 수 있도록 씨 뿌리기 활동에 유저들을 참여시킬 수 있다.
도 3은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 씨앗과 관련된 도면이다.
일실시예에 따르면, 게임 제어 장치는 씨앗 이미지를 획득하여, 씨앗의 씨앗 정보를 생성할 수 있다. 도 3을 참조하면, 씨앗들은 시각적으로 외관, 무늬, 텍스쳐 및 색상으로 분류될 수 있다. 씨앗은 식물이 번식할 때 기본이 되는 단위인데, 일반적으로 씨껍질로 둘러싸여 있고 형태, 빚깔, 크기, 색상 및 외관 등 시각적인 요소로 식별될 수 있다. 씨앗은 씨앗 별로 바람을 매개로 한다던지 곤충을 매개로 한다던지 생착하는 요인이 다를 수 있고, 토양의 특성에 따라 생착하는 정도도 다르므로, 성장에 적합한 환경의 토양에 씨앗이 심어질 필요가 있다.
식물은 종류마다 심는 시기, 자라는 속도, 꽃이 피고 열매 맺는 시기, 자랐을 때의 크기, 이용부위 등 특성이 다양하다. 씨앗의 종류에 대한 정보가 있어야, 게임 제어 장치는 해당 씨앗의 종류를 고려하여 적합한 토양 환경 정보를 획득할 수 있다. 씨앗은 발아능력이 갖게 되는 일수가 다르고, 식물의 종류, 품종, 기후, 저장조건에 따라 그 수명도 연장될 수 있으므로 씨앗의 발아능력에 적합한 토양 환경이 제공될 필요가 있다. 예를 들어, 잎채소는 씨앗이나 모종을 모두 이용할 수 있지만, 씨앗을 이용하는 경우에는 키우는 과정에서 식물체가 죽을 수도 있으므로 원하는 양보다 더 많은 씨앗을 뿌리고 중간에 솎아줄 필요가 있다. 상추, 쑥갓, 열무, 시금치, 엇갈이배추, 강낭콩, 콩, 옥수수 등은 씨앗을 직접 뿌려 키우는 작물이기는 하지만, 각각의 씨앗 별로 재배기간과 재배환경이 다르기 때문에 씨앗을 심는데 필요한 정보가 적절히 제공될 필요가 있다.
일실시예에 따르면, 게임 제어 장치는 작물 수명, 크기, 관리 노력과 식물의 색상에 따른 분류 정보를 유저에게 제공하여, 유저가 자신에게 적합한 씨앗을 심는 행위를 유도할 수 있다. 예를 들어, 딸기, 수박, 참외, 토마토, 고추 등의 작물은 거의 매일 관리가 필요하고, 가지, 배추, 양파, 마늘, 당근, 감자, 상추 등은 주 1~2회 관리가 필요하면, 고구마, 토란, 생강, 땅콩, 부추, 옥수수, 호박 등은 월 1~2회의 관리가 필요하다. 배추, 오이, 상추, 쑥갓, 부추, 다채, 치커리, 엔다이브, 브로콜리, 고추, 시금치, 근대 등은 녹색이고, 마늘, 생강, 양파, 무, 감자, 옥수수, 하얀색 가지, 콜리플라워 등은 흰색이고, 적근대, 비트, 레드 치커리, 토마토, 수박, 빨간색 파프리카 등은 빨간색이고, 호박, 당근, 고구마, 노란색/주황색 토마토, 노란색/주황색 파프리카 등은 노란색/주황색이고, 가지, 보라색 파프리카, 적양배추, 자색 감자, 자색 고구마, 적색 콜라비, 자색 잎들깨 등이다. 가지, 고추, 토마토, 수박, 오이, 참외, 시금치, 상추, 아욱, 쑥갓, 바질 등은 일년생이고, 배추, 양배추, 무, 마늘, 양파 등은 이년생이며, 딸기, 아스파라거스, 머위, 로즈마리는 다년생이다. 게임 제어 장치는 식별된 씨앗의 씨앗 정보를 유저에게 제공하여, 유저가 자신의 기호나 식물을 키우는 노력 정도에 따라 씨앗을 심는 계획을 세울수 있도록 유도할 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗의 유형과 토양 환경을 고려하지 않고 단순히 씨앗을 심는 비효율 문제를 해결하기 위해, 씨앗을 씨앗 정보로 분류하여 데이터베이스화하고, 씨앗을 씨앗 이미지로 인식하여 식별하고, 그 식별된 씨앗에 적합한 토양 환경을 지닌 구역에 씨 뿌리기 행위를 유도하여 생태계를 조성할 수 있다.
도 4는 일실시예에 따른 생태 놀이를 위한 씨앗 이미지를 처리하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 게임 제어 장치는 씨앗의 씨앗 이미지로부터 씨앗의 씨앗 정보를 획득할 수 있다. 게임 제어 장치는 씨앗을 식별하는 시각적인 요소를 추출하고, 추출된 시각적인 요소를 특징으로 정의하고, 그 특징으로부터 씨앗을 식별하는 이미지 처리 과정을 수행할 수 있다.
도 4를 참조하면, 게임 제어 장치는 씨앗의 씨앗 이미지(401)를 획득할 수 있다. 상술한 바와 같이, 씨앗 이미지(401)는 유저에 의해 촬영된 씨앗의 이미지일 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗 이미지(401) 내 적어도 하나의 씨앗을 포함하는 씨앗 그룹 객체(402)를 배경으로부터 분리할 수 있다. 게임 제어 장치는 씨앗 이미지(401)에서 씨앗과 관련 있는 영역과 나머지 영역을 분류할 수 있다. 게임 제어 장치는 씨앗의 외관, 패턴 및 색상을 기초로 픽셀 별로 씨앗인지 그렇지 않은지 여부를 판단할 수 있다. 예를 들어, 게임 제어 장치는 관심 영역과 나머지 영역을 분류하는 분류기를 통해 씨앗 이미지(401)로부터 씨앗 그룹 객체(402)를 분류할 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗 그룹 객체(402)의 곡률들의 변화율의 연속성에 기초하여 씨앗 객체들(403)을 식별할 수 있다. 게임 제어 장치는 씨앗 그룹 객체(402)에서 완전한 씨앗의 이미지가 확보되는 개별 씨앗 객체를 식별하기 위해, 각 씨앗의 곡률의 변화율의 연속성을 판단할 수 있다. 게임 제어 장치는 씨앗 객체의 테두리를 식별하고, 미리 정의된 영역 단위로 테두리의 곡률들을 추출할 수 있다. 미리 정의된 영역 단위는 2x2 픽셀 등 이미지 처리를 위한 하드웨어 및 소프트웨어 성능에 따라 설계될 수 있다.
일실시예에 따르면, 게임 제어 장치는 추출된 곡률들의 변화율들을 계산할 수 있다. 게임 제어 장치는 계산된 변화율들이 연속적으로 변화하는지 불연속적으로 변화하는지를 판단할 수 있고, 불연속적으로 변화하지 않고 연속되는 변화율들을 지닌 씨앗 객체를 식별할 수 있다. 게임 제어 장치는 식별된 씨앗 객체를 씨앗 그룹 객체(402)에서 외관, 패턴 및 색상을 기준으로 판단하기 위한 대표적인 씨앗 객체로 분류할 수 있다. 이러한 방식으로 게임 제어 장치는 씨앗 그룹 객체(402)를 대표하는 씨앗 객체들(403)을 식별할 수 있다.
일실시예에 따르면, 게임 제어 장치는 기 학습된 뉴럴 네트워크로 적용하기 위한 특징을 씨앗 객체들(403)로부터 추출할 수 있다. 씨앗은 그 종류에 따라 적합한 토양 환경, 자라나는 속도, 적합한 기후, 심는 방법, 생착률, 가꾸는 방법 등이 달라지기 때문에, 분류의 필요가 있다. 게임 제어 장치는 씨앗을 시각적으로 구분하는데 주요한 요인인 개별 단위의 씨앗의 외관, 패턴(무늬) 및 색상을 변수로 뉴럴 네트워크가 분류하도록 미리 학습시키고, 기 학습된 뉴럴 네트워크로 씨앗 객체로부터 추출된 특징을 적용하여 씨앗 이미지(401)로부터 씨앗 정보를 생성할 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗 객체들(403)의 외관 특징들(403)을 추출할 수 있다. 게임 제어 장치는 씨앗 객체들(403)의 테두리를 추출하여 외관 특징들(403)을 생성할 수 있다. 게임 제어 장치는 씨앗 객체들(403)과 배경 영역을 분리하는 픽셀들의 위치에 기반하여 외관 특징들(403)을 생성할 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗 객체들(403)의 패턴 특징들(405)을 추출할 수 있다. 게임 제어 장치는 씨앗 객체들(405) 내에 있는 무늬 정보와 텍스쳐 정보를 추출하고, 추출된 정보를 기반으로 패턴 특징들(405)을 생성할 수 있다. 게임 제어 장치는 무늬 정보와 텍스쳐 정보를 추출하기 위한 필터를 씨앗 객체들(405) 별로 적용할 수 있고, 필터링 된 값을 기반으로 패턴 특징들(405)을 생성할 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗 객체들(406)의 색상 특징들(406)을 추출할 수 있다. 게임 제어 장치는 씨앗 객체들(406) 내에 있는 픽셀들의 RGB 값들을 획득하고, 그 RGB 값들 중 지배적인 값과 보조적인 갑을 추출하고, 추출된 값들을 기반으로 색상 특징들(406)을 생성할 수 있다. 게임 제어 장치가 색상 특징들(406)을 추출하는 방식에는 다양한 기법이 채용될 수 있다.
일실시예에 따르면, 게임 제어 장치는 외관 특징들(404), 패턴 특징들(405) 및 색상 특징들(406)에 기초하여 제1 특징 벡터를 생성할 수 있다. 제1 특징 벡터는 외관 특징들(404), 패턴 특징들(405) 및 색상 특징들(406)의 가중 합이 적용된 다차원의 벡터일 수 있는데, 가중 합에 적용되는 가중치들은 각 특징들이 평균에서 멀어질수록 커지도록 조정될 수 있다. 여기서, 벡터는 one-hot 벡터, 실수 벡터 등 설계 의도에 따라 다양한 형태로 정의될 수 있다. 특징 벡터 생성 시 접속 요청 패킷 내 다양한 변수들에 각각 가중치들이 적용될 수 있다. 가중치들은 뉴럴 네트워크의 학습 시 최적화될 수 있다.
일실시예에 따르면, 게임 제어 장치는 제1 특징 벡터를 기 학습된 제1 뉴럴 네트워크(408)로 인가할 수 있다. 제1 특징 벡터는 제1 뉴럴 네트워크(408)의 입력 레이어에 대응할 수 있다.
일실시예에 따르면, 게임 제어 장치는 제1 특징 벡터가 인가된 제1 뉴럴 네트워크(408)로부터 생성된 제1 출력(409)을 획득할 수 있다. 제1 출력(409)은 제1 뉴럴 네트워크(408)의 출력 레이어에 대응할 수 있다. 게임 제어 장치는 제1 출력(409)에 기초하여 씨앗의 씨앗 이미지(401)에 대응하는 씨앗 정보를 획득할 수 있다. 씨앗 정보의 값은 씨앗을 분류하는 식별 정보로 표현되거나, 씨앗의 특성 별로 등급화되어 표현되는 이산적이거나 연속된 값으로 표현될 수 있다.
일실시예에 따르면, 게임 제어 장치는 제1 출력(409)에 기초하여 씨앗이 “코스모스 씨앗”이라는 식별 정보를 생성할 수 있다. 게임 제어 장치는 식별 정보로부터 데이터베이스를 조회하여 “코스모스 씨앗”의 특성을 획득할 수 있고, “코스모스 씨앗”에 적합한 씨앗 뿌리기 대상 구역들을 획득할 수 있다. 게임 제어 장치는 씨앗 이미지로부터 씨앗을 식별하기 위해 뉴럴 네트워크를 학습시킬 수 있는데, 예를 들어 영상 처리에 활용되는 CNN(Convolution Neural Network)를 채용할 수 있다. 씨앗 이미지 처리를 위한 학습과 관련된 내용은 도 5를 참조하여 후술된다.
도 5는 일실시예에 따른 생태 놀이를 위한 씨앗 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 씨앗 이미지로부터 씨앗 정보를 획득하는데 필요한 정보를 추정하기 위한 뉴럴 네트워크(506)를 학습시킬 수 있다. 학습 장치는 게임 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니다.
일실시예에 따르면, 뉴럴 네트워크는 트레이닝 샘플들이 입력되는 입력 레이어와 트레이닝 출력들을 출력하는 출력 레이어를 포함하고, 트레이닝 출력들과 레이블들 사이의 차이에 기초하여 학습될 수 있다. 여기서, 레이블들은 씨앗 이미지들 및 씨앗 이미지들에 대응하는 식별 정보에 기초하여 정의될 수 있다. 뉴럴 네트워크는 복수의 노드들의 그룹으로 연결되어 있고, 연결된 노드들 사이의 가중치들과 노드들을 활성화시키는 활성화 함수에 의해 정의된다.
학습 장치는 GD(Gradient Decent) 기법 또는 SGD(Stochastic Gradient Descent) 기법을 이용하여 뉴럴 네트워크를 학습시킬 수 있다. 학습 장치는 뉴럴 네트워크의 출력들 및 레이블들 의해 설계된 손실 함수를 이용할 수 있다.
학습 장치는 미리 정의된 손실 함수(loss function)을 이용하여 트레이닝 에러를 계산할 수 있다. 손실 함수는 레이블, 출력 및 파라미터를 입력 변수로 미리 정의될 수 있고, 여기서 파라미터는 뉴럴 네트워크 내 가중치들에 의해 설정될 수 있다. 예를 들어, 손실 함수는 MSE(Mean Square Error) 형태, 엔트로피(entropy) 형태 등으로 설계될 수 있는데, 손실 함수가 설계되는 실시예에는 다양한 기법 또는 방식이 채용될 수 있다.
학습 장치는 역전파(backpropagation) 기법을 이용하여 트레이닝 에러에 영향을 주는 가중치들을 찾아낼 수 있다. 여기서, 가중치들은 뉴럴 네트워크 내 노드들 사이의 관계들이다. 학습 장치는 역전파 기법을 통해 찾아낸 가중치들을 최적화시키기 위해 레이블들 및 출력들을 이용한 SGD 기법을 이용할 수 있다. 예를 들어, 학습 장치는 레이블들, 출력들 및 가중치들에 기초하여 정의된 손실 함수의 가중치들을 SGD 기법을 이용하여 갱신할 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 씨앗 이미지들(501)을 획득할 수 있다. 학습 장치는 씨앗 이미지들(501)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 씨앗 이미지들(501)은 미리 분류된 씨앗 정보에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 씨앗 이미지들(501)의 외관 특징들(502), 패턴 특징들(503) 및 색상 특징들(504)에 기초하여 제1 트레이닝 특징 벡터들(505)을 생성할 수 있다. 특징을 추출하는데는 다양한 방식이 채용될 수 있다.
일실시예에 따르면, 학습 장치는 제1 트레이닝 특징 벡터들(505)을 제1 뉴럴 네트워크(506)에 적용하여 제1 트레이닝 출력들(507)을 획득할 수 있다. 학습 장치는 제1 트레이닝 출력들(507)과 제1 레이블들(508)에 기초하여 제1 뉴럴 네트워크(506)를 학습시킬 수 있다. 학습 장치는 제1 트레이닝 출력들(507)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제1 뉴럴 네트워크(506) 내 노드들의 연결 관계를 최적화하여 제1 뉴럴 네트워크(506)를 학습시킬 수 있다. 게임 제어 장치는 학습이 완료된 제1 뉴럴 네트워크(506)를 이용하여 씨앗 이미지로부터 씨앗의 씨앗 정보를 획득할 수 있다.
도 6은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 게임 제어 장치는 씨앗(601)의 씨앗 정보를 이용하여, 생태 놀이 맵(602) 내 씨앗 뿌리기 대상 구역들(603 내지 606) 별로 씨앗(601)과의 매칭도들을 시각화하여 제공할 수 있다. 게임 제어 장치는 씨앗(601)의 씨앗 정보를 획득할 수 있다. 예를 들어, 게임 제어 장치는 상술한 이미지 처리 기법을 이용하여 씨앗 정보를 획득할 수 있고, 유저에 의해 입력된 씨앗 정보를 수신할 수도 있다.
일실시예에 따르면, 게임 제어 장치는 생태 놀이 맵(602) 내 씨앗 뿌리기 대상 구역들(603 내지 606)의 토양 정보들을 획득할 수 있다. 게임 제어 장치는 데이터베이스를 조회하여 씨앗 뿌리기 대상 구역들(603 내지 606)의 토양 정보들을 획득할 수 있다. 게임 제어 장치는 씨앗 뿌리기 대상 구역들(603 내지 606)의 이미지들을 획득하고, 획득된 이미지들을 분석하여 토양 정보들을 생성하여 데이터베이스에 기록할 수 있다. 토양 정보를 생성하는 동작은 도 8 내지 도 9를 참조하여 후술된다.
일실시예에 따르면, 게임 제어 장치는 씨앗의(601) 씨앗 정보와 씨앗 뿌리기 대상 구역들(603 내지 606)의 토양 정보들에 기초하여 씨앗(601)과 씨앗 뿌리기 대상 구역들(603 내지 606) 사이의 매칭도들을 각각 판단할 수 있다. 게임 제어 장치는 매칭도들을 씨앗 뿌리기 대상 구역들(603 내지 606) 별로 생태 놀이 맵(602) 상에 시각화하여 표현할 수 있다. 예를 들어, 게임 제어 장치는 매칭도가 높을수록 색상이나 음영을 진하게 표현하고, 유저는 시각화된 매칭도에 따라 자신이 뿌리고자 하는 씨앗(601)에 적합한 씨앗 뿌리기 대상 구역을 확인하고, 해당 구역에서 씨 뿌리기 행위를 위한 시각화 정보를 제공받을 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗(601)과 씨앗 뿌리기 대상 구역들(603 내지 606) 사이의 매칭도들에 기초하여, 생태 놀이에 참여하는데 요구되는 인센티브를 씨앗 뿌리기 대상 구역들(603 내지 606) 별로 생태 놀이 맵(602) 상에 시각화하여 표현할 수 있다. 예를 들어, 게임 제어 장치는 매칭도가 높은 씨앗 뿌리기 대상 구역(603)에 높은 인센티브를 제시하고, 그 인센티브를 생태 놀이 맵(602)의 씨앗 뿌리기 대상 구역(603)에 대응시켜 표시할 수 있다. 유저는 단순히 씨를 뿌리는 행위뿐만 아니라 자신이 보유한 씨앗에 적합한 토양 환경의 구역을 찾아서, 씨앗을 심는 체험감을 제공받을 수 있다. 게임 제어 장치는 인센티브를 제공하여 각 토양 환경 별로 적합한 씨 뿌리기 행위를 유도하여 건강한 생태계 조성에 기여할 수 있다.
도 7은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 게임 제어 장치는 씨앗 뿌리기 대상 구역들(702 내지 704)에 대응하는 유저들(705 내지 707)에 의해 설정된 씨뿌리기 요청 씨앗 정보들 및 인센티브 정보들을 수신할 수 있다. 예를 들어, 유저(705)는 씨앗 뿌리기 대상 구역(702)을 플랫폼 상에서 지배하는 자이고, 자신이 지배하는 씨앗 뿌리기 대상 구역(702)에 “안개꽃” 씨앗을 누군가가 심어주길 요청하고, 게임 제어 장치는 그 요청 정보에 따라 “안개꽃” 씨앗을 심는 자에게 다른 씨앗을 심는 자보다 높은 인센티브를 제시할 수 있다.
일실시예에 따르면, 유저(706)는 자신이 지배하는 씨앗 뿌리기 대상 구역(703)에 씨 뿌리기 행위를 누군가가 했을 때의 인센티브를 제시할 수 있고, 게임 제어 장치는 그 제시된 인센티브를 타 유저들에게 제시할 수 있다.
일실시예에 따르면, 게임 제어 장치는 유저들(705 내지 707)에 의해 설정된 씨뿌리기 요청 씨앗 정보들 및 인센티브 정보들에 기초하여, 생태 놀이에 참여하는데 요구되는 인센티브를 생태 놀이 맵(701) 상 씨앗 뿌리기 대상 구역들(702 내지 704)에 차별적으로 시각화하여 제공할 수 있다. 게임 제어 장치는 생태 놀이 맵(701) 상에 씨앗 뿌리기 대상 구역들(702 내지 704) 별로 인센티브를 제공하여, 유저들의 씨 뿌리기 활동을 자연스럽게 유인하면서 유저들에게 인센티브를 획득하는 체험감도 제공할 수 있다.
도 8은 일실시예에 따른 생태 놀이를 위한 씨앗을 뿌리고자 하는 대상의 이미지를 처리하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 게임 제어 장치는 씨앗 뿌리기 대상 구역의 이미지를 분석하여 그 대상 구역에 씨앗을 뿌리는데 필요한 정보를 추정하고, 추정된 정보를 데이터베이스로 관리할 수 있다. 게임 제어 장치는 씨앗 뿌리기 대상 구역의 대상 구역 이미지(801)를 획득할 수 있다.
일실시예에 따르면, 게임 제어 장치는 대상 구역 이미지(801) 내 색상 정보 및 텍스쳐 정보에 기초하여 유효 토양 경계를 식별할 수 있다. 게임 제어 장치는 영역 별로 토양인지 여부를 색상과 텍스쳐를 기반으로 판단할 수 있다. 게임 제어 장치는 미리 정의된 단위의 필터를 슬라이딩하여 각 영역 별로 토양 여부를 판단할 수 있고, 그 필터는 색상과 텍스쳐에 따라 결과를 출력할도록 설계될 수 있다.
일실시예에 따르면, 게임 제어 장치는 대상 구역 이미지(801) 내에서 유효 토양 경계로 분리되는 유효 토양 영역(802)를 추출할 수 있다. 게임 제어 장치는 유효 토양 영역(802) 내 입자 객체들의 외관 특징들을 추출할 수 있다.
일실시예에 따르면, 게임 제어 장치는 추출된 외관 특징들에 기초하여, 입자 객체들 중 이물질 객체(803)을 식별하고, 이물질 객체(803)를 유효 토양 영역(802)로부터 제거할 수 있다. 게임 제어 장치는 유효 토양 영역(802) 내 분포하는 자갈, 모래, 미사 및 점토의 외관, 색상 및 텍스쳐 정보를 기준으로 미리 정의된 범위를 벗어나는 객체를 식별하고, 식별된 객체를 이물질 객체(803)로 판단할 수 있다.
일실시예에 따르면, 게임 제어 장치는 이물질 객체가 제거된 유효 토양 영역(804) 내 입자 객체들의 크기 특징들(805 내지 807)을 추출할 수 있다. 게임 제어 장치는 유효 토양 영역(804) 내 입자 객체들을 식별하고, 식별된 입자 객체들을 설명하는 정보 중 크기 특징들(805 내지 807)을 크기 별로 추출할 수 있다. 게임 제어 장치는 자갈, 모래, 미사 및 점토를 분류하는데 기준이 되는 범위에 따라 크기 특징들(805 내지 807)을 크기 별로 추출하고 분류할 수 있다.
일실시예에 따르면, 게임 제어 장치는 추출된 크기 특징들(805 내지 807)에 기초하여 입자 객체들을 자갈 객체, 모래 객체, 미사 객체 및 점토 객체 중 어느 하나로 각각 분류할 수 있다. 게임 제어 장치는 자갈 객체로 분류된 적어도 하나의 입자 객체의 유효 토양 영역(804) 내 제1 비율을 생성할 수 있다. 제1 비율은 유효 토양 영역(804) 내 자갈의 비율과 대응할 수 있다. 자갈은 물과 염기의 흡착력이 거의 없어, 식토 중에 적당량 함유되어 있으면 물과 공기의 유통을 좋게 하는데, 게임 제어 장치는 제1 비율을 이용하여 이러한 특성이 반영된 토양 정보를 생성할 수 있다.
일실시예에 따르면, 게임 제어 장치는 모래 객체, 미사 객체 및 점토 객체로 분류된 적어도 하나의 입자 객체의 유효 토양 영역(804) 내 제2 비율들을 생성할 수 있다. 제2 비율은 유효 토양 영역(804) 내 모래, 미사 및 점토의 각 비율들과 대응할 수 있다. 모래는 양분의 흡착과는 관계가 없으나 점토 주변에 있으면서 골격 역할을 하고, 대공극이 많아지므로 통기와 물의 유통을 좋게 하고 경운도 용이해진다.
미사는 거친 것은 모래와 비슷한 성질을 지니며, 가는 것은 표면에 점토입자가 부착되는 경향이 있어서 식물생육에 매우 이롭다. 점토는 물과 양분의 흡착, 흡수에 의한 용적의 변화, 가역성, 점착력 등이 크고, 표면적이 크므로 토양의 물리, 화학적 반응을 좌우한다. 입자가 작을수록 표면적이 크며, 표면적이 클수록 모든 작용이 활발히 이루어 진다. 따라서 표면적이 클수록 토양의 물리, 화학적 성질을 지배한다. 게임 제어 장치는 제2 비율들을 이용하여 토양의 비표면적 특성이 반영된 토양 정보를 생성할 수 있다. 일실시예에 따르면, 게임 제어 장치는 이물질 객체의 유효 토양 영역(802) 내 제3 비율을 생성할 수 있다. 여기서, 비율은 영역 내 차지하는 비율을 의미할 수 있다.
일실시예에 따르면, 게임 제어 장치는 유효 토양 영역(804) 내 색상 특징을 추출할 수 있다. 게임 제어 장치는 색상 특징에 기초하여 토색 정보를 생성할 수 있다. 토양의 색은 토양의 성질 또는 생성과정을 아는 데 중요한 사항의 하나이며, 그 토양의 풍화과정이나 이화학적 성질의 유래를 판정하는데 도움이 된다. 또한 토색은 토양의 비옥도를 판정하는 자료로 삼을 수도 있다.
토양의 색은 주로 유기물과 철에 의해 결정된다. 예를 들어, 유기물은 부식화가 진행될수록 흑색을 띠고, 철은 토양상태에 따라 존재형태를 달리하여 색이 변하며, 망간은 흑백색이나 갈색을 띤다. 함수량에 있어서, 습윤한 상태에서는 색이 짙고, 건조하면 담색을 보인다. 통기성에 있어서, 통기 상태가 좋은 표토나 배수가 좋은 습윤지방의 심토는 황색~적색 계통의 색을 보이며, 배수가 불량한 곳이나 저습지 등에서는 회록색 또는 회청색을 보인다. 풍화정도에 있어서, 표토가 황색인 것은 적색인 것보다 풍화가 더 진행되었다고 볼 수 있다. 토색은 색상으로 구분하면서, 명도와 채도를 활용하여 표현될 수 있다.
일실시예에 따르면, 게임 제어 장치는 제1 비율, 제2 비율들, 제3 비율 및 토색 정보에 기초하여 표토 정보를 생성할 수 있다. 토양의 토성은 무기질 입자의 입경조성에 의해 분류될 수 있는데, 모래, 미사 및 점토의 함유 비율에 의해 결정될 수 있다. 토양의 특성인 토양 정보를 결정하는 물리적 요소에는 토성, 토양 공극, 토양 3상, 토양 공기, 토양 수분, 토양 경도 및 토양 온도 등이 있는데, 게임 제어 장치는 유효 토양 영역(804)의 이미지 처리에 따른 제1 비율, 제2 비율들, 제3 비율 및 토색 정보에 기초하여 표토 정보를 생성할 수 있다. 표토는 0∼20cm정도 깊이 토양이고, 20∼100cm정도 깊이의 토양인데, 게임 제어 장치는 입자의 비율들과 토색 정보를 이용하여 표토 정보를 추정할 수 있다.
일실시예에 따르면, 게임 제어 장치는 대상 구역 이미지(801)를 위치에 기초하여 식별할 수 있고, 식별된 대상 구역 이미지(801)의 경사도 정보, 심토 성분 정보, 배수 정보를 조회하여, 보조 토양 정보를 생성할 수 있다. 게임 제어 장치는 표토 정보 및 보조 토양 정보에 기초하여 유효 토양 영역(802)에 대응하는 제2 특징 벡터(810)를 생성할 수 있다. 게임 제어 장치는 제2 특징 벡터(810)를 미리 학습된 제2 뉴럴 네트워크(811)로 적용하여 제2 출력(812)을 획득할 수 있다. 제2 뉴럴 네트워크(811)는 토양의 이미지로부터 추출된 특징들을 기반으로 생성된 표토 정보와 해당 토양 환경에 영향을 주는 보조 토양 정보에 따른 입력으로부터 토양 정보를 추정하도록 학습될 수 있다. 게임 제어 장치는 제2 출력(812)에 기초하여 유효 토양 영역(802)에 대응하는 토양 정보를 생성할 수 있다. 제2 출력(812)은 씨앗들별로 매칭도들을 포함하는 정보이거나 토양 환경을 설명하는 변수들로 설계될 수 있다. 또한, 제2 출력(812)은 토양의 분류에 따라 이산적으로 설계될 수 있는데, 예를 들어 제2 뉴럴 네트워크(811)의 출력 레이어의 출력 노드들은 각각 충적토, 회색토, 적황색토, 암쇄토, 유사반층토, 갈색삼림토, 염류토, 유기질토, 퇴적토, 화산회토, 적갈색토, 갈색토, 산성갈색삼림토, 화산회성암쇄토, 회갈색토 및 부식질암쇄토 등에 각각 대응하고, 출력 노드들은 각 토양 분류들 별로 확률값들을 각각 출력할 수 있다. 이하 도 9를 참조하여 제2 뉴럴 네트워크(811)의 학습 내용이 후술된다.
도 9는 일실시예에 따른 생태 놀이를 위한 씨앗을 뿌리고자 하는 대상의 이미지를 처리하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 대상 구역 이미지로부터 토양 정보를 획득하는데 필요한 정보를 추정하기 위한 뉴럴 네트워크(904)를 학습시킬 수 있다. 학습 장치는 게임 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니고, 상술한 학습 방법과 중복되는 내용은 생략된다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 구역 이미지들(901)을 획득할 수 있다. 학습 장치는 트레이닝 구역 이미지들(501)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 트레이닝 구역 이미지들(501)은 미리 분류된 토양 정보에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 구역 이미지들(901)의 색상 정보, 텍스쳐 정보 및 입자 객체들의 외관 특징들, 크기 특징들 중 적어도 하나에 기초하여 자갈 객체에 대응하는 제1 비율, 모래 객체, 미사 객체 및 점토 객체에 대응하는 제2 비율들, 이물질 객체에 대응하는 제3 비율 및 토색 정보에 기초하여 표토 정보(902)를 생성할 수 있다. 학습 장치는 표토 정보(902)에 기초하여 제2 트레이닝 특징 벡터들(903)을 생성할 수 있다. 제2 트레이닝 특징 벡터들(903)을 생성하는데 있어서 보조 토양 정보가 채용될 수 있다.
일실시예에 따르면, 학습 장치는 제2 트레이닝 특징 벡터들(903)을 제2 뉴럴 네트워크(904)에 적용하여 제2 트레이닝 출력들(905)을 획득할 수 있다. 학습 장치는 제2 트레이닝 출력들(905)과 제3 레이블들(906)에 기초하여 제2 뉴럴 네트워크(904)를 학습시킬 수 있다. 학습 장치는 제2 트레이닝 출력들(905)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제2 뉴럴 네트워크(904) 내 노드들의 연결 관계를 최적화하여 제2 뉴럴 네트워크(904)를 학습시킬 수 있다. 게임 제어 장치는 학습이 완료된 제2 뉴럴 네트워크(904)를 이용하여 대상 구역 이미지로부터 토양 정보를 획득할 수 있다.
도 10은 일실시예에 따른 생태 놀이를 위한 씨앗 정보와 씨앗 뿌리기 대상 구역 사이의 적합도를 판단하는 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 게임 제어 장치는 씨앗 정보와 토양 정보에 기초하여 씨앗과 씨앗 뿌리기 대상 구역 사이의 매칭도를 판단할 수 있다. 여기서, 씨앗 정보 및 토양 정보는 각각 도 4 및 도 8을 참조하여 상술된 기법에 의해 생성될 수 있다.
일실시예에 따르면, 게임 제어 장치는 위치에 기초하여 기후 및 계절 정보를 획득할 수 있는데, 여기서 위치는 씨앗 뿌리기 대상 구역에 대한 기후 및 계절 정보를 획득하기 위한 위치일 수 있다.
일실시예에 따르면, 게임 제어 장치는 기후 및 계절 정보(1001), 씨앗 정보(1002) 및 토양 정보(1003)에 기초하여 제3 특징 벡터(1004)를 생성할 수 있다. 게임 제어 장치는 제3 특징 벡터(1004)를 미리 학습된 제3 뉴럴 네트워크(1005)에 적용하여 제3 출력(1006)을 획득할 수 있다. 게임 제어 장치는 제3 출력(1006)에 기초하여 씨앗과 씨앗 뿌리기 대상 구역의 매칭도(1007)를 생성할 수 있다. 게임 제어 장치는 생성된 매칭도(1007)에 기초하여 씨앗이 씨앗 뿌리기 대상 구역에 적합한지 여부에 대한 판단 결과를 생성할 수 있다. 게임 제어 장치는 씨앗 정보(1002) 및 토양 정보(1003) 사이의 연관 관계뿐만 아니라 성장 환경에 영향을 주는 기후 및 계절 정보(1001)를 고려하여 씨앗과 대상 구역 사이의 매칭도를 딥 러닝을 통해 추정할 수 있다. 이하 도 11을 참조하여 제3 뉴럴 네트워크(1006)의 학습 내용이 후술된다.
도 11은 일실시예에 따른 생태 놀이를 위한 씨앗 정보와 씨앗 뿌리기 대상 구역 사이의 적합도를 판단하는데 채용되는 학습 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 학습 장치는 씨앗 정보와 씨앗 뿌리기 대상 구역 사이의 적합도를 추정하기 위한 뉴럴 네트워크(1104)를 학습시킬 수 있다. 학습 장치는 게임 제어 장치와 다른 별개의 주체일 수 있지만, 이에 제한되는 것은 아니고, 상술한 학습 방법과 중복되는 내용은 생략된다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 씨앗 정보들(1101) 및 레이블드 트레이닝 토양 정보들(1102)을 획득할 수 있다. 학습 장치는 트레이닝 씨앗 정보들(1101) 및 트레이닝 토양 정보들(1102)에 각각 미리 레이블링된 정보를 획득할 수 있는데, 트레이닝 씨앗 정보들(1101) 및 트레이닝 토양 정보들(1102)은 미리 분류된 씨앗 및 토양 정보에 따라 레이블링될 수 있다.
일실시예에 따르면, 학습 장치는 레이블드 트레이닝 씨앗 정보들(1101) 및 레이블드 트레이닝 토양 정보들(1102)에 기초하여 제3 트레이닝 특징 벡터들(1103)을 생성할 수 있다. 학습 장치는 제3 트레이닝 특징 벡터들(1103)을 제3 뉴럴 네트워크(1104)에 적용하여 제3 트레이닝 출력들(1105)을 획득할 수 있다. 학습 장치는 제3 트레이닝 출력들(1105)과 제3 레이블들(1106)에 기초하여 제3 뉴럴 네트워크(1104)를 학습시킬 수 있다. 학습 장치는 제3 트레이닝 출력들(1105)에 대응하는 트레이닝 에러들을 계산하고, 그 트레이닝 에러들을 최소화하기 위해 제3 뉴럴 네트워크(1104) 내 노드들의 연결 관계를 최적화하여 제3 뉴럴 네트워크(1104)를 학습시킬 수 있다. 게임 제어 장치는 학습이 완료된 제3 뉴럴 네트워크(1104)를 이용하여 씨앗과 대상 구역 사이의 매칭도를 판단할 수 있다. 제3 레이블들(1106)은 레이블드 트레이닝 토양 정보들(1102)에 대응하는 트레이닝 구역 이미지들에 기초하여 설정될 수 있는데, 여기서 트레이닝 구역 이미지들은 생태 놀이 플랫폼 내 유저들에 의해 촬영되어 수집된 이미지들일 수 있다.
도 12는 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 게임 제어 장치는 유저에게 씨앗을 심는 방법과 성장 과정에 대한 정보를 시각화하여 콘텐츠로 제공할 수 있다. 게임 제어 장치는 상술한 기법을 이용하여 씨앗(1201)과 씨앗 뿌리기 대상 구역(1202) 사이의 매칭도를 판단할 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗(1201)과 씨앗 뿌리기 대상 구역(1202)의 정보에 기초하여 씨앗을 심는 방법을 표현하는 콘텐츠(1203)를 제공하고, 유저는 콘텐츠(1203)를 시청하여 씨앗 심는 방법을 확인할 수 있다. 예를 들어, 콘텐츠(1203)는 씨앗을 단순히 뿌리면 되는지, 진흙과 뭉쳐서 뿌려야하는지, 땅을 파내서 심어야 하는지, 모종으로 심어야 하는지 등의 정보를 포함할 수 있다.
일실시예에 따르면, 게임 제어 장치는 씨앗(1201)과 씨앗 뿌리기 대상 구역(1202) 사이의 매칭도와 씨앗 정보에 기초하여, 씨앗(1201)의 성장 예상 결과를 표현하는 콘텐츠(1204)를 제공할 수 있다. 게임 제어 장치는 해당 지역의 계절과 기후, 씨앗 정보, 매칭도를 기초로 씨앗(1201)이 심어졌을 때 예상되는 성장 과정을 기간 별로 추정할 수 있다. 게임 제어 장치는 추정된 성장 예상 결과를 표현하는 콘텐츠(1204)를 단말로 제공하고, 유저는 콘텐츠(1204)를 시청하여 성장 예상 결과를 확인하고, 씨 뿌리기 행위를 수행할지에 참고할 수 있다.
도 13은 일실시예에 따른 생태 놀이를 위한 게임 제어 방법을 설명하기 위한 도면이다.
일실시예에 따르면, 게임 제어 장치는 생태 놀이 맵 내 씨앗 뿌리기 히스토리에 기초하여, 이미지 촬영 요청 구역들을 식별할 수 있다. 게임 제어 장치는 식별된 이미지 촬영 요청 구역들에 뿌려진 씨앗의 성장 속도들에 기초하여, 생태 놀이에 참여하는데 요구되는 인센티브를 식별된 이미지 촬영 요청 구역들 중 적어도 일부에 차별적으로 시각화하여 제공할 수 있다.
도 13을 참조하면, 게임 제어 장치는 이미지 촬영 요청 구역(1305)의 인센티브를 시각화하여 제공하고, 유저(1301)는 단말(1302)을 통해 시각화된 이미지 촬영 요청 구역(1305)을 확인할 수 있다. 게임 제어 장치는 유저(1301)에 의해 촬영된 이미지 촬영 요청 구역(1305)의 촬영 이미지(1303)를 단말(1302)로부터 수신할 수 있다. 여기서, 게임 제어 장치는 서버(1304)일 수 있다.
일실시예에 따르면, 게임 제어 장치는 촬영 이미지(1303)의 획득에 응답하여, 인센티브를 유저(1301)에게 제공하고, 씨앗을 뿌린 유저(1307)에게 촬영 이미지(1306)를 제공할 수 있다. 유저(1307)는 자신이 뿌린 씨앗의 성장 과정을 촬영 이미지(1306)를 통해 확인할 수 있다. 게임 제어 장치는 촬영 이미지(1306)를 레이블링하여 씨앗들과 구역들 사이의 매칭도를 학습시킬 수 있다.
도 14는 일실시예에 따른 장치의 구성의 예시도이다.
일실시예에 따른 장치(1401)는 프로세서(1402) 및 메모리(1403)를 포함한다. 일실시예에 따른 장치(1401)는 상술한 서버 또는 단말일 수 있다. 프로세서는 도 1 내지 도 13을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 13을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(1403)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(1403)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(1402)는 프로그램을 실행하고, 장치(1401)를 제어할 수 있다. 프로세서(1402)에 의하여 실행되는 프로그램의 코드는 메모리(1403)에 저장될 수 있다. 장치(1401)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
Claims (5)
- 프로세서에서, 생태 놀이에 참여하는 유저의 위치를 수신하는 단계;
상기 프로세서에서, 상기 위치를 중심으로 미리 정의된 반경 내에서 적어도 하나의 씨앗 뿌리기 대상 구역을 포함하는 생태 놀이 맵을 제공하는 단계;
상기 프로세서에서, 상기 위치에 기초하여, 상기 유저가 접근한 씨앗 뿌리기 대상 구역을 식별하는 단계;
상기 프로세서에서, 상기 식별된 씨앗 뿌리기 대상 구역의 대상 구역 이미지를 획득하는 단계;
상기 프로세서에서, 상기 유저가 상기 식별된 씨앗 뿌리기 대상 구역에 심고자 하는 씨앗의 씨앗 정보를 획득하는 단계;
상기 프로세서에서, 상기 대상 구역 이미지 및 상기 씨앗 정보에 기초하여, 상기 씨앗이 상기 씨앗 뿌리기 대상 구역에 적합한지 여부에 대한 판단 결과를 생성하는 단계;
상기 프로세서에서, 상기 판단 결과에 응답하여, 상기 유저에 의해 수행된 씨앗 뿌리기 결과를 수신하는 단계; 및
상기 프로세서에서, 상기 수신된 씨앗 뿌리기 결과에 기초하여, 상기 생태 놀이 맵을 갱신하는 단계
를 포함하고,
상기 판단 결과를 생성하는 단계는
상기 대상 구역 이미지 내 색상 정보 및 텍스쳐 정보에 기초하여, 유효 토양 경계를 식별하는 단계;
상기 식별된 유효 토양 경계로 분리되는 유효 토양 영역 내 입자 객체들의 외관 특징들을 추출하는 단계;
상기 추출된 외관 특징들에 기초하여, 상기 입자 객체들 중 적어도 하나의 이물질 객체를 식별하고, 상기 이물질 객체를 상기 유효 토양 영역으로부터 제거하는 단계;
상기 이물질 객체가 제거된 상기 유효 토양 영역 내 입자 객체들의 크기 특징들을 추출하는 단계; 및
상기 크기 특징들에 기초하여, 상기 입자 객체들을 자갈 객체, 모래 객체, 미사 객체 및 점토 객체 중 어느 하나로 각각 분류하는 단계
를 포함하는,
생태 놀이를 위한 게임 제어 방법.
- 제1항에 있어서,
상기 씨앗 정보를 획득하는 단계는
상기 씨앗의 씨앗 이미지를 획득하는 단계;
상기 씨앗 이미지 내 적어도 하나의 씨앗을 포함하는 씨앗 그룹 객체를 배경으로부터 분리하는 단계;
상기 씨앗 그룹 객체의 곡률들의 변화율의 연속성에 기초하여 씨앗 객체들을 식별하는 단계;
상기 씨앗 객체들의 외관 특징들, 패턴 특징들 및 색상 특징들을 추출하는 단계;
상기 추출된 외관 특징들, 패턴 특징들 및 색상 특징들에 기초하여 제1 특징 벡터를 생성하는 단계;
상기 제1 특징 벡터를 미리 학습된 제1 뉴럴 네트워크에 적용하여 제1 출력을 획득하는 단계; 및
상기 제1 출력에 기초하여 상기 씨앗의 씨앗 정보를 획득하는 단계
를 포함하는,
생태 놀이를 위한 게임 제어 방법.
- 제1항에 있어서,
상기 생태 놀이 맵 내 씨앗 뿌리기 대상 구역들의 토양 정보들을 획득하는 단계;
상기 씨앗 정보 및 상기 토양 정보들에 기초하여, 상기 씨앗과 상기 씨앗 뿌리기 대상 구역들의 매칭도들을 판단하는 단계; 및
상기 매칭도들에 기초하여, 상기 씨앗 뿌리기 대상 구역들 중 적어도 일부를 상기 생태 놀이 맵에 시각화하여 제공하는 단계
를 더 포함하는,
생태 놀이를 위한 게임 제어 방법.
- 제1항에 있어서,
상기 판단 결과를 생성하는 단계는
상기 자갈 객체로 분류된 적어도 하나의 입자 객체의 상기 유효 토양 영역 내 제1 비율을 생성하는 단계;
상기 모래 객체, 상기 미사 객체 및 상기 점토 객체로 분류된 적어도 하나의 입자 객체의 상기 유효 토양 영역 내 제2 비율들을 생성하는 단계;
상기 이물질 객체의 상기 유효 토양 영역 내 제3 비율을 생성하는 단계;
상기 이물질 객체가 제거된 상기 유효 토양 영역의 색상 특징에 기초하여, 토색 정보를 생성하는 단계;
상기 제1 비율, 상기 제2 비율들, 상기 제3 비율 및 상기 토색 정보에 기초하여, 표토 정보를 생성하는 단계;
상기 위치에 따라 식별되는 상기 대상 구역 이미지의 경사도 정보, 심토 성분 정보, 배수 정보를 조회하여, 보조 토양 정보를 생성하는 단계;
상기 표토 정보 및 상기 보조 토양 정보에 기초하여, 상기 유효 토양 영역에 대응하는 제2 특징 벡터를 생성하는 단계;
상기 제2 특징 벡터를 미리 학습된 제2 뉴럴 네트워크에 적용하여 제2 출력을 획득하는 단계; 및
상기 제2 출력에 기초하여 상기 유효 토양 영역에 대응하는 토양 정보를 생성하는 단계
를 더 포함하는,
생태 놀이를 위한 게임 제어 방법.
- 프로세서에서, 생태 놀이에 참여하는 유저의 위치를 수신하는 단계;
상기 프로세서에서, 상기 위치를 중심으로 미리 정의된 반경 내에서 적어도 하나의 씨앗 뿌리기 대상 구역을 포함하는 생태 놀이 맵을 제공하는 단계;
상기 프로세서에서, 상기 위치에 기초하여, 상기 유저가 접근한 씨앗 뿌리기 대상 구역을 식별하는 단계;
상기 프로세서에서, 상기 식별된 씨앗 뿌리기 대상 구역의 대상 구역 이미지를 획득하는 단계;
상기 프로세서에서, 상기 유저가 상기 식별된 씨앗 뿌리기 대상 구역에 심고자 하는 씨앗의 씨앗 정보를 획득하는 단계;
상기 프로세서에서, 상기 대상 구역 이미지 및 상기 씨앗 정보에 기초하여, 상기 씨앗이 상기 씨앗 뿌리기 대상 구역에 적합한지 여부에 대한 판단 결과를 생성하는 단계;
상기 프로세서에서, 상기 판단 결과에 응답하여, 상기 유저에 의해 수행된 씨앗 뿌리기 결과를 수신하는 단계;
상기 프로세서에서, 상기 수신된 씨앗 뿌리기 결과에 기초하여, 상기 생태 놀이 맵을 갱신하는 단계;
상기 프로세서에서, 상기 생태 놀이 맵 내 씨앗 뿌리기 히스토리에 기초하여, 이미지 촬영 요청 구역들을 식별하는 단계;
상기 프로세서에서, 상기 식별된 이미지 촬영 요청 구역들에 뿌려진 씨앗의 성장 속도들에 기초하여, 상기 생태 놀이에 참여하는데 요구되는 인센티브를 상기 식별된 이미지 촬영 요청 구역들 중 적어도 일부에 차별적으로 시각화하여 제공하는 단계;
상기 프로세서에서, 상기 식별된 이미지 촬영 요청 구역들 중 어느 하나에 대한 촬영 이미지를 획득하는 단계;
상기 프로세서에서, 상기 촬영 이미지의 획득에 응답하여, 인센티브를 제공하고 상기 촬영 이미지를 상기 촬영 이미지에 대응하는 씨앗을 뿌린 유저에 제공하는 단계; 및
상기 프로세서에서, 상기 촬영 이미지를 레이블링하여 씨앗들과 구역들 사이의 매칭도를 학습시키는 단계
를 포함하는,
생태 놀이를 위한 게임 제어 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200012797 | 2020-02-03 | ||
| KR20200012797 | 2020-02-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102195389B1 true KR102195389B1 (ko) | 2020-12-24 |
Family
ID=74087389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200015383A KR102195389B1 (ko) | 2020-02-03 | 2020-02-10 | 생태 놀이를 위한 게임 제어 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102195389B1 (ko) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140018464A (ko) | 2012-07-27 | 2014-02-13 | 한국전자통신연구원 | 온실 정보 수집 장치 및 그 방법 |
| KR20140070242A (ko) * | 2012-11-30 | 2014-06-10 | 강원대학교산학협력단 | 지역별 작물 맵핑 시스템 및 방법 |
| KR20150090564A (ko) * | 2014-01-29 | 2015-08-06 | 경상대학교산학협력단 | 모바일 농업정보 제공 시스템 및 방법 |
| KR101545615B1 (ko) | 2014-10-30 | 2015-08-27 | (유)엠탑코리아 | 야생식물의 생육과정 모니터링 시스템 |
| KR20170052416A (ko) | 2015-10-30 | 2017-05-12 | 사단법인 한국온실작물연구소 | 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 |
| KR20190025079A (ko) * | 2017-08-28 | 2019-03-11 | 서울대학교산학협력단 | 토양 이미지를 이용한 토양 분류 방법 및 함수비 추정 방법 |
| KR20190069250A (ko) * | 2017-12-11 | 2019-06-19 | 김소라 | 자연 학습 컨텐츠를 제공하는 서버 및 서버의 동작 방법 |
| KR101996528B1 (ko) | 2017-09-06 | 2019-07-04 | 국립생태원 | 생태환경 연구 시스템 및 그 방법 |
-
2020
- 2020-02-10 KR KR1020200015383A patent/KR102195389B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140018464A (ko) | 2012-07-27 | 2014-02-13 | 한국전자통신연구원 | 온실 정보 수집 장치 및 그 방법 |
| KR20140070242A (ko) * | 2012-11-30 | 2014-06-10 | 강원대학교산학협력단 | 지역별 작물 맵핑 시스템 및 방법 |
| KR20150090564A (ko) * | 2014-01-29 | 2015-08-06 | 경상대학교산학협력단 | 모바일 농업정보 제공 시스템 및 방법 |
| KR101545615B1 (ko) | 2014-10-30 | 2015-08-27 | (유)엠탑코리아 | 야생식물의 생육과정 모니터링 시스템 |
| KR20170052416A (ko) | 2015-10-30 | 2017-05-12 | 사단법인 한국온실작물연구소 | 군락에서 영상이미지를 통한 작물기관별 이미지식별시스템 |
| KR20190025079A (ko) * | 2017-08-28 | 2019-03-11 | 서울대학교산학협력단 | 토양 이미지를 이용한 토양 분류 방법 및 함수비 추정 방법 |
| KR101996528B1 (ko) | 2017-09-06 | 2019-07-04 | 국립생태원 | 생태환경 연구 시스템 및 그 방법 |
| KR20190069250A (ko) * | 2017-12-11 | 2019-06-19 | 김소라 | 자연 학습 컨텐츠를 제공하는 서버 및 서버의 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11793119B2 (en) | Information processing device and information processing method | |
| US20230091677A1 (en) | Monitoring and intelligence generation for farm field | |
| Hawthorne et al. | Mapping non-native invasive species and accessibility in an urban forest: A case study of participatory mapping and citizen science in Atlanta, Georgia | |
| CN106663284B (zh) | 信息处理设备、信息处理方法以及程序 | |
| CN106605254B (zh) | 信息处理设备、信息处理方法以及程序 | |
| CN111815470A (zh) | 农事支持装置、方法和系统及记录介质 | |
| Mohamed et al. | Mesquite encroachment impact on southern New Mexico rangelands: remote sensing and geographic information systems approach | |
| He et al. | Recognition of soybean pods and yield prediction based on improved deep learning model | |
| Kheir et al. | Developing automated machine learning approach for fast and robust crop yield prediction using a fusion of remote sensing, soil, and weather dataset | |
| Ibrahim et al. | Predicting potato diseases in smallholder agricultural areas of Nigeria using machine learning and remote sensing-based climate data | |
| Ye et al. | Estimation of rice seedling growth traits with an end-to-end multi-objective deep learning framework | |
| KR102195389B1 (ko) | 생태 놀이를 위한 게임 제어 방법 및 장치 | |
| WO2016039175A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| Little | Sampling and analyzing wetland vegetation | |
| Ye et al. | CBTA: a CNN-BiGRU method with triple attention for winter wheat yield prediction | |
| Lee et al. | Evaluation of crop mapping on fragmented and complex slope farmlands through random forest and object-oriented analysis using unmanned aerial vehicles | |
| Boakye et al. | Monitoring environmental changes and their drivers: The Case study of central Ethiopian highlands | |
| Brandt et al. | High-resolution sensors and deep learning models for tree resource monitoring | |
| Han et al. | Classifying cropping area of middle Heihe River Basin in China using multitemporal normalized difference vegetation index data | |
| Lu | Intelligent design and realization of sustainable development-oriented garden | |
| Sailaja et al. | Spatial rice decision support system for effective rice crop management | |
| Pathak | Machine vision methods for evaluating plant stand count and weed classification using open-source platforms | |
| Lv et al. | Human activities dominant the distribution of Kobresia pygmaea community in alpine meadow grassland in the east source region of Yellow River, China | |
| WO2024154382A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| US20240378354A1 (en) | Methods And Systems For Use In Trait Interpretation In Agricultural Crops |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20200210 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20200210 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200313 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20201209 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20201218 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20201218 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240103 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241111 Start annual number: 5 End annual number: 5 |