KR20220010066A - 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법 - Google Patents

처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법 Download PDF

Info

Publication number
KR20220010066A
KR20220010066A KR1020227000999A KR20227000999A KR20220010066A KR 20220010066 A KR20220010066 A KR 20220010066A KR 1020227000999 A KR1020227000999 A KR 1020227000999A KR 20227000999 A KR20227000999 A KR 20227000999A KR 20220010066 A KR20220010066 A KR 20220010066A
Authority
KR
South Korea
Prior art keywords
image
information
sensor
growth
image data
Prior art date
Application number
KR1020227000999A
Other languages
English (en)
Other versions
KR102487134B1 (ko
Inventor
모리오 오구라
히로후미 스미
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220010066A publication Critical patent/KR20220010066A/ko
Application granted granted Critical
Publication of KR102487134B1 publication Critical patent/KR102487134B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0098—Plants or trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0118—Apparatus with remote processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1793—Remote sensing
    • G01N2021/1797—Remote sensing in landscape, e.g. crops
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/3155—Measuring in two spectral ranges, e.g. UV and visible
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Botany (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Primary Health Care (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Wood Science & Technology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)

Abstract

본 발명의 방법은, 광학 데이터를 포함하는 유기체의 화상 정보를 획득하고, 상기 광학 데이터에 기초하여 생육 지표를 산출하고, 상기 생육 지표에 기초하여 예상 수확 시기를 산출하는 방법으로서, 상기 화상 정보는, (a) 화상 센서로부터 획득한 가시 화상 데이터 및 화상 센서로부터 획득한 비가시 화상 데이터와, (b) 적어도 2개의 촬상 장치로부터의 화상 데이터 중 적어도 하나를 포함하고, 상기 적어도 2개의 촬상 장치는 적어도 2곳으로부터 화상 데이터를 촬상하는 것을 특징으로 한다

Description

처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법{METHOD, SYSTEM, AND MEDIUM HAVING STORED THEREON INSTRUCTIONS THAT CAUSE A PROCESSOR TO EXECUTE A METHOD FOR OBTAINING IMAGE INFORMATION OF AN ORGANISM COMPRISING A SET OF OPTICAL DATA}
본 기술은, 정보 처리 시스템, 및 정보 처리 시스템의 정보 처리 방법, 촬상 장치 및 촬상 방법, 및 프로그램에 관한 것으로, 특히, 적절하게 농작물의 생육 지표, 및 예상 적정 수확 시기를 적절하게 산출할 수 있도록 한 정보 처리 시스템, 및 정보 처리 시스템의 정보 처리 방법, 촬상 장치 및 촬상 방법, 및 프로그램에 관한 것이다.
<우선권 주장>
본 출원은 그 내용이 여기에 인용문으로 병합되어 있는 JP2013-062017호에 근거한 우선권을 주장한다.
인공 위성에 탑재한 센서에 의해 식물로부터의 반사광(근적외광)을 센싱함에 의해, 작물의 생육 상황, 수확기 추정을 행하는 위성 리모트 센싱은, 야간이나 구름 아래의 데이터는 취득할 수가 없는데다가, 위성으로부터 데이터가 자기앞으로 도달할 때까지 수일을 필요로 하여, 리얼 타임의 정보가 되기 어렵고. 또한, 위성이 주회(loop trip)하고 있기 때문에 동일 지점에서의 정보는 위성의 주기에 의존하게 되기 때문에, 넓은 범위의 대략적인 정보는 얻어지지만, 좁은 영역의 정확한 정보는 얻기가 어려웠다.
또한, 지상에 설치한 센서를 이용한 근접 리모트 센싱은, 대상물로부터 센서까지의 거리가 가깝기 때문에, 위성 리모트 센싱에 비하여 대기의 영향이 적은 것, 대상물 이외의 센서에의 찍혀들어감이 없고 순수한 대상물의 데이터가 취득될 수 있는 것, 좋아하는 때에 데이터를 취득할 수 있는 것 등의 메리트가 있다. 상기 리모트 센싱으로서, 식물의 근처에서 화상 정보를 취득하고, 화상 정보를 컴퓨터에 송신하고, 컴퓨터에서, 식생 지수(vegetation index)를 산출하고, 섬유량 등의 평가항목과의 상관 관계에 의거하여, 수확 적절 시기인지를 평가, 또한 수확 적절 시기를 예측하는 것이 개시되어 있다(특허 문헌 1 참조).
특허 문헌 1 : WO2009/116613호 국제 공개 공보
그러나, 상술한 특허 문헌 1에 기재된 기술에서는, 작물을 촬영하는 카메라는 단수이기 때문에, 밭의 영역 내에서 생육 상황에 편차가 있는 경우, 가끔 촬영한 작물의 생육 상황으로 전 전체의 생육 상황을 인식하는 것으로 되어, 수확 적절 시기의 평가나 수확 적절 시기의 예측의 정밀도가 낮아져 버리는 일이 있다. 또한, 다른 지역에 존재하는 많은 밭에서의 생육 상황을 자동적으로 파악할 수는 없었다.
또한, 특허 문헌 1에 기재된 기술에서는, 근적외광 센서 및 적색 광센서를 이용하여, 작물의 화상 데이터로부터 근적외광 및 적색광 데이터에 의거한 연산에 의해 식생 지수를 산출함에 의해 작물의 생육 상황을 평가한 정밀도가 불충분하였다. 즉, 작물의 색을 이용한 생육 상황의 평가와 식생 지수에 의한 생육 상황의 평가를 조합시켜서 평가를 행함에 의해 평가의 정밀도를 향상시키는 것이 곤란하였다.
또한, 특허 문헌 1에 기재된 기술에서는, 카메라로서 리모트 센싱용의 전용기를 이용하여도 좋다는 취지가 기재되어 있다. 리모트 센싱의 전용기로서는, 멀티 스펙트럼 카메라(멀티 밴드 카메라)나 하이퍼스펙트럼 카메라가 사용되고 있다. 전자는, 밴드 패스 필터의 기계적인 지환이 필요하고, 화상 영역의 동시성이 불충분하였다. 또한, 후자는, 스캔이 필요하기 때문에, 화상 영역의 동시성이 불충분하고, 또한, 광학계가 복잡하기 때문, 카메라의 소형화가 곤란하고 고가이고, 또한, 데이터 용량이 크기 때문에, 통신부하가 커지고, 특히 무선 통신에 적합하지가 않았다.
또한, 특허 문헌 1에 기재된 기술에서는, 생산자 또는 관리자에 대해 수확 적절 시기의 평가 결과, 또는 수확 적절 시기의 예측을 제공하는 것이 전제로 되어 있다. 이 경우, 생산자가 수확 시기를 예상·파악한 것은 가능하지만, 소매업자, 일반 소비자, 또는 레스토랑 등, 소매업자를 통하지 않고 작물을 구입하고 싶은 소비자, 물류업자 등, 작물의 수확 시기를 파악하고 싶은 요구에 응할 수가 없었다.
본 기술은, 이와 같은 상황을 감안하여 이루어진 것이고, 특히, RGB 화상, 및 NIR 화상에 의거하여, 농작물의 생육 지표, 및 예상 적정 수확 시기를 적절하게 산출할 수 있도록 함과 함께, 생육 지표, 및 예상 적정 수확 시기의 정보를, 생산자, 및 관리자에 대해서만이 아니라, 소매업자, 일반 소비자, 및 물류업자 등에 배신할 수 있도록 하는 것이다.
본 발명의 한 실시예에 따른 방법은, 광학 데이터를 포함하는 유기체의 화상 정보를 획득하고, 상기 광학 데이터에 기초하여 생육 지표를 산출하고, 상기 생육 지표에 기초하여 예상 수확 시기를 산출하고, 상기 화상 정보는, (a) 화상 센서로부터 획득한 가시 화상 데이터 및 화상 센서로부터 획득한 비가시 화상 데이터와, (b) 적어도 2개의 촬상 장치로부터 획득한 화상 데이터 중, 적어도 하나를 포함하고, 상기 적어도 2개의 촬상 장치는 적어도 2곳으로부터 화상 데이터를 촬상한다.
본 발명의 한 실시예에 따른 시스템은 촬상 장치를 포함하고, 서버 및 촬상 장치 중의 적어도 하나는, 광학 데이터를 포함하는 유기체의 화상 정보를 획득하고, 상기 광학 데이터에 기초하여 생육 지표를 산출하고, 상기 생육 지표에 기초하여 예상 수확 시기를 산출하고, 상기 화상 정보는, (a) 화상 센서로부터 획득한 가시 화상 데이터 및 화상 센서로부터 획득한 비가시 화상 데이터와, (b) 적어도 2개의 촬상 장치로부터 획득한 화상 데이터 중, 적어도 하나를 포함하고, 상기 적어도 2개의 촬상 장치는 적어도 2곳으로부터 화상 데이터를 촬상한다.
본 발명의 한 실시예에 따른 유무형의 컴퓨터 판독 가능한 매체는, 프로세서로 하여금 광학 데이터를 포함하는 유기체의 화상 정보를 획득하는 방법을 실행하게 하는 명령이 기록된 매체로서, 상기 방법은, 광학 데이터를 포함하는 유기체의 화상 정보를 획득하고, 상기 광학 데이터에 기초하여 생육 지표를 산출하고, 상기 생육 지표에 기초하여 예상 수확 시기를 산출하고, 상기 화상 정보는, (a) 화상 센서로부터 획득한 가시 화상 데이터 및 화상 센서로부터 획득한 비가시 화상 데이터와, (b) 적어도 2개의 촬상 장치로부터 획득한 화상 데이터 중, 적어도 하나를 포함하고, 상기 적어도 2개의 촬상 장치는 적어도 2곳으로부터 화상 데이터를 촬상한다.
여기의 예시적인 실시예에서 사용된 바와 같이, "생산물" 및 "농업 생산물"이라는 용어는 유기체를 포함한다. 유기체는 살아있는 조직체이다. 살아있는 조직체는 생물학적으로 동일 범주에 있다.
여기서 사용된 바와 같이, 유기체의 더 많은 정의는 생물체의 특성을 나타내는 하나 이상의 안정된 전체로 작용하는 분자의 집합체이고, 이것은 성장할 수 있는 살아있는 구조를 포함한다. 따라서, 예를 들면 유기체는 동물, 균류, 미생물, 및 식물을 포함하지만 이것에만 한정되지 않는다.
따라서, "생산물"과 그 변형된 용어는 여기에서 사용된 바와 같이 "농업 생산물"을 포함하지만 이것에 한정되지 않고, 소(cow), 염소(goat), 양, 돼지 어류, 및 가금류 등의 동물을 포함하지만 이것에 한정되지 않는다.
따라서, 예를 들어, "생육 지표" 및 그 변형된 용어는 여기에서 사용된 바오 같이 "생육 상태 정보", "생육 상황 정보"를 포함하지만 이것에 한정되지 않고, 농산물 및 동물을 포함하는 유기체의 생육을 포함하지만 이것에 한정되지 않는다.
또한, 예를 들면, "수확" 및 그 변형된 용어는 여기에서 사용된 바와 같이, "수확하기", "수확 시기 정보", "예상 적정 수확 시기", "수확 계획", "수확 계획 정보", "수확 시작 시기", "수확 시기", 및 "수확 시한(tiem limit)은 유기물의 수확을 포함하지만 여기에 한정되지 않는다. 여러 예시적인 실시예에서, 수확은 농산물 및/또는 동물을 포함하는 성숙한 유기체들의 수집을 포함한다.
따라서, "생육 상태를 평가한다" 및 그 변형된 용어는 여기에서 사용된 바와 같이 동물 및 농산물 등의 유기체의 생육 상태를 평가하는 것을 포함한다. 그러한 평가는 생육 지표 및 여기에서 명시적으로 열거하지 않은 다른 속성을 포함하는 동물과 농산물의 여러 속성을 사용할 수 있다.
여기에서 개시된 방법 및 시스템은 광학 데이터를 사용할 수 있다. 예를 들면, 광학 데이터는 생육 지표 도는 생육 정보를 획득하여 사용될 수 있다. 광학 데이터는 가시 및 비가시 화상 데이터를 포함하는 촬상된 화상 데이터를 포함할 수 있다.
여기서 사용된 바와 같이, "가시 화상 데이터"라는 용어는 적색-녹색-청색(RGB라고 함) 컬러 모델을 사용하는 화상 데이터를 포함한다. 예를 들면, 디지털 카메라 및 영상 카메라는 종종 RGB 색공간(color space)을 사용한다.
여기서 사용된 바와 같이, "비가시 화상 데이터"라는 용어는 근적외선(NIR이라고 함)을 포함할 수 있다.
여기서 사용된 바와 같이, "외부 단체" 및 그 변형된 용어는 일반 소비자, 소매업자, 레스토랑, 및 식료품 업자를 포함한다. 예를 들면, 외부 단체는 물류 시스템에 관련된 사람 또는 업체를 포함할 수 있다.
여기에서 개시된 여러 예시적인 실시예에 사용된 바와 같은 촬상 장치는, 화상 데이터 또는 촬상 정보를 촬상하는 장치이다. 예를 들면, 촬상 장치는 카메라 또는 비디오 카메라 등의 정지 화상 또는 동화상 데이터를 기억 및/또는 전송하는 광학 장치를 포함하지만 이것에 한정되지 않는다.
여기서 사용된 바와 같이, "센서 카메라" 및 그 변형된 용어는 화상을 촬상하는 장치를 말한다. 센서 카메라는 여러 속성들을 모으고 전송하고 및/또는 저장하는 능력 등과 같은 여러 기능을 구비할 수 있다. 그러한 속성들은 생육, 온도, 습도 및 기압에 관련된 정보를 포함하지만 이것에 한정되지 않는다,.
또한, 센서 카메라는 네트워크를 통해서 또는 인터넷 장치에 정보 또는 데이터를 전송하는 기능을 갖을 수 있다. 예를 들면, 센서 카메라는 촬상된 데이터를 포함하는 정보를 서버에 공급할 수 있다.
여기의 설명에 있어서, 설명의 편의를 위해 방법은 특정의 순서대로 설명될 것이다. 다른 실시예에서, 상기 방법은 설명된 것과 다른 순서대로 실행될 수 있다. 여기서 설명된 방법은, 하드웨어 성분에 의해 실행될 수 있고 기계가 실행가능한 일련의 명령으로 구체화될 수 있고, 이러한 명령은 일반용 또는 특수용 프로세서(GPU 또는 CPU) 또는 명령으로 프래그래밍 된 논리 회로(FPGA) 등의 기계가 상기 방법을 실행하도록 하는데 사용된다. 이러한 기계가 실행가능한 일련의 명령은, CD-ROM 또는 다른 형태의 광학 디스크, 플로피 디스켓, ROM, RAM, EPROM, EEPROM, 마그네틱 또는 광학 카드, 플래시 메모리, 또는 전자 명령을 기억하는데 적합한 다른 형태의 기계 판독가능한 매체 등의 하나 이상의 기계 판독가능한 매체 상에 기억될 수 있다. 또한, 상기 방법은 하드웨어와 소프트웨어의 조합에 의해 실행될 수 있다.
실시예의 완전한 이해를 위해 상세한 설명이 이루어질 것이다. 그러나, 통상의 기술자에게 예시적인 실시예는 이러한 특정 상세가 없이도 실행될 수 있음을 주지해야 한다.
예를 들면, 몇몇의 예에서의 공지의 회로, 프로세스, 알고리즘, 구성, 기술 등은 예시적인 실시예를 모호하게 하는 것을 회피하고자 불필요하게 상세하게 설명하지 않고 개시 및 언급될 것이다.
또한, 실시예들은 특히 플로 차트, 플로 다이어그램, 데이터 플로 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로서 설명되는 여러 프로세스로서 설명될 것이다. 이러한 설명 중의 어느 것이라도 연산들 중의 여러 부분들을 순차 처리 또는 순차 처리들로 설명할 수 있지만, 많은 연산 또는 일부분의 연산은 병렬적으로 동시에 장황하게 실행될 수도 있다.
또한, 연산의 순서는 재배열될 수 있다. 프로세스는 그 연산이 완료되면 종결되지만, 도면에 포함되지 않은 추가적인 단계 또는 반복적인 단계를 포함할 수 있다. 프로세스는 방법, 기능, 절차, 서브루틴, 서브프로그램 등에 대응한다. 프로세스가 기능에 대응할 때, 그 종료는 호출 기능 또는 메인 기능으로의 그 기능의 복귀에 대응한다.
더욱이, 실시예는 특히 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 및 하드웨어 기술 언어 또는 다른 그들의 조합에 의해 실현될 것이다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로 코드에서 구현될 때, 필요한 과제를 실행하는 프로그램 코드 또는 코드 세그먼트는 기록 매체 등의 기계 판독가능한 매체에 기억될 수 있다.
프로세서는 필요한 과제를 실행할 수 있다. 코드 세그먼트는 절차, 기능, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스(class), 또는 다른 명령들의 조합, 데이터 구조, 또는 프로그램문을 나타낸다. 코드 세그먼트는 정보, 데이터, 인수(augument), 파라미터 또는 메모리 컨텐츠를 통과 및/또는 수신함에 의해 다른 코드 세그먼트 또는 하드웨어에 결합될 수 있다. 정보, 인수, 파라미터, 데이터 등은 메모리 공유, 메시지 패싱, 토큰 패싱, 네트워크 전송 등을 포함하는 적절한 어떤 수단에 의해 통과하고 또는 전송되고 또는 전달될 수 있다.
여기서 사용된 용어 및 설명은, 본 발명에 관한 실시 형태를 설명하기 위해 사용된 것이고, 본 발명은 이것으로 한정되는 것은 아니다. 본 발명은, 청구의 범위 내라면, 그 정신을 일탈하는 것이 아닌 한 어떠한 설계적 변경도 허용하는 것이다.
본 기술의 실시예에 의하면, 농작물의 생육 지표와 예상 적정 수확 시기를 적절하게 산출시키는 것이 가능해진다. 여러 실시예에서 생육 지표와 예상 적정 수확 시기의 산출은 선행 기술의 산출을 뛰어 넘어 개선될 수 있다.
도 1은 정보 처리 시스템의 구성례를 도시하는 도면.
도 2는 도 1의 센서 카메라의 구성례를 도시하는 도면.
도 3은 도 2의 센서 카메라에서의 센서의 구성례를 도시하는 도면.
도 4는 도 1의 단말 장치의 구성례를 도시하는 도면.
도 5는 도 1의 서버의 구성례를 도시하는 도면.
도 6은 관리 정보의 구성례를 도시하는 도면.
도 7은 센서 카메라에 의한 생육 상황 정보 축적 처리를 설명하는 플로 차트.
도 8은 센서 카메라 사이의 생육 상황 정보의 전송 방법을 설명하는 도면.
도 9는 센서 카메라 사이의 생육 상황 정보의 전송 방법을 설명하는 도면.
도 10은 센서 카메라에 의한 센싱 처리에 관해 설명하는 플로 차트.
도 11은 서버에 의한 생육 상황 정보 축적 처리를 설명하는 플로 차트.
도 12는 단말 장치에 의한 수확 계획 수신 처리에 관해 설명하는 플로 차트.
도 13은 스테레오 화상의 촬상 원리를 설명하는 도면.
도 14는 단말 장치와 서버에 의한 문의 응답 처리를 설명하는 플로 차트.
도 15는 센서의 제1의 변형례를 설명하는 도면.
도 16은 센서의 제2의 변형례를 설명하는 도면.
도 17은 센서의 제3의 변형례를 설명하는 도면.
도 18은 센서의 제4의 변형례를 설명하는 도면.
도 19는 범용의 퍼스널 컴퓨터의 구성례를 설명하는 도면.
이하, 본 개시에서의 실시의 형태(이하, 본 실시의 형태라고 한다)에 관해 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1의 실시의 형태(정보 처리 시스템의 한 실시의 형태의 구성례)
2. 제1의 변형례(센서 구조의 제1의 변형례)
3. 제2의 변형례(센서 구조의 제2의 변형례)
4. 제3의 변형례(센서 구조의 제3의 변형례)
5. 제4의 변형례(센서 구조의 제4의 변형례)
(1. 제1의 실시의 형태)
<정보 처리 시스템의 구성례>
우선, 도 1을 참조하여, 본 발명의 한 실시의 형태의 구성 예인 정보 처리 시스템의 구성례에 관해 설명한다.
도 1의 정보 처리 시스템은, 센서 카메라(11-1 내지 11-N), 소비자, 소매업자, 물류업자, 및 농가의 각각에 의해 관리되는 단말 장치(12-1 내지 12-4), 네트워크(13), 및 서버(14)로 구성되어 있다. 도 1의 정보 처리 시스템은, 센서 카메라(11-1 내지 11-N)에 의해 촬상된 화상이, 인터넷으로 대표되는 네트워크(13)를 통하여, 서버(14)에 공급됨에 의해, 서버(14)에서, 농작물의 생육 지표가 산출됨과 함께, 생육 지표에 의거하여, 예상 적정 수확 시기가 산출된다. 그리고, 서버(14)는, 소비자, 소매업자, 물류업자, 및 농가의 각각에 의해 관리되는 단말 장치(12-1 내지 12-4)로부터의 예상 적정 수확 시기 등의 문의에 응답한다.
보다 상세하게는, 센서 카메라(11-1 내지 11-N)는, 관리하여야 할 농작물의 경작지에 소정의 간격으로 경작지 전체가 촬상될 수 있도록(또는, 센서 카메라(11-1 내지 11-N)에 의해, 전체로서 경작지 전체라고 근사할 수 있는 영역이 촬상될 수 있도록) 배치되고, RGB의 각 화소, 및 근적외선(이후, NIR이라고도 칭한다)의 화소로 이루어지는 화상을 촬상하고, 촬상한 화상 데이터를, 네트워크(13)를 통하여 서버(14)에 송신한다. 또한, 센서 카메라(11)는, 환경 정보로서, 기온, 습도, 및 대기압 등의 정보를 측정하고, 촬상한 화상 데이터와 함께 생육 상황 정보로서 서버(14)에 공급한다. 또한, 센서 카메라(11-1 내지 11-N)는, 특히 구별할 필요가 없는 경우, 단지 센서 카메라(11)로 칭하기로 하고, 그 밖의 구성에 대해서도 마찬가지로 칭하기로 한다.
단말 장치(12-1 내지 12-4)는, 소비자, 소매업자, 물류업자, 및 농가의 각각에 의해 관리되는, 예를 들면, 퍼스널 컴퓨터 등(이른바, 스마트 폰 등의 모바일 단말도 포함한다)으로 이루어지는 정보 처리 장치이고, 서버(14)에 대해, 네트워크(13)를 통하여 생육 지표나 예상 적정 수확 시기의 정보 등을 문의함과 함께, 그들의 응답 정보를 수신하여 표시한다.
서버(14)는, 센서 카메라(11)로부터 공급되어 오는 화상 데이터 등에 의거한 생육 상황 정보를 취득하여 축적함과 함께, 화상 데이터에 의거하여 생육 지표 및 예상 적정 수확 시기를 산출한다. 또한, 서버(14)는, 센서 카메라(11)로부터 공급되어 온 화상 데이터에 더하여, 과거의 생육 상황 정보도 이용하여 예상 적정 수확 시기를 산출한다. 또한, 서버(14)는, 생육 상황 정보에 의거하여 산출된 예상 적정 수확 시기가 도래하면, 네트워크(13)를 통하여, 소비자, 소매업자, 물류업자, 및 농가의 각각에 의해 관리되는 단말 장치(12-1 내지 12-4)에 예상 적정 수확 시기의 도래를 알리는 정보를 통지하다. 또한, 예상 적정 수확 시기에 관해서는, 적정한 수확을 시작하여야 할 날로서 예상되는 예상일 그 자체라도 좋고, 예상일로부터 소정의 일수만큼 전의 날, 또는 예상일로부터 소정의 일수만큼 전의 날로부터 소정 일수가 되는 기간이라도 좋다.
<센서 카메라의 기능을 실현하기 위한 구성례>
다음에, 도 2를 참조하여, 센서 카메라(11)의 기능을 실현하기 위한 구성례에 관해 설명한다.
센서 카메라(11)는, 센서(31), RGB 화상 생성부(32), NDVI 화상 생성부(33), 제어부(34), IP 어드레스 기억부(35), GPS(36), 환경 정보 측정부(37), RTC(38), 생육 상황 정보 생성부(39), 통신부(40), 및 통신 경로 특정부(41)를 구비하고 있다. 센서(31)는, 예를 들면, 이미지 센서로 구성되어 있고, 예를 들면, 도 3에서 도시되는 바와 같은 화소 배열로 되어 있다. 즉, 센서(31)의 화소 배열은, 화상(P1)으로 도시되는 바와 같은 통상의 RGB(적색, 녹색, 청색)로 이루어지는 베이어 배열에서의 녹색의 배열의 어느 하나를 근적외선 화소로서 구성하고 있다. 또한, 이후의 도면에서는, 가로줄무늬 모양은 녹색을 나타내고, 세로줄무늬 모양은 청색을 나타내고, 오른쪽으로 올라가는 사선부는 적색을 나타내고, 오른쪽으로 내려가는 사선부는 근적외선을 나타내는 것으로 한다.
RGB 화상 생성부(32)는, 센서(31)에 의해 촬상된 화상 신호로부터 RGB 화상을 생성한다. 즉, RGB 화상 생성부(32)는, 도 3의 화상(P1)으로 도시되는 바와 같은 화소 배열의 센서(31)에 의해 촬상된 화상 신호에 의거하여, 각각 화상(P11 내지 P13)으로 도시되는 바와 같이, 녹색, 적색, 및 청색의 신호를 추출하고, 이것을 디모자이크 처리에 의해, 화상(P21 내지 P23)으로 도시되는 바와 같은, 녹색, 적색, 및 청색의 성분 신호 화상을 생성한다. 또한, RGB 화상 생성부(32)는, 화상(P21 내지 P23)으로 도시되는 바와 같은 RGB의 성분 신호 화상을 구성함에 의해, 화상(P31)으로 도시되는 바와 같은 RGB 화상을 생성한다.
NDVI(Normalized Difference Vegetation Index) 화상 생성부(33)는, 센서(31)에 의해 촬상된 화상 신호로부터 NIR 화상을 생성한다. 즉, NDVI 화상 생성부(33)는, 도 3의 화상(P1)으로 도시되는 바와 같은 화소 배열의 센서(31)에 의해 촬상된 화상 신호에 의거하여, 화상(P14)으로 도시되는 바와 같이 NIR의 신호를 추출하고, 이것을 디모자이크 처리에 의해, 화상(P24)으로 도시되는 바와 같은 NIR의 성분 신호 화상을 생성한다. 또한, NDVI 화상 생성부(33)는, 이 NIR의 성분 신호 화상과, 상술한 RGB 화상 생성부(32)에 의해 생성된 적색의 성분 신호 화상에 의거하여, NDVI 화상을 생성한다. 또한, NDVI(Normalized Difference Vegetation Index)에 관해서는, 상세를 후술한다.
제어부(34)는, 예를 들면, 마이크로 프로세서나 메모리 등으로 구성되어 있고, 메모리에 기억된 프로그램을 실행함에 의해 각종의 처리를 실행하고, 센서 카메라(11)의 동작의 전체를 제어한다.
IP(Internet Protocol) 어드레스 기억부(35)는, 센서 카메라(11)를 개별적으로 식별하는 정보인 IP 어드레스를 기억하고 있고, 필요에 응하여, IP 어드레스의 정보를 제어부(34)에 공급한다. GPS(Global Positioning System)(36)는, 도시하지 않은 위성으로부터의 전파를 수신하여, 센서 카메라(11)가 설치되어 있는, 지구상의 위도 및 경도로 이루어지는 위치 정보를 산출하고, 제어부(34)에 공급한다. 환경 정보 측정부(37)는, 센서 카메라(11)가 설치되어 있는 환경 정보로서, 기온, 습도, 및 대기압의 정보를 측정하고, 제어부(34)에 공급한다. RTC(Real Time Clock)를 구비하고 있고, 시각 정보를 항상 발생하고 있고, 제어부(34)에 공급한다. 또한, 여기서는, 센서 카메라(11)를 개별적으로 식별하는 정보로서 IP 어드레스를 이용한 예에 관해 설명하는 것으로 하지만, 센서 카메라(11)를 개별적으로 식별할 수 있는 정보라면, IP 어드레스 이외의 정보를 이용하도록 하여도 좋다.
생육 상황 정보 생성부(39)는, 센서(31)에 의해 화상이 촬상되면, 촬상된 타이밍에서의 시각 정보와 함께, IP 어드레스, RGB 화상, NDVI 화상, 위치 정보, 및 환경 정보로 이루어지는 생육 상황 정보를 생성한다. 또한, 생육 상황 정보에 관해서는, 생육 상황을 확인할 수 있는 정보라면, IP 어드레스, RGB 화상, NDVI 화상, 위치 정보, 및 환경 정보 이외의 정보를 포함하도록 하여도 좋다.
통신부(40)는, 유선 또는 무선으로 인터넷 등으로 이루어지는 네트워크(13)를 통하여 통신하는 것이고, 예를 들면, 이서넷 보드 등으로 이루어지고, 제어부(34)에 의해 제어되고, 생육 상황 정보를 서버(14)에 송신한다. 통신 경로 특정부(41)는, 통신부(40)로부터 생육 상황 정보를 송신할 때의 통신 경로를 특정한다. 즉, 통신 경로 특정부(41)는, 예를 들면, 무수하게 존재하는 센서 카메라(11)로부터 서버(14)에 공급하여야 할 생육 상황 정보를 센서 카메라(11) 사이에서 순차적으로 릴레이 형식으로 서버(14)에 송신한다. 즉, 센서 카메라(11-1 내지 11-3)가 각각의 생육 상황 정보를 송신할 때, 센서 카메라(11-1)는, 스스로의 생육 상황 정보를 센서 카메라(11-2)에 송신하고, 센서 카메라(11-2)는, 스스로의 생육 상황 정보와, 센서 카메라(11-1)로부터 공급되어 온 생육 상황 정보를 센서 카메라(11-3)에 공급한다. 또한, 센서 카메라(11-3)는, 스스로의 생육 상황 정보와, 센서 카메라(11-1, 11-2)의 각각의 생육 상황 정보를 서버(14)에 송신한다. 통신 경로 특정부(41)는, 이와 같은 통신을 하기 위해, 어느 센서 카메라(11)를 경유시켜서 스스로의 생육 상황 정보를 송신하여야 하는지의 통신 경로를 특정한다. 구체적으로는, 센서 카메라(11)의 통신 경로 특정부(41)에 의해 근처의 센서 카메라(11)의 통신 경로 특정부(41)와 통신부(40)를 통하여 통신하고, 예를 들면, 후술하는 스테레오 화상을 구성하기 위한, 쌍이 되는 화상을 맞 촬상할 때에는, 상호 간에 어느 하나가 통합하여 생육 상황 정보를 송신하도록 경로를 특정한다. 이와 같은 처리에 의해, 통신 경로상의 혼잡을 저감시키는 것이 가능해지고, 통신 속도를 향상시키는 것이 가능해진다. 이와 같은 통신 형태는, 예를 들면, Zigbee(등록상표) 등으로 대표되는 근거리 통신 등과 마찬가지이다. 또한, 통신 경로에 관해서는, 순차적으로 효율 좋게 생육 상황 정보가 서버(14)에 송신될 수 있으면 좋은 것이고, 상술한 릴레이 형식은, 그 한 예에 지나지 않고, 그 밖의 형식으로 송신하도록 하여도 좋은 것이다.
<단말 장치의 기능을 실현시키는 구성례>
다음에, 도 4를 참조하여, 소비자, 소매업자, 물류업자, 및 농가의 각각에 의해 관리되는 단말 장치(12)의 기능을 실현시키는 구성례에 관해 설명한다.
소비자, 소매업자, 물류업자, 및 농가의 각각에 의해 관리되는 단말 장치(12)는, 제어부(61), 문의부(62), 조작부(63), 통신부(64), IP 어드레스 기억부(65), 및 표시부(66)를 구비하고 있다. 제어부(61)는, 마이크로 프로세서 및 메모리 등으로 이루어지고, 메모리에 기억된 데이터, 및 프로그램을 마이크로 프로세서가 실행함에 의해, 단말 장치(12)의 동작의 전체를 제어한다. 문의부(12)는, 키보드나 마우스 등으로 이루어지는 조작부(63)가 조작됨에 의해, 센서 카메라(11)에 의해 촬상되어 있는 화상, 생육 지표, 및 예상 적정 수확 시기의 전부, 또는, 그 어느 하나를 문의하는 지시가 이루어지면, 이서넷 보드 등으로 이루어지는 통신부(64)를 제어하여, IP 어드레스 기억부(65)에 기억되어 있는, 스스로가 관리하는(또는 문의하고 싶은) 센서 카메라(11)를 특정하는 IP 어드레스의 정보와 함께 서버(14)에 대해, 센서 카메라(11)에 의해 촬상되어 있는 화상, 생육 지표, 및 예상 적정 수확 시기를 문의하는 문의 정보를 생성시킨다. 그리고, 문의부(12)는, 생성한 문의 정보를 통신부(64)로부터 서버(14)에 송신시킨다. 또한, 통신부(64)는, 이 문의 정보에 대응하여, 서버(14)로부터 송신되어 오는 응답 정보를 수신하여, 제어부(61)에 공급한다. 제어부(61)는, 이 응답 정보를 LCD(Loquid Crystal Display)나 유기 EL(Electro Luminescence) 등으로 이루어지는 표시부(66)에 표시한다.
<서버의 기능을 실현하기 위한 구성례>
다음에, 도 5를 참조하여, 서버(14)의 기능을 실현하는 구성례에 관해 설명한다.
서버(14)는, 제어부(81), 생육 상황 정보 축적부(82), 대상물 영역 특정부(83), RGB 화상 생육 지표 산출부(84), NDVI 화상 생육 지표 산출부(85), 스테레오 화상 생육 지표 산출부(86), 수확 시기 산출부(87), 관리 정보 축적부(88), 생육 지표 산출부(89), 매핑부(90), 센서 카메라 동작 상황 감시부(91), 통신부(92), 수확 계획 생성부(93), 배송 계획 생성부(94), 판매 계획 생성부(95), 구입 계획 생성부(96), 문의 접수부(97), 및 응답 작성부(98)를 구비하고 있다.
제어부(81)는, 마이크로 프로세서 및 메모리 등으로 이루어지고, 메모리에 기억되어 있는 데이터 및 프로그램을 실행함에 의해, 서버(14)의 전체의 동작을 제어한다.
생육 상황 정보 축적부(82)는, 통신부(92)를 통하여 센서 카메라(11)로부터 공급되어 오는 각각의 생육 상황 정보를, 센서 카메라(11)를 식별하는 IP 어드레스에 대응시켜서 기억한다.
대상물 영역 특정부(83)는, 생육 상황 정보에 포함되는 RGB 화상에 의거하여, 감시하여야 할 대상물이 되는 농작물이 존재하는 화상 내의 영역을 특정한다. 보다 상세하게는, 대상물 영역 특정부(83)는, 농작물마다의 특징 정보가 되는 색, 및 형상의 패턴을 기억하고 있고, RGB 화상 내에서, 이들의 특징 정보와 일치하는 영역을 검색함에 의해, 대상물 영역을 특정한다. 또한, 여기서는, 대상물 영역 특정부(83)는, 서버(14)에 마련되는 예에 관해 설명하는 것으로 하지만, 센서 카메라(11) 내에 마련하도록 하여, 예를 들면, 대상물 영역의 정보를 생육 상황 정보에 포함되는 것으로 하도록 하여도 좋다. 또한, 대상물 영역 특정부(83)는, 대상물 영역을 특정할 수 있으면 좋기 때문에, RGB 화상 이외의 화상, 예를 들면, NIR 화상만을 이용하여 대상물 영역을 특정하도록 하여도 좋다.
RGB 화상 생육 지표 산출부(84)는, RGB 화상 중, 대상물 영역으로서 특정된 화상 영역의 정보에 의거하여, 생육 지표를 산출한다. 예를 들면, 쌀의 수확 시기 등에 대해는, 1 이삭 중 녹색이 남아 있는 벼의 비율이 10% 정도일 때가 수확 시작 시기가 되고, 2% 정도가 수확 시한(time limit)으로 되어 있기 때문에, RGB 화상 생육 지표 산출부(84)는, 이 녹색의 벼의 비율에 의해 생육 지표를 산출한다. RGB 화상 생육 지표 산출부(84)는, RGB 화상 중, 대상물이 존재하는 영역의 화상 정보만을 이용하여 RGB 화상 생육 지표를 산출하기 때문에, 보다 높은 정밀도로 생육 지표를 산출하는 것이 가능해진다.
NDVI 화상 생육 지표 산출부(85)는, NDVI 화상 중, 대상물 영역으로서 특정된 화상 영역의 정보에 의거하여 생육 지표를 산출한다. 여기서 NDVI란, 이하의 식(1)으로 표시되는 정규화 식생 지수(vegetation index)를 나타내고 있다.
NDVI=(R_NIR-R_RED)/(R_NIR+R_RED) … (1)
여기서, NDVI는, 정규화 식생 지수이고, R_NIR은, 근적외광의 반사 비율이고, R_RED은, 적색의 반사 비율이다. 따라서, 상술한 센서 카메라(11)의 NDVI 화상 생성부(33)는, 상술한 식(1)의 연산에 의해 구하여지는 화상을 NDVI 화상으로서 생성한다. NDVI는 경엽(foliage)의 생육의 지표로서 사용되는 것이다. 또한, 근적외광, 및 적색광의 반사율은, RGB 화상, 및 NIR 화상에서, 대상물 영역이 아닌 영역으로서, 예를 들면, 하늘 등의 영역에서의 적색광 강도, 및 NIR 강도를 입사광 강도로서 구하고, 대상물 영역에서의 적색광 강도, 및 NIR 강도를 반사광 강도로서 구함으로써, 산출된다. 또한, 근적외광, 및 적색광의 반사율은, 기지의 반사율을 갖는 확산판을 리퍼런스로 하여, 입사광의 강도를 계측하고, 대상의 반사 휘도와의 비율로부터 반사 계수를 계산한 후, 반사율로 변환하도록 하여 구하도록 하여도 좋다. 또한, NDVI 화상 생육 지표 산출부(85)는, 대상물 영역만의 NDVI의 평균치, 분산, 또는 고차분산 등에 의해 NDVI 화상 생육 지표를 산출한다. 이와 같이 함으로써, 대상물 영역 내의 화소로부터 얻어진 정보만으로부터 NDVI 화상 생육 지표가 산출됨으로써, 보다 높은 정밀도로 NDVI 화상 생육 지표를 산출하는 것이 가능해진다.
스테레오 화상 생육 지표 산출부(86)는, 복수의 센서 카메라(11)에 의해 촬상된 동일한 대상물의 영역의 정보에 의거하여 시차 화상을 생성함에 의해, 대상물인 농작물의 크기를 입체적인 정보로서 취득하고, 그 입체적인 크기를 포함하는 화상 정보에 의거하여 스테레오 화상 생육 지표를 산출한다.
수확 시기 산출부(87)는, RGB 생육 지표, NDVI 생육 지표, 스테레오 화상 생육 지표, 및, 생육 상황 정보 축적부(82)에 축적된, 이들 정보의 과거의 정보에 의거하여 예상 적정 수확 시기를 산출한다.
관리 정보 축적부(88)는, 도 6에서 도시되는 바와 같이, 센서 카메라(11)를 식별하는 IP 어드레스마다, 센서 위치, 지역(국가, 또는 도시 등), 작물 종류, 작물(또는 농장) 소유자, 농장, 밭 Gp, 계약 물류업자, 계약 소매업자, 그룹, 생육 지표, 및 예상 적정 수확 시기의 정보를 기억하고 있다. 센서 위치의 난(field)에는, 센서 카메라(11)에 마련된 GPS(36)에 의해 취득된 정보가 등록된다. 지역의 난에는, 센서 위치에 대응시켜서 설정되는, 국, 또는 도시 등이 등록된다. 작물 종류의 난에는, 센서 카메라(11)에 의해 감시되는 경작지역에서 경작되는 작물의 종류를 나타내는 정보가 등록된다. 작물(농장) 소유자의 난에는, IP 어드레스로 특정되는 센서 카메라(11)가 설치되어 있는 작물, 또는 농장의 소유자의 정보가 등록된다. 농장, 밭 Gp의 난에는, 예를 들면, 동일한 소유자에 의해 관리되는 그룹 등이 등록된다. 계약 물류업자의 난에는, IP 어드레스로 식별되는 센서 카메라(11)에 의해 감시된 농작물을 운반하는 물류업자의 정보가 등록된다. 계약 소매업자의 난에는, IP 어드레스로 식별되는 센서 카메라(11)에 의해 감시되는 농작물을 판매하는 계약 소매업자의 정보가 등록된다. 그룹의 난에는, 예를 들면, 동시에 수확이 이루어지는 영역에 의해 할당된 그룹명이 등록된다. 생육 지표의 난에는, IP 어드레스로 식별되는 센서 카메라(11)에 의해 감시되는 범위 내의 농산물의 생육 지표가 등록된다. 예측 적정 수확 시기의 난에는, 생육 지표와, 그 과거의 정보에 의거하여 예측된 예측 적정 수확 시기의 정보가 등록된다.
도 6에서는, IP 어드레스로서, AAA, BBB, CCC로 등록되어 있다. 그리고, IP 어드레스가 AAA가 되는 센서 위치가 A이고, 지역이 a이고, 작물 종류가 α(알파)이고, 작물 소유자가 갑이고, 농장, 밭 Gp가 G1이고, 계약 물류업자가 (1)이고, 계약 소매업자가 "아"이고, 그룹이 i이고, 생육 지표가 60이고, 예상 적정 수확 시기가 10월 15일인 것이 표시되어 있다.
마찬가지로, IP 어드레스가 BBB가 되는 센서 위치가 B이고, 지역이 a이고, 작물 종류가 α이고, 작물 소유자가 갑이고, 농장, 밭 Gp가 G1이고, 계약 물류업자가 (1)이고, 계약 소매업자가 "아"이고, 그룹이 i이고, 생육 지표가 70이고, 예상 적정 수확 시기가 10월 16일인 것이 표시되어 있다.
또한, IP 어드레스가 CCC가 되는 센서 위치가 C이고, 지역이 c이고, 작물 종류가 β이고, 작물 소유자가 을이고, 농장, 밭 Gp가 G2이고, 계약 물류업자가 (2)이고, 계약 소매업자가 "이"이고, 그룹이 ⅱ이고, 생육 지표가 65이고, 예상 적정 수확 시기가 10월 20일인 것이 표시되어 있다.
생육 지표 산출부(89)는, RGB 생육 지표, NDVI 생육 지표, 및 스테레오 화상 생육 지표의 어느 하나, 또는, 그들에 의거하여, 예를 들면, 각각에 무게를 붙인 평균치 등으로서 설정된 생육 지표를 산출한다.
매핑부(90)는, 생육 지표나 예상 적정 수확 시기를 지역마다의 지도상의 정보로서 매핑한 정보를 생성한다.
센서 카메라 동작 상황 감시부(91)는, 생육 상황 정보에 포함되는 RGB 화상의 시계열의 변화를 비교하여 극단적으로 큰 변화가 있는 경우, 센서 카메라(11)의 동작 상태에 이상이 발생하고 있는지의 여부를 판정함으로써, 동작 상황을 감시한다.
통신부(92)는, 이서넷 보드 등으로 이루어지고, 제어부(81)에 의해 제어되고, 단말 장치(12)로부터 송신되어 오는 생육 상황 정보, 및 문의 정보를 수신함과 함께, 단말 장치(12)에 응답 정보를 송신한다.
수확 계획 생성부(93)는, 생육 상황 정보, 및 예상 적정 수확 시기의 정보에 의거한, 수확 시기의 정보로부터 수확 계획의 정보를 생성하여, 통신부(92)로부터 농가에 의해 관리 운영되는 단말 장치(12)에 송신한다. 또한, 수확 계획의 정보는, 농가에 의해 관리 운영되는 단말 장치(12)뿐만 아니라, 물류업자, 소매업자, 및 소비자에 의해 관리 운영되는 단말 장치(12)에 송신되도록 하여도 좋다. 이와 같이 함으로써, 물류업자, 소매업자, 및 소비자가, 수확 계획의 정보로부터 스스로의 물류 계획, 판매 계획, 및 구입 계획을 각각 작성하는 것도 가능해진다.
배송 계획 생성부(94)는, 생육 상황 정보, 및 예상 적정 수확 시기의 정보에 의거하여, 수확 시기의 정보로부터 배송 계획의 정보를 생성하여, 통신부(92)로부터 배송업자에 의해 관리 운영되는 단말 장치(12)에 송신한다.
판매 계획 생성부(95)는, 생육 상황 정보, 및 예상 수확 시기의 정보에 의거하여, 수확 시기의 정보로부터 판매 계획의 정보를 생성하여, 통신부(92)로부터 소매업자에 의해 관리 운영되는 단말 장치(12)에 송신한다.
구입 계획 생성부(96)는, 생육 상황 정보, 및 예상 수확 시기의 정보에 의거하여, 수확 시기의 정보로부터 구입 계획의 정보를 생성하여, 통신부(92)로부터 소비자에 의해 관리 운영되는 단말 장치(12)에 송신한다.
문의 접수부(97)는, 통신부(92)를 제어하여, 소비자, 소매업자, 물류업자, 및 농가의 어느 하나에 의해 운영되는 단말 장치(12)로부터 네트워크(13)를 통하여 송신되어 오는 수확 시기의 문의 등으로 이루어지는 문의 정보를 접수한다.
응답 작성부(98)는, 문의 정보로서 접수한 정보에 대응하는, 예를 들면, 매핑부(90)에 의해 생성된 생육 지표 매핑 정보로 이루어지는 응답 정보를 생성하여, 통신부(92)를 제어하여, 문의 정보를 송신하여 온 단말 장치(12)에 송신한다.
<센서 카메라에 의한 생육 상황 정보 축적 처리>
다음에, 도 7의 플로 차트를 참조하여, 센서 카메라(11)에 의한 생육 상황 정보 축적 처리에 관해 설명한다.
스텝 S11에서, 센서 카메라(11)의 제어부(34)는, RTC(38)에서 발생된 시각 정보와, 전회의 센싱 처리가 시작된 시각 정보에 의거하여, 전회의 센싱 처리로부터 소정의 시간이 경과하였는지의 여부를 판정한다. 스텝 S11에서, 전회의 센싱 처리로부터 소정의 시간이 경과하지 않은 경우, 처리는, 스텝 S15로 진행한다.
스텝 S15에서, 제어부(34)는, 도시하지 않은 조작부가 조작되어, 동작의 종료가 지시되었는지의 여부를 판정한다. 스텝 S15에서, 동작의 종료가 지시된 경우, 처리가 종료되고, 동작의 종료가 지시되지 않은 경우, 처리는, 스텝 S11로 되돌아온다. 즉, 동작의 종료가 지시되든지, 또는, 소정의 시간이 경과할 때까지, 스텝 S11, S15의 처리가 반복된다. 그리고, 스텝 S11에서, 소정의 시간이 경과하였다고 간주된 경우, 처리는, 스텝 S12로 진행한다.
스텝 S12에서, 센서(31)는, 센싱 처리를 실행하고, 센싱 처리에 의해 RGB 화상, 및 NDVI 화상을 취득한다. 또한, 센싱 처리에 관해서는, 도 10의 플로 차트를 참조하여, 상세를 후술한다.
스텝 S13에서, 생육 상황 정보 생성부(39)는, 센싱 처리에 의해 취득된 RGB 화상, 및 NDVI 화상, 및, IP 어드레스 기억부(35)에 기억되어 있는 IP 어드레스, GPS(36)에 의해 취득된 지구상의 위도 경도로 이루어지는 위치 정보, 환경 정보 측정부(37)에 의해 측정되는 기온, 습도, 및 대기압의 정보, 및 RTC(38)에 의해 발생되는 시각 정보에 의거하여, 생육 상황 정보를 생성한다. 또한, 생육 상황 정보는, 작물의 생육 상황을 나타내는 정보, 또는, 생육 상황을 인식하기 위한 정보를 포함하는 것이면 좋기 때문에, RGB 화상, 및 NDVI 화상, IP 어드레스, 지구상의 위도 경도로 이루어지는 위치 정보, 기온, 습도, 및 대기압의 정보, 및 시각 정보에 더하여, 그 이외의 생육 상황을 나타내는 정보, 또는, 생육 상황을 인식하기 위한 정보를 포함시키도록 하여도 좋다.
스텝 S14에서, 제어부(34)는, 통신부(40)를 제어하여, 생성한 생육 상황 정보를 서버(14)에 송신시키고, 처리는, 스텝 S11로 되돌아온다. 이 때, 제어부(34)는, 통신 경로 특정부(41)를 제어하여, 주변의 센서 카메라(11)와 통신시켜, 어느 센서 카메라(11)를 중계시켜서 서버(14)에 생육 상황 정보를 송신하는지를 특정시키고 나서, 그 통신 경로에 따른 센서 카메라(11)를 통하여, 서버(14)에 생육 상황 정보를 송신시킨다.
즉, 예를 들면, 도 8에서 도시되는 바와 같이, 센서 카메라(11)가 설치된 위치가, 노드(N1 내지 N10)로 도시되어 있고, 기지국(K), 및 게이트웨이(GW)를 통하여 인터넷(internet)에 출력되는 경우, 노드(N5)에 대응하는 센서 카메라(11)의 생육 상황 정보는, 부근에 존재하는 노드(N4)로 표시되는 센서 카메라(11), 및 노드(N3)로 표시되는 센서 카메라(11)를 통하여 기지국(K)에 전송된다. 이 때, 노드(N4)에 대응하는 센서 카메라(11)는, 노드(N5)의 생육 상황 정보와, 스스로의 생육 상황 정보를 노드(N3)에 전송한다. 또한, 노드(N1, N2)가 각각의 생육 상황 정보를 노드(N3)에 전송한다. 그리고, 노드(N3)가, 노드(N1 내지 N5)의 생육 상황 정보를 정리하여 기지국(K)에 전송한다. 또한, 노드(N7)로 표시되는 센서 카메라(11)가, 생육 상황 정보를 노드(N6)로 도시되는 센서 카메라(11)에 전송하고, 노드(N6)로 도시되는 센서 카메라(11)가, 노드(N6, N7)로 표시되는 생육 상황 정보를 정리하여 기지국(K), 및 게이트웨이(GW)를 통하여 인터넷에 출력한다. 또한, 노드(N9, N10)로 표시되는 센서 카메라(11)가 각각 생육 상황 정보를 노드(N8)로 표시되는 센서 카메라(11)에 전송하고, 노드(N8)로 표시되는 센서 카메라(11)가, 노드(N8 내지 N10)의 생육 상황 정보를 정리하여, 기지국(K), 및 게이트웨이(GW)를 통하여 인터넷에 출력한다.
이와 같은 처리에 의해, 각 센서 카메라(11)로부터 생육 상황 정보를 일제히 출력하는 것보다도, 기지국(K)과 게이트웨이(GW)의 통신에 의한 혼잡을 완화하는 것이 가능해지고, 보다 고속으로 생육 상황 정보를 전송하는 것이 가능해진다. 또한, 각 센서 카메라(11)의 생육 상황 정보가 서버(14)에 효율적으로 송신되도록 하면 좋은 것이기 때문에, 각 센서 카메라(11)의 생육 상황 정보는, 상술한 바와 같이 릴레이 형식으로 센서 카메라(11) 사이를 전송하는 이외의 방법으로 전송하도록 하여도 좋고, 예를 들면, 각 센서 카메라(11)가 각각 직접 기지국(K)에 전송하도록 하여도 좋다. 또한, 각 센서 카메라(11)는, 그 밖의 센서 카메라(11)로부터의 생육 상황 정보를 정리하여 전송할 뿐만 아니라, 소정의 순서에 순차적으로 기지국(K)에 각각의 생육 상황 정보를 전송하도록 하여도 좋다. 특히, 각 센서 카메라(11)가 각각 직접 기지국(K)에 전송하는 경우, 이와 같이 함으로써, 각 센서 카메라(11)로부터의 생육 상황 정보를 기지국(K)에 효율적으로 전송시킬 수 있다.
또한, 도 9에서 도시되는 바와 같이, 노드(N11 내지 N17, N21 내지 N23, N31 내지 N33)로 표시되는 센서 카메라(11)가 마련되어 있는 경우, 예를 들면, 노드(N21 내지 N23, N31 내지 N33)로 표시되는 센서 카메라(11)에 관해서는, 노드(N21 내지 N23)로 표시되는 센서 카메라(11)를 제1의 그룹(G11)으로 하고, 노드(N31 내지 N33)로 표시되는 센서 카메라(11)를 제2의 그룹(G12)으로 하고, 각각 어느 하나 대표가 되는 노드에 생육 상황 정보를 모아서, 그 대표가 되는 노드의 센서 카메라(11)가 그룹에 속하는 노드의 센서 카메라(11)의 생육 상황 정보를 정리하여 출력하도록 하여도 좋다. 또한, 이들의 그룹(G11, G12)의 설정에 관해서는, 예를 들면, 동일한 소유자가 소유하는 경작지 내에 존재하는 센서 카메라(11)에 관해 동일한 그룹으로 하도록 하여도 좋고, 후술하는 스테레오 화상을 촬상하기 위해 쌍이 되는 센서 카메라(11)끼리를 동일한 그룹으로 설정하도록 하여도 좋다.
이상의 처리에 의해, 소정의 시간 간격으로 RGB 화상, 및 NDVI 화상을 포함하는 생육 상황 정보가 생성되어, 서버(14)에 순차적으로 송신됨에 의해, 서버(14)에 의해 생육 상황 정보를 순차적으로 축적하는 것이 가능해진다.
<센싱 처리>
다음에, 도 10의 플로 차트를 참조하여, 센싱 처리에 관해 설명한다.
스텝 S31에서, 센서(31)는, 피사체가 되는 농작물이 경작되고 있는 범위에 관해, 수확물의 크기나 색이 충분히 인식 가능한 크기의 화상을 촬상한다. 또한, 센서 카메라(11)에 관해서는, 이와 같은 촬상 조건으로 경작지를 촬상할 수 있는 간격이나 방향으로 설치된다.
스텝 S32에서, RGB 화상 생성부(32), 및 NDVI 화상 생성부(33)는, 센서(31)에 의해 촬상된 화소에 관해, 각각의 색의 광을 디모자이크 처리한다. 즉, RGB 화상 생성부(32)는, 적색, 녹색, 및 청색의 광의 화소에 관해, 각각 디모자이크 처리를 시행하고, 적색, 녹색, 및 청색의 성분 신호 화상을 생성한다. 또한, NDVI 화상 생성부(33)는, NIR의 화소를 디모자이크 처리함에 의해, NIR로 이루어지는 성분 신호 화상을 생성한다.
스텝 S33에서, RGB 화상 생성부(32)는, 디모자이크된 RGB의 각각의 성분 신호 화상을 합성하여, RGB 화상을 생성한다.
스텝 S34에서, NDVI 화상 생성부(33)는, NIR 화상, 및 적색 화상에 의거하여, 화소마다 하늘(空)의 화상이라고 인식된 영역으로부터 입사광이 되는 NIR, 및 적색광의 강도를 측정하고, 또한, 그 이외의 영역의 반사광이 되는 NIR, 및 적색광의 강도를 측정하고, 각각의 NIR 및 적색광의 반사율을 산출하여, NDVI 화상을 생성한다. 이 때문에, 센서(31)는, 피사체가 되는 농작물이 촬상되는 영역에 더하여, 하늘 등의 적색 광, 또는 NIR의 입사광을 측정할 수 있는 영역을 포함하는 앵글로 설치된다. 또한, 이와 같은 앵글로의 설치가 어려운 경우, 센서 카메라(11)에 팬, 및 틸트 기구를 마련하고, 일단, 하늘을 향하여 적색광 및 NIR의 입사광을 촬상한 후에, 피사체가 되는 농작물이 존재하는 영역을 촬상하도록 제어함으로써, 반사광을 촬상하고, 상술한 바와 같이 NDVI 화상을 생성하도록 하여도 좋다. 또한, NIR, 및 적색광의 반사율은, 기지의 반사율을 갖는 확산판을 리퍼런스로 하여, 입사광의 강도를 계측하고, 대상의 반사 휘도와의 비로부터 반사 계수를 계산한 후, 반사율로 변환하도록 하여 구하도록 하여도 좋다.
스텝 S35에서, 제어부(34)는, 환경 정보 측정부(37)를 제어하여, 환경 정보를 구성하는 기온, 습도, 및 대기압을 측정시킨다.
이와 같은 처리에 의해 RGB 화상, 및 NDVI 화상, 및 환경 정보인 기온, 습도, 및 대기압이라는 생육 상황 정보를 구성하는 정보가 측정되어 생성된다. 또한, 생육 상황 정보를 구성하는 정보는, 생육 상황의 확인에 필요한 정보라면, RGB 화상, 및 NDVI 화상, 및 환경 정보인 기온, 습도, 및 대기압 이외의 정보를 포함하도록 하여도 좋다.
<서버 및 단말 장치에 의한 생육 상황 정보 축적 처리>
다음에, 도 11, 도 12의 플로 차트를 참조하여, 서버(14) 및 단말 장치(12)에 의한 생육 상황 정보 축적 처리에 관해 설명한다.
스텝 S61에서, 서버(14)의 제어부(81)는, 통신부(92)를 제어하여, 어느 하나의 센서 카메라(11)로부터 생육 상황 정보가 송신되어 왔는지의 여부를 판정하고, 송신되어 오지 않은 경우, 처리는, 스텝 S82로 진행한다.
스텝 S82에서, 제어부(81)는, 도시하지 않은 조작부가 조작되어, 동작의 종료가 지시되었는지의 여부를 판정하고, 종료가 지시되어 있는 경우, 처리는 종료한다. 또한, 종료가 지시되지 않은 경우, 처리는, 스텝 S61로 되돌아온다. 즉, 종료가 지시되지 않고, 또한, 생육 상황 정보가 송신되어 오지 않은 경우, 스텝 S61, S82의 처리가 반복된다. 스텝 S61에서, 예를 들면, 도 7의 스텝 S14의 처리에 의해 생육 상황 정보가 송신되어 오면, 처리는, 스텝 S62로 진행한다.
스텝 S62에서, 제어부(81)는, 통신부(92)를 제어하여, 센서 카메라(11)로부터 송신되어 온 생육 상황 정보를 수신시킴과 함께, 수신한 생육 상황 정보를 생육 상황 정보 축적부(82)에 축적시킨다. 이 때, 수신된 생육 상황 정보는, 상술한 바와 같이, 복수의 센서 카메라(11)로부터의 복수의 생육 상황 정보로 이루어지는 일이 있다. 따라서, 1회의 처리에 의해 복수의 생육 상황 정보가 축적되는 일이 있다. 단, 이후의 설명에 관해서는, 1회의 수신 처리에서, 동일한 대상물을 스테레오 화상으로서 촬상한, 2의 센서 카메라(11)로부터의 생육 상황 정보가 송신되어 온 것으로 간주하여 처리를 진행하는 것으로 한다.
스텝 S63에서, 제어부(81)는, 대상물 영역 특정부(83)를 제어하여, 송신되어 온 생육 상황 정보에 포함되어 있는 RGB 화상에 의거하여, 대상이 되는 농작물이 촬상된 화상 내의 영역인 대상물 영역을 특정시킨다. 보다 상세하게는, 대상물 영역 특정부(83)는, 생육 지표를 산출하여야 할 농산물의 형상, 및 색채의 특징 정보를 RGB 화상으로부터 추출한다. 그리고, 대상물 영역 특정부(83)는, 추출한 특징 정보가, 미리 기억되어 있는 실제의 농산물의 형상, 및 색채와 일치하는지의 여부를 판정하고, 일치하는 RGB 화상 내의 생육 지표를 산출하여야 할 농작물이 촬상된 영역으로 이루어지는 대상물 영역을 특정한다. 또한, 이 때, 특정하여야 할 농작물에 관해서는, 예를 들면, 대상물 영역 특정부(83)가, RGB 화상을 포함하는 생육 상황 정보에 포함되는 IP 어드레스에 의거하여, 관리 정보 축적부(88)에 축적되어 있는 관리 정보를 검색하고, 도 6에서 도시되는 바와 같이 작물 종류의 난에 등록되어 있는 정보를 판독하여 이용함으로써, 특징 정보를 특정하도록 하여도 좋다.
스텝 S64에서, 제어부(81)는, RGB 화상 생육 지표 산출부(84)를 제어하여, RGB 화상에서의 대상물 영역에 의거한 RGB 화상 생육 지표를 산출시킨다. 보다 상세하게는, RGB 화상 생육 지표 산출부(84)는, 예를 들면, 쌀의 수확 시기 등에 대해, 1이삭 중 녹색이 남아 있는 벼의 비율이 10% 정도일 때가 수확 시작 시기가 되고, 2% 정도가 수확 만한으로 되어 있기 때문에, 이 녹색의 벼의 비율에 의해 생육 지표를 산출하고, 이것을 RGB 화상 생육 지표로 한다.
스텝 S65에서, 제어부(81)는, NDVI 화상 생육 지표 산출부(85)를 제어하여, NDVI 화상에서의 대상물 영역에 의거한 NDVI 화상 생육 지표를 산출시킨다. 보다 상세하게는, NDVI 화상 생육 지표 산출부(85)는, 예를 들면, 대상물 영역의 NDVI의 평균치, 분산, 또는, 고차분산을 산출함에 의해, NDVI 화상 생육 지표를 산출한다.
스텝 S66에서, 제어부(81)는, 스테레오 화상 생육 지표 산출부(86)를 제어하여, 스테레오 화상에 의거한 스테레오 화상 생육 지표를 산출시킨다. 보다 상세하게는, 스테레오 화상 생육 지표 산출부(86)는, 스테레오 화상을 구성하기 위한 RGB 화상을 촬상하고 있는, 적어도 2대의 센서 카메라(11)로부터의 생육 상황 정보에 포함되어 있는 2장의 RGB 화상을 추출한다. 즉, 도 13에서 도시되는 바와 같이, 센서 카메라(11-1, 11-2)는, 동일한 농작물(M1)을 다른 각도에서 촬상하고 있고, 이 2대의 센서 카메라(11-1, 11-2)에 의해 촬상된 2장의 RGB 화상에 의해, 스테레오 화상 생육 지표 산출부(86)는, 스테레오 화상, 즉, 시차 화상을 생성한다. 또한, 스테레오 화상 생육 지표 산출부(86)는, 시차 화상에 의거하여, 대상물 영역에 존재하는 농작물의 3차원 화상을 생성하여, 그 크기로부터 스테레오 화상 생육 지표를 산출한다. 또한, 스텝 S65, S66의 처리에서의 대상물 영역에 관해서는, 대상물인 작물의 영역을 특정할 수 있다면, RGB 화상에 의거하여 구하여진 영역 이외라도 좋고, 예를 들면, NDVI 화상에서의, 대상물이 존재할 가능성이 높은 NDVI값이 소정치보다도 높은 영역과, RGB 화상에 의거하여 구하여진 영역의, 어느 영역에도 속하는 영역을 대상물 영역으로 하도록 하여도 좋다.
스텝 S67에서, 제어부(81)는, 생육 지표 산출부(89)를 제어하여, RGB 화상 생육 지표, NDVI 화상 생육 지표, 및 스테레오 화상 생육 지표에 의거하여, 대상이 되는 농작물의 생육 지표를 산출한다. 보다 상세하게는, 생육 지표 산출부(89)는, 이 3종류의 생육 지표의 평균을 생육 지표로 하도록 하여도 좋고, 각각에 무게를 붙인 합을 구함에 의해 생육 지표로서도 좋고, 이 중의 어느 하나를 선택하고 생육 지표로 하여도 좋다. 또한, RGB 화상 생육 지표, NDVI 화상 생육 지표, 및 스테레오 화상 생육 지표는, 어느 것이나 전부 산출할 수 있는 것 뿐이 아니기 때문에, 산출 가능한 생육 지표의 평균치나 무게를 붙여서 합을 구한 값을 생육 지표로 하도록 하여도 좋다.
스텝 S68에서, 제어부(81)는, 관리 정보 축적부(88)에 축적되어 있는 관리 정보 중, 센서 카메라(11)로부터 송신되어 온 생육 상황 정보에 포함되는 IP 어드레스에 의거하여 대응하는 관리 정보를 검색하고, 검색된 관리 정보에 포함되는 생육 지표를, 상술한 처리에 의해 산출된 값으로 갱신한다.
스텝 S69에서, 제어부(81)는, 수확 시기 산출부(87)를 제어하여, 생육 지표, 환경 정보, 및 과거의 생육 상황 정보, 수확 시기의 정보에 의거하여, 수확 시기를 산출시킨다. 즉, 수확 시기 산출부(87)는, 과거의 생육 평가 지수의 변화의 정보와, 수확 시기의 정보와의 관계에 의거하여, 지금 시즌에서의 생육 평가 지수의 변화의 정보로부터 예상되는 지금 시즌의 수확 시기를 예상 적정 수확 시기로서 산출한다.
스텝 S70에서, 제어부(81)는, 관리 정보 축적부(88)에 축적되어 있는 관리 정보 중, 센서 카메라(11)로부터 송신되어 온 생육 상황 정보에 포함되는 IP 어드레스에 의거하여 대응하는 관리 정보를 검색하고, 검색된 관리 정보에 포함되는 예상 적정 수확 시기의 정보를, 상술한 처리에 의해 산출된 값으로 갱신한다.
스텝 S71에서, 제어부(81)는, 센서 카메라 동작 상황 감시부(91)를 제어하여, RGB 화상에 의거하여, 생육 상황 정보를 송신하여 오고 있는 센서 카메라(11)에 이상이 발생하고 있는지의 여부를 판정한다. 보다 상세하게는, 센서 카메라 동작 상황 감시부(91)는, 생육 상황 정보 축적부(82)에 축적되어 있는 생육 상황 정보 중, 송신하여 온 생육 상황 정보에 포함되는 IP 어드레스와 동일하고, 직전의 타이밍에 촬상된 RGB 화상끼리를 비교하고, 그 변화의 크기가 소정치보다도 큰지의 여부에 의거하여, 센서 카메라(11)에 이상이 발생하고 있는지의 여부를 판정한다. 즉, 센서 카메라(11)는, 기본적으로 정점 카메라이고, 촬상 간격으로 있는 소정의 시간이, 예를 들면, 1일 정도였다고 하여도, RGB 화상에 큰 변화는 존재하지 않는 것이다. 따라서, 여기서, 큰 변화가 있다고 하면, 센서 카메라(11)에 어떠한 사고가 발생하고 있는 것이라고 생각된다. 그래서, 센서 카메라 동작 상황 감시부(91)는, 직전의 RGB 화상과, 지금 현재 송신되어 온 RGB 화상과의 비교로부터, 그 변화가 크고, 이상이 발생하고 있다고 간주한 경우, 처리는, 스텝 S72로 진행한다. 또한, 센서 카메라(11)에 이상이 발생하고 있는지의 여부에 관해서는, NIR 화상끼리, NDVI 화상끼리, NDVI 평균치, 분산, 고차분산끼리, 및 생육 지표끼리를 비교하는 것으로도 판정할 수 있다.
스텝 S72에서, 센서 카메라 동작 상황 감시부(91)는, 생육 상황 정보를 송신하여 온 센서 카메라(11)에 어떠한 이상이 발생하고 있는 것으로 간주하고, 센서 카메라(11)의 IP 어드레스에 의거하여 관리 정보를 검색하고, 검색된 관리 정보에 포함되는 작물(농장) 소유자에 의해 관리 운영되는 단말 장치(12), 또는, 도시하지 않은 휴대 전화기 등에 통지한다.
한편, 스텝 S71에서, 이상이 발생하지 않았다고 간주된 경우, 스텝 S72의 처리는 스킵된다.
스텝 S73에서, 제어부(81)는, 생육 지표가 소정의 임계치다도 높고, 예상 적정 수확 시기가 이미 시기를 맞이하고 있는지의 여부를 판정한다. 스텝 S73에서, 예를 들면, 이미, 생육 지표가 소정의 임계치다도 높고, 예상 적정 수확 시기가 이미 시기를 맞이하고 있는, 즉, 예상 적정 수확 시기에 해당한 당일, 또는, 그 당일보다 소정 일수만큼 전의 날을 이미 맞이하고 있다고 간주된 경우, 처리는, 스텝 S74로 진행한다.
스텝 S74에서, 제어부(81)는, 수확 계획 생성부(93)를 제어하여, 수확 계획을 작성한다. 보다 상세하게는, 수확 계획 생성부(93)는, IP 어드레스에 의해 관리되고 있는 관리 정보 중, 예상 적정 수확 시기가 겹쳐지는 범위로부터 작물의 수확량을 추정하고, 동일한 작물(농장) 소유자가 미리 등록하고 있는, 수확에 필요한 농경 기구의 처리 능력 등에 의거하여, 수확 시작일로부터 어떤 일정에서 수확 처리를 진행할지를 계획한다.
스텝 S75에서, 제어부(81)는, 통신부(92)를 제어하여, 수확 계획 생성부(93)에 의해 생성된 수확 계획의 정보를 농가에서 관리 운영되고 있는 단말 장치(12)에 송신시킨다. 또한, 수확 계획의 정보에 관해서는, 물류업자, 소매업자, 및 소비자에 의해 관리 운영되고 있는 단말 장치(12)에 대해 송신되도록 하여도 좋다. 이와 같이 함에 의해, 물류업자, 소매업자, 및 소비자가, 수확 계획의 정보로부터 스스로 물류 계획, 판매 계획, 구입 계획을 작성하는 것이 가능해진다.
이 처리에 의해, 스텝 S91(도 12)에서, 단말 장치(12)의 제어부(61)는, 통신부(64)를 제어하여, 수확 계획이 송신되어 왔는지의 여부를 판정하고, 송신되어 올 때까지, 같은 처리를 반복한다. 스텝 S91에서, 예를 들면, 도 12의 스텝 S75의 처리에 의해 수확 계획이 송신되어 오면, 처리는, 스텝 S92로 진행한다.
스텝 S92에서, 제어부(61)는, 통신부(64)를 제어하여, 송신되어 온 수확 계획의 정보를 수신시킨다.
스텝 S93에서, 제어부(61)는, 통신부(64)에 의해 수신된 수확 계획의 정보를 표시부(66)에 표시한다.
스텝 S76(도 11)에서, 제어부(81)는, 배송 계획 생성부(94)를 제어하여, 배송 계획을 작성한다. 보다 상세하게는, 배송 계획 생성부(94)는, IP 어드레스에 의해 관리되고 있는 관리 정보 중, 예상 적정 수확 시기가 겹쳐지는 범위로부터 작물의 수확량을 추정하고, 계약 배송업자가 미리 등록하고 있는, 배송에 필요한 배송 차량의 운반 능력 등에 의거하여, 수확 시작일로부터 어떤 일정에 배송 처리를 진행할지를 계획한다.
스텝 S77에서, 제어부(81)는, 통신부(92)를 제어하여, 배송 계획 생성부(94)에 의해 생성된 배송 계획의 정보를 계약 물류업자에서 관리 운영되고 있는 단말 장치(12)에 송신시킨다. 또한, 단말 장치(12)에서의 처리는, 도 12의 플로 차트를 참조하여 설명하는 처리에서의 수확 계획에 대신하여, 배송 계획이 수신되어 표시될 뿐이기 때문에, 그 설명은 생략하는 것으로 한다. 또한, 스텝 S76, S77의 처리에 의해, 도 1에 의해 도시되는 일련의 서비스의 계약자가 되는, 물류업자, 소매업자, 및 소비자에, 물류업자, 소매업자, 및 소비자의 각각이 계약하지 않는 농지를 포함하는, 모든 농지에서의 배송 계획, 판매 계획, 및 구입 계획을 송신하도록 하여도 좋다. 또한, 스텝 S76, S77의 처리에 의해, 도 1에 의해 도시되는 일련의 서비스의 계약자가 되는, 물류업자, 소매업자, 및 소비자에, 물류업자, 소매업자, 및 소비자의 각각이 사업 범위로 하는 지역 내의 농지에서의 배송 계획, 판매 계획, 및 구입 계획을 송신하도록 하여도 좋다. 이와 같은 경우, 예를 들면, 대기업 물류업자 등에는, 지점마다 배송 계획이 송신되도록 하여도 좋다.
스텝 S78에서, 제어부(81)는, 판매 계획 생성부(95)를 제어하여, 판매 계획을 작성한다. 보다 상세하게는, 판매 계획 생성부(95)는, IP 어드레스에 의해 관리되고 있는 관리 정보 중, 예상 적정 수확 시기가 겹쳐지는 범위로부터 작물의 수확량을 추정하고, 계약 소매업자가 미리 등록하고 있는, 점포 앞(store front)에 진열 가능한 양 등에 의거하여, 수확 시작일로부터 어떤 일정에 판매를 진행할지를 계획한다.
스텝 S79에서, 제어부(81)는, 통신부(92)를 제어하여, 판매 계획 생성부(95)에 의해 생성된 판매 계획의 정보를 계약 소매업자에서 관리 운영되고 있는 단말 장치(12)에 송신시킨다. 또한, 단말 장치(12)에서의 처리는, 도 12의 플로 차트를 참조하여 설명한 처리에서의 수확 계획에 대신하여, 판매 계획이 수신되고 표시될 뿐이기 때문에, 그 설명은 생략하는 것으로 한다. 또한, 스텝 S78, S79의 처리에 의해, 도 1에 의해 도시되는 일련의 서비스의 계약자가 되는 소매업자 중, 농지마다, 그 농지의 근처의 소매업자가 선택되도록 하여, 선택된 소매업자에게 판매 계획이 송신되도록 하여도 좋다. 이와 같은 경우, 예를 들면, 슈퍼마켓 등으로 대표되는 대기업 소매업자에게는, 지점마다 판매 계획이 송신되도록 하여도 좋고, 또한, 배송 계획을 가미한 정보가 송신되도록 하여도 좋다.
스텝 S80에서, 제어부(81)는, 구입 계획 생성부(96)를 제어하여, 구입 계획을 작성한다. 보다 상세하게는, 구입 계획 생성부(96)는, IP 어드레스에 의해 관리되고 있는 관리 정보 중, 예상 적정 수확 시기가 겹쳐지는 범위로부터 작물의 수확량을 추정하고, 계약 소비자가 미리 등록하고 있는, 희망 구입량 등에 의거하여, 수확 시작일로부터 어떤 일정에 구입을 진행할지를 계획한다.
스텝 S81에서, 제어부(81)는, 통신부(92)를 제어하여, 구입 계획 생성부(96)에 의해 생성된 구입 계획의 정보를 계약 소비자에게서 관리 운영되고 있는 단말 장치(12)에 송신시키고, 처리는, 스텝 S61로 되돌아온다. 또한, 단말 장치(12)에서의 처리는, 도 12의 플로 차트를 참조하여 설명한 처리에서의 수확 계획에 대신하여, 구입 계획이 수신되고 표시될 뿐이기 때문에, 그 설명은 생략하는 것으로 한다. 또한, 스텝 S80, S81의 처리에 의해, 도 1에 의해 도시되는 일련의 서비스의 계약자가 되는 소비자 중, 소비자마다, 구입 대상의 농지에 응한 구입 계획이 송신되도록 하여도 좋다. 또한, 특정한 소매업자로부터 구입하는 소비자에 관해서는, 예를 들면, 소비자의 주소의 근처의 소매업자의 판매 계획에 맞춘 구입 계획이 생성되도록 하여, 송신되도록 하여도 좋다.
또한, 스텝 S73에서, 생육 지표가 소정의 임계치다도 높지 않는 경우, 처리는, 스텝 S83 내지 S86로 진행한다. 또한, 스텝 S83 내지 S86의 처리는, 각각 스텝 S74, S76, S78, S80의 처리와 마찬가지이기 때문에, 그 설명은 생략한다. 즉, 스텝 S73에서, 생육 지표가 소정의 임계치다도 높지 않는 경우라도, 수확 계획, 배송 계획, 판매 계획, 및 구입 계획이 생성되고, 이에 의해, 각각의 계획에 관해 문의가 있을 때에는, 각각의 계획에 관해 응답하도록 하여도 좋고, 생육 지표의 도중 경과를 그때마다 송신하도록 하여도 좋다.
즉, 이상의 처리에 의해, 센서 카메라(11)로부터 소정의 시간 간격으로 송신되어 오는 생육 상황 정보가 순차적으로 축적되어 있는 오고. 이 때, 생육 상황 정보에 의거하여, 센서 카메라(11)의 IP 어드레스로 관리되는 관리 정보에서의 생육 지수, 및 예상 적정 수확 시기가 순차적으로 갱신되어 기록된다. 결과로서, 생육 지수, 및 예상 적정 수확 시기가 소정 시간 간격으로 최신의 정보로 갱신되고, 예상 적정 수확 시기를 맞이하면, 농가, 계약 물류업자, 계약 소매업자, 및 계약 소비자의 각각에 의해 관리 운영되는 단말 장치(12)에, 수확 계획, 배송 계획, 판매 계획, 및 구입 계획의 정보로서 리얼타임으로 배신하는 것이 가능해진다. 또한, 이와 같이 수확 계획, 배송 계획, 판매 계획, 및 구입 계획의 정보가 배신됨에 의해, 예상 적정 수확 시기에 맞춘 행동을 취할 수 있기 때문에, 효율 좋게, 수확, 배송, 판매, 또는 구입하는 것이 가능해진다. 또한, RGB 화상의 시계열의 비교에 의해, 센서 카메라(11)에서의 이상이 검출됨에 의해, 적절하게 센서 카메라(11)가 설치되어 있는지의 여부를 감시하는 것이 가능해진다. 또한, 관리 정보에 포함되는 위치 정보를, 송신되어 온 위치 정보와 비교함에 의해, 센서 카메라(11)가 도난을 당하거나, 폭풍우 등에 의해 다른 장소로 이동하여 버리거나, 작물이 도난을 당하여 버리는 일이 있어도, 통신 경로로서는 사용 가능하기 때문에, 이상으로서 검출하는 것이 가능해진다. 또한, 마찬가지 처리에 의해, 어떠한 요인에 의해, 센서 카메라(11)의 촬상 방향이나 각도가 변화하여 버리는 일이 있어도, 통신 경로로서 사용 가능한 경우에는, 이상이 발생한 것으로서 검출하는 것이 가능해진다. 또한, 수확 계획, 배송 계획, 판매 계획, 및 구입 계획의 정보의 배신은, 예상 적정 수확 시기로서 특정된 날의 당일이라도 좋고, 특정된 날로부터 소정의 일수만큼 직전의 날이라도 좋다.
<문의 응답 처리>
다음에, 도 14의 플로 차트를 참조하여, 문의 응답 처리에 관해 설명한다. 또한, 여기서는, 농가에 의해 관리 운영되는 단말 장치(12)가, 서버(14)에게 수확 시기에 관해 문의하는 문의 정보를 송신하는 것으로 하고, 그 응답 정보를 수신하여 표시하는 처리를 설명하는 것으로 한다. 또한, 계약 소매업자, 계약 소비자, 및 계약 유통업자에 의해, 같은 문의를 하도록 하여도 마찬가지 처리이기 때문에, 그 설명은 생략하는 것으로 한다.
즉, 스텝 S101에서, 단말 장치(12)의 제어부(61)는, 조작부(63)를 제어하여, 사용자에 의해 조작되어, 문의 조작이 이루어졌는지의 여부를 판정하고, 문의 조작이 있다고 간주될 때까지, 같은 처리를 반복한다. 스텝 S101에서, 문의 조작이 있는 것으로 간주되면, 처리는, 스텝 S102로 진행한다.
스텝 S102에서, 문의부(62)는, 수확 시기를 문의하는 문의 정보를, IP 어드레스 기억부(65)에 기억되어 있는, 그 계약 농가의 경작지에서 경작되고 있는 작물을 감시하는 센서 카메라(11)를 식별하는 IP 어드레스를 포함하여 생성한다. 또한, 도 1에서 도시되는 일련의 서비스를 받는 계약을 한 유통업자, 소매업자, 및 소비자가, 농지마다(IP 어드레스마다) 계약하고 있는 것이 아니라, 서비스 자체에 계약하고 있는 경우, 문의부(62)는, 유통업자, 소매업자, 및 소비자마다의, 각각의 사업 범위와, 대응하는 센서 카메라(11)의 IP 어드레스와의 관계를 대응시키는 테이블을 미리 기억하여, 유통업자, 소매업자, 및 소비자마다의 사업 범위에 응한 IP 어드레스를 포함하는 문의 정보를 생성한다.
스텝 S103에서, 제어부(61)는, 통신부(64)를 제어하여, 문의부(62)에 의해 생성된 수확 시기를 문의하는 문의 정보를, 네트워크(13)를 통하여 서버(14)에 송신시킨다.
스텝 S121에서, 서버(14)의 제어부(81)는, 문의 접수부(97)를 제어하여, 통신부(92)에 의해 문의 정보가 송신되어 왔는지의 여부를 판정시키고, 송신되어 왔다고 간주될 때까지, 같은 처리를 반복한다. 그리고, 스텝 S121에서, 문의 정보가 송신되어 왔다고 간주된 경우, 처리는, 스텝 S122로 진행한다.
스텝 S122에서, 제어부(81)는, 문의 접수부(97)를 제어하여, 통신부(92)에 의해 송신되어 온 문의 정보를 취득시켜, 문의 내용을 확인한다.
스텝 S123에서, 제어부(81)는, 문의 정보에 포함되는 IP 어드레스에 의거하여, 관리 정보 축적부(88)에 축적되어 있는 관리 정보를 검색하고, 검색된 관리 정보 중, 예상 적정 수확 시기의 정보, 및 지역의 정보를 판독한다. 여기서, 농가에 의해 경작되고 있는 작물을 감시하는 센서 카메라(11)가 복수인 경우, 복수의 IP 어드레스가 포함되어 있게 된다. 또한, 여기서 검색된 예상 적정 수확 시기의 정보에 관해서는, 스스로가 소유한 농장에 설치된 센서 카메라(11)에 의한 것만 아니라, 사용자에 의해 지정된 센서 카메라(11)를 특정하는 IP 어드레스에 의거한 것이라도 좋다.
스텝 S124에서, 제어부(81)는, 매핑부(90)를 제어하여, 판독한 지역의 정보에 대응하는 위치에, 예상 적정 수확 시기의 정보를 일정에 응하여 매핑시켜, 예상 적정 수확 시기 매핑 정보를 생성한다.
스텝 S125에서, 제어부(81)는, 응답 작성부(98)를 제어하여, 생성된 예상 적정 수확 시기 매핑 정보로 이루어지는 응답 정보를 작성시킨다.
스텝 S126에서, 제어부(81)는, 통신부(92)를 제어하여, 작성한 예상 적정 수확 시기 매핑 정보로 이루어지는 응답 정보를, 문의 정보를 송신하여 온 단말 장치(12)에게 송신시킨다.
스텝 S104에서, 단말 장치(12)의 제어부(61)는, 통신부(64)를 제어하여, 응답 정보를 수신시킨다.
스텝 S105에서, 단말 장치(12)의 제어부(61)는, 수신한 예상 적정 수확 시기 매핑 정보로 이루어지는 응답 정보를 표시부(66)에 표시한다.
이상의 처리에 의해, 예상 적정 수확 시기의 정보가, 매핑된 정보를 취득하는 것이 가능해진다. 또한, 표시된 매핑 정보에 의해, 예상 적정 수확 시기의 정보를 리얼타임으로, 또한, 온 디맨드로 배신하는 것이 가능해진다. 또한, 이상에서는, 농가에 의해 관리되는 단말 장치(12)에 의한 문의 응답 처리에 관해 설명하여 왔지만, 계약 유통업자, 계약 소매업자, 및 계약 소비자 등에 의해 관리되는 단말 장치(12)에서도 같은 처리가 가능하다. 또한, 이상에서는, 문의 내용이 예상 적정 수확 시기의 정보였지만, 서버(14)에 의해 관리되고 있는, 예를 들면, 수확 계획, 배송 계획, 판매 계획, 구입 계획 등의 그 밖의 정보라도, 같은 처리에 의해 문의할 수 있도록 하여도 좋고, 이들의 문의에 응답하도록 하여도 좋다. 또한, 예를 들면, 작물마다 예상 적정 수확 시기를 매핑한 정보가, 농가, 배송업자, 및 소비자에 의해 관리되는 단말 장치(12)에 송신되도록 하거나, 작물마다 소매업자를 분류하여 예상 적정 수확 시기를 매핑한 정보가 소매업자에게 송신되도록 하는 것도 가능해진다. 즉, 예를 들면, 대기업 슈퍼마켓 등에 대해서는, 어느 지점용의 어느 작물이 언제 수확되는지 알 수 있는 예상 적정 수확 시기의 정보가 송신되도록 하는 것도 가능해진다.
또한, 이상에서는, 센서 카메라(11)에 의해 RGB 화상, 및 NIR 화상을 촬상하여, 이들을 포함하는 생육 상황 정보가 서버(14)에 송신되고, 서버(14)에 의해 RGB 화상 생육 지표, 및 NDVI 화상 생육 지표가 산출되어, 예상 적정 수확 시기가 산출되는 예에 관해 설명하여 왔다. 그러나, 센서 카메라(11)에서, 서버(14)에서의 기능과 같은 기능을 마련하도록 함으로써, 센서 카메라(11)에 의해, 대상이 되는 작물이 촬상되어 있는 영역이 특정되고, RGB 화상, 및 NDVI 화상에서 작물이 촬상되어 있는 영역으로서 특정된 영역의 RGB 화상 생육 지표, 및 NDVI 화상 생육 지표가 산출되고, 이들을 포함하는 생육 상황 정보가 생성되어, 서버(14)에 공급되도록 하여도 좋다. 또한, 이에 더하여, 센서 카메라(11)는, 부근의 다른 센서 카메라(11)와 협동하여, 스테레오 화상을 촬상하고, 스테레오 화상 생육 지표를 산출하도록 하여도 좋다. 또한, 센서 카메라(11)는, 이와 같이 하여 하여진 RGB 화상 생육 지표, NDVI 화상 생육 지표, 및 스테레오 화상 생육 지표에 의거하여, 생육 지표, 및 예상 적정 수확 시기를 산출하도록 하여도 좋다. 이 경우, 센서 카메라(11)는, 예상 적정 수확 시기를 산출할 때, 서버(14)에 축적되어 있는 과거의 생육 상황 정보를 판독하고, 과거의 생육 상황 정보도 이용하면서 예상 적정 수확 시기를 산출하도록 하여도 좋다.
또한, 이상에서는, 정보 처리 시스템을 구성하는데 있어서, 센서 카메라(11), 단말 장치(12), 및 서버(14)로 이루어지는 구성례에 관해 설명하여 왔지만, 서버(14)에 관해서는, 클라우드 컴퓨터를 이용하도록 하여도 좋다.
(2. 제1의 변형례)
이상에서는, 센서 카메라(11)에 의해 촬상된 정보는, RGB, 및 NIR의 각각의 성분 신호 화상을 디모자이크하여 처리하는 예에 관해 설명하여 왔지만, 예를 들면, 도 15에서 도시되는 바와 같이, 디모자이크되기 전의 적색 신호, 및 NIR 신호로 이루어지는 화상(P112, P114)을 이용하여, 화상(P132)으로 도시되는 바와 같은 NDVI 화상(P132)을 생성하도록 하여도 좋다. 이와 같이 함으로써, 디모자이크 처리가 없고, 또는, 취급하는 화소수를 줄일 수 있기 때문에, 처리 부하를 저감하고, 처리 속도를 향상시키는 것이 가능해진다. 또한, 화상(P111, P113, P121 내지 P123, P131)은, 도 3의 화상(P11, P13, P21 내지 P23, P31)과 마찬가지이기 때문에, 그 설명은 생략한다.
(3. 제2의 변형례)
또한, 이상에서는, 센서 카메라(11)의 평면 방향으로 RGB, 및 NIR의 성분 신호의 화소를 배열하는 예에 관해 설명하여 왔지만, 예를 들면, 도 16에서 도시되는 바와 같이, 광의 진행 방향과 수직으로 적층하여 성분 신호 화상을 생성할 수 있도록 센서(31)를 구성하도록 하여도 좋다. 즉, 도 16에서는, 화상(P151)으로 도시되는 바와 같이, 도면 중 위로부터 청색 센서층(L1), 녹색 센서층(L2), 적색 센서층(L3), NIR 센서층(L4)에 의해 적층 구성되어 있다. 각 층에서는, 대상이 되는 파장의 색성분만이 검출되는 센서 구조로 되어 있다. 이 결과, 각 층에서 화상(P161 내지 P164)으로 이루어지는 녹색, 적색, 청색, 및 NIR의 성분 신호 화상으로 이루어지는 화상(P161 내지 P163)이 생성된다. 이 결과, 화상(P161 내지 P163)에 의해 RGB 화상(P171)이 생성되고, 화상(P162, P164)에 의해 NDVI 화상(P172)이 생성된다.
(4. 제3의 변형례)
또한, RGB로 이루어지는 성분 신호를 검출하는 센서(31)에 관해서는, 예를 들면, 도 17의 우부(right part)에서 도시되는 바와 같이, RGB의 컬러 필터(FR, FG, FB)의 아래에, 도 17의 좌부에서 도시되는 바와 같은, 예를 들면, SiO/SiN로 이루어지는 적층막 등의 유전체 적층막에 의해 구성되는 IR 컷트 필터(F)를 마련하도록 하여, RGB 신호 성분을 검출하는 센서에는 NIR가 검출되지 않도록 하고, NIR용의 센서만 블랙(가시광 컷트) 필터(FA)의 아래에, IR 컷트 필터(F)를 마련하지 않는 구성으로 하여도 좋다. 또한, 도 17은, 도면 중 우부가 센서(31)의 2화소×2화소분의 외관 사시도이고, 도면 중 좌부가 IR 컷트 필터(F)의 확대 단면도이고, 좌부에서는, 적외광(IR)이 IR 컷트 필터에 의해 차단되고, 적외광(IR) 이외의 광(T)만이 센서에 투과하는 것이 도시되어 있다. 또한, 블랙 필터(FA)에 관해서는, 컬러 필터 없는 구성으로 하도록 하여도 좋다.
(5. 제4의 변형례)
또한, NIR로 이루어지는 성분 신호를 검출하는 센서(31)에 관해서는, 예를 들면, 도 18에서 도시되는 바와 같이, RGB의 컬러 필터(FC)의 아래이고, 센서(SC) 위에, IR 컷트 필터(F)를 마련하도록 하여, RGB 신호 성분을 검출하는 센서에는 NIR가 검출되지 않도록 하고, NIR용의 센서(SC)상에만 IR 컷트 필터(F)를 마련하지 않는 구성으로 하여도 좋다. 또한, 도 18은, 센서(31)의 4화소분의 단면도이고, 도면 중 좌로부터 NIR용의 화소(P1), NIR 이외의 화소(P2), NIR용의 화소(P3), NIR 이외의 화소(P4)의 구성이 도시되어 있다.
또한, 이상에서는, RGB의 신호 성분, 및 NIR 신호 성분에 의거하여, NDVI 화상을 생성하고, 생성된 NDVI 화상에서 구하여지는 NDVI 화상 생육 지표를 이용하는 예에 관해 설명하여 왔지만, RGB의 신호 성분, 및 NIR 신호 성분에 의거하여, 구하여지는 생육 지표라면, 그 밖의 생육 지표라도 좋은 것이다. 따라서, 예를 들면, NDVI 화상에 대신하여, RGB의 신호 성분, 및 NIR 신호 성분에 의거하여 구하여지는, SR(Simple Ratio) 화상, GEMI(Global Environment Monitoring Index) 화상, SAVI(Soil Adjusted Vegetation Index) 화상, EVI(Enhanced Vegetation Index), PVI(Perpendicular Vegetation Index) 화상, PRI(Photochemical Reflectance Index) 화상, SIPI(Structure Insensitive Pigment Index) 화상, PSRI(Plant Senescing Reflectance Index) 화상, CI(Chlorophyll Index) 화상, mSR(Modified Simple Ratio) 화상, mND(Modified Normalized Difference) 화상, CCI(Canopy Chlorophyll Index) 화상, WI(Water Index) 화상, NDWI(Normalized Difference Water Index) 화상, CAI(Cellulose Absorption Index) 화상, RVI(Ratio Vegetation Index) 화상, KVI(Kind of Vegetation Index) 화상, 및 DVI(Difference Vegetation Index) 화상 등을 이용하여, 각각 대응하는 생육 지표를 산출하여 이용하도록 하여도 좋다. 또한, RGB의 신호 성분, 및 NIR 신호 성분에 의거하여 구하여지는 복수 종류의 화상을 조합시켜서, 복합 화상으로 이루어지는 화상 생육 지표를 구하여 이용하도록 하여도 좋다.
그런데, 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능하는, 예를 들면 범용의 퍼스널 컴퓨터 등에, 기록 매체로부터 인스톨된다.
도 19는, 범용의 퍼스널 컴퓨터의 구성례를 도시하고 있다. 이 퍼스널 컴퓨터는, CPU(Central Processing Unit)(1001)를 내장하고 있다. CPU(1001)에는 버스(1004)를 통하여, 입출력 인터페이스(1005)가 접속되어 있다. 버스(1004)에는, ROM(Read Only Memory)(1002) 및 RAM(Random Access Memory)(1003)이 접속되어 있다.
입출력 인터페이스(1005)에는, 유저가 조작 커맨드를 입력하는 키보드, 마우스 등의 입력 디바이스로 이루어지는 입력부(1006), 처리 조작 화면이나 처리 결과의 화상을 표시 디바이스에 출력하는 출력부(1007), 프로그램이나 각종 데이터를 격납하는 하드 디스크 드라이브 등으로 이루어지는 기억부(1008), LAN(Local Area Network) 어댑터 등으로 이루어지고, 인터넷으로 대표되는 네트워크를 통한 통신 처리를 실행하는 통신부(1009)가 접속되어 있다. 또한, 자기 디스크(플렉시블 디스크를 포함한다), 광디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함한다), 광자기 디스크(MD(Mini Disc)를 포함한다), 또는 반도체 메모리 등의 리무버블 미디어(1011)에 대해 데이터를 판독 기록하는 드라이브(1010)가 접속되어 있다.
CPU(1001)는, ROM(1002)에 기억되어 있는 프로그램, 또는 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(1011)에서 판독되고 기억부(1008)에 인스톨되고, 기억부(1008)로부터 RAM(1003)에 로드된 프로그램에 따라 각종의 처리를 실행한다. RAM(1003)에는 또한, CPU(1001)가 각종의 처리를 실행하는데 있어서 필요한 데이터 등도 적절히 기억된다.
이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가, 예를 들면, 기억부(1008)에 기억되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통하여, RAM(1003)에 로드하고 실행함에 의해, 상술한 일련의 처리가 행하여진다.
컴퓨터(CPU(1001))가 실행하는 프로그램은, 예를 들면, 패키지 미디어 등으로서의 리무버블 미디어(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에[어리어 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은, 리무버블 미디어(1011)를 드라이브(1010)에 장착함에 의해, 입출력 인터페이스(1005)를 통하여, 기억부(1008)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(1009)에서 수신하고, 기억부(1008)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(1002)이나 기억부(1008)에, 미리 인스톨하여 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행하여지는 프로그램이라도 좋고, 병렬로, 또는 호출이 행하여진 때 등의 필요한 타이밍에서 처리가 행하여지는 프로그램이라도 좋다.
또한, 본 명세서에서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 몸체 중에 있는지의 여부는 묻지 않는다. 따라서 별개의 몸체에 수납되고, 네트워크를 통하여 접속되어 있는 복수의 장치, 및, 하나의 몸체의 중에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 기술의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.
예를 들면, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 플로 차트에서 설명한 각 스텝은, 하나의 장치에서 실행하는 외에. 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함된 복수의 처리는, 하나의 장치에서 실행하는 외에. 복수의 장치에서 분담하여 실행할 수 있다.
또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.
(A-1) 광학 데이터를 포함하는 유기체의 화상 정보를 획득하고, 상기 광학 데이터에 기초하여 생육 지표를 산출하고, 상기 생육 지표에 기초하여 예상 수확 시기를 산출하는 방법으로서, 상기 화상 정보는, (a) 화상 센서로부터 획득한 가시 화상 데이터 및 화상 센서로부터 획득한 비가시 화상 데이터와, (b) 적어도 2개의 촬상 장치로부터의 화상 데이터 중 적어도 하나를 포함하고, 상기 적어도 2개의 촬상 장치는 적어도 2곳으로부터 화상 데이터를 촬상하는 것을 특징으로 하는 방법.
(A-2) 예상 수확 시기를 외부 단체에 전달하는 것을 특징으로 하는 (A-1)에 기재된 방법.
(A-3) 상기 외부 단체는 소매업자, 일반 소비자, 레스토랑, 및 식물 생산자 중의 적어도 하나인 것을 특징으로 하는 (A-2)에 기재된 방법.
(A-4) 상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 의거하여 생성되는 것을 특징으로 하는 (A-1) 내지 (A-3) 중 어느 하나에 기재된 방법.
(A-5) 상기 비가시 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 의거하여 생성되는 것을 특징으로 하는 (A-1) 내지 (A-4) 중 어느 하나에 기재된 방법.
(A-6) 상기 비가시 화상 데이터는 디모자이크 처리 없는 R 및 IR 신호에 의거하여 생성되는 것을 특징으로 하는 (A-1) 내지 (A-4) 중 어느 하나에 기재된 방법.
(A-7) 상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 의거하여 생성되고, 근적외선 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 의거하여 생성되는 것을 특징으로 하는 (A-1) 내지 (A-3) 중 어느 하나에 기재된 방법.
(A-8) 상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 의거하여 생성되고, 근적외선 화상 데이터는 디모자이크 처리 없는 R 및 IR 신호에 의거하여 생성되는 것을 특징으로 하는 (A-1) 내지 (A-3) 중 어느 하나에 기재된 방법.
(A-9) 상기 광학 데이터는 스택형 화상 센서를 사용하여 획득되고, 상기 스택형 화상 센서는 녹색광 센서층 상에 적층된 청색광 센서층을 구비하고, 녹색광 센서층은 적색광 센서층 상에 적층되고, 적색광 센서층은 근적외선(NIR) 센서층상에 적층되는 것을 특징으로 하는 (A-1) 내지 (A-8) 중 어느 하나에 기재된 방법.
(A-10) 상기 광학 데이터는 라미네이트 필름상에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고, 상기 라미네이트 필름은 SiO 및 SiN 중의 적어도 하나를 포함하고, 상기 RGB 컬러 필터는 FR 컬러 필터, FG 컬러 필터, 및 FB 컬러 필터를 포함하는 것을 특징으로 하는 (A-1) 내지 (A-8) 중 어느 하나에 기재된 방법.
(A-11) 상기 광학 데이터는 적외선(IR) 차단 필터 상에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고, 상기 IR 차단 필터는 화상 센서상에 마련되는 것을 특징으로 하는 (A-1) 내지 (A-8) 중 어느 하나에 기재된 방법.
(A-12) 적어도 2개의 촬상 장치로부터 획득된 화상 데이터로부터 화상 데이터 중 적어도 2개의 화상 데이터에 의거하여 시차 화상 데이터를 산출하고, 상기 시차 화상 데이터에 기초하여 생육 지표를 산출하고, 상기 화상 데이터 중 적어도 2개는 적어도 2개의 촬상 장치에 의해 2개의 각도(angle) 및 적어도 2곳의 위치 중의 적어도 하나로부터 촬상되는 것을 특징으로 하는 (A-1) 내지 (A-11) 중 어느 하나에 기재된 방법.
(A-13) 촬상 장치를 포함하고, 서버 및 촬상 장치 중의 적어도 하나는, 광학 데이터를 포함하는 유기체의 화상 정보를 획득하고, 상기 광학 데이터에 기초하여 생육 지표를 산출하고, 상기 생육 지표에 기초하여 예상 수확 시기를 산출하도록 구성되고, 상기 화상 정보는, (a) 화상 센서로부터 획득한 가시 화상 데이터 및 화상 센서로부터 획득한 비가시 화상 데이터와, (b) 적어도 2개의 촬상 장치로부터 획득한 화상 데이터 중, 적어도 하나를 포함하고, 상기 적어도 2개의 촬상 장치는 적어도 2곳으로부터 화상 데이터를 촬상하는 것을 특징으로 하는 시스템.
(A-14) 서버를 더 포함하고, 상기 촬상 장치는 상기 서버와 통신 상태에 있는 것을 특징으로 하는 (A-13)에 기재된 시스템.
(A-15) 상기 서버와 상기 촬상 장치 중의 적어도 하나는 외부 단체에 예상 수확 시기를 전송하도록 구성되는 것을 특징으로 하는 (A-14)에 기재된 시스템.
(A-16) 상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 의거하여 생성되는 것을 특징으로 하는 (A-13) 내지 (A-15) 중 어느 하나에 기재된 시스템.
(A-17) 상기 비가시 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 의거하여 생성되는 것을 특징으로 하는 (A-13) 내지 (A-16) 중 어느 하나에 기재된 시스템.
(A-18) 상기 비가시 화상 데이터는 디모자이크 처리 없는 R 및 IR 신호에 의거하여 생성되는 것을 특징으로 하는 (A-13) 내지 (A-16) 중 어느 하나에 기재된 시스템.
(A-19) 상기 광학 데이터는 스택형 화상 센서를 사용하여 획득되고, 상기 스택형 화상 센서는 녹색광 센서층 상에 적층된 청색광 센서층을 구비하고, 녹색광 센서층은 적색광 센서층 상에 적층되고, 적색광 센서층은 근적외선(NIR) 센서층상에 적층되는 것을 특징으로 하는 (A-13) 내지 (A-18) 중 어느 하나에 기재된 시스템.
(A-20) 상기 광학 데이터는 라미네이트 필름상에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고, 상기 라미네이트 필름은 SiO 및 SiN 중의 적어도 하나를 포함하고, 상기 RGB 컬러 필터는 FR 컬러 필터, FG 컬러 필터, 및 FB 컬러 필터를 포함하는 것을 특징으로 하는 (A-13) 내지 (A-18) 중 어느 하나에 기재된 시스템.
(A-21) 상기 광학 데이터는 적외선(IR) 차단 필터 상에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고, 상기 IR 차단 필터는 상기 화상 센서 상에 마련되는 것을 특징으로 하는 (A-1) 내지 (A-8) 중 어느 하나에 기재된 시스템.
(A-22) 상기 서버와 상기 촬상 데이터 중의 적어도 하나는 적어도 2개의 촬상 장치로부터 획득된 화상 데이터로부터 화상 데이터 중 적어도 2개의 화상 데이터에 의거하여 시차 화상 데이터를 산출하고, 상기 시차 화상 데이터에 기초하여 생육 지표를 산출하고, 상기 화상 데이터 중 적어도 2개는 적어도 2개의 촬상 장치에 의해 2개의 각도(angle) 및 적어도 2곳의 위치 중의 적어도 하나로부터 촬상되는 것을 특징으로 하는 (A-13) 내지 (A-21) 중 어느 하나에 기재된 시스템.
(A-23) 유무형의 컴퓨터 판독 가능한 매체는, 프로세서로 하여금 광학 데이터를 포함하는 유기체의 화상 정보를 획득하는 방법을 실행하게 하는 명령이 기록된 매체로서, 상기 방법은, 광학 데이터를 포함하는 유기체의 화상 정보를 획득하고, 상기 광학 데이터에 기초하여 생육 지표를 산출하고, 상기 생육 지표에 기초하여 예상 수확 시기를 산출하도록 구성되고, 상기 화상 정보는, (a) 화상 센서로부터 획득한 가시 화상 데이터 및 화상 센서로부터 획득한 비가시 화상 데이터와, (b) 적어도 2개의 촬상 장치로부터 획득한 화상 데이터 중, 적어도 하나를 포함하고, 상기 적어도 2개의 촬상 장치는 적어도 2곳으로부터 화상 데이터를 촬상하는 것을 특징으로 한다.
(A-24) 예상 수확 시기를 외부 단체에 전달하는 것을 특징으로 하는 (A-23)에 기재된 컴퓨터 판독 가능한 매체.
(A-25) 상기 외부 단체는 소매업자, 일반 소비자, 레스토랑, 및 식물 생산자 중의 적어도 하나인 것을 특징으로 하는 (A-24)에 기재된 컴퓨터 판독 가능한 매체.
(A-26) 상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 의거하여 생성되는 것을 특징으로 하는 (A-23) 내지 (A-25) 중 어느 하나에 기재된 컴퓨터 판독 가능한 매체.
(A-27) 상기 비가시 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 의거하여 생성되는 것을 특징으로 하는 (A-23) 내지 (A-26) 중 어느 하나에 기재된 컴퓨터 판독 가능한 매체.
(A-28) 적어도 2개의 촬상 장치로부터 획득된 화상 데이터로부터 화상 데이터 중 적어도 2개의 화상 데이터에 의거하여 시차 화상 데이터를 산출하고, 상기 시차 화상 데이터에 기초하여 생육 지표를 산출하고, 상기 화상 데이터 중 적어도 2개는 적어도 2개의 촬상 장치에 의해 2개의 각도(angle) 및 적어도 2곳의 위치 중의 적어도 하나로부터 촬상되는 것을 특징으로 하는 (A-13) 내지 (A-21) 중 어느 하나에 기재된 컴퓨터 판독 가능한 매체.
또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.
(B-1) 작물의 화상을 RGB 화상, 및 NIR(근적외선) 화상으로서 촬상하는 촬상부와, 상기 화상에서의 상기 작물인 피사체가 촬상된 영역을 특정하는 특정부와, 상기 특정부에 의해 특정된 상기 화상에서의 피사체가 촬상된 영역의, 상기 RGB 화상, 및 상기 NIR 화상 및 상기 RGB 화상 중의 적색 화상으로부터 얻어지는 생육 지표 화상에 의거하여, 상기 작물의 생육 지표를 산출하는 생육 지표 산출부를 포함하는 정보 처리 시스템.
(B-2) 상기 생육 지표 화상은, NDVI(Normalized Difference Vegetation Index) 화상, SR(Simple Ratio) 화상, GEMI(Global Environment Monitoring Index) 화상, SAVI(Soil Adjusted Vegetation Index) 화상, EVI(Enhanced Vegetation Index), PVI(Perpendicular Vegetation Index) 화상, PRI(Photochemical Reflectance Index) 화상, SIPI(Structure Insensitive Pigment Index) 화상, PSRI(Plant Senescing Reflectance Index) 화상, CI(Chlorophyll Index) 화상, mSR(Modified Simple Ratio) 화상, mND(Modified Normalized Difference) 화상, CCI(Canopy Chlorophyll Index) 화상, WI(Water Index) 화상, NDWI(Normalized Difference Water Index) 화상, CAI(Cellulose Absorption Index) 화상, RVI(Ratio Vegetation Index) 화상, KVI(Kind of Vegetation Index) 화상, 및 DVI(Difference Vegetation Index) 화상의 어느 하나, 또는, 그들의 조합의 화상인 (B-1)에 기재된 정보 처리 시스템.
(B-3) 상기 촬상부는, RGB 화상의 각 색채의 이미지 센서, 및, NIR의 이미지 센서로 구성되는 (B-1)에 기재된 정보 처리 시스템.
(B-4) 상기 촬상부는, RGB 화상, 및 NIR의 각 색채의 화소 배열은, 평면에 배열되어 있는 (B-3)에 기재된 정보 처리 시스템.
(B-5) 상기 촬상부는, RGB 화상, 및 NIR의 각 색채의 화소는, 광의 진행 방향으로 적층되어 배열되어 있는 (B-3)에 기재된 정보 처리 시스템.
(B-6) 상기 특정부에 의해 특정된 상기 화상에서의 상기 작물인 피사체가 촬상된 영역의 적색 화상, 및 NIR 화상에 의거하여, 상기 작물의 상기 생육 지표 화상을 산출하는 생육 지표 화상 산출부를 또한 포함하며, 상기 생육 지표 산출부는, 상기 생육 지표 화상 산출부에 의해 산출된 상기 생육 지표 화상에 의거하여, 상기 작물의 생육 지표를 산출하는 (B-1)에 기재된 정보 처리 시스템.
(B-7) 상기 생육 지표 화상 산출부는, 상기 특정부에 의해 특정된 상기 화상에서의 상기 작물인 피사체가 촬상된 영역의 적색 화상, 및 NIR 화상에 의거하여, 구하여지는 상기 근적외선 반사율로부터 상기 생육 지표 화상을 산출하고, 상기 생육 지표 화상의 평균, 분산, 또는 고차분산에 의거하여, 상기 작물의 생육 지표를 산출하는 (B-6)에 기재된 정보제 시스템.
(B-8) 상기 특정부에 의해 특정된 상기 화상에서의 상기 작물인 피사체가 촬상된 영역의 RGB 화상에 의거하여, 상기 작물의 RGB 화상 생육 지표를 산출하는 RGB 화상 생육 지표 산출부를 또한 포함하며, 상기 생육 지표 산출부는, 상기 RGB 화상 생육 지표 산출부에 의해 산출된 상기 RGB 화상 생육 지표에 의거하여, 상기 작물의 생육 지표를 산출하는 (B-1)에 기재된 정보 처리 시스템.
(B-9) 상기 RGB 화상 생육 지표 산출부는, 상기 특정부에 의해 특정된 상기 화상에서의 상기 작물인 피사체가 촬상된 영역의 RGB 화상에서의 소정의 색의 비율로부터 RGB 화상 생육 지표를 산출하는 (B-8)에 기재된 정보 처리 시스템.
(B-10) 상기 특정부에 의해 특정된 상기 화상에서의 상기 작물인 피사체가 촬상된 영역의 RGB 화상으로서, 다른 각도에서 동일한 상기 작물인 피사체를 촬상한 적어도 2장 이상의 화상에서 구하여지는 시차 화상에 의거한 시차 화상 생육 지표를 산출하는 시차 화상 생육 지표 산출부를 또한 포함하며, 상기 생육 지표 산출부는, 상기 시차 화상 생육 지표 산출부에 의해 산출된 상기 시차 화상 생육 지표에 의거하여, 상기 작물의 생육 지표를 산출하는 (B-1)에 기재된 정보 처리 시스템.
(B-11) 상기 시차 화상 생육 지표 산출부는, 상기 특정부에 의해 특정된 상기 화상에서의 상기 작물인 피사체가 촬상된 영역의 RGB 화상으로서, 다른 각도에서 동일한 상기 작물인 피사체를 촬상한 적어도 2장 이상의 화상에서 구하여지는 시차 화상에 의거하여 산출되는, 상기 작물의 촬상 방향의 거리에 의해 추정되는 작물의 크기로부터, 상기 시차 화상 생육 지표를 산출하는 (B-10)에 기재된 정보 처리 시스템.
(B-12) 상기 촬상부를 식별하는 정보에 대응시켜서, 상기 촬상부의 위치, 상기 촬상부에 의해 촬상된 화상, 상기 촬상부에 의해 촬상된 화상의 촬상 일시, 및 상기 촬상부에 의해 촬상된 작물마다의 생육 지표를, 관리 정보로서 기억하는 기억부와, 상기 기억부에 기억되어 있는 작물마다의 생육 지표, 및, 과거의 작물마다의 생육 지표와 수확 시기와의 관계에 의거하여, 상기 작물의 예상 적정 수확 시기를 산출하는 수확 시기 산출부를 포함하며, 상기 기억부는, 상기 수확 시기 산출부에 의해 산출된 예상 적정 수확 시기의 정보도 아울러서, 상기 촬상부를 식별하는 정보에 대응시켜서 기억하는 (B-1)에 기재된 정보 처리 시스템.
(13) 상기 정보 처리 시스템은, 상기 촬상부를 구비한 센서, 상기 관리 정보를 기억하는 기억부를 관리하는 서버, 및, 상기 서버에 수확 시기를 문의하는 단말 장치로 이루어지고, 상기 서버는, 상기 단말 장치로부터 상기 예상 적정 수확 시기의 문의를 받으면, 상기 기억부에 기억되어 있는 관리 정보에 의거하여, 상기 예상 적정 수확 시기의 문의에 대한 것으로서, 상기 기억부에 기억되어 있는 관리 정보에 의거한 예상 적정 수확 시기를 포함하는 응답 정보를 생성하고, 상기 단말 장치에 송신하는 (B-12)에 기재된 정보 처리 시스템.
(B-14) 작물의 화상을 RGB 화상, 및 NIR(근적외선) 화상으로서 촬상하는 촬상 처리를 하고, 상기 화상에서의 상기 작물인 피사체가 촬상된 영역을 특정하는 특정 처리를 하고, 상기 특정 처리에 의해 특정된 상기 화상에서의 피사체가 촬상된 영역의, 상기 RGB 화상, 및 상기 NIR 화상 및 상기 RGB 화상 중의 적색 화상으로부터 얻어지는 생육 지표 화상에 의거하여, 상기 작물의 생육 지표를 산출하는 생육 지표 산출 처리를 하는 스텝을 포함하는 정보 처리 시스템의 정보 처리 방법.
(B-15) 작물의 화상을 RGB 화상, 및 NIR(근적외선) 화상으로서 촬상하는 촬상 스텝과, 상기 화상에서의 상기 작물인 피사체가 촬상된 영역을 특정하는 특정 스텝과, 상기 특정 스텝의 처리에 의해 특정된 상기 화상에서의 피사체가 촬상된 영역의, 상기 RGB 화상, 및 상기 NIR 화상 및 상기 RGB 화상 중의 적색 화상으로부터 얻어지는 생육 지표 화상에 의거하여, 상기 작물의 생육 지표를 산출하는 생육 지표 산출 스텝을 포함하는 처리를 정보 처리 시스템을 제어하는 컴퓨터에 실행시키는 프로그램.
(B-16) 작물의 화상을 RGB 화상, 및 NIR(근적외선) 화상으로서 촬상하는 촬상부와, 상기 화상에서의 상기 작물인 피사체가 촬상된 영역을 특정하는 특정부와, 상기 특정부에 의해 특정된 상기 화상에서의 피사체가 촬상된 영역의, 상기 RGB 화상, 및 상기 NIR 화상 및 상기 RGB 화상 중의 적색 화상으로부터 얻어지는 생육 지표 화상에 의거하여, 상기 작물의 생육 지표를 산출하는 생육 지표 산출부를 포함하는 촬상 장치.
(B-17) 상기 생육 지표 화상은, NDVI(Normalized Difference Vegetation Index) 화상, SR(Simple Ratio) 화상, GEMI(Global Environment Monitoring Index) 화상, SAVI(Soil Adjusted Vegetation Index) 화상, EVI(Enhanced Vegetation Index), PVI(Perpendicular Vegetation Index) 화상, PRI(Photochemical Reflectance Index) 화상, SIPI(Structure Insensitive Pigment Index) 화상, PSRI(Plant Senescing Reflectance Index) 화상, CI(Chlorophyll Index) 화상, mSR(Modified Simple Ratio) 화상, mND(Modified Normalized Difference) 화상, CCI(Canopy Chlorophyll Index) 화상, WI(Water Index) 화상, NDWI(Normalized Difference Water Index) 화상, CAI(Cellulose Absorption Index) 화상, RVI(Ratio Vegetation Index) 화상, KVI(Kind of Vegetation Index) 화상, 및 DVI(Difference Vegetation Index) 화상의 어느 하나, 또는, 그들의 조합의 화상인 (B-16)에 기재된 촬상 장치.
(B-18) 상기 촬상부는, RGB 화상의 각 색채의 이미지 센서, 및, 근적외선의 이미지 센서로 구성되는 (B-16)에 기재된 촬상 장치.
(B-19) 작물의 화상을 RGB 화상, 및 NIR(근적외선) 화상으로서 촬상하는 촬상 처리를 하고, 상기 화상에서의 상기 작물인 피사체가 촬상된 영역을 특정하는 특정 처리를 하고, 상기 특정 처리에 의해 특정된 상기 화상에서의 피사체가 촬상된 영역의, 상기 RGB 화상, 및 상기 NIR 화상 및 상기 RGB 화상 중의 적색 화상으로부터 얻어지는 생육 지표 화상에 의거하여, 상기 작물의 생육 지표를 산출하는 생육 지표 산출 처리를 하는 스텝을 포함하는 촬상 방법.
(B-20) 작물의 화상을 RGB 화상, 및 NIR(근적외선) 화상으로서 촬상하는 촬상 스텝과, 상기 화상에서의 상기 작물인 피사체가 촬상된 영역을 특정하는 특정 스텝과, 상기 특정 스텝의 처리에 의해 특정된 상기 화상에서의 피사체가 촬상된 영역의, 상기 RGB 화상, 및 상기 NIR 화상 및 상기 RGB 화상 중의 적색 화상으로부터 얻어지는 생육 지표 화상에 의거하여, 상기 작물의 생육 지표를 산출하는 생육 지표 산출 스텝을 포함하는 처리를 촬상 장치를 제어하는 컴퓨터에 실행시키는 프로그램.
여기서 사용된 바와 같이, "적어도 하나", "하나 이상", 및 "및/또는"이라는 용어는 연산시에 접합적이며 이접적인 오픈 엔드(open end)된 표현이다. 예를 들면, "A, B, 및 C 중 적어도 하나", "A, B, 또는 C 중 적어도 하나", "하나 이상의 A, B, 및 C", "하나 이상의 A, B, 또는 C", 및 "A, B 및/또는 C"라는 용어는, A만 홀로, B만 홀로, C만 홀로, A와 B를 함께, A와 C를 함께, B와 C를 함께, 또는 A와 B와 C를 모두 함께라는 의미다.
용어 a 또는 an의 실체는 그 실체의 하나 이상을 말한다. 예를 들어, "a (또는 an)", "하나 이상", "적어도 하나"라는 용어는 여기서는 호환성있게 사용된다. 또한, "포함하는", "구비하는" 및 "갖는"이라는 용어는 호환되어 사용될 수 있다.
여기서 사용된 바와 같이, "판정한다", "계산한다", 및 "산출하다", 및 "그 변형"이라는 용어는 호환성 있게 사용되며, 어떠한 형태의 방법론, 프로세스, 수학적 연산 또는 기술을 포함한다.
여기서 사용된 바와 같이, "컴퓨터가 판독 가능한 기록 매체"라는 용어는, 실행용 프로세스에 명령을 주는데 참여하는 유무형의 기록 및/또는 전송 매체를 말한다. 그러한 매체는 여러 형태가 있고, 비휘발성 매체, 휘발성 매체, 및 전송 매체 등을 포함하지만 이에 한정되는 것은 아니다. 비휘발성 매체로는, 예를 들면 NVRAM, 또는 마그네틱 또는 광학 디스크를 포함한다. 휘발성 매체는 메인 메모리 등과 같은 다이내믹형 메모리를 포함한다. 일반적인 형태의 컴퓨터 판독 가능한 매체는, 예를 들면, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 마그네틱 테이프, 또는 다른 어떠한 마그네틱 매체, 광자기 매체, CD-ROM, 다른 어떠한 광학 매체, 펀치 카드, 페이퍼 테잎, 홀 패턴을 갖는 다른 어떠한 물리적 매체, RAM, PROM, 및 EPROM, FLASH-EPROM, 메모리 카드 등의 고체형 매체, 다른 어떤 메모리 칩 또는 카트리지, 이하에서 기술되는 바와 같은 반송파, 또는 컴퓨터 판독가능한 어떠한 다른 매체를 포함할 수 있다. 이메일에의 디지털 파일 첨부 또는 다른 자체 내장 정보 아카이브(archive) 또는 아카이브들의 셋트는 유형의 기록 매체와 동등한 제공 매체로 간주된다. 컴퓨터 판독 가능한 매체가 데이터 베이스로서 구성되는 경우에, 데이터 베이스는 관계형, 계층형, 객체 지향형 등의 어떠한 형태의 데이터 베이스라도 무방하다. 따라서, 본 발명은 본 발명의 소프트웨어 구성물이 기록되는, 유형의 기록 매체 또는 제공 매체 및 종래 공지된 등가물 및 후속의 매체를 포함하는 것으로 여겨진다.
여기서 사용된 바와 같은, "모듈"이라는 용어는, 공지의 또는 나중에 개발되는 하드웨어, 소프트웨어, 펌웨어, 인공 지능, 퍼지 논리, 또는 그러한 요소와 관련된 기능을 실행할 수 있는 하드웨어와 소프트웨어의 조합을 말한다. 또한 본 발명은 예시적인 실시예에 면에서 설명되었지만, 본 발명의 개개의 양상은 분리되어 주장될 수 있다.
본 발명이 속하는 기술의 분야에서 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경례 또는 수정례에 상도할 수 있음은 분명하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
11, 11-1 내지 11-N : 센서 카메라
12, 12-1 내지 12-4 : 단말 장치
13 : 네트워크
14 : 서버
31 : 센서
32 : RGB 화상 생성부
33 : NDVI 화상 생성부
34 : 제어부
35 : IP 어드레스 기억부
36 : GPS
37 : 환경 정보 측정부
38 : RTC
39 : 생육 상황 정보 생성부
40 : 통신부
41 : 통신 경로 특정부
61 : 제어부
62 : 문의부
63 : 조작부
64 : 통신부
65 : IP 어드레스 기억부
66 : 표시부
81 : 제어부
82 : 생육 상황 정보 축적부
83 : 대상물 영역 특정부
84 : RGB 화상 생육 지표 산출부
85 : NDVI 화상 생육 지표 산출부
86 : 스테레오 화상 생육 지표 산출부
87 : 수확 시기 산출부
88 : 관리 정보 축적부
89 : 생육 지표 산출부
90 : 매핑부
91 : 센서 카메라 동작 상황 감시부
92 : 통신부
93 : 수확 계획 생성부
94 : 배송 계획 생성부
95 : 판매 계획 생성부
96 : 구입 계획 생성부
97 : 문의 접수부
98 : 응답 작성부

Claims (20)

  1. 작물을 포함하는 피사체 화상을 촬상하도록 각각 구성된 복수의 촬상 장치와,
    상기 촬상 장치에 결합된 서버를 포함하고,
    상기 서버는,
    광학 데이터로서 작물의 화상 정보를 획득하고,
    상기 광학 테이터에 기초하여 생육 지표를 산출하고,
    상기 생육 지표에 기초하여 적정 수확 시기를 산출하도록 구성되고,
    상기 화상 정보는 상기 촬상 장치 중 하나로부터 획득된 가시 화상 데이터 및 비가시 화상 데이터를 포함하고,
    상기 서버는 상기 촬상 장치 중 상기 하나 또는 작물의 이상을 검출하도록 상기 가시 화상 데이터를 시계열로 비교하도록 구성되는 것을 특징으로 하는 시스템.
  2. 제1항에 있어서,
    상기 이상은 (i) 상기 촬상 장치의 상기 하나가 도난당하고, (ii) 상기 촬상 장치의 상기 하나가 다른 장소로 이동하고, 및 (iii) 상기 작물이 도난 당하는 상황 중의 하나인 것을 특징으로 하는 시스템.
  3. 제1항에 있어서,
    상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 기초하여 생성되는 것을 특징으로 하는 시스템.
  4. 제1항에 있어서,
    상기 비가시 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 시스템.
  5. 제1항에 있어서,
    상기 비가시 화상 데이터는 디모자이크 처리 없는 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 시스템.
  6. 제1항에 있어서,
    상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 기초하여 생성되고, 상기 비가시 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 시스템.
  7. 제1항에 있어서,
    상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 기초하여 생성되고, 상기 비가시 화상 데이터는 디모자이크 처리 없는 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 시스템.
  8. 제1항에 있어서,
    상기 광학 데이터는 스택형 화상 센서를 사용하여 획득되고, 상기 스택형 화상 센서는 녹색광 센서층 위에 적층된 청색광 센서층을 구비하고, 상기 녹색광 센서층은 적색광 센서층 위에 적층되고, 상기 적색광 센서층은 근적외선(NIR) 센서층 위에 적층되는 것을 특징으로 하는 시스템.
  9. 제1항에 있어서,
    상기 광학 데이터는 라미네이트 필름 위에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고,
    상기 라미네이트 필름은 SiO 및 SiN 중의 적어도 하나를 포함하고, 상기 RGB 컬러 필터는 FR 컬러 필터, FG 컬러 필터, 및 FB 컬러 필터를 포함하는 것을 특징으로 하는 시스템.
  10. 제1항에 있어서,
    상기 광학 데이터는 적외선(IR) 차단 필터 위에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고, 상기 IR 차단 필터는 화상 센서 위에 마련되는 것을 특징으로 하는 시스템.
  11. 광학 데이터를 포함하는 작물의 화상 정보를 획득하고,
    대상물 영역을 특정하고,
    상기 대상물 영역의 화상 정보에 기초하여 생육 지표를 산출하고,
    상기 생육 지표에 기초하여 예상 수확 시기를 산출하며,
    상기 화상 정보는 화상 센서로부터 획득된 가시 화상 데이터 및 상기 화상 센서로부터 획득된 비가시 화상 데이터를 포함하고,
    농작물의 특징 정보가 되는 색 및 형상의 패턴을 기억하고, 상기 특징 정보와 일치하는 영역을 검색함에 의해 상기 대상물 영역을 특정하고,
    상기 화상 센서에 의해 촬상된 화상 신호로부터 RGB 신호 성분 및 NIR 신호 성분을 추출하는 것을 더 포함하는 것을 특징으로 하는 정보 처리 방법.
  12. 제11항에 있어서,
    상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 기초하여 생성되는 것을 특징으로 하는 정보 처리 방법.
  13. 제11항에 있어서,
    상기 비가시 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 정보 처리 방법.
  14. 제11항에 있어서,
    상기 비가시 화상 데이터는 디모자이크 처리 없는 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 정보 처리 방법.
  15. 제11항에 있어서,
    상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 기초하여 생성되고, 상기 비가시 화상 데이터는 디모자이크 처리된 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 정보 처리 방법.
  16. 제11항에 있어서,
    상기 가시 화상 데이터는 디모자이크 처리된 RGB 화소 신호에 기초하여 생성되고, 상기 비가시 화상 데이터는 디모자이크 처리 없는 R 및 IR 신호에 기초하여 생성되는 것을 특징으로 하는 정보 처리 방법.
  17. 제11항에 있어서,
    상기 광학 데이터는 스택형 화상 센서를 사용하여 획득되고, 상기 스택형 화상 센서는 녹색광 센서층 위에 적층된 청색광 센서층을 구비하고, 상기 녹색광 센서층은 적색광 센서층 위에 적층되고, 상기 적색광 센서층은 근적외선(NIR) 센서층 위에 적층되는 것을 특징으로 하는 정보 처리 방법.
  18. 제11항에 있어서,
    상기 광학 데이터는 라미네이트 필름 위에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고,
    상기 라미네이트 필름은 SiO 및 SiN 중의 적어도 하나를 포함하고, 상기 RGB 컬러 필터는 FR 컬러 필터, FG 컬러 필터, 및 FB 컬러 필터를 포함하는 것을 특징으로 하는 정보 처리 방법.
  19. 제11항에 있어서,
    상기 광학 데이터는 적외선(IR) 차단 필터 위에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고, 상기 IR 차단 필터는 화상 센서 위에 마련되는 것을 특징으로 하는 정보 처리 방법.
  20. 광학 데이터를 포함하는 작물의 화상 정보를 획득하고,
    상기 광학 데이터에 기초하여 생육 지표를 산출하고,
    상기 생육 지표에 기초하여 예상 수확 시기를 산출하며,
    상기 화상 정보는, 적어도 2개의 다른 장소 및 적어도 2개의 다른 각도로부터 적어도 2개의 촬상 장치에 의해 촬상된 시차 화상 데이터를 포함하고,
    상기 광학 데이터는 적외선(IR) 차단 필터 위에 마련된 RGB 컬러 필터를 포함하는 화상 센서를 사용하여 획득되고, 상기 IR 차단 필터는 RGB 센서 위에 마련되고,
    상기 화상 센서는, 근적외선(NIR) 센서 위에 마련된 IR 차단 필터를 마련하지 않고 상기 근적외선(NIR) 센서 위에 마련되어, 상기 근적외선(NIR) 센서로부터의 근적외선(NIR)을 차단하지 않는 블랙 필터를 더 포함하고,
    상기 RGB 센서 및 상기 근적외선(NIR) 센서로부터 촬상된 화상은 상기 작물을 대표하는 것을 특징으로 하는 방법.
KR1020227000999A 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법 KR102487134B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013062017A JP5950166B2 (ja) 2013-03-25 2013-03-25 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
JPJP-P-2013-062017 2013-03-25
KR1020217002303A KR102362910B1 (ko) 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법
PCT/JP2014/001497 WO2014156039A1 (en) 2013-03-25 2014-03-17 Method, system, and medium having stored thereon instructions that cause a processor to execute a method for obtaining image information of an organism comprising a set of optical data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217002303A Division KR102362910B1 (ko) 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220010066A true KR20220010066A (ko) 2022-01-25
KR102487134B1 KR102487134B1 (ko) 2023-01-12

Family

ID=50588778

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157021071A KR102227077B1 (ko) 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법
KR1020227000999A KR102487134B1 (ko) 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법
KR1020217002303A KR102362910B1 (ko) 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157021071A KR102227077B1 (ko) 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217002303A KR102362910B1 (ko) 2013-03-25 2014-03-17 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법

Country Status (10)

Country Link
US (6) US10607078B2 (ko)
EP (2) EP4220129A1 (ko)
JP (1) JP5950166B2 (ko)
KR (3) KR102227077B1 (ko)
CN (2) CN105308436B (ko)
AU (1) AU2014245679B2 (ko)
BR (1) BR112015024105B1 (ko)
RU (1) RU2659883C2 (ko)
TW (1) TWI615605B (ko)
WO (1) WO2014156039A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5950166B2 (ja) 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
EP3043310A4 (en) * 2013-09-04 2017-03-01 Kubota Corporation Agricultural assistance system
CN107529726B (zh) * 2015-04-24 2020-08-04 索尼公司 检查装置、检查方法和记录介质
JP2017009396A (ja) * 2015-06-19 2017-01-12 パナソニックＩｐマネジメント株式会社 撮像装置
CN107709942B (zh) * 2015-06-26 2021-06-04 索尼公司 检查设备、感测设备、灵敏度控制设备、检查方法和程序
US20180188160A1 (en) * 2015-07-10 2018-07-05 Sony Corporation Inspection apparatus, inspection method, and program
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
US20170099476A1 (en) * 2015-10-01 2017-04-06 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
DE102015221085A1 (de) * 2015-10-28 2017-05-04 Robert Bosch Gmbh Verfahren und Informationssystem zum Erkennen zumindest einer auf einem Feld angepflanzten Pflanze
CN105547360B (zh) * 2015-12-16 2017-08-08 中国科学院地理科学与资源研究所 基于情景感知的作物冠层图像采集方法
JP2017131116A (ja) * 2016-01-25 2017-08-03 株式会社トプコン 植物用センサ装置
US20190057460A1 (en) * 2016-03-25 2019-02-21 Nec Corporation Information processing device, control method for information processing device, and recording medium having control program for information processing device recorded therein
CN108353137A (zh) * 2016-04-07 2018-07-31 托比股份公司 用于基于视觉的人机交互的图像传感器
EP3244343A1 (en) * 2016-05-12 2017-11-15 Bayer Cropscience AG Recognition of weed in a natural environment
US11181470B2 (en) * 2016-06-22 2021-11-23 Sony Group Corporation Sensing system, sensing method, and sensing device
EP3502663B1 (en) * 2016-08-17 2020-09-30 Sony Corporation Signal processing device and signal processing method, and program
FR3055410A1 (fr) * 2016-08-25 2018-03-02 Jaubert Agissant Au Nom Et Pour Le Compte De Ph J Sas En Cours De Formation Philippe Procede de determination instantanee de l'etat vegetatif de zones agricoles
BR112019007937A8 (pt) 2016-10-19 2023-04-25 Basf Agro Trademarks Gmbh Método para determinar o peso de todos os grãos de uma espiga, sistema para determinar o peso de todos os grãos de uma espiga e produto de programa de computador
US10769436B2 (en) 2017-04-19 2020-09-08 Sentera, Inc. Multiband filtering image collection and analysis
JOP20190145A1 (ar) * 2017-06-14 2019-06-16 Grow Solutions Tech Llc أنظمة وطرق لتفريع حصاد قرن إنماء
JOP20190167A1 (ar) * 2017-06-14 2019-07-02 Grow Solutions Tech Llc أنظمة وطرق لتحديد وقت الحصاد لمادة نبات بحجيرة نمو
EP3647771A4 (en) * 2017-06-29 2020-08-05 NEC Corporation COEFFICIENT CALCULATION DEVICE, COEFFICIENT CALCULATION METHOD AND RECORDING MEDIUM WITH COEFFICIENT CALCULATION PROGRAM RECORDED ON IT
WO2019035306A1 (ja) * 2017-08-18 2019-02-21 コニカミノルタ株式会社 植物生育指標算出方法、植物生育指標算出プログラム及び植物生育指標算出システム
JP2019041159A (ja) * 2017-08-22 2019-03-14 株式会社東芝 スマートカメラ、サーバ、スマートカメラシステム、データ伝送方法およびプログラム
WO2019039507A1 (ja) * 2017-08-22 2019-02-28 株式会社 東芝 スマートカメラ、画像処理装置、およびデータ通信方法
US11094055B2 (en) * 2018-01-11 2021-08-17 Intelinair, Inc. Anomaly detection system
KR102106112B1 (ko) * 2018-06-12 2020-04-29 주식회사 팜에어 드론 영상을 이용한 농작물 판별 장치 및 그 방법
JP7192279B2 (ja) * 2018-07-13 2022-12-20 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020044628A1 (ja) * 2018-08-29 2020-03-05 コニカミノルタ株式会社 圃場撮影システムおよび圃場撮影方法
KR102301658B1 (ko) * 2018-10-31 2021-09-14 (주)카탈로닉스 식물 생육 장치 및 그 제어 방법
JPWO2020179276A1 (ko) * 2019-03-01 2020-09-10
CN110717087B (zh) * 2019-04-24 2022-09-13 中国科学院地理科学与资源研究所 一种指定位置点的归一化植被指数ndvi获取方法及系统
TWI726396B (zh) * 2019-08-23 2021-05-01 經緯航太科技股份有限公司 環境巡檢系統及其方法
US11710308B1 (en) 2019-10-10 2023-07-25 Aerofarms, Inc. Seed germination detection method and apparatus
JP6774544B2 (ja) * 2019-10-18 2020-10-28 マクセルホールディングス株式会社 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
WO2021084907A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
AU2020385945A1 (en) * 2019-11-22 2022-03-10 Farmers Edge Inc. Dynamic area thresholding for automatic crop health change detection and alerting system
WO2021205468A1 (en) * 2020-04-10 2021-10-14 Bhole Varsha System and method for identifying fruit shelf life
AU2021308733A1 (en) * 2020-07-14 2023-02-02 Farmers Edge Inc. Field image correlation differential change detection and alerting system
JP2021006819A (ja) * 2020-10-01 2021-01-21 マクセルホールディングス株式会社 植物情報取得システム、植物情報取得装置、植物情報取得方法、作物管理システムおよび作物管理方法
US11917272B2 (en) * 2020-10-28 2024-02-27 Semiconductor Components Industries, Llc Imaging systems for multi-spectral imaging
CN112304902B (zh) * 2020-11-02 2023-10-20 航天宏图信息技术股份有限公司 一种农作物物候的实时监测方法和装置
CN113433075B (zh) * 2021-05-08 2022-06-14 中科海慧（天津）科技有限公司 一种简单的黑臭水体遥感快速监测方法
EP4105892A1 (en) 2021-06-17 2022-12-21 Rakuten Group, Inc. Turf health condition determination system at golf course, turf health condition determination method at golf course and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020101895A1 (en) * 1999-06-14 2002-08-01 Augusto Carlos J.R.P. Wavelength-selective photonics device
KR20050043368A (ko) * 2003-11-06 2005-05-11 신성식 친환경 농산물의 유통 검증 방법 및 그 시스템
US20070003107A1 (en) * 2005-07-01 2007-01-04 Deere & Company, A Delaware Corporation Method and system for vehicular guidance using a crop image
WO2009116613A1 (ja) 2008-03-21 2009-09-24 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体
US20100115830A1 (en) * 2007-03-23 2010-05-13 Dube Sylvain System for modulating plant growth or attributes

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5931614A (ja) 1982-08-11 1984-02-20 株式会社クボタ 果実収穫装置
JP3093486B2 (ja) * 1992-10-26 2000-10-03 株式会社テクノ・グラフティング研究所 植物良否判別制御装置およびその良否判別のための面積集計方法
US6160902A (en) * 1997-10-10 2000-12-12 Case Corporation Method for monitoring nitrogen status using a multi-spectral imaging system
JP4219819B2 (ja) 2002-02-13 2009-02-04 株式会社環境総合テクノス リモートセンシング高解像度データによる森林・樹木のバイオマス推定方法
US8712144B2 (en) * 2003-04-30 2014-04-29 Deere & Company System and method for detecting crop rows in an agricultural field
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method
EP1729298A1 (en) * 2004-03-23 2006-12-06 Matsushita Electric Industrial Co., Ltd. Recording device, reproduction device, host device, drive device, recording method, reproduction method, program, and information recording medium
US7702597B2 (en) * 2004-04-20 2010-04-20 George Mason Intellectual Properties, Inc. Crop yield prediction using piecewise linear regression with a break point and weather and agricultural parameters
SE0402576D0 (sv) 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
US20060167926A1 (en) * 2005-01-27 2006-07-27 James Verhey Vineyard information collection and management system
JP2006250827A (ja) * 2005-03-11 2006-09-21 Pasuko:Kk 作物の生育状況分析方法
US8185275B2 (en) * 2005-07-01 2012-05-22 Deere & Company System for vehicular guidance with respect to harvested crop
US7751647B2 (en) * 2005-12-08 2010-07-06 Lenel Systems International, Inc. System and method for detecting an invalid camera in video surveillance
JP4873545B2 (ja) * 2006-05-16 2012-02-08 株式会社日立ソリューションズ 圃場管理支援方法及びシステム
JP4396684B2 (ja) * 2006-10-04 2010-01-13 ソニー株式会社 固体撮像装置の製造方法
US8208680B2 (en) * 2006-11-07 2012-06-26 The Curators Of The University Of Missouri Method of predicting crop yield loss due to N-deficiency
WO2008074019A2 (en) * 2006-12-13 2008-06-19 Georgia Tech Research Corporation Systems and methods for real time multispectral imaging
US8145677B2 (en) * 2007-03-27 2012-03-27 Faleh Jassem Al-Shameri Automated generation of metadata for mining image and text data
US7911517B1 (en) * 2007-10-31 2011-03-22 The United States Of America As Represented By The Secretary Of Agriculture Device and method for acquiring digital color-infrared photographs for monitoring vegetation
US7924504B2 (en) * 2008-01-01 2011-04-12 United Microelectronics Corp. Color filter structure having inorganic layers
US7986352B2 (en) * 2008-06-18 2011-07-26 Panasonic Corporation Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same
US20100100548A1 (en) * 2008-10-16 2010-04-22 Curators Of The University Of Missouri Storing change features detected from high-resolution, remotely sensed imagery
WO2010063075A1 (en) * 2008-12-03 2010-06-10 Magnificent Pty Ltd Crop picking device and method
JP2010166851A (ja) * 2009-01-22 2010-08-05 Chiharu Hongo 作物の収量予測方法及びその装置
US8248496B2 (en) * 2009-03-10 2012-08-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image sensor
WO2010116974A1 (ja) * 2009-04-07 2010-10-14 ローム株式会社 光電変換装置および撮像装置
MX2011013334A (es) * 2009-06-11 2012-04-11 Pa Llc Indices de vegetacion para medir densidad de microcultivo y crecimiento en multicapas.
JP5534300B2 (ja) * 2009-07-27 2014-06-25 株式会社サタケ リモートセンシングの検量線の作成方法
US20110221895A1 (en) * 2010-03-10 2011-09-15 Vinay Sharma Detection of Movement of a Stationary Video Camera
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
JP5467903B2 (ja) * 2010-03-24 2014-04-09 株式会社日本総合研究所 農作物管理方法及び農作物管理装置
US20110276336A1 (en) * 2010-03-25 2011-11-10 Tracy Sweely Method and apparatus for managing production complexity of high yield, multiple crop gardening and sustainable farming operations
CN101839979B (zh) * 2010-04-22 2012-07-25 中国农业大学 作物冠层植被指数测量方法及装置
CN102013021B (zh) 2010-08-19 2012-10-31 汪建 基于颜色和区域生长的茶叶嫩芽分割和识别方法
US9213905B2 (en) * 2010-10-25 2015-12-15 Trimble Navigation Limited Automatic obstacle location mapping
US8855937B2 (en) * 2010-10-25 2014-10-07 Trimble Navigation Limited Crop characteristic estimation
JP5673823B2 (ja) 2011-06-29 2015-02-18 富士通株式会社 植物種識別装置、方法およびプログラム
US8755154B2 (en) 2011-09-13 2014-06-17 Seagate Technology Llc Tuned angled uniaxial anisotropy in trilayer magnetic sensors
CN102521564A (zh) 2011-11-22 2012-06-27 常熟市董浜镇华进电器厂 基于颜色和形状识别茶叶的方法
TWI443446B (zh) 2011-12-01 2014-07-01 Univ Nat Taiwan 植床的監測系統及影像重建方法
CN102565061B (zh) 2012-01-16 2014-03-12 沈阳农业大学 作物生物量无损检测图像采集处理装置及检测方法
US9113590B2 (en) 2012-08-06 2015-08-25 Superior Edge, Inc. Methods, apparatus, and systems for determining in-season crop status in an agricultural crop and alerting users
JP5950166B2 (ja) 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020101895A1 (en) * 1999-06-14 2002-08-01 Augusto Carlos J.R.P. Wavelength-selective photonics device
KR20050043368A (ko) * 2003-11-06 2005-05-11 신성식 친환경 농산물의 유통 검증 방법 및 그 시스템
US20070003107A1 (en) * 2005-07-01 2007-01-04 Deere & Company, A Delaware Corporation Method and system for vehicular guidance using a crop image
US20100115830A1 (en) * 2007-03-23 2010-05-13 Dube Sylvain System for modulating plant growth or attributes
WO2009116613A1 (ja) 2008-03-21 2009-09-24 株式会社 伊藤園 茶葉の摘採適性評価方法及び摘採適性評価装置、摘採適性評価システム並びにコンピュータ使用可能な媒体

Also Published As

Publication number Publication date
EP4220129A1 (en) 2023-08-02
US20200356775A1 (en) 2020-11-12
AU2014245679B2 (en) 2017-04-13
KR102227077B1 (ko) 2021-03-11
US20230245446A1 (en) 2023-08-03
TW201437626A (zh) 2014-10-01
US11699286B2 (en) 2023-07-11
KR20210011514A (ko) 2021-02-01
TWI615605B (zh) 2018-02-21
KR102487134B1 (ko) 2023-01-12
RU2015139842A (ru) 2017-03-23
US20220230431A1 (en) 2022-07-21
JP2014183788A (ja) 2014-10-02
EP2979079A1 (en) 2016-02-03
KR20160018450A (ko) 2016-02-17
BR112015024105B1 (pt) 2022-01-04
US20160283791A1 (en) 2016-09-29
BR112015024105A2 (pt) 2017-07-18
AU2014245679A1 (en) 2015-08-20
WO2014156039A1 (en) 2014-10-02
KR102362910B1 (ko) 2022-02-15
US20200210699A1 (en) 2020-07-02
US20230306736A1 (en) 2023-09-28
CN105308436B (zh) 2020-09-18
US11443509B2 (en) 2022-09-13
CN105308436A (zh) 2016-02-03
CN111929253A (zh) 2020-11-13
US10607078B2 (en) 2020-03-31
RU2659883C2 (ru) 2018-07-04
JP5950166B2 (ja) 2016-07-13
EP2979079B1 (en) 2023-04-26
CN111929253B (zh) 2024-03-22
US11875562B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
KR102362910B1 (ko) 처리장치에 일련의 광학 데이터를 포함하는 작물의 화상정보 취득방법의 실행지시가 기억된 매체, 시스템 및 방법
Ballesteros et al. Onion biomass monitoring using UAV-based RGB imaging
Torres-Sánchez et al. Assessing UAV-collected image overlap influence on computation time and digital surface model accuracy in olive orchards
JP6187639B2 (ja) 撮像装置および撮像方法、並びにプログラム
Fauvel et al. Prediction of plant diversity in grasslands using Sentinel-1 and-2 satellite image time series
Pádua et al. UAS, sensors, and data processing in agroforestry: A review towards practical applications
Torres-Sánchez et al. Mapping the 3D structure of almond trees using UAV acquired photogrammetric point clouds and object-based image analysis
Vega et al. Multi-temporal imaging using an unmanned aerial vehicle for monitoring a sunflower crop
Tay et al. Reaching new heights: can drones replace current methods to study plant population dynamics?
CN110188962B (zh) 基于农业物联网的水稻供应链信息处理方法
Castellanos-Galindo et al. Habitat mapping of remote coasts: Evaluating the usefulness of lightweight unmanned aerial vehicles for conservation and monitoring
Mayr et al. Disturbance feedbacks on the height of woody vegetation in a savannah: a multi-plot assessment using an unmanned aerial vehicle (UAV)
dos Santos et al. Determining the leaf area index and percentage of area covered by coffee crops using UAV RGB images
JPWO2019130568A1 (ja) 評価情報生成システム、評価情報生成方法、およびプログラム
Dell et al. Detection of necrotic foliage in a young Eucalyptus pellita plantation using unmanned aerial vehicle RGB photography–a demonstration of concept
Hämmerle et al. Mobile low-cost 3D camera maize crop height measurements under field conditions
Fathipoor et al. Corn forage yield prediction using unmanned aerial vehicle images at mid-season growth stage
Tumlisan Monitoring growth development and yield estimation of maize using very high-resolution UAV-images in Gronau, Germany

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right