KR102104314B1 - 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치 - Google Patents
드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치 Download PDFInfo
- Publication number
- KR102104314B1 KR102104314B1 KR1020180025960A KR20180025960A KR102104314B1 KR 102104314 B1 KR102104314 B1 KR 102104314B1 KR 1020180025960 A KR1020180025960 A KR 1020180025960A KR 20180025960 A KR20180025960 A KR 20180025960A KR 102104314 B1 KR102104314 B1 KR 102104314B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vector
- energy
- regions
- saturation
- Prior art date
Links
- 239000013598 vector Substances 0.000 claims abstract description 207
- 238000000034 method Methods 0.000 claims abstract description 27
- 239000003086 colorant Substances 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 17
- 238000013473 artificial intelligence Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 13
- 238000013139 quantization Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 7
- 239000004615 ingredient Substances 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 abstract description 8
- 238000013136 deep learning model Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 241000196324 Embryophyta Species 0.000 description 5
- 241000607479 Yersinia pestis Species 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008635 plant growth Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000002028 Biomass Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- -1 physiological state Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06K9/00718—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G06K9/00744—
-
- G06K9/4642—
-
- G06K9/4652—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Abstract
본 발명은 영상 분류 및 검색 장치 및 그 방법에 관한 것으로, 인덱스 검색이 가능하게 하며, 이미지로부터 검색용 인덱스를 저사양 장치에서 고속으로 추출할 수 있는 장치 및 그 방법에 관한 것이다.
본 발명에 따른 방법은 다채널 이미지를 입력 받는 단계; 상기 이미지의 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하는 단계; 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 양자화된 에너지 레벨 중 최우세 에너지 레벨을 성분으로 에너지 벡터를 생성하는 단계; 상기 이미지의 어느 한 채널을 단계별로 공간 분할하여 복수의 공간 영역을 취득하는 단계; 및 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 색상 중 고채도 색상의 라벨인 채도 키를 성분으로 채도 벡터를 생성하는 단계를 포함할 수 있다.
본 발명에 따른 방법은 다채널 이미지를 입력 받는 단계; 상기 이미지의 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하는 단계; 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 양자화된 에너지 레벨 중 최우세 에너지 레벨을 성분으로 에너지 벡터를 생성하는 단계; 상기 이미지의 어느 한 채널을 단계별로 공간 분할하여 복수의 공간 영역을 취득하는 단계; 및 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 색상 중 고채도 색상의 라벨인 채도 키를 성분으로 채도 벡터를 생성하는 단계를 포함할 수 있다.
Description
본 발명은 드론 플랫폼 기반 멀티스텍트럼 영상 분류 및 검색 장치(시스템 포함) 및 그 방법에 관한 것으로, 인덱스 검색이 가능하게 하며, 이미지로부터 검색용 인덱스를 저사양 장치에서 고속으로 추출할 수 있는 장치 및 그 방법에 관한 것이다.
본 발명은 다량의 영상 데이터를 효율적으로 처리해야하는 디지털 도서관, 비디오 스트림 DB 구축, 의료 영상 검색, 정밀 농업용 원격 탐사 영상 검색, 예술 작품 DB 구축, 보안 영상, 디지털 워터 마크 등 다양한 분야에 활용될 수 있다. 특히, 작물의 건상 상태를 분류하기 위한 식물 (특히 벼)의 병충해 상태를 파악하는데 어떤 유형의 건강 상태인가를 고속으로 파악하여 식생 지수(NDVI)와 연계하여 건강 유형을 찾아내는데 사용될 수 있다.
디지털 영상 정보의 생성과 인터넷 기반 IoT(사물인터넷) 및 빅데이터 분석을 위한 클라우드 컴퓨팅과 웹 기술의 급속한 발전에 힘입어 대량화된 영상 정보의 저장, 처리, 인덱싱, 검색, 내용 분석 등에 기초한 과학 기술적, 상업적 응용에 대한 수요가 많아졌다. 또한, 정밀 농업 (Precision Agriculture, Precision Farming)에 드론 활용을 통해 방대한 량의 멀티 스펙트럼 이미지 데이터가 얻어지며, 이를 효과적으로 분류하고 처리하기 위한 방법들이 고안되고 있다.
광대한 분량의 데이터로 인하여 원하는 칼라 영상/비디오 클립 등을 검색하려는 경우 고속 처리와 효율적인 정보 검색 방법을 필요로 한다. 특히 시각 정보 시스템에서 주요한 관심 사항 중의 하나는 영상 내용에 기반한 정보 검색 방법의 개발에 있다. 일반적인 정보 검색 방법은 영상 기록물의 크기가 거대하게 되면, 검색 시스템의 성능이 저하될 수 있다. 이에 영상물의 크기에 크게 영향 받지 않는 영상 검색 방법이 필요하다.
본 발명은 분류와 검색하려는 대상 이미지의 양에 크게 영향 받지 않는 드론 플랫폼 기반 영상 분류 및 검색 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명의 일 실시예에 따른 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 방법은, 다채널 이미지를 입력 받는 단계; 상기 이미지의 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하는 단계; 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 양자화된 에너지 레벨 중 최우세 에너지 레벨을 성분으로 에너지 벡터를 생성하는 단계; 상기 이미지의 어느 한 채널을 단계별로 공간 분할하여 복수의 공간 영역을 취득하는 단계; 및 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 색상 중 고채도 색상의 라벨인 채도 키를 성분으로 채도 벡터를 생성하는 단계를 포함할 수 있다.
또한, 상기 에너지 벡터의 성분 배열 순서는 기설정된 상기 복수의 서브밴드의 배열 순서와 동일하고, 상기 채도 벡터의 성분 배열 순서는 기설정된 상기 복수의 공간 영역의 배열 순서와 동일할 수 있다.
또한, 상기 양자화된 에너지 레벨의 개수는 기설정된 개수일 수 있다.
또한, 상기 최우세 에너지 레벨은 상기 서브밴드 영역의 에너지 값에 대한 픽셀수를 히스토그램화하여 최대 도수를 가지는 계급의 라벨이고, 상기 계급의 최대값은 기설정된 정책에 따라 변화되고, 상기 계급 최대값을 초과하는 에너지 값을 가지는 픽셀은 도수에서 제외될 수 있다.
또한, 상기 적어도 한 채널은 비가시광선 스펙트럼을 포함할 수 있다.
또한, 상기 어느 한 채널은 복수의 스펙트럼으로 구성되는 것이 바람직하다.
또한, 상기 양자화된 색상의 양자화 기준이 되는 레벨은 조명에 따라 변화할 수 있다.
또한, 상기 에너지 벡터 및 상기 채도 벡터의 적어도 일부 성분으로부터 특징 벡터를 생성하는 단계를 더 포함하고, 상기 특징 벡터는 유사 이미지의 판단 기준일 수 있다.
또한, 상기 인덱싱된 이미지 그룹의 이미지들은 상기 이미지의 촬영 대상, 촬영 시기, 및 촬영 날씨 중 적어도 하나가 유사할 수 있다.
또한, 소스 훈련용 이미지의 특징을 분류하는 사전 학습된 딥러닝 모델을 도입하는 단계; 상기 사전 학습된 딥러닝 모델의 특징점이 전이되고 일부가 변형된 전이 모델을 생성하는 단계; 상기 전이 모델에 타겟 훈련용 이미지 데이터 셋으로 재학습시켜, 촬영 대상의 상태를 클래스 별로 분류하는 단계; 및 상기 각 클래스를 상기 인덱싱된 이미지 그룹에 태그로 연결하는 단계를 더 포함할 수 있다.
또한, 상기 이미지가 검색용인 경우, 상기 이미지의 특징 벡터와 동일한 인덱스를 가지는 이미지 그룹을 검색하는 단계; 및 상기 검색된 이미지 그룹의 태그를 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치는, 상기 다채널 이미지 중 어느 한 채널을 색상, 채도, 및 휘도의 색공간 모델로 변환하는 색공간 모델 변환부; 상기 이미지 중 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 에너지 값에 대한 픽셀수를 히스토그램화하여 최대 빈도 계급의 라벨을 성분으로 하는 에너지 벡터를 생성하는 에너지 벡터 생성 모듈; 및 상기 이미지의 어느 한 채널을 다단계로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 색상 중 고채도 색상의 라벨을 성분으로 하는 채도 벡터를 생성하는 채도 벡터 생성 모듈을 포함할 수 있다.
또한, 상기 에너지 벡터 생성 모듈 및 상기 채도 벡터 생성 모듈을 구비하는 특징 벡터 생성부를 더 포함하고, 상기 특징 벡터 생성부는 상기 에너지 키 벡터 및 상기 채도 키 벡터의 적어도 일부 성분으로부터 특징 벡터를 생성하고, 상기 특징 벡터는 유사 이미지의 판단 기준일 수 있다.
또한, 상기 특징 벡터의 성분을 인덱스로 하여, 유사한 이미지들의 특성인 태그를 기술하는 인덱싱 DB를 더 포함할 수 있다.
또한, 상기 특징 벡터의 성분을 인덱스로 하여 상기 인덱싱 DB에 질의하여 상기 태그를 취득하는 질의 응답부를 더 포함할 수 있다.
또한, 상기 다채널 이미지는 촬영 대상을 촬영하여 멀티 스펙트럼 영상인 다채널 이미지를 취득하는 카메라를 구비하는 드론 플랫폼으로부터 수신한 것일 수 있다.
본 발명의 일 실시예에 따른 단말기는, 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 시스템의 단말기로서, 촬영 대상을 촬영하는 카메라; 상기 촬영된 이미지의 색공간 모델을 변환하는 색공간 모델 변환부; 상기 변환된 이미지로부터 특징 벡터를 생성하는 특징 벡터 생성부; 및 서버와 통신하며, 상기 특징 벡터를 상기 서버로 전송하고, 상기 서버로부터 상기 이미지의 특성인 태그를 수신하는 통신부를 포함하고, 상기 특징 벡터 생성부의 특징 벡터는 에너지 벡터 및 채도 벡터의 적어도 일부 성분을 기초로 생성되고, 상기 에너지 벡터는 상기 이미지를 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역에 대해 적어도 상기 휘도에 대응하는 에너지값에 대한 픽셀수를 히스토그램화하여 최대 도수를 가지는 계급의 고유 넘버를 성분으로 하고, 상기 휘도 벡터는 상기 이미지를 다단계로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 고채도 색상을 추출하여, 상기 추출된 고채도 색상과 대응하는 고유 넘버를 성분으로 할 수 있다.
본 발명의 일 실시예에 따른 서버는, 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 시스템의 서버로서, 데이터베이스화할 이미지의 색공간 모델을 변환하는 색공간 모델 변환부; 상기 변환된 이미지로부터 특징 벡터를 생성하는 특징 벡터 생성부; 상기 특징 벡터를 인덱스로 하는 인덱싱 DB를 생성하는 맵 생성부; 단말기로부터 검색 대상 이미지의 특징 벡터의 적어도 일부를 수신하는 통신부; 및 상기 검색 대상 이미지의 특징 벡터의 적어도 일부를 이용하여, 상기 검색 대상 이미지의 특성인 태그를 취득하여, 상기 통신부를 통해 상기 단말기로 상기 태그가 전송되도록 하는 질의 응답부를 포함하고, 상기 특징 벡터 생성부의 특징 벡터는 에너지 벡터 및 채도 벡터의 적어도 일부 성분을 기초로 생성되고, 상기 에너지 벡터는 상기 이미지를 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역에 대해 적어도 상기 휘도에 대응하는 에너지값에 대한 픽셀수를 히스토그램화하여 최대 도수를 가지는 계급의 고유 넘버를 성분으로 하고, 상기 휘도 벡터는 상기 이미지를 다단계로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 고채도 색상을 추출하여, 상기 추출된 고채도 색상과 대응하는 고유 넘버를 성분으로 할 수 있다.
본 발명은 이미지의 특징을 신속하게 추출할 수 있고, 추출된 특징을 이용하여 유사한 이미지, 또는 분류 혹은 검색하려는 대상 이미지의 특성인 태그를 효율적으로 검색할 수 있다.
도 1은 본 발명의 일실시예에 따른 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치의 블럭 구성도(block diagram)이고,
도 2는 도 1의 제어부의 세부 블럭 구성도이고,
도 3는 본 발명의 일실시예에 따른 다해상도 서브밴드 영역들을 도시하고,
도 4 및 도 5은 도 3의 서브밴드 영역들의 휘도 에너지 키를 구하기 위한 휘도 에너지 히스토그램, 및 히스토그램으로부터 구해진 에너지 키 벡터를 도시하고,
도 6은 본 발명의 일실시예에 따른 레벨별 공간 분할을 도시하고,
도 7은 본 발명의 일실시예에 따른 컬러 휠을 도시하고,
도 8은 도 6의 일 공간 영역의 색상 에너지 히스토그램을 도시하고,
도 9 및 도 10은 휘도 에너지 키 맵 및 채도 에너지 키 맵을 도시하고,
도 11은 인덱싱 DB의 계위 구조를 도시하고,
도 12는 본 발명의 일실시예에 따른 영상 검색 방법의 순서도이고,
도 13 및 도 14는 도 12의 특징 벡터 생성 방법의 순서도이고,
도 15는 도 12의 인덱싱 데이터베이스화 방법의 순서도이고,
도 16 및 도 17은 딥러닝 모델이고,
도 18은 본 발명의 다른 실시예에 따른 영상 분류 및 검색 시스템의 블럭 구성도이다.
도 2는 도 1의 제어부의 세부 블럭 구성도이고,
도 3는 본 발명의 일실시예에 따른 다해상도 서브밴드 영역들을 도시하고,
도 4 및 도 5은 도 3의 서브밴드 영역들의 휘도 에너지 키를 구하기 위한 휘도 에너지 히스토그램, 및 히스토그램으로부터 구해진 에너지 키 벡터를 도시하고,
도 6은 본 발명의 일실시예에 따른 레벨별 공간 분할을 도시하고,
도 7은 본 발명의 일실시예에 따른 컬러 휠을 도시하고,
도 8은 도 6의 일 공간 영역의 색상 에너지 히스토그램을 도시하고,
도 9 및 도 10은 휘도 에너지 키 맵 및 채도 에너지 키 맵을 도시하고,
도 11은 인덱싱 DB의 계위 구조를 도시하고,
도 12는 본 발명의 일실시예에 따른 영상 검색 방법의 순서도이고,
도 13 및 도 14는 도 12의 특징 벡터 생성 방법의 순서도이고,
도 15는 도 12의 인덱싱 데이터베이스화 방법의 순서도이고,
도 16 및 도 17은 딥러닝 모델이고,
도 18은 본 발명의 다른 실시예에 따른 영상 분류 및 검색 시스템의 블럭 구성도이다.
이하, 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 또한 네트워크 상의 제1 구성요소와 제2 구성요소가 연결되어 있거나 접속되어 있다는 것은, 유선 또는 무선으로 제1 구성요소와 제2 구성요소 사이에 데이터를 주고 받을 수 있음을 의미한다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 도면 전체를 통하여 동일하거나 유사한 구성요소에 대해서는 동일한 도면 부호를 부여하였고, 동일한 도면 부호를 가지는 구성요소에 대한 자세한 설명은 전술한 구성요소에 대한 설명으로 대체되어 생략될 수 있다.
도 1은 본 발명의 일실시예에 따른 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치의 블럭 구성도(block diagram)이고, 도 2는 도 1의 제어부의 세부 블럭 구성도이다.
도 1을 참조하여 본 발명의 일실시예에 따른 영상 분류 및 검색 장치를 기능에 따른 구성요소 관점에서 살펴보면 다음과 같다.
도 1을 참조하면, 본 영상 분류 및 검색 장치는, 제어부(10), 카메라(20), 및 저장부(30)를 포함할 수 있다.
카메라(20)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 카메라(20)에서 처리된 화상 프레임은 저장부(30)에 저장되거나 무선 통신부(미도시)를 통하여 외부로 전송될 수 있다.
이미지 센서는 복수의 멀티 스펙트럼 센서로 구성될 수 있다. 즉, 이미지 센서는 다채널의 이미지 데이터 셋(이하, '이미지'로 지칭함)을 생성할 수 있다. 다채널는 독립된 RGB 칼라 영상 채널, 식물의 성장이나 건강 상태 및 토양의 상태를 분석할 수 있는 레드에지(RedEdge) 파장 채널과 근적외선(Near IR) 파장 채널 등의 비가시광선대의 채널을 구비할 수 있다. 어느 채널은 복수의 서브 채널로 구성될 수 있다. 예를 들어, 앞서 언급한 RGB 칼라 영상 채널은 빨강, 녹색, 및 파란색의 서브 채널로 구성될 수 있다. 다만, 이에 한정되지 않고, 각 R, G, B 채널은 독립된 채널처럼 작동될 수 있다.
또한, 이미지 센서는 RGB 서브 채널을 하나의 채널로 가지는 이미지를 생성할 수 있다. 즉 이미지 센서는 다채널 이미지 또는 단채널 이미지를 생성할 수 있다.
저장부(30)는 제어부(10)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(30)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 영상 분류 및 검색 장치는 인터넷(internet) 상에서 저장부(30)의 저장 기능을 수행하는 클라우드 스토리지(cloud storage)를 운영할 수도 있다.
저장부(30)는 인덱싱 DB(35)를 구비할 수 있다. 인덱싱 DB(35)는 이미지들의 특징 벡터를 분류 및/또는 검색시 인덱스로 이용될 수 있도록, 이미지들을 인덱싱한 데이터베이스(DB)일 수 있다. 자세한 설명은 후술한다.
제어부(10)는 통상적으로 상기 각부의 동작을 제어하여 영상 분류 및 검색 장치의 전반적인 동작을 제어한다. 예를 들어 이미지들의 특징 벡터를 추출하고, 이를 데이터베이스화하여 인덱싱 DB(35)에 저장되도록 할 수 있다.
도 2를 참조하면, 제어부(10)는 색공간 모델 변환부(110), 특징 벡터 생성부(120), 및 맵 생성부(140)를 구비할 수 있다.
색공간 모델 변환부(110)는 다채널 이미지 중 어느 한 채널의 색공간 모델을 변환할 수 있다. 변환되는 채널은 RGB 채널인 것이 바람직하다. 변환될 색공간 모델은 색상, 채도, 및 휘도가 구성 성분인 것이 바람직하다.
색공간 모델 변환부(110)이 변환한 이미지 채널은 특징 벡터 생성부(120)에서 사용될 수 있다. 색공간 모델 변환부(110)는 특징 벡터 생성부(120)에 포함되어, 필요시 작동될 수도 있다.
본 발명에서 RGB 채널의 색상(hue), 채도(saturation), 및 휘도(Value) 정보를 기초로 특징 벡터의 일부 성분을 생성한다. 따라서 RGB 색공간 모델을 HSV(HSI) 색공간 모델로 변환할 필요가 있다. 색공간 모델 변환부(110)는 일반적인 RGB-HSV(HSI) 변환 공식을 이용할 수 있다. 예를 들어 다음과 같은 공식이 사용될 수 있다.
휘도 I = (R+G+B)/3;
채도 S = 1 - 3*[min(R,G,B)]/(R+G+B);
색상 H = cos^(-1)((½((R-G)+(R-B))/((R-G)²+(R-B)(G-B))^½)
단, B>G 이면 H = 360°-H
특징 벡터 생성부(120)는 멀티스펙트럼(다채널) 이미지로부터 특징 벡터를 생성할 수 있다.
이미지는 분류 대상(데이터베이스화 대상) 및/또는 검색 대상 이미지일 수 있다. 검색 대상 이미지는 카메라(20)에서 촬영된 이미지일 수 있다. 분류 대상 이미지는 카메라(20)에서 촬영된 이미지 또는 다른 장치에서 촬영된 이미지일 수 있다.
멀티스텍트럼 이미지는 일반적인 가시광선 즉, RGB 광량 센서로부터 얻어진 이미지 뿐만 아니라, 비가시광선 센서로부터 얻어진 이미지를 포함할 수 있다. 비가시광선 센서는 근적외선(near infrared) 센서 또는/및 레드 에지(red edge) 센서를 구비할 수 있다.
식물 특히, 잎 등에 조사된 광의 반사 양상은 잎 표면의 성질과 내부 구조, 생화학 물질의 함량 등에 의해 달라질 수 있다. 따라서 반사된 빛을 분석하면 생물량 뿐만 아니라 식물의 생리적 상태도 추정할 수 있다. 비파괴 및 원격 탐지가 가능한 이러한 광학적 기법은 널리 사용되고 있다. 본 발명은 파장별 반사율에 따른 식물의 화학 조성, 생물량, 생리적 상태, 토양 상태 등의 식물 생장 특성을 감지하기 위해, 일반적인 가시광선 이외에 근적외선과 레드 에지 전자기파를 사용할 수 있다.
특징 벡터는 입력 이미지의 특징을 나타내는 값들을 성분으로 하는 것으로, 이미지의 분류 및/또는 검색시 사용될 수 있다. 비교 대상의 양 이미지의 특징 벡터가 동일하거나 성분들 중 일부가 동일하면, 양 이미지는 유사한 이미지로 판단할 수 있다.
일반적인 인덱싱 및 검색 방법들은 높은 유사성 정합을 줄 수 있는 강인한 특징 벡터를 찾는데 초점이 맞추어져 있다. 강인한 특징 벡터는 DB 설계의 어려움, 고사양의 컴퓨팅 자원(긴 검색 시간), 인덱싱의 설계 문제 등을 가지는 경우가 많다. 본 발명은 분류 및/또는 검색시 검색 트리의 깊이에 비례하는 질의 응답 시간을 가질 수 있도록 계층적 인덱스를 제공하는 특징 벡터를 이용한다. 본 특징 벡터를 기초로 유사하다고 판단된 이미지는 이미지 자체의 유사성 보다는 이미지가 나타내는 성격이 유사한 경우를 더 잘 판단할 수 있다. 이미지 성격은 이미지로부터 얻을 수 있는 정보로, 예를 들어, 농작물의 경우 병충해가 있는지 여부, 병충해가 있다면 어떤 병 혹은 어느 곤충에 의해 피해를 입고 있는지 즉시 결과를 알 수 있다. 이러한 이미지 성격은 촬영 대상의 특성, 예를 들어 앞서 언급한 식물 생장 특성을 나타낼 수 있다. 이러한 이미지 성격은 여러 가지 클래스로 분류되어 각 클래스를 대표하는 태그로 생성될 수 있다.
특징 벡터는 에너지 벡터 및 채도 벡터를 포함할 수 있다.
에너지 벡터는 이미지 또는 이미지 채널의 주요 에너지 팩터(키)를 성분으로 가질 수 있다. 에너지는 이미지(채널) 센서에 의한 신호의 세기와 비례할 수 있다. 에너지는 색공간 모델의 휘도에 대응될 수 있다. 즉, RGB 채널의 경우, 에너지는 휘도에 대응될 수 있다. 이미지의 단채널의 경우, 에너지는 그레이 레벨에 대응할 수 있다.
에너지 키는 여러 에너지 레벨 중 우세한 에너지 레벨을 의미할 수 있다. 즉, 에너지 키는 최다 빈도를 가지는 에너지 레벨일 수 있다. 자세한 설명은 후술한다.
채도 벡터는 이미지 또는 이미지 채널(RGB 채널)의 주요 채도 팩터(키)를 성분으로 가질 수 있다. 채도 키는 고채도 색상의 색상 라벨일 수 있다. 즉, 채도 키는 여러 색상 중 가장 높은 채도를 가지는 색상에 대응할 수 있다. 자세한 설명은 후술한다.
인덱싱 DB(35)는 특징 벡터의 적어도 일부 성분을 인덱스로 하여, 동일 또는 유사한 이미지들의 특성인 태그를 구비하는 이미지 그룹들을 구비할 수 있다. 이미지 그룹은 동일 또는 유사한 이미지들을 구비할 수 있다. 각각의 이미지 그룹은 별개의 태그를 구비할 수 있다.
본 실시예에서 동일 또는 유사한 이미지들의 유사 기준은 촬영 대상, 촬영 환경 등이 실질적으로 동일하거나 큰 차이가 없는 경우를 의미할 수 있다.
이하, 농작물의 병충해 여부 및 그 종류를 판단하는 경우를 상정하고 예시를 들며 설명한다.
촬영 대상은 동물, 식물, 건축물, 산, 강, 바다 등과 같이 카테고리화 될 수 있다. 촬영 대상의 카테고리화는 좀 더 세부적인 것이 바람직하다. 촬영 대상이 농작물인 경우, 농작물의 종류가 동일하거나 비슷한 작물들의 이미지들을 동일 이미지 그룹으로 설정하는 것이 바람직하다.
촬영 대상은 배경을 포함할 수 있다. 예를 들어, 촬영 대상이 유사하고 지면의 종류가 동종인 이미지를 동일한 이미지 그룹으로 분류하는 것이 바람직하다.
촬영 환경은 촬영 시기를 포함할 수 있다. 촬영 시기는 계절, 작물의 성장 정도, 촬영 시간대, 및 촬영 날씨 중 적어도 하나가 비슷한 이미지들을 동일한 이미지 그룹으로 분류하는 것이 바람직하다.
촬영 환경 중 조명 등에 따른 변수들은 보정될 수 있다. 이는 양자화 또는 히스토그램화할 때, 문턱값을 변경함으로써 실현될 수 있다. 구체적인 설명은 후술한다.
이미지 그룹의 태그는 인공 지능을 이용하거나 수동으로 생성될 수 있다.
인덱싱 DB(35)는 H-트리(Hierarchical-tree) 구조인 것이 바람직하다. 또는 인덱싱 DB(35)는 해시 탐색 구조일 수 있다.
인덱싱 DB(35)의 각 이미지 그룹은 촬영 대상의 상태를 나타내는 태그를 구비할 수 있다. 촬영 대상이 농작물인 경우, 태그는 농작물의 병충해 상태 여부, 병충해의 종류, 병충해의 진행 정도 등을 포함할 수 있다.
인덱싱 DB(35)의 이미지 그룹은 인덱스 검색에 의한 검색 트리 중 말단 노드(데이터)일 수 있다. 말단 노드는 태그 정보를 구비할 수 있다. 이미지 그룹은 저장 용량 관리 측면에서 이미지를 제외할 수 있다. 이 경우, 인덱스 트리의 말단에 이미지 그룹의 아이디가 배치되고, 이미지 그룹 아이디는 태그 정보를 구비할 수 있다.
특징 벡터 생성부(120)는 (멀티스펙트럼) 에너지 벡터 생성 모듈(122) 및 채도 벡터 생성 모듈(124)을 구비할 수 있다.
에너지 벡터 생성 모듈(122)은 에너지 키를 성분으로 하는 에너지 벡터를 생성할 수 있다.
에너지 벡터 생성 모듈(122)은 다채널 이미지 중 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 에너지 값에 대한 픽셀수를 히스토그램화하여 최대 빈도 계급의 라벨을 성분으로 하는 에너지 벡터를 생성할 수 있다.
에너지 벡터 생성 모듈(122)은 다채널 이미지의 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 양자화된 에너지 레벨 중 최우세 에너지 레벨을 성분으로 에너지 벡터를 생성할 수 있다.
다채널 이미지의 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 양자화된 휘도 에너지 레벨 중 최우세 휘도 에너지 레벨인 휘도 에너지 키를 성분으로 하는 에너지 벡터를 생성할 수 있다.
에너지 벡터 생성 모듈(122)은 단채널 이미지를 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역에 대해 적어도 상기 휘도에 대응하는 에너지값에 대한 픽셀수를 히스토그램화하여 최대 도수를 가지는 계급의 고유 넘버를 성분으로 하는 에너지 벡터를 생성할 수 있다.
에너지 벡터 생성 모듈(122)는 이미지 또는 채널을 웨이블릿(wavelet) 변환하여 복수의 서브밴드 영역을 취득할 수 있다. 웨이블릿 변환은 DWT(Discrete Wavelet Transform) 변환인 것이 바람직하다. DWT 변환시 웨이블릿 변환함수는 적절히 사용될 수 있다.
도 3를 참조하면, 에너지 벡터 생성 모듈(122)는 어느 한 이미지 채널을 웨이블릿 변환하여 다해상도의 서브밴드 영역들(R0~R6)을 취득할 수 있다. 본 실시예는 웨이블릿 변환을 2단계로 한 것을 나타낸다.
도 4 및 도 5을 참조하면, 에너지 벡터 생성 모듈(122)는 각 웨이블릿 서브밴드 영역 중 적어도 하나의 영역에 대한 전체 에너지 값을 구하여 에너지 히스토그램을 생성할 수 있다. 에너지는 앞서 서술한 HSV 모델의 휘도(RGB 채널)에 대응하는 에너지일 수 있다.
에너지 키는 각 채널별로 생성될 수 있지만, 모든 채널에 대해서도 생성될 수 있다. 즉, 에너지는 RGB 광의 휘도 뿐만 아니라, 다양한 파장에 대한 멀티스펙트럼 에너지 일 수 있다. 예를 들어, 멀티스펙트럼 에너지는 가시광선 뿐만 아니라 근적외선 및 레드 에지 파장에 대한 계조 값에 대응할 수 있다.
에너지 키가 채널 별로 생성되지 않고, 모든 채널에 대해 생성될 때, 에너지는 각 채널(센서)의 특정 평균값을 가질 수 있다. 에너지 값에 대한 평균 추출 전에 각 센서 값은 정규화되는 것이 바람직하다.
에너지 평균은 다양한 평균 방식 중 특정 방식으로 계산될 수 있다. 에너지 평균은, 구하려는 영역의 각 픽셀의 Ir(R의 계조), Ig(G의 계조), Ib(B의 계조), Ii(근적외선의 계조), Ie(레드 에지의 계조)의 산술평균, 기하평균, 조화평균, 및 이차평균(root mean square) 중 어느 하나일 수 있다.
에너지가 각 계조의 산술평균일 경우, HSV에서의 휘도와 근적외선 및 레드 에지의 계조에 각각 가중치를 곱한 값들의 합일 수 있다. 가중치는 특징 벡터에 따른 유사 이미지를 검색할 때, 보정치일 수 있다. 카메라 생산 회사 또는 그 출시 모델에 따라 촬영 센서나 이미지 처리 알고리즘이 달라질 수 있으며, 이는 촬영 이미지에 차이가 발생할 수 있다. 이러한 차이를 줄이거나, 이미지의 성격을 잘 나타낼 수 있는 값으로 보정하는 것이 바람직하며, 이는 앞서 설명한 가중치로 반영될 수 있다.
에너지 벡터 생성 모듈(122)은 서브 밴드 영역의 에너지 값에 대한 픽셀수를 도수로 하는 히스토그램을 생성할 수 있다. 도 4를 참조하면, 가로축은 멀티스펙트럼 휘도 에너지값을 세로는 픽셀수를 나타낸다.
에너지 분포에 대한 히스토그램화는 에너지 준위를 특정 레벨들로 양자화하는 일례일 수 있다.
최대 도수(빈도)를 가지는 히스토그램 계급의 라벨은 최고 우세한 에너지 레벨과 대응할 수 있다. 히스토그램 계급의 라벨은 각 계급의 고유값 또는 명칭으로, 계급 순서대로 자연수를 연관 시킬 수 있다.
히스토그램의 계급(bin) 개수는 기설정된 개수인 것이 바람직하다. 본 실시예에서 계급 개수는 12개로 설정하였으나, 이에 한정되지 않는다.
히스토그램의 계급의 최대값은 기설정된 정책에 따라 변할 수 있다. 최대값 정책은 다양할 수 있다. 예를 들어, 에너지 벡터 생성 모듈(122)은 최대 에너지값을 계급 최대값으로 설정하거나, 특정 값을 최대값으로 고정할 수 있다. 이미지 유사도를 높이기 위해, 노이즈에 해당하는 에너지값을 제외한 값을 계급의 최대값으로 설정하는 것이 바람직하다.
최대값을 초과하는 픽셀의 에너지는 설정에 따라 가장 우측 계급에 포함시키거나 히스토그램의 도수에 제외할 수 있다. 노이즈 제거 측면에서 초과값을 가지는 픽셀은 도수에서 제외하는 것이 바람직하다.
에너지 벡터 생성 모듈(122)은 각 계급에 고유 넘버를 할당할 수 있다. 에너지 벡터 생성 모듈(122)은 최대 도수를 가지는 계급의 고유 넘버를 에너지 키로 결정할 수 있다. 에너지 벡터 생성 모듈(122)은 복수의 서브 밴드 영역 별로 에너지 키를 추출하고, 추출된 에너지 키를 성분으로 하는 에너지 키 벡터를 생성할 수 있다. 에너지 키 벡터의 성분은 기설정된 배열 순서를 가지는 것이 바람직하다. 본 실시예에서, 에너지 키 벡터 성분 순서는 저해상도 영역 0,1,2,3 및 고해상도의 영역 4,5,6 순서를 가진다. 에너지 키 벡터의 성분은 모든 서브 밴드 영역의 에너지 키 중 일부만 취할 수 있다. 이 경우, 배열 순서를 영역 순서와 대응되도록 하는 것이, 유사 판단의 정확성을 높일 수 있다.
채도 벡터 생성 모듈(124)은 채도 키를 성분으로 하는 채도 벡터를 생성할 수 있다.
채도 벡터 생성 모듈(124)은 다채널 이미지의 어느 한 채널을 다단계로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 색상 중 고채도 색상의 라벨을 성분으로 하는 채도 벡터를 생성할 수 있다.
채도 벡터 생성 모듈(124)은 이미지 채널을, 특히 RGB 채널을 단계별로 공간 분할하여 복수의 공간 영역을 취득할 수 있다. 도 6은, 채도 벡터 생성 모듈(124)이 이미지를 2 단계로 공간 분할한 것을 도시한다. 제일 왼쪽의 영역 1은 수준 1이고, 수준 2의 공간 영역은 2~5이고, 수준 3의 공간 영역은 6~21이다.
도 8을 참조하면, 채도 벡터 생성 모듈(124)은 복수의 공간 영역(1~21) 중 적어도 하나의 공간 영역에 대한 색상 히스트그램을 계산하여, 가장 높은 채도를 가지는 색상(최고 빈도의 색상)의 식별자를 채도 키를 설정할 수 있다. 즉, 채도 벡터 생성 모듈(124)은 각 영역의 고채도 색상 식별자를 추출할 수 있다. 본 히스토그램에서 빈(BIN)은 색상 식별자와 대응할 수 있다. 히스토그램 계산시 도 7의 컬러 휠을 이용하여 픽셀의 색상을 색상군으로 양자화할 수 있다. 채도 벡터 생성 모듈(124)은 추출된 고채도 색상 식별자를 이용하여, 채도 키 벡터를 생성할 수 있다. 채도 키 벡터의 성분 순서는 영역 번호 순인 것이 바람직하다.
색공간 모델 변환부(110)는 양자화된 컬러 휠(wheel)을 구비할 수 있다. 도 7에 도시된 컬러 휠은 일례로, 12개의 대표 색상들의 색상군으로 구성되어 있다. 컬러 휠은 본 도에 한정되지 않고, 다른 대표 색상 및/또는 다른 개수의 대표 색상들의 색상군으로 구성될 수 있다.
도 7을 참조하면, 칼라 휠의 대표 색상들은 색상 식별자(1~12)로 대표될 수 있다.
색공간 모델 변환부(110)는 컬러 휠의 양자화 레벨을 조절할 수 있다. 다양한 조명하에서 색상은 다르게 표현될 수 있다. 이에, 색공간 모델 변환부(110)는 픽셀 색상 데이터의 양자화 레벨을 조절하고 색상군의 색상을 색상 식별자로 대체하여, 조명에 따른 색상 차이를 극복할 수 있다. 색공간 모델 변환부(110)는 촬영 당시의 시간대나 날씨를 기초로 조명값을 산출할 수 있다. 색공간 모델 변환부(110)는 기준 조명값과 산출된 조명값과의 차이를 기초로, 색상의 양자화 레벨을 조절할 수 있다. 예를 들어, 기준 조명값 보다 산출된 조명값이 더 밝으면, 양자화되기 전의 컬러 휠의 경계선(양자화 레벨)을 시계 방향으로 더 옮기는 등의 작업으로 양자화 레벨을 조절할 수 있다.
맵 생성부(140)는 에너지 키 벡터들 및 채도 키 벡터들을 이용하여 휘도 에너지 키 맵 및 채도 에너지 키 맵을 도 9 및 도 10과 같이 생성할 수 있다. 공간 영역(C0~C20(공간 영역 1~21에 대응함)) 및 서브 밴드 영역(R0~R6)의 모든 영역에 대해 도시하였지만, 이에 한정되지 않고 일부 성분만을 테이블로 생성할 수도 있다.
본 실시예에서, 휘도 및 에너지 키 맵의 각 테이블 행의 개수는 인덱싱 DB(35)의 이미지 개수(N)에 대응할 수 있다. 아울러, 각 맵의 동일행은 서로 대응되는 것이 바람직하다.
맵 생성부(140)는 도 9 및 도 10의 휘도 및 채도 에너지 키 맵의 일부 성분들을 제거하고, 서로 연관되도록 할 수 있다.
도 11을 참조하면, 맵 생성부(140)는 공간 영역 1 및 2를 1차 인덱싱 검색 구조로, 서브밴드 영역 0(R0)을 2차 인덱싱 검색 구조로 구축할 수 있다.
맵 생성부(140)는 이미지들을 유사한 그룹으로 분류하고, 유사한 이미지 그룹(Gi_k)의 태그를 인공 지능을 이용하여 생성할 수 있다. 이에 대한 자세한 설명은 후술한다.
제어부(10)는 질의 응답부(150)를 더 포함할 수 있다.
질의 응답부(150)는 검색 대상 이미지의 휘도 및 채도 키 벡터의 일부 성분과 동일한 성분을 가지는 인덱싱 DB(35)의 이미지를 유사한 이미지로 결정할 수 있다.
질의 응답부(150)는 검색 대상 이미지의 휘도 및 채도 키 벡터를 추출하거나, 각 벡터의 일부 성분(본 예에서는 채도 키 벡터의 첫번째와 두번째 성분, 및 에너지 키 벡터의 첫번째 성분)을 추출한 후, 일부 성분으로 인덱스 검색할 수 있다. 1차 및 2차 인덱싱 각각의 계층 깊이는 달리 할 수 있다. 질의 응답부(150)는 계층 구조의 최종단에 연관된 태그를 추출할 수 있다.
본 실시예에서 영상 분류 및 검색 장치를 하나의 장치로 예시하지만 이에 한정되지 않는다. 예를 들어, 단말기와 서버 시스템으로 구성되어, 단말기에서 촬상한 이미지의 특징 벡터를 서버로 보낼 수 있다.
또한 카메라(20)는 드론(무인기) 등에 설치되어, 드론 프랫폼과의 무선 통신을 통해, 제어부(10)로 이미지를 전송할 수 있다. 카메라(20)는 인공위성에 탑재될 수도 있다.
도 12는 본 발명의 일실시예에 따른 영상 검색 방법의 순서도이고, 도 13 및 도 14는 도 12의 특징 벡터 생성 방법 중 에너지 벡터 및 채도 벡터 생성 방법의 순서도이고, 도 15는 도 12의 인덱싱 데이터베이스화 방법의 순서도이다. 도 1 내지 도 11을 참조한다.
도 12를 참조하면, 본 발명에 따른 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치는 카메라(20)에서 취득한 이미지 또는 데이터베이스화할 다채널 이미지를 입력 받을 수 있다(S310).
색공간 모델 변환부(110)은 이미지의 특정 채널(RGB 채널)의 색공간 모델을 변환할 수 있다(S315). 색공간 모델은 HSV인 것이 바람직하다.
특징 벡터 생성부(120)는 입력 이미지로부터 특징 벡터를 생성할 수 있다(S320). 특징 벡터는 에너지 벡터와 채도 벡터를 구비할 수 있다.
도 13을 참조하면, 에너지 벡터 생성 모듈(122)은 입력 이미지의 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득할 수 있다(S410).
에너지 벡터 생성 모듈(122)은 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역에 대한 에너지 키를 추출할 수 있다(S415). 에너지 키는 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 양자화된 에너지 레벨 중 최우세 에너지 레벨일 수 있다.
에너지 벡터 생성 모듈(122)은 추출된 에너지 키를 성분으로 하는 에너지 벡터를 생성할 수 있다(S420).
도 14를 참조하면, 채도 벡터 생성 모듈(124)은 색공간 모델 변환된 이미지(HSV 이미지)에 대한 색상 값을 양자화할 수 있다. 채도 벡터 생성 모듈(124)은 색상 양자화의 기준이 되는 색상 양자화 레벨을 조정할 수 있다(S460). 조정 기준은 촬영시의 조명에 연관될 수 있다.
채도 벡터 생성 모듈(124)은 HSV 이미지를 단계별로 공간 분할하여 복수의 공간 영역을 취득할 수 있다(S465).
채도 벡터 생성 모듈(124)은 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 고채도 색상인 색상 키를 추출할 수 있다(S470).
채도 벡터 생성 모듈(124)은 색상 키를 성분으로 하는 채도 벡터를 생성할 수 있다(S475).
도 12를 참조하면, 특징 벡터 생성부(120)는 입력 이미지가 검색용이면 질의 응답부(150)에 특징 벡터를 전달하고, 그렇지 않으면 맵 생성부(140)에 특징 벡터를 전달할 수 있다(S330).
맵 생성부(140)는 특징 벡터 생성부(120)부로부터 전달 받은 특징 벡터를 인덱스 검색용으로 데이터베이스화할 수 있다(S350).
맵 생성부(140)는 이미지 DB에 이미지 특성인 클래스 별로 분류하여 태그를 생성하여 이미지 그룹에 태그를 연관시킬 수 있다(S355).
도 15를 참조하면, 맵 생성부(140)는 인덱스의 레벨 깊이를 설정하고 이를 구축하여, 입력 이미지의 특징 벡터를 인덱스 레벨에 대응하도록 매핑할 수 있다(S510). 특징 벡터의 성분 모두를 사용하면 시간 및 하드웨어 자원 소비가 과다할 수 있기 때문에, 검색 대상을 줄이는 것이 바람직하다.
맵 생성부(140)는 특징 벡터를 이용하여 입력 이미지와 유사한 이미지의 인덱싱 DB(이미지 그룹)가 있는지 판단할 수 있다(S520). 맵 생성부(140)는 특징 벡터와 동일한 인덱스를 가지는 인덱스 DB가 있으면 해당 인덱스 DB에 레코드를 추가하고, 유사한 이미지 그룹이 없는 경우 인덱스 DB를 새로 생성할 수 있다.
유사한 이미지들로부터 원하는 클래스를 구분할 필요가 있다. 예를 들어, 농작물의 상태가 건강한 이미지, 병충해 입은 이미지, 기타 미분류 이미지 등으로 분류할 필요가 있다. 이를 위해, 완전 연결신경망과 소프트맥스(softmax) 분류기(classifier), 인공지능 모델을 설계하고 재학습을 통하여 타겟 분류기의 학습모델을 세부 조정할 수 있다. 사전에 훈련된 컨볼루션 신경망(Convolution Neural Network)과 타켓 영상에 재학습된 softmax 분류기는 각 클래스 라벨에 속하는 영상에 대한 확률값을 제공할 수 있다.
맵 생성부(140)는 이미지의 상태를 분류하기 위해 전이 학습 모델을 적용할 수 있다. 전이 학습은 사전 학습 된 네트워크에서 제공하는 모델 파라미터를를 사용하여 새로운 데이터 셋내의 새로운 패턴을 학습하는 작업이다. 전이 학습을 통해 사전 네트워크를 미세 조정하는 것은 일반적으로 처음부터 학습과정을 거치는 것보다 훨씬 빠르며 쉽다.
도 16을 참조하면, 작물의 상태(class)를 분류하기 위해 사전에 학습된 딥러닝 모델(AlexNet, VGG16, ResNet 혹은 Inception V3 등)의 일부를 사용할 수 있다. 사용되어지는 특징 파라미터는 C1-C2-C3-C4-C5 (컨볼루션 레이어 그룹)와 FC6-FC7 (완전연결 레이어 그룹)로부터 얻어질 수 있다.
맵 생성부(140)는 소스 훈련용 이미지의 특징을 분류하는 사전 학습된 딥러닝 모델을 도입할 수 있다(S530). 미리 훈련 된 딥 네트워크를 사용하면 수백만 개의 이미지 또는 긴 교육 시간을 가진 새로운 네트워크를 정의하고 학습하지 않고도 새로운 작업(task)을 빠르게 학습시킬 수 있다. 예를 들어, 드론으로 촬영된 멀티스펙트럼 농작물 데이터를 사용하여 사전 네트워크를 세밀하게 조정하거나 사전 계획된 네트워크으로부터 학습된 특징을 추출 할 수도 있다.
도 16의 맨 마지막 FC8 완전연결 레이어는 모델에서 제거되고 학습된 딥러닝 파라미터를 저장하고 새롭게 설계할 분류기의 학습 모델로 불러와 사용될 수 있다. 이 때 FCa-FCb 완전연결 레이어는 새롭게 타겟 이미지에 맞춰 분류기를 재학습하도록 설계될 수 있다.
맵 생성부(140)는 상기 사전 학습된 딥러닝 모델의 특징점이 전이되고 일부가 변형된 전이 모델을 생성할 수 있다(S540). 학습된 특징을 사용하여 분류기를 재학습시키고 이 분류기를 작물의 건강 상태를 파악하는 분류기로 사용할 수 있다.
맵 생성부(140)는 전이 모델에 타겟 훈련용 이미지 데이터 셋으로 재학습시켜, 촬영 대상의 상태를 클래스 별로 분류할 수 있다(S540).
도 16 및 도 17을 참조하면, 타겟 데이터 셋에 맞춘 분류기를 재학습하여 모델을 부분적으로 튜닝이 이루어 질 수 있다. 사전 학습된 네트워크는 3개의 클래스를 인식하도록 FC8 레이어가 수정되었다. 실제로 전이학습을 위해 새로 설계할 부분은 FCa-FCb-Softmax-Output layer로 구성된다.
맵 생성부(140)는 각 클래스를 인덱싱된 이미지 그룹에 태그로 연결할 수 있다(S550).
질의 응답부(150)는 특징 벡터 생성부(120)부로부터 전달 받은 특징 벡터의 적어도 일부 성분을 인덱스로 하여, 인덱싱 DB(35)에 질의할 수 있다(S340). 질의 응답부(150)는 인덱싱 DB(35)으로붙 해당 질의에 대응하는 태그를 취득할 수 있다(S345).
도 18은 본 발명의 다른 실시예에 따른 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 시스템의 블럭 구성도이다. 도 1 내지 도 17을 참조한다.
도 18을 참조하면, 영상 검색 시스템은 단말기(4) 및 서버(5)를 포함할 수 있다.
단말기(4)는 통신부(490), 단말기 제어부(400), 및 카메라(42)를 구비할 수 있다. 단말기는 휴대용 컴퓨터, 스마트폰, 개인 컴퓨터 등일 수 있다. 본 단말기(4)는 이동할 수 있는 것이 바람직한데, PC의 경우 자동차 등에 배치되어 이동될 수 있다. 단말기(4)는 드론 또는 드론 프랫폼일 수 있다.
통신부(490)는 서버(5)와 통신할 수 있다. 통신부(490)는 서버(5)로 특징 벡터 또는 특징 벡터의 일부를 전송하고, 서버(5)로부터 전송한 특징 벡터 또는 그 일부에 대응하는 태그를 수신할 수 있다.
카메라(42)는 도 1의 카메라(20)에 대응될 수 있다. 카메라(42)는 별도 드론에 부착되어 있을 수 있다. 이 경우, 단말기(4)는 통신부(490)을 통해 드론에서 촬영된 영상을 수신할 수 있다.
단말기 제어부(400)는 촬영한 영상의 색공간 모델을 변환하는 색공간 모델 변환부(410), 및 색공간 모델 변환된 이미지로부터 특징 벡터를 추출하는 특징 벡터 생성부(420)을 구비할 수 있다. 색공간 모델 변환부(410) 및 특징 벡터 생성부(420)는 도 1의 색공간 모델 변환부(110) 및 특징 벡터 생성부(120)와 대응될 수 있다. 단말기 제어부(400)는 추출한 특징 벡터를 서버(5)로 통신부(490)를 통해 송신할 수 있다. 단말기 제어부(400)는 서버(5)으로부터 송신한 특징 벡터에 대응하는 태그를 수신할 수 있다.
특징 벡터는 이미지의 특징을 대표하는 값으로, 에너지 벡터 및 채도 벡터를 포함할 수 있다. 에너지 벡터는 상기 이미지를 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역에 대한 고휘도 색상을 추출하여, 상기 추출된 고휘도 색상과 대응하는 값을 성분으로 할 수 있다. 채도 벡터는 상기 이미지를 레벨별로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 고채도 색상을 추출하여, 상기 추출된 고채도 색상과 대응하는 값을 성분으로 할 수 있다.
서버(5)는 서버 통신부(590), 제어부(500), 및 인덱싱 DB(535)를 포함할 수 있다.
서버 통신부(590)는 단말기(4)와 데이터를 주고 받을 수 있다.
인덱싱 DB(535)는 유사한 이미지들의 특징 벡터를 기초로 인덱스 검색이 가능하도록 되어 있는 데이터베이스이다. 도 1의 인덱싱 DB(35)에 대응될 수 있다.
서버 제어부(500)는 색공간 모델 변환부(510), 특징 벡터 생성부(520), 맵 생성부(540), 및 질의 응답부(550)를 구비할 수 있다. 각 구성요소는 도 1의 색공간 모델 변환부(110), 특징 벡터 생성부(120), 맵 생성부(140), 및 질의 응답부(150)에 각각 대응될 수 있다. 본 실시예에서 특징 벡터 생성부(520)는 생성한 특징 벡터를 맵 생성부(540)로만 전송한다. 질의 응답부(550)는 서버 통신부(590)을 통해 카메라(420)에서 촬영한 이미지의 특징 벡터를 단말기(4)로부터 수신할 수 있다.
맵 생성부(540)는 상기 특징 벡터를 인덱스로 하는 인덱싱 DB(535)를 생성할 수 있다. 맵 생성부(540)는 인덱싱 DB(535)의 최종단, 즉 유사한 이미지들에 대한 특징인 태그를 연관시킬 수 있다.
통신부(590)는 단말기(4)로부터 검색 대상 이미지의 특징 벡터의 적어도 일부를 수신할 수 있다.
질의 응답부(550)는 상기 검색 대상 이미지의 특징 벡터의 적어도 일부를 이용하여, 상기 검색 대상 이미지의 특성인 태그를 취득할 수 있다. 통신부(590)은 단말기(4)로 상기 태그를 전송할 수 있다.
상기 본 발명은 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 상기 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 즉, 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 매체를 포함한다. 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터가 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈, 및 기타 데이터 등 정보 저장을 위한 임의의 방법 또는 기술로서 구현된 모든 저장 가능한 매체를 포함하는 것으로, 휘발성/비휘발성/하이브리드형 메모리 여부, 분리형/비분리형 여부 등에 한정되지 않는다. 통신 저장 매체 는 반송파와 같은 변조된 데이터 신호 또는 전송 메커니즘, 임의의 정보 전달 매체 등을 포함한다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
10: 제어부 20: 카메라
30: 저장부 35: 인덱싱 DB
110: 색공간 모델 변환부 120: 특징 벡터 생성부
122: 에너지 벡터 생성 모듈 124: 채도 벡터 생성 모듈
140: 맵 생성부 150: 질의 응답부
30: 저장부 35: 인덱싱 DB
110: 색공간 모델 변환부 120: 특징 벡터 생성부
122: 에너지 벡터 생성 모듈 124: 채도 벡터 생성 모듈
140: 맵 생성부 150: 질의 응답부
Claims (7)
- 다채널 이미지 중 어느 한 채널을 색상, 채도, 및 휘도의 색공간 모델로 변환하는 색공간 모델 변환부;
상기 이미지 중 적어도 한 채널을 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역의 에너지 값에 대한 픽셀수를 히스토그램화하여 최대 빈도 계급의 라벨을 성분으로 하는 에너지 벡터를 생성하는 에너지 벡터 생성 모듈; 및
상기 이미지의 어느 한 채널을 다단계로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 색상 중 고채도 색상의 라벨을 성분으로 하는 채도 벡터를 생성하는 채도 벡터 생성 모듈을 포함하고,
상기 복수의 서브밴드 영역은 상기 웨이블릿 변환을 2단계로 한 다해상도의 영역들이고,
상기 에너지 벡터의 성분 배열 순서는 기설정된 상기 복수의 서브밴드의 배열 순서와 동일하고,
상기 공간 분할 단계는 2단계이고,
상기 복수의 공간 영역은 공간 분할하지 않은 수준 1의 공간 영역 1, 1단계로 공간 분할한 수준 2의 공간 영역 2 내지 5, 및 2단계로 공간 분할한 수준 3의 공간 영역 6 내지 21로 구성되고,
상기 채도 벡터의 성분 배열 순서는 기설정된 상기 복수의 공간 영역의 배열 순서와 동일한, 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치. - 제 1 항에 있어서,
에너지 레벨를 정하는 에너지 값은 HSV 모델에서의 휘도, 근적외선의 계조, 및 레드 에지의 계조에 각각 가중치를 곱한 값들의 합이고,
상기 양자화된 에너지 레벨의 개수는 기설정된 개수이고,
최우세 에너지 레벨은 상기 서브밴드 영역의 에너지 값에 대한 픽셀수를 히스토그램화하여 최대 도수를 가지는 계급의 라벨이고,
상기 계급의 최대값은 기설정된 정책에 따라 변화되고, 상기 계급의 상기 최대값을 초과하는 에너지 값을 가지는 픽셀은 도수에서 제외되고,
상기 양자화된 색상의 양자화 기준이 되는 레벨은 조명에 따라 변화되어 양자화 레벨이 조절되고,
상기 양자화 레벨 조절은 촬영 당시의 시간대나 날씨를 기초로 산출된 조명값과 기준 조명값을 차이를 기초로 조절되는, 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치. - 제 1 항에 있어서,
상기 에너지 벡터 생성 모듈 및 상기 채도 벡터 생성 모듈을 구비하는 특징 벡터 생성부를 더 포함하고
상기 특징 벡터 생성부는 상기 에너지 벡터 및 상기 채도 벡터의 적어도 일부 성분으로부터 특징 벡터를 생성하고,
상기 특징 벡터는 유사 이미지의 판단 기준이고,
상기 특징 벡터의 성분을 인덱스로 하여, 유사한 이미지들의 특성인 태그를 기술하는 인덱싱 DB를 더 포함하는, 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치. - 제 3 항에 있어서,
상기 특징 벡터의 성분을 인덱스로 하여 상기 인덱싱 DB에 질의하여 상기 태그를 취득하는 질의 응답부를 더 포함하는, 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치. - 제 1 항에 있어서,
상기 다채널 이미지는 촬영 대상을 촬영하여 멀티 스펙트럼 영상인 다채널 이미지를 취득하는 카메라를 구비하는 드론 플랫폼으로부터 수신한 것인, 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치. - 촬영 대상을 촬영하는 카메라;
상기 촬영된 이미지의 색공간 모델을 변환하는 색공간 모델 변환부;
상기 변환된 이미지로부터 특징 벡터를 생성하는 특징 벡터 생성부;
서버와 통신하며, 상기 특징 벡터를 상기 서버로 전송하고, 상기 서버로부터 상기 이미지의 특성인 태그를 수신하는 통신부를 포함하고,
상기 특징 벡터 생성부의 특징 벡터는 에너지 벡터 및 채도 벡터의 적어도 일부 성분을 기초로 생성되고,
상기 에너지 벡터는 상기 이미지를 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역에 대해 적어도 휘도에 대응하는 에너지값에 대한 픽셀수를 히스토그램화하여 최대 도수를 가지는 계급의 고유 넘버를 성분으로 하고,
상기 채도 벡터는 상기 이미지를 다단계로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 고채도 색상을 추출하여, 상기 추출된 고채도 색상과 대응하는 고유 넘버를 성분으로 하고,
상기 복수의 서브밴드 영역은 상기 웨이블릿 변환을 2단계로 한 다해상도의 영역들이고,
상기 에너지 벡터의 성분 배열 순서는 기설정된 상기 복수의 서브밴드의 배열 순서와 동일하고,
상기 공간 분할 단계는 2단계이고,
상기 복수의 공간 영역은 공간 분할하지 않은 수준 1의 공간 영역 1, 1단계로 공간 분할한 수준 2의 공간 영역 2 내지 5, 및 2단계로 공간 분할한 수준 3의 공간 영역 6 내지 21로 구성되고,
상기 채도 벡터의 성분 배열 순서는 기설정된 상기 복수의 공간 영역의 배열 순서와 동일한, 단말기. - 데이터베이스화할 이미지의 색공간 모델을 변환하는 색공간 모델 변환부;
상기 변환된 이미지로부터 특징 벡터를 생성하는 특징 벡터 생성부;
상기 특징 벡터를 인덱스로 하는 인덱싱 DB를 생성하는 맵 생성부;
단말기로부터 검색 대상 이미지의 특징 벡터의 적어도 일부를 수신하는 통신부; 및
상기 검색 대상 이미지의 특징 벡터의 적어도 일부를 이용하여, 상기 검색 대상 이미지의 특성인 태그를 취득하여, 상기 통신부를 통해 상기 단말기로 상기 태그가 전송되도록 하는 질의 응답부를 포함하고,
상기 특징 벡터 생성부의 특징 벡터는 에너지 벡터 및 채도 벡터의 적어도 일부 성분을 기초로 생성되고,
상기 에너지 벡터는 상기 이미지를 웨이블릿 변환하여 복수의 서브밴드 영역을 취득하고, 상기 복수의 서브밴드 영역 중 적어도 하나의 서브밴드 영역에 대해 적어도 휘도에 대응하는 에너지값에 대한 픽셀수를 히스토그램화하여 최대 도수를 가지는 계급의 고유 넘버를 성분으로 하고,
상기 채도 벡터는 상기 이미지를 다단계로 공간 분할하여 복수의 공간 영역을 취득하고, 상기 복수의 공간 영역 중 적어도 하나의 공간 영역에 대한 양자화된 고채도 색상을 추출하여, 상기 추출된 고채도 색상과 대응하는 고유 넘버를 성분으로 하고,
상기 복수의 서브밴드 영역은 상기 웨이블릿 변환을 2단계로 한 다해상도의 영역들이고,
상기 에너지 벡터의 성분 배열 순서는 기설정된 상기 복수의 서브밴드의 배열 순서와 동일하고,
상기 공간 분할 단계는 2단계이고,
상기 복수의 공간 영역은 공간 분할하지 않은 수준 1의 공간 영역 1, 1단계로 공간 분할한 수준 2의 공간 영역 2 내지 5, 및 2단계로 공간 분할한 수준 3의 공간 영역 6 내지 21로 구성되고,
상기 채도 벡터의 성분 배열 순서는 기설정된 상기 복수의 공간 영역의 배열 순서와 동일한, 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180025960A KR102104314B1 (ko) | 2018-03-05 | 2018-03-05 | 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180025960A KR102104314B1 (ko) | 2018-03-05 | 2018-03-05 | 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190105424A KR20190105424A (ko) | 2019-09-17 |
| KR102104314B1 true KR102104314B1 (ko) | 2020-05-29 |
Family
ID=68070260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180025960A KR102104314B1 (ko) | 2018-03-05 | 2018-03-05 | 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102104314B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102372583B1 (ko) * | 2019-11-28 | 2022-03-10 | 하이코두주식회사 | 인공지능 수업모형 검증에 기반한 코딩 강의 등록 방법, 장치 및 컴퓨터 프로그램 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013196681A (ja) * | 2012-03-20 | 2013-09-30 | Nec (China) Co Ltd | 色特徴を抽出するための方法および装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100916136B1 (ko) * | 2007-01-24 | 2009-09-08 | 중앙대학교 산학협력단 | 실시간 이미지 검색 기능을 이용한 지능형 감시 방법 및시스템 |
| KR20130001760A (ko) * | 2011-06-28 | 2013-01-07 | 삼성탈레스 주식회사 | 가변 블록을 이용한 감독 기법 기반의 지형 인지 방법 |
-
2018
- 2018-03-05 KR KR1020180025960A patent/KR102104314B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013196681A (ja) * | 2012-03-20 | 2013-09-30 | Nec (China) Co Ltd | 色特徴を抽出するための方法および装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190105424A (ko) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tu et al. | Detection of passion fruits and maturity classification using Red-Green-Blue Depth images | |
| Dev et al. | Color-based segmentation of sky/cloud images from ground-based cameras | |
| CN113449680B (zh) | 一种基于知识蒸馏的多模小目标检测方法 | |
| US10977494B2 (en) | Recognition of weed in a natural environment | |
| Li et al. | Immature green citrus fruit detection and counting based on fast normalized cross correlation (FNCC) using natural outdoor colour images | |
| US9805293B2 (en) | Method and apparatus for object recognition in image processing | |
| Murugan et al. | Fusion of drone and satellite data for precision agriculture monitoring | |
| CN109063754B (zh) | 一种基于OpenStreetMap的遥感影像多特征联合分类方法 | |
| CN107346434A (zh) | 一种基于多特征及支持向量机的植物病虫害检测方法 | |
| RU2018143340A (ru) | Распознавание сорняка в естественной среде | |
| Liu et al. | The method of insulator recognition based on deep learning | |
| Liu et al. | Identifying immature and mature pomelo fruits in trees by elliptical model fitting in the Cr–Cb color space | |
| Rao et al. | Automatic auroral detection in color all-sky camera images | |
| NL2025810A (en) | Method for classifying and evaluating nitrogen content level of brassica rapa subsp. oleifera (brsro) canopy | |
| CN113850312A (zh) | 森林生态状况的监测方法、装置、电子设备及存储介质 | |
| CN116157805A (zh) | 利用神经嵌入的相机图像或视频处理流水线 | |
| CN115294404A (zh) | 一种基于随机森林算法的底栖动物高光谱数据分类方法 | |
| KR102104314B1 (ko) | 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치 | |
| Kellenberger et al. | Deep domain adaptation in earth observation | |
| KR102104312B1 (ko) | 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치 | |
| Xiangshu et al. | Urban individual tree crown detection research using multispectral image dimensionality reduction with deep learning | |
| Xu et al. | Detecting white cotton bolls using high-resolution aerial imagery acquired through unmanned aerial system | |
| CN116543325A (zh) | 基于无人机影像的农作物人工智能自动识别方法和系统 | |
| Victoriano et al. | Automated detection and identification of olive fruit fly using yolov7 algorithm | |
| Amemiya et al. | Appropriate grape color estimation based on metric learning for judging harvest timing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |