KR20220070718A - 영상 분석 기반의 위장 무늬 평가 시스템 및 그 방법 - Google Patents
영상 분석 기반의 위장 무늬 평가 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR20220070718A KR20220070718A KR1020200157570A KR20200157570A KR20220070718A KR 20220070718 A KR20220070718 A KR 20220070718A KR 1020200157570 A KR1020200157570 A KR 1020200157570A KR 20200157570 A KR20200157570 A KR 20200157570A KR 20220070718 A KR20220070718 A KR 20220070718A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- camouflage
- camouflage pattern
- similarity
- operational environment
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000010191 image analysis Methods 0.000 title claims abstract description 28
- 238000004891 communication Methods 0.000 claims abstract description 28
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 17
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims abstract description 4
- 238000004458 analytical method Methods 0.000 claims description 34
- 238000013135 deep learning Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 1
- 229910052698 phosphorus Inorganic materials 0.000 claims 1
- 239000011574 phosphorus Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004456 color vision Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41H—ARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
- F41H3/00—Camouflage, i.e. means or methods for concealment or disguise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Biodiversity & Conservation Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 영상 분석 기반의 위장 무늬 평가 시스템 및 그 방법에 관한 것으로서, 통신망과 연동하여 송수신 신호를 패킷 데이터 형태로 제공하기 위한 통신 인터페이스를 제공하는 통신 모듈; 상기 통신 모듈을 통해 작전 환경 영상과 위장무늬 영상이 수신되면, 인공 지능 기반의 위장 성능 평가 알고리즘을 수행하여 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과를 제공하는 위장무늬 평가모듈; 및 상기 위장무늬 평가모듈에서 산출된 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하여 제공하는 프로세서를 포함하되, 상기 인공 지능 기반의 위장 성능 평가 알고리즘은, 상기 작전 환경 영상과 위장무늬 영상에 대한 특징 정보를 추출하여, 상기 추출된 특징 정보에 기반하여 상기 작전 환경 영상과 위장 무늬 영상 간의 색상, 패턴 또는 구조에 대한 유사도를 분석하는 것이다.
Description
본 발명은 위장무늬의 위장 성능을 평가하기 위한 위장 무늬 평가 기술에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 군(軍)의 무기체계가 위장 얼룩무늬화 되어 위장 성능을 증대시키고 있다. 이러한 위장성은 전투의 효율을 높이기 위한 것으로, 원거리에 대치중인 적군으로부터 식별의 가능성을 최소화하게 된다. 따라서 군에서는 이와 같은 위장의 필요성을 실감하게 됨에 따라 군에서 사용되는 물자, 장비 및 시설에 대한 은폐기능을 다수 마련하고 있다.
특히, 군사용 구조물, 군사용 시설물 또는 지상 무기체계 등을 은폐하기 위하여, 종래에는 페인트를 이용하여 얼룩무늬를 형성하였다. 그러나 이러한 방법은 외부의 물리적인 충격에 의하여 긁히거나, 지워지기 쉽고, 시간이 지남에 따라 변색이 발생하거나 도색이 벗겨지는 등의 문제점이 있었다.
위장무늬는 작전 수행시 주변 환경의 색상과 패턴을 모사하여 개인 병사 및 무기체계의 위장 기능을 극대화하고, 이를 통해 아군의 생명과 시설피해를 최소화하기 위한 목적으로 사용되고 있다.
최근 들어, 군의 작전환경과 임무가 복잡하고 다양해짐에 따라 전장 환경에 최적화된 위장무늬를 간편하게 생성하고, 기 제작된 위장무늬의 위장 성능을 평가를 위한 소프트웨어 연구 개발이 요구되고 있다.
위장 무늬는 피탐지 확률 저하 및 조준 방해 등의 측면에서 사용되고 있는데, 기존에 미리 정의된 위장무늬를 활용하는 현 위장 기술은 조준 방해 효과에 치중한 것으로서, 명도, 채도, 색상 차이가 크게 나는 색들과 비교적 단순한 무늬가 주는 높은 대비 효과에 더 많이 의존하고 있다. 따라서, 기존의 위장 무늬의 전투복이나 장비는 최근 작전 환경에 대한 정량적 분석이 부재하여 군인 및 장비의 위장효과를 저감시키는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 작전 환경 영상과 위장 무늬 영상을 인공 지능 기반의 영상 분석을 통해 해당 작전 환경에서의 위장무늬의 위장 성능을 평가하도록 하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 영상 분석 기반의 위장 무늬 평가 시스템은, 통신망과 연동하여 송수신 신호를 패킷 데이터 형태로 제공하기 위한 통신 인터페이스를 제공하는 통신 모듈; 상기 통신 모듈을 통해 작전 환경 영상과 위장무늬 영상이 수신되면, 인공 지능 기반의 위장 성능 평가 알고리즘을 수행하여 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과를 제공하는 위장무늬 평가모듈; 및 상기 위장무늬 평가모듈에서 산출된 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하여 제공하는 프로세서를 포함하되, 상기 인공 지능 기반의 위장 성능 평가 알고리즘은, 상기 작전 환경 영상과 위장무늬 영상에 대한 특징 정보를 추출하여, 상기 추출된 특징 정보에 기반하여 상기 작전 환경 영상과 위장 무늬 영상 간의 색상, 패턴 또는 구조에 대한 유사도를 분석하는 것이다.
상기 위장무늬 평가모듈은, 상기 작전 환경 영상과 위장무늬 영상이 각각 입력되는 영상 입력부; 상기 작전 환경 영상과 위장무늬 영상에 대한 보정 및 정규화를 통해 전처리하는 영상 전처리부; 상기 영상 전처리부에서 전처리된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 유사도를 각각 분석하는 유사도 분석부; 및 상기 유사도 분석부에서 분석된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 각 유사도를 평균한 후 가중치 합을 계산하여 위장성능의 평가 결과를 제공하는 결과 제공부를 포함한다.
상기 유사도 분석부는, 상기 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하는 색상 유사도 분석부; 상기 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하는 패턴 유사도 분석부; 및 딥러닝 기반의 객체 인식 알고리즘을 이용하여 상기 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 상기 추출된 각 영상의 구조적 특징 벡터에 대한 구조 유사도를 산출하는 구조 유사도 분석부를 포함한다.
상기 위장무늬 평가모듈은, 슬라이딩 윈도우 기법을 이용하여 상기 작전환경 영상 전체를 스캔하고, 각 슬라이딩 윈도우마다 작전 환경 영상과 위장무늬 영상 간의 유사도를 계산하되, 기 설정된 증가분 또는 감소분에 따라 상기 슬라이딩 윈도우의 크기를 변경하면서 각 슬라이딩 윈도우마다 작전 환경 영상과 위장무늬 영상 간의 유사도를 계산하는 과정을 반복한다.
한편, 영상 분석 기반의 위장 무늬 평가 방법은, 영상 분석을 수행하는 시스템에 의해 수행되는 영상 분석 기반의 위장 무늬 평가 방법에 있어서, a) 작전 환경 영상과 위장무늬 영상이 수신되면, 상기 작전 환경 영상과 위장무늬 영상에 대한 보정 및 정규화를 통해 전처리를 수행하는 단계; b) 인공 지능 기반의 위장 성능 평가 알고리즘을 통해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하는 단계; c) 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하여 제공하는 단계를 포함하되, 상기 인공 지능 기반의 위장 성능 평가 알고리즘은, 상기 작전 환경 영상과 위장무늬 영상에 대한 특징 정보를 추출하여, 상기 추출된 특징 정보에 기반하여 상기 작전 환경 영상과 위장 무늬 영상 간의 색상, 패턴 또는 구조에 대한 유사도를 분석하는 것이다.
상기 a) 단계는, RGB 색 공간 데이터로 표현된 상기 작전 환경 영상과 위장무늬 영상을 XYZ 색공간 데이터로 변환하는 단계; 및 상기 변환된 XYZ 색공간 데이터를 Lab 색공간 데이터로 변환하는 단계를 포함하는 것이다.
상기 b) 단계는, 상기 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하는 색상 유사도 분석 단계; 상기 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하는 패턴 유사도 분석 단계; 및 딥러닝 기반의 객체 인식 알고리즘을 이용하여 상기 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 상기 추출된 각 영상의 구조적 특징 벡터에 대한 구조 유사도를 산출하는 구조 유사도 분석 단계를 포함하는 것이다.
상기 색상 유사도 분석 단계는, RGB 색 공간 데이터로 표현된 상기 작전 환경 영상과 위장무늬 영상을 Lab 색공간 데이터로 변환한 후 Lab 색공간에서의 상기 작전 환경 영상과 위장무늬 영상 간에 매칭되는 화소간 기 설정된 색차식에 기초하여 색차를 계산하여 색상 유사도를 측정하는 것이다.
상기 패턴 유사도 분석 단계는, 구조적 유사 지수 측정을 위한 SSIM, MSSIM(Multiple Structural Similarity Index Measure) 중 어느 하나의 인덱스를 이용하여 상기 작전 환경 영상 대비 위장무늬 영상의 색상 분포 반영 정도를 측정하는 것이다.
상기 구조 유사도 분석 단계에서 딥러닝 기반의 객체 인식 알고리즘은 VGGNET, ResNET을 포함한 CNN을 이용하고, 상기 딥러닝 기반의 객체 인식 알고리즘은 상기 작전 환경 영상과 위장 무늬 영상에 대한 특징맵을 각각 추출하고, 상기 추출된 각 특징맵을 푸로베니우스 놈(Frobenius norm)을 통해 비교하여 상기 작전 환경 영상과 위장무늬 영상간 구조 유사도를 측정하는 것이다.
상기 c) 단계는, 상기 위장 성능의 평가 결과의 색상, 패턴 또는 구조에 대한 각각의 유사도에 기 설정된 가중치를 곱한 후, 상기 가중치를 곱한 각각의 유사도를 모두 합산하여 정량적 위장성능 산출값을 도출하여 제공하는 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 작전 환경 영상과 위장 무늬 영상을 인공 지능 기반의 영상 분석을 통해 해당 작전 환경에서의 위장무늬의 위장 성능을 정량적으로 평가할 수 있고, 전장 환경에 최적화된 위장무늬를 간편하게 생성하거나 이미 제작된 위장무늬에 대한 위장 성능을 신속하게 평가할 수 있다.
또한, 본 발명은 작전 수행시 주변 환경의 색상과 패턴을 모사하여 군인이나 시설 등의 위장 기능을 극대화할 수 있어 아군의 생명과 시설 피해를 최소화할 수 있으며, 다변화되는 작전 환경에 위장무늬에 대한 위장성능을 신속하게 정확하게 평가할 수 있어 위장 무늬 결정이나 적용 등에 있어 예산 절감 및 보급 효과를 극대화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 기반의 위장무늬 평가 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 위장무늬 평가모듈의 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 위장무늬 평가 모듈의 각 기능을 상세히 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 분석 기반의 위장 무늬 평가 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 유사도 분석 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 기반의 객체 인식 알고리즘에 적용되는 CNN 모델을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 기반의 객체 인식 알고리즘을 통해 특징맵을 추출하는 과정을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 위장무늬 평가모듈의 구성을 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 위장무늬 평가 모듈의 각 기능을 상세히 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 분석 기반의 위장 무늬 평가 방법을 설명하는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 유사도 분석 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 딥러닝 기반의 객체 인식 알고리즘에 적용되는 CNN 모델을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 기반의 객체 인식 알고리즘을 통해 특징맵을 추출하는 과정을 설명하는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 분석 기반의 위장무늬 평가 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 영상 분석 기반의 위장무늬 평가 시스템은 통신 모듈(210), 위장무늬 평가 모듈(220), 메모리(240), 프로세서(230) 및 데이터베이스(250)를 포함하지만 이에 한정되지는 않는다.
통신 모듈(210)은 통신망과 연동하여 영상 제공 장치(100)와의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(210)은 사용자 단말로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다. 통신 모듈(210)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
여기서, 사용자 단말은 위장무늬에 대한 평가를 요청하는 단말이거나 평가 대상인 위장 무늬 또는 작전 현장 영상을 입력하는 단말일 수 있다.
위장무늬 평가 모듈(220)은 통신 모듈(210)을 통해 작전 환경 영상과 위장무늬 영상이 수신되면, 인공 지능 기반의 위장 성능 평가 알고리즘을 수행하여 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과를 제공한다. 인공 지능 기반의 위장 성능 평가 알고리즘은 작전 환경 영상과 위장무늬 영상에 대한 특징 정보를 추출하여, 추출된 특징 정보에 기반하여 작전 환경 영상과 위장 무늬 영상 간의 색상, 패턴 또는 구조에 대한 유사도를 분석한다.
메모리(240)는 인공 지능 기반의 위장 성능 평가 알고리즘을 포함한 영상 분석 기반의 위장무늬 평가 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(230)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(240)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(230)는 영상 분석 기반의 위장무늬 평가 방법을 제공하는 전체 과정을 제어하는 것으로서, 위장무늬 평가 모듈(220)에서 산출된 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하여 화면에 출력하거나 사용자 단말에 정량적 위장성능 산출값을 제공할 수 있다.
여기서, 프로세서(230)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(250)는 영상 분석 기반의 위장무늬 평가 방법을 수행하면서 누적되는 데이터가 저장된다. 예컨대, 데이터베이스(250)에는 작전환경 영상, 위장무늬 영상, 위장성능의 평가 결과, 정량적 위장성능 산출값 등이 저장될 수 있다.
도 2는 본 발명의 일 실시예에 따른 위장무늬 평가모듈의 구성을 설명하는 블록도이고, 도 3은 본 발명의 일 실시예에 따른 위장무늬 평가 모듈의 각 기능을 상세히 설명하는 도면이다.
도 2 및 도 3을 참조하면, 위장무늬 평가 모듈(220)은, 영상 입력부(221), 영상 전처리부(222), 유사도 분석부(223), 및 결과 제공부(224)를 포함한다.
영상 입력부(221)는 작전 환경 영상과 위장무늬 영상이 각각 입력되는데, 작전 환경 영상은 주간 또는 야간에 촬영한 BMP, JPG, PNG, MP4, AVI 등의 포맷을 갖는 정지 영상 또는 동영상 데이터가 될 수 있고, 위장무늬 영상은 평가 대상인 위장 무늬를 촬영한 BMP, JPG, PNG 등의 포맷을 갖는 정지영상 데이터가 될 수 있다.
영상 전처리부(222)는 작전 환경 영상과 위장무늬 영상에 대한 보정 및 정규화를 통해 전처리를 수행하는 것으로서, 색 공간 오차를 줄이기 위해 색 공간 변환을 수행한다.
작전 환경 영상과 위장무늬 영상은 RGB 색 공간으로 표현되어 있으므로 영상 내 각 화소의 색상 표현을 인간의 색 인지 과정에 기반을 둔 색 공간인 Lab 색 공간으로 변환한다. Lab 색 공간은 디스플레이 장비나 인쇄 매체에 따라 색이 달라지는 RGB, CMYK 색 공간과 다르게 장치에 독립적이다. 따라서, Lab 색 공간에서의 색차식은 CIEDE2000을 활용하여 인간의 색 인지를 고려하면서 왜곡이 적은 색차 계산이 가능하므로, 색 공간 오차가 줄어들게 된다.
유사도 분석부(223)는 영상 전처리부(222)에서 전처리된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 유사도를 각각 분석한다. 이러한 유사도 분석부는 색상 유사도 분석부(223a), 패턴 유사도 분석부(223b), 구조 유사도 분석부(223c)를 포함한다.
색상 유사도 분석부(223a)는 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하고, 패턴 유사도 분석부(223b)는 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하며, 구조 유사도 분석부(223c)는 딥러닝 기반의 객체 인식 알고리즘을 이용하여 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 추출된 각 영상의 구조적 특징 벡터를 푸로베니우스 놈(Frobenius norm)을 통해 비교하여 두 영상간 구조 유사도를 산출한다.
결과 제공부(224)는 유사도 분석부(223)에서 분석된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 각 유사도를 평균한 후 가중치 합을 계산하여 위장성능의 평가 결과를 제공한다.
도 4는 본 발명의 일 실시예에 따른 영상 분석 기반의 위장 무늬 평가 방법을 설명하는 순서도이다.
도 4를 참조하면, 위장무늬 평가 모듈(220)은 작전 환경 영상과 위장무늬 영상이 수신되면(S10), 색공간 오차를 줄이기 위해 색공간 변환을 수행하는 전처리를 수행한다(S20).
즉, RGB 색 공간 데이터로 표현된 작전 환경 영상과 위장무늬 영상을 하기 수학식 1을 통해 XYZ 색공간 데이터로 변환하고, 변환된 XYZ 색공간 데이터를 하기 수학식 2를 통해 Lab 색공간 데이터로 변환한다.
[수학식 1]
[수학식 2]
위장무늬 평가 모듈(220)은 인공 지능 기반의 위장 성능 평가 알고리즘을 통해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하는데, 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하는 색상 유사도 분석 단계(S30), 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하는 패턴 유사도 분석 단계(S40) 및 딥러닝 기반의 객체 인식 알고리즘을 이용하여 상기 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 추출된 각 영상의 구조적 특징 벡터에 대한 구조 유사도를 산출하는 구조 유사도 분석 단계(S50)를 수행한다.
이때, 위장무늬 평가 모듈(220)은 슬라이딩 윈도우 기법을 이용하여 작전환경 영상 전체를 스캔하고, 각 슬라이딩 윈도우마다 작전 환경 영상과 위장무늬 영상 간의 색상 유사도, 패턴 유사도 및 구조 유사도를 각각 계산한다.
또한, 위장무늬 평가 모듈(220)은 기 설정된 증가분 또는 감소분에 따라 슬라이딩 윈도우의 크기를 변경하면서 각 슬라이딩 윈도우마다 작전 환경 영상과 위장무늬 영상 간의 유사도를 계산하는 과정을 반복하는데, 위장무늬 이동 및 원근감을 고려한 위장무늬 성능 평가 계산을 수행한다. 위장무늬 평가 모듈(220)은 각 슬라이딩 윈도우마다 계산되는 색상 유사도, 패턴 유사도 및 구조 유사도를 평균한 후 가중치 합을 계산하여 위장 성능의 평가결과를 도출한다.
[수학식 3]
수학식 3에서 E는 주간 작전환경 영상, C는 위장무늬 영상, wi는 가중치, Clr(E, C)는 색상 유사도, Ptn(E, C)는 패턴 유사도, Str(E, C)는 구조 유사도를 각각 나타낸다.
프로세서(230)는 작전 환경에서의 위장 무늬에 대한 위장무늬 평가 모듈(220)의 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하여 제공한다(S60).
한편, 도 4의 단계 S10 내지 S60은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 유사도 분석 과정을 설명하는 도면이며, 도 6은 본 발명의 일 실시예에 따른 딥러닝 기반의 객체 인식 알고리즘에 적용되는 CNN 모델을 설명하는 도면이고, 도 7은 본 발명의 일 실시예에 따른 딥러닝 기반의 객체 인식 알고리즘을 통해 특징맵을 추출하는 과정을 설명하는 도면이다.
도 5 내지 도 7을 참조하면, 색상 유사도 분석 단계는 하기 수학식 4를 통해 Lab 색공간에서의 작전 환경 영상과 위장무늬 영상 간에 매칭되는 화소간 기 설정된 색차식(예를 들어, CIED2000)에 기초하여 색차를 계산하여 색상 유사도를 측정한다.
Lab 색공간으로 변환된 두 색 공간인 (
)와 (
)간의 색상 차이 공식은 하기 수학식 4 내지 수학식 13과 같이 나타낼 수 있다. ΔE는 L * a * b * 좌표에서 계산된 밝기, 채도 및 색조의 차이로 L * C * h * 색 공간에서 정의된다.
[수학식 4]
[수학식 5]
[수학식 6]
[수학식 7]
[수학식 8]
[수학식 9]
[수학식 10]
[수학식 11]
[수학식 12]
[수학식 13]
수학식 4 내지 수학식 13에서, 색조 회전 기간(RT)은 275 °근방의 색상 각도)에 청색 영역의 문제를 다루고, 중성 색 보정은 L* C* h 차이의 프라이밍 된 값, 밝기에 대한 보상(SL), 색차 보상(SC), 색조 보정(SH)을 통해 지각적 균일성 문제를 해결하고 있다.
이때, 색상 유사도 분석 단계는 기설정된 증가분 또는 감소분에 따라 슬라이딩 윈도우를 통해 확대 또는 축소시키고, 위장 무늬 이동 등을 수행함으로써 변환된 위장무늬 영상을 작전환경 영상과 컨볼루션하여 이동 및 원근 등에 의한 위장무늬에 대한 위장 성능을 측정할 수 있다.
패턴 유사도 분석 단계는 하기 수학식 14와 같이 구조적 유사 지수 측정을 위한 SSIM, MSSIM(Multiple Structural Similarity Index Measure) 중 어느 하나의 인덱스를 이용하여 작전 환경 영상 대비 위장무늬 영상의 색상 분포 반영 정도를 측정한다.
[수학식 14]
수학식 14에서, 
는 작전환경 영상 평균 색상값, 
는 위장무늬 영상 평균 색상값, 
는 작전환경 영상 색상 표준 편차,
는 위장무늬 영상 색상 표준 면차, 
는 위장무늬 영상 색상 공분산, c1, c2는 레귤레이션(Regularization) 임계값을 각각 나타낸다.
MSSIM은 영상의 품질을 비교할 때에 사용되는 대표적 인덱스로, 주로 압축(인코딩)되어 압축해제(디코딩)된 영상의 원본 영상 대비 색상 분포 복원의 품질을 측정할 때 사용한다. MSSIM을 활용한 알고리즘은 영상 크기 변화에 강건하도록 개선한 알고리즘이며, PSNR의 단점을 극복하고 영상이 구조적 복원의 정도를 계측하기 위해 제안된 인덱스이다. 따라서, MSSIM을 활용한 알고리즘은 작전환경 영상 대비 위장무늬 영상의 색상 분포 반영 정도를 측정하는 척도로 활용할 수 있다. 즉, MSSIM을 활용한 알고리즘은 원본 영상과 복원 영상의 밝기(Luminance), 대조(Contrast), 구조(Structure)의 분포 유사도를 계측하며, 위장무늬 영상의 밝기, 대조 및 구조에 대한 요소의 분포가 작전환경 영상의 분포와 유사하면 높은 값을 가지게 된다.
한편, 구조 유사도 분석 단계에서 딥러닝 기반의 객체 인식 알고리즘은 VGGNET, ResNET을 포함한 CNN을 이용하는데, 도 7에서는 미리 학습된 딥러닝 신경망 구축을 위해 객체 인식에 우수한 성능을 보이는 VGG-19 네트워크를 사용하고 있다. 여기서, VGG-19는 19개 계층으로 구성된 컨벌루션 신경망이다.
딥러닝 기반의 객체 인식 알고리즘은 작전 환경 영상과 위장 무늬 영상을 각각 VGG-19 네트워크에 입력하고, VGG-19 네트워크의 두 번째 레이어, 즉 conv2로부터 작전환경 영상 및 위장무늬 영상의 각 특징맵 추출한 후 추출된 각 특징맵을 푸로베니우스 놈(Frobenius norm)을 통해 비교하여 수학식 15과 같이 상기 작전 환경 영상과 위장무늬 영상간 구조 유사도를 측정한다.
[수학식 15]
수학식 15에서, Eij는 conv2_i의 필터에서의 작전환경 특징맵 상의 j 위치의 값이고, Cij는 conv2_i의 필터에서 위장무늬 특징맵 상의 j 위치의 값을 각각 나타낸다.
도 6에 도시된 바와 같이, 딥러닝 기반의 객체 인식 알고리즘은 VGGNET, ResNET을 포함한 CNN을 활용하는데, CNN은 일반적으로 3종류의 계층을 갖는다.
컨볼루션 계층(Convloustion Layers)는 입력되는 이미지를 3×3 또는 그 이상의 크기의 컨볼루션 필터와 활성함수를 통해 이미지를 더 작은 여러 장으로 나누고 특징맵을 추출한다. 서브샘플링 계층(Subsampling layers)은 컨볼루션 특징맵을 더욱 단순하고 특징적으로 만들기 위해 x×x 필터를 거쳐 값들의 평균이나 최대값으로 특징맵을 추출한다. 풀리커넥티드 계층(Full connected layers)은 추출된 특징값을 인공신경망에 입력하여 다차원 벡터 공간에 올려 행렬연산을 통해 분류한다.
딥러닝 기반의 객체 인식 알고리즘은 딥러닝 학습을 통해 카테고리에 따라 객체를 분류한 후 이를 학습하여, 새롭게 주어진 이미지가 어떤 카테고리의 인스턴스인지 자동으로 분류한다. 따라서, 딥러닝 기반의 객체 인식 알고리즘은 작전 환경 영상에 대한 이미지 데이터를 수집하고, 각 이미지에 해당하는 라벨을 부여하는 전처리 과정을 수행하며, CNN 모델을 통해 이미지의 픽셀 단위 특징을 추출한 후 이 값을 바탕으로 분류 학습을 진행한 후. 이렇게 학습이 완료된 모델에 새로운 이력 이미지에 대한 카테고리를 예측할 수 있도록 한다. 딥러닝 기반의 객체 인식 알고리즘은 작전 환경에 많이 출현하는 나무 종류/색상, 나뭇잎 종류/색상, 지면 종류/색상 등을 대상으로 분류학습을 진행할 수 있다.
인공 지능 기반의 위장 성능 평가 알고리즘은 색상 유사도, 패턴 유사도, 구조 유사도 측정을 위한 각 알고리즘인 MSSIM을 활용한 알고리즘, 딥러닝 기반의 객체 인식 알고리즘과 연동하여 위장 무늬의 성능을 평가하는 것으로서, 상술한 알고리즘들은 본 발명을 설명하기 위한 일 실시예일 뿐, 이에 한정되지 않고 다양한 변형으로 구현될 수 있다. 또한, 상술한 알고리즘들은 프로세서(230)에 의해 제어될 수 있는 컴퓨터로 판독 가능한 기록매체로서 메모리(240)에 저장된다. 또한, 알고리즘의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
이상에서 설명한 본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
210 : 통신 모듈
220 : 위장무늬 평가 모듈
221: 영상 입력부
222: 영상 전처리부
223 : 유사도 분석부
224: 결과 제공부
230 : 프로세서
240: 메모리
250: 데이터베이스
220 : 위장무늬 평가 모듈
221: 영상 입력부
222: 영상 전처리부
223 : 유사도 분석부
224: 결과 제공부
230 : 프로세서
240: 메모리
250: 데이터베이스
Claims (12)
- 통신망과 연동하여 송수신 신호를 패킷 데이터 형태로 제공하기 위한 통신 인터페이스를 제공하는 통신 모듈;
상기 통신 모듈을 통해 작전 환경 영상과 위장무늬 영상이 수신되면, 인공 지능 기반의 위장 성능 평가 알고리즘을 수행하여 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과를 제공하는 위장무늬 평가모듈; 및
상기 위장무늬 평가모듈에서 산출된 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하여 제공하는 프로세서를 포함하되,
상기 인공 지능 기반의 위장 성능 평가 알고리즘은, 상기 작전 환경 영상과 위장무늬 영상에 대한 특징 정보를 추출하여, 상기 추출된 특징 정보에 기반하여 상기 작전 환경 영상과 위장 무늬 영상 간의 색상, 패턴 또는 구조에 대한 유사도를 분석하는 것인, 영상 분석 기반의 위장 무늬 평가 시스템. - 제1항에 있어서,
상기 위장무늬 평가모듈은,
상기 작전 환경 영상과 위장무늬 영상이 각각 입력되는 영상 입력부;
상기 작전 환경 영상과 위장무늬 영상에 대한 보정 및 정규화를 통해 전처리하는 영상 전처리부;
상기 영상 전처리부에서 전처리된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 유사도를 각각 분석하는 유사도 분석부; 및
상기 유사도 분석부에서 분석된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 각 유사도를 평균한 후 가중치 합을 계산하여 위장성능의 평가 결과를 제공하는 결과 제공부를 포함하는 것인, 영상 분석 기반의 위장 무늬 평가 시스템. - 제2항에 있어서,
상기 유사도 분석부는,
상기 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하는 색상 유사도 분석부;
상기 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하는 패턴 유사도 분석부; 및
딥러닝 기반의 객체 인식 알고리즘을 이용하여 상기 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 상기 추출된 각 영상의 구조적 특징 벡터에 대한 구조 유사도를 산출하는 구조 유사도 분석부를 포함하는 것인, 영상 분석 기반의 위장 무늬 평가 시스템. - 제1항에 있어서,
상기 위장무늬 평가모듈은,
슬라이딩 윈도우 기법을 이용하여 상기 작전 환경 영상 전체를 스캔하고, 각 슬라이딩 윈도우마다 작전 환경 영상과 위장무늬 영상 간의 유사도를 계산하는 것인, 영상 분석 기반의 위장 무늬 평가 시스템. - 제4항에 있어서,
상기 위장무늬 평가모듈은,
기 설정된 증가분 또는 감소분에 따라 상기 슬라이딩 윈도우의 크기를 변경하면서 각 슬라이딩 윈도우마다 작전 환경 영상과 위장무늬 영상 간의 유사도를 계산하는 과정을 반복하는 것인, 영상 분석 기반의 위장 무늬 평가 시스템. - 영상 분석을 수행하는 시스템에 의해 수행되는 영상 분석 기반의 위장 무늬 평가 방법에 있어서,
a) 작전 환경 영상과 위장무늬 영상이 수신되면, 상기 작전 환경 영상과 위장무늬 영상에 대한 보정 및 정규화를 통해 전처리를 수행하는 단계;
b) 인공 지능 기반의 위장 성능 평가 알고리즘을 통해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하는 단계;
c) 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하여 제공하는 단계를 포함하되,
상기 인공 지능 기반의 위장 성능 평가 알고리즘은, 상기 작전 환경 영상과 위장무늬 영상에 대한 특징 정보를 추출하여, 상기 추출된 특징 정보에 기반하여 상기 작전 환경 영상과 위장 무늬 영상 간의 색상, 패턴 또는 구조에 대한 유사도를 분석하는 것인, 영상 분석 기반의 위장 무늬 평가 방법. - 제6항에 있어서,
상기 a) 단계는,
RGB 색 공간 데이터로 표현된 상기 작전 환경 영상과 위장무늬 영상을 XYZ 색공간 데이터로 변환하는 단계; 및
상기 변환된 XYZ 색공간 데이터를 Lab 색공간 데이터로 변환하는 단계를 포함하는 것인, 영상 분석 기반의 위장 무늬 평가 방법. - 제6항에 있어서,
상기 b) 단계는,
상기 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하는 색상 유사도 분석 단계;
상기 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하는 패턴 유사도 분석 단계; 및
딥러닝 기반의 객체 인식 알고리즘을 이용하여 상기 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 상기 추출된 각 영상의 구조적 특징 벡터에 대한 구조 유사도를 산출하는 구조 유사도 분석 단계를 포함하는 것인, 영상 분석 기반의 위장 무늬 평가 방법. - 제8항에 있어서,
상기 색상 유사도 분석 단계는,
RGB 색 공간 데이터로 표현된 상기 작전 환경 영상과 위장무늬 영상을 Lab 색공간 데이터로 변환한 후 Lab 색공간에서의 상기 작전 환경 영상과 위장무늬 영상 간에 매칭되는 화소간 기 설정된 색차식에 기초하여 색차를 계산하여 색상 유사도를 측정하는 것인, 영상 분석 기반의 위장 무늬 평가 방법. - 제8항에 있어서,
상기 패턴 유사도 분석 단계는,
구조적 유사 지수 측정을 위한 SSIM, MSSIM(Multiple Structural Similarity Index Measure) 중 어느 하나의 인덱스를 이용하여 상기 작전 환경 영상 대비 위장무늬 영상의 색상 분포 반영 정도를 측정하는 것인, 영상 분석 기반의 위장 무늬 평가 방법. - 제8항에 있어서,
상기 구조 유사도 분석 단계에서 딥러닝 기반의 객체 인식 알고리즘은 VGGNET, ResNET을 포함한 CNN을 이용하고,
상기 딥러닝 기반의 객체 인식 알고리즘은 상기 작전 환경 영상과 위장 무늬 영상에 대한 특징맵을 각각 추출하고, 상기 추출된 각 특징맵을 푸로베니우스 놈(Frobenius norm)을 통해 비교하여 상기 작전 환경 영상과 위장무늬 영상 간 구조 유사도를 측정하는 것인, 영상 분석 기반의 위장 무늬 평가 방법. - 제6항에 있어서,
상기 c) 단계는,
상기 위장 성능의 평가 결과의 색상, 패턴 또는 구조에 대한 각각의 유사도에 기 설정된 가중치를 곱한 후, 상기 가중치를 곱한 각각의 유사도를 모두 합산하여 정량적 위장성능 산출값을 도출하여 제공하는 것인, 영상 분석 기반의 위장 무늬 평가 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157570A KR102531058B1 (ko) | 2020-11-23 | 2020-11-23 | 영상 분석 기반의 위장 무늬 평가 시스템 및 그 방법 |
| US17/499,456 US12026233B2 (en) | 2020-11-23 | 2021-10-12 | System and method for evaluating camouflage pattern based on image analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157570A KR102531058B1 (ko) | 2020-11-23 | 2020-11-23 | 영상 분석 기반의 위장 무늬 평가 시스템 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220070718A true KR20220070718A (ko) | 2022-05-31 |
| KR102531058B1 KR102531058B1 (ko) | 2023-05-10 |
Family
ID=81657139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200157570A KR102531058B1 (ko) | 2020-11-23 | 2020-11-23 | 영상 분석 기반의 위장 무늬 평가 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102531058B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200002066A (ko) * | 2018-06-29 | 2020-01-08 | 한국교통대학교산학협력단 | 차량 인식 방법 및 이를 이용하는 장치 |
-
2020
- 2020-11-23 KR KR1020200157570A patent/KR102531058B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200002066A (ko) * | 2018-06-29 | 2020-01-08 | 한국교통대학교산학협력단 | 차량 인식 방법 및 이를 이용하는 장치 |
Non-Patent Citations (2)
| Title |
|---|
| Assessment of Camouflage Effectiveness Based on Perceived Color Difference and Gradient Magnitude, Sensors, Vol. 20, No. 17, 2020.08.* * |
| VGG-19 모델과 히스토그램을 기반으로 한 색상, 스타일, 패턴에 따른 패션이미지의 유사성 분석, 한국컴퓨터종합학술대회 논문집, 2018.06.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220164596A1 (en) | 2022-05-26 |
| KR102531058B1 (ko) | 2023-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10979640B2 (en) | Estimating HDR lighting conditions from a single LDR digital image | |
| CN109461168B (zh) | 目标对象的识别方法和装置、存储介质、电子装置 | |
| KR102629380B1 (ko) | 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법 | |
| Bellavia et al. | Dissecting and reassembling color correction algorithms for image stitching | |
| KR100660725B1 (ko) | 얼굴 추적 장치를 가지는 휴대용 단말기 | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| US9311567B2 (en) | Manifold learning and matting | |
| WO2019037739A1 (zh) | 图像处理参数获取方法、可读存储介质和计算机设备 | |
| CN110390254B (zh) | 基于人脸的性格分析方法、装置、计算机设备及存储介质 | |
| KR20140058674A (ko) | 본질 이미지들을 이용하는 디지털 이미지 신호 압축 시스템 및 방법 | |
| CN111368731A (zh) | 静默活体检测方法、装置、设备及存储介质 | |
| KR20210074953A (ko) | 소고기 등급 판정 장치 및 방법 | |
| CN111582155B (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN114187515A (zh) | 图像分割方法和图像分割装置 | |
| CN116912783B (zh) | 核酸检测平台的状态监控方法及系统 | |
| CN112330671A (zh) | 细胞分布状态的分析方法、装置、计算机设备和存储介质 | |
| KR102531058B1 (ko) | 영상 분석 기반의 위장 무늬 평가 시스템 및 그 방법 | |
| US12026233B2 (en) | System and method for evaluating camouflage pattern based on image analysis | |
| CN114820707A (zh) | 一种用于摄像头目标自动追踪的计算方法 | |
| CN111260623B (zh) | 图片评价方法、装置、设备及存储介质 | |
| Nair et al. | Benchmarking single image dehazing methods | |
| KR102631632B1 (ko) | 인공지능 기반의 위장무늬 생성 시스템 및 그 방법 | |
| Ershov et al. | Physically-plausible illumination distribution estimation | |
| US11640663B1 (en) | Method of determining suitability of skin analysis image and apparatus therefor | |
| KR102445257B1 (ko) | 인공신경망에 기반하여 모공을 검출하고 검출된 모공을 시각화하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |