KR102631632B1 - 인공지능 기반의 위장무늬 생성 시스템 및 그 방법 - Google Patents

인공지능 기반의 위장무늬 생성 시스템 및 그 방법 Download PDF

Info

Publication number
KR102631632B1
KR102631632B1 KR1020210143200A KR20210143200A KR102631632B1 KR 102631632 B1 KR102631632 B1 KR 102631632B1 KR 1020210143200 A KR1020210143200 A KR 1020210143200A KR 20210143200 A KR20210143200 A KR 20210143200A KR 102631632 B1 KR102631632 B1 KR 102631632B1
Authority
KR
South Korea
Prior art keywords
camouflage pattern
image
camouflage
operational environment
shape
Prior art date
Application number
KR1020210143200A
Other languages
English (en)
Other versions
KR20230059230A (ko
Inventor
전성국
김회민
김선만
이광훈
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020210143200A priority Critical patent/KR102631632B1/ko
Publication of KR20230059230A publication Critical patent/KR20230059230A/ko
Application granted granted Critical
Publication of KR102631632B1 publication Critical patent/KR102631632B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공지능 기반의 위장무늬 생성 시스템 및 그 방법에 관한 것으로서, 통신망과 연동하여 송수신 신호를 패킷 데이터 형태로 제공하기 위한 통신 인터페이스를 제공하는 통신 모듈; 상기 통신 모듈을 통해 작전 환경 영상과 대표 색상 정보가 수신되면, 인공 지능 기반의 위장 무늬 생성 알고리즘을 수행하여 상기 작전 환경 영상의 대표 색상 및 모양 분포에 대한 분석 결과에 기반하여 적어도 하나 이상의 위장 무늬를 포함하는 위장무늬 후보군을 생성하고, 상기 위장 무늬 후보군 내 각 위장 무늬에 대해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 위장 성능을 평가한 후 위장 성능의 평가 결과에 기반하여 위장 성능 산출값의 최고치에 해당하는 위장 무늬 영상을 제공하는 위장무늬 생성모듈; 및 상기 인공 지능 기반의 위장 무늬 생성 알고리즘을 포함한 위장 무늬 생성 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 인공 지능 기반의 위장 무늬 생성 알고리즘은, 상기 작전 환경 영상과 생성되는 위장무늬 영상을 포함한 학습 데이터에서 색상 및 모양 분포에 대한 특징 데이터를 추출하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 이용하여 상기 특징 데이터를 반영한 위장무늬를 생성하는 것이다.

Description

인공지능 기반의 위장무늬 생성 시스템 및 그 방법{System for artificial intelligence-based camouflage pattern generation and Method thereof}
본 발명은 작전환경 영상을 분석하여 작전환경에서의 위장 성능이 극대화된 위장 무늬를 생성할 수 있는 인공지능 기반의 위장무늬 생성 시스템 및 그 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 군(軍)의 무기체계가 위장 얼룩무늬화 되어 위장 성능을 증대시키고 있다. 이러한 위장성은 전투의 효율을 높이기 위한 것으로, 원거리에 대치중인 적군으로부터 식별의 가능성을 최소화하게 된다. 따라서 군에서는 이와 같은 위장의 필요성을 실감하게 됨에 따라 군에서 사용되는 물자, 장비 및 시설에 대한 은폐기능을 다수 마련하고 있다.
특히, 군사용 구조물, 군사용 시설물 또는 지상 무기체계 등을 은폐하기 위하여, 종래에는 페인트를 이용하여 얼룩무늬를 형성하였다. 그러나 이러한 방법은 외부의 물리적인 충격에 의하여 긁히거나, 지워지기 쉽고, 시간이 지남에 따라 변색이 발생하거나 도색이 벗겨지는 등의 문제점이 있었다.
위장무늬는 작전 수행시 주변 환경의 색상과 패턴을 모사하여 개인 병사 및 무기체계의 위장 기능을 극대화하고, 이를 통해 아군의 생명과 시설피해를 최소화하기 위한 목적으로 사용되고 있다.
최근 들어, 군의 작전환경과 임무가 복잡하고 다양해짐에 따라 전장 환경에 최적화된 위장무늬를 간편하게 생성하고, 기 제작된 위장무늬의 위장 성능을 평가를 위한 통합적인 소프트웨어 연구 개발이 요구되고 있다.
이와 같이, 위장 무늬는 피탐지 확률 저하 및 조준 방해 등의 측면에서 사용되고 있는데, 기존에 미리 정의된 위장무늬를 활용하는 현재 위장 기술은 조준 방해 효과에 치중한 것으로서, 명도, 채도, 색상 차이가 크게 나는 색들과 비교적 단순한 무늬가 주는 높은 대비 효과에 더 많이 의존하고 있다. 이러한 위장 기술은 육안으로 위장 성능을 판정하고 있고, 색차의 허용범위를 3-4급 이상으로 규제하여 표준회색색표를 이용하여 비교 판정하는 것으로서, 색상이 아니라 주로 명도와 채도를 고려하고 있어, 결국 오염이나 변색이나 퇴색 판정에 적합하지만 위장성능을 고려한 전투복의 색상 관리에는 한계가 있을 수 있다는 문제점이 있다.
따라서, 기존의 위장 기술을 이용한 위장 무늬의 전투복이나 장비는 최근 작전 환경에 대한 정량적 분석이 부재하여 군인 및 장비의 위장효과를 저감시키는 문제점이 있다. 그러므로 향후 작전환경과 위장무늬 디자인 영상 간의 색상 및 구조 분석에 기반하여 위장 성능이 극대화된 위장 무늬를 간편하게 생성하고, 위장 성능을 신속히 평가할 수 있는 소프트웨어가 개발되어야 한다.
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 작전환경 영상을 분석하여 작전환경에 최적화된 위장 성능이 극대화된 위장 무늬를 간편하게 생성할 수 있고, 생성된 위장무늬 영상의 위장 성능을 신속히 평가할 수 있는 인공지능 기반의 위장무늬 생성 시스템 및 그 방법을 제공하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 작전환경에 따라 디지털화된 위장무늬를 생성하는 인공지능 기반의 위장무늬 생성 시스템은, 통신망과 연동하여 송수신 신호를 패킷 데이터 형태로 제공하기 위한 통신 인터페이스를 제공하는 통신 모듈; 상기 통신 모듈을 통해 작전 환경 영상과 대표 색상 정보가 수신되면, 인공 지능 기반의 위장 무늬 생성 알고리즘을 수행하여 상기 작전 환경 영상의 대표 색상 및 모양 분포에 대한 분석 결과에 기반하여 적어도 하나 이상의 위장 무늬를 포함하는 위장무늬 후보군을 생성하고, 상기 위장 무늬 후보군 내 각 위장 무늬에 대해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 위장 성능을 평가한 후 위장 성능의 평가 결과에 기반하여 위장 성능 산출값의 최고치에 해당하는 위장 무늬 영상을 제공하는 위장무늬 생성모듈; 및 상기 인공 지능 기반의 위장 무늬 생성 알고리즘을 포함한 위장 무늬 생성 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 인공 지능 기반의 위장 무늬 생성 알고리즘은, 상기 작전 환경 영상과 생성되는 위장무늬 영상을 포함한 학습 데이터에서 색상 및 모양 분포에 대한 특징 데이터를 추출하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 이용하여 상기 특징 데이터를 반영한 위장무늬를 생성하는 것이다.
상기 위장무늬 생성 모듈은, 기 저장된 서로 다른 작전환경 영상 중에서 대상 작전환경 영상을 입력하는 영상 입력부; 상기 영상 입력부에서 입력된 작전환경 영상을 상기 대표 색상 정보에 따라 지정된 색상수의 대표 색상 및 색상 분포 비율을 추출하는 색상 추출부; 상기 지정된 색상수의 대표 색상과 작전 환경 영상 내 각 화소들과의 색차 계산을 통해 각 화소에 해당되는 대표 색상을 할당하고, 할당된 대표 색상별 세분화 영상을 생성하는 영상 세분화부; 상기 작전환경 영상을 구성하는 모양 분석을 작전환경 영상에서 각 대표 색상별로 모양 분포를 추출하는 모양 분포 추출부; 상기 모양 분포 추출부에서 추출한 대표 색상별 모양 분포를 반영하는 위장무늬를 생성하기 위해 복수의 폐곡선 도형을 생성하는 폐곡선 도형 생성부; 회화적 렌더링(Painterly Rendering) 방식에 기반하여 작전환경 영상 내 대표 색상과 추출된 모양 분포의 빈도수를 고려한 확률 분포를 계산하여, 계산된 확률 분포에 해당되는 폐곡선 도형을 선별하고, 선별된 폐곡선 도형을 순차적으로 렌더링하여 적어도 하나 이상의 위장무늬 영상을 포함한 위장무늬 후보군을 생성하는 위장무늬 후보군 생성부; 상기 딥러닝 모델에 상기 위장무늬 후보군 내 위장무늬 영상과 작전환경 영상을 입력하고, 사전 학습된 작전 환경 영상에 대한 패턴 특징맵과 위장무늬 영상에 대한 구조 특징맵을 이용하여 위장무늬 후처리를 수행하는 위장무늬 후처리부; 및 상기 위장무늬 후처리부에서 후처리된 위장무늬 영상을 색상 양자화를 통해 지정된 색상수를 갖는 최종적인 위장무늬 영상을 정지 영상으로 출력하는 위장무늬 출력부를 포함하는 것이다.
상기 위장무늬 생성 모듈은, 상기 위장무늬 후보군 내 위장 무늬 영상과 작전 환경 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장성능 산출값을 도출하고, 상기 위장 성능 산출값이 최고치를 갖는 위장 무늬 영상을 선별하는 위장 성능 평가부을 더 포함하는 것이다.
상기 위장 성능 평가부는, 상기 작전 환경 영상과 위장무늬 영상에 대한 보정 및 정규화를 통해 전처리하는 영상 전처리부; 및 상기 영상 전처리부에서 전처리된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 유사도를 각각 분석하여, 분석된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 각 유사도를 평균한 후 가중치 합을 계산하여 위장성능의 평가 결과를 제공하는유사도 분석부를 포함하는 이다.
이때, 상기 유사도 분석부는, 상기 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하는 색상 유사도 분석부; 상기 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하는 색상분포 유사도 분석부; 및 딥러닝 기반의 객체 인식 알고리즘을 이용하여 상기 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 상기 추출된 각 영상의 구조적 특징 벡터에 대한 구조 유사도를 산출하는 구조 유사도 분석부를 포함하는 것이다.
상기 색상 추출부는, 자기 조직화 지도(SOM, Self-organizing Map) 및 K-평균 클러스터링(Means Clustering) 알고리즘에 기반하여 상기 작전환경 영상 내 화소들의 지정된 색상수에 따라 색상 군집화를 통해 대표 색상을 추출하는 것이다.
상기 모양 분포 추출부는, 상기 영상 세분화부에서 세분화된 대표 색상별 세분화 영상을 세분화 지역 영상으로 구분한 후 모폴로지 연산을 통해 노이즈를 제거하고, 단위 모양 추출을 위한 모폴로지 처리를 수행한 후 대표 색상별 세분화 영상 내 연결 성분 분석을 통해 단위 모양을 추출하고, 추출된 단위 모양별 휴 모멘트(Hu moments)를 계산하여, 단위 모양별 휴 모멘트를 대표 색상별로 GMM(Gaussian Mixture Model)을 이용하여 확률 분포 추출을 수행하는 것이다.
상기 폐곡선 도형 생성부는, 베지에 곡선(Bezier curve)을 기반으로 하는 폐곡선 도형 또는 작전환경 영상에서 추출한 단위 모양을 변형하는 이미지 기반 폐곡선 도형을 생성하여 저장하는 것이다.
본 발명의 일 실시예에 따른 작전환경에 따라 디지털화된 위장무늬를 생성하는 인공지능 기반의 위장무늬 생성 시스템에 의해 수행되는 위장무늬 생성 방법은, a) 작전 환경 영상과 대표 색상 정보가 수신되면, 인공 지능 기반의 위장 무늬 생성 알고리즘을 수행하여 상기 작전 환경 영상의 대표 색상 및 모양 분포에 대한 분석 결과에 기반하여 적어도 하나 이상의 위장 무늬를 포함하는 위장무늬 후보군을 생성하는 단계; 및 b) 상기 위장 무늬 후보군 내 각 위장 무늬에 대해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 위장 성능을 평가한 후 위장 성능의 평가 결과에 기반하여 위장 성능 산출값의 최고치에 해당하는 위장 무늬 영상을 제공하는 단계를 포함하되, 상기 인공 지능 기반의 위장 무늬 생성 알고리즘은, 상기 작전 환경 영상과 생성되는 위장무늬 영상을 포함한 학습 데이터에서 색상 및 모양 분포에 대한 특징 데이터를 추출하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 이용하여 상기 특징 데이터를 반영한 위장무늬를 생성하는 것이다.
상기 a) 단계는, 상기 작전환경 영상을 상기 대표 색상 정보에 따라 지정된 색상수의 대표 색상 및 색상 분포 비율을 추출하는 대표 색상 추출 단계; 상기 지정된 색상수의 대표 색상과 작전 환경 영상 내 각 화소들과의 색차 계산을 통해 각 화소에 해당되는 대표 색상을 할당하고, 할당된 대표 색상별 세분화 영상을 생성하는 영상 세분화 단계; 상기 작전환경 영상을 구성하는 모양 분석을 작전환경 영상에서 각 대표 색상별로 모양 분포를 추출하는 모양 분포 추출 단계; 상기 모양 분포 추출 단계에서 추출한 대표 색상별 모양 분포를 반영하는 위장무늬를 생성하기 위해 복수의 폐곡선 도형을 생성하는 폐곡선 도형 생성 단계; 회화적 렌더링(Painterly Rendering) 방식에 기반하여 작전환경 영상 내 대표 색상과 추출된 모양 분포의 빈도수를 고려한 확률 분포를 계산하여, 계산된 확률 분포에 해당되는 폐곡선 도형을 선별하고, 선별된 폐곡선 도형을 순차적으로 렌더링하여 적어도 하나 이상의 위장무늬 영상을 포함한 위장무늬 후보군을 생성하는 위장무늬 후보군 생성 단계를 더 포함하는 것이다.
상기 모양 분포 추출 단계는, 상기 영상 세분화 단계에서 세분화된 대표 색상별 세분화 영상을 세분화 지역 영상으로 구분하는 단계; 모폴로지 연산을 통해 노이즈를 제거한 후 대표 색상별 세분화 영상 내 연결 성분 분석을 통해 단위 모양을 추출하는 단계; 및 추출된 단위 모양별 휴 모멘트(Hu moments)를 계산하여, 단위 모양별 휴 모멘트를 대표 색상별로 GMM(Gaussian Mixture Model)을 이용하여 확률 분포 추출을 수행하는 단계를 더 포함하는 것이다.
상기 b) 단계는, 상기 딥러닝 모델에 상기 위장무늬 후보군 내 위장무늬 영상과 작전환경 영상을 입력하고, 사전 학습된 작전 환경 영상에 대한 패턴 특징맵과 위장무늬 영상에 대한 구조 특징맵을 이용하여 위장무늬 후처리를 수행하는 위장무늬 후처리 단계; 및 상기 위장무늬 후처리 단계에서 후처리된 위장무늬 영상을 색상 양자화를 통해 지정된 색상수를 갖는 최종적인 위장무늬 영상을 정지 영상으로 출력하는 위장무늬 출력 단계를 더 포함하는 것이다.
상기 b) 단계는, 상기 위장무늬 후보군 내 위장 무늬 영상과 작전 환경 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장성능 산출값을 도출하고, 상기 위장 성능 산출값이 최고치를 갖는 위장 무늬 영상을 선별하는 위장 성능 평가 단계를 더 포함하는 것이다.
전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 작전환경 영상을 분석하여 작전환경에 최적화된 위장 성능이 극대화된 위장 무늬를 간편하게 생성할 수 있고, 생성된 위장무늬 영상의 위장 성능을 신속히 평가할 수 있어, 위장 무늬 적용에 필요한 예산 절감 및 보급 효과를 극대화할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 인공 지능 기반의 위장무늬 생성 시스템의 구성을 설명하는 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 작전환경 영상을 설명하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 위장무늬 생성모듈의 구성을 설명하는 블럭도이다.
도 4는 도 3의 일부 구성요소인 위장 성능 평가부의 구성을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공 지능 기반의 위장 무늬 생성 방법을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 대표 색상 추출 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 대표 색상별 영상 세분화 단계를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 대표 색상별 모양 분포 추출 단계를 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 폐곡선 도형 생성 단계를 설명하는 예시도이다.
도 10은 본 발명의 일 실시예에 따른 위장 무늬 후보군 생성 단계를 설명하는 예시도이다.
도 11은 본 발명의 일 실시예에 따른 딥러닝 기반의 위장 무늬 후처리 단계를 설명하는 예시도이다.
도 12는 도 11의 위장 무늬 후처리 결과를 설명하는 예시도이다.
도 13은 본 발명의 일 실시예에 따른 최종 위장무늬 영상 출력 단계를 설명하는 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공 지능 기반의 위장무늬 생성 시스템의 구성을 설명하는 블럭도이고, 도 2는 본 발명의 일 실시예에 따른 작전환경 영상을 설명하는 예시도이다.
도 1을 참조하면, 작전환경에 따라 디지털화된 위장무늬를 생성하는 인공지능 기반의 위장무늬 생성 시스템(100)은 통신 모듈(110), 위장무늬 생성모듈(120), 메모리(140) 및 프로세서(130)를 포함하지만 이에 한정되지는 않는다.
통신 모듈(110)은 통신망과 연동하여 영상 제공 장치(200)와의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 사용자 단말(미도시)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다. 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
여기서, 사용자 단말은 위장무늬에 대한 생성을 요청하는 단말이거나, 위장 무늬 영상 또는 작전 현장 영상을 제공하는 영상 제공 장치(200)가 될 수 있다.
위장무늬 생성모듈(120)은 통신 모듈(110)을 통해 작전 환경 영상과 대표 색상 정보(예를 들어, 5도색, 6도색 등의 색상수 지정)가 수신되면, 인공 지능 기반의 위장 무늬 생성 알고리즘을 수행하여 작전 환경 영상의 대표 색상 및 모양 분포에 대한 분석 결과에 기반하여 적어도 하나 이상의 위장 무늬를 포함하는 위장무늬 후보군을 생성하고, 위장 무늬 후보군 내 각 위장 무늬에 대해 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 위장 성능을 평가한 후 위장 성능의 평가 결과에 기반하여 위장 성능 산출값의 최고치에 해당하는 위장 무늬 영상을 제공한다.
여기서, 작전환경 영상은 도 2에 도시된 바와 같이, 위장 무늬를 만들기 위한 자연 환경 이미지나 기타 작전 환경에 부합되는 디지털화된 영상이 될 수 있다.
한편, 인공 지능 기반의 위장 무늬 생성 알고리즘은 작전 환경 영상과 생성되는 위장무늬 영상을 포함한 학습 데이터에서 색상 및 모양 분포에 대한 특징 데이터를 추출하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 이용하여 특징 데이터를 반영한 위장무늬를 생성한다.
메모리(140)는 인공 지능 기반의 위장 무늬 생성 알고리즘을 포함한 위장 무늬 생성 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(140)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 위장무늬 생성 방법을 제공하는 전체 과정을 제어하는 것으로서, 위장무늬 생성 모듈(120)에서 생성된 위장 무늬 영상을 사용자가 지정한 포맷(BMP, JPG(JPEG), PNG 등)이나 디폴트값으로 변환하여 화면에 출력하거나 사용자 단말에 제공할 수 있다.
여기서, 프로세서(130)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(150)는 위장무늬 생성 방법을 수행하면서 누적되는 데이터가 저장된다. 예컨대, 데이터베이스(150)에는 작전환경 영상, 위장무늬 영상, 위장성능의 평가 결과(위장성능 산출값), 위장무늬 후보군 및 폐곡선 도형 등의 데이터들을 통합하여 구성하거나, 각 데이터별로 분리하여 독립적으로 구성할 수 있다.
데이터베이스(150)는 작전환경 영상 데이터베이스를 독립적으로 구성할 경우에, 주간 작전환경을 촬영한 정지 영상(bmp, png, jpg(jpeg)) 또는 동영상(mp4, avi)을 저장하고, 4K급 해상도, 24비트 컬러뎁스, 100장의 정지 영상 및 4초 이하의 동영상 처리 가능하도록 구성된다.
이러한 인공 지능 기반의 위장 무늬 생성 시스템(100)은 일반적인 의미의 서버용 컴퓨터 본체일 수 있고, 그 외에 서버 역할을 수행할 수 있는 다양한 형태의 장치로 구현될 수 있다. 구체적으로, 인공 지능 기반의 위장 무늬 생성 시스템(100)은 스마트폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 위장무늬 생성모듈의 구성을 설명하는 블럭도이다.
도 3을 참조하면, 위장무늬 생성모듈(120)은, 영상 입력부(121), 색상 추출부(122), 영상 세분화부(123), 모양 분포 추출부(124), 폐곡선 도형 생성부(125), 위장무늬 후보군 생성부(126), 위장 성능 평가부(127), 위장무늬 후처리부(128) 및 위장무늬 출력부(129)를 포함하지만 이에 한정되지는 않는다.
영상 입력부(121)는 영상 제공 장치(200), 사용자 단말 또는 작전환경 영상 DB를 통해 대상이 되는 작전환경 영상이 입력된다.
색상 추출부(122)는 영상 입력부(121)에서 입력된 작전환경 영상을 대표 색상 정보, 즉 지정된 색상수에 따라 대표 색상 및 색상 분포 비율을 추출한다.
영상 세분화부(123)는 지정된 색상수의 대표 색상과 작전 환경 영상 내 각 화소들과의 색차 계산을 통해 가장 유사한 대표 색상을 화소에 할당하고, 할당된 대표 색상별 세분화 영상을 생성한다.
모양 분포 추출부(124)는 작전환경 영상을 구성하는 모양 분석을 작전환경 영상에서 각 대표 색상별로 모양 분포를 추출한다.
폐곡선 도형 생성부(125)는 상기 모양 분포 추출부(124)에서 추출한 대표 색상별 모양 분포를 반영하는 위장무늬를 생성하기 위해 폐곡선 도형 데이터베이스를 구축한다.
위장무늬 후보군 생성부(126)는 회화적 렌더링(Painterly Rendering) 방식에 기반하여 작전환경 영상 내 대표 색상 및 모양의 빈도수를 고려한 확률 분포에 기반하여, 구축된 폐곡선 도형 DB로부터 폐곡선 도형을 선별하고, 선별된 폐곡선 도형을 순차적으로 렌더링하여 다수의 위장무늬 영상을 포함한 위장무늬 후보군을 생성한다.
위장 성능 평가부(127)는 위장무늬 후보군 내 위장 무늬 영상에 대한 위장 성능을 평가하는 것으로서, 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출한다. 이러한 위장 성능 평가부(127)는 위장무늬 생성 모듈(120)에 의해 생성된 위장 무늬 뿐만 아니라 기 제작된 위장 무늬에 대한 평가도 수행할 수 있다.
위장무늬 후처리부(128)는 생성한 위장무늬 영상의 텍스쳐 고도화를 위해 작전환경 영상과 생성된 위장무늬 영상을 입력데이터로 하여, 패턴 특징맵과 구조 특징맵을 반영하여 위장무늬 영상을 생성한다. 이때, 위장무늬 후처리부(128)는 VGGNET, ResNET을 포함한 CNN을 이용할 수 있는데, 미리 학습된 딥러닝 신경망 구축을 위해 객체 인식에 우수한 성능을 보이는 VGG-19 네트워크를 사용하고 있다. 여기서, VGG-19는 19개 계층으로 구성된 컨벌루션 신경망이다.
위장무늬 출력부(129)는 색상 양자화를 통해 지정된 색상수를 갖는 최종적인 위장무늬 영상을 bmp, png, jpg(jpeg) 등의 포맷으로 출력한다.
상술한 모듈들은 본 발명을 설명하기 위한 일 실시예일 뿐, 이에 한정되지 않고 다양한 변형으로 구현될 수 있다. 또한, 상술한 모듈들은 프로세서(130)에 의해 제어될 수 있는 컴퓨터로 판독 가능한 기록매체로서 메모리(140)에 저장된다. 또한, 상술한 모듈들의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4는 도 3의 일부 구성요소인 위장 성능 평가부의 구성을 설명하는 도면이다.
도 4에 도시된 바와 같이, 위장 성능 평가부(127)는 영상 전처리부(127a), 색상 유사도 분석부(127b), 색상분포 유사도 분석부(127c) 및 구조 유사도 분석부(127d)를 포함한다.
작전 환경 영상과 위장무늬 영상이 각각 입력되는데, 작전 환경 영상은 주간 또는 야간에 촬영한 BMP, JPG, PNG, MP4, AVI 등의 포맷을 갖는 정지 영상 또는 동영상 데이터이고, 위장무늬 영상은 평가 대상인 위장 무늬의 BMP, JPG, PNG 등의 포맷을 갖는 정지영상 데이터가 될 수 있다.
영상 전처리부(127a)는 작전 환경 영상과 위장무늬 영상에 대한 보정 및 정규화를 통해 전처리를 수행하는 것으로서, 색 공간 오차를 줄이기 위해 색 공간 변환을 수행한다.
작전 환경 영상과 위장무늬 영상은 RGB 색 공간으로 표현되어 있으므로 영상 내 각 화소의 색상 표현을 인간의 색 인지 과정에 기반을 둔 색 공간인 Lab 색 공간으로 변환한다. Lab 색 공간은 디스플레이 장비나 인쇄 매체에 따라 색이 달라지는 RGB, CMYK 색 공간과 다르게 장치에 독립적이다. 따라서, Lab 색 공간에서의 색차식은 CIEDE2000을 활용하여 인간의 색 인지를 고려하면서 왜곡이 적은 색차 계산이 가능하므로, 색 공간 오차가 줄어들게 된다.
색상 유사도 분석부(127b)는 작전 환경 영상과 위장무늬 영상 간의 각 화소에 대한 색상 비교를 통해 색상 유사도를 산출하고, 색상분포 유사도 분석부(127c)는 작전 환경 영상과 위장무늬 영상 간의 각 공간 내 색상 분포를 비교하여 패턴 유사도를 산출하며, 구조 유사도 분석부(127d)는 딥러닝 기반의 객체 인식 알고리즘을 이용하여 작전 환경 영상과 위장무늬 영상 간의 구조적 특징 벡터를 추출하고, 추출된 각 영상의 구조적 특징 벡터를 푸로베니우스 놈(Frobenius norm)을 통해 비교하여 두 영상간 구조 유사도를 산출한다.
따라서, 위장 성능 평가부(127)는 분석된 작전 환경 영상과 위장무늬 영상 간의 색상, 패턴, 구조에 대한 각 유사도를 평균한 후 가중치 합을 계산하여 위장성능의 평가 결과, 즉 위장 성능 산출값을 제공한다.
도 5는 본 발명의 일 실시예에 따른 인공 지능 기반의 위장 무늬 생성 방법을 설명하는 순서도이다. 도 6은 본 발명의 일 실시예에 따른 대표 색상 추출 단계를 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 대표 색상별 영상 세분화 단계를 설명하기 위한 도면이며, 도 8은 본 발명의 일 실시예에 따른 대표 색상별 모양 분포 추출 단계를 설명하는 도면이고, 도 9는 본 발명의 일 실시예에 따른 폐곡선 도형 생성 단계를 설명하는 예시도이며, 도 10은 본 발명의 일 실시예에 따른 위장 무늬 후보군 생성 단계를 설명하는 예시도이다. 도 11은 본 발명의 일 실시예에 따른 딥러닝 기반의 위장 무늬 후처리 단계를 설명하는 예시도이고, 도 12는 도 11의 위장 무늬 후처리 결과를 설명하는 예시도이다. 도 13은 본 발명의 일 실시예에 따른 최종 위장무늬 영상 출력 단계를 설명하는 예시도이다.
도 5 내지 도 13을 참조하면, 인공 지능 기반의 위장 무늬 생성 방법은, 영상 입력 단계(S1), 대표 색상 추출 단계(S2), 대표 색상별 영상 세분화 단계(S3), 대표 색상별 모양 분포 추출 단계(S4), 폐곡선 도형 생성 단계(S5), 위장 무늬 후보군 생성 단계(S6), 위장 무늬 후보군 평가 단계(S7), 위장 무늬 후처리 단계(S8) 및 최종 위장무늬 영상 출력 단계(S9)로 이루어진다.
먼저, 영상 입력 단계에서는 작전환경 영상 DB를 통해 작전환경 영상이 입력되고(S1), 대표 색상 추출 단계에서는 자기 조직화 지도(SOM, Self-organizing Map) 및 K-Means Clustering 알고리즘에 기반하여 입력된 작전환경 영상 내 화소들의 지정된 색상수에 따라 색상 군집화를 통해 대표 색상을 추출한다(S2).
도 6에 도시된 바와 같이, 대표 색상 추출 단계에서는 참조 영상이 입력되고, 참조 영상에 색상의 군집을 위한 전처리를 수행한다, 이때, 전처리 과정은 색차 계산 측면에서 왜곡을 줄이기 위해, 참조 영상의 각 화소에서의 색상공간을 CIELab 공간으로 변환하고, 색상 분포를 파악하기 위해 각각의 노드로 참조 영상 내의 색상들을 맵핑하고 이들을 기 설정된 개수의 색상으로 군집화를 한다.
여기서, 참조 영상은 최종적으로 생성될 영상에서의 패턴 정보를 제공하기 위해 입력되는 영상이다. 패턴 정보는 영상 내 질감(Texture) 또는 화법(畵法)에 관한 정보로서, 인접한 픽셀값들 간의 변화량이 일정한 규칙을 갖는 픽셀값을 의미한다. 예를 들어, 인접한 픽셀값들 간의 변화량이 일정한 수준으로 줄어들거나 증가하는 그라데이션(Gradation) 또는 블러(Blur)처리가 이에 해당할 수도 있고, 변화량이 유지되거나 주기적으로 변화하는 등 다양한 색의 조합이나 변화 등이 패턴 정보에 포함될 수 있다.
대표 색상 추출 단계에서는 색상을 맵핑하기 위한 맵 네트워크, 예를 들어 SOM의 모든 노드들의 값을 초기값으로 초기화를 수행하고, 이후 참조 영상 내 각 화소들의 화소값을 반복적으로 맵 네트워크에 입력한다. 맵 네트워크(200)는 화소값이 입력되면, 입력된 화소와 가장 유사한 노드를 탐색하고, 탐색된 노드의 값을 입력된 노드의 값에 가중치를 부여하여 갱신을 수행한다. 대표 색상 추출 단계에서는 전술한 과정을 설정된 횟수만큼 반복하며, 맵 네트워크 내 모든 노드들의 값을 결정하며 맵핑한다. 맵 네트워크 내 각 노드들은 일정한 경계를 가지며 유사한 색상끼리 인접하여 배치된다. 대표 색상 추출 단계에서는 참조 영상을 맵핑한 후 K-Means Clustering 알고리즘에 기반하여 기 설정된 개수만큼 대표 색상을 추출하여 대표 색상으로 군집화한다. 여기서, 기 설정된 개수는 위장 무늬로 표현하고자 하는 색상의 개수가 되며, 대표 색상은 디자인에 표현할 수 있는 색으로 결정된다.
이와 같이, 대표 색상 추출 단계에서 각 화소들과 매칭된 대표 색상의 개수를 계산하여 입력된 작전환경 영상에서의 대표 색상 비율을 정의할 수 있다.
대표 색상별 영상 세분화 단계는, 도 7에 도시된 바와 같이, 작전환경 영상의 대표 색상별 모양 분포를 추출하기 위해 각 대표 색상별로 세분화하여 분류한다(S3).
대표 색상 정보가 5도 색으로 지정된 경우에, 대표 색상별 영상 세분화 단계는 지정된 개수의 대표 색상과 작전 환경 영상 내 각 화소들과의 색차 계산을 통해 가장 유사한 대표 색상을 화소에 할당한 후, 작전환경 영상을 제1 대표 색상, 제2 대표 색상, 제3 대표 색상, 제4 대표 색상 및 제5 대표 색상으로 분류하여 대표 색상별로 세분화 영상을 생성한다.
대표 색상별 모양 분포 추출 단계는 비슷한 색상의 자연환경 요소들의 군집 모양을 추출하기 위해 작전 환경 영상을 구성하는 모양 분포를 분석하여 각 대표 색상별로 모양 분포를 추출한다(S4). 이때, 대표 색상별 모양 분포 추출 단계는 도 8에 도시된 바와 같이, 대표 색상별로 세분화 영상을 세분화 지역 영상으로 구분하고, 모폴로지 연산을 통한 노이즈 제거, 단위 모양 추출을 위한 모폴로지 처리, 대표 색상별 세분화 영상 내 연결 성분 분석을 통한 단위 모양 추출, 추출된 단위 모양별 모양 특징 추출을 위한 휴 모멘트(Hu moments) 계산(수학식 1 참조), 및 단위 모양별 휴 모멘트를 대표 색상별로 GMM(Gaussian Mixture Model)을 이용하여 확률 분포 추출을 수행한다.
[수학식 1]
수학식 1에서, h0~h6는 휴 모멘트로서 2차와 3차 중심 모멘트들로 구성되고, η은 정규화된 중심 모멘트를 나타내며, 수학식 1에서 볼 수 있듯이 휴 모멘트는 크기, 회전, 위치에 대하여 불변인 특징을 가지고 있다. 도 8에서 대표 색상별 모양 확률 분포는 x축이 모양 특징 벡터값이고, 단위 모양별 서로 다른 특징 벡터로 표현할 수 있다.
대표 색상별 모양 분포 추출 단계는 세분화 지역 영상으로부터 계산된 휴 모멘트를 인식하기 위해 특징 벡터로서 사용한다. 일반적으로 모양 정보를 표현하는데 있어서 모멘트는 매우 유용하며 실제적으로 많이 사용되고 있다. 휴 모멘트는 중심 모멘트들의 선형 결합하는 것으로서, 이미지 행렬의 7가지 대표적인 모멘트 불변량을 포함하는 벡터를 구하고, 불변 모멘트는 최대 3차의 정규화된 공간 모멘트 조합이며, 이러한 불변 모멘트를 이용하여 영상의 모양을 매칭하여 유사도 비교를 효과적으로 실행할 수 있다.
폐곡선 도형 생성 단계는 대표 색상별 모양 분포 추출 단계에서 추출한 대표 색상별 모양 분포를 반영하는 위장 무늬를 생성하기 위해 폐곡선 도형을 생성하여 폐곡선 도형 DB를 구축한다(S5). 폐곡선 도형 생성 단계는 베지에 곡선(Bezier curve)을 기반으로 하는 폐곡선 도형과, 도 9의 (c)에 도시된 바와 같이 작전환경 영상 DB로부터 추출한 단위 모양을 변형하는 이미지 기반 폐곡선 도형을 생성할 수 있다.
먼저, 도 9의 (a) 및 (b)에 도시된 바와 같이, 폐곡선 도형 생성 단계는 큐빅 베지에 곡선을 기반으로 주어지는 컨트롤 포인트를 연결하는 폐곡선 도형을 생성한다. 이때, 폐곡선 도형 생성 단계는 컨트롤 포인트를 잇는 베지에 곡선의 반지름 파라미터, 베지에 곡선의 평활도(smoothness)에 대한 에지 파라미터, 컨트롤 포인트의 수 파라미터를 포함한 3개의 파라미터를 반복적으로 조절하여 폐곡선 도형을 생성한다.
위장 무늬 후보군 생성 단계는 회화적 렌더링 방식에 기반하여 작전환경 영상 내 대표 색상 및 모양 빈도수를 고려한 확률 분포에 따라 폐곡선 도형 생성 단계에서 구축된 폐곡선 도형 DB로부터 폐곡선 도형을 선별하고, 선별된 폐곡선 도형을 이용하여 위장무늬를 생성한다(S6). 즉 위장무늬 후보군 생성 단계는 폐곡선 도형의 휴 모멘트를 계산하고, 폐곡선 도형의 휴 모멘트 계산 값과 단위 모양별 휴 모멘트를 대표 색상별로 GMM(Gaussian Mixture Model)을 이용하여 추출한 확률 분포 값이 유사하도록 랜덤으로 폐곡선 도형을 생성한다.
이때, 위장무늬 후보군 생성 단계는 도 10에 도시된 바와 같이, 계층적 렌더링 방식을 이용하여 최대 면적의 폐곡선 도형부터 최소 면적의 폐곡선 도형을 순차적으로 렌더링하여 위장무늬를 생성한다.
위장무늬 후보군 생성 단계는 베지에 곡선 기반의 폐곡선 도형과 작전환경 영상 DB로부터 추출한 단위 모양을 변형하는 이미지 기반 폐곡선 도형, 및 위장무늬 후처리 단계를 거쳐 재생성된 위장 무늬 영상을 반복적으로 생성하여 다양한 형태의 디지털화된 위장 무늬를 생성할 수 있다.
위장 무늬 후보군 평가 단계는 위장 무늬 후보군 생성 단계에서 생성된 위장 무늬 중 위장 성능이 가장 우수한 위장 무늬를 선별한다(S7). 위장 무늬 후보군 평가 단계에서는 위장무늬 후보군 내 위장 무늬 영상과 작전 환경 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장 성능의 평가 결과에 대한 정량적 위장성능 산출값을 도출하고, 위장 성능 산출값이 최고치를 갖는 위장무늬를 선정한다.
위장 무늬 후처리 단계는 위장 무늬 후보군 평가 단계에서 선별한 위장 무늬 영상의 텍스쳐 고도화를 위해 작전환경 영상 DB와 생성된 위장 무늬를 딥러닝 모델에 입력 데이터로 하여, 스타일 트랜스퍼(Style Transfer)를 이용하여 작전 환경 영상의 패턴(텍스쳐) 및 생성된 위장무늬 영상의 구조 특정을 반영하는 위장무늬를 재생성한다(S8). 위장무늬 후처리 단계는 도 11 및 도 12에 도시된 바와 같이, 신경망을 구성하는 레이어 중간에 도출되는 패턴 특징맵과 구조 특징맵의 특성을 활용한다. 즉, 신경망의 낮은 레벨의 레이어로부터 출력되는 특징맵은 영상의 구조를 반영하고, 신경망의 깊은 레벨의 레이어로부터 출력되는 특징맵은 영상의 패턴을 반영한다.
이때, 딥러닝 모델은 작전 환경 영상의 패턴을 추출하기 위해 신경망의 깊은 레벨의 특징맵이 사전 학습되어 있고, 생성된 위장무늬 영상의 구조를 추출하기 위해 신경망의 낮은 레벨의 특징맵이 사전 학습되어 있다.
최종 위장무늬 영상 출력 단계는 색상 양자화를 통해 지정된 색상 수를 갖는 최종 위장무늬 영상을 출력한다(S9). 도 13에 도시된 바와 같이, 최종 위장무늬 출력 단계는 4K 이상의 해상도, 24비트 컬러 뎁스, BMP, PNG, JPEG 등의 정지 영상으로 출력한다.
한편, 도 5의 단계 S1 내지 S9는 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
이상에서 설명한 본 발명의 실시예에 따른 인공 지능 기반의 위장 무늬 생성 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 인공지능 기반의 위장무늬 생성 시스템
110 : 통신 모듈
120 : 위장무늬 생성모듈
130 : 프로세서
140 : 메모리
150 : 데이터베이스
121: 영상 입력부
122 : 색상 추출부
123 : 영상 세분화부
124 : 모양 분포 추출부
125 : 폐곡선 도형 생성부
126 : 위장무늬 후보군 생성부
127 : 위장 성능 평가부
128 : 위장무늬 후처리부
129 : 위장무늬 출력부

Claims (14)

  1. 작전환경에 따라 디지털화된 위장무늬를 생성하는 인공지능 기반의 위장무늬 생성 시스템에 있어서,
    통신망과 연동하여 송수신 신호를 패킷 데이터 형태로 제공하기 위한 통신 인터페이스를 제공하는 통신 모듈;
    상기 통신 모듈을 통해 작전 환경 영상과 대표 색상 정보가 수신되면, 인공 지능 기반의 위장 무늬 생성 알고리즘을 수행하여 상기 작전 환경 영상의 대표 색상 및 모양 분포에 대한 분석 결과에 기반하여 적어도 하나 이상의 위장 무늬를 포함하는 위장무늬 후보군을 생성하고, 상기 위장 무늬 후보군 내 각 위장 무늬에 대해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 위장 성능을 평가한 후 위장 성능의 평가 결과에 기반하여 위장 성능 산출값의 최고치에 해당하는 위장 무늬 영상을 제공하는 위장무늬 생성모듈; 및
    상기 인공 지능 기반의 위장 무늬 생성 알고리즘을 포함한 위장 무늬 생성 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서를 포함하며,
    상기 인공 지능 기반의 위장 무늬 생성 알고리즘은, 상기 작전 환경 영상과 생성되는 위장무늬 영상을 포함한 학습 데이터에서 색상 및 모양 분포에 대한 특징 데이터를 추출하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 이용하여 상기 특징 데이터를 반영한 위장무늬를 생성하고,
    상기 위장무늬 생성 모듈은,
    대상되는 작전환경 영상을 입력받는 영상 입력부;
    상기 영상 입력부에서 입력된 작전환경 영상을 상기 대표 색상 정보에 따라 지정된 색상수의 대표 색상 및 색상 분포 비율을 추출하는 색상 추출부;
    지정된 색상수의 대표 색상과 작전환경 영상 내 각 화소들과의 색차 계산을 통해 각 화소에 해당되는 대표 색상을 할당하고, 할당된 대표 색상별 세분화 영상을 생성하는 영상 세분화부;
    상기 작전환경 영상 내 자연환경 요소들의 군집 모양을 추출하기 위해, 작전환경 영상의 대표 색상별 세분화 영상을 세분화 지역 영상으로 구분하고, 대표 색상별 세분화 영상 내 연결 성분 분석을 이용한 단위 모양을 추출하고, 추출된 단위 모양별 휴 모멘트(Hu Moment)를 계산한 후, 휴 모멘트를 이용하여 각 대표 색상 별로 모양 분포를 추출하는 모양 분포 추출부;
    상기 모양 분포 추출부에서 추출한 대표 색상별 모양 분포를 반영하는 위장무늬를 생성하기 위해, 베지에 곡선(Bezier Curve)을 기반으로 하거나 작전환경 영상에서 추출한 단위 모양을 변형하여 복수의 폐곡선 도형을 생성하는 폐곡선 도형 생성부;
    회화적 렌더링(Painterly Rendering) 방식에 기반하여 작전환경 영상 내 대표 색상과 추출된 모양 분포의 빈도수를 고려한 확률 분포를 계산하여, 계산된 확률 분포에 해당되는 폐곡선 도형을 선별하고, 폐곡선 도형의 휴 모멘트를 계산한 후 폐곡선 도형의 휴 모멘트 계산값과 단위 모양 별 휴 모멘트를 대표 색상별로 추출한 확률 분포값이 유사해지도록, 선별된 폐곡선 도형을 순차적으로 렌더링하여 적어도 하나 이상의 위장무늬 영상을 포함한 위장무늬 후보군을 생성하는 위장무늬 후보군 생성부;
    상기 위장무늬 후보군 내 위장 무늬 영상과 작전 환경 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장성능 산출값을 도출하고, 상기 위장 성능 산출값이 최고치를 갖는 위장 무늬 영상을 선별하는 위장 성능 평가부;
    상기 딥러닝 모델에 상기 위장무늬 후보군 내 위장무늬 영상과 작전환경 영상을 입력하고, 사전 학습된 작전 환경 영상에 대한 패턴 특징맵과 위장무늬 영상에 대한 구조 특징맵을 이용하여 위장무늬 후처리를 수행하는 위장무늬 후처리부;
    상기 위장무늬 후처리부에서 후처리된 위장무늬 영상을 색상 양자화를 통해 지정된 색상수를 갖는 최종적인 위장무늬 영상을 정지 영상으로 출력하는 위장무늬 출력부를 포함하는 것인, 인공지능 기반의 위장무늬 생성 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 색상 추출부는,
    자기 조직화 지도(SOM, Self-organizing Map) 및 K-평균 클러스터링(Means Clustering) 알고리즘에 기반하여 상기 작전환경 영상 내 화소들의 지정된 색상수에 따라 색상 군집화를 통해 대표 색상을 추출하는 것인, 인공지능 기반의 위장무늬 생성 시스템.
  7. 제1항에 있어서,
    상기 모양 분포 추출부는,
    상기 영상 세분화부에서 세분화된 대표 색상별 세분화 영상을 세분화 지역 영상으로 구분한 후 모폴로지 연산을 통해 노이즈를 제거하고, 단위 모양 추출을 위한 모폴로지 처리를 수행한 후 대표 색상별 세분화 영상 내 연결 성분 분석을 통해 단위 모양을 추출하고, 추출된 단위 모양별 휴 모멘트(Hu moments)계산하여, 단위 모양별 휴 모멘트를 대표 색상별로 GMM(Gaussian Mixture Model)을 이용하여 확률 분포 추출을 수행하는 것인, 인공지능 기반의 위장무늬 생성 시스템.
  8. 삭제
  9. 작전환경에 따라 디지털화된 위장무늬를 생성하는 인공지능 기반의 위장무늬 생성 시스템에 의해 수행되는 위장무늬 생성 방법에 있어서,
    a) 작전 환경 영상과 대표 색상 정보가 수신되면, 인공 지능 기반의 위장 무늬 생성 알고리즘을 수행하여 상기 작전 환경 영상의 대표 색상 및 모양 분포에 대한 분석 결과에 기반하여 적어도 하나 이상의 위장 무늬를 포함하는 위장무늬 후보군을 생성하는 단계; 및
    b) 상기 위장 무늬 후보군 내 각 위장 무늬에 대해 상기 작전 환경 영상과 위장무늬 영상 간의 유사도를 분석하여 위장 성능을 평가한 후 위장 성능의 평가 결과에 기반하여 위장 성능 산출값의 최고치에 해당하는 위장 무늬 영상을 제공하는 단계를 포함하되,
    상기 인공 지능 기반의 위장 무늬 생성 알고리즘은, 상기 작전 환경 영상과 생성되는 위장무늬 영상을 포함한 학습 데이터에서 색상 및 모양 분포에 대한 특징 데이터를 추출하여 딥러닝 모델을 학습하고, 학습된 딥러닝 모델을 이용하여 상기 특징 데이터를 반영한 위장무늬를 생성하고,
    상기 위장무늬 생성 시스템은,
    대상되는 작전환경 영상을 입력받는 영상 입력부;
    상기 영상 입력부에서 입력된 작전환경 영상을 상기 대표 색상 정보에 따라 지정된 색상수의 대표 색상 및 색상 분포 비율을 추출하는 색상 추출부;
    지정된 색상수의 대표 색상과 작전환경 영상 내 각 화소들과의 색차 계산을 통해 각 화소에 해당되는 대표 색상을 할당하고, 할당된 대표 색상별 세분화 영상을 생성하는 영상 세분화부;
    상기 작전환경 영상 내 자연환경 요소들의 군집 모양을 추출하기 위해, 작전환경 영상의 대표 색상별 세분화 영상을 세분화 지역 영상으로 구분하고, 대표 색상별 세분화 영상 내 연결 성분 분석을 이용한 단위 모양을 추출하고, 추출된 단위 모양별 휴 모멘트(Hu Moment)를 계산한 후, 휴 모멘트를 이용하여 각 대표 색상 별로 모양 분포를 추출하는 모양 분포 추출부;
    상기 모양 분포 추출부에서 추출한 대표 색상별 모양 분포를 반영하는 위장무늬를 생성하기 위해, 베지에 곡선(Bezier Curve)을 기반으로 하거나 작전환경 영상에서 추출한 단위 모양을 변형하여 복수의 폐곡선 도형을 생성하는 폐곡선 도형 생성부;
    회화적 렌더링(Painterly Rendering) 방식에 기반하여 작전환경 영상 내 대표 색상과 추출된 모양 분포의 빈도수를 고려한 확률 분포를 계산하여, 계산된 확률 분포에 해당되는 폐곡선 도형을 선별하고, 폐곡선 도형의 휴 모멘트를 계산한 후 폐곡선 도형의 휴 모멘트 계산값과 단위 모양 별 휴 모멘트를 대표 색상별로 추출한 확률 분포값이 유사해지도록, 선별된 폐곡선 도형을 순차적으로 렌더링하여 적어도 하나 이상의 위장무늬 영상을 포함한 위장무늬 후보군을 생성하는 위장무늬 후보군 생성부;
    상기 위장무늬 후보군 내 위장 무늬 영상과 작전 환경 영상 간의 유사도를 분석하여 작전 환경에서의 위장 무늬에 대한 위장성능 산출값을 도출하고, 상기 위장 성능 산출값이 최고치를 갖는 위장 무늬 영상을 선별하는 위장 성능 평가부;
    상기 딥러닝 모델에 상기 위장무늬 후보군 내 위장무늬 영상과 작전환경 영상을 입력하고, 사전 학습된 작전 환경 영상에 대한 패턴 특징맵과 위장무늬 영상에 대한 구조 특징맵을 이용하여 위장무늬 후처리를 수행하는 위장무늬 후처리부;
    상기 위장무늬 후처리부에서 후처리된 위장무늬 영상을 색상 양자화를 통해 지정된 색상수를 갖는 최종적인 위장무늬 영상을 정지 영상으로 출력하는 위장무늬 출력부를 포함하는 것인, 인공지능 기반의 위장무늬 생성 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020210143200A 2021-10-26 2021-10-26 인공지능 기반의 위장무늬 생성 시스템 및 그 방법 KR102631632B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210143200A KR102631632B1 (ko) 2021-10-26 2021-10-26 인공지능 기반의 위장무늬 생성 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210143200A KR102631632B1 (ko) 2021-10-26 2021-10-26 인공지능 기반의 위장무늬 생성 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20230059230A KR20230059230A (ko) 2023-05-03
KR102631632B1 true KR102631632B1 (ko) 2024-02-01

Family

ID=86380611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210143200A KR102631632B1 (ko) 2021-10-26 2021-10-26 인공지능 기반의 위장무늬 생성 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102631632B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160058288A1 (en) * 2014-08-28 2016-03-03 Mela Sciences, Inc. Three dimensional tissue imaging system and method
CN112364915A (zh) 2020-11-10 2021-02-12 浙江科技学院 一种不可察觉的对抗补丁生成方法及应用

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102364442B1 (ko) * 2019-11-26 2022-02-16 광운대학교 산학협력단 Cnn 기반 이미지 생성 모델을 이용한 카모플라쥬 패턴 생성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160058288A1 (en) * 2014-08-28 2016-03-03 Mela Sciences, Inc. Three dimensional tissue imaging system and method
CN112364915A (zh) 2020-11-10 2021-02-12 浙江科技学院 一种不可察觉的对抗补丁生成方法及应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Xueqiong, et al., Assessment of Camouflage Effectiveness Based on Perceived Color Difference and Gradient Magnitude, Sensors 2020, 20, 4672(2020.08.19.)*

Also Published As

Publication number Publication date
KR20230059230A (ko) 2023-05-03

Similar Documents

Publication Publication Date Title
Wang et al. High-quality facial photo-sketch synthesis using multi-adversarial networks
CN109840531B (zh) 训练多标签分类模型的方法和装置
Li et al. A closed-form solution to photorealistic image stylization
Romero et al. Unsupervised deep feature extraction for remote sensing image classification
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
KR102646889B1 (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
CN110717953B (zh) 基于cnn-lstm组合模型的黑白图片的着色方法和系统
CN112837344A (zh) 一种基于条件对抗生成孪生网络的目标跟踪方法
Chi Self‐organizing map‐based color image segmentation with k‐means clustering and saliency map
KR20210064193A (ko) 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
Huo et al. Semisupervised learning based on a novel iterative optimization model for saliency detection
Wang et al. Research on flame detection algorithm based on multi-feature fusion
Koo Automatic colorization with deep convolutional generative adversarial networks
Palle et al. Automated image and video object detection based on hybrid heuristic-based U-net segmentation and faster region-convolutional neural network-enabled learning
CN113903063A (zh) 基于深度时空网络决策融合的人脸表情识别方法及系统
Schirrmeister et al. When less is more: Simplifying inputs aids neural network understanding
Velastegui et al. The importance of color spaces for image classification using artificial neural networks: a review
KR102631632B1 (ko) 인공지능 기반의 위장무늬 생성 시스템 및 그 방법
US20220164596A1 (en) System and method for evaluating camouflage pattern based on image analysis
Chen et al. Hyperspectral remote sensing IQA via learning multiple kernels from mid-level features
Palomo et al. Image compression and video segmentation using hierarchical self-organization
Buzzelli et al. Consensus-driven illuminant estimation with GANs
CN115359562A (zh) 基于卷积神经网络的手语字母拼写识别方法
Hernandez et al. Classification of color textures with random field models and neural networks
KR102104314B1 (ko) 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right