KR20230094827A - 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법 - Google Patents

화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법 Download PDF

Info

Publication number
KR20230094827A
KR20230094827A KR1020210184275A KR20210184275A KR20230094827A KR 20230094827 A KR20230094827 A KR 20230094827A KR 1020210184275 A KR1020210184275 A KR 1020210184275A KR 20210184275 A KR20210184275 A KR 20210184275A KR 20230094827 A KR20230094827 A KR 20230094827A
Authority
KR
South Korea
Prior art keywords
image
particle
generating
images
depth
Prior art date
Application number
KR1020210184275A
Other languages
English (en)
Other versions
KR102630183B1 (ko
Inventor
옥수열
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020210184275A priority Critical patent/KR102630183B1/ko
Publication of KR20230094827A publication Critical patent/KR20230094827A/ko
Application granted granted Critical
Publication of KR102630183B1 publication Critical patent/KR102630183B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법에 관한 것으로서, 실내 공간에서의 화재 검출을 위한 훈련용 이미지 데이터를 생성하는 장치에 있어서, 상기 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 해당 지점을 기준으로 촬영된 공간 영역에 대한 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상을 획득하는 깊이맵 영상 획득부와, 파티클 시스템 기반의 기설정된 복수의 파티클 입자를 이용하여 불꽃 및 연기를 포함하는 화재 현상을 유체 시뮬레이션 렌더링 기법을 통해 모델링함에 따른 파티클 집합체를 구성한 후 이를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지를 생성하는 파티클 이미지 생성 모듈과, 상기 획득된 깊이맵 영상을 깊이 레벨에 따라 복수의 RGB 이미지로 분할한 깊이 분할 영상을 생성하는 깊이 분할 영상 생성부와, 상기 깊이 분할 영상으로부터 각각의 상기 파티클 이미지상의 상기 파티클 집합체에 대한 픽셀 영역의 깊이값과 인접한 깊이 레벨에 대응되는 한 쌍의 RGB 이미지를 추출하는 RGB 이미지 추출부와, 각각의 상기 파티클 이미지와 이에 대응하여 추출된 상기 한 쌍의 RGB 이미지를 깊이 위치 순서대로 배치하여 합성한 파티클 합성 이미지를 생성하는 합성 이미지 생성부를 포함하는 것을 특징으로 한다.
이에 따라, 다양한 장소에서 발생할 수 있는 화재 상황을 가상으로 연출하여 양질의 학습 데이터를 다량으로 생성할 수 있어 종래의 학습 데이터 부족에 따른 화재 조기 검출 능력의 한계를 극복하고 매우 높은 수준의 검출률을 얻을 수 있는 효과가 있다.

Description

화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법{GENERATING APPARATUS AND METHOD OF IMAGE DATA FOR FIRE DETECTION TRAINING, AND LEARNING APPARATUS AND METHOD USING THE SAME}
본 발명은 건물 실내를 실시간으로 촬영하는 CCTV 영상과 다양한 화재 상황을 모델링한 이미지를 합성하여 양질 및 다량의 화재 검출 훈련용 이미지 데이터를 생성하고 이를 이용한 화재 검출 학습을 수행하는 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법에 관한 것이다.
화재는 특성상 발생하면 대형화재로 확대되어 심각한 인명 및 재산 피해를 유발할 가능성이 높다는 점에서 중요한 도시 문제로 떠오르고 있다. 특히, 화재는 초기 대응이 매우 중요한데 초기 대응을 위해선 무엇보다 화재를 미리 감지하는 것이 우선적으로 요구된다.
이러한 화재 상황을 미리 감지하는 방법으로는 화재 발생 시 필수적으로 수반되는 연기, 열, 적외선 또는 자외선 영역의 복사에너지를 각종 센서들을 이용해 검출하는 방식이 주로 이용되어 왔다.
그러나, 센서는 검출 원리에 따라 검출하기 적합한 감시 환경이 다른 특성을 가지기 때문에 감시 환경의 유형에 따라 적절한 센서 장비를 설치하는 경우에만 충분한 검출 성능을 발휘할 수 있고, 다양한 감시 환경에서 용장성이 높은 동시에 초기 검출이 가능한 화재 센서의 실현은 현재 방재 분야에서 아직까지 해결하지 못한 과제로 남아있다.
한편, 영상 기반의 화재 감지는 전술한 센서 기반의 화재 감지에서 발생하는 여러 문제점들을 해결할 수 있고, 별도의 센서 장비 없이도 기존에 설치된 CCTV를 이용할 수 있어 설치 비용을 최소화할 수 있으며, 경보에 따른 출동 전에 현장의 화재 상태를 미리 확인함으로써 오인 출동의 비율을 줄일 수 있는 장점이 있다.
그러나, 종래의 영상 기반 화재 감지 방법은 단순히 경험적 또는 실험적으로 획득한 임계치를 설정해두고 이를 기준으로 화재 여부를 감지하는 방식에 해당하여 실제 상황에 적용하기 어렵고, 화염과 유사한 개체에 대해 오경보를 발생시킬 수 있다.
게다가, 이미지 기반의 심층학습과 같은 방법을 사용하여 정확도를 높이기 위해서는 많은 학습데이터를 필요로 하는데 실제 화재 영상만으로는 다양한 환경에 대한 데이터를 확보할 수 없기 때문에 실질적으로 이미지 학습 기반의 화재 검출을 수행하기가 어려운 실정이다.
KR 10-1806503 B1 KR 10-2235308 B1
본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 건물 실내를 실시간으로 촬영하는 CCTV 영상과 다양한 화재 상황을 모델링한 이미지를 합성하여 양질 및 다량의 화재 검출 훈련용 이미지 데이터를 생성하고 이를 이용한 화재 검출 학습을 수행하는 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 화재 검출 훈련용 이미지 데이터 생성 장치는, 실내 공간에서의 화재 검출을 위한 훈련용 이미지 데이터를 생성하는 장치에 있어서, 상기 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 해당 지점을 기준으로 촬영된 공간 영역에 대한 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상을 획득하는 깊이맵 영상 획득부와, 파티클 시스템 기반의 기설정된 복수의 파티클 입자를 이용하여 불꽃 및 연기를 포함하는 화재 현상을 유체 시뮬레이션 렌더링 기법을 통해 모델링함에 따른 파티클 집합체를 구성한 후 이를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지를 생성하는 파티클 이미지 생성 모듈과, 상기 획득된 깊이맵 영상을 깊이 레벨에 따라 복수의 RGB 이미지로 분할한 깊이 분할 영상을 생성하는 깊이 분할 영상 생성부와, 상기 깊이 분할 영상으로부터 각각의 상기 파티클 이미지상의 상기 파티클 집합체에 대한 픽셀 영역의 깊이값과 인접한 깊이 레벨에 대응되는 한 쌍의 RGB 이미지를 추출하는 RGB 이미지 추출부와, 각각의 상기 파티클 이미지와 이에 대응하여 추출된 상기 한 쌍의 RGB 이미지를 깊이 위치 순서대로 배치하여 합성한 파티클 합성 이미지를 생성하는 합성 이미지 생성부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 일면에 따른 화재 검출 훈련용 이미지 데이터 생성 방법은, 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 해당 지점을 기준으로 촬영된 공간 영역에 대한 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상을 획득하는 단계와, 파티클 시스템 기반의 기설정된 복수의 파티클 입자를 이용하여 불꽃 및 연기를 포함하는 화재 현상을 유체 시뮬레이션 렌더링 기법을 통해 모델링함에 따른 파티클 집합체를 구성한 후 이를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지를 생성하는 단계와, 상기 획득된 깊이맵 영상을 깊이 레벨에 따라 복수의 RGB 이미지로 분할한 깊이 분할 영상을 생성하는 단계와, 상기 깊이 분할 영상으로부터 각각의 상기 파티클 이미지상의 상기 파티클 집합체에 대한 픽셀 영역의 깊이값과 인접한 깊이 레벨에 대응되는 한 쌍의 RGB 이미지를 추출하는 단계와, 각각의 상기 파티클 이미지와 이에 대응하여 추출된 상기 한 쌍의 RGB 이미지를 깊이 위치 순서대로 배치하여 합성한 파티클 합성 이미지를 생성하는 단계를 포함하는 것을 특징으로 한다.
한편, 전술한 특징을 이용하는 본 발명의 일면에 따른 화재 검출 훈련용 이미지 데이터 학습 장치는, 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 촬영된 3D 깊이맵 영상에 기초한 제1 RGB 영상을 배경으로 하여, 파티클 시스템 기반의 유체 시뮬레이션 렌더링 기법을 통해 화재 현상을 모델링한 파티클 집합체에 대응하는 가상 객체를 상기 깊이맵 영상에 포함된 깊이 정보를 기반으로 합성한 후 상기 가상 객체를 라벨링 처리함에 따라 생성된 학습용 이미지 데이터셋을 저장하는 학습 데이터 저장부와, 상기 제1 RGB 영상에 포함된 가상 객체에 대응하는 상기 파티클 집합체의 특징에 대응하여 검출된 픽셀 또는 픽셀들의 조합인 특징점들을 기반으로 하여 생성되는 상기 학습용 이미지 데이터셋에 기초하여 특징 파라미터들을 획득함에 따라 합성곱 신경망에 따른 이미지 분류가 가능하도록 사전 학습된 학습 모델부와, 상기 복수의 카메라 중 어느 하나에 의해 상기 실내 공간의 소정 지점을 기준으로 실시간 촬영된 제2 RGB 영상에 기초한 현재 시점의 RGB 이미지를 평가대상 이미지로서 획득하는 이미지 획득부와, 상기 평가대상 이미지에 포함된 객체로부터 검출되는 특징점 및 윤곽선 정보와 상기 평가대상 이미지를 구성하는 픽셀들에 대한 콘트라스트값에 기초하여 상기 평가대상 이미지가 가지는 이미지 특징 성분들의 상대적 비율을 계산함에 따른 가중치를 연산하는 가중치 연산 모듈과, 상기 평가대상 이미지를 딥러닝 기반 텐서 플로우 기법을 통해 기저장된 상기 학습용 이미지 데이터셋과 동일한 픽셀 사이즈 및 범위로 정규화함에 따른 전처리 이미지를 생성하는 이미지 전처리부와, 상기 전처리 이미지를 상기 학습 모델부의 입력 데이터로 적용하여 상기 가중치를 이용한 합성곱 연산 기반의 이미지 학습이 수행됨에 따라, 화재 현상에 포함되는 불꽃 및 연기를 다양한 위치 및 크기로 모델링함에 따른 상기 파티클 집합체의 특징에 대응하여 기설정된 복수 개의 클래스 중에서 상기 평가대상 이미지에 대응되는 적어도 하나의 클래스에 대한 확률값을 산출하는 확률값 산출부를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 일면에 따른 화재 검출 훈련용 이미지 데이터 학습 방법은, 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 촬영된 3D 깊이맵 영상에 기초한 제1 RGB 영상을 배경으로 하여, 파티클 시스템 기반의 유체 시뮬레이션 렌더링 기법을 통해 화재 현상을 모델링한 파티클 집합체에 대응하는 가상 객체를 상기 깊이맵 영상에 포함된 깊이 정보를 기반으로 합성한 후 상기 가상 객체를 라벨링 처리함에 따라 생성된 학습용 이미지 데이터셋을 저장하는 단계와, 상기 제1 RGB 영상에 포함된 가상 객체에 대응하는 상기 파티클 집합체의 특징에 대응하여 검출된 픽셀 또는 픽셀들의 조합인 특징점들을 기반으로 하여 생성되는 상기 학습용 이미지 데이터셋에 기초하여 특징 파라미터들을 획득함에 따라 합성곱 신경망에 따른 이미지 분류가 가능하도록 사전 학습을 수행하는 단계와, 상기 복수의 카메라 중 어느 하나에 의해 상기 실내 공간의 소정 지점을 기준으로 실시간 촬영된 제2 RGB 영상에 기초한 현재 시점의 RGB 이미지를 평가대상 이미지로서 획득하는 단계와, 상기 평가대상 이미지에 포함된 객체로부터 검출되는 특징점 및 윤곽선 정보와 상기 평가대상 이미지를 구성하는 픽셀들에 대한 콘트라스트값에 기초하여 상기 평가대상 이미지가 가지는 이미지 특징 성분들의 상대적 비율을 계산함에 따른 가중치를 연산하는 단계와, 상기 평가대상 이미지를 딥러닝 기반 텐서 플로우 기법을 통해 기저장된 상기 학습용 이미지 데이터셋과 동일한 픽셀 사이즈 및 범위로 정규화함에 따른 전처리 이미지를 생성하는 단계와, 상기 전처리 이미지를 상기 사전 학습을 수행한 합성곱 신경망 모델의 입력 데이터로 적용하여 상기 가중치를 이용한 합성곱 연산 기반의 이미지 학습이 수행됨에 따라, 화재 현상에 포함되는 불꽃 및 연기를 다양한 위치 및 크기로 모델링함에 따른 상기 파티클 집합체의 특징에 대응하여 기설정된 복수 개의 클래스 중에서 상기 평가대상 이미지에 대응되는 적어도 하나의 클래스에 대한 확률값을 산출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 파티클 시스템을 기반으로 화재 현상을 시뮬레이션하여 모델링한 가상 화재 이미지를 화재 감지 대상 지역에서 사전 촬영한 영상을 배경으로 합성하는 방식을 통해 학습 데이터를 생성하므로 사용자가 원하는 다양한 장소에 대한 화재 검출 훈련용 학습 데이터를 용이하게 확보할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 학습용 이미지 데이터셋과 동일한 배경 공간에서 획득된 평가대상 이미지를 이용하여 화재 검출 학습을 수행함에 따라 배경 공간의 동일성으로 인해 높은 정확도의 검출 결과를 제공할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 다양한 장소에서 발생할 수 있는 화재 상황을 가상으로 연출하여 양질의 학습 데이터를 다량으로 생성할 수 있어 종래의 학습 데이터 부족에 따른 화재 조기 검출 능력의 한계를 극복하고 매우 높은 수준의 검출률을 얻을 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 생성 장치의 구성을 나타낸 블록도이고,
도 2는 도 1의 깊이맵 영상 획득부에 의해 획득된 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상의 일례를 나타낸 도면이고,
도 3은 도 1의 파티클 이미지 생성 모듈에 의해 구성된 파티클 집합체의 일례를 나타낸 도면이고,
도 4는 도 1의 합성 이미지 생성부에 의해 파티클 합성 이미지를 생성하는 과정을 설명하기 위한 도면이고,
도 5는 도 1의 합성 이미지 생성부에 의해 파티클 이미지와 합성되는 일부 RGB 이미지를 투명 처리하는 과정을 설명하기 위한 도면이고,
도 6은 도 1의 경계상자 생성부 및 경계상자 변환부에 의해 3D 경계상자 및 이에 기초한 2D 경계영역이 생성되는 과정을 설명하기 위한 도면이고,
도 7은 도 1의 라벨링 처리부 및 제어부에 의해 라벨링 이미지를 기설정된 기준 개수만큼 반복 생성하는 과정을 설명하기 위한 도면이고,
도 8은 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 생성 방법을 나타낸 순서도이고,
도 9는 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 학습 장치의 구성을 나타낸 블록도이고,
도 10은 도 9의 출력부에 의해 평가대상 이미지상에 검출영역 및 이에 대응되는 검출 확률값을 표시하는 일례를 나타낸 도면이고,
도 11은 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 학습 방법을 나타낸 순서도이다.
이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1은 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 생성 장치의 구성을 나타낸 블록도이고, 도 2는 도 1의 깊이맵 영상 획득부에 의해 획득된 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상의 일례를 나타낸 도면이고, 도 3은 도 1의 파티클 이미지 생성 모듈에 의해 구성된 파티클 집합체의 일례를 나타낸 도면이고, 도 4는 도 1의 합성 이미지 생성부에 의해 파티클 합성 이미지를 생성하는 과정을 설명하기 위한 도면이고, 도 5는 도 1의 합성 이미지 생성부에 의해 파티클 이미지와 합성되는 일부 RGB 이미지를 투명 처리하는 과정을 설명하기 위한 도면이고, 도 6은 도 1의 경계상자 생성부 및 경계상자 변환부에 의해 3D 경계상자 및 이에 기초한 2D 경계영역이 생성되는 과정을 설명하기 위한 도면이고, 도 7은 도 1의 라벨링 처리부 및 제어부에 의해 라벨링 이미지를 기설정된 기준 개수만큼 반복 생성하는 과정을 설명하기 위한 도면이고, 도 8은 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 생성 방법을 나타낸 순서도이다.
이하, 전술한 도면들을 참조하여 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법에 대해 설명하도록 한다.
본 발명의 일 실시예에 따른 이미지 데이터 생성 장치(10)는 실내 공간에서의 화재 검출을 위한 훈련용 이미지 데이터를 생성하는 장치에 관한 것으로서, 도 1에 도시된 바와 같이 크게 깊이맵 영상 획득부(100), 파티클 이미지 생성 모듈(200), 깊이 분할 영상 생성부(120), RGB 이미지 추출부(300) 및 합성 이미지 생성부(400)를 포함하여 구성된다.
깊이맵 영상 획득부(100)는 실내 공간에 대한 3D 깊이맵 영상(MD)을 획득하기 위한 것이다(S100).
깊이맵 영상 획득부(100)는 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라(Cam1,Cam2,…,CamN, N은 카메라 수)를 통해 해당 지점을 기준으로 촬영된 공간 영역에 대한 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상(MD)을 획득할 수 있다.
여기서, 상기 카메라는 RGB 센서와 깊이 센서를 포함하는 RGB-D 카메라일 수 있고, 3D 깊이맵 영상(MD)은 상기 RGB 센서에 의해 획득되는 RGB 색정보 영상(도 2a)과 상기 깊이 센서에 의해 획득되는 깊이 정보 영상(도 2b)을 포함할 수 있다.
파티클 이미지 생성 모듈(200)은 다양한 크기 및 형상을 가지는 불꽃 또는 연기를 포함하는 가상 화재 현상을 모델링한 파티클 집합체에 대한 복수의 파티클 이미지를 생성한다(S200).
구체적으로, 파티클 이미지 생성 모듈(200)은 파티클 시스템 기반의 기설정된 복수의 파티클 입자를 이용하여 불꽃 및 연기를 포함하는 화재 현상을 유체 시뮬레이션 렌더링 기법을 통해 모델링함에 따른 파티클 집합체(Pa)를 구성한 후, 이를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지(Pi)를 생성할 수 있다.
이와 관련하여, 파티클 이미지 생성 모듈(200)은 특성 정보 입력부(210), 파티클 집합체 구성부(220) 및 파티클 이미지 생성부(230)를 세부 구성으로 포함할 수 있다.
특성 정보 입력부(210)는 사용자로부터 상기 파티클 입자에 대한 색상, 크기 및 텍스처 좌표를 포함하는 파티클 특성 정보를 입력받는다(S220).
여기서, 상기 파티클 특성 정보는 가상 공간상에 사용자가 원하는 시각 효과(VFX; Visual Effect)를 시뮬레이션하는 파티클 시스템 기반 프로그램인 유니티(Unity)를 통해 사용자로부터 입력받는 해당 시각 효과를 구성하는 복수 개의 파티클 입자 각각에 대한 설정값으로서, 가상 공간 내의 파티클 입자의 위치(_position), 크기(_size), 이동 속도(_velocity), 가속도(_acceleration), 색상(_color) 등을 포함할 수 있다.
파티클 집합체 구성부(220)는 특성 정보 입력부(210)를 통해 사용자로부터 복수의 상기 파티클 입자 각각에 대응하여 입력된 파티클 특성 정보에 기초하여, 도 3에 도시된 바와 같이 불꽃 및 연기와 같은 유체 엔티티를 다양한 위치 및 크기로 시뮬레이션하여 화재 현상을 모델링함(34)에 따른 복수의 파티클 집합체(31,32,33)를 구성한다(S240).
파티클 이미지 생성부(230)는 파티클 집합체(Pa)를 깊이맵 영상(MD)과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지(Pi)를 생성한다(S260).
깊이 분할 영상 생성부(120)는 깊이맵 영상 획득부(100)에 의해 획득된 깊이맵 영상(MD)을 깊이 레벨에 따라 복수의 RGB 이미지(IR)로 분할한 깊이 분할 영상(SD)을 생성한다(S400).
RGB 이미지 추출부(300)는 깊이 분할 영상(SD)으로부터 각각의 파티클 이미지(Pi)상의 파티클 집합체(Pa)에 대한 픽셀 영역의 깊이값과 인접한 깊이 레벨에 대응되는 한 쌍의 RGB 이미지(IR1,IR2)를 추출한다(S500).
합성 이미지 생성부(400)는 각각의 파티클 이미지(Pi)와 이에 대응하여 추출된 한 쌍의 RGB 이미지(IR1,IR2)를 깊이 위치 순서대로 배치하여 합성한 파티클 합성 이미지(Ipc)를 생성한다(S600).
예컨대, 도 4를 참조하면, 파티클 이미지 생성부(230)에 의해 복수의 파티클 이미지(P1,P2,P3)가 생성되고 RGB 이미지 추출부(300)에 의해 각 파티클 이미지의 깊이값과 인접한 깊이 레벨(Depth Level)에 대응되는 복수의 RGB 이미지(41,42,43)가 추출된 경우, 합성 이미지 생성부(400)는 복수의 파티클 이미지(P1,P2,P3) 및 RGB 이미지(41,42,43)를 깊이 위치 순서대로 배치함에 따라 가상 객체인 '화재 파티클'에 대응하는 각 파티클 이미지를 기준으로 전후 위치에 실내 공간을 배경으로 하는 한 쌍의 RGB 이미지를 배치한 후 이를 하나로 합성하여 파티클 합성 이미지(Ipc)를 생성하게 된다.
여기서, 합성 이미지 생성부(400)는 도 5에 도시된 바와 같이 파티클 합성 이미지(Ipc)의 생성 시 파티클 이미지(52) 및 이에 대응되는 한 쌍의 RGB 이미지(51,53)를 깊이 위치 순서(Depth Level)에 따라 배치하되, 한 쌍의 RGB 이미지(51,53) 중에서 깊이 위치가 상대적으로 먼 위치에 있는 해당 RGB 이미지(53)상의 픽셀 영역의 RGBA 색상값의 투명도를 조절하여 투명하게 처리한 후 합성할 수 있다.
또한, 본 발명의 일 실시예에 따른 이미지 데이터 생성 장치(10)는 전술한 구성들과 더불어 도 1에 도시된 바와 같이 저장부(240), 경계상자 생성부(250), 경계상자 변환부(260), 라벨링 처리부(500), 제어부(520) 및 이미지데이터셋 저장부(540)를 더 포함할 수 있다.
저장부(240)는 파티클 이미지 생성부(230)에 의해 생성된 복수의 파티클 이미지(Pi) 각각에 대응되는 파티클 집합체(Pa)에 대한 픽셀 영역의 크기 및 위치 정보를 각 파티클 이미지별로 저장한다(S320).
경계상자 생성부(250)는 각각의 파티클 이미지(Pi)에 대응하는 파티클 집합체(Pa)에 대한 픽셀 영역의 크기 및 위치 정보를 기준으로 해당 파티클 집합체를 둘러싸는 최소 부피의 육면체 형상에 대응하는 경계상자(BB; bounding box)를 생성한다(S340).
경계상자 변환부(260)는 경계상자 생성부(250)에 의해 생성된 경계상자(BB)의 각 꼭지점을 2차원 평면상의 좌표로 변환한 결과에 대응하는 점들을 모두 포함하는 최소 크기의 사각형의 경계영역(BA)을 생성한다(S360).
경계상자 변환부(260)는 생성된 경계영역(BA)의 크기 및 위치 정보를 획득하여 이에 대응되는 파티클 이미지(Pi)에 매칭 저장한다.
라벨링 처리부(500)는 각각의 파티클 합성 이미지(Ipc)에 대하여 해당 파티클 합성 이미지의 합성에 사용된 파티클 이미지(Pi)에 대한 경계영역(BA)의 크기 및 위치정보에 대응하는 특정 영역을 캡처해 라벨링 처리한 라벨링 이미지(IL)를 생성한다(S720).
예컨대, 도 6을 참조하면, 복수의 파티클 이미지 각각에 대응하는 파티클 집합체를 둘러싸는 경계상자(B1,B2,B3)가 경계상자 생성부(250)에 의해 생성되면(61), 경계상자 변환부(260)가 경계상자(B1,B2,B3)의 각 꼭지점을 좌표 변환한 경계영역(A1,A2,A3)을 생성한 후(62) 해당 경계영역(A)의 크기 및 위치 정보를 획득하고(63), 라벨링 처리부(500)가 상기 경계영역을 캡처해 라벨링 처리한 라벨링 이미지를 생성하게 되며, 이러한 동작들은 딥러닝 기반 파이썬(Python) 언어를 기반으로 하는 코딩 설계(64)를 통해 구현될 수 있다.
제어부(520)는 라벨링 처리부(500)에 의해 생성된 라벨링 이미지(IL)의 개수(Ni)가 기설정된 기준개수(Nr)에 도달할 때까지 라벨링 이미지(71)를 반복해서 생성하도록 라벨링 처리부(500)를 제어한다.
여기서, 제어부(520)는 도 7 및 도 8에 도시된 바와 같이 라벨링 이미지(IL)의 개수(Ni)와 기준개수(Nr)가 일치하는 조건이 충족될 때까지 라벨링 이미지(71)의 생성 단계(S720)를 반복하도록 하는 명령에 대한 제어 알고리즘을 코딩함(72)에 따라 라벨링 처리부(500)를 제어할 수 있다(S740).
이미지 데이터셋 저장부(540)는 기준개수(Nr)만큼 생성된 라벨링 이미지(IL)를 이용하여 딥러닝 기반 이미지 분류 학습을 수행하기 위한 이미지 데이터셋(Ds)을 생성하여 저장한다.
전술한 도 1에 도시된 구성요소들에 대한 설명을 바탕으로 하여 본 발명의 일 실시예에 따른 이미지 데이터 생성 방법을 도 8을 참조하여 설명하면 다음과 같다.
먼저, 복수의 카메라를 통해 실내 공간 영역에 대한 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상(MD)을 획득하고(S100), 파티클 시스템을 기반으로 화재 현상을 모델링한 파티클 집합체(Pa)를 깊이맵 영상(MD)과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지(Pi)를 생성한다(S200).
구체적으로, 상기 S200 단계는, 사용자로부터 파티클 입자에 대한 파티클 특성 정보를 입력받으면(S220), 상기 입력된 파티클 특성 정보에 기초하여 불꽃 및 연기와 같은 유체 엔티티를 다양한 위치 및 크기로 시뮬레이션함에 따른 파티클 집합체(Pa)를 구성하고(S240), 상기 구성된 파티클 집합체(Pa)를 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지(Pi)를 생성하는 것(S260)일 수 있다.
다음으로, 상기 S200 단계에 생성된 복수의 파티클 이미지(Pi) 각각에 대응되는 파티클 집합체(Pa)에 대한 픽셀 영역의 크기 및 위치 정보를 각 파티클 이미지별로 저장한 후(S320), 각각의 파티클 이미지(Pi)에 대응하는 파티클 집합체(Pa)에 대한 픽셀 영역의 크기 및 위치 정보를 기준으로 해당 파티클 집합체를 둘러싸는 최소 부피의 육면체 형상에 대응하는 경계상자(BB)를 생성하면(S340), 경계상자(BB)의 각 꼭지점을 2차원 평면상의 좌표로 변환한 결과에 대응하는 점들을 모두 포함하는 최소 크기의 사각형의 경계영역(BA)을 생성하고(S360), 경계영역(BA)의 크기 및 위치 정보를 해당 파티클 이미지에 매칭 저장한다.
다음으로, 상기 S100 단계에 획득된 깊이맵 영상(MD)을 깊이 레벨에 따라 복수의 RGB 이미지(IR)로 분할한 깊이 분할 영상(SD)을 생성한 후(S400), 깊이 분할 영상(SD)으로부터 각각의 파티클 이미지(Pi)상의 파티클 집합체(Pa)에 대한 픽셀 영역의 깊이값과 인접한 깊이 레벨에 대응되는 한 쌍의 RGB 이미지(IR1,IR2)를 추출하면(S500), 상기 추출된 한 쌍의 RGB 이미지(IR1,IR2)와 이에 대응되는 파티클 이미지(Pi)를 깊이 위치 순서대로 배치하여 합성한 파티클 합성 이미지(Ipc)를 생성한다(S600).
다음으로, 각각의 파티클 합성 이미지(Ipc)에 대하여 해당 파티클 합성 이미지의 합성에 사용된 파티클 이미지(Pi)에 대한 경계영역(BA)에 대응하는 특정 영역을 캡처해 라벨링 처리한 라벨링 이미지(IL)를 생성하되(S720), 상기 생성된 라벨링 이미지의 개수(Ni)가 기설정된 기준개수(Nr)에 도달할 때까지 라벨링 이미지(IL)를 반복해서 생성하도록 제어하고(S740), 상기 740 단계가 완료된 후 기준개수(Nr)만큼 생성된 라벨링 이미지(IL)를 이용하여 딥러닝 기반 이미지 분류 학습을 수행하기 위한 이미지 데이터셋(Ds)을 생성하여 저장한다(S760).
한편, 본 발명은 전술한 화재 검출 훈련용 이미지 데이터 생성 장치(10)에 의해 생성되는 이미지 데이터를 이용하여 화재 검출 훈련을 위한 이미지 분류 학습을 수행하는 학습 장치 및 방법에 대해서도 설명하고자 한다.
이와 관련하여, 도 9는 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 학습 장치의 구성을 나타낸 블록도이고, 도 10은 도 9의 출력부에 의해 평가대상 이미지상에 검출영역 및 이에 대응되는 검출 확률값을 표시하는 일례를 나타낸 도면이고, 도 11은 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 학습 방법을 나타낸 순서도이다.
먼저, 본 발명의 일 실시예에 따른 화재 검출 훈련용 이미지 데이터 학습 장치(80)는 도 9에 도시된 바와 같이 학습데이터 저장부(600), 학습 모델부(620), 이미지 획득부(700), 가중치 연산 모듈(720), 이미지 전처리부(740) 및 확률값 산출부(800)를 포함하여 구성된다.
학습데이터 저장부(600)는 딥러닝 기반 이미지 분류 학습을 수행하기 위한 학습용 이미지 데이터셋(Ds)을 저장하기 위한 것이다.
여기서, 상기 학습용 이미지 데이터셋(Ds)은, 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라(Cam1,Cam2,…,CamN, N은 카메라 수)를 통해 촬영된 3D 깊이맵 영상(MD)에 기초한 제1 RGB 영상(IR-1)을 배경으로 하여, 파티클 시스템 기반의 유체 시뮬레이션 렌더링 기법을 통해 화재 현상을 모델링한 파티클 집합체(Pa)에 대응하는 가상 객체를 깊이맵 영상(MD)에 포함된 깊이 정보를 기반으로 합성한 후 상기 가상 객체를 라벨링 처리함에 따라 생성되는 것일 수 있다.
학습 모델부(620)는 제1 RGB 영상(IR-1)에 포함된 가상 객체에 대응하는 파티클 집합체(Pa)의 특징에 대응하여 검출된 픽셀 또는 픽셀들의 조합인 특징점들을 기반으로 하여 생성되는 학습용 이미지 데이터셋(Ds)에 기초하여 특징 파라미터들을 획득함에 따라 합성곱 신경망에 따른 이미지 분류가 가능하도록 사전 학습된다.
이때, 학습 모델부(620)는 CNN 모델, YOLO 모델, Fast R-CNN 모델 중 어느 하나의 딥러닝 학습 모델에 의해 구현되는 것일 수 있다.
이미지 획득부(700)는 복수의 카메라 중 어느 하나에 의해 3D 깊이맵 영상(MD)과 동일한 실내 공간의 소정 지점을 기준으로 실시간 촬영된 제2 RGB 영상(IR-2)에 기초한 현재 시점의 RGB 이미지를 평가대상 이미지(IE)로서 획득한다.
가중치 연산 모듈(720)은 평가대상 이미지(IE)에 포함된 객체로부터 검출되는 특징점 및 윤곽선 정보와 평가대상 이미지(IE)를 구성하는 픽셀들에 대한 콘트라스트값에 기초하여, 평가대상 이미지(IE)가 가지는 이미지 특징 성분들의 상대적 비율을 계산함에 따른 가중치(w)를 연산한다.
이미지 전처리부(740)는 평가대상 이미지(IE)를 딥러닝 기반 텐서 플로우 기법을 통해 학습데이터 저장부(600)에 기저장된 학습용 이미지 데이터셋(Ds)과 동일한 픽셀 사이즈 및 범위로 정규화함에 따른 전처리 이미지(Ip)를 생성한다.
확률값 산출부(800)는 전처리 이미지(Ip)를 학습 모델부(620)의 입력 데이터로 적용하여 가중치(w)를 이용한 합성곱 연산 기반의 이미지 학습이 수행됨에 따라, 화재 현상에 포함되는 불꽃 및 연기를 다양한 위치 및 크기로 모델링함에 따른 파티클 집합체(Pa)의 특징에 대응하여 기설정된 복수 개의 클래스 중에서 평가대상 이미지(IE)에 대응되는 적어도 하나의 클래스에 대한 검출 확률값을 산출한다.
또한, 본 발명의 일 실시예에 따른 이미지 데이터 학습 장치(80)는 전술한 구성들과 더불어 도 8에 도시된 바와 같이 위치 데이터 획득부(640), 검출영역 생성부(820) 및 출력부(900)를 더 포함할 수 있다.
위치 데이터 획득부(640)는 복수의 카메라 각각의 촬영 위치에 따른 위치값을 기록함에 따른 위치 데이터를 획득한다.
검출영역 생성부(820)는 확률값 산출부(800)에 의해 소정 클래스에 대하여 산출된 검출 확률값이 기설정된 기준값 이상인 경우, 해당 클래스에 대응되는 상기 평가대상 이미지(IE) 내 특정 객체에 대한 윤곽선 정보에 기초한 객체 영역을 둘러싸는 최소 크기의 사각형의 검출영역(DA)을 생성하고 이에 대한 위치 및 크기 정보를 획득한다.
출력부(900)는 평가대상 이미지(IE)상에서 검출영역 생성부(820)에 의해 획득된 위치 및 크기 정보에 대응하도록 검출영역(DA)을 강조 표시하되, 확률값 산출부(800)에 의해 검출영역(BA)에 대응하여 산출된 검출 확률값을 해당 검출영역의 경계 주변에 표시한다.
출력부(900)는 평가대상 이미지(IE)상에서 검출영역(DA)의 경계 주변에 평가대상 이미지(IE)를 포함하는 제2 RGB 영상(IR-2)이 촬영된 카메라에 대응하여 획득된 위치 데이터를 표시할 수 있다.
예컨대, 도 10을 참조하면, 검출영역 생성부(820)에 의해 불꽃을 포함하는 화염 객체를 둘러싸는 검출영역(DA)이 생성될 때, 출력부(900)는 상기 생성된 검출영역(12)을 평가대상 이미지(IE)상에 강조 표시하되, 검출영역(12)의 경계 주변에 해당 검출영역에 대응하는 검출 확률값(0.85) 및 픽셀좌표(X1,Y1)와 평가대상 이미지(IE)에 대응되는 카메라의 위치 데이터(Cam5) 중 적어도 하나를 표시할 수 있다.
전술한 도 9에 도시된 구성요소들에 대한 설명을 바탕으로 하여 본 발명의 일 실시예에 따른 이미지 데이터 학습 방법을 도 11을 참조하여 설명하면 다음과 같다.
먼저, 실내 공간 영역을 촬영한 3D 깊이맵 영상(MD)에 기초한 제1 RGB 영상(IR-1)을 배경으로 하여 파티클 시스템을 기반으로 화재 현상을 모델링한 파티클 집합체(Pa)에 대응하는 가상 객체를 깊이맵 영상(MD)에 포함된 깊이 정보를 기반으로 합성한 후 상기 가상 객체를 라벨링 처리함에 따라 생성된 학습용 이미지 데이터셋(Ds)을 저장하고(S800), 상기 저장된 학습용 이미지 데이터셋(Ds)에 기초하여 특징 파라미터들을 획득함에 따라 합성곱 신경망에 따른 이미지 분류가 가능하도록 사전 학습을 수행한다(S810).
다음으로, 복수의 카메라 각각의 촬영 위치에 따른 위치값을 기록함에 따른 위치 데이터를 획득하고(S820), 복수의 카메라 중 어느 하나에 의해 상기 실내 공간의 소정 지점을 기준으로 실시간 촬영된 제2 RGB 영상(IR-2)에 기초한 현재 시점의 RGB 이미지를 평가대상 이미지(IE)로서 획득한다(S830).
다음으로, 평가대상 이미지(IE)에 포함된 객체로부터 검출되는 특징점 및 윤곽선 정보와 평가대상 이미지(IE)를 구성하는 픽셀들에 대한 콘트라스트값에 기초하여 평가대상 이미지(IE)에 대한 가중치(w)를 연산하고(S840), 평가대상 이미지(IE)를 딥러닝 기반 텐서 플로우 기법을 통해 기저장된 학습용 이미지 데이터셋(Ds)과 동일한 픽셀 사이즈 및 범위로 정규화함에 따른 전처리 이미지(Ip)를 생성한 후(S850), 전처리 이미지(Ip)를 상기 S810 단계에서 사전 학습을 수행한 합성곱 신경망 모델의 입력 데이터로 적용하여 가중치(w)를 이용한 합성곱 연산 기반의 이미지 학습이 수행됨에 따라, 기설정된 복수 개의 클래스 중에서 평가대상 이미지(IE)에 대응되는 적어도 하나의 클래스에 대한 확률값을 산출한다(S900).
다음으로, 상기 S900 단계에 소정 클래스에 대하여 산출된 확률값이 기설정된 기준값 이상인 경우, 해당 클래스에 대응되는 평가대상 이미지(IE) 내 특정 객체에 대한 윤곽선 정보에 기초한 객체 영역을 둘러싸는 최소 크기의 사각형의 검출영역(DA)을 생성하고 이에 대한 위치 및 크기 정보를 획득한 후(S910), 상기 획득된 위치 및 크기 정보에 대응하도록 평가대상 이미지(IE)상에서 검출영역(DA)을 강조 표시한다(S920).
이때, 상기 S920 단계에서는, 해당 검출영역(DA)의 경계 주변에 상기 S900 단계에 검출영역(DA)에 대응하여 산출된 검출 확률값과, 상기 S910 단계에 검출영역(DA)에 대응하여 획득된 픽셀좌표와, 상기 S820 단계에 평가대상 이미지(IE)에 대응하여 획득된 카메라의 위치 데이터 중 적어도 하나를 표시할 수 있다.
이에 따라, 전술한 본 발명에 의하면, 파티클 시스템을 기반으로 화재 현상을 시뮬레이션하여 모델링한 가상 화재 이미지를 화재 감지 대상 지역에서 사전 촬영한 영상을 배경으로 합성하는 방식을 통해 학습 데이터를 생성하므로 사용자가 원하는 다양한 장소에 대한 화재 검출 훈련용 학습 데이터를 용이하게 확보할 수 있다.
또한, 본 발명에 의하면, 학습용 이미지 데이터셋과 동일한 배경 공간에서 획득된 평가대상 이미지를 이용하여 화재 검출 학습을 수행함에 따라 배경 공간의 동일성으로 인해 높은 정확도의 검출 결과를 제공할 수 있다.
또한, 본 발명에 의하면, 다양한 장소에서 발생할 수 있는 화재 상황을 가상으로 연출하여 양질의 학습 데이터를 다량으로 생성할 수 있어 종래의 학습 데이터 부족에 따른 화재 조기 검출 능력의 한계를 극복하고 매우 높은 수준의 검출률을 얻을 수 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.
또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 이미지 데이터 생성 장치 80: 이미지 데이터 학습 장치
100: 깊이맵 영상 획득부 120: 깊이분할 영상 생성부
200: 파티클 이미지 생성 모듈 210: 특성 정보 입력부
220: 파티클 집합체 구성부 230: 파티클 이미지 생성부
240: 저장부 250: 경계상자 생성부
260: 경계상자 변환부 300: RGB 이미지 추출부
400: 합성 이미지 생성부 500: 라벨링 처리부
520: 제어부 540: 이미지 데이터셋 저장부
600: 학습 데이터 저장부 620: 학습 모델부
640: 위치 데이터 획득부 700: 이미지 획득부
720: 가중치 연산 모듈 740: 이미지 전처리부
800: 확률값 산출부 820: 검출영역 생성부
900: 출력부

Claims (16)

  1. 실내 공간에서의 화재 검출을 위한 훈련용 이미지 데이터를 생성하는 장치에 있어서,
    상기 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 해당 지점을 기준으로 촬영된 공간 영역에 대한 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상을 획득하는 깊이맵 영상 획득부;
    파티클 시스템 기반의 기설정된 복수의 파티클 입자를 이용하여 불꽃 및 연기를 포함하는 화재 현상을 유체 시뮬레이션 렌더링 기법을 통해 모델링함에 따른 파티클 집합체를 구성한 후 이를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지를 생성하는 파티클 이미지 생성 모듈;
    상기 획득된 깊이맵 영상을 깊이 레벨에 따라 복수의 RGB 이미지로 분할한 깊이 분할 영상을 생성하는 깊이 분할 영상 생성부;
    상기 깊이 분할 영상으로부터 각각의 상기 파티클 이미지상의 상기 파티클 집합체에 대한 픽셀 영역의 깊이값과 인접한 깊이 레벨에 대응되는 한 쌍의 RGB 이미지를 추출하는 RGB 이미지 추출부; 및
    각각의 상기 파티클 이미지와 이에 대응하여 추출된 상기 한 쌍의 RGB 이미지를 깊이 위치 순서대로 배치하여 합성한 파티클 합성 이미지를 생성하는 합성 이미지 생성부;를 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 장치.
  2. 제1항에 있어서,
    상기 합성 이미지 생성부는,
    상기 파티클 합성 이미지의 생성 시 상기 파티클 이미지 및 이에 대응되는 상기 한 쌍의 RGB 이미지를 깊이 위치 순서대로 배치하되, 상기 한 쌍의 RGB 이미지 중에서 상기 깊이 위치가 상대적으로 먼 위치에 있는 해당 RGB 이미지상의 픽셀 영역의 RGBA 색상값의 투명도를 조절하여 투명하게 처리한 후 합성하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 장치.
  3. 제1항에 있어서,
    상기 파티클 이미지 생성 모듈은,
    사용자로부터 상기 파티클 입자에 대한 색상, 크기 및 텍스처 좌표를 포함하는 파티클 특성 정보를 입력받는 특성 정보 입력부;
    복수의 상기 파티클 입자 각각에 대응하여 입력된 파티클 특성 정보에 기초하여 불꽃 및 연기와 같은 유체 엔티티를 다양한 위치 및 크기로 시뮬레이션하여 화재 현상을 모델링함에 따른 파티클 집합체를 구성하는 파티클 집합체 구성부; 및
    상기 구성된 파티클 집합체를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지를 생성하는 파티클 이미지 생성부;를 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 장치.
  4. 제3항에 있어서,
    상기 복수의 파티클 이미지 각각에 대응되는 상기 파티클 집합체에 대한 픽셀 영역의 크기 및 위치 정보를 각 파티클 이미지별로 저장하는 저장부;
    각각의 상기 파티클 이미지에 대응하는 상기 파티클 집합체에 대한 픽셀 영역의 크기 및 위치 정보를 기준으로 해당 파티클 집합체를 둘러싸는 최소 부피의 육면체 형상에 대응하는 경계상자를 생성하는 경계상자 생성부; 및
    상기 생성된 경계상자의 각 꼭지점을 2차원 평면상의 좌표로 변환한 결과에 대응하는 점들을 모두 포함하는 최소 크기의 사각형의 경계영역을 생성한 후 해당 경계영역의 크기 및 위치 정보를 획득하여 이에 대응되는 상기 파티클 이미지에 매칭 저장하는 경계상자 변환부;를 더 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 장치.
  5. 제4항에 있어서,
    각각의 상기 파티클 합성 이미지에 대하여 해당 파티클 합성 이미지의 합성에 사용된 상기 파티클 이미지에 대한 상기 경계영역의 크기 및 위치정보에 대응하는 특정 영역을 캡처해 라벨링 처리한 라벨링 이미지를 생성하는 라벨링 처리부;
    상기 라벨링 이미지의 개수가 기설정된 기준개수에 도달할 때까지 상기 라벨링 이미지를 반복해서 생성하도록 상기 라벨링 처리부를 제어하는 제어부; 및
    상기 기준개수만큼 생성된 상기 라벨링 이미지를 이용하여 딥러닝 기반 이미지 분류 학습을 수행하기 위한 이미지 데이터셋을 생성하여 저장하는 이미지 데이터셋 저장부;를 더 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 장치.
  6. 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 해당 지점을 기준으로 촬영된 공간 영역에 대한 RGB 색상 정보 및 깊이 정보를 포함하는 3D 깊이맵 영상을 획득하는 단계;
    파티클 시스템 기반의 기설정된 복수의 파티클 입자를 이용하여 불꽃 및 연기를 포함하는 화재 현상을 유체 시뮬레이션 렌더링 기법을 통해 모델링함에 따른 파티클 집합체를 구성한 후 이를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지를 생성하는 단계;
    상기 획득된 깊이맵 영상을 깊이 레벨에 따라 복수의 RGB 이미지로 분할한 깊이 분할 영상을 생성하는 단계;
    상기 깊이 분할 영상으로부터 각각의 상기 파티클 이미지상의 상기 파티클 집합체에 대한 픽셀 영역의 깊이값과 인접한 깊이 레벨에 대응되는 한 쌍의 RGB 이미지를 추출하는 단계; 및
    각각의 상기 파티클 이미지와 이에 대응하여 추출된 상기 한 쌍의 RGB 이미지를 깊이 위치 순서대로 배치하여 합성한 파티클 합성 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 방법.
  7. 제6항에 있어서,
    상기 합성 이미지를 생성하는 단계는,
    상기 파티클 합성 이미지의 생성 시 상기 파티클 이미지 및 이에 대응되는 상기 한 쌍의 RGB 이미지를 깊이 위치 순서대로 배치하되, 상기 한 쌍의 RGB 이미지 중에서 상기 깊이 위치가 상대적으로 먼 위치에 있는 해당 RGB 이미지상의 픽셀 영역의 RGBA 색상값의 투명도를 조절하여 투명하게 처리한 후 합성하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 방법.
  8. 제6항에 있어서,
    상기 파티클 이미지를 생성하는 단계는,
    사용자로부터 상기 파티클 입자에 대한 색상, 크기 및 텍스처 좌표를 포함하는 파티클 특성 정보를 입력받는 단계;
    복수의 상기 파티클 입자 각각에 대응하여 입력된 파티클 특성 정보에 기초하여 불꽃 및 연기와 같은 유체 엔티티를 다양한 위치 및 크기로 시뮬레이션하여 화재 현상을 모델링함에 따른 파티클 집합체를 구성하는 단계; 및
    상기 구성된 파티클 집합체를 상기 깊이맵 영상과 동일한 영역 범위를 가지는 가상 평면상의 서로 다른 좌표 위치에 배치한 복수의 파티클 이미지를 생성하는 단계;를 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 방법.
  9. 제8항에 있어서,
    상기 파티클 이미지를 생성하는 단계와 상기 깊이 분할 영상을 생성하는 단계 사이에,
    상기 복수의 파티클 이미지 각각에 대응되는 상기 파티클 집합체에 대한 픽셀 영역의 크기 및 위치 정보를 각 파티클 이미지별로 저장하는 단계;
    각각의 상기 파티클 이미지에 대응하는 상기 파티클 집합체에 대한 픽셀 영역의 크기 및 위치 정보를 기준으로 해당 파티클 집합체를 둘러싸는 최소 부피의 육면체 형상에 대응하는 경계상자를 생성하는 단계;
    상기 생성된 경계상자의 각 꼭지점을 2차원 평면상의 좌표로 변환한 결과에 대응하는 점들을 모두 포함하는 최소 크기의 사각형의 경계영역을 생성한 후 해당 경계영역의 크기 및 위치 정보를 획득하여 이에 대응되는 상기 파티클 이미지에 매칭 저장하는 단계;를 더 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 방법.
  10. 제9항에 있어서,
    상기 파티클 합성 이미지를 생성하는 단계 이후에,
    각각의 상기 파티클 합성 이미지에 대하여 해당 파티클 합성 이미지의 합성에 사용된 상기 파티클 이미지에 대한 상기 경계영역의 크기 및 위치정보에 대응하는 특정 영역을 캡처해 라벨링 처리한 라벨링 이미지를 생성하는 단계;
    상기 라벨링 이미지의 개수가 기설정된 기준개수에 도달할 때까지 상기 라벨링 이미지를 반복해서 생성하도록 제어하는 단계; 및
    상기 기준개수만큼 생성된 상기 라벨링 이미지를 이용하여 딥러닝 기반 이미지 분류 학습을 수행하기 위한 이미지 데이터셋을 생성하여 저장하는 단계;를 더 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 생성 방법.
  11. 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 촬영된 3D 깊이맵 영상에 기초한 제1 RGB 영상을 배경으로 하여, 파티클 시스템 기반의 유체 시뮬레이션 렌더링 기법을 통해 화재 현상을 모델링한 파티클 집합체에 대응하는 가상 객체를 상기 깊이맵 영상에 포함된 깊이 정보를 기반으로 합성한 후 상기 가상 객체를 라벨링 처리함에 따라 생성된 학습용 이미지 데이터셋을 저장하는 학습 데이터 저장부;
    상기 제1 RGB 영상에 포함된 가상 객체에 대응하는 상기 파티클 집합체의 특징에 대응하여 검출된 픽셀 또는 픽셀들의 조합인 특징점들을 기반으로 하여 생성되는 상기 학습용 이미지 데이터셋에 기초하여 특징 파라미터들을 획득함에 따라 합성곱 신경망에 따른 이미지 분류가 가능하도록 사전 학습된 학습 모델부;
    상기 복수의 카메라 중 어느 하나에 의해 상기 실내 공간의 소정 지점을 기준으로 실시간 촬영된 제2 RGB 영상에 기초한 현재 시점의 RGB 이미지를 평가대상 이미지로서 획득하는 이미지 획득부;
    상기 평가대상 이미지에 포함된 객체로부터 검출되는 특징점 및 윤곽선 정보와 상기 평가대상 이미지를 구성하는 픽셀들에 대한 콘트라스트값에 기초하여 상기 평가대상 이미지가 가지는 이미지 특징 성분들의 상대적 비율을 계산함에 따른 가중치를 연산하는 가중치 연산 모듈;
    상기 평가대상 이미지를 딥러닝 기반 텐서 플로우 기법을 통해 기저장된 상기 학습용 이미지 데이터셋과 동일한 픽셀 사이즈 및 범위로 정규화함에 따른 전처리 이미지를 생성하는 이미지 전처리부; 및
    상기 전처리 이미지를 상기 학습 모델부의 입력 데이터로 적용하여 상기 가중치를 이용한 합성곱 연산 기반의 이미지 학습이 수행됨에 따라, 화재 현상에 포함되는 불꽃 및 연기를 다양한 위치 및 크기로 모델링함에 따른 상기 파티클 집합체의 특징에 대응하여 기설정된 복수 개의 클래스 중에서 상기 평가대상 이미지에 대응되는 적어도 하나의 클래스에 대한 검출 확률값을 산출하는 확률값 산출부;를 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 학습 장치.
  12. 제11항에 있어서,
    소정 클래스에 대하여 상기 산출된 검출 확률값이 기설정된 기준값 이상인 경우, 해당 클래스에 대응되는 상기 평가대상 이미지 내 특정 객체에 대한 윤곽선 정보에 기초한 객체 영역을 둘러싸는 최소 크기의 사각형의 검출영역을 생성하고 이에 대한 위치 및 크기 정보를 획득하는 검출영역 생성부; 및
    상기 평가대상 이미지상에서 상기 획득된 위치 및 크기 정보에 대응하도록 상기 검출영역을 강조 표시하되, 상기 검출영역에 대응하여 산출된 상기 검출 확률값을 해당 검출영역의 경계 주변에 표시하는 출력부;를 더 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 학습 장치.
  13. 제12항에 있어서,
    상기 복수의 카메라 각각의 촬영 위치에 따른 위치값을 기록함에 따른 위치 데이터를 획득하는 위치 데이터 획득부;를 더 포함하며,
    상기 출력부는,
    상기 평가대상 이미지상에서 상기 검출영역의 경계 주변에 상기 평가대상 이미지를 포함하는 상기 제2 RGB 영상이 촬영된 카메라에 대응하여 획득된 위치 데이터를 표시하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 학습 장치.
  14. 실내 공간의 서로 다른 지점을 향하여 배치된 복수의 카메라를 통해 촬영된 3D 깊이맵 영상에 기초한 제1 RGB 영상을 배경으로 하여, 파티클 시스템 기반의 유체 시뮬레이션 렌더링 기법을 통해 화재 현상을 모델링한 파티클 집합체에 대응하는 가상 객체를 상기 깊이맵 영상에 포함된 깊이 정보를 기반으로 합성한 후 상기 가상 객체를 라벨링 처리함에 따라 생성된 학습용 이미지 데이터셋을 저장하는 단계;
    상기 제1 RGB 영상에 포함된 가상 객체에 대응하는 상기 파티클 집합체의 특징에 대응하여 검출된 픽셀 또는 픽셀들의 조합인 특징점들을 기반으로 하여 생성되는 상기 학습용 이미지 데이터셋에 기초하여 특징 파라미터들을 획득함에 따라 합성곱 신경망에 따른 이미지 분류가 가능하도록 사전 학습을 수행하는 단계;
    상기 복수의 카메라 중 어느 하나에 의해 상기 실내 공간의 소정 지점을 기준으로 실시간 촬영된 제2 RGB 영상에 기초한 현재 시점의 RGB 이미지를 평가대상 이미지로서 획득하는 단계;
    상기 평가대상 이미지에 포함된 객체로부터 검출되는 특징점 및 윤곽선 정보와 상기 평가대상 이미지를 구성하는 픽셀들에 대한 콘트라스트값에 기초하여 상기 평가대상 이미지가 가지는 이미지 특징 성분들의 상대적 비율을 계산함에 따른 가중치를 연산하는 단계;
    상기 평가대상 이미지를 딥러닝 기반 텐서 플로우 기법을 통해 기저장된 상기 학습용 이미지 데이터셋과 동일한 픽셀 사이즈 및 범위로 정규화함에 따른 전처리 이미지를 생성하는 단계; 및
    상기 전처리 이미지를 상기 사전 학습을 수행한 합성곱 신경망 모델의 입력 데이터로 적용하여 상기 가중치를 이용한 합성곱 연산 기반의 이미지 학습이 수행됨에 따라, 화재 현상에 포함되는 불꽃 및 연기를 다양한 위치 및 크기로 모델링함에 따른 상기 파티클 집합체의 특징에 대응하여 기설정된 복수 개의 클래스 중에서 상기 평가대상 이미지에 대응되는 적어도 하나의 클래스에 대한 확률값을 산출하는 단계;를 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 학습 방법.
  15. 제14항에 있어서,
    상기 확률값을 산출하는 단계 이후에,
    소정 클래스에 대하여 상기 산출된 확률값이 기설정된 기준값 이상인 경우, 해당 클래스에 대응되는 상기 평가대상 이미지 내 특정 객체에 대한 윤곽선 정보에 기초한 객체 영역을 둘러싸는 최소 크기의 사각형의 검출영역을 생성하고 이에 대한 위치 및 크기 정보를 획득하는 단계; 및
    상기 평가대상 이미지상에서 상기 획득된 위치 및 크기 정보에 대응하도록 상기 검출영역을 강조 표시하되, 상기 검출영역에 대응하여 산출된 상기 검출 확률값을 해당 검출영역의 경계 주변에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 학습 방법.
  16. 제15항에 있어서,
    상기 사전 학습을 수행하는 단계와 상기 평가대상 이미지를 획득하는 단계 사이에,
    상기 복수의 카메라 각각의 촬영 위치에 따른 위치값을 기록함에 따른 위치 데이터를 획득하는 단계;를 더 포함하며,
    상기 표시하는 단계는,
    상기 평가대상 이미지상에서 상기 검출영역의 경계 주변에 상기 평가대상 이미지를 포함하는 상기 제2 RGB 영상이 촬영된 카메라에 대응하여 획득된 위치 데이터를 표시하는 것을 특징으로 하는 화재 검출 훈련용 이미지 데이터 학습 방법.
KR1020210184275A 2021-12-21 2021-12-21 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법 KR102630183B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210184275A KR102630183B1 (ko) 2021-12-21 2021-12-21 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210184275A KR102630183B1 (ko) 2021-12-21 2021-12-21 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20230094827A true KR20230094827A (ko) 2023-06-28
KR102630183B1 KR102630183B1 (ko) 2024-01-25

Family

ID=86994518

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210184275A KR102630183B1 (ko) 2021-12-21 2021-12-21 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102630183B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011355A (zh) * 2023-07-27 2023-11-07 三峡大学 一种基于数字图像处理技术的换流站防灾系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130889A1 (en) * 2000-07-18 2002-09-19 David Blythe System, method, and computer program product for real time transparency-based compositing
US8760449B1 (en) * 2009-01-21 2014-06-24 Lucasfilm Entertainment Company, Ltd. Multi-stage fire simulation
KR101806503B1 (ko) 2016-02-25 2017-12-07 한국전자통신연구원 실시간 화재감지 방법
KR102235308B1 (ko) 2019-08-06 2021-04-05 (주)아이리녹스 실내공간 지능형 화재 초기 진압 시스템 및 그 방법
KR20210136502A (ko) * 2020-05-08 2021-11-17 동명대학교산학협력단 Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020130889A1 (en) * 2000-07-18 2002-09-19 David Blythe System, method, and computer program product for real time transparency-based compositing
US8760449B1 (en) * 2009-01-21 2014-06-24 Lucasfilm Entertainment Company, Ltd. Multi-stage fire simulation
KR101806503B1 (ko) 2016-02-25 2017-12-07 한국전자통신연구원 실시간 화재감지 방법
KR102235308B1 (ko) 2019-08-06 2021-04-05 (주)아이리녹스 실내공간 지능형 화재 초기 진압 시스템 및 그 방법
KR20210136502A (ko) * 2020-05-08 2021-11-17 동명대학교산학협력단 Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011355A (zh) * 2023-07-27 2023-11-07 三峡大学 一种基于数字图像处理技术的换流站防灾系统及方法
CN117011355B (zh) * 2023-07-27 2024-01-30 三峡大学 一种基于数字图像处理技术的换流站防灾系统及方法

Also Published As

Publication number Publication date
KR102630183B1 (ko) 2024-01-25

Similar Documents

Publication Publication Date Title
EP3407292B1 (en) Neural network point cloud generation system
CN108510583B (zh) 人脸图像的生成方法和人脸图像的生成装置
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
CN105225230B (zh) 一种识别前景目标对象的方法及装置
CA2884383C (en) Methods, devices and systems for detecting objects in a video
KR102120046B1 (ko) 오브젝트를 표시하는 방법
CN109407547A (zh) 面向全景视觉感知的多摄像头在环仿真测试方法与系统
KR101362631B1 (ko) 머리 인식 방법
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
US11094134B1 (en) System and method for generating synthetic data
Kawai et al. Diminished reality for AR marker hiding based on image inpainting with reflection of luminance changes
CN109064533B (zh) 一种3d漫游方法及系统
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及系统
CN117036612A (zh) 一种基于神经辐射场的三维重建方法
KR102630183B1 (ko) 화재 검출 훈련용 이미지 데이터 생성 장치 및 방법과 이를 이용한 학습 장치 및 방법
JP4552431B2 (ja) 画像照合装置、画像照合方法及び画像照合プログラム
US11080920B2 (en) Method of displaying an object
US20180286130A1 (en) Graphical image augmentation of physical objects
Krispel et al. Automatic texture and orthophoto generation from registered panoramic views
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
JP2010238134A (ja) 画像処理装置及びプログラム
JP2002083286A (ja) アバタ生成方法、装置及びそのプログラムを記録した記録媒体
Thalhammer et al. Sydd: Synthetic depth data randomization for object detection using domain-relevant background
JP7500333B2 (ja) 生成装置、生成方法、およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant