KR20200095377A

KR20200095377A - 바이크 라이더용 안전 의복 패턴을 생성하는 방법 및 장치

Info

Publication number: KR20200095377A
Application number: KR1020200007630A
Authority: KR
Inventors: 김계현; 김용중; 김학경; 남운현; 부석훈; 성명철; 신동수; 여동훈; 유우주; 이명춘; 이형수; 장태웅; 정경중; 제홍모; 조호진
Original assignee: 주식회사 스트라드비젼
Priority date: 2019-01-31
Filing date: 2020-01-20
Publication date: 2020-08-10
Also published as: JP7071751B2; KR102265016B1; US10657584B1; JP2020125576A; CN111508042B; EP3690809C0; CN111508042A; EP3690809A1; EP3690809B1

Abstract

본 발명은 사람 형체(Human-like Figure)에 사용되는 안전 의복 패턴을 생성하는 방법에 있어서, 안전 의복 패턴 생성 장치가, (a) 사람 형체의 적어도 하나의 이미지가 획득되면, 특정 의복 패턴과 사람 형체의 이미지를 의복 합성 네트워크(Clothing Composition Network)로 입력하고, 사람 형체의 의복과 특정 의복 패턴을 합성하여, 합성 이미지(Composite Image)를 생성하도록 하는 단계; (b) 합성 이미지를 이미지 변환 네트워크(Image Translation Network)에 입력하여 합성 이미지 상의 주변 환경을 변환하여 변환 이미지(Translated Image)를 생성하고, 변환 이미지를 객체 검출기(Object Detector)로 입력하여 사람 형체에 대한 검출 정보를 출력하도록 하는 단계; 및 (c) 제1 로스 레이어로 하여금 검출 정보와 사람 형체의 이미지에 대응되는 GT(Ground Truth)를 참조하여 로스를 산출하도록 하고, 로스를 이용하여 초기값을 업데이트하는 단계;를 포함하는 것을 특징으로 하는 방법을 제공한다.

Description

바이크 라이더용 안전 의복 패턴을 생성하는 방법 및 장치{METHOD AND DEVICE FOR GENERATING SAFE CLOTHING PATTERNS FOR RIDER OF BIKE}

본 발명은 바이크 라이더용 안전 의복 패턴을 생성하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 딥러닝(Deep Learning) 기반의 객체 검출기가 바이크의 라이더를 쉽게 검출할 수 있도록 하는 라이더를 위한 안전 의복 패턴을 생성하는 방법 및 장치에 관한 것이다.

일반적으로, 도로 상에서 근무하는 사람들, 예를 들어 교통경찰관, 환경미화원 및 군인 등은 보통 야간에 근무하다 보니 이 같은 야간 근로자들에게 차량에 의한 교통사고가 빈번하게 발생한다.

이는 야간 근로자가 주변 환경으로부터 시각적으로 분리되어 인식되지 않아 발생된다. 그러므로 이러한 교통사고를 방지하고 야간 근로자들을 보호하기 위해, 시각적 인지도를 향상시킬 수 있는 불빛이 반사되는 물질이 부착된 안전 조끼를 야간 근로자들이 착용하여 야간 작업을 수행하도록 하고 있다.

그 외에도 새벽이나 야간에 조깅을 하거나 하이킹을 즐기는 사람들이 안전 조끼를 착용함으로써, 주변의 위험 요소로부터 보다 안전하게 운동을 할 수 있도록 하였다. 즉, 야간이나 새벽에 안전 조끼를 착용함으로써 착용자의 위치나 존재를 확인할 수 있다.

하지만, 이러한 반사형 안전 조끼는 카메라를 이용한 딥러닝(Deep Learning) 기반의 객체 검출기나 이를 이용하는 자율 주행 자동차에서는 잘 검출되지 않는 문제점이 있다. 즉, 실제로 반사형 안전 조끼를 착용한 객체를 포함하는 트레이닝 데이터를 사용해서 객체 검출기를 학습해두지 않으면 객체 검출기가 반사형 안전 조끼를 검출하기 어려우며, 반사형 안전 조끼를 착용한 객체를 포함하는 트레이닝 데이터를 충분히 획득하는 것도 어려운 실정이다.

따라서, 본 발명에서는 딥러닝 기반의 객체 검출기에서 검출이 용이한 안전 조끼의 의복 패턴을 생성하는 방법을 제안하고자 한다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

본 발명은 자전거나 오토바이 등과 같은 바이크의 라이더가 객체 검출기에 의해 쉽게 검출되도록 하는 안전 조끼를 제공하는 것을 다른 목적으로 한다.

본 발명은 바이크의 라이더가 객체 검출기에 의해 쉽게 검출되도록 하는 안전 조끼의 의복 패턴을 생성하도록 하는 것을 또 다른 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양에 따르면, 사람 형체(Human-like Figure)에 사용되는 적어도 하나의 안전 의복 패턴을 생성하는 방법에 있어서, (a) 상기 사람 형체의 적어도 하나의 이미지가 획득되면, 안전 의복 패턴 생성 장치가, 초기값을 가지는 적어도 하나의 특정 의복 패턴을 생성하는 프로세스 및 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 의복 합성 네트워크(Clothing Composition Network)로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크가 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 의복과 상기 특정 의복 패턴을 합성하여, 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 합성 이미지(Composite Image)를 생성하도록 하는 단계; (b) 상기 안전 의복 패턴 생성 장치가, 상기 합성 이미지를 이미지 변환 네트워크(Image Translation Network)에 입력하여 상기 이미지 변환 네트워크로 하여금 상기 합성 이미지 상의 주변 환경을 변환하여 적어도 하나의 변환 이미지(Translated Image)를 생성하도록 하는 프로세스, 및 상기 변환 이미지를 객체 검출기(Object Detector)로 입력하여 상기 객체 검출기로 하여금 상기 변환 이미지 상에서 검출된 상기 사람 형체를 나타내는 상기 사람 형체에 대한 검출 정보를 출력하도록 하는 프로세스를 수행하는 단계; 및 (c) 상기 안전 의복 패턴 생성 장치가, 제1 로스 레이어로 하여금 상기 사람 형체에 대한 상기 검출 정보와 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용하여 상기 로스가 최소화되도록 상기 특정 의복 패턴의 상기 초기값을 업데이트하는 하는 프로세스를 수행하는 단계;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (a) 단계에서, 상기 안전 의복 패턴 생성 장치는, 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 상기 의복 합성 네트워크로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크로 하여금, (i) 세그먼테이션 네트워크(Segmentation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 의복을 세그먼테이션하도록 하는 프로세스와, 자세 추정 네트워크(Posture Estimation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 적어도 하나의 관절 부위를 획득하도록 하는 프로세스, (ii) 마스킹 레이어(Masking Layer)를 통해 상기 관절 부위를 참조하여 상기 특정 의복 패턴으로 상기 의복을 마스킹하여 생성된 적어도 하나의 마스킹된 이미지(Masked Image)를 획득하는 프로세스, (iii) 상기 마스킹된 이미지와 상기 사람 형체의 상기 이미지를 컨캐터네이팅(Concatenating)하여 적어도 하나의 컨캐터네이팅된 이미지(Concatenated Image)를 생성하는 프로세스, 및 (iv) 인코더(Encoder)를 통해 상기 컨캐터네이팅된 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 프로세스 및 디코더(Decoder)를 통해 상기 인코더의 출력에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 프로세스를 수행함으로써, 상기 합성 이미지를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 의복 합성 네트워크는, 학습 장치에 의해 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 이용하여 상기 합성 이미지를 생성하도록 학습된 상태이되, 상기 학습 장치가, (i) 상기 사람 형체의 적어도 하나의 획득된 트레이닝 이미지를 상기 세그먼테이션 네트워크로 입력하여 상기 세그먼테이션 네트워크로 하여금 상기 사람 형체의 상기 트레이닝 이미지 상의 적어도 하나의 학습용 의복을 세그먼테이션하도록 하는 프로세스와, 상기 사람 형체의 상기 트레이닝 이미지를 상기 자세 추정 네트워크로 입력하여 상기 자세 추정 네트워크로 하여금 상기 사람 형체의 상기 트레이닝 이미지 상의 적어도 하나의 학습용 사람 형체의 적어도 하나의 학습용 관절 부위를 획득하도록 하는 프로세스, (ii) 상기 학습용 관절 부위, 상기 학습용 의복, 및 적어도 하나의 획득된 학습용 의복 패턴을 상기 마스킹 레이어로 입력하여, 상기 마스킹 레이어로 하여금 상기 학습용 관절 부위를 참조해 상기 학습용 의복 패턴으로 상기 학습용 의복을 마스킹하여 적어도 하나의 학습용 마스킹된 이미지를 생성하도록 하는 프로세스, (iii) 상기 학습용 마스킹된 이미지와 상기 사람 형체의 상기 트레이닝 이미지를 컨캐터네이팅하여 적어도 하나의 학습용 컨캐터네이팅된 이미지를 생성하는 프로세스, (iv) 상기 학습용 컨캐터네이팅된 이미지를 상기 인코더에 입력하여 상기 인코더로 하여금 상기 학습용 컨캐터네이팅된 이미지에 대하여 상기 컨벌루션 연산을 적어도 한 번 적용하도록 하는 프로세스, 및 상기 인코더의 상기 출력을 상기 디코더에 입력하여 상기 디코더로 하여금 상기 인코더의 상기 출력에 대하여 상기 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 학습용 합성 이미지를 생성하도록 하는 프로세스, 및 (v) 제2 로스 레이어로 하여금 (v-1) 상기 학습용 합성 이미지와 (v-2) 적어도 하나의 GT 이미지 - 상기 적어도 하나의 GT 이미지는 상기 사람 형체의 상기 트레이닝 이미지 및 상기 학습용 의복 패턴에 대응하도록 생성된 것임 - 를 참조하여 적어도 하나의 지각 로스(Perceptual Loss)를 산출하도록 하는 프로세스, 및 상기 지각 로스를 참조한 백프로퍼게이션을 통해 상기 지각 로스가 최소화되도록 상기 디코더, 상기 인코더, 및 상기 마스킹 레이어 중 적어도 하나의 파라미터를 조정하는 프로세스를 반복하여, 상기 의복 합성 네트워크를 학습하는 것을 특징으로 한다.

일 실시예에서, 상기 GT 이미지는, 상기 사람 형체의 상기 트레이닝 이미지 상의 상기 학습용 의복을 상기 학습용 의복 패턴으로 마스킹하여 생성되는 것을 특징으로 한다.

일 실시예에서, 상기 GT는 (i) 상기 사람 형체의 상기 이미지를 라벨링하여 생성된 상기 사람 형체에 대응되는 정보, 및 (ii) 상기 객체 검출기 또는 다른 객체 검출기로 입력된 상기 사람 형체의 상기 이미지로부터 검출된 상기 사람 형체에 대응되는 정보 중 하나인 것을 특징으로 한다.

일 실시예에서, 상기 (b) 단계에서, 상기 안전 의복 패턴 생성 장치는, 상기 이미지 변환 네크워크로 하여금, 상기 사람 형체를 검출하는 종래의 객체 검출기의 성능이 기설정된 임계치보다 낮아지도록 상기 합성 이미지 상의 상기 주변 환경을 다른 주변 환경으로 변환하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

일 실시예에서, 상기 이미지 변환 네트워크는, 서로 페어되지 않고(Unpaired) 서로 다른 도메인(Domain)에 각각 속하는 원본 이미지와 변환 이미지에 대해 이미지 대 이미지 변환(Image-To-Image Translation)을 하는 사이클 GAN(Cycle Generative Adversarial Network)을 포함하는 것을 특징으로 한다.

본 발명의 다른 태양에 따르면, 사람 형체(Human-like Figure)에 사용되는 적어도 하나의 안전 의복 패턴을 생성하는 안전 의복 패턴 생성 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 상기 사람 형체의 적어도 하나의 이미지가 획득되면, 초기값을 가지는 적어도 하나의 특정 의복 패턴을 생성하는 프로세스 및 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 의복 합성 네트워크(Clothing Composition Network)로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크가 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 의복과 상기 특정 의복 패턴을 합성하여, 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 합성 이미지(Composite Image)를 생성하도록 하는 프로세스, (II) 상기 합성 이미지를 이미지 변환 네트워크(Image Translation Network)에 입력하여 상기 이미지 변환 네트워크로 하여금 상기 합성 이미지 상의 주변 환경을 변환하여 적어도 하나의 변환 이미지(Translated Image)를 생성하도록 하는 프로세스, 및 상기 변환 이미지를 객체 검출기(Object Detector)로 입력하여 상기 객체 검출기로 하여금 상기 변환 이미지 상에서 검출된 상기 사람 형체를 나타내는 상기 사람 형체에 대한 검출 정보를 출력하도록 하는 프로세스, 및 (III) 제1 로스 레이어로 하여금 상기 사람 형체에 대한 상기 검출 정보와 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용하여 상기 로스가 최소화되도록 상기 특정 의복 패턴의 상기 초기값을 업데이트하는 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 상기 의복 합성 네트워크로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크로 하여금, (i) 세그먼테이션 네트워크(Segmentation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 의복을 세그먼테이션하도록 하는 프로세스와, 자세 추정 네트워크(Posture Estimation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 적어도 하나의 관절 부위를 획득하도록 하는 프로세스, (ii) 마스킹 레이어(Masking Layer)를 통해 상기 관절 부위를 참조하여 상기 특정 의복 패턴으로 상기 의복을 마스킹하여 생성된 적어도 하나의 마스킹된 이미지(Masked Image)를 획득하는 프로세스, (iii) 상기 마스킹된 이미지와 상기 사람 형체의 상기 이미지를 컨캐터네이팅(Concatenating)하여 적어도 하나의 컨캐터네이팅된 이미지(Concatenated Image)를 생성하는 프로세스, 및 (iv) 인코더(Encoder)를 통해 상기 컨캐터네이팅된 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 프로세스 및 디코더(Decoder)를 통해 상기 인코더의 출력에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 프로세스를 수행함으로써, 상기 합성 이미지를 생성하도록 하는 것을 특징으로 한다.

일 실시예에서, 상기 (II) 프로세스에서, 상기 프로세서는, 상기 이미지 변환 네크워크로 하여금, 상기 사람 형체를 검출하는 종래의 객체 검출기의 성능이 기설정된 임계치보다 낮아지도록 상기 합성 이미지 상의 상기 주변 환경을 다른 주변 환경으로 변환하도록 하는 프로세스를 수행하는 것을 특징으로 한다.

이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명은 라이더가 객체 검출기에 의해 쉽게 검출되도록 하는 안전 조끼를 제공함으로써 사고 위험성을 감소시키는 효과가 있다.

본 발명은 라이더가 객체 검출기에 의해 쉽게 검출되도록 하는 안전 조끼의 의복 패턴을 생성함으로써 객체 검출기가 주변 환경에 관계없이 라이더를 쉽게 검출하도록 하는 효과가 있다.

본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 안전 의복 패턴 생성 장치를 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따른 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 방법을 개략적으로 도시한 것이고,
도 3은 본 발명의 일 실시예에 따른 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 방법에서 의복 합성 네트워크 (Clothing Composition Network) 가 특정 의복 패턴을 라이더 이미지와 합성하는 프로세스를 개략적으로 도시한 것이고,
도 4은 본 발명의 일 실시예에 따른 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 방법에서 의복 합성 네트워크를 학습하는 프로세스를 개략적으로 도시한 도시한 것이고,
도 5는 본 발명의 일 실시예에 따른 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 방법에서 객체 검출기가 합성 이미지(Composite Image) 상의 라이더를 검출하는 프로세스를 개략적으로 도시한 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.

더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.

여기에 제공되는 본 발명의 제목이나 요약은 단지 편의를 위해 제공되는 것으로 이 실시 예들의 범위 또는 의미는 제한하거나 해석하지 않는다.

본 명세서 및 첨부된 청구항에 사용된 바와 같이, 단수 형태는 내용과 문맥이 명백하게 다르다고 지시하지 않는 한 복수의 지시 대상을 포함한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 안전 의복 패턴 생성 장치를 개략적으로 도시한 것이다. 도 1을 참조하면, 안전 의복 패턴 생성 장치(100)는, 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 인스트럭션을 저장하는 메모리(101)와 메모리(101)에 저장된 인스트럭션에 대응하여 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 프로세스를 수행하는 프로세서(102)를 포함할 수 있다. 본 발명 전체에 걸쳐, 바이크는 외발 자전거, 일반 자전거, 삼발 자전거, 이륜차, 일륜 또는 삼륜 오토바이 등을 포함할 수 있으나, 그에 제한되는 것은 아니다.

구체적으로, 안전 의복 패턴 생성 장치(100)는, 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소를 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와, 적어도 하나의 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

또한, 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

그러나, 컴퓨팅 장치가 본 발명을 실시하기 위한 프로세서, 메모리 미디엄, 또는 기타 컴퓨팅 구성요소의 어떠한 조합을 포함하는 통합 장치(Integrated Device)를 배제하는 것은 아니다.

이와 같이 구성된 본 발명의 일 실시예에 따른 안전 의복 패턴 생성 장치(100)를 이용하여 바이크의 라이더를 위한 안전 의복 패턴을 생성하는 방법을 도 2를 참조하여 설명하면 다음과 같다.

먼저, 바이크를 탑승하려는 라이더 또는 탑승한 상태의 바이크의 라이더에 대응되는 적어도 하나의 라이더 이미지(1)(가령, 사람 형체 이미지)가 입력되면, 안전 의복 패턴 생성 장치(100)는 초기값을 가지는 적어도 하나의 특정 의복 패턴(2)을 생성할 수 있다. 여기서 초기값은 초기 단계에서 의복 패턴 내의 픽셀 값을 포함하지만 본 발명의 범위가 그에 제한되는 것은 아니다. 이때, 안전 의복 패턴 생성 장치(100)는, 랜덤 샘플링에 의해 특정 의복 패턴(2)을 생성하거나 다양한 의복 패턴이 저장된 데이터베이스로부터 특정 의복 패턴(2)을 검색할 수 있다. 여기서, 사람 형체 이미지라는 것은, 실제 사람에 대한 이미지일 수도 있으나, 이에 한정되는 것은 아니며, 도로에 서 있는 사람 모양 마네킹일 수도 있을 것이다. 또한, 여기서는 "라이더 이미지"라고 하여, 사람이 오토바이 등을 타고 있는 경우의 이미지를 상정하여 설명하지만, 이는 설명의 편의상 이와 같이 가정한 것에 불과하며, 도로 상의 청소부나 마네킹과 같이 무엇인가를 타고 있지 않아도 사람 형체 이미지에 해당된다면, 본 발명이 적용된다 할 것이다.

다음으로, 안전 의복 패턴 생성 장치(100)는, 라이더 이미지(1)와 특정 의복 패턴(2)을 의복 합성 네트워크(110)로 입력하여, 의복 합성 네트워크(110)로 하여금 라이더 이미지(1) 상의 라이더의 의복에 특정 의복 패턴(2)을 합성하여, 라이더 이미지(1)에 대응되는 적어도 하나의 합성 이미지(Composite Image)(3)을 생성하도록 하는 프로세스를 수행할 수 있다. 이때, 합성 이미지(3)는, 라이더가 특정 의복 패턴을 가지는 의복을 착용한 것으로 보이도록 생성되거나, 라이더가 의복 위에 특정 의복 패턴을 가지는 특정 의복을 추가적으로 착용한 것으로 보이도록 생성될 수 있다.

한편, 도 3을 참조하여, 의복 합성 네트워크(110)가 라이더 이미지(1)와 특정 의복 패턴(2)을 합성하여 합성 이미지(3)를 생성하는 프로세스를 좀 더 상세히 설명하면 다음과 같다.

의복 합성 네트워크(110)가, 라이더 이미지(1)를 세그먼테이션 네트워크(Segmentation Network)(111)에 입력하여 세그먼테이션 네트워크(111)로 하여금 라이더 이미지 상의 라이더 의복을 세그먼테이션하도록 하는 프로세스와, 라이더 이미지(1)를 자세 추정 네트워크(Posture Estimation Network)(112)로 입력하여 자세 추정 네트워크(112)로 하여금 라이더 이미지 상의 라이더의 적어도 하나의 관절 부위를 획득하도록 하는 프로세스를 수행할 수 있다.

이때, 세그먼테이션 네트워크(111)는, 적어도 하나의 컨벌루션 레이어(Convolutional Layer)와 이에 대응되는 적어도 하나의 디컨벌루션 레이어를 포함할 수 있으며, 적어도 하나의 컨벌루션 레이어로 하여금 라이더 이미지(1)에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하고, 적어도 하나의 디컨벌루션 레이어으로 하여금 컨벌루션 레이어의 마지막 출력에 대하여 디컨벌루션 연산을 컨벌루션 연산과 동일한 횟수로 적용하도록 하여, 라이더 이미지(1)를 세그먼테이션함으로써 라이더 이미지(1)로부터 라이더 의복을 추출할 수 있다.

또한, 자세 추정 네트워크(112)는, 적어도 하나의 컨벌루션 레이어와 적어도 하나의 풀리 컨벌루션 레이어(Fully Convolutional Layer)를 포함할 수 있으며, 적어도 하나의 컨벌루션 레이어로 하여금 라이더 이미지(1)에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하여 적어도 하나의 특징 맵을 생성하도록 하고, 적어도 하나의 풀리 컨벌루션 레이어로 하여금 컨벌루션 레이어로부터 출력된 마지막 특징 맵에 대하여 1x1 컨벌루션 연산을 적어도 한 번 적용하도록 하여, 각각의 관절 부위(예를 들면, 라이더의 어깨, 팔꿈치, 손목, 골반 등)의 적어도 하나의 추정 자세 이미지(Estimated Posture Image)를 생성하도록 할 수 있다. 이때, 추정 자세 이미지 상에서 라이더의 관절이 있는 것으로 추정되는 위치는 1, 관절이 없는 것으로 추정되는 위치는 0으로 표현될 수 있으며, 추정 자세 이미지의 각각의 채널이 각각의 관절 부위에 대응되도록 할 수 있다.

이후, 의복 합성 네트워크(110)는, 마스킹 레이어(113)를 통해 관절 부위를 참조하여 라이더 의복을 특정 의복 패턴으로 마스킹하여 적어도 하나의 마스킹된 이미지(Masked Image)를 획득할 수 있다. 즉, 의복 합성 네트워크(110)는, 세그먼테이션된 라이더 의복 이미지, 관절 부위가 표시된 추정 자세 이미지, 및 특정 의복 패턴(2)을 마스킹 레이어(113)로 입력하여, 마스킹 레이어(113)로 하여금 관절 부위를 참조하여 특정 의복 패턴(2)으로 라이더 의복을 마스킹하도록 할 수 있다. 이때, 특정 의복 패턴(2)의 형태는 관절 부위에 따라 달라질 수 있으며, 라이더의 현재 자세(Pose)에 매칭되는 의복 패턴은 관절 부위를 참조하여 특정 의복 패턴(2)으로 라이더 의복을 마스킹하여 생성될 수 있다.

그리고, 의복 합성 네트워크(110)는, (i) 마스킹된 이미지와 라이더 이미지(1)를 컨캐터네이팅(Concatenating)하여 적어도 하나의 컨캐터네이팅된 이미지(Concatenated Image)를 생성하는 프로세스, (ii) 적어도 하나의 컨벌루션 레이어를 포함하는 인코더(114)를 통해 컨캐터네이팅된 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 프로세스, 및 (iii) 적어도 하나의 디컨벌루션 레이어를 포함하는 디코더(115)를 통해 상기 인코더(114)의 출력에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 프로세스를 수행하여 합성 이미지(3)를 생성하도록 할 수 있다.

이때, 의복 합성 네트워크(110)는, 학습 장치에 의해 라이더 이미지와 특정 의복 패턴을 이용하여 합성 이미지를 생성하도록 학습된 상태일 수 있다.

일 예로, 도 4를 참조하면, 학습 장치(200)는, 의복 합성 네트워크를 학습하는데 사용되는 트레이닝 데이터를 획득할 수 있다. 이때, 트레이닝 데이터는, 라이더에 대응되는 적어도 하나의 학습용 라이더 이미지(201), 적어도 하나의 학습용 의복 패턴(202), 및 학습용 의복 패턴(202)이 합성된 의복을 착용하고 있는 라이더에 대응되는 적어도 하나의 GT(Ground Truth) 이미지(205)를 포함할 수 있다. 그리고, GT 이미지(205)는 학습용 라이더 이미지(201) 상의 학습용 라이더 의복을 학습용 의복 패턴(202)으로 마스킹하여 생성될 수 있다.

그리고, 학습 장치(200)는, 학습용 라이더 이미지(201)를 세그먼테이션 네트워크(111)로 입력하여 세그먼테이션 네트워크(111)로 하여금 학습용 라이더 이미지(201) 상의 학습용 라이더 의복을 세그먼테이션하도록 하는 프로세스와, 학습용 라이더 이미지(201)를 자세 추정 네트워크(112)로 입력하여 자세 추정 네트워크(112)로 하여금 학습용 라이더 이미지(201) 상의 학습용 라이더의 적어도 하나의 학습용 관절 부위를 획득하도록 하는 프로세스를 수행할 수 있다.

이후, 학습 장치(200)는, 학습용 관절 부위, 학습용 라이더 의복, 및 학습용 의복 패턴(202)을 마스킹 레이어(113)로 입력하여, 마스킹 레이어(113)로 하여금 학습용 관절 부위를 참조하여 학습용 라이더 의복을 학습용 의복 패턴(202)으로 마스킹하도록 할 수 있다.

그리고, 학습 장치(200)는, (i) 적어도 하나의 학습용 마스킹된 이미지와 학습용 라이더 이미지(201)를 컨캐터네이팅하여 적어도 하나의 학습용 컨캐터네이팅된 이미지를 생성하는 프로세스, (ii) 학습용 컨캐터네이팅된 이미지를 인코더(114)에 입력하여, 인코더(114)로 하여금 학습용 컨캐터네이팅된 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하도록 하는 프로세스, 및 (iii) 인코더(114)의 적어도 하나의 출력을 디코더(115)에 입력하여, 디코더(115)로 하여금 인코더(114)의 출력에 대하여 디컨벌루션 연산을 적어도 한 번 적용하도록 하는 프로세스를 수행하여, 학습용 합성 이미지(204)를 생성하도록 할 수 있다.

이후, 학습 장치(200)는 (i) 제2 로스 레이어(116)로 하여금 (i-1) 학습용 합성 이미지와 (i-2) GT 이미지를 참조하여 적어도 하나의 지각 로스(Perceptual Loss)를 산출하는 프로세스, 및 (ii) 지각 로스를 참조한 백프로퍼게이션을 통해 지각 로스를 최소화하도록 디코더, 인코더, 및 마스킹 레이어 중 적어도 하나의 파라미터를 조정하는 프로세스를 반복하여, 의복 합성 네트워크(110)를 학습할 수 있다. 제1 로스 레이어(140)는 나중에 설명하기로 한다.

이때, 논문 "Perceptual Losses for Real-Time Style Transfer and Super-Resolution", Computer Vision - ECCV 2016, 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part II 의 pp694-711, 및 "Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial network", CVPR. Vol. 2. No. 3. 2017. 등에서 알 수 있는 바와 같이, 지각 로스는, 픽셀별 로스(MSE: Mean Squared Error) 대신에 인지 유사도(Perceptual Similarity)를 이용한 로스일 수 있다.

다음으로, 다시 도 2를 참조하면, 안전 의복 패턴 생성 장치(100)는, 합성 이미지(3)를 이미지 변환 네트워크(120)로 입력하여, 이미지 변환 네트워크(120)로 하여금 합성 이미지(3) 상의 주변 환경을 변환하여 적어도 하나의 변환 이미지(Translated Image)를 생성하도록 할 수 있다.

이때, 변환 이미지는 합성 이미지(3) 상의 주변 환경을 야간, 눈, 비 등과 같은 다른 주변 환경으로 변환하여 생성된 이미지일 수 있으며, 상기 다른 주변 환경은 객체 검출기로 하여금 특정 의복 패턴을 가지는 의복을 입지 않은 라이더에 비하여 특정 의복 패턴을 가지는 의복을 입은 라이더를 더 쉽게 검출하도록 하는 환경일 수 있다. 즉, 변환 이미지는, 합성 이미지(3) 상의 주변 환경을 다른 주변 환경으로 변환하여 종래의 객체 검출기가 라이더 이미지(1) 상의 원래 라이더를 검출하는 성능이 기설정된 임계치보다 낮아지도록 생성된 이미지일 수 있다.

그리고, 이미지 변환 네트워크(120)는, 서로 페어되지 않고(Unpaired) 서로 다른 도메인(Domain)에 각각 속하는 원본 이미지와 변환 이미지에 대해 이미지 대 이미지 변환(Image-To-Image Translation)을 하는 사이클 GAN(Cycle Generative Adversarial Network)을 포함할 수 있다.

이때, 사이클 GAN은, "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks" ICCV 2017 에서 알 수 있는 바와 같이, 적대적 로스(Adversarial Loss)와 사이클 유지 로스(Cycle-Consistency Loss)를 이용하여, 원본 이미지로 하여금, 다른 도메인으로 변환된 이후 다시 원본 이미지로 복원되도록 할 수 있다.

한편, 본 발명에서는 사이클 GAN의 적대적 공격(Adversarial Attack)을 사용하여 로스가 증가되도록 포지티브 그래디언트(Positive Gradient)를 합성 이미지까지 백프로파게이션(Backpropagation)하여 합성 이미지를 디그레이드(Degrade)함으로써, 변환 이미지를 생성할 수 있다.

다음으로, 안전 의복 패턴 생성 장치(100)는, 변환 이미지를 객체 검출기(130)로 입력하여, 객체 검출기(130)로 하여금 변환 이미지로부터 검출된 라이더를 나타내는 라이더 검출 정보를 출력하도록 하는 프로세스를 수행할 수 있다.

일 예로, 도 5를 참조하면, 객체 검출기(130)는, 합성 이미지를 적어도 하나의 컨벌루션 레이어(131)로 입력하여, 컨벌루션 레이어(131)로 하여금 합성 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하여 적어도 하나의 특징 맵(Feature Map)을 생성하도록 할 수 있다. 그리고, 객체 검출기(130)는, 특징 맵을 RPN(Region Proposal Network)(132)에 입력하여, RPN(132)로 하여금 특징 맵 상의 적어도 하나의 객체에 대응되는 적어도 하나의 프로포잘 박스(Proposal Box)를 출력하도록 할 수 있다. 이후, 객체 검출기(130)는, 특징 맵을 풀링 레이어(Pooling Layer)(133)에 입력하여, 풀링 레이어(133)로 하여금 특징 맵 상의 프로포잘 박스에 대응되는 적어도 하나의 영역에 대하여 풀링 연산을 적용하여 적어도 하나의 특징 벡터(Feature Vector)를 출력하도록 할 수 있다. 그리고, 객체 검출기(130)는, 특징 벡터를 FC 레이어(Fully Connected Layer)(134)에 입력하여 FC 레이어(134)로 하여금 특징 벡터에 대하여 FC 연산을 적용하도록 하며, FC 레이어(134)의 적어도 하나의 출력을 분류 레이어(135)와 리그레션 레이어(136)에 각각 입력하여, 분류 레이어(135)와 리그레션 레이어(136)로 하여금 프로포잘 박스 각각에 대응되는 객체 각각에 대한 클래스 정보와 리그레션 정보를 각각 생성하도록 하여, 합성 이미지 상의 객체, 즉, 합성 이미지 상의 라이더를 검출함으로써 라이더에 대응되는 객체 정보를 출력하도록 할 수 있다. 이때, 객체 정보는 클래스 정보와 바운딩 박스 정보를 포함할 수 있다.

다음으로, 안전 의복 패턴 생성 장치(100)는, 제1 로스 레이어(140)로 하여금, 검출된 라이더, 즉, 특정 의복 패턴이 합성된 의복을 착용한 라이더에 대응되는 객체 정보와 이에 대응되는 GT를 참조하여 적어도 하나의 로스를 산출하도록 함으로써, 산출된 로스를 백프로퍼게이션하여 로스가 최소화되도록 특정 의복 패턴의 초기값, 예를 들면, 특정 의복 패턴의 그래디언트를 조정하도록 할 수 있다. 이때, 라이더 이미지(1)에 대응되는 GT를 참조하여 산출된 로스는 특징 로스(Feature Loss)일 수 있고, 상기 도 4에서 설명된 GT 이미지를 참조하여 산출된 지각 로스와는 다른 로스일 수 있다.

또한, 의복 패턴 생성 장치(100)는, 백프로퍼게이션을 통해 로스가 줄어드는 방향으로 네거티브 그래디언트(Negative Gradient) 방법을 수행할 수 있다.

한편, 상기 설명에서는 라이더 이미지(1)에 대응되는 GT, 즉, 라이더 이미지(1)를 라벨링하여 생성된 라이더에 대응되는 클래스 정보 및 리그레션 정보를 포함하는 GT가 사용되었으나, 라이더 이미지(1)를 라벨링하여 생성된 GT를 사용할 수 없는 경우에는 GT를 생성하기 위한 별도의 프로세스를 진행할 수 있다.

즉, 안전 의복 패턴 생성 장치(100)는, 객체 검출기(150)로 하여금 라이더 이미지(1) 상에 위치하는 라이더를 검출하도록 하여, 라이더에 대응되는 객체 정보를 출력하도록 하고, 객체 검출기(150)에서 출력되는 객체 검출 정보, 즉, 라이더에 대응되는 정보를 GT로 설정할 수 있다.

이때, 객체 검출기(150)는, 객체 검출기(130)와 동일하거나 객체 검출기(130)와는 다른 타 객체 검출기일 수 있다.

상기 프로세스를 반복하여, 야간, 눈, 비 등과 같은 주변 환경에서 객체 검출기가 객체를 쉽게 검출할 수 있도록 하는 의복 패턴을 생성할 수 있게 되며, 그에 따라 이미지 또는 특징의 야간, 눈, 비 등과 같은 디그레이드를 유발하는 요인과 상관 없이 객체를 검출될 수 있다. 위와 같이 특정 의복 패턴이 생성되어 라이더의 원래 이미지에 적용되고, 패턴이 적용된 이미지에 GAN을 통해 디그레이드를 유발하는 주변 환경이 추가된 상태에서, 본 발명은 객체 검출 네트워크에 의한 라이더의 검출 스코어(Detection Score)가 증가되도록 함으로써, 야간, 눈, 비 등과 같이 이미지 혹은 특징의 디그레이드를 유발시키는 적대적 공격에 강인한 의복 패턴(Clothing Patterns)를 제공한다.

또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 안전 의복 패턴 생성 장치,
101: 메모리,
102: 프로세서

Claims

사람 형체(Human-like Figure)에 사용되는 적어도 하나의 안전 의복 패턴을 생성하는 방법에 있어서,
(a) 상기 사람 형체의 적어도 하나의 이미지가 획득되면, 안전 의복 패턴 생성 장치가, 초기값을 가지는 적어도 하나의 특정 의복 패턴을 생성하는 프로세스 및 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 의복 합성 네트워크(Clothing Composition Network)로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크가 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 의복과 상기 특정 의복 패턴을 합성하여, 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 합성 이미지(Composite Image)를 생성하도록 하는 단계;
(b) 상기 안전 의복 패턴 생성 장치가, 상기 합성 이미지를 이미지 변환 네트워크(Image Translation Network)에 입력하여 상기 이미지 변환 네트워크로 하여금 상기 합성 이미지 상의 주변 환경을 변환하여 적어도 하나의 변환 이미지(Translated Image)를 생성하도록 하는 프로세스, 및 상기 변환 이미지를 객체 검출기(Object Detector)로 입력하여 상기 객체 검출기로 하여금 상기 변환 이미지 상에서 검출된 상기 사람 형체를 나타내는 상기 사람 형체에 대한 검출 정보를 출력하도록 하는 프로세스를 수행하는 단계; 및
(c) 상기 안전 의복 패턴 생성 장치가, 제1 로스 레이어로 하여금 상기 사람 형체에 대한 상기 검출 정보와 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용하여 상기 로스가 최소화되도록 상기 특정 의복 패턴의 상기 초기값을 업데이트하는 하는 프로세스를 수행하는 단계;
를 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 (a) 단계에서,
상기 안전 의복 패턴 생성 장치는, 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 상기 의복 합성 네트워크로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크로 하여금, (i) 세그먼테이션 네트워크(Segmentation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 의복을 세그먼테이션하도록 하는 프로세스와, 자세 추정 네트워크(Posture Estimation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 적어도 하나의 관절 부위를 획득하도록 하는 프로세스, (ii) 마스킹 레이어(Masking Layer)를 통해 상기 관절 부위를 참조하여 상기 특정 의복 패턴으로 상기 의복을 마스킹하여 생성된 적어도 하나의 마스킹된 이미지(Masked Image)를 획득하는 프로세스, (iii) 상기 마스킹된 이미지와 상기 사람 형체의 상기 이미지를 컨캐터네이팅(Concatenating)하여 적어도 하나의 컨캐터네이팅된 이미지(Concatenated Image)를 생성하는 프로세스, 및 (iv) 인코더(Encoder)를 통해 상기 컨캐터네이팅된 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 프로세스 및 디코더(Decoder)를 통해 상기 인코더의 출력에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 프로세스를 수행함으로써, 상기 합성 이미지를 생성하도록 하는 것을 특징으로 하는 방법.
제 2 항에 있어서,
상기 의복 합성 네트워크는, 학습 장치에 의해 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 이용하여 상기 합성 이미지를 생성하도록 학습된 상태이되,
상기 학습 장치가, (i) 상기 사람 형체의 적어도 하나의 획득된 트레이닝 이미지를 상기 세그먼테이션 네트워크로 입력하여 상기 세그먼테이션 네트워크로 하여금 상기 사람 형체의 상기 트레이닝 이미지 상의 적어도 하나의 학습용 의복을 세그먼테이션하도록 하는 프로세스와, 상기 사람 형체의 상기 트레이닝 이미지를 상기 자세 추정 네트워크로 입력하여 상기 자세 추정 네트워크로 하여금 상기 사람 형체의 상기 트레이닝 이미지 상의 적어도 하나의 학습용 사람 형체의 적어도 하나의 학습용 관절 부위를 획득하도록 하는 프로세스, (ii) 상기 학습용 관절 부위, 상기 학습용 의복, 및 적어도 하나의 획득된 학습용 의복 패턴을 상기 마스킹 레이어로 입력하여, 상기 마스킹 레이어로 하여금 상기 학습용 관절 부위를 참조해 상기 학습용 의복 패턴으로 상기 학습용 의복을 마스킹하여 적어도 하나의 학습용 마스킹된 이미지를 생성하도록 하는 프로세스, (iii) 상기 학습용 마스킹된 이미지와 상기 사람 형체의 상기 트레이닝 이미지를 컨캐터네이팅하여 적어도 하나의 학습용 컨캐터네이팅된 이미지를 생성하는 프로세스, (iv) 상기 학습용 컨캐터네이팅된 이미지를 상기 인코더에 입력하여 상기 인코더로 하여금 상기 학습용 컨캐터네이팅된 이미지에 대하여 상기 컨벌루션 연산을 적어도 한 번 적용하도록 하는 프로세스, 및 상기 인코더의 상기 출력을 상기 디코더에 입력하여 상기 디코더로 하여금 상기 인코더의 상기 출력에 대하여 상기 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 학습용 합성 이미지를 생성하도록 하는 프로세스, 및 (v) 제2 로스 레이어로 하여금 (v-1) 상기 학습용 합성 이미지와 (v-2) 적어도 하나의 GT 이미지 - 상기 적어도 하나의 GT 이미지는 상기 사람 형체의 상기 트레이닝 이미지 및 상기 학습용 의복 패턴에 대응하도록 생성된 것임- 를 참조하여 적어도 하나의 지각 로스(Perceptual Loss)를 산출하도록 하는 프로세스, 및 상기 지각 로스를 참조한 백프로퍼게이션을 통해 상기 지각 로스가 최소화되도록 상기 디코더, 상기 인코더, 및 상기 마스킹 레이어 중 적어도 하나의 파라미터를 조정하는 프로세스를 반복하여, 상기 의복 합성 네트워크를 학습하는 것을 특징으로 하는 방법.
제 3 항에 있어서,
상기 GT 이미지는, 상기 사람 형체의 상기 트레이닝 이미지 상의 상기 학습용 의복을 상기 학습용 의복 패턴으로 마스킹하여 생성되는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 GT는 (i) 상기 사람 형체의 상기 이미지를 라벨링하여 생성된 상기 사람 형체에 대응되는 정보, 및 (ii) 상기 객체 검출기 또는 다른 객체 검출기로 입력된 상기 사람 형체의 상기 이미지로부터 검출된 상기 사람 형체에 대응되는 정보 중 하나인 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 (b) 단계에서,
상기 안전 의복 패턴 생성 장치는, 상기 이미지 변환 네크워크로 하여금, 상기 사람 형체를 검출하는 종래의 객체 검출기의 성능이 기설정된 임계치보다 낮아지도록 상기 합성 이미지 상의 상기 주변 환경을 다른 주변 환경으로 변환하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
제 6 항에 있어서,
상기 이미지 변환 네트워크는, 서로 페어되지 않고(Unpaired) 서로 다른 도메인(Domain)에 각각 속하는 원본 이미지와 변환 이미지에 대해 이미지 대 이미지 변환(Image-To-Image Translation)을 하는 사이클 GAN(Cycle Generative Adversarial Network)을 포함하는 것을 특징으로 하는 방법.
사람 형체(Human-like Figure)에 사용되는 적어도 하나의 안전 의복 패턴을 생성하는 안전 의복 패턴 생성 장치에 있어서,
인스트럭션을 저장하는 적어도 하나의 메모리; 및
(I) 상기 사람 형체의 적어도 하나의 이미지가 획득되면, 초기값을 가지는 적어도 하나의 특정 의복 패턴을 생성하는 프로세스 및 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 의복 합성 네트워크(Clothing Composition Network)로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크가 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 의복과 상기 특정 의복 패턴을 합성하여, 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 합성 이미지(Composite Image)를 생성하도록 하는 프로세스, (II) 상기 합성 이미지를 이미지 변환 네트워크(Image Translation Network)에 입력하여 상기 이미지 변환 네트워크로 하여금 상기 합성 이미지 상의 주변 환경을 변환하여 적어도 하나의 변환 이미지(Translated Image)를 생성하도록 하는 프로세스, 및 상기 변환 이미지를 객체 검출기(Object Detector)로 입력하여 상기 객체 검출기로 하여금 상기 변환 이미지 상에서 검출된 상기 사람 형체를 나타내는 상기 사람 형체에 대한 검출 정보를 출력하도록 하는 프로세스, 및 (III) 제1 로스 레이어로 하여금 상기 사람 형체에 대한 상기 검출 정보와 상기 사람 형체의 상기 이미지에 대응되는 적어도 하나의 GT(Ground Truth)를 참조하여 적어도 하나의 로스를 산출하도록 하는 프로세스, 및 상기 로스를 이용하여 상기 로스가 최소화되도록 상기 특정 의복 패턴의 상기 초기값을 업데이트하는 하는 프로세스를 수행하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하는 장치.
제 8 항에 있어서,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 상기 의복 합성 네트워크로 입력하는 프로세스를 수행함으로써, 상기 의복 합성 네트워크로 하여금, (i) 세그먼테이션 네트워크(Segmentation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 의복을 세그먼테이션하도록 하는 프로세스와, 자세 추정 네트워크(Posture Estimation Network)를 통해 상기 사람 형체의 상기 이미지 상의 상기 사람 형체의 적어도 하나의 관절 부위를 획득하도록 하는 프로세스, (ii) 마스킹 레이어(Masking Layer)를 통해 상기 관절 부위를 참조하여 상기 특정 의복 패턴으로 상기 의복을 마스킹하여 생성된 적어도 하나의 마스킹된 이미지(Masked Image)를 획득하는 프로세스, (iii) 상기 마스킹된 이미지와 상기 사람 형체의 상기 이미지를 컨캐터네이팅(Concatenating)하여 적어도 하나의 컨캐터네이팅된 이미지(Concatenated Image)를 생성하는 프로세스, 및 (iv) 인코더(Encoder)를 통해 상기 컨캐터네이팅된 이미지에 대하여 컨벌루션 연산을 적어도 한 번 적용하는 프로세스 및 디코더(Decoder)를 통해 상기 인코더의 출력에 대하여 디컨벌루션 연산을 적어도 한 번 적용하는 프로세스를 수행함으로써, 상기 합성 이미지를 생성하도록 하는 것을 특징으로 하는 장치.
제 9 항에 있어서,
상기 의복 합성 네트워크는, 학습 장치에 의해 상기 특정 의복 패턴과 상기 사람 형체의 상기 이미지를 이용하여 상기 합성 이미지를 생성하도록 학습된 상태이되,
상기 학습 장치가, (i) 상기 사람 형체의 적어도 하나의 획득된 트레이닝 이미지를 상기 세그먼테이션 네트워크로 입력하여 상기 세그먼테이션 네트워크로 하여금 상기 사람 형체의 상기 트레이닝 이미지 상의 적어도 하나의 학습용 의복을 세그먼테이션하도록 하는 프로세스와, 상기 사람 형체의 상기 트레이닝 이미지를 상기 자세 추정 네트워크로 입력하여 상기 자세 추정 네트워크로 하여금 상기 사람 형체의 상기 트레이닝 이미지 상의 적어도 하나의 학습용 사람 형체의 적어도 하나의 학습용 관절 부위를 획득하도록 하는 프로세스, (ii) 상기 학습용 관절 부위, 상기 학습용 의복, 및 적어도 하나의 획득된 학습용 의복 패턴을 상기 마스킹 레이어로 입력하여, 상기 마스킹 레이어로 하여금 상기 학습용 관절 부위를 참조해 상기 학습용 의복 패턴으로 상기 학습용 의복을 마스킹하여 적어도 하나의 학습용 마스킹된 이미지를 생성하도록 하는 프로세스, (iii) 상기 학습용 마스킹된 이미지와 상기 사람 형체의 상기 트레이닝 이미지를 컨캐터네이팅하여 적어도 하나의 학습용 컨캐터네이팅된 이미지를 생성하는 프로세스, (iv) 상기 학습용 컨캐터네이팅된 이미지를 상기 인코더에 입력하여 상기 인코더로 하여금 상기 학습용 컨캐터네이팅된 이미지에 대하여 상기 컨벌루션 연산을 적어도 한 번 적용하도록 하는 프로세스, 및 상기 인코더의 상기 출력을 상기 디코더에 입력하여 상기 디코더로 하여금 상기 인코더의 상기 출력에 대하여 상기 디컨벌루션 연산을 적어도 한 번 적용하도록 하여 상기 학습용 합성 이미지를 생성하도록 하는 프로세스, 및 (v) 제2 로스 레이어로 하여금 (v-1) 상기 학습용 합성 이미지와 (v-2) 적어도 하나의 GT 이미지 - 상기 적어도 하나의 GT 이미지는 상기 사람 형체의 상기 트레이닝 이미지 및 상기 학습용 의복 패턴에 대응하도록 생성된 것임 - 를 참조하여 적어도 하나의 지각 로스(Perceptual Loss)를 산출하도록 하는 프로세스, 및 상기 지각 로스를 참조한 백프로퍼게이션을 통해 상기 지각 로스가 최소화되도록 상기 디코더, 상기 인코더, 및 상기 마스킹 레이어 중 적어도 하나의 파라미터를 조정하는 프로세스를 반복하여, 상기 의복 합성 네트워크를 학습하는 것을 특징으로 하는 장치.
제 10 항에 있어서,
상기 GT 이미지는, 상기 사람 형체의 상기 트레이닝 이미지 상의 상기 학습용 의복을 상기 학습용 의복 패턴으로 마스킹하여 생성되는 것을 특징으로 하는 장치.
제 8 항에 있어서,
상기 GT는 (i) 상기 사람 형체의 상기 이미지를 라벨링하여 생성된 상기 사람 형체에 대응되는 정보, 및 (ii) 상기 객체 검출기 또는 다른 객체 검출기로 입력된 상기 사람 형체의 상기 이미지로부터 검출된 상기 사람 형체에 대응되는 정보 중 하나인 것을 특징으로 하는 장치.
제 8 항에 있어서,
상기 (II) 프로세스에서,
상기 프로세서는, 상기 이미지 변환 네크워크로 하여금, 상기 사람 형체를 검출하는 종래의 객체 검출기의 성능이 기설정된 임계치보다 낮아지도록 상기 합성 이미지 상의 상기 주변 환경을 다른 주변 환경으로 변환하도록 하는 프로세스를 수행하는 것을 특징으로 하는 장치.
제 13 항에 있어서,
상기 이미지 변환 네트워크는, 서로 페어되지 않고(Unpaired) 서로 다른 도메인(Domain)에 각각 속하는 원본 이미지와 변환 이미지에 대해 이미지 대 이미지 변환(Image-To-Image Translation)을 하는 사이클 GAN(Cycle Generative Adversarial Network)을 포함하는 것을 특징으로 하는 장치.