KR20210015951A

KR20210015951A - 이미지 처리 방법 및 장치, 전자 기기, 및 기억 매체

Info

Publication number: KR20210015951A
Application number: KR1020207037906A
Authority: KR
Inventors: 시지에 런; 조우시아 왕; 지아웨이 장
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2019-05-09
Filing date: 2020-04-24
Publication date: 2021-02-10
Also published as: JP2021528742A; SG11202012590SA; US20210097297A1; KR102445193B1; TWI777162B; TW202042175A; CN110084775B; CN110084775A; WO2020224457A1

Abstract

본 발명은 이미지 처리 방법 및 장치, 전자 기기, 및 기억 매체에 관한 것으로, 상기 방법은 제1 이미지를 취득하는 것과, 상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하고, 상기 가이드 이미지에 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함되는 것과, 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것으로, 본 발명의 실시예는 재구성 이미지의 선예도를 높일 수 있다.

Description

이미지 처리 방법 및 장치, 전자 기기, 및 기억 매체

본 발명은 2019년 5월 9일에 중국 특허청에 제출된, 출원번호가 201910385228.X호이고, 발명의 명칭이 「이미지 처리 방법 및 장치, 전자 기기, 및 기억 매체」인 중국 특허출원의 우선권을 주장하고, 그 발명의 모든 내용이 원용에 의해 본 발명에 포함된다.

본 발명은 컴퓨터 비전 기술 분야에 관한 것으로, 특히 이미지 처리 방법 및 장치, 전자 기기, 및 기억 매체에 관한 것이다.

관련 기술에서 촬상 환경이나 촬상 기기의 배치 등의 관계에서, 취득된 이미지는 품질이 저하된 것인 경우가 있고, 이러한 이미지로는 얼굴 검출이나 그 밖의 타입의 목표 검출을 실현하는 것은 곤란하다. 통상, 몇 가지 모델이나 알고리즘에 의해 이러한 이미지를 재구성하는 것은 가능하다. 대부분의 저화소 이미지를 재구성하는 방법에서는 노이즈나 흐림(blur)의 혼입이 있을 경우, 선명한 이미지를 복원하는 것은 곤란하다.

본 발명은 이미지 처리의 기술 해결 수단을 제안한다.

본 발명의 일 측면에 의하면, 제1 이미지를 취득하는 것과, 상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하고, 상기 가이드 이미지에 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함되는 것과, 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것을 포함하는 이미지 처리 방법을 제공한다. 상기 구성에 의하면, 가이드 이미지에 의해 제1 이미지의 재구성을 행할 수 있고, 제1 이미지가 현저하게 열화된 경우에도 가이드 이미지의 융합에 의해, 선명한 재구성 이미지를 재구성할 수 있어, 보다 우수한 재구성 효과를 갖는다.

일부 가능한 실시형태에서는 상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하는 것은 상기 제1 이미지의 기술 정보를 취득하는 것과, 상기 제1 이미지의 기술 정보에 기초하여, 상기 목표 대상물의 하나 이상의 목표 부위에 매칭되는 가이드 이미지를 결정하는 것을 포함한다. 상기 구성에 의하면, 기술 정보에 따라, 목표 부위의 가이드 이미지를 얻을 수 있고, 또한 기술 정보에 기초하여 보다 정확한 가이드 이미지를 제공할 수 있다.

일부 가능한 실시형태에서는 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것은 상기 제1 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀(affine) 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻는 것과, 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하는 것과, 추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻는 것을 포함한다. 상기 구성에 의하면, 가이드 이미지 내의, 목표 대상물에 매칭되는 부위가 목표 대상물의 자세가 되도록 가이드 이미지에서의 대상물의 자세를 제1 이미지에서의 목표 대상물의 자세에 따라 조정할 수 있고, 재구성을 행할 때, 재구성의 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻는 것은 상기 제1 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는 상기 서브 이미지 및 상기 제1 이미지에 대해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것을 포함한다. 상기 구성에 의하면, 다양한 형태의 재구성 수단을 제공할 수 있어, 재구성이 편리하며 정밀도가 높다는 특징이 있다.

일부 가능한 실시형태에서는 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것은 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여, 상기 제1 이미지의 해상도보다 높은 해상도의 제2 이미지를 얻는 것과, 상기 제2 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻는 것과, 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하는 것과, 추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻는 것을 포함한다. 상기 구성에 의하면, 초해상 재구성 처리에 의해 제1 이미지의 선예도를 높여 제2 이미지를 얻고, 또한 제2 이미지에 따라 가이드 이미지의 아핀 변화를 행할 수 있고, 제2 이미지의 해상도는 제1 이미지보다 높기 때문에, 아핀 변환 및 그 후의 재구성 처리를 행할 때, 재구성 이미지의 정밀도를 더욱 높일 수 있다.

일부 가능한 실시형태에서는 추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻는 것은 상기 제2 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는 상기 서브 이미지 및 상기 제2 이미지에 의해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것을 포함한다. 상기 구성에 의하면, 다양한 형태의 재구성 수단을 제공할 수 있어, 재구성이 편리하며 정밀도가 높다는 특징이 있다.

일부 가능한 실시형태에서는 상기 방법은 추가로, 상기 재구성 이미지를 사용하여 신원 인식을 행하고, 상기 대상물에 매칭되는 신원 정보를 결정하는 것을 포함한다. 상기 구성에 의하면, 재구성 이미지는 제1 이미지에 비교하여 선예도가 큰 폭으로 높아지고, 보다 풍부한 세부 정보를 갖기 때문에, 재구성 이미지에 의해 신원 인식을 행함으로써, 고속으로 정확하게 인식 결과를 얻을 수 있다.

일부 가능한 실시형태에서는 제1 뉴럴 네트워크에 의해 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여 상기 제2 이미지를 얻고, 상기 방법은 추가로, 상기 제1 뉴럴 네트워크를 트레이닝하는 단계를 포함하고, 상기 단계는 복수의 제1 트레이닝 이미지와, 상기 제1 트레이닝 이미지에 대응하는 제1 교사 데이터를 포함하는 제1 트레이닝 이미지 세트를 취득하는 것과, 상기 제1 트레이닝 이미지 세트 중 하나 이상의 제1 트레이닝 이미지를 상기 제1 뉴럴 네트워크에 입력하여 상기 초해상 이미지 재구성 처리를 행하여, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지를 얻는 것과, 상기 예측 초해상 이미지를 제1 적대적 네트워크, 제1 특징 인식 네트워크 및 제1 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하여, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여, 제1 네트워크 손실을 얻고, 상기 제1 네트워크 손실에 기초하여 제1 트레이닝 요구를 충족할 때까지 상기 제1 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함한다. 상기 구성에 의하면, 적대적 네트워크, 특징 인식 네트워크 및 시멘틱 세그멘테이션 네트워크에 의해, 제1 뉴럴 네트워크의 트레이닝을 지원할 수 있고, 뉴럴 네트워크의 정밀도 향상뿐만 아니라, 제1 뉴럴 네트워크에 의한 이미지의 각 세부의 정확한 인식을 달성할 수 있다.

일부 가능한 실시형태에서는 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여, 제1 네트워크 손실을 얻는 것은 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지와, 상기 제1 교사 데이터 중 상기 제1 트레이닝 이미지에 대응하는 제1 표준 이미지에 기초하여, 제1 화소 손실을 결정하는 것과, 상기 예측 초해상 이미지의 식별 결과와, 상기 제1 적대적 네트워크에 의한 상기 제1 표준 이미지의 식별 결과에 기초하여, 제1 적대적 손실을 얻는 것과, 상기 예측 초해상 이미지 및 상기 제1 표준 이미지의 비선형 처리에 의해, 제1 지각 손실을 결정하는 것과, 상기 예측 초해상 이미지의 특징 인식 결과와, 상기 제1 교사 데이터 중 제1 표준 특징에 기초하여, 제1 히트 맵 손실을 얻는 것과, 상기 예측 초해상 이미지의 이미지 분할 결과와, 제1 교사 데이터 중 제1 트레이닝 샘플에 대응하는 제1 표준 분할 결과에 기초하여 제1 분할 손실을 얻는 것과, 상기 제1 적대적 손실, 제1 화소 손실, 제1 지각 손실, 제1 히트 맵 손실 및 제1 분할 손실의 가중합을 사용하여 상기 제1 네트워크 손실을 얻는 것을 포함한다. 상기 구성에 의하면, 다양한 손실을 제공하기 때문에, 각 손실을 조합하여 뉴럴 네트워크의 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 제2 뉴럴 네트워크에 의해 상기 가이드 재구성을 행하여 상기 재구성 이미지를 얻고, 상기 방법은 추가로, 상기 제2 뉴럴 네트워크를 트레이닝하는 단계를 포함하고, 상기 단계는 제2 트레이닝 이미지와, 상기 제2 트레이닝 이미지에 대응하는 가이드 트레이닝 이미지 및 제2 교사 데이터를 포함하는 제2 트레이닝 이미지 세트를 취득하는 것과, 상기 제2 트레이닝 이미지에 따라 상기 가이드 트레이닝 이미지에 대해 아핀 변환을 행하여 트레이닝 아핀 이미지를 얻고, 상기 트레이닝 아핀 이미지와, 상기 제2 트레이닝 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 상기 제2 트레이닝 이미지의 가이드 재구성을 행하여 상기 제2 트레이닝 이미지의 재구성 예측 이미지를 얻는 것과, 상기 재구성 예측 이미지를 제2 적대적 네트워크, 제2 특징 인식 네트워크 및 제2 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻고, 상기 제2 네트워크 손실에 기초하여, 제2 트레이닝 요구를 충족할 때까지 상기 제2 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함한다. 상기 구성에 의하면, 적대적 네트워크, 특징 인식 네트워크 및 시멘틱 세그멘테이션 네트워크에 기초하여, 제2 뉴럴 네트워크의 트레이닝을 지원할 수 있고, 뉴럴 네트워크의 정밀도 향상뿐만 아니라, 제2 뉴럴 네트워크에 의한 이미지의 각 세부의 정확한 인식을 달성할 수 있다.

일부 가능한 실시형태에서는 상기 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻는 것은 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여, 전체 손실 및 부분적 손실을 얻는 것과, 상기 전체 손실 및 부분적 손실의 가중합에 기초하여, 상기 제2 네트워크 손실을 얻는 것을 포함한다. 상기 구성에 의하면, 다양한 손실을 제공하기 때문에, 각 손실을 조합하여 뉴럴 네트워크의 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 상기 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여, 전체 손실을 얻는 것은 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지와, 상기 제2 교사 데이터 중 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에 기초하여 제2 화소 손실을 결정하는 것과, 상기 재구성 예측 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 표준 이미지의 식별 결과에 기초하여 제2 적대적 손실을 얻는 것과, 상기 재구성 예측 이미지 및 상기 제2 표준 이미지의 비선형 처리에 의해 제2 지각 손실을 결정하는 것과, 상기 재구성 예측 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 제2 표준 특징에 기초하여, 제2 히트 맵 손실을 얻는 것과, 상기 재구성 예측 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 제2 표준 분할 결과에 기초하여 제2 분할 손실을 얻는 것과, 상기 제2 적대적 손실, 제2 화소 손실, 제2 지각 손실, 제2 히트 맵 손실 및 제2 분할 손실의 가중합을 사용하여 상기 전체 손실을 얻는 것을 포함한다. 상기 구성에 의하면, 다양한 손실을 제공하기 때문에, 각 손실을 조합하여 뉴럴 네트워크의 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 상기 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여, 부분적 손실을 얻는 것은 상기 재구성 예측 이미지에서의 하나 이상의 부위의 부위 서브 이미지를 추출하여, 하나 이상의 부위의 부위 서브 이미지를 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과 및 상기 제2 적대적 네트워크에 의한 상기 제2 표준 이미지에서의 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과에 기초하여, 상기 하나 이상의 부위의 제3 적대적 손실을 결정하는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 특징에 기초하여, 하나 이상의 부위의 제3 히트 맵 손실을 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 분할 결과에 기초하여, 하나 이상의 부위의 제3 분할 손실을 얻는 것과, 상기 하나 이상의 부위의 제3 적대적 손실, 제3 히트 맵 손실 및 제3 분할 손실의 가산합을 사용하여, 상기 네트워크의 부분적 손실을 얻는 것을 포함한다. 상기 구성에 의하면, 각 부위의 세부 손실에 기초하여, 뉴럴 네트워크의 정밀도를 더욱 높일 수 있다.

본 발명의 제2 측면에 의하면, 제1 이미지를 취득하기 위한 제1 취득 모듈과, 상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하기 위한 것으로서, 상기 가이드 이미지에 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함되는 제2 취득 모듈과, 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻기 위한 재구성 모듈을 포함하는 이미지 처리 장치를 제공한다. 상기 구성에 의하면, 가이드 이미지에 의해 제1 이미지의 재구성을 행할 수 있고, 제1 이미지가 현저하게 열화된 경우에도 가이드 이미지의 융합에 의해, 선명한 재구성 이미지를 재구성할 수 있어, 보다 우수한 재구성 효과를 갖는다.

일부 가능한 실시형태에서는 상기 제2 취득 모듈은 추가로, 상기 제1 이미지의 기술 정보를 취득하는 것과, 상기 제1 이미지의 기술 정보에 기초하여, 상기 목표 대상물의 하나 이상의 목표 부위에 매칭되는 가이드 이미지를 결정하는 것에 사용된다. 상기 구성에 의하면, 기술 정보에 따라 목표 부위의 가이드 이미지를 얻을 수 있고, 그리고 기술 정보에 기초하여 보다 정확한 가이드 이미지를 제공할 수 있다.

일부 가능한 실시형태에서는 상기 재구성 모듈은 상기 제1 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻기 위한 아핀 유닛과, 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하기 위한 추출 유닛과, 추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻기 위한 재구성 유닛을 포함한다. 상기 구성에 의하면, 가이드 이미지에서의 목표 대상물에 매칭되는 부위가 목표 대상물의 자세가 되도록 가이드 이미지에서의 대상물의 자세를 제1 이미지에서의 목표 대상물의 자세에 따라 조정할 수 있어, 재구성을 행할 때, 재구성 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 상기 재구성 유닛은 추가로, 상기 제1 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는 상기 서브 이미지 및 상기 제1 이미지에 대해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것에 사용된다. 상기 구성에 의하면, 다양한 형태의 재구성 수단을 제공할 수 있어, 재구성이 편리하며 정밀도가 높다는 특징이 있다.

일부 가능한 실시형태에서는 상기 재구성 모듈은 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여, 상기 제1 이미지의 해상도보다 높은 해상도의 제2 이미지를 얻기 위한 초해상 유닛과, 상기 제2 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻기 위한 아핀 유닛과, 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하기 위한 추출 유닛과, 추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻기 위한 재구성 유닛을 포함한다. 상기 구성에 의하면, 초해상 재구성 처리에 의해 제1 이미지의 선예도를 높여 제2 이미지를 얻고, 다시 제2 이미지에 따라 가이드 이미지의 아핀 변화를 행할 수 있고, 제2 이미지의 해상도는 제1 이미지보다 높기 때문에, 아핀 변환 및 그 후의 재구성 처리를 행할 때, 재구성 이미지의 정밀도를 더욱 높일 수 있다.

일부 가능한 실시형태에서는 상기 재구성 유닛은 추가로, 상기 제2 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는 상기 서브 이미지 및 상기 제2 이미지에 의해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것에 사용된다. 상기 구성에 의하면, 다양한 형태의 재구성 수단을 제공할 수 있어, 재구성이 편리하며 정밀도가 높다는 특징이 있이다.

일부 가능한 실시형태에서는 상기 장치는 추가로, 상기 재구성 이미지를 사용하여 신원 인식을 행하고, 상기 목표 대상물에 매칭되는 신원 정보를 결정하기 위한 신원 인식 유닛를 추가로 포함한다. 상기 구성에 의하면, 재구성 이미지는 제1 이미지에 비교하여 선예도가 큰 폭으로 높아지고, 보다 풍부한 세부 정보를 갖기 때문에, 재구성 이미지에 기초하여 신원 인식을 행함으로써, 고속으로 정확하게 인식 결과를 얻을 수 있다.

일부 가능한 실시형태에서는 상기 초해상 유닛은 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하기 위한 제1 뉴럴 네트워크를 포함하고, 상기 장치는 추가로, 상기 제1 뉴럴 네트워크를 트레이닝하기 위한 제1 트레이닝 모듈을 포함하고, 상기 제1 뉴럴 네트워크를 트레이닝하는 단계는 복수의 제1 트레이닝 이미지와, 상기 제1 트레이닝 이미지에 대응하는 제1 교사 데이터를 포함하는 제1 트레이닝 이미지 세트를 취득하는 것과, 상기 제1 트레이닝 이미지 세트 중 하나 이상의 제1 트레이닝 이미지를 상기 제1 뉴럴 네트워크에 입력하여 상기 초해상 이미지 재구성 처리를 행하여, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지를 얻는 것과, 상기 예측 초해상 이미지를 제1 적대적 네트워크, 제1 특징 인식 네트워크 및 제1 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하여, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여, 제1 네트워크 손실을 얻고, 상기 제1 네트워크 손실에 기초하여 제1 트레이닝 요구를 충족할 때까지 상기 제1 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함한다. 상기 구성에 의하면, 적대적 네트워크, 특징 인식 네트워크 및 시멘틱 세그멘테이션 네트워크에 의해, 제1 뉴럴 네트워크의 트레이닝을 지원할 수 있고, 뉴럴 네트워크의 정밀도 향상뿐만 아니라, 제1 뉴럴 네트워크에 의한 이미지의 각 세부의 정확한 인식을 달성할 수 있다.

일부 가능한 실시형태에서는 상기 제1 트레이닝 모듈은 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지와, 상기 제1 교사 데이터 중 상기 제1 트레이닝 이미지에 대응하는 제1 표준 이미지에 기초하여, 제1 화소 손실을 결정하는 것과, 상기 예측 초해상 이미지의 식별 결과와, 상기 제1 적대적 네트워크에 의한 상기 제1 표준 이미지의 식별 결과에 기초하여, 제1 적대적 손실을 얻는 것과, 상기 예측 초해상 이미지 및 상기 제1 표준 이미지의 비선형 처리에 의해, 제1 지각 손실을 결정하는 것과, 상기 예측 초해상 이미지의 특징 인식 결과와, 상기 제1 교사 데이터 중 제1 표준 특징에 기초하여, 제1 히트 맵 손실을 얻는 것과, 상기 예측 초해상의 이미지의 이미지 분할 결과와, 제1 교사 데이터 중 제1 트레이닝 샘플에 대응하는 제1 표준 분할 결과에 기초하여 제1 분할 손실을 얻는 것과, 상기 제1 적대적 손실, 제1 화소 손실, 제1 지각 손실, 제1 히트 맵 손실 및 제1 분할 손실의 가중합을 사용하여, 상기 제1 네트워크 손실을 얻는 것에 사용된다. 상기 구성에 의하면, 다양한 손실을 제공하기 때문에, 각 손실을 조합하여 뉴럴 네트워크의 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 상기 재구성 모듈은 상기 가이드 재구성을 행하여 상기 재구성 이미지를 얻기 위한 제2 뉴럴 네트워크를 포함하고, 상기 장치는 추가로, 상기 제2 뉴럴 네트워크를 트레이닝하기 위한 제2 트레이닝 모듈을 포함하고, 상기 제2 뉴럴 네트워크를 트레이닝하는 단계는 제2 트레이닝 이미지와, 상기 제2 트레이닝 이미지에 대응하는 가이드 트레이닝 이미지 및 제2 교사 데이터를 포함하는 제2 트레이닝 이미지 세트를 취득하는 것과, 상기 제2 트레이닝 이미지에 따라 상기 가이드 트레이닝 이미지에 대해 아핀 변환을 행하여 트레이닝 아핀 이미지를 얻고, 상기 트레이닝 아핀 이미지와, 상기 제2 트레이닝 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 상기 제2 트레이닝 이미지의 가이드 재구성을 행하여 상기 제2 트레이닝 이미지의 재구성 예측 이미지를 얻는 것과, 상기 재구성 예측 이미지를 제2 적대적 네트워크, 제2 특징 인식 네트워크 및 제2 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻고, 상기 제2 네트워크 손실에 기초하여, 제2 트레이닝 요구를 충족할 때까지 상기 제2 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함한다. 상기 구성에 의하면, 적대적 네트워크, 특징 인식 네트워크 및 시멘틱 세그멘테이션 네트워크에 의해 제2 뉴럴 네트워크의 트레이닝을 지원할 수 있고, 뉴럴 네트워크의 정밀도 향상뿐만 아니라, 제2 뉴럴 네트워크에 의한 이미지의 각 세부의 정확한 인식을 달성할 수 있다.

일부 가능한 실시형태에서는 상기 제2 트레이닝 모듈은 추가로, 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여 전체 손실 및 부분적 손실을 얻는 것과, 상기 전체 손실 및 부분적 손실의 가중합에 기초하여 상기 제2 네트워크 손실을 얻는 것에 사용된다. 상기 구성에 의하면, 다양한 손실을 제공하기 때문에, 각 손실을 조합하여 뉴럴 네트워크의 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 상기 제2 트레이닝 모듈은 추가로, 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지와, 상기 제2 교사 데이터 중 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에 기초하여 제2 화소 손실을 결정하는 것과, 상기 재구성 예측 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 표준 이미지의 식별 결과에 기초하여 제2 적대적 손실을 얻는 것과, 상기 재구성 예측 이미지 및 상기 제2 표준 이미지의 비선형 처리에 의해 제2 지각 손실을 결정하는 것과, 상기 재구성 예측 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 제2 표준 특징에 기초하여, 제2 히트 맵 손실을 얻는 것과, 상기 재구성 예측 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 제2 표준 분할 결과에 기초하여 제2 분할 손실을 얻는 것과, 상기 제2 적대적 손실, 제2 화소 손실, 제2 지각 손실, 제2 히트 맵 손실 및 제2 분할 손실의 가중합을 사용하여 상기 전체 손실을 얻는 것에 사용된다. 상기 구성에 의하면, 다양한 손실을 제공하기 때문에, 각 손실을 조합하여 뉴럴 네트워크의 정밀도를 높일 수 있다.

일부 가능한 실시형태에서는 상기 제2 트레이닝 모듈은 추가로, 상기 재구성 예측 이미지에서의 하나 이상의 부위의 부위 서브 이미지를 추출하여, 하나 이상의 부위의 부위 서브 이미지를 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에서의 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과에 기초하여 상기 하나 이상의 부위의 제3 적대적 손실을 결정하는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 특징에 기초하여, 하나 이상의 부위의 제3 히트 맵 손실을 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 분할 결과에 기초하여, 하나 이상의 부위의 제3 분할 손실을 얻는 것과, 상기 하나 이상의 부위의 제3 적대적 손실, 제3 히트 맵 손실 및 제3 분할 손실의 가산합을 사용하여, 상기 네트워크의 부분적 손실을 얻는 것에 사용된다. 상기 구성에 의하면, 각 부위의 세부 손실에 기초하여, 뉴럴 네트워크의 정밀도를 더욱 높일 수 있다.

본 발명의 제3 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러냄으로써, 제1 측면에서의 어느 한 항의 방법을 실행하도록 구성되는 전자 기기를 제공한다.

본 발명의 제4 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면 제1 측면 중 어느 한 항에 기재된 방법을 실현시키는 것을 특징으로 하는 컴퓨터 판독 가능 기억 매체를 제공한다.

본 발명의 제5 측면에 의하면, 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 제1 측면 중 어느 한 항에 기재된 방법을 실행시키는 컴퓨터 판독 가능 코드를 제공한다.

본 발명의 실시예에서, 하나 이상의 가이드 이미지에 의해 제1 이미지의 재구성 처리를 행할 수 있고, 가이드 이미지에는 제1 이미지의 세부 정보가 포함되기 때문에, 얻어진 재구성 이미지는 제1 이미지보다 선예도가 높아진 것이며, 제1 이미지가 현저하게 열화된 경우에도 가이드 이미지의 융합에 의해, 선명한 재구성 이미지를 생성할 수 있다. 즉, 본 발명은 복수의 가이드 이미지를 조합하여 이미지의 재구성을 편리하게 행하여, 선명한 이미지를 얻을 수 있다.

이상의 일반적인 설명과 이하의 세부적인 설명은 해석적이거나 예시적인 것에 불과하며, 본 발명을 제한하지 않는 것을 이해해야 한다.

도면을 참조하면서 예시적인 실시예를 상세히 설명함으로써 본 발명의 다른 특징 및 측면은 명확해진다.

명세서의 일부로서 포함되는 도면은 본 발명에 합치되는 실시예를 나타내고, 명세서와 함께 본 발명의 기술적 수단을 설명하기 위해 사용된다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S20)의 흐름도를 나타낸다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S30)의 흐름도를 나타낸다.
도 4는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S30)의 다른 흐름도를 나타낸다.
도 5는 본 발명의 실시예에 따른 이미지 처리 방법의 순서 모식도를 나타낸다.
도 6은 본 발명의 실시예에서의 제1 뉴럴 네트워크의 트레이닝의 흐름도를 나타낸다.
도 7은 본 발명의 실시예에서의 제1 뉴럴 네트워크의 트레이닝의 구조 모식도를 나타낸다.
도 8은 본 발명의 실시예에서의 제2 뉴럴 네트워크의 트레이닝의 흐름도를 나타낸다.
도 9는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 나타낸다.
도 10은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
도 11은 본 발명의 실시예에 따른 다른 전자 기기의 블록도를 나타낸다.

이하에 도면을 참조하면서 본 발명의 여러 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에 있어서, 동일한 부호는 동일 또는 유사한 기능의 요소를 나타낸다. 도면에 있어서 실시예의 여러 측면을 나타내지만, 특별히 언급이 없는 한, 비례에 따라 도면을 그릴 필요가 없다.

여기서의 용어 「예시적」이란 「예, 실시예로서 사용되는 것 또는 설명적인 것」을 의미한다. 여기서「예시적」으로 설명된 어떠한 실시예도 다른 실시예보다 바람직하거나 또한 우수한 것으로 이해해서는 안된다.

본 명세서에서, 용어 「및/또는」은 관련 대상의 관련 관계를 기술하기 위한 것에 불과하고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하고, A와 B가 동시에 존재하고, B만이 존재하는 3개의 경우를 나타낼 수 있다. 또한, 본 명세서에서, 용어 「하나 이상」은 복수 중 어느 하나, 또는 복수 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면, A, B, C 중 하나 이상을 포함하는 것은 A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 나타낸다. 당업자라면 본 발명은 어떠한 구체적인 상세가 없어도 동일하게 실시할 수 있는 것을 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자가 숙지하고 있는 방법, 수단, 요소 및 회로에 대해 상세한 설명을 생략한다.

본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반되지 않는 한, 상호 조합하여 실시예를 형성할 수 있음을 이해해야 하고, 분량에 한계가 있으므로, 본 발명에서는 상세한 설명을 생략한다.

또한, 본 발명은 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램을 추가로 제공하고, 이들은 전부 본 발명에서 제공되는 이미지 처리 방법 중 어느 하나를 실현하는 것에 이용 가능하며, 대응하는 기술적 해결 수단 및 설명에 대해서는 방법 부분의 대응하는 기재를 참조하면 되고, 상세한 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 나타낸다. 도 1에 나타내는 바와 같이, 상기 이미지 처리 방법은 하기 사항을 포함해도 된다.

S10: 제1 이미지를 취득한다.

본 발명의 실시예에서의 이미지 처리 방법의 실행 주체는 이미지 처리 장치여도 된다. 예를 들면, 이미지 처리 방법은 사용자 기기(User Equipment, UE), 휴대 기기, 사용자 단말, 단말, 셀룰러 폰, 코드리스 전화기, 퍼스널 디지털 어시스턴트(Personal Digital Assistant, PDA), 휴대용 장치, 계산 장치, 차재 장치, 웨어러블 장치 등의 단말 장치, 또는 서버 또는 그 밖의 처리 장치에 의해 실행되어도 된다. 서버로는 로컬 서버나 클라우드 서버여도 된다. 일부 가능한 실시형태에서는 이 이미지 처리 방법은 프로세서에 의해 메모리에 기억되어 있는 컴퓨터 판독 가능한 명령을 불러내어 실현되어도 된다. 이미지 처리를 실현할 수 있는 것이면 본 발명의 실시예에 따른 이미지 처리 방법의 실행 주체가 될 수 있다.

일부 가능한 실시형태에서는 우선, 처리 대상 이미지인 제1 이미지를 취득해도 된다. 본 발명의 실시예에서의 제1 이미지는 해상도가 비교적 낮고, 화질이 비교적 떨어지는 이미지여도 되고, 본 발명의 실시예의 방법에 의해, 제1 이미지의 해상도를 높이고, 선명한 재구성 이미지를 얻을 수 있다. 또한, 제1 이미지에는 목표 타입의 목표 대상물을 포함해도 된다. 예를 들면, 본 발명의 실시예에서의 목표 대상물은 얼굴이어도 된다. 즉, 본 발명의 실시예에 의해, 얼굴 이미지의 재구성을 행할 수 있고, 제1 이미지에서의 인물 정보를 편리하게 인식할 수 있다. 그 밖의 실시예에서, 목표 대상물은 예를 들면, 동물, 식물 또는 그 밖의 물건 등의 다른 타입이어도 된다.

또한, 본 발명의 실시예에서 제1 이미지를 취득하는 방식은 전송된 제1 이미지를 수신하는 방식, 수신된 선택 명령에 기초하여 스토리지 공간으로부터 제1 이미지를 선택하는 방식, 이미지 취득 장치에 의해 취득된 제1 이미지를 취득하는 방식 중 하나 이상을 포함해도 된다. 여기서, 스토리지 공간은 로컬 스토리지 어드레스여도 되고, 네트워크상의 스토리지 어드레스여도 된다. 상기는 예시적인 설명에 불과하고, 본 발명에서의 제1 이미지의 취득을 구체적으로 한정하는 것은 아니다.

S20: 상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하고, 상기 가이드 이미지에 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함된다.

일부 가능한 실시형태에서는 제1 이미지는 대응하는 하나 이상의 가이드 이미지가 준비되어 있어도 된다. 가이드 이미지에는 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함되고, 예를 들면, 목표 대상물의 하나 이상의 목표 부위의 가이드 정보가 포함되어도 된다. 목표 대상물이 얼굴인 경우, 가이드 이미지는 목표 대상물의 신원에 매칭되는 인물 중 하나 이상의 부위의 이미지, 예를 들면, 눈, 코, 눈썹, 입, 얼굴형, 머리카락 등의 하나 이상의 목표 부위의 이미지를 포함해도 된다. 혹은, 의복 또는 그 밖의 부위의 이미지여도 된다. 본 발명은 구체적으로 한정되지 않고, 제1 이미지의 재구성에 사용되는 것이면, 본 발명의 실시예의 가이드 이미지로 해도 된다. 또한, 본 발명의 실시예에서의 가이드 이미지는 고해상도 이미지이기 때문에 재구성 이미지의 선예도 및 정확도를 향상시킬 수 있다.

일부 가능한 실시형태에서는 다른 기기에서 제1 이미지에 매칭되는 가이드 이미지를 직접 수신해도 되고, 취득된 목표 대상물에 관한 기술 정보에 기초하여 가이드 이미지를 얻어도 된다. 여기서, 기술 정보는 목표 대상물의 하나 이상의 특징 정보를 포함해도 되고, 예를 들면, 목표 대상물이 얼굴인 경우, 기술 정보는 대상물인 얼굴의 하나 이상의 목표 부위에 관한 특징 정보를 포함해도 된다. 혹은, 기술 정보는 제1 이미지에서의 목표 대상물의 전반적인 기술 정보, 예를 들면, 상기 목표 대상물이 어느 신원이 이미 알려진 대상물이라는 것이라는 기술 정보를 직접 포함해도 된다. 기술 정보에 의해, 제1 이미지의 목표 대상물의 하나 이상의 목표 부위의 유사 이미지를 결정하거나, 또는 제1 이미지에서의 대상물과 동일한 대상물을 포함하는 이미지를 결정할 수 있고, 이와 같이 얻어진 각 유사 이미지 또는 동일한 대상물을 포함하는 이미지는 가이드 이미지로 해도 된다.

일례에서 1인 이상의 목격자로부터 제공된 용의자의 정보를 기술 정보로서 사용하고, 기술 정보에 기초하여 하나 이상의 가이드 이미지를 형성해도 된다. 또한, 카메라 또는 그 밖의 수단에 의해 얻어진 용의자의 제1 이미지와 병용하여, 각 가이드에 의해 상기 제1 이미지의 재구성을 행함으로써, 용의자의 선명한 이미지를 얻는다.

S30: 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는다.

제1 이미지에 대응하는 하나 이상의 가이드 이미지를 얻은 후, 얻어진 하나 이상의 이미지에 의해 제1 이미지의 재구성을 행할 수 있다. 가이드 이미지에는 제1 이미지에서의 목표 대상물의 하나 이상의 목표 부위의 가이드 정보가 포함되기 때문에, 상기 가이드 정보에 기초하여 제1 이미지를 가이드 재구성할 수 있다. 특히 제1 이미지가 현저하게 열화된 것인 경우에도 가이드 정보를 조합하여 보다 선명한 재구성 이미지를 재구성할 수 있다.

일부 가능한 실시형태에서는 제1 이미지에 대해, 대응하는 목표 부위의 가이드 이미지로의 교체를 직접 행하여 재구성 이미지를 얻어도 된다. 예를 들면, 가이드 이미지가 눈 부분의 가이드 이미지를 포함하는 경우, 제1 이미지에 대해 상기 눈의 가이드 이미지로의 교체를 행해도 되고, 가이드 이미지가 눈 부분의 가이드 이미지를 포함하는 경우, 제1 이미지에 대해, 상기 눈의 가이드 이미지로의 교체를 행해도 된다. 이 방식에 의해, 제1 이미지에 대해, 대응하는 가이드 이미지로의 교체를 직접 행하여, 이미지의 재구성을 달성할 수 있다. 이 방식은 간단하고 편리하다는 특징이 있고, 복수의 가이드 이미지의 가이드 정보를 제1 이미지에 통합하여, 제1 이미지의 재구성을 편리하게 달성할 수 있다. 가이드 이미지는 선명한 이미지이기 때문에, 얻어진 재구성 이미지도 선명한 이미지이다.

일부 가능한 실시형태에서는 가이드 이미지 및 제1 이미지의 합성곱 처리에 의해 재구성 이미지를 얻어도 된다.

일부 가능한 실시형태에서는 얻어진 제1 이미지에서의 목표 대상물의 가이드 이미지의 대상물의 자세와, 제1 이미지에서의 목표 대상물의 자세는 상이한 경우가 있다. 이 경우, 각 가이드 이미지를 제1 이미지에 워프(warp)할 필요가 있다. 즉, 가이드 이미지에서의 대상물의 자세를 제1 이미지에서의 목표 대상물의 자세에 매칭되도록 조정하고, 그 후 자세가 조정된 가이드 이미지를 사용하여 제1 이미지의 재구성 처리를 행한다. 이 순서에 의해 얻어진 재구성 이미지의 정확도는 높아진다.

상기 실시예에 의하면, 본 발명의 실시예는 제1 이미지의 하나 이상의 가이드 이미지에 의해 제1 이미지의 재구성을 편리하게 행할 수 있고, 얻어진 재구성 이미지는 각 가이드 이미지의 가이드 정보를 융합할 수 있기 때문에, 높은 선예도를 갖는다.

이하, 도면에 의해 본 발명의 실시예의 각 순서를 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S20)의 흐름도이고, 상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하는 것(단계(S20))은 하기 사항을 포함한다.

S21: 상기 제1 이미지의 기술 정보를 취득한다.

상술한 바와 같이, 제1 이미지의 기술 정보는 제1 이미지에서의 목표 대상물의 하나 이상의 목표 부위의 특징 정보(또는 특징 기술 정보)를 포함해도 된다. 예를 들면, 목표 대상물이 얼굴인 경우, 기술 정보는 목표 대상물의 눈, 코, 입, 귀, 얼굴 부분, 피부색, 머리카락, 눈썹 등의 하나 이상의 목표 부위의 특징 정보를 포함해도 되고, 예를 들면, 기술 정보로는 A(1개의 이미 알려진 대상물)의 눈과 유사한 눈, 눈의 형상, 코의 형상, B(1개의 이미 알려진 대상물)의 코와 유사한 코 등을 들 수 있다. 혹은 기술 정보는 제1 이미지에서의 목표 대상물 전체가 C(1개의 이미 알려진 대상물)와 유사하다는 설명을 직접 포함해도 된다. 혹은, 기술 정보는 제1 이미지에서의 대상물의 신원 정보를 포함해도 되고, 신원 정보로는 대상물의 신원 확인에 사용되는 이름, 연령, 성별 등의 정보를 들 수 있다. 상기는 기술 정보를 예시적으로 설명하는 것에 불과하고, 본 발명의 기술 정보를 한정하지 않는다. 대상물에 관한 상기 이외의 정보도 기술 정보로 해도 된다.

일부 가능한 실시형태에서는 기술 정보를 취득하는 방식은 입력 모듈에 의해 입력된 기술 정보를 수신하는 방식 및/또는 마킹 정보를 갖는 이미지(마킹 정보가 마킹된 부분은 제1 이미지에서의 목표 대상물에 매칭되는 목표 부위임)를 수신하는 방식 중 하나 이상을 포함해도 된다. 다른 실시형태에서, 다른 방식에 의해 기술 정보를 수신해도 된다. 본 발명은 구체적으로 한정하지 않는다.

S22: 상기 제1 이미지의 기술 정보에 기초하여, 상기 대상물의 하나 이상의 목표 부위에 매칭되는 가이드 이미지를 결정한다.

기술 정보를 얻은 후, 기술 정보에 기초하여, 제1 이미지에서의 목표 대상물에 매칭되는 가이드 이미지를 결정할 수 있다. 여기서, 기술 정보에는 상기 대상물의 하나 이상의 목표 부위의 기술 정보가 포함되어 있는 경우, 각 목표 부위의 기술 정보에 기초하여, 매칭되는 가이드 이미지를 결정해도 된다. 예를 들면, 계정 정보에는 대상물의 눈이 A(이미 알려진 대상물)의 눈과 유사하다는 정보가 포함되어 있는 경우, 데이터베이스에서 대상물 A의 이미지를 대상물의 눈 부위의 가이드 이미지로서 취득해도 된다. 혹은, 기술 정보에는 대상물의 코가 B(이미 알려진 대상물)의 코와 유사하다는 정보가 포함되어 있는 경우, 데이터베이스에서 대상물 B의 이미지를 대상물의 코의 가이드 이미지로서 취득해도 된다. 혹은 기술 정보에는 대상물의 눈썹이 짙은 눈썹이라는 정보가 포함되어 있는 경우, 데이터베이스에서 짙은 눈썹에 대응하는 이미지를 선택하고, 상기 짙은 눈썹의 이미지를 대상물의 눈썹의 가이드 이미지로서 결정해도 된다. 이와 같이, 취득한 이미지 정보에 기초하여, 제1 이미지에서의 대상물의 하나 이상의 부위의 가이드 이미지를 결정할 수 있다. 여기서, 기술 정보에 기초하여 대응하는 가이드 이미지를 편리하게 결정할 수 있도록 데이터베이스는 다양한 대상물의 하나 이상의 이미지를 포함해도 된다.

일부 가능한 실시형태에서는 기술 정보는 제1 이미지에서의 대상물 A에 관한 신원 정보를 포함해도 된다. 이 경우, 상기 신원 정보에 기초하여, 데이터베이스에서 상기 신원 정보에 매칭되는 이미지를 가이드 이미지로서 선택해도 된다.

상술한 구성에 의하면, 기술 정보에 기초하여, 제1 이미지에서의 대상물의 하나 이상의 목표 부위에 매칭되는 가이드 이미지를 결정할 수 있고, 가이드 이미지를 조합하여 이미지의 재구성을 행함으로써, 취득된 이미지의 정확도를 높일 수 있다.

가이드 이미지를 얻은 후, 가이드 이미지에 의해 이미지의 재구성 순서를 행해도 된다. 제1 이미지의 대응하는 목표 부위를 가이드 이미지로 직접 교체해도 되지만, 그 이외에, 본 발명의 실시예에서는 가이드 이미지에 대해 아핀 변환을 행한 후에, 교체 또는 합성곱을 행하여 재구성 이미지를 얻는 것도 가능하다.

도 3은 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S30)의 흐름도이고, 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것(단계(S30))은 하기 사항을 포함해도 된다.

S31: 상기 제1 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻는다.

일부 가능한 실시형태에서는 얻어진 제1 이미지에서의 대상물에 관한 가이드 이미지의 대상물의 자세와, 제1 이미지에서의 대상물의 자세는 상이한 경우가 있다. 이 경우, 가이드 이미지에서의 대상물의 자세가 제1 이미지에서의 목표 대상물의 자세와 동일하도록 각 가이드 이미지를 제1 이미지로 워프할 필요가 있다.

본 발명의 실시예에서는 아핀 변환의 방식에 의해, 가이드 이미지에 대해 아핀 변환을 행할 수 있고, 아핀 변환 후의 가이드 이미지(즉, 아핀 이미지)에서의 대상물의 자세는 제1 이미지에서의 목표 대상물의 자세와 동일해진다. 예를 들면, 제1 이미지에서의 대상물이 정면의 이미지인 경우, 가이드 이미지에서의 각 대상물을 아핀 변환의 방식에 의해 정면의 이미지로 조정할 수 있다. 여기서, 제1 이미지에서의 키포인트 위치와 가이드 이미지에서의 키포인트 위치의 차를 사용하여 아핀 변환을 행하고, 가이드 이미지와 제2 이미지를 공간적으로 워프할 수 있다. 예를 들면, 가이드 이미지의 회전, 평행 이동, 보완, 삭제의 방식에 의해, 대상물의 자세가 제1 이미지와 동일한 아핀 이미지를 얻을 수 있다. 아핀 변환 순서는 구체적으로 한정하지 않고, 종래의 수단으로 실시해도 된다.

상술한 구성에 의하면, 대상물의 자세가 제1 이미지와 동일한 하나 이상의 아핀 이미지(각 가이드 이미지의 아핀 처리에 의한 아핀 이미지)를 얻을 수 있고, 아핀 이미지와 제1 이미지의 워프(warp)를 달성할 수 있다.

S32: 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출한다.

얻어진 가이드 이미지는 제1 이미지에서의 하나 이상의 목표 부위에 매칭되는 이미지이기 때문에, 아핀 변환에 의해 각 가이드 이미지에 대응하는 아핀 이미지를 얻은 후, 각 가이드 이미지에 대응하는 가이드 부위(대상물에 매칭되는 목표 부위)에 기초하여, 아핀 이미지에서 상기 가이드 부위의 서브 이미지를 추출하고, 즉 아핀 이미지를 분할하여 제1 이미지에서의 목표 대상물에 매칭되는 목표 부위의 서브 이미지를 취출해도 된다. 예를 들면, 하나의 가이드 이미지에서 대상물에 매칭되는 목표 부위가 눈인 경우, 상기 가이드 이미지에 대응하는 아핀 이미지에서 눈 부위의 서브 이미지를 추출해도 된다. 상술한 구성에 의해, 제1 이미지에서의 대상물의 하나 이상의 부위에 매칭되는 서브 이미지를 얻을 수 있다.

S33: 추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻는다.

목표 대상물의 하나 이상의 목표 부위의 서브 이미지를 얻은 후, 얻어진 서브 이미지 및 제1 이미지를 사용하여 이미지의 재구성을 행하여 재구성 이미지를 얻을 수 있다.

일부 가능한 실시형태에서는 각 서브 이미지는 제1 이미지의 대상물에서의 하나 이상의 목표 부위에 매칭되기 때문에, 서브 이미지에서의 매칭되는 부위의 이미지로, 제1 이미지에서의 대응하는 부위를 교체해도 된다. 예를 들면, 서브 이미지의 눈이 대상물에 매칭되는 경우, 제1 이미지에서의 눈 부위를 서브 이미지에서의 눈의 이미지 영역으로 교체해도 된다. 서브 이미지의 코가 대상물에 매칭되는 경우, 제1 이미지에서의 코 부위를 서브 이미지에서의 코의 이미지 영역으로 교체해도 된다. 이와 같이, 추출된 서브 이미지에서의, 대상물에 매칭되는 부위의 이미지를 사용하여 제1 이미지에서의 대응하는 부위를 교체할 수 있고, 최종적으로 재구성 이미지를 얻을 수 있다.

혹은 일부 가능한 실시형태에서는 상기 서브 이미지 및 상기 제1 이미지의 합성곱 처리에 의해, 상기 재구성 이미지를 얻어도 된다.

여기서, 각각의 서브 이미지 및 제1 이미지를 합성곱 뉴럴 네트워크에 입력하고, 적어도 1회의 합성곱 처리를 행하여, 이미지 특징의 융합을 실현하고, 최종적으로 융합 특징을 얻어도 된다. 상기 융합 특징에 의해, 융합 특징에 대응하는 재구성 이미지를 얻을 수 있다.

상술한 구성에 의해, 제1 이미지의 해상도를 향상시킬 수 있음과 함께, 선명한 재구성 이미지를 얻을 수 있다.

본 발명의 일부 다른 실시예에서, 재구성 이미지의 이미지 정밀도 및 선예도를 더욱 향상시키기 위해, 제1 이미지에 대해 초해상 처리를 행하여, 제1 이미지보다 높은 해상도의 제2 이미지를 얻고, 제2 이미지를 사용하여 이미지 재구성을 행하여 재구성 이미지를 얻어도 된다. 도 4는 본 발명의 실시예에 따른 이미지 처리 방법에서의 단계(S30)의 다른 흐름도이고, 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것(단계(S30))은 추가로 하기 사항을 포함해도 된다.

S301: 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여, 상기 제1 이미지의 해상도보다 높은 해상도의 제2 이미지를 얻는다.

일부 가능한 실시형태에서는 제1 이미지를 얻은 후에, 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여, 이미지의 해상도가 높아지는 제2 이미지를 얻어도 된다. 초해상 이미지 재구성 처리는 저해상도 이미지 또는 이미지 시퀀스에 의해 고해상도 이미지를 복원할 수 있다. 고해상도 이미지란, 보다 많은 세부 정보, 보다 섬세한 화질을 갖는 이미지를 의미한다.

일례에 있어서, 상기 초해상 이미지 재구성 처리는 제1 이미지에 대해 선형 보간 처리를 행하여, 이미지의 스케일을 크게 하는 것과, 선형 보간에 의해 얻어진 이미지에 대해 적어도 1회의 합성곱 처리를 행하여, 초해상 재구성 후의 이미지인 제2 이미지를 얻는 것을 포함해도 된다. 예를 들면, 저해상도의 제1 이미지를 바이 큐빅 보간 처리에 의해 원하는 크기(예를 들면, 2배, 3배, 4배)까지 확대할 수 있고, 이 때, 확대 후의 이미지는 아직 저해상도의 이미지이다. 상기 확대 후의 이미지를 합성곱 뉴럴 네트워크에 입력하고, 적어도 1회의 합성곱 처리를 행한다. 예를 들면, 3층 합성곱 뉴럴 네트워크에 입력하고, 이미지의 YCrCb 색공간에서의 Y채널에 대한 재구성을 행한다. 여기서, 뉴럴 네트워크의 형태로는 (conv1＋relu1)―(conv2＋relu2)―(conv3))이어도 된다. 그 중, 제1 층의 합성곱은 합성곱 커널의 사이즈를 9×9(f1×f1)로 하고, 합성곱 커널의 수를 64(n1)로 하고, 특징도를 64장 출력하는 것이며, 제2 층의 합성곱은 합성곱 커널의 사이즈를 1×1(f2×f2)로 하고, 합성곱 커널의 수를 32(n2)로 하고, 특징도를 32장 출력하는 것이며, 제3 층 합성곱은 합성곱 커널의 사이즈를 5×5(f3×f3)로 하고, 합성곱 커널의 수를 1(n3)로 하고, 1장의 특징도인 최종적인 재구성 고해상도 이미지, 즉 제2 이미지를 출력하는 것이다. 상기 합성곱 뉴럴 네트워크의 구조는 예시적인 설명에 불과하고, 본 발명은 구체적으로 한정하지 않는다.

일부 가능한 실시형태에서는 제1 뉴럴 네트워크에 의해 초해상 이미지 재구성 처리를 실현해도 되고, 제1 뉴럴 네트워크는 SRCNN 네트워크 또는 SRResNet 네트워크를 포함해도 된다. 예를 들면, 제1 이미지를 SRCNN 네트워크(초해상 합성곱 뉴럴 네트워크) 또는 SRResNet 네트워크(초해상 잔류 뉴럴 네트워크)에 입력해도 된다. 여기서, SRCNN 네트워크 및 SRResNet 네트워크의 네트워크 구조는 종래의 뉴럴 네트워크 구조에 의해 결정하면 된다. 본 발명은 구체적으로 한정하지 않는다. 상기 제1 뉴럴 네트워크에 의해 제2 이미지를 출력할 수 있고, 제1 이미지보다 높은 해상도의 제2 이미지를 얻을 수 있다.

S302: 상기 제2 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻는다.

단계 S31과 동일하게, 제2 이미지는 제1 이미지보다 해상도가 높아진 이미지이기 때문에, 제2 이미지에서의 목표 대상물의 자세도, 가이드 이미지의 자세와 상이한 경우가 있다. 재구성을 행하기 전에 제2 이미지에서의 목표 대상물의 자세에 따라 가이드 이미지의 아핀 변화를 행하여, 목표 대상물의 자세가 제2 이미지에서의 목표 대상물의 자세와 동일한 아핀 이미지를 얻을 수 있다.

S303: 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출한다.

단계 S32와 동일하게, 얻어진 가이드 이미지는 제2 이미지에서의 하나 이상의 목표 부위에 매칭되는 이미지이기 때문에, 아핀 변환에 의해 각 가이드 이미지에 대응하는 아핀 이미지를 얻은 후, 각 가이드 이미지에 대응하는 가이드 부위(대상물에 매칭되는 목표 부위)에 기초하여, 아핀 이미지에서 상기 가이드 부위의 서브 이미지를 추출하고, 즉 아핀 이미지를 분할하여 제1 이미지에서의 대상물에 매칭되는 목표 부위의 서브 이미지를 취출할 수 있다. 예를 들면, 하나의 가이드 이미지에서 대상물에 매칭되는 목표 부위가 눈인 경우, 상기 가이드 이미지에 대응하는 아핀 이미지에서 눈 부위의 서브 이미지를 추출할 수 있다. 상술한 구성에 의해, 제1 이미지에서의 대상물의 하나 이상의 부위에 매칭되는 서브 이미지를 얻을 수 있다.

S304: 추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻는다.

목표 대상물의 하나 이상의 목표 부위의 서브 이미지를 얻은 후, 얻어진 서브 이미지 및 제2 이미지를 사용하여 이미지의 재구성을 행하여 재구성 이미지를 얻어도 된다.

일부 가능한 실시형태에서는 각각의 서브 이미지는 제2 이미지의 대상물에서의 하나 이상의 목표 부위에 매칭되기 때문에, 서브 이미지에서의 매칭되는 부위의 이미지에서 제2 이미지에서의 대응하는 부위를 교체해도 된다. 예를 들면, 서브 이미지의 눈이 대상물에 매칭되는 경우, 서브 이미지에서의 눈의 이미지 영역에서 제2 이미지에서의 눈 부위를 교체해도 된다. 서브 이미지의 코가 대상물에 매칭되는 경우, 서브 이미지에서의 코의 이미지 영역에서 제2 이미지에서의 코 부위를 교체해도 된다. 이와 같이, 추출된 서브 이미지에서의 대상물에 매칭되는 부위의 이미지를 사용하여 제2 이미지에서의 대응하는 부위를 교체할 수 있고, 최종적으로 재구성 이미지를 얻을 수 있다.

혹은 일부 가능한 실시형태에서는 상기 서브 이미지 및 상기 제2 이미지의 합성곱 처리에 의해, 상기 재구성 이미지를 얻어도 된다.

여기서, 각 서브 이미지 및 제2 이미지를 합성곱 뉴럴 네트워크에 입력하고, 하나 이상의 합성곱 처리를 행하여, 이미지 특징의 융합을 실현하고, 최종적으로 융합 특징을 얻고, 상기 융합 특징에 의해 융합 특징에 대응하는 재구성 이미지를 얻을 수 있다.

상술한 구성에 의해, 초해상 재구성 처리에 의해 제1 이미지의 해상도를 더욱 향상시킬 수 있음과 함께, 보다 선명한 재구성 이미지를 얻을 수 있다.

제1 이미지의 재구성 이미지를 얻은 후, 추가로 상기 재구성 이미지를 사용하여 이미지에서의 대상물의 신원 인식을 행해도 된다. 여기서, 신원 데이터베이스에는 복수의 대상물의 신원 정보를 포함해도 되고, 예를 들면, 얼굴 이미지 및 대상물의 이름, 연령, 직업 등의 정보가 포함되어도 된다. 따라서, 재구성 이미지와 각 얼굴 이미지를 비교하여 유사도가 가장 높고 임계값을 초과한 얼굴 이미지를, 재구성 이미지에 매칭되는 대상물의 얼굴 이미지로서 결정함으로써, 재구성 이미지에서의 대상물의 신원 정보를 결정할 수 있다. 재구성 이미지의 해상도 및 선예도 등의 품질이 높기 때문에, 얻어진 신원 정보의 정확도도 비교적 높아진다.

본 발명의 실시예의 순서를 보다 명확하게 설명하기 위해, 이하에 예를 들어 이미지 처리 방법의 순서를 설명한다.

도 5는 본 발명의 실시예에 따른 이미지 처리 방법의 순서 모식도를 나타낸다.

여기서, 해상도가 비교적 낮고, 화질이 높지 않은 제1 이미지(F1)(LR: 저해상도 이미지)를 취득할 수 있다. 상기 제1 이미지(F1)를 뉴럴 네트워크(A)(예를 들면, SRResNet 네트워크)에 입력하여 초해상 이미지 재구성 처리를 행하여, 제2 이미지(F2)(coarse SR: 흐려진 고해상 이미지)를 얻을 수 있다.

제2 이미지(F2)를 얻은 후, 상기 제2 이미지에 의해 재구성을 행할 수 있다. 여기서, 제1 이미지의 가이드 이미지(F3)(guided images)를 취득할 수 있고, 예를 들면, 제1 이미지(F1)의 기술 정보에 기초하여 각 가이드 이미지(F3)를 얻을 수 있다. 제2 이미지(F2)에서의 대상물의 자세에 따라, 가이드 이미지(F3)에 대해 아핀 변환(warp)을 행함으로써, 각 아핀 이미지(F4)를 얻을 수 있다. 또한, 가이드 이미지에 대응하는 부위에 따라 아핀 이미지에서 대응하는 부위의 서브 이미지(F5)를 추출할 수 있다.

그 후, 각 서브 이미지(F5) 및 제2 이미지(F2)에 의해 재구성 이미지를 얻어도 된다. 여기서, 서브 이미지(F5) 및 제2 이미지(F2)에 대해 합성곱 처리를 행하여, 융합 특징을 얻고, 상기 융합 특징에 의해 최종적인 재구성 이미지(F6)(fine SR: 선명한 초해상 이미지)를 얻을 수 있다.

상기는 이미지 처리의 순서에 관한 예시적인 설명에 불과하고, 본 발명을 한정하는 것은 아니다.

또한, 본 발명의 실시예에서, 본 발명의 실시예의 이미지 처리 방법은 뉴럴 네트워크에 의해 실시할 수 있다. 예를 들면, 단계(S201)에서는 제1 뉴럴 네트워크(예를 들면, SRCNN 또는 SRResNet 네트워크)에 의해 초해상 재구성 처리를 실현하고, 제2 뉴럴 네트워크(합성곱 뉴럴 네트워크 CNN)에 의해 이미지의 재구성 처리(단계(S30))를 실현할 수 있고, 이미지의 아핀 변환은 대응하는 알고리즘에 의해 실현할 수 있다.

도 6은 본 발명의 실시예에서의 제1 뉴럴 네트워크의 트레이닝의 흐름도이다. 도 7은 본 발명의 실시예에서의 제1 트레이닝 뉴럴 네트워크의 구조 모식도이다. 여기서, 뉴럴 네트워크의 트레이닝 순서는 하기 사항을 포함해도 된다.

S51: 복수의 제1 트레이닝 이미지와, 상기 제1 트레이닝 이미지에 대응하는 제1 교사 데이터를 포함하는 제1 트레이닝 이미지 세트를 취득한다.

일부 가능한 실시형태에서는 트레이닝 이미지 세트는 복수의 제1 트레이닝 이미지를 포함해도 된다. 상기 복수의 제1 트레이닝 이미지는 낮은 해상도의 이미지여도 되고, 예를 들면, 어두운 환경이나 흔들리는 상태 또는 그 밖의 화질에 영향을 미치는 상태에서 취득된 이미지이고, 혹은 이미지에 노이즈를 추가하여 해상도를 떨어뜨린 이미지여도 된다. 또한, 제1 트레이닝 이미지 세트는 추가로, 각 제1 트레이닝 이미지에 대응하는 교사 데이터를 포함해도 되고, 본 발명의 실시예의 제1 교사 데이터는 손실 함수의 파라미터에 의해 결정해도 된다. 예를 들면, 제1 트레이닝 이미지에 대응하는 제1 표준 이미지(선명한 이미지), 제1 표준 이미지의 제1 표준 특징(각 키포인트의 위치의 참의 인식 특징), 제1 표준 분할 결과(각 부위의 참의 분할 결과) 등을 포함해도 된다. 여기서, 하나씩 예를 들어 설명하지 않는 것으로 한다.

종래의 대부분의 저화소 얼굴(예를 들면, 16*16) 재구성 방법에서는 이미지의 현저한 열화에 의한 영향, 예를 들면, 노이즈나 흐림은 그다지 고려되지 않는다. 노이즈나 흐림이 혼입된 경우, 원래 모델은 적용할 수 없게 된다. 열화가 진행된 경우, 노이즈나 흐림을 추가하여 모델을 재트레이닝해도 여전히 선명하게 오관(五官)을 복원할 수는 없다. 본 발명은 제1 뉴럴 네트워크 또는 후술하는 제2 뉴럴 네트워크의 트레이닝에서 채용되는 트레이닝 이미지는 뉴럴 네트워크의 정밀도를 높이기 위해, 노이즈가 추가된 이미지 또는 현저하게 열화된 이미지여도 된다.

S52: 상기 제1 트레이닝 이미지 세트 중 하나 이상의 제1 트레이닝 이미지를 상기 제1 뉴럴 네트워크에 입력하여 상기 초해상 이미지 재구성 처리를 행하여, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지를 얻는다.

제1 뉴럴 네트워크의 트레이닝에서, 제1 트레이닝 이미지 세트 중 이미지를 일괄하여 제1 뉴럴 네트워크에 입력하거나, 또는 배치로 나누어 제1 뉴럴 네트워크에 입력하여 각 제1 트레이닝 이미지에 대응하는 초해상 재구성 처리 후의 예측 초해상 이미지를 각각 얻을 수 있다.

S53: 상기 예측 초해상 이미지를 제1 적대적 네트워크, 제1 특징 인식 네트워크 및 제1 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는다.

도 7에 나타내는 바와 같이, 적대적 네트워크(Discriminator)와, 키포인트 검출 네트워크(FAN)와, 시멘틱 세그멘테이션 네트워크(parsing)를 조합하여 제1 뉴럴 네트워크의 트레이닝을 실현할 수 있다. 여기서, 제너레이터(Generator)는 본 발명의 실시예의 제1 뉴럴 네트워크에 상당한다. 이하, 상기 제너레이터가 초해상 이미지 재구성 처리를 행하는 네트워크 부분인 제1 뉴럴 네트워크를 예로 들어 설명한다.

제너레이터에서 출력된 예측 초해상 이미지를 상기 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 입력하고, 상기 트레이닝 이미지에 대응하는 예측 초해상 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는다. 여기서, 식별 결과는 제1 적대적 네트워크에 의해 예측 초해상 이미지 및 마킹 이미지의 신빙성이 인식되었는지를 나타내는 것이고, 특징 인식 결과는 키포인트의 위치 인식 결과를 포함하고, 이미지 분할 결과는 대상물의 각 부위가 위치하는 영역을 포함한다.

S54: 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여, 제1 네트워크 손실을 얻고, 상기 제1 네트워크 손실에 기초하여 제1 트레이닝 요구를 충족할 때까지 상기 제1 뉴럴 네트워크의 파라미터를 역전파에 의해 조정한다.

여기서, 제1 트레이닝 요구는 제1 네트워크 손실이 제1 손실 임계값 이하인 것으로 한다. 즉, 얻어진 제1 네트워크 손실이 제1 손실 임계값 미만인 경우, 제1 뉴럴 네트워크의 트레이닝을 정지해도 된다. 이 경우, 얻어진 뉴럴 네트워크는 높은 초해상 처리 정밀도를 갖는다. 제1 손실 임계값은 1 미만의 수치, 예를 들면, 0.1로 해도 되지만, 본 발명은 구체적으로 한정하지 않는다.

일부 가능한 실시형태에서는 예측 초해상 이미지의 식별 결과에 기초하여 적대적 손실을 얻고, 이미지 분할 결과에 기초하여 분할 손실을 얻고, 얻어진 특징 인식 결과에 기초하여 히트 맵 손실을 얻고, 얻어진 예측 초해상 이미지에 기초하여 대응하는 화소 손실 및 처리 후의 지각 손실을 얻어도 된다.

구체적으로는, 상기 예측 초해상 이미지의 식별 결과 및 제1 적대적 네트워크에 의한 상기 제1 교사 데이터 중 제1 표준 이미지의 식별 결과에 기초하여, 제1 적대적 손실을 얻어도 된다. 여기서, 상기 제1 트레이닝 이미지 세트 중 각 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지의 식별 결과와, 제1 적대적 네트워크에 의한 제1 교사 데이터 중 상기 제1 트레이닝 이미지에 대응하는 제1 표준 이미지의 식별 결과에 기초하여 상기 제1 적대적 손실을 결정해도 된다. 여기서, 적대적 손실 함수의 식은 하기와 같다.

단,

는 제1 적대적 손실을 나타내고,

는 예측 초해상 이미지

의 식별 결과

의 원하는 분포를 나타내고,

는 예측 초해상 이미지의 샘플 분포를 나타내고,

은 제1 교사 데이터 중 제1 트레이닝 이미지에 대응하는 제1 표준 이미지

의 식별 결과

의 원하는 분포를 나타내고,

은 표준 이미지 샘플 분포를 나타내고,

는 구배 함수를 나타내고,∥∥₂는 2노름(norm)을 나타내고,

는

와

에 의해 형성되는 직선을 균일하게 샘플링하여 얻어진 샘플 분포를 나타낸다.

상기 적대적 손실 함수의 식에 의해, 예측 초해상 이미지에 대응하는 제1 적대적 손실을 얻을 수 있다.

또한, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지와, 상기 제1 교사 데이터 중 제1 트레이닝 이미지에 대응하는 제1 표준 이미지에 기초하여, 제1 화소 손실을 결정할 수 있다. 화소 손실 함수의 식은 하기와 같다.

단,

은 제1 화소 손실을 나타내고,

은 제1 트레이닝 이미지에 대응하는 제1 표준 이미지를 나타내고,

은 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지(상술한

와 동일)를 나타내고,

는 노름의 평방을 나타낸다.

상기 화소 손실 함수식에 의해, 예측 초해상 이미지에 대응하는 제1 화소 손실을 얻을 수 있다.

또한, 상기 예측 초해상 이미지 및 제1 표준 이미지의 비선형 처리에 의해, 제1 지각 손실을 결정할 수 있다. 지각 손실 함수의 식은 하기와 같다.

단,

은 제1 지각 손실을 나타내고,

는 예측 초해상 이미지 및 제1 표준 이미지의 채널 수를 나타내고,

는 예측 초해상 이미지 및 제1 표준 이미지의 폭을 나타내고,

는 예측 초해상 이미지 및 제1 표준 이미지의 높이를 나타내고,

는 이미지 특징을 추출하기 위한 비선형 변환 함수(예를 들면, VGG 네트워크에서의 conv5-3(simonyan and zisserman, 2014)을 채용하는 것)을 나타낸다.

상기 지각 손실 함수식에 의해, 초해상 예측 이미지에 대응하는 제1 지각 손실을 얻을 수 있다.

또한, 상기 트레이닝 이미지에 대응하는 예측 초해상 이미지의 특징 인식 결과와, 상기 제1 교사 데이터 중 제1 표준 특징에 기초하여, 제1 히트 맵 손실을 얻는다. 히트 맵 손실 함수의 식은 하기 식이어도 된다.

단,

는 예측 초해상 이미지에 대응하는 제1 히트 맵 손실을 나타내고,

은 예측 초해상 이미지 및 제1 표준 이미지의 마킹점(예를 들면, 키포인트)의 수를 나타내고, n은 1부터 N까지의 정수 변수이고, i는 행수를 나타내고, j는 열수를 나타내고,

는 n번째 레이블의 예측 초해상 이미지의 i행 j열의 특징 인식 결과(히트 맵)를 나타내고,

는 n번째 레이블의 제1 표준 이미지의 i행 j열의 특징 인식 결과(히트 맵)을 나타낸다.

상기 히트 맵 손실의 식에 의해, 초해상 예측 이미지에 대응하는 제1 히트 맵 손실을 얻을 수 있다.

또한, 상기 트레이닝 이미지에 대응하는 예측 초해상 이미지의 이미지 분할 결과와, 상기 제1 교사 데이터 중 제1 표준 분할 결과에 기초하여, 제1 분할 손실을 얻는다. 여기서, 분할 손실 함수의 식은 하기와 같다.

단,

은 예측 초해상 이미지에 대응하는 제1 분할 손실을 나타내고, M은 예측 초해상 이미지 및 제1 표준 이미지의 분할 영역의 수를 나타내고, m은 1부터 M까지의 정수 변수이고,

은 예측 초해상 이미지에서의 m번째 분할 영역을 나타내고,

은 제1 표준 이미지에서의 m번째 이미지 분할 영역을 나타낸다.

상기 분할 손실의 식에 의해, 초해상 예측 이미지에 대응하는 제1 분할 손실을 얻을 수 있다.

상기 얻어진 제1 적대적 손실, 제1 화소 손실, 제1 지각 손실, 제1 히트 맵 손실 및 제1 분할 손실의 가중합에 기초하여 상기 제1 네트워크 손실을 얻는다. 제1 네트워크 손실의 식은 하기와 같다.

단,

는 제1 네트워크 손실을 나타내고,

및

는 각각 제1 적대적 손실, 제1 화소 손실, 제1 지각 손실, 제1 히트 맵 손실 및 제1 분할 손실의 가중치를 나타낸다. 가중치의 값에 대해 미리 설정해도 되고, 본 발명은 구체적으로 한정하지 않는다. 예를 들면, 각 가중치의 가산합은 1로 해도 되고, 또는 가중치 중 하나 이상은 1보다 큰 값으로 해도 된다.

상술한 형태에 의해, 제1 뉴럴 네트워크의 제1 네트워크 손실을 얻을 수 있다. 제1 네트워크 손실이 제1 손실 임계값을 초과한 경우, 제1 트레이닝 요구를 충족하지 않는 것으로 판정한다. 이 경우, 제1 뉴럴 네트워크의 네트워크의 파라미터, 예를 들면, 합성곱 파라미터를 역전파에 의해 조정하고, 파라미터가 조정된 제1 뉴럴 네트워크에 의해, 트레이닝 이미지 세트에 대해 초해상 이미지 처리를 계속 실행하고, 얻어진 제1 네트워크 손실이 제1 손실 임계값 이하가 되면 제1 트레이닝 요구를 충족하는 것으로 판정하고, 뉴럴 네트워크의 트레이닝을 종료해도 된다.

이상은 제1 뉴럴 네트워크의 트레이닝 순서이다. 본 발명의 실시예에서, 제2 뉴럴 네트워크에 의해 단계(S30)의 이미지 재구성 순서를 실시해도 되고, 예를 들면, 제2 뉴럴 네트워크는 합성곱 뉴럴 네트워크여도 된다. 도 8은 본 발명의 실시예에 따른 제2 뉴럴 네트워크의 트레이닝의 흐름도이다. 여기서, 제2 뉴럴 네트워크의 트레이닝의 순서는 하기 사항을 포함해도 된다.

S61: 복수의 제2 트레이닝 이미지와, 제2 트레이닝 이미지에 대응하는 가이드 트레이닝 이미지 및 제2 교사 데이터를 포함하는 제2 트레이닝 이미지 세트를 취득한다.

일부 가능한 실시형태에서는 제2 트레이닝 이미지 세트 중 제2 트레이닝 이미지는 상기 제1 뉴럴 네트워크의 예측에 의해 형성된 예측 초해상 이미지, 또는 다른 수단에 의해 얻어진 해상도가 비교적 낮은 이미지 또는 노이즈가 추가된 이미지를 사용해도 된다. 본 발명은 구체적으로 한정하지 않는다.

제2 뉴럴 네트워크의 트레이닝에 있어서, 각각의 트레이닝 이미지에 하나 이상의 가이드 트레이닝 이미지를 배치해도 된다. 가이드 트레이닝 이미지에는 대응하는 제2 트레이닝 이미지의 가이드 정보, 예를 들면, 하나 이상의 부위의 이미지를 포함한다. 동일하게, 가이드 트레이닝 이미지도 고해상도이며 선명한 이미지이다. 각각의 제2 트레이닝 이미지는 상이한 수의 가이드 트레이닝 이미지를 포함해도 되고, 또한, 각 가이드 트레이닝 이미지에 대응하는 가이드 부위도 상이해도 된다. 본 발명은 구체적으로 한정하지 않는다.

동일하게, 제2 교사 데이터도 손실 함수의 파라미터에 기초하여 결정되어도 된다. 제2 트레이닝 이미지에 대응하는 제2 표준 이미지(선명한 이미지), 제2 표준 이미지의 제2 표준 특징(각 키포인트의 위치의 참의 인식 특징), 제2 표준 분할 결과(각 부위의 참의 분할 결과)를 포함해도 되고, 제2 표준 이미지에서의 각 부위의 식별 결과(적대적 네트워크에서 출력된 식별 결과), 특징 인식 결과 및 분할 결과 등을 포함해도 된다. 여기서, 하나씩 예를 들어 설명하지 않는 것으로 한다.

여기서, 제2 트레이닝 이미지가 제1 뉴럴 네트워크에서 출력된 초해상 예측 이미지인 경우, 제1 표준 이미지와 제2 표준 이미지는 동일해지고, 제1 표준 분할 결과와 제2 표준 분할 결과는 동일해지고, 제1 표준 특징 결과와 제2 표준 특징 결과는 동일해진다.

S62: 제2 트레이닝 이미지에 따라, 상기 가이드 트레이닝 이미지에 대해 아핀 변환을 행하여 트레이닝 아핀 이미지를 얻고, 상기 트레이닝 아핀 이미지와, 상기 제2 트레이닝 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 상기 제2 트레이닝 이미지의 가이드 재구성을 행하여 상기 제2 트레이닝 이미지의 재구성 예측 이미지를 얻는다.

상술한 바와 같이, 각각의 제2 트레이닝 이미지는 대응하는 하나 이상의 가이드 이미지를 가져도 된다. 제2 트레이닝 이미지에서의 대상물의 자세에 따라, 가이드 트레이닝 이미지에 대해 아핀 변환(warp)를 행하여 하나 이상의 트레이닝 아핀 이미지를 얻을 수 있다. 제2 트레이닝 이미지에 대응하는 하나 이상의 트레이닝 아핀 이미지와, 제2 트레이닝 이미지를 제2 뉴럴 네트워크에 입력하여, 대응하는 재구성 예측 이미지를 얻을 수 있다.

S63: 상기 트레이닝 이미지에 대응하는 재구성 예측 이미지를 제2 적대적 네트워크, 제2 특징 인식 네트워크 및 제2 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는다.

동일하게, 도 7를 참조하여, 도 7의 구조에 의해 제2 뉴럴 네트워크를 트레이닝할 수 있다. 이 경우, 제너레이터는 제2 뉴럴 네트워크를 나타내도 된다. 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지도 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻을 수 있다. 여기서, 식별 결과는 재구성 예측 이미지와 표준 이미지 사이의 신빙성 식별 결과를 나타내고, 특징 인식 결과는 재구성 예측 이미지에서의 키포인트의 위치 인식 결과를 포함하고, 이미지 분할 결과는 재구성 예측 이미지에서의 대상물의 각 부위가 위치하는 영역의 분할 결과를 포함한다.

S64: 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻고, 상기 제2 네트워크 손실에 기초하여, 제2 트레이닝 요구를 충족할 때까지 상기 제2 뉴럴 네트워크의 파라미터를 역전파에 의해 조정한다.

일부 가능한 실시형태에서는 제2 네트워크 손실은 전체 손실과 부분적 손실의 가중합이어도 된다. 즉, 상기 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여 전체 손실 및 부분적 손실을 얻고, 그리고 상기 전체 손실과 부분적 손실의 가중합에 기초하여 상기 제2 네트워크 손실을 얻어도 된다.

여기서, 전체 손실은 재구성 예측 이미지에 기초하는 적대적 손실, 화소 손실, 지각 손실, 분할 손실, 히트 맵 손실의 가중합이어도 된다.

동일하게, 제1 적대적 손실의 취득 방법과 동일하게, 적대적 손실 함수를 참조하여 상기 적대적 네트워크에 의한 상기 재구성 예측 이미지의 식별 결과 및 상기 제2 교사 데이터 중 제2 표준 이미지의 식별 결과에 기초하여, 제2 적대적 손실을 얻을 수 있다. 제1 화소 손실의 취득 방법과 동일하게, 화소 손실 함수를 참조하여 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지 및 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에 기초하여, 제2 화소 손실을 결정할 수 있다. 제1 지각 손실의 취득 방법과 동일하게 지각 손실 함수를 참조하여 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지 및 제2 표준 이미지의 비선형 처리에 의해 제2 지각 손실을 결정할 수 있다. 제1 히트 맵 손실의 취득 방법과 동일하게 히트 맵 손실 함수를 참조하여 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 특징 인식 결과 및 상기 제2 교사 데이터 중 제2 표준 특징에 기초하여, 제2 히트 맵 손실을 얻을 수 있다. 제1 분할 손실의 취득 방법과 동일하게 분할 손실 함수를 참조하여 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 이미지 분할 결과 및 상기 제2 교사 데이터 중 제2 표준 분할 결과에 기초하여, 제2 분할 손실을 얻을 수 있다. 상기 제2 적대적 손실, 제2 화소 손실, 제2 지각 손실, 제2 히트 맵 손실 및 제2 분할 손실의 가중합을 사용하여 상기 전체 손실을 얻는다.

여기서, 전체 손실의 식은 하기 식이어도 된다.

단,

은 전체 손실을 나타내고,

은 제2 적대적 손실을 나타내고,

은 제2 화소 손실을 나타내고,

은 제2 지각 손실을 나타내고,

은 제2 히트 맵 손실을 나타내고,

은 제2 분할 손실을 나타내고,

및

는 각각, 각 손실의 가중치를 나타낸다.

또한, 제2 뉴럴 네트워크의 부분적 손실을 결정하는 방식은 상기 재구성 예측 이미지에서의 하나 이상의 부위에 대응하는 부위 서브 이미지, 예를 들면, 눈, 코, 입, 눈썹, 얼굴 부분 등의 부위의 서브 이미지를 추출하고, 하나 이상의 부위의 부위 서브 이미지를 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에서의 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과에 기초하여, 상기 하나 이상의 부위의 제3 적대적 손실을 결정하는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 대응하는 부위의 표준 특징에 기초하여, 하나 이상의 부위의 제3 히트 맵 손실을 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 분할 결과에 기초하여, 하나 이상의 부위의 제3 분할 손실을 얻는 것과, 상기 하나 이상의 부위의 제3 적대적 네트워크 손실, 제3 히트 맵 손실 및 제3 분할 손실의 가산합을 사용하여, 상기 네트워크의 부분적 손실을 얻는 것을 포함해도 된다.

상기 손실의 취득 방법과 동일하게 재구성 예측 이미지에서의 각 부위의 서브 이미지의 제3 적대적 손실, 제3 화소 손실 및 제3 지각 손실의 가산합을 사용하여 각 부위의 부분적 손실을 결정할 수 있다. 예를 들면,

즉, 눈썹의 제3 적대적 손실, 제3 지각 손실 및 제3 화소 손실의 합계에 의해, 눈썹의 부분적 손실

를 얻고, 눈의 제3 적대적 손실, 제3 지각 손실 및 제3 화소 손실의 합계에 의해, 눈의 부분적 손실

를 얻고, 코의 제3 적대적 손실, 제3 지각 손실 및 제3 화소 손실의 합계에 의해, 코의 부분적 손실

를 얻고, 입의 제3 적대적 손실, 제3 지각 손실 및 제3 화소 손실의 합계에 의해, 입의 부분적 손실

를 얻을 수 있다. 이와 같이, 재구성 이미지에서의 각 부위의 부분적 이미지를 얻을 수 있고, 추가로 각 부위의 부분적 손실의 합계에 기초하여, 제2 뉴럴 네트워크의 부분적 손실

을 얻을 수 있다.

즉, 부분적 손실 및 전체 손실의 합계를 구함으로써, 제2 네트워크 손실은 전체 손실 및 부분적 손실의 가산합으로서 얻어지고, 즉

이 된다. 단,

은 제2 네트워크 손실을 나타낸다.

상술한 구성에 의해, 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻을 수 있다. 제2 네트워크 손실이 제2 손실 임계값을 초과하는 경우, 제2 트레이닝 요구를 충족하는 것으로 판정한다. 이 경우, 제2 뉴럴 네트워크의 네트워크의 파라미터, 예를 들면, 합성곱 파라미터를 역전파에 의해 조정하고, 파라미터가 조정된 제2 뉴럴 네트워크에 의해, 트레이닝 이미지 세트에 대해 초해상 이미지 처리를 계속 실행하여, 얻어진 제2 네트워크 손실이 제2 손실 임계값 이하가 되면, 제2 트레이닝 요구를 충족하는 것으로 판정하고, 제2 뉴럴 네트워크의 트레이닝을 종료할 수 있다. 이 때, 얻어진 제2 뉴럴 네트워크에 의해 재구성 예측 이미지를 정확하게 얻을 수 있다.

이상에 의해, 본 발명의 실시예는 가이드 이미지에 의해 저해상도 이미지의 재구성을 행하여, 선명한 재구성 이미지를 얻을 수 있다. 이 방식에 의해, 이미지의 해상도를 편리하게 높여 선명한 이미지를 얻을 수 있다.

구체적인 실시형태의 상기 방법에 있어서, 각 단계의 기술 순서는 엄격한 실행 순서인 것은 아니고, 실시 프로세서의 어떠한 제한도 되지 않고, 각 단계의 구체적인 실행 순서는 그 기능과 가능한 내재적 논리에 의존하는 것을 당업자는 이해할 수 있다.

또한, 본 발명의 실시예는 상기 이미지 처리 방법을 적용한 이미지 처리 장치, 전자 기기를 추가로 제공한다.

도 9는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도이다. 상기 장치는 제1 이미지를 취득하기 위한 제1 취득 모듈(10)과, 상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하기 위한 것으로서, 상기 가이드 이미지에 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함되는 제2 취득 모듈(20)과, 상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻기 위한 재구성 모듈(30)을 포함한다.

일부 가능한 실시형태에서는 상기 제2 취득 모듈은 추가로, 상기 제1 이미지의 기술 정보를 취득하는 것과, 상기 제1 이미지의 기술 정보에 기초하여, 상기 목표 대상물의 하나 이상의 목표 부위에 매칭되는 가이드 이미지를 결정하는 것에 사용된다.

일부 가능한 실시형태에서는 상기 재구성 모듈은 상기 제1 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻기 위한 아핀 유닛과, 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하기 위한 추출 유닛과, 추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻기 위한 재구성 유닛을 포함한다.

일부 가능한 실시형태에서는 상기 재구성 유닛은 추가로, 상기 제1 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는 상기 서브 이미지 및 상기 제1 이미지에 대해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 재구성 모듈은 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여, 상기 제1 이미지의 해상도보다 높은 해상도의 제2 이미지를 얻기 위한 초해상 유닛과, 상기 제2 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻기 위한 아핀 유닛과, 상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하기 위한 추출 유닛과, 추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻기 위한 재구성 유닛을 포함한다.

일부 가능한 실시형태에서는 상기 재구성 유닛은 추가로, 상기 제2 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는 상기 서브 이미지 및 상기 제2 이미지에 의해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 장치는 추가로, 상기 재구성 이미지를 사용하여 신원 인식을 행하고, 상기 목표 대상물에 매칭되는 신원 정보를 결정하기 위한 신원 인식 유닛을 포함한다.

일부 가능한 실시형태에서는 상기 초해상 유닛은 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하기 위한 제1 뉴럴 네트워크를 포함하고, 상기 장치는 추가로, 상기 제1 뉴럴 네트워크를 트레이닝하기 위한 제1 트레이닝 모듈을 포함하고, 상기 제1 뉴럴 네트워크를 트레이닝하는 단계는 복수의 제1 트레이닝 이미지와, 상기 제1 트레이닝 이미지에 대응하는 제1 교사 데이터를 포함하는 제1 트레이닝 이미지 세트를 취득하는 것과, 상기 제1 트레이닝 이미지 세트 중 하나 이상의 제1 트레이닝 이미지를 상기 제1 뉴럴 네트워크에 입력하여 상기 초해상 이미지 재구성 처리를 행하여, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지를 얻는 것과, 상기 예측 초해상 이미지를 제1 적대적 네트워크, 제1 특징 인식 네트워크 및 제1 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하여, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 제1 네트워크 손실을 얻고, 상기 제1 네트워크 손실에 기초하여 제1 트레이닝 요구를 충족할 때까지 상기 제1 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 제1 트레이닝 모듈은 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지와, 상기 제1 교사 데이터 중 상기 제1 트레이닝 이미지에 대응하는 제1 표준 이미지에 기초하여, 제1 화소 손실을 결정하는 것과, 상기 예측 초해상 이미지의 식별 결과와, 상기 제1 적대적 네트워크에 의한 상기 제1 표준 이미지의 식별 결과에 기초하여, 제1 적대적 손실을 얻는 것과, 상기 예측 초해상 이미지 및 상기 제1 표준 이미지의 비선형 처리에 기초하여, 제1 지각 손실을 결정하는 것과, 상기 예측 초해상 이미지의 특징 인식 결과와, 상기 제1 교사 데이터 중 제1 표준 특징에 기초하여, 제1 히트 맵 손실을 얻는 것과, 상기 예측 초해상 이미지의 이미지 분할 결과와, 제1 교사 데이터 중 제1 트레이닝 샘플에 대응하는 제1 표준 분할 결과에 기초하여 제1 분할 손실을 얻는 것과, 상기 제1 적대적 손실, 제1 화소 손실, 제1 지각 손실, 제1 히트 맵 손실 및 제1 분할 손실의 가중합을 사용하여 상기 제1 네트워크 손실을 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 재구성 모듈은 상기 가이드 재구성을 행하여 상기 재구성 이미지를 얻기 위한 제2 뉴럴 네트워크를 포함하고, 상기 장치는 추가로, 상기 제2 뉴럴 네트워크를 트레이닝하기 위한 제2 트레이닝 모듈을 포함하고, 상기 제2 뉴럴 네트워크를 트레이닝하는 단계는 제2 트레이닝 이미지와, 상기 제2 트레이닝 이미지에 대응하는 가이드 트레이닝 이미지 및 제2 교사 데이터를 포함하는 제2 트레이닝 이미지 세트를 취득하는 것과, 상기 제2 트레이닝 이미지에 따라 상기 가이드 트레이닝 이미지에 대해 아핀 변환을 행하여 트레이닝 아핀 이미지를 얻고, 상기 트레이닝 아핀 이미지와, 상기 제2 트레이닝 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 상기 제2 트레이닝 이미지의 가이드 재구성을 행하여 상기 제2 트레이닝 이미지의 재구성 예측 이미지를 얻는 것과, 상기 재구성 예측 이미지를 제2 적대적 네트워크, 제2 특징 인식 네트워크 및 제2 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻음과 함께, 상기 제2 네트워크 손실에 기초하여, 제2 트레이닝 요구를 충족할 때까지 상기 제2 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함한다.

일부 가능한 실시형태에서는 상기 제2 트레이닝 모듈은 추가로, 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여, 전체 손실 및 부분적 손실을 얻는 것과, 상기 전체 손실 및 부분적 손실의 가중합에 기초하여, 상기 제2 네트워크 손실을 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 제2 트레이닝 모듈은 추가로, 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지와, 상기 제2 교사 데이터 중 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에 기초하여 제2 화소 손실을 결정하는 것과, 상기 재구성 예측 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 표준 이미지의 식별 결과에 기초하여 제2 적대적 손실을 얻는 것과, 상기 재구성 예측 이미지 및 상기 제2 표준 이미지의 비선형 처리에 의해 제2 지각 손실을 결정하는 것과, 상기 재구성 예측 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 제2 표준 특징에 기초하여, 제2 히트 맵 손실을 얻는 것과, 상기 재구성 예측 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 제2 표준 분할 결과에 기초하여 제2 분할 손실을 얻는 것과, 상기 제2 적대적 손실, 제2 화소 손실, 제2 지각 손실, 제2 히트 맵 손실 및 제2 분할 손실의 가중합을 사용하여 상기 전체 손실을 얻는 것에 사용된다.

일부 가능한 실시형태에서는 상기 제2 트레이닝 모듈은 추가로, 상기 재구성 예측 이미지에서의 하나 이상의 부위의 부위 서브 이미지를 추출하여, 하나 이상의 부위의 부위 서브 이미지를 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 표준 이미지에서의 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과에 기초하여, 상기 하나 이상의 부위의 제3 적대적 손실을 결정하는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 특징에 기초하여, 하나 이상의 부위의 제3 히트 맵 손실을 얻는 것과, 상기 하나 이상의 부위의 부위 서브 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 분할 결과에 기초하여, 하나 이상의 부위의 제3 분할 손실을 얻는 것과, 상기 하나 이상의 부위의 제3 적대적 손실, 제3 히트 맵 손실 및 제3 분할 손실의 가산합을 사용하여, 상기 네트워크의 부분적 손실을 얻는 것에 사용된다.

일부 실시예에서는 본 발명의 실시예에서 제공된 장치가 구비한 기능 또는 모듈은 상기 방법 실시예에 기재된 방법을 실행하기 위해 사용되고, 그 구체적인 실현 형태에 대해서는 상기 방법 실시예의 설명을 참조하면 되고, 간략화하기 위해 여기에서 중복 설명은 생략한다.

본 발명의 실시예는 추가로, 프로세서에 의해 실행되면, 상기 방법을 실시시키기는 컴퓨터 프로그램 명령을 기억하고 있는 컴퓨터 판독 가능 기억 매체를 제공한다. 컴퓨터 판독 가능 기억 매체는 컴퓨터 판독 가능 불휘발성 기억 매체여도 되고, 또는 컴퓨터 판독 가능 휘발성 기억 매체여도 된다.

본 발명의 실시예는 추가로, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기를 제공한다.

전자 기기는 단말, 서버 또는 다른 형태의 장치로서 제공되어도 된다.

도 10은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다. 예를 들면, 장치(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 기기, 피트니스 기구, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.

도 10을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.

처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법 중 전부 또는 일부의 단계를 실행하기 위해, 명령을 실행하는 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해, 멀티미디어 모듈을 포함해도 된다.

메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서, 전자 기기(800)에서 조작하는 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 불휘발성 기억 장치 또는 이들의 조합에 의해 실현할 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련되는 다른 컴포넌트를 포함해도 된다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검지하기 위해, 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검지할 뿐만 아니라 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 후면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 후면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 후면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나, 또는 통신 컴포넌트(816)를 통해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는, 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 이들 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)의 각 측면의 상태 평가를 위한 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800) 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은 이미징 애플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.

예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용될 수 있다.

예시적인 실시예에서는, 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

도 11은 본 발명의 실시예에 따른 다른 전자 기기의 블록도이다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 11을 참조하면, 전자 기기(1900)는 추가로, 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 애플리케이션 프로그램을 기억하기 위한 메모리(1932)를 대표로 하는 메모리 자원을 포함한다. 메모리(1932)에 기억된 애플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.

전자 기기(1900)는 추가로 전자 기기(1900)의 전원 관리를 실행하도록 구성되는 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(1950) 및 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억된 오퍼레이팅 시스템, 예를 들면, Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM, FreeBSD^TM 또는 유사한 것에 기초하여 작동할 수 있다.

예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면, 상기 방법을 실행시킬 수 있다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령이 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.

컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 사용되는 명령을 저장 및 기억 가능한 유형(有形)의 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치 또는 상기의 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 더욱 구체적인 예(비망라적 리스트)로는, 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기의 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 순시 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스) 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.

여기에서 기술한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 경유하여 외부의 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.

본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또는 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 각 측면을 실현할 수 있도록 해도 된다.

여기에서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명하였다. 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능 프로그램 명령에 의해 실현할 수 있는 것을 이해해야 한다.

이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되어 이들 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현하도록 기계를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 특정의 방식으로 동작시키도록 해도 된다. 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하기 위한 명령을 갖는 제품을 포함한다.

컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에 로드되어 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에 일련의 동작 단계를 실행시킴으로써 컴퓨터에 의해 실현되는 프로세스를 생성하도록 해도 된다. 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작을 실현한다.

도면 중 흐름도 및 블록도는 본 발명의 복수 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는, 흐름도 또는 블록도에 있어서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능 명령을 포함한다. 일부 대체로서의 실현 형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이한 순서로 실현해도 된다. 예를 들면, 연속적인 두 개의 블록은 실질적으로 병렬로 실행해도 되고, 또한 관련된 기능에 따라 반대 순서로 실행해도 되는 경우가 있다. 또한 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되며, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 된다는 점에도 주의해야 한다.

이상, 본 발명의 각 실시예를 기술했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 사용된 용어는 각 실시예의 원리, 실제의 적용 또는 종래 기술에 대한 기술적 개선을 바람직하게 해석하거나 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims

제1 이미지를 취득하는 것과,
상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하고, 상기 가이드 이미지에 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함되는 것과,
상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것을 포함하는, 이미지 처리 방법.
제 1 항에 있어서,
상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하는 것은
상기 제1 이미지의 기술 정보를 취득하는 것과,
상기 제1 이미지의 기술 정보에 기초하여, 상기 목표 대상물의 하나 이상의 목표 부위에 매칭되는 가이드 이미지를 결정하는 것을 포함하는, 이미지 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것은,
상기 제1 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻는 것과,
상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하는 것과,
추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻는 것을 포함하는, 이미지 처리 방법.
제 3 항에 있어서,
추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻는 것은,
상기 제1 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는
상기 서브 이미지 및 상기 제1 이미지에 대해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것을 포함하는, 이미지 처리 방법.
제 1 항 또는 제 2 항에 있어서,
상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻는 것은,
상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여, 상기 제1 이미지의 해상도보다 높은 해상도의 제2 이미지를 얻는 것과,
상기 제2 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻는 것과,
상기 하나 이상의 가이드 이미지에서의, 상기 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하는 것과,
추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻는 것을 포함하는, 이미지 처리 방법.
제 5 항에 있어서,
추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻는 것은,
상기 제2 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는
상기 서브 이미지 및 상기 제2 이미지에 의해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 방법은 추가로,
상기 재구성 이미지를 사용하여 신원 인식을 행하고, 상기 대상물에 매칭되는 신원 정보를 결정하는 것을 포함하는, 이미지 처리 방법.
제 5 항 또는 제 6 항에 있어서,
제1 뉴럴 네트워크에 의해 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여 상기 제2 이미지를 얻고, 상기 방법은 추가로, 상기 제1 뉴럴 네트워크를 트레이닝하는 단계를 포함하고, 상기 단계는,
복수의 제1 트레이닝 이미지와, 상기 제1 트레이닝 이미지에 대응하는 제1 교사 데이터를 포함하는 제1 트레이닝 이미지 세트를 취득하는 것과,
상기 제1 트레이닝 이미지 세트 중 하나 이상의 제1 트레이닝 이미지를 상기 제1 뉴럴 네트워크에 입력하여 상기 초해상 이미지 재구성 처리를 행하여, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지를 얻는 것과,
상기 예측 초해상 이미지를 제1 적대적 네트워크, 제1 특징 인식 네트워크 및 제1 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하여, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과,
상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여, 제1 네트워크 손실을 얻고, 상기 제1 네트워크 손실에 기초하여 제1 트레이닝 요구를 충족할 때까지 상기 제1 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함하는, 이미지 처리 방법.
제 8 항에 있어서,
상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여, 제1 네트워크 손실을 얻는 것은,
상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지와, 상기 제1 교사 데이터 중 상기 제1 트레이닝 이미지에 대응하는 제1 표준 이미지에 기초하여, 제1 화소 손실을 결정하는 것과,
상기 예측 초해상 이미지의 식별 결과와, 상기 제1 적대적 네트워크에 의한 상기 제1 표준 이미지의 식별 결과에 기초하여, 제1 적대적 손실을 얻는 것과,
상기 예측 초해상 이미지 및 상기 제1 표준 이미지의 비선형 처리에 의해, 제1 지각 손실을 결정하는 것과,
상기 예측 초해상 이미지의 특징 인식 결과와, 상기 제1 교사 데이터 중 제1 표준 특징에 기초하여, 제1 히트 맵 손실을 얻는 것과,
상기 예측 초해상 이미지의 이미지 분할 결과와, 제1 교사 데이터 중 제1 트레이닝 샘플에 대응하는 제1 표준 분할 결과에 기초하여 제1 분할 손실을 얻는 것과,
상기 제1 적대적 손실, 제1 화소 손실, 제1 지각 손실, 제1 히트 맵 손실 및 제1 분할 손실의 가중합을 사용하여 상기 제1 네트워크 손실을 얻는 것을 포함하는, 이미지 처리 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
제2 뉴럴 네트워크에 의해 상기 가이드 재구성을 행하여 상기 재구성 이미지를 얻고, 상기 방법은 추가로, 상기 제2 뉴럴 네트워크를 트레이닝하는 단계를 포함하고, 상기 단계는,
제2 트레이닝 이미지와, 상기 제2 트레이닝 이미지에 대응하는 가이드 트레이닝 이미지 및 제2 교사 데이터를 포함하는 제2 트레이닝 이미지 세트를 취득하는 것과,
상기 제2 트레이닝 이미지에 따라 상기 가이드 트레이닝 이미지에 대해 아핀 변환을 행하여 트레이닝 아핀 이미지를 얻고, 상기 트레이닝 아핀 이미지와, 상기 제2 트레이닝 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 상기 제2 트레이닝 이미지의 가이드 재구성을 행하여 상기 제2 트레이닝 이미지의 재구성 예측 이미지를 얻는 것과,
상기 재구성 예측 이미지를 제2 적대적 네트워크, 제2 특징 인식 네트워크 및 제2 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과,
상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻고, 상기 제2 네트워크 손실에 기초하여, 제2 트레이닝 요구를 충족할 때까지 상기 제2 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함하는, 이미지 처리 방법.
제 10 항에 있어서,
상기 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻는 것은,
상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여, 전체 손실 및 부분적 손실을 얻는 것과,
상기 전체 손실 및 부분적 손실의 가중합에 기초하여, 상기 제2 네트워크 손실을 얻는 것을 포함하는, 이미지 처리 방법.
제 11 항에 있어서,
상기 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여, 전체 손실을 얻는 것은,
상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지와, 상기 제2 교사 데이터 중 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에 기초하여 제2 화소 손실을 결정하는 것과,
상기 재구성 예측 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 표준 이미지의 식별 결과에 기초하여 제2 적대적 손실을 얻는 것과,
상기 재구성 예측 이미지 및 상기 제2 표준 이미지의 비선형 처리에 의해 제2 지각 손실을 결정하는 것과,
상기 재구성 예측 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 제2 표준 특징에 기초하여, 제2 히트 맵 손실을 얻는 것과,
상기 재구성 예측 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 제2 표준 분할 결과에 기초하여 제2 분할 손실을 얻는 것과,
상기 제2 적대적 손실, 제2 화소 손실, 제2 지각 손실, 제2 히트 맵 손실 및 제2 분할 손실의 가중합을 사용하여 상기 전체 손실을 얻는 것을 포함하는, 이미지 처리 방법.
제 11 항 또는 제 12 항에 있어서,
상기 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여, 부분적 손실을 얻는 것은,
상기 재구성 예측 이미지에서의 하나 이상의 부위의 부위 서브 이미지를 추출하여, 하나 이상의 부위의 부위 서브 이미지를 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과,
상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에서의 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과에 기초하여, 상기 하나 이상의 부위의 제3 적대적 손실을 결정하는 것과,
상기 하나 이상의 부위의 부위 서브 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 특징에 기초하여, 하나 이상의 부위의 제3 히트 맵 손실을 얻는 것과,
상기 하나 이상의 부위의 부위 서브 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 분할 결과에 기초하여, 하나 이상의 부위의 제3 분할 손실을 얻는 것과,
상기 하나 이상의 부위의 제3 적대적 손실, 제3 히트 맵 손실 및 제3 분할 손실의 가산합을 사용하여, 상기 네트워크의 부분적 손실을 얻는 것을 포함하는, 이미지 처리 방법.
제1 이미지를 취득하기 위한 제1 취득 모듈과,
상기 제1 이미지의 하나 이상의 가이드 이미지를 취득하기 위한 것으로서, 상기 가이드 이미지에 상기 제1 이미지에서의 목표 대상물의 가이드 정보가 포함되는 제2 취득 모듈과,
상기 제1 이미지의 하나 이상의 가이드 이미지에 의해, 상기 제1 이미지의 가이드 재구성을 행하여 재구성 이미지를 얻기 위한 재구성 모듈을 포함하는, 이미지 처리 장치.
제 14 항에 있어서,
상기 제2 취득 모듈은 추가로, 상기 제1 이미지의 기술 정보를 취득하는 것과,
상기 제1 이미지의 기술 정보에 기초하여, 상기 목표 대상물의 하나 이상의 목표 부위에 매칭되는 가이드 이미지를 결정하는 것에 사용되는, 이미지 처리 장치.
제 14 항 또는 제 15 항에 있어서,
상기 재구성 모듈은,
상기 제1 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻기 위한 아핀 유닛과,
상기 하나 이상의 가이드 이미지에서의, 상기 목표 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하기 위한 추출 유닛과,
추출된 상기 서브 이미지 및 상기 제1 이미지에 의해, 상기 재구성 이미지를 얻기 위한 재구성 유닛을 포함하는, 이미지 처리 장치.
제 16 항에 있어서,
상기 재구성 유닛은 추가로, 상기 제1 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는
상기 서브 이미지 및 상기 제1 이미지에 대해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것에 사용되는, 이미지 처리 장치.
제 14 항 또는 제 15 항에 있어서,
상기 재구성 모듈은,
상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하여, 상기 제1 이미지의 해상도보다 높은 해상도의 제2 이미지를 얻기 위한 초해상 유닛과,
상기 제2 이미지에서의 상기 목표 대상물의 현재 자세에 따라, 상기 하나 이상의 가이드 이미지에 대해 아핀 변환을 행하여, 상기 가이드 이미지의 상기 현재 자세에 대응하는 아핀 이미지를 얻기 위한 아핀 유닛과,
상기 하나 이상의 가이드 이미지에서의, 상기 대상물에 매칭되는 하나 이상의 목표 부위에 기초하여, 상기 가이드 이미지에 대응하는 아핀 이미지에서 상기 하나 이상의 목표 부위의 서브 이미지를 추출하기 위한 추출 유닛과,
추출된 상기 서브 이미지 및 상기 제2 이미지에 의해, 상기 재구성 이미지를 얻기 위한 재구성 유닛을 포함하는, 이미지 처리 장치.
제 18 항에 있어서,
상기 재구성 유닛은 추가로, 상기 제2 이미지의, 상기 서브 이미지에서의 목표 부위에 대응하는 부위를 추출된 상기 서브 이미지로 교체하고, 상기 재구성 이미지를 얻는 것, 또는
상기 서브 이미지 및 상기 제2 이미지에 의해 합성곱 처리를 행하여, 상기 재구성 이미지를 얻는 것에 사용되는, 이미지 처리 장치.
제 14 항 내지 제 19 항 중 어느 한 항에 있어서,
상기 재구성 이미지를 사용하여 신원 인식을 행하고, 상기 대상물에 매칭되는 신원 정보를 결정하기 위한 신원 인식 유닛을 추가로 포함하는, 이미지 처리 장치.
상기 초해상 유닛은 상기 제1 이미지에 대해 초해상 이미지 재구성 처리를 행하기 위한 제1 뉴럴 네트워크를 포함하고,
상기 장치는 추가로, 상기 제1 뉴럴 네트워크를 트레이닝하기 위한 제1 트레이닝 모듈을 포함하고, 상기 제1 뉴럴 네트워크를 트레이닝하는 단계는,
복수의 제1 트레이닝 이미지와, 상기 제1 트레이닝 이미지에 대응하는 제1 교사 데이터를 포함하는 제1 트레이닝 이미지 세트를 취득하는 것과,
상기 제1 트레이닝 이미지 세트 중 하나 이상의 제1 트레이닝 이미지를 상기 제1 뉴럴 네트워크에 입력하여 상기 초해상 이미지 재구성 처리를 행하여, 상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지를 얻는 것과,
상기 예측 초해상 이미지를 제1 적대적 네트워크, 제1 특징 인식 네트워크 및 제1 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하여, 상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과,
상기 예측 초해상 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여, 제1 네트워크 손실을 얻고, 상기 제1 네트워크 손실에 기초하여 제1 트레이닝 요구를 충족할 때까지 상기 제1 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함하는, 이미지 처리 장치.
제 21 항에 있어서,
상기 제1 트레이닝 모듈은,
상기 제1 트레이닝 이미지에 대응하는 예측 초해상 이미지와, 상기 제1 교사 데이터 중 상기 제1 트레이닝 이미지에 대응하는 제1 표준 이미지에 기초하여, 제1 화소 손실을 결정하는 것과,
상기 예측 초해상 이미지의 식별 결과와, 상기 제1 적대적 네트워크에 의한 상기 제1 표준 이미지의 식별 결과에 기초하여, 제1 적대적 손실을 얻는 것과,
상기 예측 초해상 이미지 및 상기 제1 표준 이미지의 비선형 처리에 의해, 제1 지각 손실을 결정하는 것과,
상기 예측 초해상 이미지의 특징 인식 결과와, 상기 제1 교사 데이터 중 제1 표준 특징에 기초하여, 제1 히트 맵 손실을 얻는 것과,
상기 예측 초해상 이미지의 이미지 분할 결과와, 제1 교사 데이터 중 제1 트레이닝 샘플에 대응하는 제1 표준 분할 결과에 기초하여 제1 분할 손실을 얻는 것과,
상기 제1 적대적 손실, 제1 화소 손실, 제1 지각 손실, 제1 히트 맵 손실 및 제1 분할 손실의 가중합을 사용하여, 상기 제1 네트워크 손실을 얻는 것에 사용되는, 이미지 처리 장치.
제 14 항 내지 제 22 항 중 어느 한 항에 있어서,
상기 재구성 모듈은 상기 가이드 재구성을 행하여 상기 재구성 이미지를 얻기 위한 제2 뉴럴 네트워크를 포함하고,
상기 장치는 추가로, 상기 제2 뉴럴 네트워크를 트레이닝하기 위한 제2 트레이닝 모듈을 포함하고, 상기 제2 뉴럴 네트워크를 트레이닝하는 단계는,
제2 트레이닝 이미지와, 상기 제2 트레이닝 이미지에 대응하는 가이드 트레이닝 이미지 및 제2 교사 데이터를 포함하는 제2 트레이닝 이미지 세트를 취득하는 것과,
상기 제2 트레이닝 이미지에 따라 상기 가이드 트레이닝 이미지에 대해 아핀 변환을 행하여 트레이닝 아핀 이미지를 얻고, 상기 트레이닝 아핀 이미지와, 상기 제2 트레이닝 이미지를 상기 제2 뉴럴 네트워크에 입력하고, 상기 제2 트레이닝 이미지의 가이드 재구성을 행하여 상기 제2 트레이닝 이미지의 재구성 예측 이미지를 얻는 것과,
상기 재구성 예측 이미지를 제2 적대적 네트워크, 제2 특징 인식 네트워크 및 제2 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과,
상기 재구성 예측 이미지의 식별 결과, 특징 인식 결과, 이미지 분할 결과에 기초하여 상기 제2 뉴럴 네트워크의 제2 네트워크 손실을 얻고, 상기 제2 네트워크 손실에 기초하여, 제2 트레이닝 요구를 충족할 때까지 상기 제2 뉴럴 네트워크의 파라미터를 역전파에 의해 조정하는 것을 포함하는, 이미지 처리 장치.
제 23 항에 있어서,
상기 제2 트레이닝 모듈은 추가로, 상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과에 기초하여 전체 손실 및 부분적 손실을 얻는 것과,
상기 전체 손실 및 부분적 손실의 가중합에 기초하여 상기 제2 네트워크 손실을 얻는 것에 사용되는, 이미지 처리 장치.
제 24 항에 있어서,
상기 제2 트레이닝 모듈은 추가로,
상기 제2 트레이닝 이미지에 대응하는 재구성 예측 이미지와, 상기 제2 교사 데이터 중 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에 기초하여 제2 화소 손실을 결정하는 것과,
상기 재구성 예측 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 표준 이미지의 식별 결과에 기초하여 제2 적대적 손실을 얻는 것과,
상기 재구성 예측 이미지 및 상기 제2 표준 이미지의 비선형 처리에 의해 제2 지각 손실을 결정하는 것과,
상기 재구성 예측 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 제2 표준 특징에 기초하여, 제2 히트 맵 손실을 얻는 것과,
상기 재구성 예측 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 제2 표준 분할 결과에 기초하여 제2 분할 손실을 얻는 것과,
상기 제2 적대적 손실, 제2 화소 손실, 제2 지각 손실, 제2 히트 맵 손실 및 제2 분할 손실의 가중합을 사용하여 상기 전체 손실을 얻는 것에 사용되는, 이미지 처리 장치.
제 24 항 또는 제 25 항에 있어서,
상기 제2 트레이닝 모듈은 추가로,
상기 재구성 예측 이미지에서의 하나 이상의 부위의 부위 서브 이미지를 추출하여, 하나 이상의 부위의 부위 서브 이미지를 적대적 네트워크, 특징 인식 네트워크 및 이미지 시멘틱 세그멘테이션 네트워크에 각각 입력하고, 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과, 특징 인식 결과 및 이미지 분할 결과를 얻는 것과,
상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과와, 상기 제2 적대적 네트워크에 의한 상기 제2 트레이닝 이미지에 대응하는 제2 표준 이미지에서의 상기 하나 이상의 부위의 부위 서브 이미지의 식별 결과에 기초하여 상기 하나 이상의 부위의 제3 적대적 손실을 결정하는 것과,
상기 하나 이상의 부위의 부위 서브 이미지의 특징 인식 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 특징에 기초하여, 하나 이상의 부위의 제3 히트 맵 손실을 얻는 것과,
상기 하나 이상의 부위의 부위 서브 이미지의 이미지 분할 결과와, 상기 제2 교사 데이터 중 상기 하나 이상의 부위의 표준 분할 결과에 기초하여, 하나 이상의 부위의 제3 분할 손실을 얻는 것과,
상기 하나 이상의 부위의 제3 적대적 손실, 제3 히트 맵 손실 및 제3 분할 손실의 가산합을 사용하여, 상기 네트워크의 부분적 손실을 얻는 것에 사용되는, 이미지 처리 장치.
프로세서와,
프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 포함하고,
상기 프로세서는 상기 메모리에 기억되어 있는 명령을 불러냄으로써, 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실행하도록 구성되는, 전자 기기.
컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 제1 항 내지 제 13 항 중 어느 한 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드는 전자 기기에서 실행되면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 13 항 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.