KR20210058887A

KR20210058887A - 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체

Info

Publication number: KR20210058887A
Application number: KR1020217010571A
Authority: KR
Inventors: 웨이찌앙 위; 쩌 황; 리통 펭; 웨이 짱
Original assignee: 선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date: 2019-08-30
Filing date: 2019-09-12
Publication date: 2021-05-24
Also published as: US20210248718A1; CN110544217A; TW202109449A; JP2022504890A; CN110544217B; SG11202105585PA; KR102463101B1; WO2021035812A1; TWI759647B

Abstract

본 발명은 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이고, 여기서, 상기 이미지 처리 방법은, 빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하는 단계 - 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리를 포함함 - ; 및 상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하는 단계를 포함한다.

Description

이미지 처리 방법 및 장치, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 발명은 2019년 08월 30일에 중국 특허청에 제출한, 출원 번호가 CN201910818055.6이고, 발명의 명칭이 “이미지 처리 방법 및 장치, 전자 기기 및 저장 매체”인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 인용을 통해 본 발명에 결합된다.

본 발명은 컴퓨터 시각 기술 분야에 관한 것으로, 특히 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.

컴퓨터 시각 기술은 인공 지능의 중요한 구성 부분으로서, 이미 사람들의 일상생활에 점점 더 많은 혜택을 주고 있다. 여기서, 빗방울이 있는 이미지에 대해 고품질의 빗방울 제거 기술에 대한 관심도와 활용도가 높아지고 있다. 일상생활에서, 빗방울 제거 작업을 수행해야 할 시나리오가 많이 있으며, 고품질의 시나리오 정보를 획득하여, 더욱 많은 지능적인 임무의 수행을 보조하는 요구 사항을 달성하고자 한다.

본 발명은 이미지 처리의 기술 방안을 제안한다.

본 발명의 일 측면에 따르면, 이미지 처리 방법을 제공하고, 상기 이미지 처리 방법은,

빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하는 단계 - 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리를 포함함 - ; 및

상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하는 단계를 포함한다.

본 발명의 제1 입도 처리를 사용하면, 배경에서의 차량 또는 보행자 등 이미지 세부 정보와 같은 더욱 많은 세부 특징을 보류할 수 있으며, 빗방울 처리 입도 및 처리 효과는, 제2 입도 처리에 비해 충분히 세밀하지 못하므로, 제2 입도 처리를 추가로 수행해야 하고, 제2 입도 처리를 사용하여 상기 빗방울 제거 처리된 이미지를 획득하여, 빗방울에 대한 제거 처리가 제1 입도 처리보다 우수하지만, 빗방울이 아닌 다른 정보와 같은 이미지 세부 정보의 손실을 초래될 수 있으므로, 최종적으로, 또한 이 두 개의 입도 처리로 획득한 처리 결과를 융합해야 하고, 즉 제1 입도 처리를 통해 획득한 상기 처리될 이미지와 제2 입도 처리를 통해 획득한 상기 빗방울 제거 처리된 이미지를 융합한 후, 최종 획득한 타깃 이미지는 빗방울이 제거되여 빗방울이 없는 효과를 획득하는 것과 빗방울이 아닌 다른 정보를 보류하는 것 사이에서 과도하게 처리하지 않고 처리 균형을 유지할 수 있다.

가능한 구현 방식에 있어서, 상기 빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하는 단계는,

상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하는 단계 - 상기 처리될 이미지는 빗방울 특징 정보를 포함함 - ; 및

상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득하는 단계 - 상기 빗방울 제거 처리된 이미지는 빗방울 제거 후 빗방울이 남지 않은 영역 정보를 포함함 - 를 포함한다.

본 발명을 사용하여, 두 입도 처리 단계에 기반한 점진적 빗방울 제거 처리는, 이미지에서 비가 내리지 않는 영역의 세부 사항을 유지하면서 빗방울을 제거할 수 있다. 제1 입도 처리 단계를 통해 획득한 빗방울 특징 정보는 어느 정도 해석 가능성을 구비하였으므로, 빗방울 특징 정보를 통해 제2 입도 처리 단계에서 유사도 비교를 수행하여 빗방울 및 빗방울이 아닌 다른 정보의 차이를 인식함으로써, 정확하게 빗방울을 제거하고 이미지에서 비가 내리지 않는 영역의 세부 사항을 보류할 수 있다.

가능한 구현 방식에 있어서, 상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하는 단계는,

상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득하는 단계;

상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득하는 단계; 및

상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 획득한 빗방울 결과를, 상기 빗방울이 있는 이미지와 잔여 감산을 수행하여, 상기 처리될 이미지를 획득하는 단계를 포함한다.

본 발명을 사용하여, 빗방울을 특성화하는데 사용되는 국부 특징 정보 및 빗방울을 포함하는 모든 이미지 특징을 특성화하는데 사용되는 전역 특징 정보에 따라, 특정 빗방울 특징과 빗방울이 아닌 다른 정보 간의 차이를 분석함으로써, 더욱 정확한 빗방울 제거 처리를 안내하는데 사용될 수 있다.

가능한 구현 방식에 있어서, 상기 빗방울 결과는, 상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 잔여 융합을 수행하여, 획득한 처리 결과를 포함한다.

본 발명을 사용하여, 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 잔여 융합을 수행하여, 정확한 처리 결과를 획득한다.

가능한 구현 방식에 있어서, 상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득하는 단계는,

상기 빗방울이 있는 이미지를 i 번째 계층의 고밀도 잔여 모듈에 입력하여, 제1 중간 처리 결과를 획득하는 단계;

상기 제1 중간 처리 결과를 i 번째 계층의 다운 샘플링 모듈에 입력하여, 국부 특징 맵을 획득하는 단계; 및

상기 국부 특징 맵을 상기 i+1번째 계층의 고밀도 잔여 모듈을 통해 처리한 후 상기 i+1번째 계층의 다운 샘플링 모듈에 입력하여, 상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득하는 단계를 포함하고;

상기 i는 1보다 크거나 같고 기설정 값보다 작은 양의 정수이다.

본 발명을 사용하여, 다중 계층의 고밀도 잔여 모듈 및 다중 계층의 다운 샘플링 모듈의 처리를 거쳐, 상기 국부 특징 정보로 구성된 국부 특징 맵을 획득하여, 상기 국부 특징 맵을 제2 입도 처리 단계의 정교화된 빗방울 제거 처리에 사용할 수 있다.

가능한 구현 방식에 있어서, 상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득하는 단계는,

상기 빗방울의 국부 특징 정보를 j 번째 계층의 영역 감지 모듈에 입력하여, 제2 중간 처리 결과를 획득하는 단계;

상기 제2 중간 처리 결과를 j 번째 계층의 업 샘플링 모듈에 입력하여, 전역 강화된 특징 맵을 획득하는 단계; 및

상기 전역 강화된 특징 맵을 상기 j+1번째 계층의 영역 감지 모듈을 통해 처리한 후 상기 j+1번째 계층의 업 샘플링 모듈에 입력하여, 상기 j+1번째 계층의 업 샘플링 모듈의 업 샘플링 처리를 거쳐, 상기 빗방울의 전역 특징 정보를 획득하는 단계를 포함하고;

상기 j는 1보다 크거나 같고 기설정 값보다 작은 양의 정수이다.

본 발명을 사용하여, 다중 계층의 영역 감지 모듈 및 다중 계층의 업 샘플링 모듈의 처리를 거쳐, 상기 전역 특징 정보로 구성된 전역 강화된 특징 맵을 획득하여, 상기 전역 강화된 특징 맵을 제2 입도 처리 단계의 정교화된 빗방울 제거 처리에 사용할 수 있다.

가능한 구현 방식에 있어서, 상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득하는 단계는, 상기 i+1번째 계층의 다운 샘플링 모듈에서, 국부 컨볼루션 커널을 사용하여 컨볼루션 작업을 수행함으로써, 상기 빗방울의 국부 특징 정보를 획득하는 단계를 포함한다.

본 발명을 사용하여, 국부 특징 정보를 획득해야 하므로, 다운 샘플링 시, 국부 컨볼루션 커널을 통해 컨볼루션 작업을 수행할 수 있다.

가능한 구현 방식에 있어서, 상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득하는 단계는,

상기 처리될 이미지를 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보를 획득하는 단계;

상기 컨텍스트 시맨틱 정보에 따라 분류하여, 상기 처리될 이미지에서의 비가 내리는 영역을 인식하는 단계 - 상기 비가 내리는 영역은 빗방울 및 빗방울이 아닌 다른 정보를 포함함 - ;

상기 빗방울 특징 정보에 따라 상기 비가 내리는 영역에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 비교 결과에 따라 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 포지셔닝 하는 단계; 및

상기 빗방울 영역의 빗방울을 제거하고, 상기 빗방울이 없는 영역의 정보를 보류한 후 상기 빗방울 제거 처리된 이미지를 획득하는 단계를 포함한다.

본 발명을 사용하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보에 따라, 먼저 분류하여, 처리될 이미지에서의 비가 내리는 영역을 결정한 다음; 상기 빗방울 특징 정보에 따라 상기 비가 내리는 영역에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 비교 결과에 따라 포지셔닝된 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 획득함으로써, 빗방울 영역의 빗방울을 제거한 후, 상기 빗방울이 없는 영역의 정보를 보류할 수 있으면, 이러한 처리 후 획득된 빗방울 제거 처리된 이미지는 빗방울 제거 효과가 더욱 정확할 뿐만 아니라, 이미지에서 더 많은 빗방울이 아닌 세부 사항 정보를 보류한다.

가능한 구현 방식에 있어서, 상기 처리될 이미지를 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보를 획득하는 단계는,

상기 처리될 이미지를 컨볼루션 모듈에 입력하여 컨볼루션 처리를 수행하여, 상기 딥 시맨틱 특징을 생성하기 위한 고차원 특징 벡터를 획득하는 단계;

상기 고차원 특징 벡터를 상기 컨텍스트 시맨틱 모듈에 입력하여 다중 계층의 고밀도 잔여 처리를 수행하여, 상기 딥 시맨틱 특징을 획득하는 단계; 및

각 계층의 고밀도 잔여 처리를 거쳐 획득한 딥 시맨틱 특징 및 상기 얕은 공간 특징을 융합 처리하여, 상기 컨텍스트 시맨틱 정보를 획득하는 단계를 포함한다.

본 발명을 사용하여, 처리될 이미지의 컨볼루션 처리, 각 계층의 고밀도 잔여 처리 후 획득한 딥 시맨틱 특징 및 얕은 공간 특징 간의 융합 처리를 거쳐, 컨텍스트 시맨틱 정보를 획득하여, 컨텍스트 시맨틱 정보에서의 딥 시맨틱 특징에 따라 분류를 구현하여, 비가 내리는 영역을 인식할 수 있다. 또한 컨텍스트 시맨틱 정보에서의 얕은 공간 특징에 따라 포지셔닝을 구현함으로써, 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 결정한다.

가능한 구현 방식에 있어서, 상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하는 단계는,

상기 처리될 이미지를 컨볼루션 모듈에 입력하여, 컨볼루션 처리를 수행하여 출력 결과를 획득하는 단계; 및

상기 빗방울 제거 처리된 이미지를 상기 출력 결과와 융합 처리를 수행하여, 상기 빗방울이 제거된 타깃 이미지를 획득하는 단계를 포함한다.

본 발명을 사용하여, 처리될 이미지의 컨볼루션 처리 및 융합 처리를 거쳐, 획득한 빗방울이 제거된 타깃 이미지는, 더욱 정확한 빗방울 제거 효과 및 이미지에서 더 많은 빗방울이 아닌 세부 사항 정보를 보류하는 효과를 달성할 수 있다.

본 발명의 일 측면에 따라, 이미지 처리 장치를 제공하고, 상기 이미지 처리 장치는,

빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하기 위한 빗방울 처리 유닛 - 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리를 포함함 - ; 및

상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하기 위한 융합 유닛을 포함한다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은,

상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하고 - 상기 처리될 이미지는 빗방울 특징 정보를 포함함 - ;

상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득 - 상기 빗방울 제거 처리된 이미지는 빗방울 제거 후 빗방울이 남지 않은 영역 정보를 포함함 - 하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은,

상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득하고;

상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득하며;

상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 획득한 빗방울 결과를, 상기 빗방울이 있는 이미지와 잔여 감산을 수행하여, 상기 처리될 이미지를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은,

상기 빗방울이 있는 이미지를 i 번째 계층의 고밀도 잔여 모듈에 입력하여, 제1 중간 처리 결과를 획득하고;

상기 제1 중간 처리 결과를 i 번째 계층의 다운 샘플링 모듈에 입력하여, 국부 특징 맵을 획득하며;

상기 국부 특징 맵을 상기 i+1번째 계층의 고밀도 잔여 모듈을 통해 처리한 후 상기 i+1번째 계층의 다운 샘플링 모듈에 입력하여, 상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득하기 위한 것이며;

가능한 구현 방식에 있어서, 여기서, 상기 빗방울 처리 유닛은,

상기 빗방울의 국부 특징 정보를 j 번째 계층 영역 감지 모듈에 입력하여, 제2 중간 처리 결과를 획득하고;

상기 제2 중간 처리 결과를 j 번째 계층 업 샘플링 모듈에 입력하여, 전역 강화된 특징 맵을 획득하며;

상기 전역 강화된 특징 맵을 상기 j+1번째 계층 영역 감지 모듈을 통해 처리한 후 상기 j+1번째 계층 업 샘플링 모듈에 입력하여, 상기 j+1번째 계층 업 샘플링 모듈의 업 샘플링 처리를 거쳐, 상기 빗방울의 전역 특징 정보를 획득하기 위한 것이며;

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은, 상기 i+1번째 계층의 다운 샘플링 모듈에서, 국부 컨볼루션 커널을 사용하여 컨볼루션 작업을 수행함으로써, 상기 빗방울의 국부 특징 정보를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은,

상기 처리될 이미지를 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보를 획득하고;

상기 컨텍스트 시맨틱 정보에 따라 분류하여, 상기 처리될 이미지에서의 비가 내리는 영역을 인식하며 - 상기 비가 내리는 영역은 빗방울 및 빗방울이 아닌 다른 정보를 포함함 - ;

상기 빗방울 특징 정보에 따라 상기 비가 내리는 영역에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 비교 결과에 따라 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 포지셔닝하며;

상기 빗방울 영역의 빗방울을 제거하고, 상기 빗방울이 없는 영역의 정보를 보류한 후 상기 빗방울 제거 처리된 이미지를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은,

상기 처리될 이미지를 컨볼루션 모듈에 입력하여 컨볼루션 처리를 수행하여, 상기 딥 시맨틱 특징을 생성하기 위한 고차원 특징 벡터를 획득하고;

상기 고차원 특징 벡터를 상기 컨텍스트 시맨틱 모듈에 입력하여 다중 계층의 고밀도 잔여 처리를 수행하여, 상기 딥 시맨틱 특징을 획득하며;

각 계층의 고밀도 잔여 처리를 거쳐 획득한 딥 시맨틱 특징 및 상기 얕은 공간 특징을 융합 처리하여, 상기 컨텍스트 시맨틱 정보를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 융합 유닛은,

상기 처리될 이미지를 컨볼루션 모듈에 입력하여, 컨볼루션 처리를 수행하여 출력 결과를 획득하고;

상기 빗방울 제거 처리된 이미지를 상기 출력 결과와 융합 처리를 수행하여, 상기 빗방울이 제거된 타깃 이미지를 획득하기 위한 것이다.

본 발명의 일 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는,

프로세서; 및

프로세서에서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고;

여기서, 상기 프로세서는 상기 이미지 처리 방법을 실행하도록 구성된다.

본 발명의 일 측면에 따르면, 컴퓨터 프로그램 명령이 저장된 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 상기 이미지 처리 방법을 구현한다.

본 발명의 일 측면에 따르면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 이미지 처리 방법을 구현하기 위한 방법을 실행한다.

본 발명의 실시예에 있어서, 빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하고 - 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리를 포함함 - ; 상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득한다. 본 발명의 실시예는 제1 입도 처리 단계 및 제2 입도 처리 단계 이 두 단계의 점진적 제거 처리를 각각 사용하므로, 빗방울을 제거할 수 있을 뿐만 아니라, 과도한 처리 없이, 빗방울이 아닌 다른 정보도 함께 제거함으로써, 빗방울 제거 및 빗방울이 없는 영역 정보 보류 사이에서 적절한 균형을 유지한다.

이해해야 할 것은, 이상의 일반적인 설명 및 아래의 세부적인 설명은 다만 예시적 및 해석적인 것이며, 본 발명을 한정하려는 것이 아니다.

아래 참조 도면에 따라 예시적 실시예에 대한 상세한 설명에 기반하여, 본 발명의 실시예의 다른 특징 및 측면은 명확해진다.

여기서 도면은 명세서에 통합되어 본 명세서의 일부를 구성하며, 이 도면은 본 발명에 부합되는 실시예를 도시하고, 명세서와 함께 본 발명의 기술적 방안을 설명하기 위한 것이다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 일 흐름도를 도시한다.
도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 또 다른 흐름도를 도시한다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법의 또 다른 흐름도를 도시한다.
도 4는 본 발명의 실시예에 따른 고밀도 잔여 모듈의 예시도를 도시한다.
도 5는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 도시한다.
도 6은 본 발명의 실시예에 따른 전자 기기의 블록도를 도시한다.
도 7은 본 발명의 실시예에 따른 전자 기기의 블록도를 도시한다.

아래에 도면을 참조하여 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 유사한 구성 요소를 나타낸다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 달리 언급되지 않는 한, 도면은 반드시 특정 비율로 그려진 것은 아니다.

여기서 전문적으로 사용되는 "예시적"이란 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 모든 실시예는 다른 실시예보다 우수하거나 더 나은 것으로 해석될 필요는 없다.

본문에서 용어 “및/또는”은 다만 관련 대상의 연관 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낼 수 있다. 또한, 본문에서 용어 "적어도 하나"는 복수에서의 어느 하나 또는 복수에서의 적어도 두 개 중의 어느 하나의 조합을 나타내고, 예를 들어, A, B, C 중 적어도 하나를 포함하는 것은, A, B 및 C로 구성된 집합에서 선택된 어느 하나 또는 복수 개의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 발명을 더욱 잘 설명하기 위해, 아래의 구체적인 실시 형태에서 수많은 구체적인 세부 사항을 제공한다. 본 분야의 기술자는 일부 구체적인 세부 사항이 없더라도, 본 발명이 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 일부 예에서, 당업자에게 잘 알려진 방법, 수단, 요소 및 회로는 본 개시의 요지를 강조하기 위해 상세하게 설명되지 않는다.

빗방울이 있는 이미지에 대해 고품질의 빗방울 자동 제거를 수행하는 기술은, 자율 주행 시 빗방울이 시선에 미치는 영향을 제거하여, 주행 품질을 향상시키는 것과 같은 일상 생활의 많은 시나리오에 적용될 수 있고; 스마트 인물 촬영에서 빗방울의 간섭을 제거하여, 더욱 미화되고 뚜렷한 배경을 획득하며; 모니터링 비디오에서의 화면에 대해 빗방울 제거 작업을 수행함으로써, 폭우 시 여전히 비교적 뚜렷한 모니터링 화면을 획득할 수 있어, 모니터링의 품질을 향상시킨다. 빗방울을 자동 제거 작업을 통해, 고품질의 시나리오 정보를 획득할 수 있다.

관련 빗방울 제거 방법에서, 주로 쌍을 이루는 비가 내리는/내리지 않는 이미지에 기반하여, 딥 학습의 엔드 투 엔드의 방법을 사용하고, 다중 스케일 모델링, 고밀도 잔여 연결 네트워크 및 비디오 프레임 광학 흐름 등 기술을 결합하여 비를 제거하며, 이러한 방법은 이미지에서 비가 내리지 않는 영역의 세부 사항 정보에 대한 보호 및 모델링을 수행하는 것을 소홀히 하면서, 단순히 빗방울 제거 효과를 추구하고 있으며, 특정 해석 가능성도 부족하다. 데이터 및 기계 학습 모델의 해석 가능성은 데이터 과학의 “유용성”에서 매우 중요한 측면 중 하나이고, 모델이 해결하려는 문제와 일치하도록 보장하며, 즉 문제를 해결할 수 있으며, 또한 단순히 문제를 해결하는 것 뿐만 아니라 어떤 부분을 통해 문제를 설명했는지를 알 수 있지만, 구체적으로 어떤 부분이 해석 역할을 하는지 알 수 없다.

관련 빗방울 제거 방법에서, 단일 이미지를 기반으로 하는 엔드 투 엔드의 이미지 빗방울 제거 방법을 예로 들어 설명하고, 상기 방법은 쌍을 이루는 비가 내리는/내리지 않는 단일 이미지 데이터에 기반하여, 다중 스케일의 특징을 사용하여 엔드 투 엔드의 모델링 학습을 수행하며, 컨볼루션 신경 네트워크, 풀링 작업, 디컨볼루션 작업 및 보간 작업 등 기술을 사용하여 인코더 및 디코더가 포함된 네트워크를 구축하는 것을 포함한다. 빗방울이 있는 이미지를 상기 네트워크에 입력하여, 비가 내리지 않는 단일 이미지의 감독 정보에 따라, 빗방울이 있는 입력된 이미지를 빗방울이 없는 이미지로 전환시킨다. 하지만, 상기 방법을 사용하면 과도한 비 제거가 쉽게 발생하고, 이미지의 일부 세부 정보가 손실됨으로써, 빗방울 제거 완료된 이미지가 왜곡되는 문제가 발생하도록 한다.

관련 빗방울 제거 방법에서, 비디오 스트리밍을 기반으로 빗방울을 제거하는 방법을 예로 들어 설명하고, 상기 방법은 비디오 프레임 사이의 타임 시퀀스 정보를 사용하여, 두 프레임 사이의 빗방울의 비디오 광학 흐름를 캡처한 다음, 이러한 타임 시퀀스의 광학 흐름를 사용하여 동적 빗방울을 제거함으로써, 빗방울이 없는 이미지를 획득하는 것이다. 하지만, 한편으로, 상기 방법의 시나리오는 비디오 데이터 세트에만 적용되고, 단일 이미지로 구성된 촬영 시나리오에는 적용될 수 없으며, 다른 한편으로, 상기 방법은 전후 두 개의 연속 프레임의 정보에 의존하고, 프레임이 끊어지는 상황이 나타나면, 비 제거의 효과에 영향을 미친다.

상기 두 가지 방법을 사용하면, 모두 비 제거 작업에 대해 명시적인 빗방울 모델링 및 해석을 수행하지 않았고, 상이한 입도의 비에 대한 충분한 고려 및 모델링이 부족하며, 따라서 과도한 비 제거 및 불충분한 비 제거 사이의 균형 문제를 파악하기 어렵다. 과도한 비 제거는 비 제거 효과가 너무 강하여, 빗방울이 없는 일부 이미지 영역도 삭제되는 것을 의미하며, 비가 내리지 않는 영역의 이미지 세부 사항이 손실되었으므로, 이미지가 왜곡되는 문제를 초래한다. 비 제거가 불충분하다는 것은 비 제거 효과가 너무 약하여, 이미지의 빗방울이 충분히 제거되지 않았음을을 의미한다.

본 발명을 사용하여, 굵은 입도에서 미세한 입도로의 점진적인 이미지 빗방울 제거 처리에 기반하여, 빗방울을 제거하는 동시에, 이미지에서 비가 내리지 않는 영역의 세부 사항을 보류할 수 있다. 제1 입도 처리 단계를 통해 획득한 빗방울 특징 정보는 특정 해석 가능성을 구비하였으므로, 빗방울 특징 정보를 통해 제2 입도 처리 단계에서 유사도 비교를 수행하여 빗방울 및 빗방울이 아닌 다른 정보의 차이를 인식함으로써, 빗방울을 정확하게 제거하고 이미지에서의 비가 내리지 않는 영역의 세부 사항을 보류할 수 있다.

설명해야 할 것은, 제1 입도 처리는 굵은 입도의 빗방울 제거 처리를 의미하고; 제2 입도 처리는 미세한 입도의 빗방울 제거 처리를 의미한다. 굵은 입도의 빗방울 제거 처리 및 미세한 입도의 빗방울 제거 처리는 상대적인 표현이고, 굵은 입도의 빗방울 제거 처리와 미세한 입도의 빗방울 제거 처리의 목적은 모두 이미지에서 빗방울을 인식하고 이를 제거하기 위한 것이며, 다만 제거하는 정도가 상이할 뿐이고, 굵은 입도의 빗방울 제거 처리는 정확도가 불충분하므로, 추가로 굵은 입도의 빗방울 제거 처리를 거쳐야만 더욱 정확한 처리 효과를 획득할 수 있다. 예를 들어, 스케치를 그릴 때, 굵은 입도는 윤곽을 그리는 것이고, 상대적으로 말하면, 그림자 및 세부 사항을 그리는 것은 미세한 입도를 의미한다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 도시하고, 상기 이미지 처리 방법은 이미지 처리 장치에 적용되며, 예를 들어, 상기 처리 장치가 단말 기기 또는 서버 또는 다른 처리 기기에 배치되어 실행되는 경우, 이미지 분류, 이미지 검출 및 비디오 처리 등을 실행할 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 휴대용 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 이미지 처리 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다. 도 1에 도시된 바와 같이, 상기 프로세스는 하기와 같은 단계를 포함한다.

단계 S101에 있어서, 빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하며, 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리 이 두 개 단계의 처리를 포함한다.

제1 입도 처리 단계에서, 빗방울이 있는 이미지에 대해 처리를 수행하여, 처리될 이미지를 획득하는 것 외에도, 상기 처리될 이미지는 빗방울 특징 정보를 포함하고, 상기 빗방울 특징 정보는, 빗방울 및 이미지 중 빗방울이 아닌 다른 정보를 구별하기 위한 것이다. 상기 빗방울 특징 정보는 이 단계에서 대량의 훈련 샘플을 통한 학습으로 획득한 것이고, 이 단계에서 빗방울을 완전히 제거하는 거것은 아니다. 상기 처리될 이미지는 제1 입도 처리에 따라 획득한 중간 처리 결과로 사용되어, 제2 입도의 처리 단계에 진입한 후, 상기 빗방울 특징 정보에 따라 빗방울 유사도 비교를 수행함으로써, 빗방울 제거 처리된 이미지를 획득한다. 또한 상기 처리될 이미지의 컨볼루션 처리 결과 및 상기 빗방울 제거 처리된 이미지를 융합하여, 빗방울을 제거한 최종 타깃 이미지를 획득할 수 있다.

가능한 구현 방식에 있어서, 빗방울이 있는 이미지에 대해 제1 입도 처리를 수행하여, 처리될 이미지를 획득할 수 있으며, 처리될 이미지는 빗방울 특징 정보를 포함한다. 처리될 이미지에 대해 제2 입도 처리를 수행하고, 빗방울 특징 정보에 따라 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 빗방울 제거 처리된 이미지를 획득할 수 있다. 빗방울 제거 처리된 이미지는 빗방울 제거 후 빗방울이 없는 영역 정보를 포함한다. 빗방울 유사도 비교를 통해, 이미지에서의 빗방울 및 빗방울이 아닌 다른 정보(예를 들어 이미지에서의 배경 정보, 집, 차량, 나무, 보행자 등)를 구분할 수 있고, 빗방울을 제거할 때 빗방울이 아닌 상기 다른 정보를 실수로 함께 제거하지 않는다.

단계 S102에 있어서, 상기 빗방울 제거 처리된 이미지와 처리될 이미지를 융합 처리하여, 빗방울이 제거된 타깃 이미지를 획득한다.

일 예에 있어서, 빗방울 제거 처리된 이미지와 처리될 이미지를 컨볼루션 처리하여 획득한 결과를 융합 처리함으로써, 빗방울이 제거된 타깃 이미지를 획득한다. 예를 들어, 상기 처리될 이미지를 컨볼루션 모듈에 입력하여, 컨볼루션 처리를 수행한 후 출력 결과를 획득한다. 상기 빗방울 제거 처리된 이미지를 상기 출력 결과와 융합 처리를 수행하여, 상기 빗방울이 제거된 타깃 이미지를 획득한다.

융합 처리의 경우, 제1 입도 처리 단계에서 획득한 처리될 이미지(예를 들어 초보적 비 제거한 이미지)를 한 번의 컨볼루션 작업(예를 들어 3*3 컨볼루션)을 거치고 다시 제 2 입도 처리 단계에서 획득한 빗방울 제거 처리된 이미지(예를 들어 본 발명의 두 단계의 처리를 통해 획득한 점차 정밀해지는 비 제거 이미지)와 융합할 수 있다. 처리될 이미지를 컨볼루션 모듈에 입력하고, 3*3 컨볼루션 동작을 실행하여, 컨볼루션 모듈에 입력한 이미지 및 컨볼루션 모듈이 출력한 이미지 크기는 변하지 않고, 이미지 특징에 대해 처리를 수행한 것이며, 융합 과정에 있어서, 이미지 특징과 제2 입도 처리 단계에서 획득한 이미지 특징을 Concate한 후, 1*1 컨볼루션 커널의 컨볼루션 처리 및 Sigmoid 함수의 비선형 처리를 거쳐, 빗방울이 제거된 타깃 이미지(예를 들어 최종 비 제거 이미지)를 획득한다. Concate는 복수 개의 이미지 특징을 연결하기 위한 연결 함수이고, Sigmoid 함수는 신경 네트워크에서의 활성화 함수이고, 비선형 함수이며, 비선형 도입을 위한 것이고, 구체적인 비선형 형태에 대해서 한정하지 않는다.

본 발명을 사용하여, 이미지에서의 비에 대해, 제1 입도 처리만 사용하면, 배경에서의 차량 또는 보행자 등 이미지 세부 정보와 같은 더욱 많은 세부 특징을 보류하지만, 빗방울에 대한 처리 입도 및 처리 효과의 경우, 제2 입도 처리에 비해 충분히 미세하지 않으므로, 추가적인 제2 입도 처리가 필요하고, 제2 입도 처리를 사용하여 상기 빗방울 제거 처리된 이미지를 획득하며, 빗방울에 대한 제거 처리가 제1 입도 처리보다 우수하지만, 빗방울이 아닌 다른 정보와 같은 이미지 세부 정보가 손실될 수 있으므로, 최종적으로, 또한 이 두 개의 입도 처리로 획득한 처리 결과를 융합해야 하고, 즉 제1 입도 처리를 통해 획득한 상기 처리될 이미지와 제2 입도 처리를 통해 획득한 상기 빗방울 제거 처리된 이미지를 융합한 후, 최종적으로 획득한 타깃 이미지는 빗방울이 제거되고 빗방울이 없는 효과를 획득하는 것과 빗방울이 아닌 다른 정보를 보류하는 것 사이에서 과도 처리가 아닌 처리 균형을 유지할 수 있다.

상기 단계 S101 내지 단계 S102에 대해, 일 예는 도 2에 도시된 바와 같다. 도 2는 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도를 도시하고, 굵은 입도 및 미세한 입도의 두 빗방울 제거 단계의 처리를 포함한다. 상기 처리될 이미지는, 제1 입도 처리에 따라 획득한 중간 처리 결과일 수 있다. 상기 빗방울 제거 처리된 이미지는, 제2 입도 처리에 따라 획득한 처리 결과일 수 있다. 상기 빗방울이 있는 이미지에 대해 먼저 제1 입도 처리 단계의 처리를 수행하여, 굵은 결 빗방울 얼룩 마스크와 같은 빗방울 결과를 획득한다. 이 제1 입도 처리 단계에서 빗방울을 제거하지 않고, 상기 단계별 학습에서 빗방울 특징 정보를 획득하여, 후속적인 빗방울 유사도 비교에 사용된다. 상기 빗방울이 있는 이미지 및 상기 빗방울 결과를 잔여 감산 연산하여, 굵은 입도의 빗방울을 제거한 결과를 출력하며, 즉 다음 단계(제2 입도 처리 단계) 처리를 위한 처리될 이미지이다. 상기 처리될 이미지에 대해 제2 입도 처리 단계의 처리를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득한다. 상기 처리될 이미지가 컨볼루션 처리된 결과 및 상기 빗방울 제거 처리된 이미지를 융합하여, 빗방울을 제거한 최종 타깃 이미지를 획득한다. 본 발명을 사용하여, 빗방울이 있는 이미지를 통해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여 획득한 상기 타깃 이미지는, 빗방울을 제거하는 동시에, 이미지에서 비가 내리지 않는 영역의 세부 사항을 보류할 수 있다.

가능한 구현 방식에 있어서, 상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하는 단계는, 하기와 같은 내용을 포함한다.

1, 상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득한다.

상기 빗방울이 있는 이미지를 적어도 두 계층의 고밀도 잔여 모듈 및 계층별 다운 샘플링 처리하여, 상기 빗방울 특징 정보를 특징화하기 위한 국부 특징 맵을 획득할 수 있다. 국부 특징 맵은 국부 특징으로 구성되고, 이미지 특징의 국부 표현을 반영하기 위한 것이다. 국부 특징 맵은 복수 개일 수 있고, 예를 들어, 각 계층의 고밀도 잔여 모듈 및 계층별 다운 샘플링 처리를 거쳐, 각 계층의 출력에 대응되는 복수 개의 국부 특징 맵을 획득할 수 있으며, 복수 개의 국부 특징 맵을 병렬 방식으로 복수 개의 전역 강화된 특징 맵과 잔여 융합을 수행함으로써, 상기 빗방울 결과를 획득한다. 또 다른 예로, 각 계층의 고밀도 잔여 모듈 및 계층별 다운 샘플링 처리를 거쳐, 각 계층의 출력에 대응되는 복수 개의 국부 특징 맵을 획득할 수 있으며, 복수 개의 국부 특징 맵을 직렬 방식으로 연결한 다음, 연결된 국부 특징 맵을 복수 개의 전역 강화된 특징 맵과 잔여 융합함으로써, 상기 빗방울 결과를 획득한다.

제2 입도 처리 단계에서 이미지에서 빗방울을 더욱 정확하게 제거하는 처리 효과를 달성하기 위해, 제1 입도 처리 단계에서, 상기 국부 특징을 제2 입도 처리 단계에서 빗방울 유사도 비교를 수행하도록, 이미지에서 빗방울 특징 정보를 나타내기 위한 국부 특징을 획득함으로써, 이미지에서의 빗방울 및 빗방울이 아닌 다른 정보를 구별해야 한다.

설명해야 할 것은, 각 계층에는 모두 고밀도 잔여 모듈 및 다운 샘플링 모듈이 있어, 고밀도 잔여 및 다운 샘플링 처리를 각각 수행한다. 상기 국부 특징 맵을 상기 빗방울의 국부 특징 정보로 사용한다.

일 예에 있어서, 빗방울이 있는 이미지를 i 번째 계층의 고밀도 잔여 모듈에 입력하여, 제1 중간 처리 결과를 획득하고; 상기 제1 중간 처리 결과를 i 번째 계층의 다운 샘플링 모듈에 입력하여, 국부 특징 맵을 획득한다. 상기 국부 특징 맵을 상기 i+1번째 계층의 고밀도 잔여 모듈을 통해 처리한 후 상기 i+1번째 계층의 다운 샘플링 모듈에 입력하여, 상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득한다. 상기 i는 1보다 크거나 같고 기설정 값보다 작은 양의 정수이다. 기설정 값은 2, 3, 4…, m등이 될 수 있고, m은 기설정 값의 상한치이고, 경험값에 따라 구성될 수 있거나, 빗방울의 국부 특징 정보의 정밀도에 따라 구성될 수 있다.

계층별 다운 샘플링 처리에서, 국부 컨볼루션 커널을 사용하여 컨볼루션 작업을 수행하여, 상기 국부 특징 맵을 획득할 수 있다.

2, 상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득한다.

설명해야 할 것은, 영역 소음 제거 처리는 영역 감지 모듈을 통해 처리할 수 있다. 영역 감지 모듈은 이미지에서의 빗방울을 인식할 수 있다. 예를 들어 나무, 차량, 보행자 등 이미지 배경과 같은 빗방울과 관련 없는 빗방울이 아닌 다른 정보를 소음으로 사용하고, 상기 소음과 빗방울을 구분한다.

상기 국부 특징 맵을 적어도 두 계층의 영역 감지 모듈 및 계층별 업 샘플링 처리하여, 상기 빗방울 특징 정보를 포함한 전역 강화된 특징 맵을 획득할 수 있다. 전역 강화된 특징 맵은 국부 특징 맵에 상대적이고, 전역 강화된 특징 맵은 전체 이미지의 이미지 특징을 나타낼 수 있는 특징 맵을 의미한다.

전역 강화된 특징 맵은 복수 개일 수 있고, 예를 들어, 각 계층의 영역 감지 모듈 및 계층별 업 샘플링 처리를 거쳐, 각 계층의 출력에 대응되는 복수 개의 전역 강화된 특징 맵을 획득할 수 있으며, 복수 개의 전역 강화된 특징 맵을 병렬 방식으로 복수 개의 국부 특징 맵과 잔여 융합을 수행함으로써, 상기 빗방울 결과를 획득한다. 또 다른 예로, 각 계층의 영역 감지 모듈 및 계층별 업 샘플링 처리를 거쳐, 각 계층의 출력에 대응되는 복수 개의 전역 강화된 특징 맵을 획득할 수 있으며, 복수 개의 전역 강화된 특징 맵을 직렬 방식으로 연결하고, 연결된 전역 강화된 특징 맵을 복수 개의 국부 특징 맵과 잔여 융합함으로써, 상기 빗방울 결과를 획득한다.

설명해야 할 것은, 각 계층에는 모두 영역 감지 모듈 및 업 샘플링 모듈이 있어, 영역 소음 저감 처리 및 업 샘플링 처리를 각각 수행한다. 상기 전역 강화된 특징 맵을 상기 빗방울의 전역 특징 정보로 사용하고, 상기 국부 특징 맵 및 상기 전역 강화된 특징 맵을 잔여 융합하여, 상기 빗방울 결과를 획득한다.

상기 국부 특징 맵을 각 계층의 영역 감지 모듈에 입력하여 획득한 전역 강화된 특징 맵을, 각각 계층별 업 샘플링 처리를 하면, 증폭된 전역 강화된 특징 맵을 획득할 수 있다. 상기 증폭된 전역 강화된 특징 맵은, 각 계층의 고밀도 잔여 처리하여 획득한 국부 특징 맵과 계층별 잔여 융합을 수행하여, 상기 빗방울 결과를 획득할 수 있다. 상기 빗방울 결과는, 상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 잔여 융합을 수행한 후 획득한 처리 결과를 포함할 수 있다.

일 예에 있어서, 상기 빗방울의 국부 특징 정보를 j 번째 계층의 영역 감지 모듈에 입력하여, 제2 중간 처리 결과를 획득하고; 상기 제2 중간 처리 결과를 j 번째 계층의 업 샘플링 모듈에 입력하여, 전역 강화된 특징 맵을 획득하며; 상기 전역 강화된 특징 맵을 상기 j+1번째 계층의 영역 감지 모듈을 통해 처리한 후 상기 j+1번째 계층의 업 샘플링 모듈에 입력하여, 상기 j+1번째 계층의 업 샘플링 모듈의 업 샘플링 처리를 거쳐, 상기 빗방울의 전역 특징 정보를 획득하며, 상기 j는 1보다 크거나 같고 기설정된 값보다 작은 양의 정수이다. 기설정 값은 2, 3, 4…, n 등이 될 수 있고, n은 기설정 값의 상한치이고, 경험값에 따라 구성될 수 있거나, 빗방울의 전역 특징 정보의 정확도에 따라 구성될 수 있다.

계층별 업 샘플링의 처리는, 관련 기술에서의 컨볼루션 작업을 사용할 수 있고, 즉 컨볼루션 커널을 사용하여 컨볼루션 작업을 수행한다.

업 샘플링 및 다운 샘플링의 경우, 도 3에 도시된 바와 같이, 업 샘플링 모듈 및 다운 샘플링 모듈 사이의 연결은, 업 및 다운 샘플링 사이의 스킵 연결을 의미한다. 구체적으로, 먼저 다운 샘플링을 수행한 다음, 업 샘플링을 수행하며, 동일한 계층의 업 샘플링 및 다운 샘플링 처리를 상기 스킵 연결한다. 다운 샘플링의 과정에 있어서, 각 다운 샘플링 특징 포인트의 공간 좌표 정보를 기록해야 하고, 업 샘플링에 대응되게 연결될 경우, 이러한 공간 좌표 정보를 사용하고, 이러한 공간 좌표 정보를 업 샘플링 입력의 일부분으로 사용함으로써, 업 샘플링의 공간 복원 기능을 더욱 잘 구현하도록 한다. 공간 복원은, 이미지에 대해 샘플링(업 샘플링 및 다운 샘플링을 포함)을 수행하면 모두 왜곡이 발생하며, 요컨대, 다운 샘플링은 이미지를 축소하는 것이고, 업 샘플링은 이미지를 확대하는 것으로 이해할 수 있으며, 다운 샘플링을 통해 이미지를 축소하면 위치가 변경되므로, 왜곡되지 않은 복원이 필요한 경우, 업 샘플링을 통해 상기 위치를 복원할 수 있다.

3, 상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 획득한 빗방울 결과를, 상기 빗방울이 있는 이미지와 잔여 감산을 수행하여, 상기 처리될 이미지를 획득한다.

빗방울 결과는, 이미지에서 빗방울 특징을 나타내기 위한 국부 특징 정보 및 이미지에서 모든 특징을 나타내기 위한 전역 특징 정보에 따라 획득한 처리 결과이고, 제1 입도 처리 단계에서 획득한 초보적으로 빗방울을 제거한 결과로 지칭될 수도 있다. 다음, 본 발명의 신경 네트워크에 입력된 빗방울이 있는 이미지와 상기 빗방울 결과에 대해 잔여 감산(임의의 두 개 특징의 감산)을 수행하여, 처리될 이미지를 획득한다.

가능한 구현 방식에 있어서, 상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득하는 단계는, 상기 처리될 이미지를 컨볼루션 모듈에 입력하여 컨볼루션 처리를 수행하고 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보를 획득할 수 있는 단계를 포함한다. 여기서, 상기 딥 시맨틱 특징은, 인식 분류를 위한 것일 수 있고, 예를 들어, 비 및 다른 카테고리(차량, 나무, 사람) 정보의 차이를 인식하고 분류할 수 있다. 얕은 공간 특징은, 상기 인식된 특정 카테고리에서 상기 카테고리 중 구체적인 부분을 획득하는데 사용될 수 있으며, 구체적인 텍스처 정보에 따라 상기 카테고리에서의 구체적인 부분을 획득할 수 있다. 예를 들어, 인체를 스캔하는 시나리오에서, 딥 시맨틱 특징을 통해 얼굴, 손, 몸통 등 카테고리를 인식할 수 있고, 여기서 손에 대해, 얕은 공간 특징을 통해 손의 손바닥의 위치를 포지셔닝할 수 있다. 본 발명에 대해, 딥 시맨틱 특징을 통해 비가 내리는 영역을 인식한 다음, 얕은 공간 특징을 통해 빗방울이 위치한 위치를 포지셔닝할 수 있다.

일 실시예에 있어서, 컨텍스트 시맨틱 정보의 분류에 따라, 상기 처리될 이미지에서의 비가 내리는 영역을 인식하고, 상기 비가 내리는 영역은 빗방울 및 빗방울이 아닌 다른 정보를 포함한다. 상기 비가 내리는 영역에는 빗방울이 있으므로, 빗방울을 추가로 제거하려면, 빗방울 영역 및 빗방울이 없는 영역을 구분해야 하므로, 상기 빗방울 특징 정보에 따라 상기 비가 내리는 영역에서 픽셀 포인트에 대해 빗방울 유사도 비교를 수행해야 하고, 비교 결과에 따라 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 포지셔닝한다. 상기 빗방울 영역의 빗방울을 제거하고, 상기 빗방울이 없는 영역의 정보를 보류한 후 상기 빗방울 제거 처리된 이미지를 획득한다.

가능한 구현 방식에 있어서, 상기 처리될 이미지를 컨볼루션 처리한 후 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함한 컨텍스트 시맨틱 정보를 획득하는 단계는, 상기 처리될 이미지를 컨볼루션 모듈의 컨볼루션 처리하여, 상기 딥 시맨틱 특징을 생성하기 위한 고차원 특징 벡터를 획득하는 단계를 포함한다. 고차원 특징 벡터는, 3000*너비*높이의 특징과 같이 채널 개수가 비교적 많은 특징을 의미한다. 고차원 특징 벡터는 공간 정보를 포함하지 않고, 예를 들어, 문장에 대해 시맨틱 분석을 수행하여, 고차원 특징 벡터를 획득할 수 있다. 예를 들어, 2차원 공간은 2차원 벡터이고, 3차원 공간은 3차원 벡터이며, 4차원, 5차원과 같이 3차원을 초과하는 것은 고차원 특징 벡터에 속한다. 상기 고차원 특징 벡터를 상기 컨텍스트 시맨틱 모듈에 입력하여 다중 계층의 고밀도 잔여 처리를 수행하여, 상기 딥 시맨틱 특징을 획득한다. 각 계층의 고밀도 잔여 처리를 거쳐 획득한 딥 시맨틱 특징 및 상기 얕은 공간 특징을 융합하여, 상기 컨텍스트 시맨틱 정보를 획득한다. 설명해야 할 것은, 컨텍스트 시맨틱 정보는 딥 시맨틱 특징 및 얕은 공간 특징이 융합된 정보를 의미한다.

설명해야 할 것은, 딥 시맨틱 특징은 주로 분류 인식을 위한 것이고, 얕은 공간 특징은 구체적인 포지셔닝을 위한 것이며, 딥 시맨틱 특징 및 얕은 공간 특징은 상대적이다. 도 3에 도시된 바와 같이 다중 계층 컨볼루션 모듈을 통해 처리를 수행하는 단계의 경우, 초기 컨볼루션 처리 시 얕은 공간 특징을 얻고, 뒤로 갈수록 여러 번 컨볼루션 처리를 수행하여, 딥 시맨틱 특징을 획득한다. 즉, 컨볼루션 처리 과정에서, 전반부에서 얕은 공간 특징을 획득하고, 후반부는 전반부에 비해, 딥 시맨틱 특징을 획득한다고 말할 수 있는데, 딥 시맨틱 특징은 얕은 공간 특징보다 시맨틱의 표현이 더욱 풍부하다고 말할 수도 있다. 이는 컨볼루션 커널의 컨볼루션 특성에 의해 결정되고, 하나의 이미지가 다중 계층 컨볼루션 처리를 거치면, 뒤로 갈수록 유효 공간 영역은 점점 작아지므로, 딥 시맨틱 특징은 일부 공간 정보를 잃게 되지만, 다중 계층의 컨볼루션 학습으로 인해, 얕은 공간 특징에 비해 더욱 풍부한 시맨틱 특징 표현을 획득할 수 있다.

상기 컨텍스트 시맨틱 모듈에는 고밀도 잔여 모듈 및 융합 모듈이 포함되고, 각각 고밀도 잔여 처리 및 융합 처리를 수행한다. 일 예에 있어서, 획득한 고차원 특징 벡터를 컨텍스트 시맨틱 모듈에 입력하여, 다중 계층의 고밀도 잔여 모듈을 통해 딥 시맨틱 특징을 먼저 획득하며, 그 후 다중 계층의 고밀도 잔여 모듈에 의해 출력된 딥 시맨틱 특징을 융합 모듈을 통해 직렬로 연결하고, 하나의 1Х1 컨볼루션 작업을 거쳐 융합 처리를 수행하여, 다중 계층 컨텍스트 시맨틱 모듈에 의해 출력된 컨텍스트 시맨틱 정보를 함께 융합함으로써, 딥 시맨틱 특징 및 얕은 공간 특징을 완전히 융합하고, 일부 잔여 미세 입도의 빗방울을 추가로 제거하도록 보조하는 동시에, 이미지의 세부 사항 정보를 강화할 수도 있다.

응용 예에 있어서,

도 3은 본 발명의 실시예에 따른 이미지 처리 방법의 또 다른 흐름도를 도시하고, 도 3에 도시된 바와 같이, 굵은 입도의 빗방울 제거 단계 및 미세한 입도의 빗방울 제거 단계의 점진적 처리 방식을 결합하여, 이미지에서의 빗방울을 제거하여, 점진적으로 비 제거 학습 과정을 수행할 수 있다. 여기서, 굵은 입도의 빗방울 제거 단계에 있어서, 영역 감지 모듈을 통해 국부-전역의 특징에 대해 융합을 수행함으로써, 굵은 입도의 빗방울의 특징 정보를 찾아낼 수 있고; 미세 입도의 빗방울 제거 단계에 있어서, 컨텍스트 시맨틱 모듈을 통해 미세 입도의 빗방울에 대해 제거를 수행할 수 있는 동시에, 이미지의 세부 사항 정보가 파괴되지 않도록 보호한다. 도 3에 도시된 바와 같이, 본 발명의 실시예의 이미지 처리 방법은 하기와 같은 두 개 단계를 포함한다.

굵은 입도의 빗방울 제거 단계 1에 있어서,

본 단계에서는, 빗방울이 있는 이미지를 입력한 다음, 굵은 입도의 빗방울 이미지를 생성하고, 빗방울이 있는 이미지 및 생성된 빗방울 이미지를 사용하여 잔여 감산을 수행하여, 굵은 입도의 빗방울 제거 목적을 달성할 수 있으며, 상기 단계는 주로 고밀도 잔여 모듈, 업 샘플링 작업, 다운 샘플링 작업 및 영역 감지 모듈을 포함하고, 도 3에 도시된 바와 같이, 상기 단계는 주로 하기 4 개의 단계로 나뉜다.

1) 먼저 입력된 빗방울이 있는 이미지에 대해 고밀도 잔여 모듈 및 다운 샘플링 작업을 수행하여, 딥 시맨틱 특징을 획득하고, 여기서, 다운 샘플링 작업은 상이한 공간 스케일의 특징 정보를 획득하여, 특징의 수용야를 풍부하게 할 수 있다. 상기 다운 샘플링 작업은 국부 컨볼루션 커널에 기반하여 컨볼루션 작업을 수행하고, 국부 특징 정보를 학습할 수 있다. 고밀도 잔여 모듈의 예시도는 도 4에 도시된 바와 같이, 복수 개의 3×3의 컨볼루션 모듈로 구성될 수 있다.

여기서 도 4를 결합하여 설명하면, 고밀도 잔여 모듈에 대한 처리의 경우, 세 계층의 고밀도 잔여는 세 개의 잔여 모듈로 구성되고, 동시에 각 잔여 모듈의 입력은 모두 다음 잔여 모듈의 출력과 함께 Concate된 후 입력으로 사용된다. 다운 샘플링 모듈의 처리의 경우, 다운 샘플링은 maxpool을 사용하여 다운 샘플링을 수행하고, maxpool은 풀링 작업의 한 가지 구현 방식이며, 컨볼루션 처리 후 상기 풀링 작업을 수행할 수 있다. maxpool은 복수 개의 채널(예를 들어 이미지에서의 R/G/B는 3 채널이다)에서 각 채널의 픽셀 포인트에 대한 처리이고, 각 픽셀 포인트의 특징값을 획득할 수 있으며, maxpool은 고정된 슬라이딩 창(예를 들어 슬라이드 창 2*2)에서 가장 큰 특징값을 선택하여 대표로 사용한다.

2) 아래와 같은 공식 (1)에 따라 영역 감지 모듈을 구축하고, 공식 (1)에 있어서,

및

는 각각 r 번째 블록 영역에서, 대응되는 출력 특징 맵의 i 번째 위치 정보 및 입력 특징 맵의 i 번째 위치 정보를 나타내며,

는 r 번째 블록 영역에서 입력 특징 맵의 j 번째 위치 정보를 대응적으로 나타낸다. C()은 정규화 작업을 나타내며, 예를 들어

이다. f( ) 및 g( )는 모두 컨볼루션 신경 네트워크를 의미하고, 상기 컨볼루션 신경 네트워크의 처리는 1*1에 대응되는 컨볼루션 작업일 수 있다.

상기 영역 감지 모듈의 구축 과정에 있어서, 이미지의 지정된 영역에서의 각 출력 픽셀의 값은, 각 입력 픽셀 값에 대해 가중치 합산 처리를 수행하는 것을 통해 획득되고, 대응되는 가중치는 입력 픽셀 간에 둘씩 내적 연산을 수행하는 것을 통해 획득된다. 상기 영역 감지 모듈을 통해, 이미지에서의 각 픽셀 및 다른 픽셀 사이의 관계 표현을 획득할 수 있음으로써, 하나의 전역 강화된 특징 정보를 획득할 수 있다. 빗방울 제거 작업의 경우, 상기 전역 강화된 특징 정보를 통해, 더욱 효과적으로 빗방울 및 빗방울이 아닌 특징을 인식하도록 보조할 수 있고, 동시에 상기 지정된 영역을 기반으로 구축되어, 계산량을 더욱 효과적으로 줄여, 효율을 향상시킬 수 있다.

3) 1)에서 획득한 상기 국부 특징 정보를 상기 영역 감지 모듈에 입력하고, 영역 감지 모듈을 통해, 전역 강화된 특징 정보를 획득할 수 있으며, 또한 업 샘플링을 거쳐 증폭하고, 증폭된 전역 특징 맵(상기 전역 강화된 특징 정보로 구성된 특징 맵) 및 얕은 국부 특징 맵(상기 국부 특징 정보로 구성된 특징 맵)을 계층별로 잔여 융합을 수행하여, 최종적으로 굵은 입도의 빗방울 결과를 출력한다. 본 발명의 상기 단계에서 획득한 빗방울 결과를 사용하여, 본 발명의 신경 네트워크 아키텍처가 엔드 투 엔드 네트워크에 비해 해석 가능성을 더 구비하도록 하는 동시에, 비가 없는 영역의 이미지 세부 사항을 효과적으로 보류할 수 있어 과도한 비 제거를 방지할 수 있다. 상기 빗방울 결과를 통해, 본 발명의 신경 네트워크 훈련의 참조 지시에 따라, 본 발명의 신경 네트워크의 학습 상황을 제때에 파악 및 조정하여, 더욱 좋은 훈련 효과를 달성할 수 있다.

여기서 도 4를 결합하여 설명하면, 도 4의 모듈은 도 3의 전체 신경 네트워크 아키텍처에 대응되고, 즉 고밀도 잔여 모듈이다. 먼저, 이미지는 고밀도 잔여 모듈을 통과할 수 있고, 다음 다운 샘플링을 통과하며, 이 작업을 세 번 반복하여, 세 가지 상이한 해상도 크기의 특징, 즉 최종적인 다운 샘플링 특징을 각각 획득한다. 다음, 상기 다운 샘플링 특징은 먼저 영역 감지 모듈을 통해 빗방울의 특성을 획득한 다음, 업 샘플링을 통해 세 번째 다운 샘플링 이전의 특징과 같은 스케일의 특징으로 복원한 후, 잔여 융합(잔여 융합은 임의의 두 개 특징을 직접 합산하는 것임)을 수행하며, 그 다음 한 계층의 영역 감지 모듈 및 업 샘플링을 통고한 다음, 두 번째 다운 샘플링 이전의 특징과 잔여 융합하며, 이러한 방식으로 유추하여, 세번 째 잔여 융합 특징을 획득 한 후 제1 입도 처리 단계를 통해 획득한 빗방울 결과이며, 즉 초기 빗방울 결과이고, 그 다음 잔여 감산을 수행하며, 잔여 감산은 입력된 빗방울이 있는 이미지에서 획득된 빗방울 결과를 감산하여, 처리될 이미지를 얻는 것이며, 즉 처리될 초기 비 제거 결과이다. 마지막으로, 처리될 이미지를 두 번째 단계에 입력하여 미세 비 제거를 수행한 후, 최종 빗방울 제거 타깃 이미지를 획득한다.

4) 3)으로부터 굵은 입도의 빗방울 결과를 획득한 다음, 입력된 빗방울이 있는 이미지를 사용하여 빗방울 결과를 결합하여 잔여 감산을 수행하여, 굵은 입도의 빗방울 제거 결과를 획득하며, 즉 상기 굵은 입도의 단계에서 비 제거를 수행한 초기 비 제거 결과이다.

미세 입도의 빗방울 제거 단계 2에 있어서,

본 단계에서는 남아 있는 미세한 입도의 빗방울을 제거하는 동시에, 이미지의 비가 내리지 않는 영역의 세부 특징을 보류하고, 상기 단계는 일반적인 컨볼루션 작업 및 컨텍스트 시맨틱 모듈을 포함한다. 상기 컨텍스트 시맨틱 모듈은 일련의 고밀도 잔여 모듈 및 하나의 융합 모듈을 포함하고, 도 3에 도시된 바와 같이, 상기 단계의 알고리즘은 주로 하기 3 개 단계로 나뉜다.

1) 굵은 입도의 빗방울 제거 단계의 초기 비 제거 결과를 본 단계의 입력으로 사용하여, 컨볼루션 모듈(예를 들어 두 계층 직렬 컨볼루션 계층)을 사용하여 고차원 특징을 획득한다.

2) 획득한 고차원 특징을 컨텍스트 시맨틱 모듈에 입력하여, 먼저 다중 계층의 고밀도 잔여 모듈을 통해 딥 시맨틱 특징을 획득하며, 고밀도 잔여 모듈의 예시도는 도 4에 도시된 바와 같이, 복수 개의 3×3의 컨볼루션 모듈로 구성될 수 있고, 그 다음 다중 계층의 고밀도 잔여 모듈의 출력을 융합 모듈을 통해 직렬로 연결하며, 하나의 1Х1 컨볼루션 작업을 거쳐 다중 계층의 고밀도 잔여 모듈의 컨텍스트 시맨틱 정보를 융합하여, 딥 시맨틱 특징 및 얕은 공간 특징을 완전히 융합하고, 일부 남아 있는 미세 입도의 빗방울을 추가로 제거하는 동시에, 이미지의 세부 사항 정보를 강화하여, 본 단계의 세부 사항의 강화 결과를 획득한다.

3) 마지막으로, 제1 단계의 초기 비 제거 결과 및 본 단계의 세부 사항 강화 결과를 사용하여 융합을 수행하여, 최종 비 제거 결과를 획득한다.

융합 처리의 경우, 간단히 말해서, 상기 두 단계의 처리 결과를 Concate한 후, 하나의 1*1의 컨볼루션 작업을 통과한 다음, 하나의 Sigmoid 함수의 비선형 처리를 거쳐 융합을 완성한다. 구체적으로, 제1 입도 처리 단계에서 획득한 처리될 이미지(예를 들어 초기 비 제거 이미지)를 한 번의 컨볼루션 작업(예를 들어 3*3 컨볼루션)을 통과한 다음, 제 2 입도 처리 단계에서 획득한 빗방울 제거 처리된 이미지(예를 들어 본 발명의 두 단계의 처리를 통해 획득한 갈수록 정밀한 비 제거 이미지)와 융합할 수 있다. 처리될 이미지를 컨볼루션 모듈에 입력하고, 3*3 컨볼루션 동작을 실행하여, 컨볼루션 모듈에 입력한 이미지 및 컨볼루션 모듈이 출력한 이미지 크기는 변하지 않고, 이미지 특징에 대해 처리를 수행한 것이며, 융합 과정에서, 이미지 특징과 제2 입도 처리 단계에서 획득한 이미지 특징을 Concate한 후, 1*1 컨볼루션 커널의 컨볼루션 처리 및 Sigmoid 함수의 비선형 처리를 수행하여, 빗방울이 제거된 타깃 이미지(예를 들어 최종 비 제거 이미지)를 획득한다. Concate는 복수 개의 이미지 특징을 연결하기 위한 하나의 연결 함수이고, Sigmoid 함수는 신경 네트워크에서의 활성화 함수이고, 비선형 함수이며, 비선형 도입을 위한 것이고, 구체적인 비선형 형태에 대해 한정하지 않는다.

본 발명을 사용하여, 국부 컨볼루션 커널에 의해 추출된 국부 특징을 사용하고, 영역 감지 모듈에 의해 추출된 전역 특징을 결합하여, “국부-전역”의 제1 단계의 제1 입도 처리를 수행한 다음, 컨텍스트 시맨틱 모듈을 사용하여 제2 단계의 제2 입도 처리를 수행하여, 미세 입도의 빗방울을 제거하는 동시에, 이미지의 세부 정보를 보류할 수도 있다. 빗방울 특징 정보를 학습할 수 있으므로, 관련 기술에서 엔드 투 엔드 “블랙박스”를 사용하는 과정을 해석 가능성을 구비한 2 단계 비 제거 과정으로 분할함으로써, 빗방울 제거 작업과 관련된 시나리오의 작업 성능이 향상되도록 하고, 예를 들어 자율 주행에서 본 발명을 사용하여 빗방울이 시선에 대한 영향을 제거하여, 주행 품질을 향상시킬 수 있으며; 스마트 인물 촬영에서 본 발명을 사용하여 빗방울의 간섭을 제거하여, 더욱 미화되고 뚜렷한 배경을 획득할 수 있으며; 모니터링 비디오에서의 화면에 대해 본 발명을 사용하여 빗방울 제거 작업을 수행함으로써, 폭우 시 여전히 비교적 뚜렷한 모니터링 화면을 획득할 수 있어, 모니터링의 품질을 향상시킬 수 있다.

본 분야의 기술자는 구체적인 실시 형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다는 것을 이해할 수 있다.

본 발명에서 언급한 상기 각 방법 실시예는, 원리와 논리를 위반하지 않는 한, 모두 서로 상호적으로 결합되어 결합된 실시예를 형성할 수 있고, 편폭의 제한으로, 본 발명에서 더 이상 반복하여 설명하지 않는다.

또한, 본 발명은 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하고, 상기 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램은 모두 본 발명에서 제공하는 어느 하나의 이미지 처리 방법을 구현하는데 사용될 수 있으며, 상응한 기술적 방안 및 설명 및 방법 부분을 참조한 상응한 설명은 더 이상 반복하여 설명하지 않는다.

도 5는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도를 도시하고, 도 5에 도시된 바와 같이, 상기 처리 장치는, 빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하기 위한 빗방울 처리 유닛(31) - 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리를 포함함 - ; 및 상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하기 위한 융합 유닛(32)을 포함한다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은, 상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하고 - 상기 처리될 이미지는 빗방울 특징 정보를 포함함 - ; 상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득 - 상기 빗방울 제거 처리된 이미지는 빗방울 제거 후 빗방울이 남지 않은 영역 정보를 포함함 - 하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은, 상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득하고; 상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득하며; 상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 획득한 빗방울 결과를, 상기 빗방울이 있는 이미지와 잔여 감산을 수행하여, 상기 처리될 이미지를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은,상기 빗방울이 있는 이미지를 i 번째 계층의 고밀도 잔여 모듈에 입력하여, 제1 중간 처리 결과를 획득하고; 상기 제1 중간 처리 결과를 i 번째 계층의 다운 샘플링 모듈에 입력하여, 국부 특징 맵을 획득하며; 상기 국부 특징 맵을 상기 i+1번째 계층의 고밀도 잔여 모듈을 통해 처리한 후 상기 i+1번째 계층의 다운 샘플링 모듈에 입력하여, 상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득 - 상기 i는 1보다 크거나 같고 기설정 값보다 작은 양의 정수임 - 하기 위한 것이다. 기설정 값은 2, 3, 4….m등이 될 수 있고, m은 기설정 값의 상한치이고, 경험값에 따라 구성될 수 있거나, 빗방울의 국부 특징 정보의 정확도에 따라 구성될 수 있다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은, 상기 빗방울의 국부 특징 정보를 j 번째 계층의 영역 감지 모듈에 입력하여, 제2 중간 처리 결과를 획득하고; 상기 제2 중간 처리 결과를 j 번째 계층의 업 샘플링 모듈에 입력하여, 전역 강화된 특징 맵을 획득하며; 상기 전역 강화된 특징 맵을 상기 j+1번째 계층의 영역 감지 모듈을 통해 처리한 후 상기 j+1번째 계층의 업 샘플링 모듈에 입력하여, 상기 j+1번째 계층의 업 샘플링 모듈의 업 샘플링 처리를 거쳐, 상기 빗방울의 전역 특징 정보를 획득 - 상기 j는 1보다 크거나 같고 기설정된 값보다 작은 양의 정수임 - 하기 위한 것이다. 기설정 값은 2, 3, 4….n 등이 될 수 있고, n은 기설정 값의 상한치이고, 경험값에 따라 구성될 수 있거나, 빗방울의 전역 특징 정보의 정확도에 따라 구성될 수 있다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은, 상기 i+1 번째 계층의 다운 샘플링 모듈에서, 국부 컨볼루션 커널을 사용하여 컨볼루션 작업을 수행함으로써, 상기 빗방울의 국부 특징 정보를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은, 상기 처리될 이미지를 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함한 컨텍스트 시맨틱 정보를 획득하고; 상기 컨텍스트 시맨틱 정보에 따라 분류하여, 상기 처리될 이미지에서의 비가 내리는 영역을 인식하며 - 상기 비가 내리는 영역은 빗방울 및 빗방울이 아닌 다른 정보를 포함함 - ; 상기 빗방울 특징 정보에 따라 상기 비가 내리는 영역에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 비교 결과에 따라 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 포지셔닝하며; 상기 빗방울 영역의 빗방울을 제거하고, 상기 빗방울이 없는 영역의 정보를 보류한 후 상기 빗방울 제거 처리된 이미지를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 빗방울 처리 유닛은, 상기 처리될 이미지를 컨볼루션 모듈에 입력하여 컨볼루션 처리를 수행하여, 상기 딥 시맨틱 특징을 생성하기 위한 고차원 특징 벡터를 획득하며; 상기 고차원 특징 벡터를 상기 컨텍스트 시맨틱 모듈에 입력하여 다중 계층의 고밀도 잔여 처리를 수행하여, 상기 딥 시맨틱 특징을 획득하며; 각 계층의 고밀도 잔여 처리를 거쳐 획득한 딥 시맨틱 특징 및 상기 얕은 공간 특징을 융합 처리하여, 상기 컨텍스트 시맨틱 정보를 획득하기 위한 것이다.

가능한 구현 방식에 있어서, 상기 융합 유닛은, 상기 처리될 이미지를 컨볼루션 모듈에 입력하여, 컨볼루션 처리를 수행하여 출력 결과를 획득하고; 상기 빗방울 제거 처리된 이미지를 상기 출력 결과와 융합 처리를 수행하여, 상기 빗방울이 제거된 타깃 이미지를 획득하기 위한 것이다.

일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 수행하는데 사용될 수 있고, 그 구체적인 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더 이상 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 상기 이미지 처리 방법을 구현한다. 컴퓨터 판독 가능 저장 매체는 휘발성 컴퓨터 판독 가능한 저장 매체일 수 있거나 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 발명의 실시예는 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 기기에서의 프로세서는 상기 어느 한 실시예에서 제공하는 이미지 처리 방법을 구현하기 위한 명령어를 실행한다.

본 발명의 실시예는 컴퓨터 판독 가능 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 더 제공하고, 명령어가 실행될 경우 컴퓨터로 하여금 상기 어느 한 실시예에서 제공하는 처리 방법의 동작을 실행하도록 한다.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 결합의 방식을 통해 구현될 수 있다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 체현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구체적으로 구현된다.

본 발명의 실시예는 전자 기기를 더 제공하고, 상기 전자 기기는, 프로세서; 및 프로세서에서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하고; 여기서, 상기 메모리는 상기 이미지 처리 방법을 실행하도록 구성된다.

전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 6은 일 예시적 실시예에 따라 도시된 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 휘트니스 기기, 개인용 휴대 단말기 등 단말일 수 있다.

도 6을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O)의 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 작업 및 기록 작업과 관련된 작업과 같은 전자 기기(800)의 전반적인 동작을 제어한다. 처리 컴포넌트(802)는, 상기 이미지 처리 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 실행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 용이한 인터랙션을 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 전자 기기(800)의 작업을 지원하기 위해, 다양한 유형의 데이터를 저장하도록 구성된다. 이 데이터의 예는 전자 기기(800)에서의 작업을 위한 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 이미지, 비디오 등을 포함한다. 메모리(804)는 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 및 프로그램 가능 읽기 전용 메모리(EEPROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM), 프로그램 가능 읽기 전용 메모리(PROM), 읽기 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스켓 또는 광디스크와 같은 임의의 유형의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하면, 스크린은 사용자에 의해 입력된 신호를 수신하도록 터치스크린으로 구현될 수 있다. 터치 패널은 터치, 스와이프 및 터치 패널에서의 제스처를 감지하도록 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 작업의 바운드를 감지할 수 있을 뿐만 아니라, 상기 터치 또는 스와이프 작업과 관련된 지속 시간 및 압력도 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 전방 카메라 및/또는 후방 카메라를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 작동 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(MIC)을 포함하고, 전자 기기(800)가 호출 모드, 기록 모드 및 음성 인식 모드와 같은 작동 모드일 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(812)는 처리 컴포넌트(802) 및 주변 인터페이스 모듈 사이에 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이 버튼은 홈버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)에 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 모니터와 키패드이며, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)에서 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 접촉의 존재 유무, 전자 기기(800) 방위 또는 가속/감속, 및 전자 기기(800)의 온도 변화도 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없을 경우 주변 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 상보성 금속 산화막 반도체 소자(CMOS) 또는 전하 결합 소자(CCD) 이미지 센서와 같은 이미징 애플리케이션에 사용하기 위한 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800) 및 다른 기기 사이의 유선 또는 무선 방식의 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 통신 표준에 기반하는 무선 네트워크, 예를 들어 WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송과 관련된 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하도록 근거리 자기장 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 전자 기기(800)는 상기 이미지 처리 방법을 수행하기 위해, 하나 또는 복수 개의 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현될 수 있다.

예시적 실시예에 있어서, 예를 들어 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 프로그램 명령어는 전자 기기(800)의 프로세서(820)에 의해 수행됨으로써 상기 이미지 처리 방법을 완료하도록 한다.

도 7은 일 예시적 실시예에 따라 도시된 전자 기기(900)의 블록도이다. 예를 들어, 전자 기기(900)는 서버로 제공될 수 있다. 도 7을 참조하면, 전자 기기(900)는 처리 컴포넌트(922)를 포함하고, 추가로 하나 또는 복수 개의 프로세서 및 메모리(932)를 대표로 하는 메모리 자원을 포함하고, 예를 들어 애플리케이션 프로그램과 같은 처리 컴포넌트(922)에 의해 수행될 수 있는 명령어를 저장하기 위한 것이다. 메모리(932)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(922)는 명령어를 수행하여, 상기 이미지 처리 방법을 수행하도록 구성된다.

전자 기기(900)는 전자 기기(900)의 전원 관리를 수행하도록 구성된 하나의 전원 컴포넌트(926), 전자 기기(900)를 네트워크에 연결하도록 구성된 유선 또는 무선 네트워크 인터페이스(950) 및 입력 출력(I/O) 인터페이스(958)를 더 포함할 수 있다. 전자 기기(900)는 메모리(932)에 저장된 운영체제, 예를 들어, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기반하여 작업될 수 있다.

예시적 실시예에 있어서, 예를 들어 컴퓨터 프로그램 명령어를 포함하는 메모리(932)와 같은 컴퓨터 판독 가능 저장 매체를 더 제공하고, 휘발성 저장 매체 또는 비휘발성 저장 매체일 수 있으며, 상기 컴퓨터 프로그램 명령어는 전자 기기(900)의 처리 컴포넌트(922)에 의해 수행됨으로써 상기 생체 검출 방법을 완료하도록 한다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능 저장 매체에는 프로세서로 하여금 본 발명의 각 측면을 구현하도록 하기 위한 컴퓨터 판독 가능 프로그램 명령어가 탑재되어 있다.

컴퓨터 판독 가능 저장 매체는 명령어 수행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 유형 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적합한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 더욱 구체적인 예(비전면한 리스트)는, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 비디오 디스크(DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 홈내에 철기된 구조와 같은 기계적으로 인코딩된 기기 및 이들의 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통과하는 펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간적인 신호 자체로 해석되지 않는다.

여기서 설명한 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각 컴퓨팅/처리 기기로 다운로드될 수 있거나, 또는 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능 저장 매체에 저장하기 위해, 컴퓨터 판독 가능 프로그램 명령어를 전달한다.

본 발명의 작업을 수행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목적 코드일 수 있고, 상기 프로그래밍 언어에는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 “C” 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능 프로그램 명령어는 사용자 컴퓨터에서 완전히 수행되거나, 사용자 컴퓨터에서 부분적으로 수행되거나, 독립적인 소프트웨어 패키지로서 수행되거나, 사용자 컴퓨터에서 일부가 수행되고 원격 컴퓨터에서 일부가 수행되거나, 원격 컴퓨터 또는 서버에서 완전히 수행될 수 있다. 원격 컴퓨터와 관련된 상황에서 원격 컴퓨터는 근거리 통신망(LAN) 또는 광대역 통신망(WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결)될 수 있다. 일부 실시예에 있어서, 프로그램 가능 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이 (PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 수행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.

여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 발명의 다양한 측면을 설명하였다. 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있음을 이해해야 한다.

이 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공될 수 있음으로써, 이 명령어가 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 의해 수행되도록 하는 기계가 생성되고, 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에 지정된 기능/작업을 구현하는 장치가 생성된다. 이 컴퓨터 판독 가능 프로그램 명령어를 컴퓨터 판독 가능 저장 매체에 저장할 수도 있으며, 이 명령어는 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에 지정된 기능/작업을 구현하는 명령어를 포함한다.

컴퓨터 판독 가능 프로그램 명령어는 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에 로딩될 수도 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 작업 단계가 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 수행되는 명령어는 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에 지정된 기능/작업을 구현한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 작업을 도시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 수행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 부동한 순서로 발생될 수도 있다. 예를 들어, 연속적으로 도시된 두 개의 블록은 실제로 동시에 수행될 수 있으며, 때로는 관련 기능에 따라 역순으로 수행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은, 지정된 기능 또는 작업의 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

논리를 위반하지 않는 경우, 본 발명의 상이한 실시예들은 상호 결합될 수 있고, 상이한 실시예의 설명은 강조되어 설명되며, 강조되어 설명된 부분은 다른 실시예의 설명을 참조할 수 있다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 철저하지 않으며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 경우, 많은 수정 및 변경은 본 기술분야의 통상적인 기술자에게는 자명한 것이다. 본문에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 또는 본 기술분야의 다른 통상적인 기술자가 본문에서 개시된 각 실시예를 이해할 수 있는것을 목적으로 한다.

Claims

이미지 처리 방법으로서,
빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하는 단계 - 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리를 포함함 - ; 및
상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하는 단계는,
상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하는 단계 - 상기 처리될 이미지는 빗방울 특징 정보를 포함함 - ; 및
상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득하는 단계 - 상기 빗방울 제거 처리된 이미지는 빗방울 제거 후 빗방울이 남지 않은 영역 정보를 포함함 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서,
상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하는 단계는,
상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득하는 단계;
상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득하는 단계; 및
상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 획득한 빗방울 결과를, 상기 빗방울이 있는 이미지와 잔여 감산을 수행하여, 상기 처리될 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제3항에 있어서,
상기 빗방울 결과는, 상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 잔여 융합을 수행하여, 획득한 처리 결과를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제3항 또는 제4항에 있어서,
상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득하는 단계는,
상기 빗방울이 있는 이미지를 i 번째 계층의 고밀도 잔여 모듈에 입력하여, 제1 중간 처리 결과를 획득하는 단계;
상기 제1 중간 처리 결과를 i 번째 계층의 다운 샘플링 모듈에 입력하여, 국부 특징 맵을 획득하는 단계; 및
상기 국부 특징 맵을 i+1번째 계층의 고밀도 잔여 모듈을 통해 처리한 후 i+1번째 계층의 다운 샘플링 모듈에 입력하여, 상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득하는 단계를 포함하고;
상기 i는 1보다 크거나 같고 기설정 값보다 작은 양의 정수인 것을 특징으로 하는 이미지 처리 방법.
제3항 내지 제5항 중 어느 한 항에 있어서,
상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득하는 단계는,
상기 빗방울의 국부 특징 정보를 j 번째 계층의 영역 감지 모듈에 입력하여, 제2 중간 처리 결과를 획득하는 단계;
상기 제2 중간 처리 결과를 j 번째 계층의 업 샘플링 모듈에 입력하여, 전역 강화된 특징 맵을 획득하는 단계; 및
상기 전역 강화된 특징 맵을 j+1번째 계층의 영역 감지 모듈을 통해 처리한 후 j+1번째 계층의 업 샘플링 모듈에 입력하여, 상기 j+1번째 계층의 업 샘플링 모듈의 업 샘플링 처리를 거쳐, 상기 빗방울의 전역 특징 정보를 획득하는 단계를 포함하고;
상기 j는 1보다 크거나 같고 기설정 값보다 작은 양의 정수인 것을 특징으로 하는 이미지 처리 방법.
제5항에 있어서,
상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득하는 단계는, 상기 i+1번째 계층의 다운 샘플링 모듈에서, 국부 컨볼루션 커널을 사용하여 컨볼루션 작업을 수행함으로써, 상기 빗방울의 국부 특징 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 내지 제7항 중 어느 한 항에 있어서,
상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득하는 단계는,
상기 처리될 이미지를 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보를 획득하는 단계;
상기 컨텍스트 시맨틱 정보에 따라 분류하여, 상기 처리될 이미지에서의 비가 내리는 영역을 인식하는 단계 - 상기 비가 내리는 영역은 빗방울 및 빗방울이 아닌 다른 정보를 포함함 - ;
상기 빗방울 특징 정보에 따라 상기 비가 내리는 영역에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 비교 결과에 따라 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 포지셔닝 하는 단계; 및
상기 빗방울 영역의 빗방울을 제거하고, 상기 빗방울이 없는 영역의 정보를 보류한 후 상기 빗방울 제거 처리된 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제8항에 있어서,
상기 처리될 이미지를 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보를 획득하는 단계는,
상기 처리될 이미지를 컨볼루션 모듈에 입력하여 컨볼루션 처리를 수행하여, 상기 딥 시맨틱 특징을 생성하기 위한 고차원 특징 벡터를 획득하는 단계;
상기 고차원 특징 벡터를 상기 컨텍스트 시맨틱 모듈에 입력하여 다중 계층의 고밀도 잔여 처리를 수행하여, 상기 딥 시맨틱 특징을 획득하는 단계; 및
각 계층의 고밀도 잔여 처리를 거쳐 획득한 딥 시맨틱 특징 및 상기 얕은 공간 특징을 융합 처리하여, 상기 컨텍스트 시맨틱 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하는 단계는,
상기 처리될 이미지를 컨볼루션 모듈에 입력하여, 컨볼루션 처리를 수행하여 출력 결과를 획득하는 단계; 및
상기 빗방울 제거 처리된 이미지를 상기 출력 결과와 융합 처리를 수행하여, 상기 빗방울이 제거된 타깃 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 장치로서,
빗방울이 있는 이미지에 대해, 상이한 입도의 빗방울의 점진적 제거 처리를 수행하여, 빗방울 제거 처리된 이미지를 획득하기 위한 빗방울 처리 유닛 - 상기 상이한 입도의 빗방울의 점진적 제거 처리는 적어도 제1 입도 처리 및 제2 입도 처리를 포함함 - ; 및
상기 빗방울 제거 처리된 이미지를 상기 제1 입도 처리에 따라 획득한 처리될 이미지와 융합 처리를 수행하여, 빗방울이 제거된 타깃 이미지를 획득하기 위한 융합 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제11항에 있어서,
상기 빗방울 처리 유닛은,
상기 빗방울이 있는 이미지에 대해 상기 제1 입도 처리를 수행하여, 상기 처리될 이미지를 획득하고 - 상기 처리될 이미지는 빗방울 특징 정보를 포함함 - ;
상기 처리될 이미지에 대해 상기 제2 입도 처리를 수행하고, 상기 빗방울 특징 정보에 따라 상기 처리될 이미지에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 상기 빗방울 제거 처리된 이미지를 획득하기 위한 - 상기 빗방울 제거 처리된 이미지는 빗방울 제거 후 빗방울이 남지 않은 영역 정보를 포함함 - 것임을 특징으로 하는 이미지 처리 장치.
제12항에 있어서,
상기 빗방울 처리 유닛은,
상기 빗방울이 있는 이미지를 고밀도 잔여 처리 및 다운 샘플링 처리하여, 빗방울의 국부 특징 정보를 획득하고;
상기 빗방울의 국부 특징 정보를 영역 소음 저감 처리 및 업 샘플링 처리하여, 빗방울의 전역 특징 정보를 획득하며;
상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 획득한 빗방울 결과를, 상기 빗방울이 있는 이미지와 잔여 감산을 수행하여, 상기 처리될 이미지를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제13항에 있어서,
상기 빗방울 결과는, 상기 빗방울의 국부 특징 정보 및 상기 빗방울의 전역 특징 정보에 따라 잔여 융합을 수행하여, 획득한 처리 결과를 포함하는 것을 특징으로 하는 이미지 처리 장치.
제13항 또는 제14항에 있어서,
상기 빗방울 처리 유닛은,
상기 빗방울이 있는 이미지를 i 번째 계층의 고밀도 잔여 모듈에 입력하여, 제1 중간 처리 결과를 획득하고;
상기 제1 중간 처리 결과를 i 번째 계층의 다운 샘플링 모듈에 입력하여, 국부 특징 맵을 획득하며;
상기 국부 특징 맵을 상기 i+1번째 계층의 고밀도 잔여 모듈을 통해 처리한 후 상기 i+1번째 계층의 다운 샘플링 모듈에 입력하여, 상기 i+1번째 계층의 다운 샘플링 모듈의 다운 샘플링 처리를 거쳐, 상기 빗방울의 국부 특징 정보를 획득하기 위한 것이며;
상기 i는 1보다 크거나 같고 기설정 값보다 작은 양의 정수인 것을 특징으로 하는 이미지 처리 장치.
제13항 내지 제15항 중 어느 한 항에 있어서,
상기 빗방울 처리 유닛은,
상기 빗방울의 국부 특징 정보를 j 번째 계층의 영역 감지 모듈에 입력하여, 제2 중간 처리 결과를 획득하고;
상기 제2 중간 처리 결과를 j 번째 계층의 업 샘플링 모듈에 입력하여, 전역 강화된 특징 맵을 획득하며;
상기 전역 강화된 특징 맵을 상기 j+1번째 계층의 영역 감지 모듈을 통해 처리한 후 상기 j+1번째 계층의 업 샘플링 모듈에 입력하여, 상기 j+1번째 계층의 업 샘플링 모듈의 업 샘플링 처리를 거쳐, 상기 빗방울의 전역 특징 정보를 획득하기 위한 것이며;
상기 j는 1보다 크거나 같고 기설정 값보다 작은 양의 정수인 것을 특징으로 하는 이미지 처리 장치.
제15항에 있어서,
상기 빗방울 처리 유닛은,
상기 i+1 번째 계층의 다운 샘플링 모듈에서, 국부 컨볼루션 커널을 사용하여 컨볼루션 작업을 수행함으로써, 상기 빗방울의 국부 특징 정보를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제12항 내지 제17항 중 어느 한 항에 있어서,
상기 빗방울 처리 유닛은,
상기 처리될 이미지를 컨텍스트 시맨틱 모듈에 입력하여, 딥 시맨틱 특징 및 얕은 공간 특징을 포함하는 컨텍스트 시맨틱 정보를 획득하고;
상기 컨텍스트 시맨틱 정보에 따라 분류하여, 상기 처리될 이미지에서의 비가 내리는 영역을 인식하며 - 상기 비가 내리는 영역은 빗방울 및 빗방울이 아닌 다른 정보를 포함함 - ;
상기 빗방울 특징 정보에 따라 상기 비가 내리는 영역에서의 픽셀 포인트에 대해 빗방울 유사도 비교를 수행하여, 비교 결과에 따라 빗방울이 있는 빗방울 영역 및 빗방울이 없는 영역을 포지셔닝하고;
상기 빗방울 영역의 빗방울을 제거하고, 상기 빗방울이 없는 영역의 정보를 보류한 후 상기 빗방울 제거 처리된 이미지를 획득하기 위한 것을 특징으로 하는 이미지 처리 장치.
제18항에 있어서,
상기 빗방울 처리 유닛은,
상기 처리될 이미지를 컨볼루션 모듈에 입력하여 컨볼루션 처리를 수행하여, 상기 딥 시맨틱 특징을 생성하기 위한 고차원 특징 벡터를 획득하고;
상기 고차원 특징 벡터를 상기 컨텍스트 시맨틱 모듈에 입력하여 다중 계층의 고밀도 잔여 처리를 수행하여, 상기 딥 시맨틱 특징을 획득하며;
각 계층의 고밀도 잔여 처리를 거쳐 획득한 딥 시맨틱 특징 및 상기 얕은 공간 특징을 융합 처리하여, 상기 컨텍스트 시맨틱 정보를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
제11항 내지 제19항 중 어느 한 항에 있어서,
상기 융합 유닛은,
상기 처리될 이미지를 컨볼루션 모듈에 입력하여, 컨볼루션 처리를 수행하고 출력 결과를 획득하고;
상기 빗방울 제거 처리된 이미지를 상기 출력 결과와 융합 처리를 수행하여, 상기 빗방울이 제거된 타깃 이미지를 획득하기 위한 것임을 특징으로 하는 이미지 처리 장치.
전자 기기로서,
프로세서; 및
프로세서에서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며;
상기 프로세서는, 제1항 내지 제10항 중 어느 한 항에 따른 이미지 처리 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때, 제1항 내지 제10항 중 어느 한 항에 따른 이미지 처리 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제10항 중 어느 한 항에 따른 이미지 처리 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램.