KR20220043004A

KR20220043004A - 차폐된 이미지 검출 방법, 장치 및 매체

Info

Publication number: KR20220043004A
Application number: KR1020210062695A
Authority: KR
Inventors: 루오유 리우; 지 쿠; 이아슨 장; 이앤 송; 지펑 즈어
Original assignee: 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드
Priority date: 2020-09-28
Filing date: 2021-05-14
Publication date: 2022-04-05
Also published as: US20220101028A1; KR102545408B1; JP7167244B2; EP3975046B1; JP2022055302A; US11961278B2; CN112200040A; EP3975046A1

Abstract

본 발명은 차폐된 이미지 검출 방법, 장치 및 매체에 관한 것이다. 상기 방법은, 카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하는 단계; 검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하는 단계 - 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ; 상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하는 단계; 및, 상기 이미지 검출 결과를 출력하는 단계;를 포함한다. 상기 방법을 사용하고, 마스크로 라벨링된 적은 양의 손가락 차폐된 이미지를 이용하여, 생성 모델을 안정적으로 트레이닝함으로써 차폐된 이미지 특징을 생성할 수 있으며, 이로써 손가락 차폐 검출 모델 트레이닝에서 양의 샘플의 부족한 문제를 효과적으로 해결하여, 대량의 양의 샘플 수집 비용을 절약할 수 있다.

Description

차폐된 이미지 검출 방법, 장치 및 매체{METHOD AND APPARATUS FOR DETECTING OCCLUDED IMAGE AND MEDIUM}

본 발명은 카메라 제어 분야에 관한 것으로, 특히 차폐된 이미지 검출 방법, 장치 및 매체에 관한 것이다.

데이터 향상은 유한 데이터를 이용하여 보다 많은 등가 데이터를 생성하는 기술로, 심층 네트워크 모델의 정확도와 일반화 기능을 향상시키는 중요한 기술이며, 이미지 분류, 타깃 인식 및 의미 분할 등 컴퓨터 비전 태스크에서 큰 역할을 한다. 기존의 데이터 향상 기술은 대부분 회전, 자르기, 아핀 변환 및 색상 디더링과 같은 이미지 변환 방법을 사용한다.

사용자가 휴대폰을 들고 가로 사진을 찍을 때, 촬영 습관 등의 이유로 렌즈의 가장자리가 손가락으로 쉽게 가려져 사진 가장자리에 비교적 작은 차폐 영역이 존재하게 된다. 이런 종류의 차폐는 실시간으로 눈에 띄기 쉽지 않기 때문에 사용자는 일반적으로 다시 촬영하지 않아 완벽한 사진을 얻을 수 없게 되어 유감으로 남게 된다. 차폐 검출 태스크는 촬영 직후 상기 이미지가 가려졌는지 여부를 판단하고, 가려진 이미지를 검출한 후 다시 촬영하도록 사용자에게 실시간으로 프롬프트하는 것이다.

차폐 검출에서, 가려진 이미지는 인위적으로 실제 장면을 시뮬레이션하여 수집해야 한다. 실제 장면에서 가려진 영역이 사진에서 차지하는 면적이 비교적 작고 위치가 구석지므로, 수집에 많은 인력이 필요하게 된다. 동시에, 기존의 데이터 향상 방법은 가려진 영역이 왜곡되어 효과적인 트레이닝 데이터를 생성할 수 없기 때문에, 이러한 방법은 차폐 검출 태스크에 적합하지 않다.

관련 기술에 존재하는 문제를 극복하고자, 본 발명은 차폐된 이미지 검출 방법, 장치 및 매체를 제공한다.

본 발명의 실시예의 제1 양태에 따르면, 차폐된 이미지 검출 방법이 제공되는 바, 상기 방법은,

카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하는 단계;

검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하는 단계 - 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ;

상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하는 단계; 및,

상기 이미지 검출 결과를 출력하는 단계;를 포함한다.

여기서, 상기 방법은,

상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 획득하는 단계;

상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하는 단계; 및,

상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하는 단계;를 더 포함한다.

여기서, 상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하는 단계는,

상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 단계 - 상기 손가락 템플릿 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려지지 않은 영역을 제거한 후의 이미지이고, 상기 비 손가락 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려진 영역을 제거한 후의 이미지임 - ; 및,

트레이닝 데이터 세트를 생성하는 단계;를 포함하되, 각 트레이닝 데이터는 하나의 손가락 템플릿 이미지, 하나의 비 손가락 이미지 및 하나의 원본 차폐된 이미지를 포함하고, 각 트레이닝 라운드에서 복수의 트레이닝 데이터를 사용하여 상기 데이터 특징 향상 네트워크에 대해 트레이닝한다.

여기서, 상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 단계는,

상기 원본 차폐된 이미지에 기반하여, 마스크 데이터를 획득하는 단계 - 상기 마스크 데이터는 상기 원본 차폐된 이미지 중 가려진 위치를 지시함 - ; 및,

상기 원본 차폐된 이미지 및 상기 마스크 데이터에 기반하여, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 단계;를 포함한다.

상기 손가락 템플릿 이미지 및 상기 비 손가락 이미지를 상기 데이터 특징 향상 네트워크에 입력하여, 상기 원본 차폐된 이미지의 생성 특징을 합성하는 단계;

상기 원본 차폐된 이미지를 특징 네트워크에 입력하여, 상기 원본 차폐된 이미지의 초기 특징을 추출하는 단계 - 상기 차폐된 이미지 검출 모델은 상기 특징 네트워크를 포함함 - ;

상기 원본 차폐된 이미지의 생성 특징 및 상기 초기 특징 입력 판별 네트워크를 트레이닝하는 단계;

각 트레이닝 라운드 중 상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수를 획득하는 단계; 및,

상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수가 모두 수렴될 경우, 상기 데이터 특징 향상 네트워크의 트레이닝이 완료된 것으로 결정하는 단계;를 더 포함한다.

여기서, 상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하는 단계는,

상기 마스크 데이터 및 상기 차폐되지 않은 이미지에 기반하여, 처리된 차폐되지 않은 이미지를 획득하는 단계 - 상기 처리된 차폐되지 않은 이미지는 상기 차폐되지 않은 이미지 중 상기 마스크 데이터 대응 영역을 제거한 후의 이미지임 - ;

상기 손가락 템플릿 이미지 및 상기 처리된 차폐되지 않은 이미지를 상기 트레이닝된 데이터 특징 향상 네트워크에 입력하여, 상기 차폐되지 않은 이미지의 생성 특징을 합성하는 단계;

상기 차폐되지 않은 이미지의 생성 특징 및 상기 초기 특징을 분류 네트워크에 입력하여 트레이닝하는 단계 - 상기 차폐된 이미지 검출 모델은 상기 분류 네트워크를 포함함 - ; 및,

상기 차폐된 이미지 검출 모델의 손실 함수가 수렴될 경우, 상기 차폐된 이미지 검출 모델의 트레이닝이 완료된 것으로 결정하는 단계;를 포함한다.

여기서, 상기 차폐된 이미지 검출 모델은 콘볼루션 신경망 모델이다.

여기서, 상기 데이터 특징 향상 네트워크는 생성적 적대 네트워크이다.

본 발명의 실시예의 제2 양태에 따르면, 차폐된 이미지 검출 장치가 제공되는 바, 상기 장치는,

카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하도록 설치되는 획득 모듈;

검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하도록 설치되는 입력 모듈;

이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하도록 설치되는 상기 차폐된 이미지 검출 모델; 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ; 및,

상기 이미지 검출 결과를 출력하도록 설치되는 출력 모듈;을 포함한다.

여기서, 상기 차폐된 이미지 검출 모델은 트레이닝 모듈에 의해 트레이닝되고, 상기 트레이닝 모듈은,

상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 획득하며;

상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하고;

상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하도록 설치된다.

여기서, 상기 트레이닝 모듈은 또한,

상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 방식 - 상기 손가락 템플릿 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려지지 않은 영역을 제거한 후의 이미지이고, 상기 비 손가락 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려진 영역을 제거한 후의 이미지임 - ; 및,

트레이닝 데이터 세트를 생성하는 방식 - 각 트레이닝 데이터는 하나의 손가락 템플릿 이미지, 하나의 비 손가락 이미지 및 하나의 원본 차폐된 이미지를 포함하고, 각 트레이닝 라운드에서 복수의 트레이닝 데이터를 사용하여 상기 데이터 특징 향상 네트워크에 대해 트레이닝함 - ;을 통해 상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하도록 설치된다.

여기서, 상기 트레이닝 모듈은 또한,

상기 원본 차폐된 이미지에 기반하여, 마스크 데이터를 획득하는 방식 - 상기 마스크 데이터는 상기 원본 차폐된 이미지 중 가려진 위치를 지시함 - ; 및,

상기 원본 차폐된 이미지 및 상기 마스크 데이터에 기반하여, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 방식;을 통해 상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하도록 설치된다.

여기서, 상기 트레이닝 모듈은 또한,

상기 손가락 템플릿 이미지 및 상기 비 손가락 이미지를 상기 데이터 특징 향상 네트워크에 입력하여, 상기 원본 차폐된 이미지의 생성 특징을 합성하는 방식;

상기 원본 차폐된 이미지를 특징 네트워크에 입력하여, 상기 원본 차폐된 이미지의 초기 특징을 추출하는 방식 - 상기 차폐된 이미지 검출 모델은 상기 특징 네트워크를 포함함 - ;

상기 원본 차폐된 이미지의 생성 특징 및 상기 초기 특징 입력 판별 네트워크를 트레이닝하는 방식;

각 트레이닝 라운드 중 상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수를 획득하는 방식; 및,

상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수가 모두 수렴될 경우, 상기 데이터 특징 향상 네트워크의 트레이닝이 완료된 것으로 결정하는 방식;을 통해 상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하도록 설치된다.

여기서, 상기 트레이닝 모듈은 또한,

상기 마스크 데이터 및 상기 차폐되지 않은 이미지에 기반하여, 처리된 차폐되지 않은 이미지를 획득하는 방식 - 상기 처리된 차폐되지 않은 이미지는 상기 차폐되지 않은 이미지 중 상기 마스크 데이터 대응 영역을 제거한 후의 이미지임 - ;

상기 손가락 템플릿 이미지 및 상기 처리된 차폐되지 않은 이미지를 상기 트레이닝된 데이터 특징 향상 네트워크에 입력하여, 상기 차폐되지 않은 이미지의 생성 특징을 합성하는 방식;

상기 차폐되지 않은 이미지의 생성 특징 및 상기 초기 특징을 분류 네트워크에 입력하여 트레이닝하는 방식 - 상기 차폐된 이미지 검출 모델은 상기 분류 네트워크를 포함함 - ; 및,

상기 차폐된 이미지 검출 모델의 손실 함수가 수렴될 경우, 상기 차폐된 이미지 검출 모델의 트레이닝이 완료된 것으로 결정하는 방식;을 통해 상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하도록 설치된다.

본 발명의 실시예의 제3 양태에 따르면, 차폐된 이미지 검출 장치가 제공되는 바,

프로세서; 및,

프로세서에 의해 실행 가능한 명령을 저장하기 위한 메모리;를 포함하되,

여기서, 상기 프로세서는,

카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하고;

검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하되, 여기서 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것이며;

상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하고;

상기 이미지 검출 결과를 출력하도록 구성된다.

본 발명의 실시예의 제4 양태에 따르면, 비 일시적 컴퓨터 판독 가능 저장 매체가 제공되는 바, 상기 저장 매체 중 명령이 라우터의 프로세서에 의해 실행될 경우,

상기 이미지 검출 결과를 출력하는 단계;를 포함하는 차폐된 이미지 검출 방법을 수행할 수 있다.

본 발명은 차폐된 이미지 검출 방법을 제공한다. 여기서, 카메라로 이미지를 캡처한 후, 상기 이미지를 검출될 이미지로 하고, 트레이닝된 차폐된 이미지 검출 모델을 입력한다. 다음, 차폐된 이미지 검출 모델을 통해 검출될 이미지가 차폐된 이미지인지 여부를 판단하여 이미지 검출 결과를 출력한다. 여기서, 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고, 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것이다.

따라서, 본 발명의 방법은 하기와 같은 유익한 효과를 갖는다.

(1) 마스크로 라벨링된 적은 양의 손가락 차폐된 이미지를 이용하여, 생성 모델을 안정적으로 트레이닝함으로써 차폐된 이미지 특징을 생성할 수 있으며, 이로써 손가락 차폐 검출 모델 트레이닝에서 양의 샘플의 부족한 문제를 효과적으로 해결하여, 대량의 양의 샘플 수집 비용을 절약할 수 있다.

(2) 가려진 이미지의 고수준의 특징을 생성하여 이미지 생성의 불충분한 세부 사항이 초래한 노이즈가 모델 정밀도에 미치는 영향을 효과적으로 방지할 수 있다. 따라서 트레이닝 과정에 생성된 특징을 추가한 후, 검출 정확도는 현저하게 향상된다.

(3) 생성된 특징은 단지 손가락 차폐 검출 모델의 분류 네트워크에 대해서만 다시 최적화하고, 도입된 별도의 트레이닝 비용은 적다. 또한, 기존의 손가락 차폐 검출 모델을 충분히 이용하고, 적은 양의 파라미터를 미세 조정할 수 있으며, 추가 비용이 적다.

(4) 네트워크 모델 파라미터가 적으므로, 대량의 저장과 컴퓨팅 리소스를 절약할 수 있다.

(5) 상기 방법의 확장성 및 일반성은 비교적 높으며, 다른 분류 태스크로 쉽게 확장될 수 있다.

이해해야 할 것은, 이상 일반 서술과 후속의 세부 설명은 단지 예시적이고 해석적인 것일 뿐, 본 발명을 한정할 수 없다.

여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 본 발명에 부합되는 실시예를 나타내며, 명세서와 함께 본 발명의 원리를 해석하기 위한 것이다.
도 1은 예시적 일 실시예에 따라 도시된 차폐된 이미지 검출 방법의 흐름도이다.
도 2는 예시적 일 실시예에 따라 도시된 데이터 특징 향상 네트워크에 대해 트레이닝하는 모식도이다.
도 3은 예시적 일 실시예에 따라 도시된 차폐된 이미지 검출 모델에 대해 트레이닝하는 모식도이다.
도 4는 예시적 일 실시예에 따라 도시된 트레이닝된 차폐된 이미지 검출 모델의 모식도이다.
도 5는 예시적 일 실시예에 따라 도시된 차폐된 이미지 검출 방법의 흐름도이다.
도 6은 예시적 일 실시예에 따라 도시된 차폐된 이미지 검출 장치의 블록도이다.
도 7은 예시적 일 실시예에 따라 도시된 장치의 블록도이다.
도 8은 예시적 일 실시예에 따라 도시된 장치의 블록도이다.

여기서 예시적 실시예를 상세하게 설명하고, 그 예시는 도면에 도시된다. 아래 도면에 관한 설명에서, 다르게 설명하지 않는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 표시한다. 아래 예시적 실시예에서 설명되는 실시형태는 본 발명과 일치한 모든 실시형태를 대표하지 않는다. 반대로, 이들은 단지 첨부된 특허청구범위에 상세하게 설명된 본 발명의 일부 양태와 일치한 장치와 방법의 예이다.

사용자가 휴대폰을 들고 가로 사진을 찍을 때, 렌즈의 가장자리가 손가락으로 쉽게 가려져 사진 가장자리에 비교적 작은 차폐 영역이 존재하도록 한다. 이런 종류의 차폐는 실시간으로 눈에 띄기 쉽지 않기 때문에 사용자는 일반적으로 다시 촬영하지 않아 완벽한 사진을 얻을 수 없게 되어 유감으로 남게 된다. 차폐 검출 태스크는 촬영 직후 상기 이미지가 가려졌는지 여부를 판단하고, 가려진 이미지를 검출한 후 다시 촬영하도록 사용자에게 실시간으로 프롬프트하는 것이다.

현재 상기 문제를 해결하기 위해, 새로운 이미지가 특정 카테고리의 샘플로 직접 생성되어 모델의 트레이닝에 참여하도록 제안되었으나, 이러한 방법은 하기와 같은 문제가 존재한다. (1) 상기 유형의 알고리즘은 손가락 차폐 영역과 같은 엄격한 의미 콘텐츠의 이미지를 효과적으로 생성할 수 없으므로, 손가락 차폐 검출 태스크에 적용되지 않고; (2) 이미지를 직접 생성하는데 네트워크를 생성해야 하고 판별 네트워크에 대량의 파라미터가 필요하므로 네트워크 트레이닝의 컴퓨팅 비용과 시간 비용을 증가시킨다.

본 발명은 차폐된 이미지 검출 방법을 제공한다. 상기 방법에서, 카메라로 이미지를 캡처한 후, 상기 이미지를 검출될 이미지로 하고, 트레이닝된 차폐된 이미지 검출 모델을 입력한다. 다음, 차폐된 이미지 검출 모델을 통해 검출될 이미지가 차폐된 이미지인지 여부를 판단하여 이미지 검출 결과를 출력한다. 여기서, 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고, 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것이다.

본 발명의 방법은 특히 하기와 같은 응용 상황에 적용된다.

(1)양의 샘플(손가락에 의해 가려짐) 이미지가 획득하기 어려워, 대량의 시간과 인건비가 필요하다.

(2)양의 샘플은 간단한 데이터 증폭 기술을 이용하여 데이터 확장을 수행하는 것이 쉽지 않으며, 즉 자르기, 변형, 노이즈 추가 등 수단을 이용하여 원본 이미지를 통해 새로운 이미지를 생성할 경우, 차폐된 이미지의 손가락 부분을 파괴하여 왜곡을 초래함으로써 손가락 차폐 부분이 실제 경우와 일치하지 않도록 한다.

(3)양의 샘플 이미지는 생성적 적대 네트워크를 이용하여 생성되기가 어렵고, 대량의 세부 정보가 손실되며, 대량의 노이즈가 도입되어 모델의 정밀도가 감소된다. 이는 특정 응용 상황에서, 손가락 차폐 검출이 데이터에 대한 요구가 매우 높아, 가려진 이미지의 데이터 분포에 대해 매우 민감하기 때문에, 생성적 적대 네트워크 기술로 손가락 차폐된 이미지 생성을 실제로 시뮬레이션할 수 없다.

(4)기존의 생성적 이미지 증폭 알고리즘 네트워크는 규모가 비교적 크고, 또한 대량의 트레인이 데이터가 필요하므로, 대규모 트레이닝에 불리한 대량의 저장 및 컴퓨팅 리소스가 필요하다. 특히 양의 샘플 이미지를 획득하기 어려운 경우, 이러한 생성적 이미지 증폭 알고리즘에 적합하지 않다.

본 발명의 방법은 휴대폰, PAD, 웨어러블 기기 등과 같은 카메라가 구성된 전자 제품에 적용된다.

본 발명은 차폐된 이미지 검출 방법을 제공한다. 도 1은 예시적 일 실시예에 따라 도시된 차폐된 이미지 검출 방법의 흐름도이며, 하기와 같은 단계를 포함한다.

단계 101에서, 카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하고;

단계 102에서, 검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하되, 여기서 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것이며;

단계 103에서, 상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하고;

단계 104에서, 상기 이미지 검출 결과를 출력한다.

상기 방법에서, 카메라로 캡처된 이미지를 획득하고 이를 검출될 이미지로 한 다음, 상기 검출될 이미지를 트레이닝된 이미지 검출 모델에 입력한다. 상기 트레이닝된 차폐된 이미지 검출 모델을 통해 검출될 이미지가 차폐된 이미지인지 여부를 판단한다. 본 기술분야의 기술자는, 차폐된 이미지 검출 모델이 트레이닝 후, 이미지에 관한 차폐 특성을 학습할 수 있음을 알 수 있을 것이다.

차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것이다. 차폐된 이미지 검출 모델에 대해 트레이닝할 경우, 원본 차폐된 이미지를 통해 데이터 특징 향상 네트워크를 트레이닝하여, 데이터 특징 향상 네트워크가 이미지 초기 특징에 가까운 차폐된 이미지 특징을 합성할 수 있도록 하며, 즉 원본의 차폐되지 않은 이미지 및 마스크 이미지로 차폐된 이미지 특징을 합성한다. 다음, 원본 차폐된 이미지를 통해 원본 차폐된 이미지 특징을 획득하고, 합성된 차폐된 이미지 특징 및 원본 차폐된 이미지 특징을 통해 차폐된 이미지 검출 모델을 트레이닝한다.

여기서 이미지 특징은 일반적으로 이미지를 입력으로 하고, 특징 네트워크에 의해 처리된 후 얻은 출력을 의미하며, 이는 이미지가 압축된 후 얻은 고수준의 의미 정보를 가진 특성화 형태에 상당하다.

상기 방법을 사용하여, 차폐된 이미지 특징을 합성할 경우, 마스크가 라벨링된 적은 양의 차폐된 이미지를 이용하여, 생성 모델을 안정적으로 트레이닝함으로써 차폐된 이미지 특징을 생성하는데, 이로써 손가락 차폐 검출 모델 트레이닝에서 양의 샘플의 부족한 문제를 효과적으로 해결하여, 대량의 양의 샘플 수집 비용을 절약할 수 있다. 또한, 여기서는 차폐된 이미지 특징의 합성, 즉 가려진 이미지의 고수준의 특징을 합성하며, 이로써 이미지 생성의 불충분한 세부 사항이 초래한 노이즈가 모델 정밀도에 미치는 영향을 효과적으로 방지할 수 있다. 따라서 트레이닝에 합성된 특징을 추가한 후, 검출 정확도는 현저하게 향상된다.

또한, 상기 방법에서 데이터 특징 향상 네트워크를 통해 차폐된 이미지를 합성하는 것이 아니라 차폐된 이미지 특징을 합성하는데, 이는 이미지에서 특징으로의 모델 일부를 감소하는 것과 상당하므로, 본 방법에서의 네트워크 모델은 이미지를 생성하는 네트워크 모델에 비해 훨씬 작다.

여기서 차폐된 이미지 검출 모델의 트레이닝에서, 트레이닝 데이터 세트를 여러 회로 나누고, 경사 하강법을 사용하여 손실 함수가 수렴될 때까지 모델을 트레이닝한다. 이 트레이닝 과정은 본 기술분야의 기술자에 의해 기존의 트레이닝 방법을 이용하여 구현될 수 있으며, 여기서 더이상 서술하지 않는다.

마스크로 라벨링된 차폐된 이미지를 통해 차폐된 이미지 특징을 합성하는 방법은 아래 실시형태를 결합하여 설명한다.

선택 가능한 실시형태에서, 상기 방법은,

상술한 바와 같이, 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것이다. 따라서 차폐된 이미지 검출 모델을 트레이닝하기 전에, 먼저 데이터 특징 향상 네트워크를 트레이닝해야 한다. 상기 실시형태에서, 획득된 데이터 특징 향상 네트워크에 기반하여 데이터 특징 향상 네트워크를 트레이닝한다. 트레이닝된 데이터 특징 향상 네트워크는 이미지 초기 특징에 가까운 차폐된 이미지 특징을 합성할 수 있다.

이로써 차폐 검출 모델 트레이닝에서 양의 샘플의 부족한 문제를 해결하여, 대량의 양의 샘플 수집 비용을 절약할 수 있고; 또한, 가려진 이미지의 고수준의 특징을 합성하여, 이미지 생성의 불충분한 세부 사항이 초래한 노이즈가 모델 정밀도에 미치는 영향을 효과적으로 방지할 수 있다.

선택 가능한 실시형태에서, 상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하는 단계는,

도 2는 데이터 특징 향상 네트워크에 대해 트레이닝하는 과정을 도시한다. 여기서, A는 손가락 템플릿 이미지를 나타내고, B는 비 손가락 이미지를 나타내며, C는 원본 손가락 차폐된 이미지를 나타낸다. 상술한 바와 같이, 그중의 특징 네트워크는 차폐된 이미지 검출 모델에 포함되어 있다. 데이터 특징 향상 네트워크에 의해 합성된 차폐된 이미지 특징 및 특징 네트워크에 의해 추출된 원본 차폐된 이미지 특징은 판별 네트워크에 입력된다. 판별 네트워크는 데이터 특징 향상 네트워크를 트레이닝하는데 보조하고, 즉 트레이닝 과정에서 합성된 차폐된 이미지 특징과 원본 차폐된 이미지 특징 사이의 구별점을 감소시킴으로써, 데이터 특징 향상 네트워크를 통해 확장된 차폐된 이미지 특징을 획득한다. 판별 네트워크는 단지 데이터 특징 향상 네트워크를 트레이닝하는데만 사용되고, 차폐된 이미지 검출 모델의 트레이닝에는 사용되지 않는다.

선택 가능한 실시형태에서, 상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 단계는,

예를 들어, 상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 과정은, 원본 차폐된 이미지의 마스크 데이터를 통해 구현될 수 있다. 원본 차폐된 이미지를 획득한 후, 각 이미지에서 손가락 부분의 마스크를 인위적으로 라벨링함으로써 차폐된 이미지 데이터와 마스크 데이터를 획득한다. 여기서 마스크 데이터는 원본 차폐된 이미지와 동일한 크기로, 가려진 영역을 1로 표기하고, 손가락으로 가려지지 않은 영역을 0으로 표기한 이미지를 나타낸다. 각 원본 차폐된 이미지와 대응되는 마스크 데이터로 구성된 이미지에 대해, 자르기와 정렬 동작을 수행하여 양자의 크기와 대응 픽셀 위치가 일치하도록 한다. 마스크 데이터의 가려지지 않은 영역의 픽셀에 따라 원본 차폐된 이미지를 0으로 설정하여 손가락 템플릿 이미지를 얻고, 마스크 데이터의 손가락 차폐 영역의 픽셀에 따라 원본 차폐된 이미지를 0으로 설정하여 비 손가락 이미지를 얻는다.

원본 차폐된 이미지의 개수가 차폐되지 않은 이미지의 개수보다 훨씬 적으므로, 인위적 라벨링에 너무 많은 인력을 소비할 필요가 없다. 본 방법을 통해, 대량의 차폐된 이미지 특징을 합성하여, 원본 차폐된 이미지 특징의 부족함을 보충할 수 있다.

상술한 바와 같이, 손가락 템플릿 이미지, 비 손가락 이미지 및 원본 차폐된 이미지를 한 세트의 트레이닝 데이터로 조성한다. 손가락 템플릿 이미지 및 비 손가락 이미지가 원본 차폐된 이미지와 마스크 데이터에 의해 생성된 것이므로, 손가락 템플릿 이미지, 비 손가락 이미지, 마스크 데이터 및 원본 차폐된 이미지를 한 세트의 트레이닝 데이터로 조성할 수도 있다. 다시 말해서, 복수의 트레이닝 데이터를 통해 데이터 특징 향상 네트워크에 대해 트레이닝한다. 데이터 특징 향상 네트워크의 각 트레이닝 라운드에서 여러 세트의 트레이닝 데이터를 랜덤으로 추출하여, 데이터 특징 향상 네트워크에 대해 라운드 별로 트레이닝한다. 트레이닝 과정에서 데이터 특징 향상 네트워크 및 판별 네트워크의 손실 함수를 획득하며, 그 손실 함수가 수렴될 경우, 데이터 특징 향상 네트워크의 트레이닝이 완료된 것으로 결정한다. 여기서 손실 함수는 예를 들어 Hinge 버전의 적대 손실 함수이며, 여기서 더이상 서술하지 않는다.

선택 가능한 실시형태에서, 상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하는 단계는,

상기 실시형태에서 차폐된 이미지 검출 모델의 트레이닝 과정은 도 3을 참조할 수 있다. 도 3은 차폐된 이미지 검출 모델에 대해 트레이닝하는 과정을 도시한다. 여기서, 데이터 특징 향상 네트워크, 특징 네트워크 및 분류 네트워크(판별 네트워크로 지칭될 수도 있음)를 포함하고, 차폐된 이미지 검출 모델은 특징 네트워크 및 분류 네트워크를 포함한다. 데이터 특징 향상 네트워크는 향상 특징, 즉 차폐된 이미지 특징을 합성하는데 사용되고, 여기서 향상 특징은 이미지 특징을 판별하는 네트워크의 정확성을 강화하는데 사용되며; 특징 네트워크는 이미지 특징을 추출하는데 사용되고; 분류 네트워크는 이미지의 특징에 대해 분류하는데 사용된다. 여기서, A는 손가락 템플릿 이미지를 나타내고, B는 비 손가락 이미지를 나타내며, C는 원본 손가락 차폐된 이미지를 나타내고, D는 증폭 특징 세트를 나타낸다. 데이터 특징 향상 네트워크를 통해 차폐된 이미지 특징을 합성하고, 특징 네트워크를 통해 원본 차폐된 이미지의 초기 특징을 획득하며, 합성 특징과 초기 특징은 증폭 특징 세트를 구성하여, 차폐된 이미지 검출 모델에 대해 트레이닝한다. 구체적으로 트레이닝할 경우, 경사 하강법을 사용하여 차폐된 이미지 검출 모델의 손실 함수가 수렴될 때까지 트레이닝할 수 있다. 알 수 있다시피, 여기에서 차폐된 이미지 검출 모델의 손실 함수는 특징 네트워크와 분류 네트워크에 대해 공통으로 최적화한 손실 함수이다.

도 4는 트레이닝된 차폐된 이미지 검출 모델을 도시하고, 특징 네트워크 및 분류 네트워크를 포함하다. 검출될 이미지를 상기 트레이닝된 차폐된 이미지 검출 모델에 입력하고, 상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하며, 검출 결과를 출력한다,

상기 실시형태에서, 생성 특징은 단지 차폐 검출 모델의 분류 네트워크에 대해서만 최적화하고, 전체 네트워크에 대해 최적화할 필요가 없으므로, 이로써 전체 최적화 관점에서 최적화 비용은, 컴퓨팅 리소스와 시간 비용에서 모두 작고, 따라서 도입된 별도의 트레이닝 비용이 비교적 작다. 트레이닝 시 기존의 차폐 검출 모델을 충분히 이용하고, 적은 양의 파라미터를 미세 조정할 수 있으며, 추가 비용이 적다. 또한, 분류 태스크가 모두 "특징 추출+특징 분류"로 모델링될 수 있는 문제로 인해, 다른 분류 태스크에 대해 모두 본 발명의 특징 증폭 후 특징 분류 네트워크를 다시 최적화하는 방법을 사용할 수 있으므로, 상기 방법의 확장성 및 일반성은 비교적 높으며, 다른 분류 태스크로 쉽게 확장될 수 있다.

선택 가능한 실시형태에서, 상기 차폐된 이미지 검출 모델은 콘볼루션 신경망 모델이다.

구체적으로, 콘볼루션 신경망 모델은 shufflenetv2를 사용할 수 있다. 상기 네트워크 모델의 파라미터는 비교적 적으며, 대량의 저장과 컴퓨팅 리소스를 절약할 수 있다.

선택 가능한 실시형태에서, 상기 데이터 특징 향상 네트워크는 생성적 적대 네트워크이다.

데이터 특징 향상 네트워크는 생성적 적대 네트워크이고, 구체적으로 자기 주의 생성적 적대 네트워크일 수 있다. 본 기술분야의 기술자에게 알려진 바와 같이, 생성적 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함한다.

아래에 본 발명에 따른 차폐된 이미지 검출의 구체적인 실시예를 상세하게 설명한다. 여기서, 데이터 특징 향상 네트워크는 자기 주의 생성적 적대 네트워크이고, 차폐된 이미지 검출 모델은 ShuffleNetv2 네트워크 모델이며, 차폐된 이미지는 손가락 차폐된 이미지이다. 도 5에 도시된 바와 같이, 상기 실시예는 하기와 같은 단계를 포함한다.

단계 501에서, 복수의 원본 손가락 차폐된 이미지 및 차폐되지 않은 이미지를 획득하고, 인위적으로 라벨링된 방법을 통해 이러한 원본 손가락 차폐된 이미지의 마스크 데이터를 획득한다.

단계 502에서, 원본 손가락 차폐된 이미지 및 상응한 마스크 데이터에 기반하여, 각 원본 손가락 차폐된 이미지의 손가락 템플릿 이미지 및 비 손가락 이미지를 획득한다.

단계 503에서, 각 원본 손가락 차폐된 이미지, 상응한 손가락 템플릿 이미지 및 비 손가락 이미지를 한 세트의 트레이닝 데이터로 조성한다.

단계 504에서, 데이터 특징 향상 네트워크에 대한 각 트레이닝 라운드에서, 상기에서 얻은 트레이닝 데이터로부터 여러 세트의 트레이닝 데이터를 임의로 선택하여, 손가락 템플릿 이미지 및 비 손가락 이미지를 데이터 특징 향상 네트워크에 입력하고, 원본 손가락 차폐된 이미지를 특징 네트워크에 입력하여 트레이닝한다.

단계 505에서, 각 트레이닝 라운드의 데이터 특징 향상 네트워크 및 판별 네트워크의 손실 함수를 획득하고, 손실 함수가 수렴될 경우, 데이터 특징 향상 네트워크의 트레이닝이 완료된 것으로 결정한다.

단계 506에서, 트레이닝된 데이터 특징 향상 네트워크를 통해 차폐되지 않은 이미지의 생성 특징을 합성하고, 특징 네트워크를 통해 원본 차폐된 이미지의 초기 특징을 추출한다.

단계 507에서, 생성 특징 및 초기 특징을 분류 네트워크에 입력하여 차폐된 이미지 검출 모델에 대해 트레이닝한다.

단계 508에서, 차폐된 이미지 검출 모델의 손실 함수가 수렴될 경우, 트레이닝이 완료된다.

단계 509에서, 검출될 이미지를 트레이닝된 손가락 차폐된 이미지 검출 모델에 입력하여, 상기 검출될 이미지가 손가락 차폐된 이미지인지 여부를 결정한다.

상기 실시예에서, 트레이닝된 차폐된 이미지 검출 모델을 이용하여 검출될 이미지에 대해 검출하기 이전에, 2개의 트레이닝 과정을 수행할 필요가 있으며, 하나는, 데이터 특징 향상 네트워크에 대해 트레이닝하고, 다른 하나는 트레이닝된 데이터 특징 향상 네트워크를 이용하여 차폐된 이미지 검출 모델에 대해 트레이닝하는 것이다. 데이터 특징 향상 네트워크에 대한 트레이닝은 도 2를 참조할 수 있으며, 차폐된 이미지 검출 모델에 대한 트레이닝은 도 3을 참조할 수 있다.

본 발명은 차폐된 이미지 검출 장치를 더 제공하며, 도 6에 도시된 바와 같이, 상기 장치는,

카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하도록 설치되는 획득 모듈(601);

검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하도록 설치되는 입력 모듈(602);

이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하도록 설치되는 상기 차폐된 이미지 검출 모델(603) - 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ; 및,

상기 이미지 검출 결과를 출력하도록 설치되는 출력 모듈(604);을 포함한다.

선택 가능한 실시형태에서, 상기 차폐된 이미지 검출 모델(603)은 트레이닝 모듈에 의해 트레이닝되고, 상기 트레이닝 모듈은,

상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 획득하고;

상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하며;

선택 가능한 실시형태에서, 상기 트레이닝 모듈은 또한,

상기 실시예의 장치에 관하여, 각각의 모듈이 동작을 수행하는 구체적인 방식은 관련된 상기 방법의 실시예에서 상세하게 설명되었으며, 여기서 더이상 상세하게 설명하지 않는다.

본 발명의 방법은 하기와 같은 유익한 효과를 갖는다.

(1)마스크로 라벨링된 적은 양의 손가락 차폐된 이미지를 이용하여, 생성 모델을 안정적으로 트레이닝함으로써 차폐된 이미지 특징을 생성할 수 있으며, 이로써 손가락 차폐 검출 모델 트레이닝에서 양의 샘플의 부족한 문제를 효과적으로 해결하여, 대량의 양의 샘플 수집 비용을 절약할 수 있다.

(2)가려진 이미지의 고수준의 특징을 직접 생성하여 이미지 생성의 불충분한 세부 사항이 초래한 노이즈가 모델 정밀도에 미치는 영향을 효과적으로 방지할 수 있다. 즉 트레이닝 과정에 생성된 특징을 추가한 후, 검출 정확도는 현저하게 향상된다.

(3)생성된 특징은 단지 손가락 차폐 검출 모델의 분류 네트워크에 대해서만 다시 최적화하고, 도입된 별도의 트레이닝 비용은 적다. 또한, 기존의 손가락 차폐 검출 모델을 충분히 이용하고, 적은 양의 파라미터를 미세 조정할 수 있으며, 추가 비용이 적다.

(4)네트워크 모델 파라미터가 적으므로, 대량의 저장과 컴퓨팅 리소스를 절약할 수 있다.

(5)상기 방법의 확장성 및 일반성은 비교적 높으며, 다른 분류 태스크로 쉽게 확장될 수 있다.

도 7은 예시적 일 실시예에 따라 도시된 차폐된 이미지 검출 장치(700)의 블록도이다.

도 7을 참조하면, 장치(700)는 프로세싱 컴포넌트(702), 메모리(704), 전원 컴포넌트(706), 멀티미디어 컴포넌트(708), 오디오 컴포넌트(710), 입력/출력(I/O) 인터페이스(712), 센서 컴포넌트(714) 및 통신 컴포넌트(716) 중 하나 또는 복수의 컴포넌트를 포함할 수 있다.

프로세싱 컴포넌트(702)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(700)의 전체 동작을 제어한다. 프로세싱 컴포넌트(702)는, 상기 방법의 전부 또는 일부 단계를 완료하도록 하나 또는 복수의 프로세서(720)를 포함하여 명령을 실행할 수 있다. 이밖에, 프로세싱 컴포넌트(702)는, 프로세싱 컴포넌트(702)와 다른 컴포넌트 사이의 인터랙션이 편이하도록 하나 또는 복수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(702)는, 멀티미디어 모듈(708)과 프로세싱 컴포넌트(702) 사이의 인터랙션이 간편해지도록 멀티미디어 모듈을 포함할 수 있다.

메모리(704)는 다양한 유형의 데이터를 저장하여 장치(700)에서의 동작을 지원하도록 구성된다. 이러한 데이터의 예시는 장치(700)에서 작동하는 임의의 애플리케이션 프로그램 또는 방법에 사용되는 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(704)는, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM), 프로그램 가능 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 광 디스크와 같은 임의의 유형의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(706)는 장치(700)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(706)는 전원 관리 시스템, 하나 또는 복수의 전원, 및 장치(700)의 생성, 관리, 및 전원 할당과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(708)는 상기 장치(700)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 만약, 스크린이 터치 패널을 포함하면, 사용자로부터 입력 신호를 수신하도록 스크린은 터치 스크린으로 구현될 수 있다. 터치 패널은, 터치, 슬라이드 및 터치 패널의 제스처를 감지하기 위한 하나 또는 복수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 슬라이드에 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(708)는 하나의 전방 카메라 및/또는 후방 카메라를 포함한다. 장치(700)가, 촬영 모드 또는 비디오 모드와 같은 동작 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 가질 수 있다.

오디오 컴포넌트(710)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(710)는 하나의 마이크(MIC)를 포함하고 장치(700)가 통화 모드, 기록 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크는 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(704)에 저장되거나 통신 컴포넌트(716)를 통해 송신될 수 있다. 일부 실시예에서, 오디오 컴포넌트(710)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.

입력 출력(I/O) 인터페이스(712)는 프로세싱 컴포넌트(702)와 주변 장치 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 주변 장치 인터페이스 모듈은 키보드, 클릭 휠(Click Wheel), 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(714)는 다양한 양태의 상태 평가를 장치(700)에 제공하기 위한 하나 또는 복수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(714)는 장치의 온/오프 상태, 컴포넌트의 상대적 위치를 감지할 수 있고, 예를 들어, 상기 컴포넌트는 장치(700)의 디스플레이 장치 및 키패드이고 센서 컴포넌트(714)는 장치(700) 또는 장치(700)의 컴포넌트의 위치 변화, 사용자와 장치(700) 사이의 접촉 여부, 장치(700) 방위 또는 가속/감속 및 장치(700)의 온도 변화를 감지할 수 있다. 센서 컴포넌트(714)는 물리적 접촉없이 주변 물체의 존재를 감지하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(714)는 이미징 애플리케이션에 사용하기 위한 CMOS 또는 CCD 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(714)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(716)는 장치(700)와 다른 기기 사이의 유선 또는 무선 방식의 통신이 용이하도록 구성된다. 장치(700)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 예시적 일 실시예에서, 통신 컴포넌트(716)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 예시적 일 실시예에서, 상기 통신 컴포넌트(716)는 근거리 통신을 추진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.

예시적 실시예에서, 장치(700)는 하나 또는 복수의 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세서 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현되어 상기 방법을 수행할 수 있다.

예시적 실시예에서, 상기 방법을 수행하기 위해 장치(700)의 프로세서(720)에 의해 실행 가능한 명령을 포함하는 메모리(704)와 같은 명령을 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 더 제공한다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광 데이터 저장 기기 등일 수 있다.

비 일시적 컴퓨터 판독 가능 저장 매체에 있어서, 상기 저장 매체 중 명령이 이동 단말기의 프로세서에 의해 실행될 경우, 이동 단말기가 차폐된 이미지 검출 방법을 수행할 수 있도록 하며, 상기 방법은, 카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하는 단계; 검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하는 단계 - 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ; 상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하는 단계; 및, 상기 이미지 검출 결과를 출력하는 단계;를 포함한다.

도 8은 예시적 일 실시예에 따라 도시된 차폐된 이미지 검출 장치(800)의 블록도이다. 예를 들어, 장치(800)는 서버로 제공될 수 있다. 도 8을 참조하면, 장치(800)는 프로세싱 컴포넌트(822)를 포함하고, 하나 또는 복수의 프로세서 및 프로세싱 컴포넌트(822)에 의해 실행되는 애플리케이션 프로그램과 같은 명령을 저장하기 위한 메모리(832)에 의해 표현되는 메모리 리소스를 더 포함한다. 메모리(832)에 저장된 애플리케이션 프로그램은 한 세트의 명령에 대응되는 하나 또는 하나 이상의 모듈을 포함할 수 있다. 이밖에, 프로세싱 컴포넌트(822)는 명령을 실행하여, 상기 방법을 수행하도록 구성되며, 상기 방법은, 카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하는 단계; 검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하는 단계 - 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ; 상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하는 단계; 및, 상기 이미지 검출 결과를 출력하는 단계;를 포함한다.

장치(800)는 또한 장치(800)의 전원 관리를 수행하도록 구성된 전원 컴포넌트(826), 장치(800)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(850) 및 입력 출력(I/O) 인터페이스(858)를 더 포함할 수 있다. 장치(800)는 Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM 또는 유사한 것과 같이 메모리(832)에 저장된 운영 체제를 기반으로 작동될 수 있다.

본 기술분야의 기술자는 명세서 및 이에 공개된 발명을 고려한 후, 본 발명의 다른 실시 방안을 용이하게 생각할 수 있을 것이다. 본 발명은 본 발명의 임의의 변형, 용도 또는 적응성 변화를 포함하는 바, 이러한 변형, 용도 또는 적응성 변화는 모두 본 발명의 일반적인 원리를 따르며 본 발명에 공개되지 않은 본 기술분야의 공지된 상식 또는 통상적인 기술수단을 포함한다. 명세서 및 실시예는 단지 예시적 것으로서, 본 발명의 진정한 범위 및 정신은 청구범위에서 지적한 바와 같다.

이해해야 할 것은, 본 발명은 상기와 같이 설명되고 또한 도면에 도시된 정확한 구조에 한정되지 않으며, 본 발명의 범위를 벗어나지 않고 다양한 수정 및 변경을 진행할 수 있다. 본 발명의 범위는 단지 첨부된 청구범위에 의해서만 한정된다.

601: 획득 모듈 602: 입력 모듈
603: 차폐된 이미지 검출 모델 604: 출력 모듈

Claims

차폐된 이미지 검출 방법에 있어서,
카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하는 단계;
검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하는 단계 - 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ;
상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하는 단계; 및,
상기 이미지 검출 결과를 출력하는 단계;를 포함하는,
것을 특징으로 하는 차폐된 이미지 검출 방법.
제1항에 있어서,
상기 방법은,
상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 획득하는 단계;
상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하는 단계; 및,
상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하는 단계;를 더 포함하는,
것을 특징으로 하는 차폐된 이미지 검출 방법.
제2항에 있어서,
상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하는 단계는,
상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 단계 - 상기 손가락 템플릿 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려지지 않은 영역을 제거한 후의 이미지이고, 상기 비 손가락 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려진 영역을 제거한 후의 이미지임 - ; 및,
트레이닝 데이터 세트를 생성하는 단계;를 포함하되, 각 트레이닝 데이터는 하나의 손가락 템플릿 이미지, 하나의 비 손가락 이미지 및 하나의 원본 차폐된 이미지를 포함하고, 각 트레이닝 라운드에서 복수의 트레이닝 데이터를 사용하여 상기 데이터 특징 향상 네트워크에 대해 트레이닝하는,
것을 특징으로 하는 차폐된 이미지 검출 방법.
제3항에 있어서,
상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 단계는,
상기 원본 차폐된 이미지에 기반하여, 마스크 데이터를 획득하는 단계 - 상기 마스크 데이터는 상기 원본 차폐된 이미지 중 가려진 위치를 지시함 - ; 및,
상기 원본 차폐된 이미지 및 상기 마스크 데이터에 기반하여, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 단계;를 포함하는,
것을 특징으로 하는 차폐된 이미지 검출 방법.
제3항에 있어서,
상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하는 단계는,
상기 손가락 템플릿 이미지 및 상기 비 손가락 이미지를 상기 데이터 특징 향상 네트워크에 입력하여, 상기 원본 차폐된 이미지의 생성 특징을 합성하는 단계;
상기 원본 차폐된 이미지를 특징 네트워크에 입력하여, 상기 원본 차폐된 이미지의 초기 특징을 추출하는 단계 - 상기 차폐된 이미지 검출 모델은 상기 특징 네트워크를 포함함 - ;
상기 원본 차폐된 이미지의 생성 특징 및 상기 초기 특징 입력 판별 네트워크를 트레이닝하는 단계;
각 트레이닝 라운드 중 상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수를 획득하는 단계; 및,
상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수가 모두 수렴될 경우, 상기 데이터 특징 향상 네트워크의 트레이닝이 완료된 것으로 결정하는 단계;를 더 포함하는,
것을 특징으로 하는 차폐된 이미지 검출 방법.
제4항에 있어서,
상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하는 단계는,
상기 마스크 데이터 및 상기 차폐되지 않은 이미지에 기반하여, 처리된 차폐되지 않은 이미지를 획득하는 단계 - 상기 처리된 차폐되지 않은 이미지는 상기 차폐되지 않은 이미지 중 상기 마스크 데이터 대응 영역을 제거한 후의 이미지임 - ;
상기 손가락 템플릿 이미지 및 상기 처리된 차폐되지 않은 이미지를 상기 트레이닝된 데이터 특징 향상 네트워크에 입력하여, 상기 차폐되지 않은 이미지의 생성 특징을 합성하는 단계;
상기 원본 차폐된 이미지를 특징 네트워크에 입력하여, 상기 원본 차폐된 이미지의 초기 특징을 추출하는 단계 - 상기 차폐된 이미지 검출 모델은 상기 특징 네트워크를 포함함 - ;
상기 차폐되지 않은 이미지의 생성 특징 및 상기 초기 특징을 분류 네트워크에 입력하여 트레이닝하는 단계 - 상기 차폐된 이미지 검출 모델은 상기 분류 네트워크를 포함함 - ; 및,
상기 차폐된 이미지 검출 모델의 손실 함수가 수렴될 경우, 상기 차폐된 이미지 검출 모델의 트레이닝이 완료된 것으로 결정하는 단계;를 포함하는,
것을 특징으로 하는 차폐된 이미지 검출 방법.
제1항에 있어서,
상기 차폐된 이미지 검출 모델은 콘볼루션 신경망 모델인,
것을 특징으로 하는 차폐된 이미지 검출 방법.
제1항에 있어서,
상기 데이터 특징 향상 네트워크는 생성적 적대 네트워크인,
것을 특징으로 하는 차폐된 이미지 검출 방법.
차폐된 이미지 검출 장치에 있어서,
카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하도록 설치되는 획득 모듈;
검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하도록 설치되는 입력 모듈;
이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하도록 설치되는 상기 차폐된 이미지 검출 모델; 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ; 및,
상기 이미지 검출 결과를 출력하도록 설치되는 출력 모듈;을 포함하는,
것을 특징으로 하는 차폐된 이미지 검출 장치.
제9항에 있어서,
상기 차폐된 이미지 검출 모델은 트레이닝 모듈에 의해 트레이닝되고, 상기 트레이닝 모듈은,
상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 획득하며;
상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하고;
상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하도록 설치되는,
것을 특징으로 하는 차폐된 이미지 검출 장치.
제10항에 있어서,
상기 트레이닝 모듈은 또한,
상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 방식 - 상기 손가락 템플릿 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려지지 않은 영역을 제거한 후의 이미지이고, 상기 비 손가락 이미지는 상기 원본 차폐된 이미지 중 손가락에 의해 가려진 영역을 제거한 후의 이미지임 - ; 및,
트레이닝 데이터 세트를 생성하는 방식 - 각 트레이닝 데이터는 하나의 손가락 템플릿 이미지, 하나의 비 손가락 이미지 및 하나의 원본 차폐된 이미지를 포함하고, 각 트레이닝 라운드에서 복수의 트레이닝 데이터를 사용하여 상기 데이터 특징 향상 네트워크에 대해 트레이닝함 - ;을 통해 상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하도록 설치되는,
것을 특징으로 하는 차폐된 이미지 검출 장치.
제11항에 있어서,
상기 트레이닝 모듈은 또한,
상기 원본 차폐된 이미지에 기반하여, 마스크 데이터를 획득하는 방식 - 상기 마스크 데이터는 상기 원본 차폐된 이미지 중 가려진 위치를 지시함 - ; 및,
상기 원본 차폐된 이미지 및 상기 마스크 데이터에 기반하여, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하는 방식;을 통해 상기 원본 차폐된 이미지를 기반으로, 손가락 템플릿 이미지 및 비 손가락 이미지를 생성하도록 설치되는,
것을 특징으로 하는 차폐된 이미지 검출 장치.
제11항에 있어서,
상기 트레이닝 모듈은 또한,
상기 손가락 템플릿 이미지 및 상기 비 손가락 이미지를 상기 데이터 특징 향상 네트워크에 입력하여, 상기 원본 차폐된 이미지의 생성 특징을 합성하는 방식;
상기 원본 차폐된 이미지를 특징 네트워크에 입력하여, 상기 원본 차폐된 이미지의 초기 특징을 추출하는 방식 - 상기 차폐된 이미지 검출 모델은 상기 특징 네트워크를 포함함 - ;
상기 원본 차폐된 이미지의 생성 특징 및 상기 초기 특징 입력 판별 네트워크를 트레이닝하는 방식;
각 트레이닝 라운드 중 상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수를 획득하는 방식; 및,
상기 데이터 특징 향상 네트워크의 손실 함수 및 상기 판별 네트워크의 손실 함수가 모두 수렴될 경우, 상기 데이터 특징 향상 네트워크의 트레이닝이 완료된 것으로 결정하는 방식;을 통해 상기 원본 차폐된 이미지에 기반하여 상기 데이터 특징 향상 네트워크를 트레이닝하도록 설치되는,
것을 특징으로 하는 차폐된 이미지 검출 장치.
제12항에 있어서,
상기 트레이닝 모듈은 또한,
상기 마스크 데이터 및 상기 차폐되지 않은 이미지에 기반하여, 처리된 차폐되지 않은 이미지를 획득하는 방식 - 상기 처리된 차폐되지 않은 이미지는 상기 차폐되지 않은 이미지 중 상기 마스크 데이터 대응 영역을 제거한 후의 이미지임 - ;
상기 손가락 템플릿 이미지 및 상기 처리된 차폐되지 않은 이미지를 상기 트레이닝된 데이터 특징 향상 네트워크에 입력하여, 상기 차폐되지 않은 이미지의 생성 특징을 합성하는 방식;
상기 원본 차폐된 이미지를 특징 네트워크에 입력하여, 상기 원본 차폐된 이미지의 초기 특징을 추출하는 방식 - 상기 차폐된 이미지 검출 모델은 상기 특징 네트워크를 포함함 - ;
상기 차폐되지 않은 이미지의 생성 특징 및 상기 초기 특징을 분류 네트워크에 입력하여 트레이닝하는 방식 - 상기 차폐된 이미지 검출 모델은 상기 분류 네트워크를 포함함 - ; 및,
상기 차폐된 이미지 검출 모델의 손실 함수가 수렴될 경우, 상기 차폐된 이미지 검출 모델의 트레이닝이 완료된 것으로 결정하는 방식;을 통해 상기 원본 차폐된 이미지 및 상기 차폐되지 않은 이미지를 기반으로, 트레이닝된 데이터 특징 향상 네트워크를 이용하여, 상기 차폐된 이미지 검출 모델을 트레이닝하도록 설치되는,
것을 특징으로 하는 차폐된 이미지 검출 장치.
제9항에 있어서,
상기 차폐된 이미지 검출 모델은 콘볼루션 신경망 모델인,
것을 특징으로 하는 차폐된 이미지 검출 장치.
제9항에 있어서,
상기 데이터 특징 향상 네트워크는 생성적 적대 네트워크인,
것을 특징으로 하는 차폐된 이미지 검출 장치.
차폐된 이미지 검출 장치에 있어서,
프로세서; 및,
프로세서에 의해 실행 가능한 명령을 저장하기 위한 메모리;를 포함하되,
상기 프로세서는,
카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하고;
검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하되, 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것이며;
상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하고;
상기 이미지 검출 결과를 출력하도록 구성되는,
것을 특징으로 하는 차폐된 이미지 검출 장치.
비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 저장 매체 중 명령이 라우터의 프로세서에 의해 실행될 경우,
카메라로 이미지를 캡처한 후, 상기 이미지를 획득하여 검출될 이미지로 하는 단계;
검출될 이미지를 트레이닝된 차폐된 이미지 검출 모델에 입력하는 단계 - 상기 차폐된 이미지 검출 모델은 원본 차폐된 이미지, 차폐되지 않은 이미지를 사용하고 트레이닝된 데이터 특징 향상 네트워크를 이용하여 트레이닝된 것임 - ;
상기 차폐된 이미지 검출 모델 중 이미지에 관한 차폐 특성에 기반하여, 상기 검출될 이미지가 차폐된 이미지인지 여부를 판단하는 단계; 및,
상기 이미지 검출 결과를 출력하는 단계;를 포함하는 차폐된 이미지 검출 방법을 수행할 수 있는,
것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체.