KR20220113686A - 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치를 제공하고, 영상 처리 기술 분야에 관한 것이며, 상기 영상 처리 방법은, 원시 회절 영상(S302)을 획득하는 단계; 원시 회절 영상을 영상 처리 모델(S304)에 입력하는 단계; 영상 처리 모델을 통해 원시 회절 영상에 대해 복원 처리를 수행하여 원시 회절 영상에 대응하는 대상 표준 영상(S306)을 획득하는 단계;를 포함한다. 본 발명에 따르면, 영상 복원 방법을 단순화하고, 복원된 대상 표준 영상의 품질을 효과적으로 향상시키고, 디스플레이 스크린의 영상 표시 효과를 개선할 수 있다.

Description

영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치

본 출원은 2020년 1월 20일에 중국국가지식산권국에 출원한 출원번호가 202010068627.6이고 출원명칭이 “영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치”인 특허출원 및 2020년 3월 13일에 중국국가지식산권국에 출원한 출원번호가 202010179545.9이고 출원명칭이 “영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치”인 특허출원의 우선권을 주장하며, 상기 출원의 전체 내용을 참조로 본 출원에 원용한다.

본 발명은 영상 처리 기술 분야에 관한 것으로, 특히 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치에 관한 것이다.

이동 단말 기술의 발전과 사용자의 요구에 따라, 풀스크린 단말은 중요한 발전 추세가 되었다. 종래 기술에서, 단말 장치에는 전면 카메라가 설치되고, 상기 전면 카메라가 외부 영상을 수집할 수 있도록, 단말 장치의 디스플레이 스크린 상의 전면 카메라가 설치되는 위치에 슬롯 또는 홀이 형성된다. 그러나, 단말 장치의 디스플레이 스크린 상에 슬롯이나 홀을 형성함으로써, 디스플레이 스크린의 화면 비율이 감소된다.

풀스크린을 사용하여 화면을 표시하는 이동 단말의 경우, 언더스크린 카메라를 사용하는 것이 풀스크린을 구현하는 바람직한 기술적 해결책으로 되고 있다. 언더스크린 카메라는 디스플레이 스크린에 구멍을 뚫지 않고 전면 카메라를 디스플레이 스크린 아래에 숨기며, 사용 시에는 카메라가 디스플레이 스크린의 투광 영역을 투과하여 프레이밍하여 촬영을 실현한다.

그러나, 본 발명자는 연구를 거쳐, 기존의 언더스크린 카메라를 사용하는 기술적 해결책에서 디스플레이 스크린의 디스플레이 효과가 좋지 않은 것을 발견하였다.

상기와 같은 문제를 감안하여, 본 발명은 복원된 영상의 품질을 개선하고 영상의 선명도를 향상시킬 수 있는 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치를 제공하는 것을 그 목적으로 한다.

상기 목적을 달성하기 위해, 본 발명의 실시예의 기술적 해결책은 다음과 같다.

제1 측면에서, 본 발명의 실시예는 전자 장치에 적용되는 영상 처리 방법을 제공하며, 상기 방법은, 원시 회절 영상을 획득하는 단계; 상기 원시 회절 영상을 영상 처리 모델에 입력하는 단계; 및, 상기 영상 처리 모델을 통해 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하는 단계;를 포함한다.

더 나아가, 상기 영상 처리 모델을 통해 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하는 단계는, 상기 영상 처리 모델을 통해 상기 원시 회절 영상 중 각 화소점의 밝기값를 검출하는 단계; 검출된 밝기값을 기반으로 상기 원시 회절 영상 중에 포함된 대상 광원의 스팟(spot) 영역을 결정하는 단계; 및, 상기 스팟(spot) 영역을 기반으로 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하는 단계;를 포함한다.

더 나아가, 상기 스팟(spot) 영역을 기반으로 상기 원시 회절 영상에 대해 복원 처리를 수행하는 단계는, 상기 스팟(spot) 영역의 회절 무늬를 제거하여 상기 원시 회절 영상에 대응하는 복원 대상 영상을 획득하는 단계; 및, 상기 복원 대상 영상에 대해 선명도 처리를 수행하여 대상 표준 영상을 획득하는 단계;를 포함한다.

더 나아가, 상기 검출된 밝기값을 기반으로 상기 원시 회절 영상 중에 포함된 대상 광원의 스팟(spot) 영역을 결정하는 단계는, 검출된 밝기값이 미리 설정된 밝기 임계값보다 큰 화소점의 위치에 따라, 상기 원시 회절 영상의 밝기 영역을 결정하는 단계; 상기 밝기 영역의 외접원의 반경이 미리 설정된 반경보다 큰지 여부를 판단하는 단계; 및, 미리 설정된 반경보다 크면, 상기 밝기 영역을 대상 광원을 포함하는 스팟(spot) 영역으로 결정하는 단계;를 포함한다.

더 나아가, 상기 원시 회절 영상을 획득하는 단계는, 상기 전자 장치에 제공된 언더스크린 카메라를 통해 원시 회절 영상을 수집하는 단계;를 포함한다.

더 나아가, 상기 영상 처리 모델은 영상 샘플 쌍을 기반으로 훈련하여 얻은 것이고, 상기 영상 샘플 쌍은 온스크린 카메라를 통해 특정 장면을 촬영한 샘플 표준 영상과 상기 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하며; 상기 샘플 회절 영상은 상기 샘플 표준 영상을 기반으로 언더스크린 카메라를 시뮬레이션하여 특정 장면을 촬영하여 얻은 영상이며, 또는 언더스크린 카메라를 통해 특정 장면을 촬영하여 얻은 영상이다.

더 나아가, 상기 전자 장치는 복수의 발광 유닛과 복수의 투광 영역을 포함하는 디스플레이 스크린을 포함하며; 상기 각 발광 유닛은 미리 설정된 수의 부화소를 포함하며; 상기 부화소 사이에 복수의 투광 영역을 형성하기 위해, 상기 복수의 발광 유닛의 복수의 부화소는 간격을 두고 배치되며, 상기 복수의 투광 영역에는 적어도 두개의 비(非) 반복 제1 투광 영역이 포함된다.

더 나아가, 복수의 상기 발광 유닛의 임의의 하나의 부화소는 복수의 상기 투광 영역의 임의의 하나의 투광 영역과 서로 분리되어 있다.

더 나아가, 상기 투광 영역은 다음의 방식, 즉:

적어도 두개의 상기 제1 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

상기 각 제1 투광 영역과 다른 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

상기 모든 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지는 중 적어도 한가지 이상의 방식에 따라 배치된다.

더 나아가, 상기 전자 장치는 복수의 발광 유닛과 복수의 투광 영역을 포함하는 디스플레이 스크린을 포함하고, 상기 각 발광 유닛은 미리 설정된 수의 부화소를 포함하며, 적어도 두개의 상기 발광 유닛의 복수의 부화소는 비(非) 반복 분포를 나타낸다.

더 나아가, 비 반복적으로 분포된 복수의 부화소의 갭에 적어도 두개의 비 반복적으로 분포된 투광 영역이 형성된다.

더 나아가, 상기 발광 유닛은 다음의 방식, 즉:

적어도 두개의 발광 유닛의 복수의 부화소는 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

적어도 두개의 발광 유닛의 복수의 부화소는 다른 발광 유닛의 복수의 부화소와 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

모든 발광 유닛의 복수의 부화소는 모두 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지는 중 적어도 한가지 이상의 방식으로 배치된다.

더 나아가, 상기 전자 장치는 언더스크린 카메라가 장착된 전자 장치이다.

제2 측면에서, 본 발명의 실시예는 또한 영상 처리 모델 훈련 방법을 제공하며, 상기 방법은, 영상 처리 모델에 샘플 표준 영상과 상기 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하는 영상 샘플 쌍을 입력하는 단계; 상기 영상 처리 모델을 통해 상기 샘플 회절 영상에 대해 복원 처리를 수행하여 상기 샘플 회절 영상의 복원 영상을 회득하는 단계; 상기 복원 영상과 상기 샘플 표준 영상에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하는 단계; 및, 상기 손실 함수값에 따라, 상기 영상 처리 모델의 매개변수를 반복적으로 업데이트하는 단계;를 포함한다.

더 나아가, 상기 손실 함수값에 따라, 상기 영상 처리 모델의 매개변수를 반복적으로 업데이트하는 단계는, 상기 손실 함수값이 미리 설정된 값으로 수렴하는지 여부 및/또는 상기 반복 업데이트가 미리 설정된 횟수에 도달하는지 여부를 판단하는 단계; 및, 상기 손실 함수값이 미리 설정된 값으로 수렴하거나 및/또는 상기 반복 업데이트가 미리 설정된 횟수에 도달하는 경우, 훈련된 영상 처리 모델을 획득하는 단계;를 포함한다.

더 나아가, 상기 복원 영상과 상기 샘플 표준 영상에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하는 단계는, 상기 복원 영상과 상기 샘플 표준 영상 사이의 유사도를 계산하고, 상기 유사도에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하는 단계;를 포함한다.

더 나아가, 상기 영상 샘플 쌍을 획득하는 방법은, 온스크린 카메라를 통해 특정 장면을 촬영하여 상기 샘플 표준 영상을 획득하는 단계; 상기 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 어두운 배경의 대상 광원을 촬영함으로써, 대상 광원 영상을 획득하는 단계; 및, 상기 대상 광원 영상과 상기 샘플 표준 영상에 대해 컨볼루션을 수행하여 상기 샘플 회절 영상을 획득하는 단계;를 포함한다.

더 나아가, 상기 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 어두운 배경의 대상 광원을 촬영함으로써, 대상 광원 영상을 획득하는 단계는, 상기 온스크린 카메라를 통해 상기 디스플레이 스크린을 투과하여 미리 설정된 방식의 대상 광원을 촬영하여 후보 대상 광원 영상을 획득하는 단계 - 상기 미리 설정된 방식은 어두운 배경에서 적어도 하나의 대상 광원을 공간적으로 배열하는 방식이며, 서로 다른 상기 미리 설정된 방식에서, 대상 광원의 수 및/또는 대상 광원의 공간적 배열 방식은 서로 다르고, 서로 다른 상기 미리 설정된 방식에 대응하는 상기 후보 대상 광원 영상이 서로 다름 - ; 상기 후보 대상 광원 영상 중의 적어도 하나의 후보 대상 광원 영상을 상기 대상 광원 영상으로 결정하는 단계;를 포함한다.

더 나아가, 상기 대상 광원 영상과 상기 샘플 표준 영상에 대해 컨볼루션을 수행하는 단계 전에, 상기 방법은 상기 대상 광원 영상에 대해 노이즈 제거 처리를 수행하는 단계;를 더 포함한다.

더 나아가, 상기 디스플레이 스크린은 상기 영상 처리 방법에서 전자 장치의 디스플레이 스크린과 동일한 디스플레이 스크린이다.

더 나아가, 상기 영상 샘플 쌍을 획득하는 방법은, 온스크린 카메라를 통해 미리 설정된 촬영 각도에 따라 특정 장면을 촬영하여 상기 샘플 표준 영상을 획득하는 단계; 및, 언더스크린 카메라를 통해 상기 촬영 각도에 따라 상기 특정 장면을 촬영하여 상기 샘플 회절 영상을 획득하는 단계;를 포함한다.

제3 측면에서, 본 발명의 실시예는 전자 장치에 적용되는 영상 처리 장치를 제공하며, 상기 장치는 원시 회절 영상을 획득하기 위한 영상 수집 모듈; 상기 원시 회절 영상을 영상 처리 모델에 입력하기 위한 영상 입력 모듈; 및, 상기 영상 처리 모델을 통해 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하기 위한 영상 복원 모듈;을 포함한다.

제4 측면에서, 본 발명의 실시예는 영상 처리 모델 훈련 장치를 제공하며, 상기 장치는 영상 처리 모델에 샘플 표준 영상과 상기 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하는 영상 샘플 쌍을 입력하기 위한 입력 모듈; 상기 영상 처리 모델을 통해 상기 샘플 회절 영상에 대해 복원 처리를 수행하여 상기 샘플 회절 영상의 복원 영상을 획득하기 위한 복원 모듈; 상기 복원 영상과 상기 샘플 표준 영상에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하기 위한 계산 모듈; 및, 상기 손실 함수값에 따라, 상기 영상 처리 모델의 매개변수를 반복적으로 업데이트하기 위한 업데이트 모듈;을 포함한다.

제5 측면에서, 본 발명의 실시예는 프로세서 및 저장 장치를 포함하는 영상 처리 시스템를 제공하며, 상기 저장 장치에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행됨으로써, 제1 측면의 영상 처리 방법 또는 제2 측면의 영상 처리 모델 훈련 방법이 수행된다.

제6 측면에서, 본 발명의 실시예는 디스플레이 스크린, 언더스크린 카메라 및 제5 측면의 영상 처리 시스템을 포함하는 전자 장치를 제공하며; 상기 디스플레이 스크린은 복수의 발광 유닛 및 복수의 투광 영역을 포함하고, 상기 각 발광 유닛은 복수의 부화소를 포함한다.

더 나아가, 상기 복수의 발광 유닛의 복수의 부화소 사이에는 복수의 투광 영역을 형성하기 위한 갭이 존재하고, 상기 복수의 투광 영역에는 적어도 두개의 비 반복 제1 투광 영역이 포함된다.

더 나아가, 적어도 두개의 상기 발광 유닛의 복수의 부화소는 비 반복 분포를 나타낸다.

제7 측면에서, 본 발명의 실시예는 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행됨으로써, 상기 제1 측면의 영상 처리 방법의 단계가 구현되거나 또는 제2 측면의 영상 처리 모델 훈련 방법의 단계가 구현된다.

본 발명의 실시예는 디스플레이 스크린 및 언더스크린 카메라를 포함하는 전자 장치를 제공하고, 상기 디스플레이 스크린은 복수의 발광 유닛 및 복수의 투광 영역을 포함하며; 각 발광 유닛은 미리 설정된 수의 부화소를 포함하며; 대상 광원이 디스플레이 스크린을 투과하여 생성한 회절 무늬 영상이 균일하게 분포된 무늬 영상이 되도록, 복수의 투광 영역은 복수의 발광 유닛의 부화소 사이에 비 반복적으로 배열되며; 균일하게 분포된 무늬 영상은 그 규칙성을 정확하게 간편하게 판단할 수 있어, 영상 처리 과정에 영상 복원의 어려움을 줄일 수 있다.

본 발명의 실시예는 또한 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 판독 가능 코드가 컴퓨팅 처리 장치에서 실행됨으로써, 상기 컴퓨팅 처리 장치에 의해 상기 영상 처리 방법 또는 상기 영상 처리 모델 훈련 방법이 수행된다.

상술한 설명은 본 발명의 상기 기술적 해결책의 개요에 불과하며, 본 발명의 기술적 수단을 보다 명확하게 이해하기 위해, 본 발명의 명세서의 내용에 따라 실시할 수 있고, 본 발명의 상기 목적 및 다른 목적, 특징 및 장점을 보다 명확하고 쉽게 이해할 수 있도록, 이하에서는 본 발명의 구체적인 구현 방식을 명시한다.

본 발명의 실시예는 영상 처리 방법 및 장치를 제공하며, 상기 영상 처리 방법에 따르면, 획득된 원시 회절 영상을 영상 처리 모델에 입력하고, 영상 처리 모델을 통해 원시 회절 영상을 복원하여 원시 회절 영상에 대응되는 대상 표준 영상을 획득한다. 본 실시예에 의해 제공되는 상기 영상 처리 방법은 영상 처리 모델을 사용하여 원시 회절 영상을 직접 복원할 수 있기 때문에, 영상 복원 방법을 단순화하고 복원된 대상 표준 영상의 선명도를 향상함으로써, 디스플레이 스크린의 영상 표시 효과를 효과적으로 개선할 수 있다.

본 발명의 실시예는 영상 처리 모델 훈련 방법 및 장치를 제공하며, 상기 훈련 방법에 따르면, 영상 샘플 쌍을 영상 처리 모델에 입력하고, 영상 처리 모델을 통해 샘플 회절 영상에 대해 복원 처리를 수행하여, 샘플 회절 영상의 복원 영상을 획득하며; 복원 영상과 샘플 표준 영상에 따라, 영상 처리 모델에 대응하는 손실 함수값을 결정하고, 영상 처리 모델의 매개변수를 반복적으로 업데이트한다. 본 실시예에 의해 제공되는 상기 훈련 방법에서, 대응 관계를 갖는 샘플 표준 영상과 샘플 회절 영상을 훈련 데이터로 사용하여 영상 샘플 쌍에서 두 영상 간의 차이를 줄이고, 영상 샘플 쌍의 품질을 향상시키며; 높은 품질의 영상 샘플 쌍을 통해 영상 처리 모델의 훈련 효과를 향상시키며, 영상 처리 모델의 훈련 효율과 정확도를 향상시킬 수 있다.

본 발명의 다른 특징과 장점은 다음 명세서에서 설명될 것이며, 또는, 일부 특징과 장점은 명세서를 통해 추론될 수 있거나 이의 없이 결정될 수 있으며, 또는, 본 발명의 상기 기술을 실시함으로써 알 수 있을 것이다.

본 발명의 상기 목적, 특징 및 장점을 보다 명확하고 알기 쉽게 하기 위해, 이하에서는 바람직한 실시예를 제시하고, 첨부도면을 결부하여 상세히 설명한다.

본 발명의 구체적인 실시예 또는 기존 기술의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예 또는 기존 기술의 설명에 사용되는 첨부도면에 대해 간단히 설명하며, 다음에 설명되는 첨부도면은 본 발명의 일부 실시예를 나타내며, 본 발명의 기술 분야의 통상의 지식을 가진 자는 창의적인 노동을 거치지 않고서도 이러한 첨부도면을 기초로 다른 첨부도면을 얻을 수 있다.
도 1은 본 발명의 실시예에 의해 제공되는 전자 장치의 구조도이다.
도 2는 본 발명의 실시예에 의해 제공되는 디스플레이 스크린의 구조도이다.
도 3은 본 발명의 실시예에 의해 제공되는 영상 처리 방법의 흐름도이다.
도 4는 본 발명의 실시예에 의해 제공되는 원시 회절 영상의 개략도이다.
도 5는 본 발명의 실시예에 의해 제공되는 대상 표준 영상의 개략도이다.
도 6은 본 발명의 실시예에 의해 제공되는 영상 처리 모델 훈련 방법의 흐름도이다.
도 7은 본 발명의 실시예에 의해 제공되는 대상 광원 영상의 촬영 장면의 개략도이다.
도 8은 본 발명의 실시예에 의해 제공되는 영상 처리 장치의 구조를 나타낸 블록도이다.
도 9는 본 발명의 실시예에 의해 제공되는 영상 처리 모델 훈련 장치의 구조를 나타낸 블록도이다.
도 10은 본 발명의 실시예에 의해 제공되는 전자 장치의 구조를 나타낸 블록도이다.

본 발명의 실시예의 목적, 기술적 해결책 및 장점을 더욱 명확하게 하기 위해, 이하에서는 첨부도면을 결부하여 본 발명의 기술적 해결책에 대해 명확하고 완전하게 설명하며, 여기에 설명된 실시예는 본 발명의 전부 실시예가 아니고 단지 일부분 실시예이다. 본 발명의 기술 분야의 통상의 지식을 가진 자가 본 발명의 실시예를 기반으로 창의적인 노동을 거치지 않고 얻은 다른 모든 실시예는 모두 본 발명의 보호 범위에 속한다.

일반적으로, 디스플레이 스크린의 발광 유닛의 부화소는 반복적으로 배열되는데, 예를 들어, 복수의 발광 유닛의 각 발광 유닛의 부화소의 배열이 완전히 동일하며, 또는, 복수의 발광 유닛을 하나의 화소 모듈로 사용하고, 복수의 상기 복수 발광 유닛으로 구성된 화소 모듈에서 각 화소 모듈의 부화소의 배열이 완전히 동일하다. 그러나, 언더스크린 카메라의 경우, 외부 대상 광원이 스크린을 투과한 후, 언더스크린 카메라에 의해 수집된 영상에 중심에서부터 외부로 감쇠되는 “빗방울” 모양의 회절 무늬가 생성되며, 카메라로 촬영된 영상이 불균일하게 분포된 흐림 현상이 발생한다. 영상 복원 과정에서 불균일한 회절 무늬는 제거하기 어렵기 때문에, 복원 영상의 선명도 효과가 좋지 못하고 복원 영상의 품질에 크게 영향을 미친다.

언더스크린 카메라의 기술적 해결책에서, 발명자는 연구를 거쳐, 일반적으로 디스플레이 스크린의 구조 방식으로 인해 불균일한 회절 무늬가 형성되는데, 상기 회절 무늬의 규칙성을 정확히 판단할 수 없기 때문에 영상 중의 회절 무늬를 정확히 식별하여 제거할 수 없으며, 대상 광원을 포함하는 영상을 복원하기 어렵고, 복원된 영상의 선명도 효과가 좋지 못하여 복원 영상의 품질에 영향을 미친다는 것을 발견하였다. 따라서, 상기 문제 중 적어도 하나를 개선하기 위해, 본 발명의 실시예는 복원된 영상의 품질을 개선하고 영상의 선명도를 향상시킬 수 있는 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치를 제공하며, 상기 기술은 휴대폰, 컴퓨터, 카메라 및 생체 의학 영상 장비와 같은 다양한 언더스크린 카메라 제품에 적용될 수 있다. 이해의 편의를 위해, 이하에서는 본 발명의 실시예에 대해 상세히 설명한다.

실시예 1:

먼저, 도 1를 참조하여 본 발명의 실시예를 구현하기 위한 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치의 예시적 전자 장치(100)에 대해 설명한다.

도 1은 전자 장치의 구조도이며, 전자 장치(100)는 하나 이상의 프로세서(102), 하나 이상의 저장 장치(104), 입력 장치(106), 출력 장치(108) 및 영상 수집 장치(110)를 포함하고, 이러한 구성 요소는 버스 시스템(112) 및/또는 다른 방식의 연결 기구(미도시)를 통해 서로 연결된다. 도 1에 도시된 전자 장치(100)의 구성 요소와 구조는 예시적인 것으로, 제한적인 것이 아니며, 필요한 경우, 상기 전자 장치는 도 1에 도시된 부분적 구성 요소를 구비하거나 또는 도 1에 도시되지 않은 다른 구성 요소와 구조를 구비할 수도 있다.

상기 프로세서(102)는 중앙 처리 장치(CPU) 또는 데이터 처리 능력 및/또는 명령 실행 능력을 갖는 다른 형태의 처리 장치일 수 있고, 원하는 기능을 수행하도록 상기 전자 장치(100)의 다른 구성 요소를 제어할 수 있다.

상기 저장 장치(104)는 휘발성 메모리 및/또는 비휘발성 메모리와 같은 다양한 형태의 컴퓨터 판독 가능 저장 매체를 포함할 수 있는 하나 이상의 컴퓨터 프로그램 제품을 포함할 수 있다. 상기 휘발성 메모리는, 예를 들면, 랜덤 액세스 메모리(RAM) 및/또는 캐시(cache) 메모리 등을 포함할 수 있다. 상기 비휘발성 메모리는, 예를 들면, 읽기 전용 메모리(ROM), 하드 디스크, 플래시 메모리 등을 포함할 수 있다. 상기 컴퓨터 판독 가능 저장 매체에 하나 이상의 컴퓨터 프로그램 명령이 저장될 수 있고, 프로세서(102)는 상기 프로그램 명령을 실행하여 후술하는 본 발명의 실시예의 클라이언트 기능(프로세서에 의해 구현됨) 및/또는 기타 원하는 기능을 구현할 수 있다. 상기 컴퓨터 판독 가능 저장 매체에는 다양한 애플리케이션 프로그램 및 애플리케이션 프로그램에 의해 사용 및/또는 생성된 데이터 등 각종 데이터가 저장될 수도 있다.

상기 입력 장치(106)는 사용자가 명령을 입력하기 위해 사용하는 장치일 수 있고, 키보드, 마우스, 마이크, 터치 스크린 등 중 하나 이상을 포함할 수 있다.

상기 출력 장치(108)는 다양한 정보(예를 들어, 영상 또는 사운드)를 외부(예를 들어, 사용자)로 출력할 수 있으며, 디스플레이, 스피커 등 중 하나 이상을 포함할 수 있다.

상기 영상 수집 장치(110)는 사용자가 원하는 영상(예를 들어, 사진, 비디오 등)을 캡처하고, 다른 구성 요소에서 사용할 수 있도록, 캡처된 영상을 상기 저장 장치(104)에 저장할 수 있다.

예시적으로, 본 발명의 실시예에 따른 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치를 구현하기 위한 예시적인 전자 장치는 스마트폰, 태블릿 컴퓨터, 컴퓨터와 같은 스마트 단말로 구현될 수 있다.

실시예 2:

본 실시예는 전자 장치에 적용될 수 있는 영상 처리 방법을 제공한다. 본 발명의 기술적 해결책을 더 잘 이해할 수 있도록, 먼저 상기 실시예에 기초하여 전자 장치에 대해 설명한다.

가능한 구조에서, 상기 전자 장치는 디스플레이 스크린을 포함할 수 있으며, 도 2에 도시된 디스플레이 스크린의 구조도를 참조하면, 디스플레이 스크린은 복수의 발광 유닛 및 복수의 투광 영역을 포함할 수 있다. 상기 각 발광 유닛은 미리 설정된 수의 부화소를 포함하며; 도 2의 좌측의 확대된 발광 유닛을 예를 들면, 각 발광 유닛은 R(적색), G(녹색), B(청색) 등 세가지 부화소를 포함할 수 있으며; 물론, 발광 유닛은 R(적색), G(녹색), B(청색), W(백색) 등 네가지 부화소를 포함하는 것과 같이 다른 구성 형태일 수 있고, 본 실시예는 이를 제한하지 않는다.

실제 적용에서, 복수의 발광 유닛은 매트릭스, “品”자형 등 다양한 형태로 배열될 수 있다. 상기 배열 방식이 기존 디스플레이 스크린(즉, 언더스크린 카메라를 고려하지 않은 디스플레이 스크린)에서 발광 유닛의 배열 방식과 동일하기 때문에, 기존 기술을 직접 사용하여 디스플레이 스크린을 제조할 수 있고 가능하게 발생할 수 있는 기술적인 어려움을 피할 수 있으며, 본 실시예의 디스플레이 스크린이 언더스크린 카메라가 장착되지 않은 디스플레이 스크린과 유사한 디스플레이 효과를 얻을 수 있어, 사용자에게 더 나은 시각적 경험을 제공할 수 있다. 물론, 복수의 발광 유닛은 다른 규칙적 또는 불규칙적 방식으로 배열될 수 있으며, 본 발명의 실시예는 이를 제한하지 않는다.

외부 대상 광원이 디스플레이 스크린을 투과 시, 반복하여 배열된 기존 디스플레이 스크린 상의 투광 영역에 불균일한 회절 무늬가 발생하기 쉬워 영상 촬영 효과에 영향을 미친다. 따라서, 복수의 발광 유닛의 복수의 부화소 사이에는 복수의 투광 영역을 형성하기 위한 갭이 존재하고, 복수의 투광 영역에는 적어도 두개의 비(非) 반복 제1 투광 영역이 포함된다.

일부 실시예에서, 동일한 발광 유닛의 복수의 부화소 사이에 상기 갭이 형성되거나 또는 두개의 발광 유닛의 부화소 사이에 갭이 형성될 수 있다. 상기 동일한 발광 유닛 내부의 복수의 부화소에는 연결하여 설치되어 갭이 존재하지 않는 적어도 두개의 부화소가 존재할 수 있다. 상기 서로 인접한 두개의 부화소 사이의 갭에는 하나 이상의 투광부가 존재하거나 존재하지 않을 수 있다. 예시적으로, 복수의 발광 유닛의 복수의 부화소 사이는 서로 분리되고, 상기 복수의 부화소의 분리 영역에 갭이 형성된다. 상기 복수의 제1 발광 유닛의 복수의 부화소의 부분적 부화소 사이의 갭에는 하나 이상의 상기 투광부가 설치된다. 예시적으로, 적어도 하나의 발광 유닛의 복수의 부화소 사이에는 갭이 없고, 에지가 서로 연결되어 있으며; 또는, 서로 다른 발광 유닛의 복수의 부화소가 분리되지 않고 에지의 연결을 통해 배열된다.

예를 들어, 디스플레이 스크린은 발광 유닛과 발광 유닛 사이의 비발광 영역으로 구분되며, 복수의 투광 영역은 비발광 영역에 위치하고, 적어도 두개의 비 반복 제1 투광 영역을 포함한다. 구체적으로, 복수의 제1 투광 영역의 비 반복 분포, 또는 복수의 화소 영역에 대한 복수의 투광 영역의 비 반복 분포 또는 불균일한 분포를 포함할 수 있다.

복수의 제1 투광 영역의 비 반복 분포 방식은 다음 방식 중 하나 이상에 따라 분포될 수 있다. 즉:

첫번째 방식, 적어도 두개의 제1 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

두번째 방식, 각 제1 투광 영역과 다른 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

세번째 방식, 모든 투광 영역은 각각 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 갖는다.

상기 서로 다른 크기 매개변수는 투광 영역의 크기 차이를 가리키며; 서로 다른 형상 매개변수는 원, 직사각형, 다각형과 같은 투광 영역의 각각의 형상 차이를 가리키며; 서로 다른 자세 매개변수는 투광 영역이 가지는 회전 각도를 가리키며; 서로 다른 위치 분포 매개변수는 투광 영역의 배열의 오정렬을 나타내며, 특정 위치 편차를 갖는다.

하나씩 나열하지는 않지만, 투광 영역과 투광 영역 사이의 상대적 위치 관계는 불규칙적이고, 투광 영역과 대응되는 발광 유닛의 각 부화소 사이의 상대적인 위치 관계는 불규칙적이고, 동일한 유형의 부화소(예를 들어, R 부화소) 사이의 상대적 위치 관계는 불규칙적인데, 즉, 투광 영역의 배열은 무작위이고, 비 반복성을 갖는 것을 알 수 있다. 상기 투광 영역과 부화소 사이의 배열 관계는 투광 영역과 부화소가 모두 시각적 수준에서 디스플레이 스크린의 발광면에 있기 때문에 투광 영역과 부화소가 동일한 2차원 평면에 있는 것으로 간주하고, 부화소를 구성하는 캐소드, 애노드 및 발광 물질과 같은 계층적 구조에 대해서는 제한되지 않는다.

또한, 디스플레이 스크린의의 디스플레이 효과를 보장하기 위해, 상기 투광 영역과 부화소는 중첩될 수 없는데, 즉, 복수의 발광 유닛의 임의의 부화소는 복수의 투광 영역의 임의의 투광 영역과 서로 분리된다.

다른 실시예에서, 대상 광원이 디스플레이 스크린을 투과할 때 발생하는 불균일한 회절 무늬를 피하기 위해, 디스플레이 스크린은 적어도 두개의 발광 유닛의 복수의 부화소가 비 반복적으로 분포되도록 설치된다.

발광 유닛의 복수 부화소의 비 반복 분포 방식은 다음 방식 중 하나 이상에 따라 분포될 수 있다. 즉:

첫번째 방식, 적어도 두개의 발광 유닛의 복수의 부화소는 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

두번째 방식, 적어도 두개의 발광 유닛의 복수의 부화소는 다른 발광 유닛의 복수의 부화소와 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;

세번째 방식, 모든 발광 유닛의 복수의 부화소는 모두 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 갖는다.

상기 서로 다른 크기 매개변수는 부화소의 크기 차이를 가리키며; 서로 다른 형상 매개변수는 원, 직사각형, 다각형과 같은 부화소의 각각의 형상 차이를 가리키며; 서로 다른 자세 매개변수는 부화소가 가지는 회전 각도를 가리키며; 서로 다른 위치 분포 매개변수는 부화소의 배열의 오정렬을 나타내며, 특정 위치 편차를 갖는다.

더 나아가, 상기 불균일한 회절 무늬를 피하기 위한 두가지 방식을 결합하여, 비 반복적으로 분포된 복수의 부화소의 갭에 적어도 두개의 비 반복적으로 분포된 투광 영역을 형성할 수 있다.

부화소 사이에 복수의 비 반복 제1 투광 영역을 형상하거나 또는 적어도 두개의 발광 유닛의 복수의 부화소를 비 반복적으로 분포함으로써, 외부 대상 광원이 투광구를 통해 형성된 회절 무늬의 밝기가 균일해지게 할 수 있다. 이 경우, 대상 광원이 디스플레이 스크린을 투과하여 생성한 회절 무늬 영상이 균일하게 분포된 무늬 영상이 되게 함으로써, 언더스크린 카메라가 디스플레이 스크린을 투과하여 촬영한 영상이 균일하게 분포된 흐린 영상을 나타내며; 균일하게 분포된 무늬 영상은 규칙성을 정확하게 판단할 수 있으므로, 영상 처리 과정에 영상 복원의 어려움을 줄이고, 단순한 영상 처리 방법을 통해 상기 흐린 영상을 복원할 수 있다. 대상 광원은 일반적으로 점 광원, 라인 광원 등과 같이 회절되기 쉬운 광원을 선택할 수 있다.

상기와 같은 구조를 가진 디스플레이 스크린에 기초하여, 본 실시예의 전자 장치는 언더 스크린 카메라를 구비한 전자 장치일 수도 있다. 상기 디스플레이 스크린은 OLED 디스플레이 스크린일 수 있고, 언더스크린 카메라는 투명한 OLED 디스플레이 스크린 영역에 위치하는데, 해당 영역은 화면이 표시되지 않을 때 투명 상태가 되어 외부 환경의 빛이 투명한 OLED 디스플레이 스크린을 투과하여 언더스크린 카메라에 도달하게 함으로써, 이미징을 구현한다. 카메라와 OLED디스플레이 스크린 사이의 위치 관계에 따라, 카메라를 OLED디스플레이 스크린의 아래측에 숨겨 설치한 것에 해당하기 때문에, 상기 카메라를 언더스크린 카메라라고 한다. 또한, OLED디스플레이 스크린과 언더스크린 카메라 사이에 회로층 및 기판층과 같은 구조가 설치될 수도 있다.

실제 적용에서, 언더스크린 카메라는 전자 장치 내부의 카메라, 즉 전자 장치, 디스플레이 스크린 및 언더스크린 카메라가 일체로 형성된 구조일 수 있으며; 또한, 언더스크린 카메라는 전자 장치와 독립적으로 설치된 카메라일 수 있는데, 예를 들면, 독립된 카메라 구조 또는 다른 장치 중의 카메라일 수 있고, 즉, 언더스크린 카메라는 디스플레이 스크린을 구비한 전자 장치와 조합된 구조일 수 있다.

본 발명의 실시예는 상기 실시예에 의해 제공된 전자 장치에 적용되는 영상 처리 방법을 제공한다. 도 3에 도시된 영상 처리 방법 흐름도를 참조하면, 상기 방법은 구체적으로 다음 단계 S302 내지 단계 S306을 포함할 수 있다. 즉:

단계 S302, 원시 회절 영상을 획득한다. 상기 원시 회절 영상은 실제 촬영 장면에서 전자 장치에 장착된 언더스크린 카메라를 통해 수집된 영상일 수 있다. 언더스크린 카메라가 디스플레이 스크린의 아래측에 설치되기 때문에, 언더스크린 카메라가 디스플레이 스크린을 투과하여 원시 회절 영상을 촬영한다고 간주할 수 있다. 상기 촬영 장면은 대상 광원이 존재하는 장면과 같이 빛이 있는 모든 장면일 수 있다. 대상 광원이 존재하는 촬영 장면을 예를 들면, 도 4에 도시된 바와 같은 원시 회절 영상의 개략도를 제공할 수 있는데, 상기 원시 회절 영상에서 대상 광원 영역에는 회절 무늬가 현저하게 발생하고, 원시 회절 영상 전체가 흐려져 있다. 물론, 회절의 물리적 의미에 따르면, 대상 광원이 없는 촬영 장면에서 언더스크린 카메라로 촬영한 원시 회절 영상에도 회절 무늬가 나타나는 것으로 이해될 수 있다.

단계 S304, 원시 회절 영상을 영상 처리 모델에 입력한다. 상기 영상 처리 모델은 예를 들면 LeNet, R-CNN(Region-CNN) 또는 Resnet 등과 같은 신경망 모델이다.

실제 적용에서, 영상 처리 모델은 영상 샘플 쌍을 기반으로 미리 훈련하여 얻어지며; 영상 샘플 쌍에는 동일한 장면에 해당하는 샘플 표준 영상과 샘플 회절 영상이 포함된다. 샘플 표준 영상은 온스크린 카메라를 통해 지정된 장면을 촬영하여 얻은 영상으로 이해될 수 있으며; 상기 온스크린 카메라는 단순히 디스플레이 스크린 상에 설치된 카메라로 간주되어서는 안되며, 온스크린 카메라는 위에서 언급한 언더스크린 카메라에 대비하여 정의된 “온스크린”이다. 일반적으로, 온스크린 카메라는 비디오 카메라, 휴대폰의 후면 카메라 등과 같은 생활 응용 분야의 기존 촬영 장치일 수 있다. 샘플 표준 영상은 온스크린 카메라로 촬영한 영상이기 때문에, 샘플 표준 영상을 온스크린 영상이라고도 하며; 온스크린 카메라는 촬영에 대한 디스플레이 스크린의 불리한 영향을 받지 않기 때문에, 그 샘플 표준 영상은 선명도가 좋은 고품질 영상이다.

샘플 회절 영상은 상기 샘플 표준 영상을 기반으로 언더스크린 카메라를 시뮬레이션하여 특정 장면을 촬영하여 얻은 영상이며, 또는 언더스크린 카메라를 통해 특정 장면을 촬영하여 얻은 영상이다. 샘플 회절 영상은 언더스크린 카메라로 촬영하거나 또는 언더스크린 카메라를 시물레이션하여 촬영한 영상이기 때문에, 샘플 회절 영상을 언더스크린 영상이라고도 하며, 상기 샘플 회절 영상은 일반적으로 회절 무늬를 포함하는 흐린 영상이다.

본 단계에서 샘플 회절 영상을 촬영하여 얻기 위한 언더스크린 카메라는 단계 S302에서 원시 회절 영상의 수집을 위해 사용되는 언더스크린 카메라와 동일한 언더스크린 카메라가 아닐 수 있다.

단계 S306, 영상 처리 모델을 통해 원시 회절 영상에 대해 복원 처리를 수행하여, 원시 회절 영상에 대응하는 대상 표준 영상을 획득한다.

가능한 구현 방식에서, 영상 처리 모델을 통해 원시 회절 영상 중의 회절 무늬를 제거하고, 회절 무늬가 제거된 영상을 복원하여 선명도가 높은 대상 표준 영상을 획득할 수 있다. 얻어진 대상 표준 영상은 도 5를 참조할 수 있으며, 원시 회절 영상에 대응한 복원 영상의 선명도가 현저하게 향상된다.

본 발명의 실시예에 의해 제공되는 상기 영상 처리 방법은 영상 처리 모델을 사용하여 원시 회절 영상을 직접 복원할 수 있기 때문에, 영상 복원 방법을 단순화하고 복원된 대상 표준 영상의 선명도를 향상함으로써, 디스플레이 스크린의 영상 표시 효과를 효과적으로 개선할 수 있다.

이해를 돕기 위해, 본 실시예는 상기 단계 S306의 원시 회절 영상의 복원 방법에 대해 설명한다. 영상 처리 모델은 미리 설정된 영상 복원 알고리즘(예를 들어, Wiener 필터, 일반 필터, 블라인드 영역 컨볼루션 등)을 기반으로, 입력된 원시 회절 영상을 복원하여 대상 표준 영상을 얻을 수 있다.

대상 광원을 포함하지 않는 원시 회절 영상에 비해, 대상 광원을 포함하는 원시 회절 영상에 회절 무늬가 발생하는 현상이 더 현저한데, 대상 광원을 포함하는 원시 회절 영상의 복원 효과를 향상시키기 위해, 본 실시예는 다른 원시 회절 영상의 복원 방법을 제공할 수 있으며, 다음의 단계(1) 내지 단계(3)을 참조할 수 있다. 즉:

(1) 영상 처리 모델을 통해 원시 회절 영상 중 각 화소점의 밝기값을 검출한다.

(2) 검출된 밝기값을 기반으로, 원시 회절 영상 중에 포함된 대상 광원의 스팟(spot) 영역을 결정한다. 특정 구현에서, 먼저 검출된 밝기값이 미리 설정된 밝기 임계값보다 큰 화소점의 위치에 따라, 원시 회절 영상의 밝기 영역을 결정하며; 그 다음에, 밝기 영역의 외접원의 반경이 미리 설정된 반경보다 큰지 여부를 판단한다. 밝기 영역의 외접원의 반경이 미리 설정된 반경(예를 들어, r＞2mm)보다 크면, 상기 밝기 영역이 대상 광원을 포함한 영역일 가능성이 크다는 것을 나타내며, 상기 밝기 영역을 대상 광원이 포함된 스팟(spot) 영역으로 결정한다. 밝기 영역의 외접원의 반경이 미리 설정된 반경보다 작으면, 상기 밝기 영역이 노이즈 또는 다른 간섭 광선에 의해 발생한 것임을 나타내며, 상기 밝기 영역을 스팟(spot) 영역으로 결정하지 않는다.

(3) 스팟(spot) 영역을 기반으로, 원시 회절 영상에 대해 복원 처리를 수행하여 원시 회절 영상에 대응하는 대상 표준 영상을 획득한다.

가능한 구현 방식에서, 다음의 구체적인 단계를 통해 복원 처리를 수행할 수 있다. 즉: 먼저, 스팟(spot) 영역의 회절 무늬를 제거하여 원시 회절 영상에 대응하는 복원 대상 영상을 획득한다. 하나의 원시 회절 영상에 적어도 하나의 스팟(spot) 영역이 존재할 수 있으며, 각 스팟(spot) 영역의 회절 무늬를 제거하여 원시 회절 영상에 대응하는 복원 대상 영상을 획득한다. 디스플레이 스크린에서 투광 영역과 부화소가 비 반복적으로 배열되기 때문에, 회절 무늬는 밝기가 균일하게 분포된 무늬를 나타내며, 회절 무늬를 제거하는 어려움을 효과적으로 줄인다.

그 다음에, 복원 대상 영상에 대해 선명도 처리를 수행하여 대상 표준 영상을 획득한다. 실제 적용에서, Lucy-Richardson 영상 복원 방법, Wiener 필터링 또는 한정 최소 자승 필터 등 다양한 방법으로 복원 대상 영상에 대해 선명도 처리를 수행하여 화질이 더 좋고 선명도가 더 높은 대상 표준 영상을 획득할 수 있다.

상술한 바와 같이, 본 실시예에 의해 제공되는 상기 영상 처리 방법은 영상 처리 모델을 사용하여 원시 회절 영상을 직접 복원할 수 있기 때문에, 영상 복원 방법을 단순화하고 복원된 대상 표준 영상의 선명도를 향상함으로써, 디스플레이 스크린의 영상 표시 효과를 효과적으로 개선할 수 있다. 또한, 상기에 적용된 전자 장치에 기반하면, 상기 전자 장치의 디스플레이 스크린은 비 반복 투광 영역을 가져 복원 처리가 용이한 원시 회절 영상을 획득할 수 있으며, 영상 처리 모델을 통해 원시 회절 영상을 복원하면 복원된 영상의 선명도와 디스플레이 스크린의 표시 효과를 향상할 수 있을 뿐만 아니라, 복원 처리가 용이한 원시 회절 영상을 기반으로, 영상 복원 효과를 효과적으로 향상할 수 있다.

영상 처리 모델을 원시 회절 영상의 복원에 직접 사용하여 선명한 대상 표준 영상을 획득하기 위해, 상기 영상 처리 모델을 사전에 미리 훈련하여 영상 처리 모델의 요구 사항을 충족하는 매개변수를 최종적으로 결정해야 한다. 훈련을 통해 얻은 매개변수를 사용하면, 영상 처리 모델을 통해 원시 회절 영상을 복원할 때 예상된 영상 품질 요구 사항을 충족하는 결과를 얻을 수 있다. 본 실시예는 영상 처리 모델 훈련 방법을 제공하며, 도 6에 도시된 영상 처리 모델의 훈련 흐름도를 참조하면, 상기 방법은 구체적으로 다음 단계 S602 내지 단계 S610를 포함한다. 즉:

단계 S602, 샘플 표준 영상과 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하는 영상 샘플 쌍을 획득한다. 일 실시예에서, 영상 샘플 쌍은 온스크린 카메라를 통해 특정 장면을 촬영한 샘플 표준 영상과 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하며, 샘플 회절 영상은 샘플 표준 영상을 기반으로 언더스크린 카메라를 시뮬레이션하여 특정 장면을 촬영하여 얻은 영상이며, 또는 언더스크린 카메라를 통해 특정 장면을 촬영하여 얻은 영상이며, 샘플 표준 영상과 샘플 회절 영상에 대응하는 특정 장면은 동일한 장면인 것으로 이해될 수 있다.

본 단계는 영상 처리 모델 훈련의 준비 단계에 속하며, 본 단계의 목적은 영상 샘플 쌍을 준비하는 것이다. 기존에 사용 가능한 영상 샘플 쌍이 있으면, 본 단계를 뛰어 넘어 직접 단계 S604를 수행할 수 있다.

단계 S604, 영상 처리 모델에 영상 샘플 쌍을 입력한다.

상기 실시예를 참조하면, 영상 샘플 쌍은 샘플 표준 영상과 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하는데, 예를 들면, 상기 샘플 표준 영상과 샘플 회절 영상은 동일한 장면에 해당하는 온스크린 영상 및 언더스크린 영상이다.

단계 S606, 영상 처리 모델을 통해 샘플 회절 영상에 대해 복원 처리를 수행하여 샘플 회절 영상의 복원 영상을 획득한다.

단계 S608, 복원 영상과 샘플 표준 영상에 따라, 영상 처리 모델에 대응하는 손실 함수값을 결정한다.

구체적으로, 복원 영상과 샘플 표준 영상 사이의 유사도를 계산하고, 유사도에 따라 영상 처리 모델에 대응하는 손실 함수값을 결정할 수 있다. 특정 구현 시, 코사인 유사도 알고리즘, 히스토그램 알고리즘 또는 구조적 유사도 측정 알고리즘과 같은 다양한 유사도 알고리즘을 사용하여 복원 영상과 샘플 표준 영상 간의 유사도를 계산할 수 있다.

단계 S610, 손실 함수값에 따라, 영상 처리 모델의 매개변수를 반복적으로 업데이트한다.

매개변수의 업데이트를 한번만 수행하면 영상 처리 모델이 예상 효과에 도달하지 못할 수 있기 때문에, 반복적으로 업데이트를 수행한다. 구체적으로, 먼저 손실 함수값이 미리 설정된 값으로 수렴하는지 또는 반복 업데이트가 미리 설정된 횟수에 도달하는지 여부를 판단한다. 손실 함수값이 미리 설정된 값으로 수렴하거나 또는 반복 업데이트가 미리 설정된 횟수에 도달한 경우, 훈련을 종료하고, 훈련된 영상 처리 모델을 얻을 수 있다.

예를 들어, 먼저 손실 함수값이 미리 설정된 값으로 수렴하는지 판단한다. 미리 설정된 값으로 수렴되면, 훈련을 종료하고, 훈련된 영상 처리 모델을 얻으며; 미리 설정된 값으로 수렴되지 않으면, 영상 처리 모델의 매개변수를 계속하여 반복적으로 업데이트한다. 또한, 반복 횟수를 설정할 수 있으며, 미리 설정된 반복 횟수에 도달하고, 손실 함수값이 미리 설정된 값으로 감소되면 훈련을 종료한다.

또한, 손실 함수값의 수렴 상황과 반복 횟수를 통합적으로 고려할 수 있으며, 반드시 손실 함수값이 미리 설정된 값으로 수렴되고, 반복 업데이트가 미리 설정된 횟수에 도달하는 경우에만 훈련을 종료할 수 있다.

본 실시예에 의해 제공되는 상기 훈련 방법에서, 대응 관계를 갖는 샘플 표준 영상과 샘플 회절 영상을 훈련 데이터로 사용하여 영상 샘플 쌍에서 두 영상 간의 차이를 줄이고, 영상 샘플 쌍의 품질을 향상시키며; 높은 품질의 영상 샘플 쌍을 통해 영상 처리 모델의 훈련 효과를 향상시키는 동시에, 유사도를 손실 함수값으로 사용함으로써, 손실 함수를 계산하는 어려움을 줄이고, 영상 처리 모델의 훈련 효율과 정확도를 향상시킬 수 있다.

상기 영상 처리 모델의 훈련 과정에 대량의 높은 품질의 다양한 영상 샘플 쌍을 훈련 데이터로 사용해야 하므로, 본 실시예는 두가지 영상 샘플 쌍의 획득 방법을 제공한다.

획득 방법 1, 온스크린 카메라를 통해 미리 설정된 촬영 각도에 따라 특정 장면을 촬영하여 샘플 표준 영상을 획득하며; 언더스크린 카메라를 통해 촬영 각도에 따라 특정 장면을 촬영하여 샘플 회절 영상을 획득한다.

상기 영상 샘플 쌍의 획득 방법에서, 온스크린 카메라와 언더스크린 카메라의 촬영 각도, 촬영의 특정 장면이 모두 동일하고, 얻어진 샘플 표준 영상과 샘플 회절 영상이 기본적으로 동일하기 때문에, 영상 처리 모델의 훈련 데이터로 사용할 수 있다. 상기 획득 방법은 조작이 간편하고, 사용자의 작업 능력에 대한 요구가 낮다.

획득 방법 2: 샘플 표준 영상과 샘플 회절 영상이 영상의 내용, 촬영 각도 등 차이로 인해 영상 처리 모델의 훈련 효과에 불리한 영향을 미치고, 실제 적용에서 복원된 영상의 품질이 좋지 않은 것을 감안한다. 상기 문제를 피하기 위해, 본 실시예는 다음 방법을 참조하여, 일치도가 높은 샘플 표준 영상 및 샘플 회절 영상을 획득한다. 즉:

먼저, 온스크린 카메라를 통해 특정 장면을 촬영하여 샘플 표준 영상을 획득한다. 그 다음에, 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 어두운 배경의 대상 광원을 촬영하여 대상 광원 영상을 획득하며; 샘플 회절 영상과 언더스크린 카메라로 촬영한 실제 언더스크린 영상 사이의 시뮬레이션 충실도를 향상하기 위해, 디스플레이 스크린은 전자 장치의 디스플레이 스크린과 동일한 디스플레이 스크린을 사용한다. 마지막으로, 대상 광원 영상과 샘플 표준 영상에 대해 컨볼루션을 수행하여 샘플 회절 영상을 획득한다.

상기 방법에서, 샘플 표준 영상을 기반으로 언더스크린 영상을 시뮬레이션한 샘플 회절 영상을 생성하면, 샘플 표준 영상과 샘플 회절 영상 사이의 차이를 피함으로써, 상기 영상 샘플 쌍을 기반으로 훈련된 영상 처리 모델이 더 좋은 복원 효과를 가지도록 하고, 복원 영상의 선명도와 영상 품질을 향상할 수 있다.

후보 대상 광원 영상을 더 잘 이해할 수 있도록, 후보 대상 광원 영상의 획득 방법을 제공한다. 도 7에 도시된 대상 광원 영상 촬영 장면의 개략도를 참조하면, 온스크린 카메라, 디스플레이 스크린 및 대상 광원이 순차적으로 도시되며; 상기 온스크린 카메라와 디스플레이 스크린은 언더스크린 카메라를 시뮬레이션하여 디스플레이 스크린을 투과하여 촬영하는 방법에 해당한다. 도 7에 도시된 장면을 참조하면, 후보 대상 광원 영상을 획득하는 방법은, 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 미리 설정된 방식의 대상 광원을 촬영하여 후보 대상 광원 영상을 획득하는 방법을 포함하며, 상기 미리 설정된 방식은 어두운 배경에서 적어도 하나의 대상 광원을 공간적으로 배열하는 방식이며, 서로 다른 상기 미리 설정된 방식에서, 대상 광원의 수 및/또는 대상 광원의 공간적 배열 방식은 서로 다르다. 상기 미리 설정된 방식 1은, 어두운 배경 중의 하나의 대상 광원에 대해, 상기 대상 광원의 공간 배열 방식은 디스플레이 스크린과 지정된 거리만큼 떨어져 있는 것이며; 미리 설정된 방식 2는, 어두운 배경 중의 3개의 대상 광원에 대해, 3개의 대상 광원의 공간 배열 방식은 특정 거리에 따라 열, 행 또는 삼각형으로 배열되는 것이며; 미리 설정된 방식 3은, 어두운 배경 중의 n(n은 1보다 큰 임의의 값)개 대상 광원에 대해, n개 대상 광원의 공간 배열 방식은 여러 열에 배열되거나 무작위로 분포되는 등 다양한 방식을 포함한다. 실제 생활 장면(예를 들어, 사무실 장면, 가정 생활 장면, 야외 장면 등)에 따라 다양한 사전 설정 방식을 제공하여, 각 사전 설정 방식에 해당하는 후보 대상 광원 영상을 얻을 수 있으므로, 후보 대상 광원 영상의 다양성을 향상할 수 있다.

후보 대상 광원 영상 중의 적어도 하나의 후보 대상 광원 영상을 대상 광원 영상으로 결정한다. 후보 대상 광원 영상의 다양성을 기반으로, 서로 다른 후보 대상 광원 영상과 서로 다른 특정 장면의 샘플 표준 영상 사이에는 다양한 조합이 있으므로, 쉽고 빠르게 대량의 영상 샘플 쌍을 획득하여 영상 샘플 쌍의 수량과 다양성을 향상하고, 다양한 영상 샘플 쌍을 기반으로 영상 처리 모델의 영상 복원 효과를 향상시킬 수 있다. 다른 구현 방식에서, 복수의 후보 대상 광원 영상을 대상 광원 영상으로 결정할 수도 있다.

실제 적용에서, 대상 광원 영상의 노이즈를 제거할 수 있고, 노이즈가 제거된 대상 광원 영상과 샘플 표준 영상을 컨볼루션하여 더 나은 품질의 샘플 회절 영상을 얻을 수 있다.

상술한 바와 같이, 본 실시예에서 획득한 영상 샘플 쌍은 고품질과 다양성의 특성을 가져 영상 처리 모델의 훈련에 유리하며, 실제 적용에서 영상 처리 모델의 영상 복원 효과를 향상시키고, 복원된 영상의 선명도와 화질을 효과적으로 개선할 수 있다.

실시예 3:

상기 실시예에서 제공되는 영상 처리 방법을 기반으로, 본 실시예는 영상 처리 장치를 제공하며, 도 8에 도시된 영상 처리 장치의 구조를 나타낸 블록도를 참조하면, 상기 장치는 언더스크린 카메라가 장착된 전자 장치에 적용되며, 상기 장치는,

원시 회절 영상을 획득하기 위한 영상 수집 모듈(802);

원시 회절 영상을 영상 처리 모델에 입력하기 위한 영상 입력 모듈(804); 및,

영상 처리 모델을 통해 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하기 위한 영상 복원 모듈(806);을 포함한다.

본 발명의 실시예에 의해 제공되는 상기 영상 처리 장치는, 영상 처리 모델을 사용하여 원시 회절 영상을 직접 복원할 수 있기 때문에, 영상 복원 방법을 단순화하고 복원된 대상 표준 영상의 선명도를 향상함으로써, 디스플레이 스크린의 영상 표시 효과를 효과적으로 개선할 수 있다.

일부 실시예에서, 상기 영상 복원 모듈(806)은 또한 영상 처리 모델을 통해 원시 회절 영상 중 각 화소점의 밝기값를 검출하며; 검출된 밝기값을 기반으로 원시 회절 영상 중에 포함된 대상 광원의 스팟(spot) 영역을 결정하며; 스팟(spot) 영역을 기반으로, 원시 회절 영상에 대해 복원 처리를 수행하여, 원시 회절 영상에 대응하는 대상 표준 영상을 획득한다.

일부 실시예에서, 상기 영상 복원 모듈(806)은 또한 스팟(spot) 영역의 회절 무늬를 제거하여 원시 회절 영상에 대응하는 복원 대상 영상을 획득하며; 복원 대상 영상에 대해 선명도 처리를 수행하여 대상 표준 영상을 획득한다.

일부 실시예에서, 상기 영상복원 모듈(806)은 또한 검출된 밝기값이 미리 설정된 밝기 임계값보다 큰 화소점의 위치에 따라, 원시 회절 영상의 밝기 영역을 결정하며; 밝기 영역의 외접원의 반경이 미리 설정된 반경보다 큰지 여부를 판단하며; 설정된 반경보다 크면, 밝기 영역을 대상 광원을 포함하는 스팟(spot) 영역으로 결정한다.

일부 실시예에서, 상기 영상 수집 모듈(802)은 또한 전자 장치에 제공된 언더스크린 카메라를 통해 원시 회절 영상을 수집한다.

일부 실시예에서, 상기 영상 처리 모델은 영상 샘플 쌍을 기반으로 훈련하여 얻은 것이고, 영상 샘플 쌍은 온스크린 카메라를 통해 특정 장면을 촬영한 샘플 표준 영상과 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하며; 상기 샘플 회절 영상은 샘플 표준 영상을 기반으로 언더스크린 카메라를 시뮬레이션하여 특정 장면을 촬영하여 얻은 영상이며, 또는 언더스크린 카메라를 통해 특정 장면을 촬영하여 얻은 영상이다.

일부 실시예에서, 상기 전자 장치는 복수의 발광 유닛 및 복수의 투광 영역을 포함하는 디스플레이 스크린을 포함하며; 각 발광 유닛은 미리 설정된 수의 부화소를 포함하며; 대상 광원이 디스플레이 스크린을 투과하여 생성한 회절 무늬 영상이 균일하게 분포된 무늬 영상이 되도록, 복수의 투광 영역은 복수의 발광 유닛의 부화소 사이에 비 반복적으로 배열된다.

일부 실시예에서, 상기 복수의 발광 유닛의 임의의 하나의 부화소는 투광 영역의 임의의 하나의 투광 영역과 서로 분리되어 있다.

일부 실시예에서, 상기 전자 장치는 언더스크린 카메라가 장착된 전자 장치이다.

본 실시예에 의해 제공되는 장치의 구현 원리와 기술적 효과는 전술한 실시예 2에 따른 영상 처리 방법과 동일하며, 설명의 단순화를 위해, 본 실시예에서 언급되지 않은 부분은 전술한 실시예 2의 해당 내용을 참조할 수 있다.

실시예 4:

상기 실시예에 의해 제공되는 영상 처리 모델 훈련 방법을 기반으로, 본 실시예는 영상 처리 모델 훈련 장치를 제공하며, 도 9에 도시된 영상 처리 모델 훈련 장치의 구조를 나타낸 블록도를 참조하면, 상기 장치는,

영상 처리 모델에 샘플 표준 영상과 상기 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하는 영상 샘플 쌍을 입력하기 위한 입력 모듈(904);

영상 처리 모델을 통해 샘플 회절 영상에 대해 복원 처리를 수행하여 샘플 회절 영상의 복원 영상을 획득하기 위한 복원 모듈(906);

상기 복원 영상과 상기 샘플 표준 영상에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하기 위한 계산 모듈(908); 및,

상기 손실 함수값에 따라, 상기 영상 처리 모델의 매개변수를 반복적으로 업데이트하기 위한 업데이트 모듈(910);을 포함한다.

본 실시예에 의해 제공되는 상기 영상 처리 모델 훈련 장치는, 대응 관계를 갖는 샘플 표준 영상과 샘플 회절 영상을 훈련 데이터로 사용하여 영상 샘플 쌍에서 두 영상 간의 차이를 줄이고, 영상 샘플 쌍의 품질을 향상시키며; 높은 품질의 영상 샘플 쌍을 통해 영상 처리 모델의 훈련 효과를 향상시키는 동시에, 유사도를 손실 함수값으로 사용함으로써, 손실 함수를 계산하는 어려움을 줄이고, 영상 처리 모델의 훈련 효율과 정확도를 향상시킬 수 있다.

일부 실시예에서, 상기 훈련 장치는, 온스크린 카메라를 통해 특정 장면을 촬영하여 샘플 표준 영상을 획득하고, 후보 대상 광원 영상 중 적어도 하나의 후보 대상 광원 영상을 대상 광원 영상으로 결정하기 위한 획득 모듈(902);을 더 포함할 수 있으며, 상기 후보 대상 광원 영상은 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 어두운 배경의 대상 광원을 촬영하여 획득한 영상이며; 대상 광원 영상과 샘플 표준 영상에 대해 컨볼루션을 수행하여 샘플 회절 영상을 획득한다.

일부 실시예에서, 상기 훈련 데이터 획득 모듈(902)은 또한 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 미리 설정된 방식의 대상 광원을 촬영하여 복수의 후보 대상 광원 영상을 획득하며, 상기 미리 설정된 방식은 어두운 배경에서 적어도 하나의 대상 광원을 공간적으로 배열하는 방식이며, 서로 다른 미리 설정된 방식에서, 대상 광원의 수 및/또는 대상 광원의 공간적 배열 방식은 서로 다르고, 서로 다른 미리 설정된 방식에 대응하는 후보 대상 광원 영상이 서로 다르다.

일부 실시예에서, 상기 훈련 데이터 획득 모듈(902)은 또한 대상 광원 영상 또는 후보 대상 광원 영상에 대해 노이즈 제거 처리를 수행한다.

일부 실시예에서, 상기 디스플레이 스크린은 실시예 2의 영상 처리 방법에서 전자 장치의 디스플레이 스크린과 동일한 디스플레이 스크린이다.

일부 실시예에서, 상기 훈련 데이터 획득 모듈(902)은 또한 온스크린 카메라를 통해 미리 설정된 촬영 각도에 따라 특정 장면을 촬영하여 샘플 표준 영상을 획득하며; 언더스크린 카메라를 통해 촬영 각도에 따라 특정 장면을 촬영하여 샘플 회절 영상을 획득한다.

본 실시예에 의해 제공되는 장치의 구현 원리와 기술적 효과는 전술한 실시예 2에 따른 영상 처리 모델 훈련 방법과 동일하며, 설명의 단순화를 위해, 본 실시예에서 언급되지 않은 부분은 전술한 실시예 2의 해당 내용을 참조할 수 있다.

실시예 5:

상기 실시예를 기반으로, 본 실시예는 영상 처리 시스템을 제공하며, 상기 시스템은 프로세서와, 컴퓨터 프로그램이 저장되는 저장 장치를 포함하며, 컴퓨터 프로그램이 프로세서에 의해 실행됨으로써, 실시예 2에 따른 영상 처리 방법 또는 실시예 2에 따른 영상 처리 모델 훈련 방법이 수행된다.

본 발명의 기술 분야의 통상의 지식을 가진 자는 상술한 시스템의 구체적인 동작 과정에 대해서는 상기 방법 실시예의 해당 과정을 참조할수 있다는 것을 충분히 이해할 수 있을 것이며, 설명의 편의와 간결성을 위해, 여기서는 상세한 설명을 생략한다.

실시예 6:

도 10을 참조하면, 상기 실시예를 기반으로, 본 실시예는 디스플레이 스크린 및 언더스크린 카메라를 포함하는 전자 장치를 제공하며, 상기 전자 장치는 상기 실시예에 의해 제공되는 영상 처리 시스템을 더 포함한다. 디스플레이 스크린은 복수의 발광 유닛 및 복수의 투광 영역을 포함하고, 각 발광 유닛은 복수의 부화소를 포함한다.

더 나아가, 복수의 발광 유닛의 복수의 부화소 사이에는 복수의 투광 영역을 형성하기 위한 갭이 존재하고, 복수의 투광 영역에는 적어도 두개의 비 반복 제1 투광 영역이 포함된다.

더 나아가, 적어도 두개의 발광 유닛의 복수의 부화소는 비 반복적으로 분포된다.

본 발명의 기술 분야의 통상의 지식을 가진 자는 상술한 시스템의 구체적인 동작 과정에 대해서는 상기 방법 실시예의 해당 과정을 참조할수 있다는 것을 충분히 이해할 수 있을 것이며, 설명의 편의와 간결성을 위해, 여기서는 상세한 설명을 생략한다.

더 나아가, 본 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하며, 컴퓨터 프로그램이 프로세서에 의해 실행됨으로써, 상기 실시예 2에 따른 영상 처리 방법의 단계 또는 실시예 2에 따른 영상 처리 모델 훈련 방법의 단계가 수행된다.

본 발명의 실시예에 의해 제공되는 영상 처리 방법 및 장치, 영상 처리 모델 훈련 방법 및 장치의 컴퓨터 프로그램 제품은 프로그램 코드가 저장된 컴퓨터 판독 가능 저장 매체를 포함하며, 프로그램 코드에 포함된 명령은 전술한 방법 실시예의 영상 처리 방법 또는 전술한 영상 처리 모델 훈련 방법을 수행하기 위해 사용되고, 구체적인 구현은 방법 실시예를 참조할 수 있으며, 여기서는 상세한 설명을 생략한다.

상기 영상 처리 방법 또는 상기 영상 처리 모델 훈련 방법에 필요한 기능이 소프트웨어 기능 유닛의 형태로 구현되고 또한 독립적인 제품으로서 판매 또는 사용되는 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기초하면, 본 발명의 기술적 해결책의 본질적 부분 또는 종래기술에 기여한 부분 또는 해당 기술적 해결책의 전부 또는 일부분을 소프트웨어 제품의 형태로 구현할 수 있고, 해당 컴퓨터 소프트웨어 제품을 복수의 명령을 포함해 하나의 저장 매체에 저장함으로써 컴퓨터 기기(개인용 컴퓨터, 서버, 또는 네트워크 장치 등)가 본 발명의 각 실시예에 따른 방법의 전체 또는 일부 단계를 수행할 수 있도록 한다. 상기 저장 매체에는 U 디스크, 모바일 하드디스크, 읽기 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리 (RAM, Random Access Memory) 하드 디스크, 자기 디스크 및 광 디스크 등 프로그램 코드가 저장될 수 있는 다양한 매체가 포함된다.

본 발명의 실시예는 또한 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 판독 가능 코드가 컴퓨팅 처리 장치에서 실행됨으로써, 상기 컴퓨팅 처리 장치에 의해 상기 영상 처리 방법 또는 상기 영상 처리 모델 훈련 방법이 수행된다.

마지막으로, 상기 실시예는 본 발명의 특정 구현 방식으로서, 본 발명의 기술적 해결책을 설명하기 위한 것이고, 본 발명을 제한하는 것이 아니며, 본 발명의 보호 범위는 여기에 제한되지 않으며; 전술한 실시예를 참조하여 본 발명에 대해 상세히 설명하였지만, 당업자는 본 발명의 기술 범위 내에서 전술한 실시예에 기재된 기술적 해결책에 대해 수정하거나 또는 부분적 기술적 특징에 대해 동등한 대체를 실시할 수 있으며; 이러한 수정, 변경 또는 대체에 의해 해당 기술적 해결책이 본질적으로 본 발명의 실시예의 기술적 해결책의 사상과 범위를 벗어나지 않으며, 본 발명의 보호 범위에 포함된다. 따라서, 본 발명의 보호 범위는 상기 특허청구범위를 기준으로 한다.

Claims (29)

1. 전자 장치에 적용되는 영상 처리 방법에 있어서,
   원시 회절 영상을 획득하는 단계;
   상기 원시 회절 영상을 영상 처리 모델에 입력하는 단계; 및,
   상기 영상 처리 모델을 통해 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
2. 제1항에 있어서,
   상기 영상 처리 모델을 통해 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하는 단계는,
   상기 영상 처리 모델을 통해 상기 원시 회절 영상 중 각 화소점의 밝기값를 검출하는 단계;
   검출된 밝기값을 기반으로 상기 원시 회절 영상 중에 포함된 대상 광원의 스팟(spot) 영역을 결정하는 단계; 및,
   상기 스팟(spot) 영역을 기반으로 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
3. 제2항에 있어서,
   상기 스팟(spot) 영역을 기반으로 상기 원시 회절 영상에 대해 복원 처리를 수행하는 단계는,
   상기 스팟(spot) 영역의 회절 무늬를 제거하여 상기 원시 회절 영상에 대응하는 복원 대상 영상을 획득하는 단계; 및,
   상기 복원 대상 영상에 대해 선명도 처리를 수행하여, 대상 표준 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
4. 제2항에 있어서,
   상기 검출된 밝기값을 기반으로 상기 원시 회절 영상 중에 포함된 대상 광원의 스팟(spot) 영역을 결정하는 단계는,
   검출된 밝기값이 미리 설정된 밝기 임계값보다 큰 화소점의 위치에 따라, 상기 원시 회절 영상의 밝기 영역을 결정하는 단계;
   상기 밝기 영역의 외접원의 반경이 미리 설정된 반경보다 큰지 여부를 판단하는 단계; 및,
   미리 설정된 반경보다 크면, 상기 밝기 영역을 대상 광원을 포함하는 스팟(spot) 영역으로 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
5. 제1항에 있어서,
   상기 원시 회절 영상을 획득하는 단계는,
   상기 전자 장치에 제공된 언더스크린 카메라를 통해 상기 원시 회절 영상을 수집하는 단계;를 포함하는 것을 특징으로 하는 방법.
6. 제1항에 있어서,
   상기 영상 처리 모델은 영상 샘플 쌍을 기반으로 훈련하여 얻은 것이고, 상기 영상 샘플 쌍은 온스크린 카메라를 통해 특정 장면을 촬영한 샘플 표준 영상과 상기 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하며; 상기 샘플 회절 영상은 상기 샘플 표준 영상을 기반으로 언더스크린 카메라를 시뮬레이션하여 특정 장면을 촬영하여 얻은 영상이며, 및/또는 언더스크린 카메라를 통해 특정 장면을 촬영하여 얻은 영상인 것을 특징으로 하는 방법.
7. 제1항에 있어서,
   상기 전자 장치는 복수의 발광 유닛과 복수의 투광 영역을 포함하는 디스플레이 스크린을 포함하며; 상기 각 발광 유닛은 미리 설정된 수의 부화소를 포함하며; 상기 복수의 발광 유닛의 복수의 부화소 사이에는 상기 복수의 투광 영역을 형성하기 위한 갭이 존재하고, 상기 복수의 투광 영역에는 적어도 두개의 비(非) 반복 제1 투광 영역이 포함되는 것을 특징으로 하는 방법.
8. 제7항에 있어서,
   복수의 상기 발광 유닛의 임의의 하나의 부화소는 복수의 상기 투광 영역의 임의의 하나의 투광 영역과 서로 분리되어 있는 것을 특징으로 하는 방법.
9. 제7항에 있어서,
   상기 적어도 두개의 비 반복 제1 투광 영역은 다음의 투광 영역, 즉:
   적어도 두개의 상기 제1 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;
   상기 각 제1 투광 영역과 다른 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며; 및,
   상기 모든 투광 영역은 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지는 중 적어도 하나 이상의 제1 투광 영역인 것을 특징으로 하는 방법.
10. 제1항에 있어서,
    상기 전자 장치는 복수의 발광 유닛과 복수의 투광 영역을 포함하는 디스플레이 스크린을 포함하고, 상기 각 발광 유닛은 미리 설정된 수의 부화소를 포함하며, 적어도 두개의 상기 발광 유닛의 복수의 부화소는 비 반복 분포를 나타내는 것을 특징으로 하는 방법.
11. 제10항에 있어서,
    비 반복적으로 분포된 복수의 부화소의 갭에 적어도 두개의 비 반복적으로 분포된 투광 영역이 형성되는 것을 특징으로 하는 방법.
12. 제10항에 있어서,
    상기 발광 유닛은 다음의 발광 유닛, 즉:
    적어도 두개의 발광 유닛의 복수의 부화소는 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며;
    적어도 두개의 발광 유닛의 복수의 부화소는 다른 발광 유닛의 복수의 부화소와 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지며; 및,
    모든 발광 유닛의 복수의 부화소는 모두 서로 다른 크기 매개변수, 형상 매개변수, 자세 매개변수, 위치 분포 매개변수를 가지는 중 적어도 하나 이상인 것을 특징으로 하는 방법.
13. 제7항 내지 제12항 중 어느 한 항에 있어서,
    상기 전자 장치는 언더스크린 카메라가 장착된 전자 장치인 것을 특징으로 하는 방법.
14. 영상 처리 모델 훈련 방법에 있어서,
    영상 처리 모델에 샘플 표준 영상과 상기 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하는 영상 샘플 쌍을 입력하는 단계;
    상기 영상 처리 모델을 통해 상기 샘플 회절 영상에 대해 복원 처리를 수행하여 상기 샘플 회절 영상의 복원 영상을 회득하는 단계;
    상기 복원 영상과 상기 샘플 표준 영상에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하는 단계; 및,
    상기 손실 함수값에 따라, 상기 영상 처리 모델의 매개변수를 반복적으로 업데이트하는 단계;를 포함하는 것을 특징으로 하는 방법.
15. 제14항에 있어서,
    상기 손실 함수값에 따라, 상기 영상 처리 모델의 매개변수를 반복적으로 업데이트하는 단계는,
    상기 손실 함수값이 미리 설정된 값으로 수렴하는지 여부 및/또는 상기 반복 업데이트가 미리 설정된 횟수에 도달하는지 여부를 판단하는 단계; 및,
    상기 손실 함수값이 미리 설정된 값으로 수렴하거나 및/또는 상기 반복 업데이트가 미리 설정된 횟수에 도달하는 경우, 훈련된 영상 처리 모델을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
16. 제14항에 있어서,
    상기 복원 영상과 상기 샘플 표준 영상에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하는 단계는,
    상기 복원 영상과 상기 샘플 표준 영상 사이의 유사도를 계산하고, 상기 유사도에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
17. 제14항에 있어서,
    상기 영상 샘플 쌍을 획득하는 방법은,
    온스크린 카메라를 통해 특정 장면을 촬영하여 상기 샘플 표준 영상을 획득하는 단계;
    상기 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 어두운 배경의 대상 광원을 촬영함으로써, 대상 광원 영상을 획득하는 단계; 및,
    상기 대상 광원 영상과 상기 샘플 표준 영상에 대해 컨볼루션을 수행하여 상기 샘플 회절 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
18. 제17항에 있어서,
    상기 온스크린 카메라를 통해 디스플레이 스크린을 투과하여 어두운 배경의 대상 광원을 촬영함으로써, 대상 광원 영상을 획득하는 단계는,
    상기 온스크린 카메라를 통해 상기 디스플레이 스크린을 투과하여 미리 설정된 방식의 대상 광원을 촬영하여 후보 대상 광원 영상을 획득하는 단계 - 상기 미리 설정된 방식은 어두운 배경에서 적어도 하나의 대상 광원을 공간적으로 배열하는 방식이며, 서로 다른 상기 미리 설정된 방식에서, 대상 광원의 수 및/또는 대상 광원의 공간적 배열 방식은 서로 다르고, 서로 다른 상기 미리 설정된 방식에 대응하는 상기 후보 대상 광원 영상이 서로 다름 - ;
    상기 후보 대상 광원 영상 중의 적어도 하나의 후보 대상 광원 영상을 상기 대상 광원 영상으로 결정하는 단계;를 포함하는 것을 특징으로 하는 방법.
19. 제17항 또는 제18항에 있어서,
    상기 대상 광원 영상과 상기 샘플 표준 영상에 대해 컨볼루션을 수행하는 단계 전에, 상기 방법은,
    상기 대상 광원 영상에 대해 노이즈 제거 처리를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
20. 제17항에 있어서,
    상기 디스플레이 스크린은 제1항 내지 제13항 중 어느 한 항의 전자 장치의 디스플레이 스크린과 동일한 디스플레이 스크린인 것을 특징으로 하는 방법.
21. 제14항에 있어서,
    상기 영상 샘플 쌍을 획득하는 방법은,
    온스크린 카메라를 통해 미리 설정된 촬영 각도에 따라 특정 장면을 촬영하여 상기 샘플 표준 영상을 획득하는 단계; 및,
    언더스크린 카메라를 통해 상기 촬영 각도에 따라 상기 특정 장면을 촬영하여 상기 샘플 회절 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 방법.
22. 전자 장치에 적용되는 영상 처리 장치에 있어서,
    원시 회절 영상을 획득하기 위한 영상 수집 모듈;
    상기 원시 회절 영상을 영상 처리 모델에 입력하기 위한 영상 입력 모듈; 및,
    상기 영상 처리 모델을 통해 상기 원시 회절 영상에 대해 복원 처리를 수행하여, 상기 원시 회절 영상에 대응하는 대상 표준 영상을 획득하기 위한 영상 복원 모듈;을 포함하는 것을 특징으로 하는 장치.
23. 영상 처리 모델 훈련 장치에 있어서,
    영상 처리 모델에 샘플 표준 영상과 상기 샘플 표준 영상에 대응하는 샘플 회절 영상을 포함하는 영상 샘플 쌍을 입력하기 위한 입력 모듈;
    상기 영상 처리 모델을 통해 상기 샘플 회절 영상에 대해 복원 처리를 수행하여 상기 샘플 회절 영상의 복원 영상을 획득하기 위한 복원 모듈;
    상기 복원 영상과 상기 샘플 표준 영상에 따라, 상기 영상 처리 모델에 대응하는 손실 함수값을 결정하기 위한 계산 모듈; 및,
    상기 손실 함수값에 따라, 상기 영상 처리 모델의 매개변수를 반복적으로 업데이트하기 위한 업데이트 모듈;을 포함하는 것을 특징으로 하는 장치.
24. 프로세서 및 저장 장치를 포함하는 영상 처리 시스템에 있어서,
    상기 저장 장치에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 상기 프로세서에서 실행됨으로써, 제1항 내지 제13항 중 어느 한 항의 영상 처리 방법이 수행되거나 또는 제14항 내지 제21항 중 어느 한 항의 영상 처리 모델 훈련 방법이 수행되는 것을 특징으로 하는 영상 처리 시스템.
25. 디스플레이 스크린, 언더스크린 카메라 및 제24항의 영상 처리 시스템을 포함하는 전자 장치에 있어서,
    상기 디스플레이 스크린은 복수의 발광 유닛 및 복수의 투광 영역을 포함하고, 상기 각 발광 유닛은 복수의 부화소를 포함하는 것을 특징으로 하는 전자 장치.
26. 제25항에 있어서,
    상기 복수의 발광 유닛의 복수의 부화소 사이에는 복수의 투광 영역을 형성하기 위한 갭이 존재하고, 상기 복수의 투광 영역에는 적어도 두개의 비 반복 제1 투광 영역이 포함되는 것을 특징으로 하는 전자 장치.
27. 제25항 또는 제26항에 있어서,
    적어도 두개의 상기 발광 유닛의 복수의 부화소는 비 반복 분포를 나타내는 것을 특징으로 하는 전자 장치.
28. 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행됨으로써 제1항 내지 제13항 중 어느 한 항의 영상 처리 방법의 단계가 구현되거나 또는 제14항 내지 제21항 중 어느 한 항의 영상 처리 모델 훈련 방법의 단계가 구현되는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
29. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능 코드가 컴퓨팅 처리 장치에 의해 실행됨으로써, 상기 컴퓨팅 처리 장치에 의해 제1항 또는 제13항 중 어느 한 항의 영상 처리 방법이 구현되거나 또는 제14항 내지 제21항 중 어느 한 항의 영상 처리 모델 훈련 방법의 단계가 구현되는 것을 특징으로 하는 컴퓨터 프로그램.

Images