KR20220113237A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220113237A
KR20220113237A KR1020210093267A KR20210093267A KR20220113237A KR 20220113237 A KR20220113237 A KR 20220113237A KR 1020210093267 A KR1020210093267 A KR 1020210093267A KR 20210093267 A KR20210093267 A KR 20210093267A KR 20220113237 A KR20220113237 A KR 20220113237A
Authority
KR
South Korea
Prior art keywords
psf
image
images
hdr
instructions
Prior art date
Application number
KR1020210093267A
Other languages
English (en)
Inventor
예 자오
장겅 리우
레마툴라 어네스트 포스트
로날드 브라이언 패튼
총중 구오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2022/001023 priority Critical patent/WO2022169139A2/en
Priority to EP22749893.8A priority patent/EP4189954A4/en
Publication of KR20220113237A publication Critical patent/KR20220113237A/ko

Links

Images

Classifications

    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/2257—
    • H04N5/2353—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

전자 장치의 제어 방법이 개시된다. 제어 방법은, 카메라를 통해 복수의 노출 시간 각각 동안 전자 장치의 디스플레이 패널 중 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF: Point Spread Function) 이미지들을 획득하는 단계; 복수의 PSF 이미지들 각각에 대해, PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하는 단계; 복수의 픽셀 위치에 대해, 픽셀 강도 데이터 및 복수의 픽셀 위치에 대응되는 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하는 단계; 및 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR: High Dynamic Range) PSF 이미지를 생성하는 단계;를 포함한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 특히, 디스플레이 뒤에 배치된 카메라에 의해 촬영되는 이미지를 재구성하는 전자 장치 및 그 제어 방법에 관한 것이다.
액티브 매트릭스 액정 디스플레이(AMLCD: Active Matrix Liquid Crystal Display)들, 액티브 매트릭스 유기 발광 디스플레이(AMOLED: Active Matrix Organic Light Emitting Display)들 및 마이크로 LED 디스플레이들과 같은 전자 디스플레이들은 일반적으로 개인용 전자 장치들(예컨대, 모바일폰들, 태블릿 컴퓨터들, 스마트워치들 등)에서의 사용을 위해 채용되는 디스플레이들의 유형들이다. 이러한 개인용 전자 장치들은 일반적으로 디스플레이에 인접하게 배치될 수 있는 프론트 페이싱(front-facing) 카메라를 포함할 수 있으며, 사용자들에 의해 자화상(예컨대, "셀카(selfie)들")을 캡처하기 위해 가장 자주 활용될 수 있다. 하지만, 프론트 페이싱 카메라 시스템들이 복잡해짐에 따라(예컨대, 깊이 카메라(depth camera)들), 전자 장치의 디스플레이를 위해 지정되는 영역의 점점 더 많은 부분들이 카메라 시스템에 지정되는 영역을 확장하기 위해 트레이드오프될 수 있다. 이것은 디스플레이의 해상도 및 시야 영역에 있어서의 감소로 이어질 수 있다. 디스플레이의 해상도 및 시야 영역에 있어서의 감소를 극복하기 위한 한 가지 기법은 프론트 페이싱 카메라 시스템을 디스플레이 패널의 완전히 뒤에 또는 아래에 배치하는 것일 수 있다. 하지만, 디스플레이 패널 뒤에 프론트 페이싱 카메라 시스템을 배치하면 프론트 페이싱 카메라에 의해 캡처되는 이미지들이 종종 열화될 수 있다. 따라서, 디스플레이 패널 뒤에 배치되는 프론트 페이싱 카메라 시스템들에 의해 캡처되는 이미지들을 재구성하기 위한 개선된 기법들을 제공하는 것이 유용할 수 있다.
본 발명이 해결하고자 하는 일 기술적 과제는, 흐릿한 이미지를 복원하여 보다 선명한 이미지를 획득하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 전자 장치의 제어 방법에 있어서, 카메라를 통해 복수의 노출 시간 각각 동안 상기 전자 장치의 디스플레이 패널 중 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF: Point Spread Function) 이미지들을 획득하는 단계; 상기 복수의 PSF 이미지들 각각에 대해, 상기 PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하는 단계; 상기 복수의 픽셀 위치에 대해, 상기 픽셀 강도 데이터 및 상기 복수의 픽셀 위치에 대응되는 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하는 단계; 및 상기 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR: High Dynamic Range) PSF 이미지를 생성하는 단계;를 포함하는, 제어 방법이 제공될 수 있다.
상기 획득하는 단계는, 상기 카메라의 렌즈와 상기 카메라의 이미지 센서 사이에 배치되는 하나 이상의 확대 광학 요소를 통해 상기 복수의 PSF 이미지들을 획득하는 단계를 포함할 수 있다.
상기 하나 이상의 확대 광학 요소는 하나 이상의 대물 렌즈 및 하나 이상의 튜브 렌즈를 포함할 수 있다.
상기 결정하는 단계는, 상기 PSF 이미지들 각각에 대해, 상기 각각의 PSF 이미지의 상기 노출 시간에 대한 상기 픽셀 강도 데이터의 비율 값을 결정하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 제 1 컬러 채널, 제 2 컬러 채널 및 제 3 컬러 채널의 각각에 대해 HDR PSF 이미지를 생성하는 단계를 포함할 수 있다.
상기 생성하는 단계는, 상기 HDR PSF 이미지로부터 저해상도 HDR PSF 이미지를 획득하는 단계를 포함할 수 있다.
상기 제어 방법은, 상기 저해상도 HDR PSF 이미지를 이용하여 상기 디스플레이 패널 뒤에 배치되는 상기 카메라에 의해 촬영되는 이미지들을 재구성하는 단계;를 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치로서, 디스플레이 패널; 상기 디스플레이 패널 뒤에 배치되는 카메라; 적어도 하나의 명령을 저장하는 메모리; 및 상기 메모리 및 상기 카메라에 커플링되는 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 통해 복수의 노출 시간 각각 동안 상기 디스플레이 패널의 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF: Point Spread Function) 이미지들을 획득하고, 상기 복수의 PSF 이미지들 각각에 대해, 상기 PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하고, 상기 각 픽셀 위치에 대해, 상기 픽셀 강도 데이터 및 상기 복수의 픽셀 위치에 대응되는 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하고, 상기 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR: High Dynamic Range) PSF 이미지를 생성하기 위한 명령들을 실행하도록 구성되는, 전자 장치가 제공될 수 있다.
상기 복수의 PSF 이미지들을 획득하기 위한 명령들은, 상기 카메라의 렌즈와 상기 카메라의 이미지 센서 사이에 배치되는 하나 이상의 확대 광학 요소를 통해 상기 복수의 PSF 이미지들을 획득하기 위한 명령들을 포함할 수 있다.
상기 픽셀 강도 데이터를 결정하기 위한 명령들은, 상기 PSF 이미지들 각각에 대해, 상기 각각의 PSF 이미지의 상기 노출 시간에 대한 상기 픽셀 강도 데이터의 비율 값을 결정하기 위한 명령들을 포함할 수 있다.
상기 HDR PSF 이미지를 생성하기 위한 명령들은, 제 1 컬러 채널, 제 2 컬러 채널 및 제 3 컬러 채널의 각각에 대해 각각의 HDR PSF 이미지를 생성하기 위한 명령들을 더 포함할 수 있다.
상기 HDR PSF 이미지를 생성하기 위한 명령들은, 상기 HDR PSF 이미지로부터 저해상도 HDR PSF 이미지를 획득하기 위한 명령들을 더 포함할 수 있다.
상기 프로세서는, 상기 저해상도 HDR PSF 이미지를 이용하여 상기 카메라에 의해 캡처되는 이미지들을 재구성하기 위한 명령들을 실행하도록 구성될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 또 비일시적 컴퓨터 판독가능 매체로서, 전자 장치의 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금, 상기 전자 장치의 디스플레이 패널 뒤에 배치되는 카메라를 통해 복수의 노출 시간 각각 동안 상기 디스플레이 패널의 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF: Point Spread Function) 이미지들을 획득하는 단계; 상기 복수의 PSF 이미지들 각각에 대해, 상기 PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하는 단계; 상기 복수의 픽셀 위치에 대해, 상기 픽셀 강도 데이터 및 상기 복수의 픽셀 위치에 대응되는 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하는 단계; 및 상기 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR: High Dynamic Range) PSF 이미지를 생성하는 단계;를 수행하게 하는 명령들을 포함하는, 비일시적 컴퓨터 판독가능 매체가 제공될 수 있다.
상기 복수의 PSF 이미지들을 획득하는 단계를 수행하게 하는 명령들은, 상기 카메라의 렌즈와 상기 카메라의 이미지 센서 사이에 배치되는 하나 이상의 확대 광학 요소를 통해 상기 복수의 PSF 이미지들을 획득하는 단계를 수행하게 하는 명령들을 더 포함할 수 있다.
상기 픽셀 강도 데이터를 결정하는 단계를 수행하게 하는 명령들은, 상기 PSF 이미지들의 각각에 대해, 상기 각각의 PSF 이미지의 상기 노출 시간에 대한 상기 픽셀 강도 데이터의 비율 값을 결정하는 단계를 수행하게 하는 명령들을 더 포함할 수 있다.
상기 HDR PSF 이미지를 생성하는 단계를 수행하게 하는 명령들은, 제 1 컬러 채널, 제 2 컬러 채널 및 제 3 컬러 채널의 각각에 대해 HDR PSF 이미지를 생성하는 단계를 수행하게 하는 명령들을 더 포함할 수 있다.
상기 HDR PSF 이미지를 생성하는 단계를 수행하게 하는 명령들은, 상기 HDR PSF 이미지로부터 저해상도 HDR PSF 이미지를 획득하는 단계를 수행하게 하는 명령들을 더 포함할 수 있다.
본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 선명한 이미지를 획득할 수 있다.
그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
도 1a는 전자 장치의 예시적인 다이어그램을 도시한다.
도 1b는 전자 장치의 디스플레이 뒤에 배치되는 카메라를 통해 획득되는 이미지들을 재구성하기 위한 예시적인 시스템 및 워크플로우 다이어그램을 도시한다.
도 2는 전자 장치의 하나 이상의 점 확산 함수(PSF) 이미지를 측정 및 저장하기 위한 예시적인 시스템 및 워크플로우 다이어그램을 도시한다.
도 3a는 획득될 수 있는 상이한 PSF 이미지들의 실험적 일 예시를 도시한다.
도 3b는 획득될 수 있는 상이한 PSF 이미지들의 실험적 다른 일 예시를 도시한다.
도 3c는 획득될 수 있는 상이한 PSF 이미지들의 실험적 또 다른 일 예시를 도시한다.
도 4는 하이 다이내믹 레인지(HDR) PSF 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위해 저해상도 PSF 이미지를 획득하기 위한 방법의 상위 레벨 흐름도를 도시한다.
도 5는 전자 장치의 하나 이상의 고해상도 PSF 이미지를 획득하기 위한 예시적인 시스템을 도시한다.
도 6은 선형 응답 이미지 센서에 기초하여 하이 다이내믹 레인지(HDR) PSF 이미지들을 생성하기 위한 방법의 흐름도를 도시한다.
도 7은 고해상도 HDR PSF 이미지들을 바탕으로 저해상도 HDR PSF 이미지들을 생성하기 위한 방법의 흐름도를 도시한다.
도 8은 각 노출 시간 별 픽셀 값을 도시한 예시적인 실험 데이터이다.
도 9는 고해상도 하이 다이내믹 레인지 PSF 이미지의 예시적인 플롯을 도시하는 예시적인 실험 데이터를 도시한다.
도 10, 도 11 및 도 12a와 도 12b는 하이 다이내믹 레인지(HDR) PSF 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위해 저해상도 PSF 이미지를 획득하기 위한 하나 이상의 작동 예시를 도시한다.
도 13은 선형 응답 이미지 센서에 기초하여 하이 다이내믹 레인지(HDR) PSF 이미지들을 생성하기 위한 방법의 흐름도를 도시한다.
도 14 내지 도 17은 고해상도 HDR PSF 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위해 저해상도 PSF 이미지를 획득하기 위한 하나 이상의 실행 예시를 도시한다.
도 18은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.
도 19는 예시적인 컴퓨터 시스템을 도시한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 실시예들은 하이 다이내믹 레인지(HDR) 점 확산 함수(PSF) 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위한 공간 불변의 저해상도 PSF 이미지를 결정하기 위한 기법들에 관한 것이다. 특정 실시예들에서, 전자 장치는 전자 장치의 디스플레이 패널 뒤에 배치되는 카메라를 통해 디스플레이 패널의 반투명 픽셀 영역을 촬영하여 다수의 점 확산 함수(PSF) 이미지들을 획득할 수 있다. 특정 실시예들에서, PSF 이미지들 각각은 상이한 노출 시간에서 획득될 수 있다. 예를 들어, 특정 실시예들에서, 전자 장치의 디스플레이 패널 뒤의 카메라는 렌즈와 이미지 센서 사이에 배치되는 하나 이상의 확대 광학 요소를 통해 PSF 이미지들을 획득할 수 있다. 예를 들어, 특정 실시예들에서, 하나 이상의 확대 광학 요소는 하나 이상의 대물 렌즈 및 하나 이상의 튜브 렌즈를 포함할 수 있다.
다음으로, 특정 실시예들에서, 전자 장치는 PSF 이미지들 각각에 대해 PSF 이미지의 다수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정할 수 있다. 특정 실시예들에서, 픽셀 강도 데이터는 각각의 PSF 이미지의 노출 시간과 연관될 수 있다. 예를 들어, 특정 실시예들에서, 전자 장치는 각각의 PSF 이미지의 노출 시간에 대한 픽셀 강도 데이터의 비율 값을 PSF 이미지들의 각각에 대해 결정함으로써, PSF 이미지들의 각각에 대해 단위 시간당 픽셀 강도 데이터를 결정할 수 있다. 다음으로, 특정 실시예들에서, 전자 장치는, 각 픽셀 위치에 대해, 픽셀 강도 데이터 및 PSF 이미지들의 각각의 픽셀 위치에 대한 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산할 수 있다. 다음으로, 특정 실시예들에서, 전자 장치는 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR) PSF 이미지를 생성할 수 있다. 예를 들어, 특정 실시예들에서, 전자 장치는 제 1 컬러 채널, 제 2 컬러 채널 및 제 3 컬러 채널의 각각에 대해 각각의 HDR PSF 이미지를 생성함으로써 HDR PSF 이미지를 생성할 수 있다. 특정 실시예들에서, 전자 장치는 또한 HDR PSF 이미지로부터 저해상도 HDR PSF 이미지를 획득할 수 있다. 예를 들어, 특정 실시예들에서, 전자 장치는 저해상도 HDR PSF 이미지를 이용하여 카메라에 의해 촬영되는 이미지들을 재구성할 수 있다.
이러한 방식으로, 본 실시예들은 전자 장치의 하나 이상의 프론트 페이싱 카메라들을 디스플레이 뒤에 배치함으로써 전자 장치의 디스플레이의 시야 영역 및 해상도를 증가시킬 수 있다. 예를 들어, 디스플레이 영역의 증가로 인해(예컨대, 하나 이상의 프론트 페이싱 카메라들에 대해 일반적으로 지정되는 디스플레이 영역이 제거됨으로 인해), 전자 장치는, 노치 디자인 또는 홀 펀치 디자인에 따라 배터리 상황, 셀룰러 신호 강도 데이터, Wi-Fi 상황, 시간 정보 등을 표시하는 데에만 제한되는 것이 아니라, 전체적으로 전체 화면보기와 함께 개선된 그래픽 사용자 인터페이스(GUI)들을 추가로 제공할 수 있다. 본 기법들은 전자 장치의 미적 품질을 더욱 증가시킬 수 있을 뿐만 아니라 전자 장치의 사용자가 전자 장치의 디스플레이 상에 더 높은 해상도의 이미지들을 디스플레이하는 것을 허용한다. 더 나아가, 하나 이상의 프론트 페이싱 카메라가 디스플레이 뒤에 배치될 수 있기 때문에, 본 기법들은 하나 이상의 프론트 페이싱 카메라가 전자 장치의 디스플레이의 코너에 또는 에지를 따라 배치되는 것이 아니라 어느 곳에나 (예컨대, 디스플레이의 중앙 영역에) 배치되는 것을 허용할 수 있다. 이것은, 이를테면, 디스플레이의 중앙 영역을 응시하도록 셀카를 찍는 사용자를 지향시킴으로써, 그리고 나아가 사용자가 화상 회의, 화상 통화 교환 또는 기타 비디오 스트리밍 서비스에 참여할 때 다른 사용자와 눈을 마주 치는 인상을 부여함으로써, 개선된 사용자 경험 및/또는 GUI를 제공할 수 있다.
게다가, 본 실시예들은 주로 카메라들, 확대 광학 요소들 및 광원들의 특정 배열을 활용하여 하이 다이내믹 레인지 PSF 이미지들을 생성하는 단계 및 그에 기초한 이미지 재구성을 위한 공간 불변의 저해상도 PSF 이미지를 획득하는 단계와 관련하여 설명되는 한편, 본 실시예는 카메라들, 확대 광학 요소들, 광원들 등의 임의의 적합한 배열들을 활용하여 하이 다이내믹 레인지 PSF 이미지들을 생성하는 것 및 그에 기초한 이미지 재구성을 위한 공간 불변의 저해상도 PSF 이미지를 결정하는 것을 추가로 고려한다는 것이 이해되어야 한다. 이와 같이, 예를 들어, 특정 디스플레이 패널들이 PSF 광 에너지를 충분히 확산시켜 PSF의 정확한 공간적 특징들이 종래의 카메라 센서로 해결 및 캡처될 수 있도록 하지 못하기 때문에 시스템에 의해 캡처되는 이미지들이 왜곡(예컨대, 블러링(blur))될 수 있는 임의의 시스템에서, 하이 다이내믹 레인지 PSF 이미지들을 생성하기 위해 그리고 그에 기초한 이미지 재구성을 위한 공간 불변의 저해상도 PSF 이미지를 획득하기 위해 여기에 설명되는 본 실시예들이 사용될 수 있다. 예를 들어, 디스플레이 패널 뒤에 배치되는 카메라에 추가하여, 특정 실시예들은 예를 들어 은폐된 카메라를 활용하는 미세 천공들을 통해 이미지가 캡처되고/되거나 역 필터를 활용하여 덜 진보된 광학 디바이스들에 의해 달성될 수 있는 것보다 더 높은 품질의 이미지를 생성하는 애플리케이션들에 동일하게 적용될 수 있다.
도 1a는 전자 장치(102)의 예시적인 다이어그램(100A)을 도시한다. 특정 실시예에서, 전자 장치(102)는, 예를 들어, 모바일폰 전자 장치, 태블릿 컴퓨터 전자 장치, 랩톱 컴퓨터 전자 장치 등과 같은 다양한 개인용 전자 장치들(102) 중 임의의 것을 포함할 수 있다. 특정 실시예들에서, 도 1에 의해 더 묘사된 바와 같이, 개인용 전자 장치(102)는 무엇보다도 하나 이상의 프로세서(들)(104), 메모리(106), 센서들(108), 카메라들(110), 디스플레이 패널(112), 입력 구조체들(114), 네트워크 인터페이스들(116), 전원(118) 및 입력/출력(I/O) 인터페이스(120)를 포함할 수 있다. 도 1은 단지 특정 구현의 일례일 뿐이며 전자 장치(102)의 일부로서 포함될 수 있는 컴포넌트들의 유형들을 예시하도록 의도되는 것임이 주목되어야 한다.
특정 실시예들에서, 하나 이상의 프로세서(들)(104)는 지능 기반의 학습 진행을 통해 대화형 음악 지휘 및 작곡 활동을 제공하기 위한 다양한 알고리즘들을 수행하기 위해 메모리(106)와 작동 가능하게 커플링될 수 있다. 프로세서(들)(104)에 의해 실행되는 이러한 프로그램들 또는 명령들은 메모리(106)와 같은 명령들 또는 루틴들을 적어도 집합적으로 저장하는 하나 이상의 유형의(tangible) 컴퓨터 판독가능 매체를 포함하는 임의의 적합한 제조 물품에 저장될 수 있다. 메모리(106)는 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 재기록 가능한 플래시 메모리, 하드 드라이브들 등과 같은 데이터 및 실행 가능한 명령들을 저장하기 위한 임의의 적합한 제조 물품들을 포함할 수 있다. 또한, 이러한 컴퓨터 프로그램 제품 상에 인코딩되는 프로그램들(예컨대, 운영 체제)은 또한 프로세서(들)(104)에 의해 실행되어 전자 장치(102)가 다양한 기능성들을 제공하는 것을 가능하게 하도록 하는 명령들을 포함할 수 있다.
특정 실시예들에서, 센서(108)는 예를 들어 하나 이상의 카메라(예컨대, 깊이 카메라), 터치 센서들, 마이크로폰들, 모션 검출 센서들, 열 검출 센서들, 광 검출 센서들, 비행 시간(ToF: Time of Flight) 센서들, 초음파 센서들, 적외선 센서들, 또는 다양한 사용자 입력들(예컨대, 사용자 음성 입력들, 사용자 제스처 입력들, 사용자 터치 입력들, 사용자 기기 입력들, 사용자 모션 입력들 등)을 검출하는 데 사용될 수 있는 다른 유사한 센서들을 포함할 수 있다. 카메라들(110)은 다양한 2D 및 3D 이미지들을 캡처하는 데 활용될 수 있는 임의의 수의 카메라들(예컨대, 와이드 카메라들, 내로우(narrow) 카메라들, 망원 카메라들, 초광각 카메라들, 깊이 카메라들 등)을 포함할 수 있다. 디스플레이 패널(112)은 임의의 디스플레이 아키텍처(예컨대, AMLCD, AMOLED, 마이크로-LED 등)를 포함할 수 있으며, 이는 사용자들이 전자 장치(102)와 상호 작용하고 관여될 수 있도록 하는 추가 수단을 제공할 수 있다. 특정 실시예들에서, 도 1에 더 도시된 바와 같이, 하나 이상의 카메라(110)가 디스플레이 패널(112)의 뒤에 또는 아래에(예컨대, 전자 장치(102)의 점선으로 표시됨) 배치될 수 있으므로(예컨대, 카메라들(110) 중 하나 이상이 디스플레이 패널(112)에 의해 완전히 은폐될 수 있음), 디스플레이 패널(112)은 하나 이상의 은폐된 카메라(110)가 광을 검출할 수 있도록 하고 더 나아가 이미지들을 캡처할 수 있도록 하는 투명 픽셀 영역 및/또는 반투명 픽셀 영역을 포함할 수 있다. 하나 이상의 카메라(110)는 디스플레이 패널(112) 뒤의 중앙 영역, 디스플레이 패널(112) 뒤의 상부 영역 또는 디스플레이 패널(112) 뒤의 하부 영역과 같이 디스플레이 패널(112)의 뒤 또는 아래 어디에나 배치될 수 있다는 것은 이해되어야 한다.
특정 실시예들에서, 입력 구조체들(114)은 전자 장치(102)의 하나 이상의 글로벌 함수들을 제어하는 데 활용되는 (예컨대, 버튼을 눌러 전자 장치(102)의 전원을 "ON" 또는 "OFF"로 하는) 임의의 물리적 구조체들을 포함할 수 있다. 네트워크 인터페이스(116)는, 예를 들어, 전자 장치(102)가 하나 이상의 클라우드 기반의 네트워크(예컨대, 수백 또는 수천 개의 전자 장치(102) 및 이에 대응하는 연관된 사용자들) 및/또는 분산 네트워크들을 통해 데이터에 액세스하고 데이터를 수신하도록 허용하기에 적합한 임의의 수의 네트워크 인터페이스들을 포함할 수 있다. 전원(118)은, 동작을 위해 전자 장치(102)에 전력을 공급 및/또는 충전하는 데 활용될 수 있는, 재충전 가능한 리튬 폴리머(Li-poly) 배터리 및/또는 교류(AC) 전력 변환기와 같은 임의의 적합한 전원을 포함할 수 있다. 유사하게, I/O 인터페이스(120)가 제공되어, 전자 장치(102)가 하나 이상의 보조 전자 장치들과 같은 다양한 다른 전자 또는 컴퓨팅 디바이스들과 인터페이스하도록 허용할 수 있다.
도 1b는, 현재 개시된 실시예들에 따라, 전자 장치의 디스플레이 뒤에 배치되는 카메라에 의해 캡처되는 이미지들을 재구성하기 위한 예시적인 시스템 및 워크플로우 다이어그램(100B)을 도시한다. 특정 실시예들에서, 전자 장치(102)는 전자 장치(102)의 디스플레이 패널(112) 뒤에 배치되는 이미지 센서(122) 및 카메라 렌즈(124)에 의해 현실 세계 장면(126)의 이미지를 캡처할 수 있다. 특정 실시예들에서, 이미지 센서(122)에 의해 캡처되는 현실 세계 장면(126)의 이미지는 원본 이미지(128)에 대응할 수 있다. 특정 실시예들에서, 디스플레이 패널(112)을 통해 이미지 센서(122)에 의해 캡처되는 현실 세계 장면(126)의 이미지에 기초하여, 원본 이미지(128)가 열화될 수 있다(예컨대, 블러링되거나 왜곡될 수 있다). 특정 실시예들에서는, (함수 블록(130)에서) 원본 이미지(128)의 캡처를 수행한 후, 전자 장치(102)는 원본 이미지(128)의 하나 이상의 픽셀 영역에 대해, 원본 이미지(128)의 RGB 컬러 성분들의 각각에 대한 PSF 이미지들(예컨대, 지각할 수 없을 정도로 작은 점 광원으로부터 방출되고 하나 이상의 이미지 센서(122)에 의해 캡처되는 광의 3D 회절 패턴의 함수)을 취출할 수 있다. 특정 실시예들에서, 이는 전자 장치(102) 상에 저장될 수 있다. 특정 실시예들에서, 전자 장치(102)는 전자 장치(102)의 메모리(106)로부터 RGB 컬러 성분들의 각각에 대해 사전 획득된 PSF 이미지들을 (함수 블록(132)에서) 선택함으로써 RGB 컬러 성분들의 각각에 대한 각각의 PSF 이미지를 결정할 수 있다. 특정 실시예들에서, 전자 장치(102)는, 예를 들어, 현실 세계 장면(126)의 다양한 픽셀 영역들에서의 다수의 PSF 이미지들을 결정하여, 디스플레이 패널(112)의 광축에 대한 입사각을 갖는 PSF 이미지들의 변화를 캡처할 수 있다.
다음으로, 특정 실시예들에서, 전자 장치(102)는 원본 이미지(128)의 픽셀 영역들의 수에 대해 그들 각각의 PSF 이미지들에 기초하여 원본 이미지(128)의 RGB 컬러 성분들의 각각의 디콘볼루션(deconvolution)을 (함수 블록(134)에서) 수행할 수 있다. 특정 실시예들에서, 전자 장치(102)는 RGB 컬러 성분들의 각각의 리차드슨-루시(Richardson-Lucy) 디콘볼루션을 수행함으로써, 또는 RGB 컬러 성분들의 각각의 티호노프 정규화형(Tikhonov regularized) 역필터 디콘볼루션을 수행함으로써, RGB 컬러 성분들의 각각의 디콘볼루션을 수행할 수 있다. 특정 실시예들에서, 다른 디콘볼루션 기법들이 활용될 수 있다. 다음으로, 특정 실시예들에서, 전자 장치(102)는 RGB 컬러 성분들의 각각의 디콘볼루션들에 기초하여 원본 이미지(128)에 대응하는 재구성된 이미지(138)를 (함수 블록(136)에서) 생성할 수 있다. 원본 이미지(128)와 복원된 이미지(138)를 비교함으로써 예시된 바와 같이, 전자 장치(102)는 일반적으로 원본 이미지(128)의 블러링 효과를 제거함으로써 복원된 이미지(138)를 생성할 수 있다.
도 2는 현재 개시된 실시예들에 따라 전자 장치의 하나 이상의 사전 획득된 점 확산 함수들(PSF들) 이미지를 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색(monochromatic) 컬러 성분들에 대해 개별적으로) 측정 및 결정하기 위한 예시적인 시스템 및 워크플로우 다이어그램(200)을 도시한다. 특정 실시예들에서, 열화된 원본 이미지를 재구성하기 위해, 전자 장치(102)는 전자 장치(102)의 PSF 이미지들을 사전 획득(예컨대, 전자 장치(102)의 교정 프로세스 및/또는 제조 프로세스 동안 실험적으로 결정) 및 저장할 수 있다. 특정 실시예들에서, 도 2에 묘사된 바와 같이, 점 광원(202)(예컨대, 백색 LED 또는 백색 LED들의 어레이)은, 예를 들어, 핀홀 또는 지각할 수 없는 다른 작은 애퍼처를 통해 전자 장치(102)의 방향으로 광파를 방출할 수 있다. 특정 실시예들에서, 광파는, 예를 들어, 디스플레이 패널(112), 카메라 렌즈(124)를 통과할 수 있으며, 궁극적으로 이미지 센서(122)에 의해 검출될 수 있다.
다음으로, 특정 실시예들에서, 전자 장치(102)는, 예를 들어 점 광원(202)에 응답하여 디스플레이 패널(112)의 효과에 대응하는 전달 함수의 샘플링에 기초하여, RGB 컬러 성분들 및/또는 하나 이상의 특정 단색 컬러 성분들의 각각에 대해 하나 이상의 PSF 이미지(204)를 획득할 수 있다. 예를 들어, 특정 실시예들에서, 하나 이상의 PSF 이미지(204)는 점 광원(202)의 강도 응답을 나타낼 수 있다. 다음으로, 특정 실시예들에서, 전자 장치(102)는 (예컨대, RGB 컬러 성분들 및/또는 하나 이상의 특정 단색 컬러 성분들의 각각에 대해) 하나 이상의 획득된 PSF 이미지(204)를, 예를 들어, 전자 장치(102)의 디스플레이 패널(112) 뒤에 배치되는 카메라(110)에 의해 캡처되는 이미지들을 재구성하기 위해 차후에 활용될 메모리(106)에 (데이터베이스(514)에서) 저장할 수 있다.
특정 실시예들에서, 전자 장치(102)는, 예를 들어, 디스플레이 패널(112)의 광축에 대한 입사각에 따른 PSF 이미지의 변화를 캡처하기 위해 이미지 필드의 상이한 영역들에서 다수의 PSF 이미지들이 획득될 수 있다. 이러한 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분들에 대한) 다수의 PSF 이미지들은, 예를 들어 메모리(106)의 데이터베이스(206)에 저장되어 차후에 전자 장치(102)의 디스플레이 패널(112) 뒤에 배치되는 카메라(110)에 의해 캡처되는 이미지들의 픽셀 영역들을 재구성하는 데 활용될 수 있으며, 그 후, 재구성된 픽셀 영역들은 완전한 재구성된 이미지로 결합될 수 있다. 실제로, 이해될 수 있는 바와 같이, 하나 이상의 PSF 이미지는 디스플레이 패널(112)을 통과하기 전의 선명한 이미지 점과 디스플레이 패널(112) 뒤의 카메라 센서(122)에 의해 캡처되는 블러링된 이미지 점 사이의 정확한 관계를 설명할 수 있다. 따라서, 하나 이상의 PSF 이미지는 주로 디스플레이 패널(112)의 픽셀 구조체에 의해 결정될 수 있다. 따라서, 디스플레이 패널(112) 뒤의 카메라 센서(122)에 의해 캡처되는 블러링된 이미지를 적절하게 재구성하기 위해 PSF 이미지들은 가장 정확하게 측정될 수 있다.
하지만, 특정 실시예들에서는, 아래에서 더 이해되는 바와 같이, 디스플레이 패널(112)의 설계에 따라, 디스플레이 패널(112)은 하나의 PSF 이미지가 캡처된 이미지의 중앙 영역에서의 밀접하게 컴팩트화된 에너지 분포를 포함할 수 있도록 점 광원(202)의 광을 충분히 분산시키지 못할 수 있다. 실제로, PSF 이미지의 정확한 공간적 특징들은 종래의 카메라 센서(122)만을 활용하여 해결 및 캡처하기 어려울 수 있다. 먼저, PSF 이미지의 공간적 특징들의 강도 다이내믹 레인지는 종래의 카메라 센서의 다이내믹 레인지를 초과할 수 있다. 추가적으로, 카메라 센서(122) 픽셀 크기가 하나 이상의 PSF 이미지를 정확하게 샘플링하기에는 너무 조잡하며(coarse), 더 나아가 하나 이상의 PSF 이미지를 정확하게 캡처하기에 불충분한 해상도를 포함하는 경우, 하나 이상의 PSF 이미지가 언더샘플링되고(undersampled) 공간 변형 PSF 이미지들만이 획득될 수 있어서, 따라서 이러한 PSF 이미지들을 활용하여 재구성되는 이미지들의 이미지 품질의 열화로 이어질 수 있다. 예를 들어, 하나 이상의 PSF 이미지가 사전측정 프로세스에서의 오류로 인해 양쪽 방향으로 횡방향으로 시프트되는 경우, 종래의 카메라 센서(122)만을 활용하여 측정되는 측면 시프트에 응답하여 측정되는 하나 이상의 PSF 이미지는 측면 시프트 이전에 측정되는 이러한 하나 이상의 PSF 이미지와 현저하게 상이한 PSF 이미지들을 초래한다. 따라서, 현재 개시된 실시예들에 따르면, 하이 다이내믹 레인지(HDR) 점 확산 함수(PSF) 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위한 공간 불변의 저해상도 PSF 이미지를 결정하기 위한 기법들을 제공하는 것이 유용할 수 있다.
도 3a, 도 3b 및 도 3c는 획득될 수 있는 상이한 PSF 이미지들의 실험적 예시들(300A, 300B, 300C)을 도시한다. 예를 들어, 도 3a의 예시(300A)는 제1 PSF 이미지(302)를 도시하는데, 여기서, 제1 PSF 이미지(302)는 제2 PSF 이미지(304)와 비교할 때 넓게 분산된 광 패턴을 포함한다. 여기서, 제2 PSF 이미지(304)는 밀접하게 컴팩트화된 광 패턴을 포함한다. 즉, 광 에너지가 제2 이미지(304)의 중앙 영역에 집중된다.
도 3b의 예시(300B)는 제2 PSF 이미지(304)를 획득하기 위해 고해상도 측정 설정을 이용되는 원본 PSF 이미지인 제3 PSF 이미지(306) 및 제2 PSF 이미지(304)를 획득하기 위해 종래의 이미지 센서(122)를 활용하는 제4 PSF 이미지(308)를 도시한다. 이미지 센서(122)는 광 패턴이 넓게 확산된 제1 PSF 이미지(302)를 캡처할 수 있지만, 그것은 제2 PSF 이미지(304)를 올바르게 샘플링하기에는 너무 조잡하고, 제4 PSF 이미지(308)가 언더샘플링되어 제2 PSF 이미지(304)의 정보의 손실로 이어질 수 있다.
도 3c의 예시(300C)는 종래의 이미지 센서로 제2 PSF 이미지(304)를 획득한 결과로서 공간 변형 PSF 이미지의 예시를 도시한다. 제2 PSF 이미지(304)의 단면 구조체들(310 및 312)은, 측정 부정확성으로 인해 핀홀이 잠재적으로 약간 시프트되면, 상이하다.
도 4는 하이 다이내믹 레인지(HDR) PSF 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위해 저해상도 PSF 이미지를 획득하기 위한 방법(400)의 상위 레벨 흐름도를 도시한다. 특정 실시예들에서, 방법(400)은 블록(402)에서 디스플레이 패널(112) 뒤에 배치되는 센서(122)에 의해 고해상도 PSF 이미지를 획득하는 것을 포함할 수 있다.
예를 들어, 도 5와 관련하여 아래에서 논의되는 바와 같이, 고해상도 PSF 이미지들은 카메라 렌즈(124)와 이미지 센서(122) 사이에 배치되는 하나 이상의 확대 광학 요소(예컨대, 하나 이상의 대물 렌즈 및 하나 이상의 튜브 렌즈)를 통해 캡처될 수 있다. 다음으로, 특정 실시예들에서, 방법(400)은 블록(404)에서 하이 다아내믹 레인지(HDR) PSF 이미지를 생성하는 것을 포함할 수 있다. 일단 고해상도 HDR PSF 이미지가 생성되면, 다음으로, 특정 실시예들에서, 방법(400)은 블록(406)에서 이미지 센서(122)에 의해 캡처되는 이미지의 더 낮은 해상도에 일치하도록 캡처된 고해상도 HDR PSF 이미지를 디지털적으로 다운샘플링(down-sampling)하는 것을 포함할 수 있으며, 이미지 재구성을 위해 활용될 수 있는 더 낮은 해상도의 PSF 이미지를 생성할 수 있다.
도 5는 현재 개시된 실시예들에 따라 전자 장치의 하나 이상의 고해상도 PSF 이미지들을 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분들에 대해 개별적으로) 측정하기 위한 예시적인 시스템(500)을 도시한다. 예를 들어, 도 2와 관련하여 위에서 논의된 바와 같이, 시스템(200)과 같은 저해상도 PSF 측정 시스템들에서, 카메라 센서(122)는 이미지 평면(501)에서 카메라 렌즈(124)에 더 가깝게 위치될 수 있다. 특정 실시예들에서, 시스템(200)과 대조적으로, 고해상도 PSF 측정 시스템(500)은 카메라 렌즈(124)와 이미지 센서(124) 사이에 배치되고, 보다 구체적으로 카메라 렌즈(124)와 이미지 평면(501)사이에 배치되는 하나 이상의 확대 광학 요소(502 및 504)를 포함할 수 있다. 예를 들어, 특정 실시예들에서, 하나 이상의 확대 광학 요소(502, 504)는, 예를 들어, 고해상도 PSF 이미지를 획득하기에 적합할 수 있는, 하나 이상의 튜브 렌즈, 하나 이상의 현미경 대물 렌즈, 및/또는 하나 이상의 다른 확대 렌즈를 포함할 수 있다. 예를 들어, 특정 실시예들에서, 확대 광학 요소(502)는 예를 들어 18mm의 초점 거리 및 0.25의 개구 수(NA: Numerical Aperture)를 포함하는 대물 렌즈를 포함할 수 있으며, 이는 이미지 평면(501)으로부터 거리 d 0 만큼 이격될 수 있다. 특정 실시예들에서, 확대 광학 요소(504)는 거리 d i 만큼 이격될 수 있고 예를 들어 180mm의 초점 거리를 포함할 수 있는 확대 광학 요소(502)(예컨대, 대물 렌즈)에 일치될 수 있는 튜브 렌즈를 포함할 수 있다. 따라서, 하나 이상의 확대 광학 요소(502, 504)에 의해 달성되는 배율은 도 2와 관련하여 위에서 논의된 저해상도 PSF 측정 시스템(200)에 대해, 예를 들어 10배(예컨대, 배율 = 180mm/18mm = 10)일 수 있다. 이러한 방식으로, 고해상도 PSF 측정 시스템(500)은 하나 이상의 고해상도 PSF 이미지를 획득할 수 있다.
도 6은 현재 개시된 실시예들에 따라 선형 응답 이미지 센서에 기초하여 하이 다이내믹 레인지(HDR) PSF 이미지들을 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분에 대해 개별적으로) 생성하기 위한 방법(600)의 흐름도를 도시한다. 방법(600)은, 하드웨어(예컨대, 범용 프로세서, 그래픽 처리 유닛(GPU: Graphic Processing Unit), 주문형 집적 회로(ASIC: Application-Specific Integrated Circuit), 시스템 온 칩(SoC: System-on-Chip), 마이크로 컨트롤러, 필드 프로그래밍 가능 게이트 어레이(FPGA: Field-Programmable Gate Array), 중앙 처리 유닛(CPU: Central Processing Unit), 애플리케이션 프로세서(AP: Application Processor), 시각 처리 유닛(VPU: Visual Processing Unit), 신경 처리 유닛(NPU: Neural Processing Unit), 신경 결정 프로세서(NDP: Neural Decision Processor) 또는 이미지 데이터를 처리하기에 적합할 수 있는 임의의 다른 처리 디바이스(들))를 포함할 수 있는 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104)), 소프트웨어(예컨대, 하나 이상의 프로세서 상에서 작동/실행하는 명령들), 펌웨어(예컨대, 마이크로 코드(microcode)) 또는 이들의 일부 조합을 활용하여 수행될 수 있다.
방법(600)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, N 개의 상이한 노출들을 이용하여 N 개의 PSF 이미지들을 캡처하고, 가장 낮은 노출 시간으로부터 가장 높은 노출 시간까지 N 개의 상이한 노출을 이용하여 N 개의 PSF 이미지들을 배열 또는 재배열하고, 3D 강도 데이터 세트들 (x, y, t)을 결정하되, (x, y)는 픽셀 공간 위치를 나타낼 수 있는 한편, (t)는 각각의 픽셀 공간 위치 (x, y)와 연관될 수 있는 각각의 노출 시간을 나타낼 수 있는, 블록(602)에서 시작될 수 있다. 예를 들어, 특정 실시예들에서, N 개의 노출 시간들은 이미지 센서(122) 비트 깊이 및 캡처되는 하나 이상의 PSF 이미지의 다이내믹 레인지에 기초하여 선택될 수 있다. 다음으로, 방법(600)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 캡처된 이미지들의 픽셀들의 각각으로부터 오프셋을 감산하고 이미지 센서(122)의 응답이 선형인지 검증하고 캡처된 이미지들에서의 명시야 측정의 값들(예컨대, 밝은 픽셀들)로부터 하나 이상의 노이즈 통계를 계산하는, 블록(604)에서 계속될 수 있다.
방법(600)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 노이즈와 포화를 피하기 위해 사전결정된 상한 및 하한 임계치들로부터 하나 이상의 픽셀 마스크를 생성하고 암시야 측정치들(예컨대 어두운 픽셀들) 및 가장 높은 노출 시간들로부터 추가 픽셀 마스크들을 생성하여 결함없는 픽셀들을 얻고, 픽셀 마스크를 활용하여 유효하고 유용한 PSF 정보를 포함하는 이미지들의 픽셀들만 선택하는, 블록(606)에서 계속될 수 있다. 구체적으로, 특정 실시예들에서, 하나 이상의 픽셀 마스크는 밝은 픽셀 아티팩트들(예컨대, 핫 픽셀들), 포화된 픽셀들 및 임의의 다른 노이즈를 갖는 픽셀들을 제거하기 위해 생성된 마스크들일 수 있다. 실제로, 하나 이상의 마스크는 HDR PSF 이미지 생성에 활용될 수 있는 유용한 PSF 정보를 포함하는 픽셀들을 결정할 수 있다. 방법(600)은 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 각 픽셀 공간 위치 (x, y)에 대해, 노출 시간에 대한 픽셀 값의 비율을 컴퓨팅하고, 노이즈 통계 값들을 활용하여 N 개의 노출 시간들에 걸쳐 가중 평균 픽셀 강도 값(예컨대, 방사 조도(irradiance) 값)을 계산하는, 블록(608)에서 계속될 수 있다. 예를 들어, 특정 실시예들에서, 가중 평균 픽셀 강도 값(예컨대, 방사 조도 값)은 하나 이상의 캡처된 PSF 이미지로 인해 각 픽셀 위치 (x, y)에서의 방사 조도 값을 나타낼 수 있다. 다음으로, 방법(600)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 예를 들어, 선형 응답 이미지 센서(122)를 활용하여 HDR PSF 이미지들을 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분들에 대해 개별적으로) 생성하는, 블록(610)에서 종결될 수 있다.
도 7은 현재 개시된 실시예들에 따라 고해상도 HDR RSF 이미지들을 바탕으로 저해상도 HDR PSF 이미지들을 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분에 대해 개별적으로) 생성하기 위한 방법(700)의 흐름도를 도시한다. 방법(700)은, 하드웨어(예컨대, 범용 프로세서, 그래픽 처리 유닛(GPU), 주문형 집적 회로(ASIC), 시스템 온 칩(SoC), 마이크로 컨트롤러, 필드 프로그래밍 가능 게이트 어레이(FPGA), 중앙 처리 유닛(CPU), 애플리케이션 프로세서(AP), 시각 처리 유닛(VPU: Visual Processing Unit), 신경 처리 유닛(NPU: Neural Processing Unit), 신경 결정 프로세서(NDP: Neural Decision Processor) 또는 이미지 데이터를 처리하기에 적합할 수 있는 임의의 다른 처리 디바이스(들))를 포함할 수 있는 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104)), 소프트웨어(예컨대, 하나 이상의 프로세서 상에서 작동/실행하는 명령들), 펌웨어(예컨대, 마이크로 코드) 또는 이들의 일부 조합을 활용하여 수행될 수 있다. 특정 실시예들에서, 방법(700)은, 현재 개시된 실시예들에 따라, 이미지 재구성을 위해 센서 픽셀 크기 dx L 에 일치하도록 공간 불변의 저해상도 PSF 이미지를 생성하는 데 활용될 수 있는, 샘플링 간격 dx H 로 고해상도 HDR PSF 이미지를 샘플링할 수 있다.
방법(700)은 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 샘플링 간격 dx H 로 고해상도 HDR PSF 이미지를 샘플링하는, 블록(702)에서 시작될 수 있다. 다음으로, 방법(700)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 샘플링 간격 dx H 의 2배를 넘는 이미지 센서(122) 픽셀 크기 dxL 의 상위 정수 m을 컴퓨팅하는, 블록(704)에서 계속될 수 있다. 방법 (700)은, 하나 이상의 처리 디바이스(예를 들어, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여 dx H 단계에서 하나 이상의 고해상도 HDR PSF 이미지를 -mdx H 로부터 mdx H 로 횡방향으로 시프트하고 횡방향으로 시프트된 고해상도 HDR PSF 이미지들을 평균화하여 평균화된 고해상도 PSF 이미지를 생성하는, 블록 706에서 계속될 수 있다. 방법(700)은 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 평균화된 고해상도 HDR PSF 이미지를 다운샘플링하는, 블록(708)에서 계속될 수 있다. 다음으로, 방법(700)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, (예컨대 RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분에 대해 개별적으로) 다운샘플링되고 평균화된 고해상도 HDR PSF 이미지에 기초하여 이미지 재구성을 위한 공간 불변의 저해상도 PSF 이미지를 생성하는, 블록(710)에서 종결될 수 있다.
도 8 및 도 9는 도 6 및 도 7과 관련하여 위에서 논의된 이전 기법들의 예시들을 보여주는 예시적인 실험 데이터를 도시한다. 예를 들어, 도 8은 선형 이미지 센서(122) 응답을 도시하는 노출 시간 대 픽셀 값 플롯(802)을 묘사하며, 여기서 각 그리드는 하나의 픽셀을 나타내고 픽셀 강도 대 픽셀 값 플롯(802)의 x축 상의 노출 시간 t 및 y축 상의 픽셀 값을 포함한다. 유사하게, 예시적인 이미지(804)는 HDR PSF 계산에서 활용될 유효한 픽셀들을 필터링하기 위해 활용되는 예시적인 픽셀 마스크를 묘사할 수 있다. 유사하게, 도 9는, 현재 개시된 실시예들에 따라, RGB 컬러 성분의 각각에 대한 고해상도 하이 다이내믹 레인지 PSF 이미지를 획득하기 위한 프로세스를 도시한다. 예시적인 이미지들(902)은 N번(예컨대, 10밀리초(ms), 500ms, 2000ms 등)으로 캡처될 수 있는 N 개의 PSF 이미지들을 도시한다. 예시적인 이미지(904)는, 일반적으로 도 6의 방법(600)에 대해 위에서 논의된 바와 같이, N번(예컨대, 10밀리초(ms), 500ms, 2000ms 등)으로 캡처될 수 있는 N 개의 PSF 이미지들을 활용하여 생성될 수 있는 고해상도 HDR PSF 이미지를 예시한다.
도 10, 도 11 및 도 12a와 도 12b는 하이 다이내믹 레인지(HDR) 점 확산 함수(PSF) 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위해 공간 불변의 저해상도 PSF 이미지를 획득하기 위한 현재 개시된 기법들의 하나 이상의 작동 예시를 도시한다. 예를 들어, 도 10은 고해상도 PSF 이미지의 원본 이미지(1002) 및 대응하는 단면 출력(1004)을 도시한다(예컨대, 현재 개시된 실시예들에 따라 또한 손실되지 않고 캡처될 수 있는 사이드 로브(side lobe) 특징들을 도시함).
도 11은 횡방향으로 시프트된 고해상도 HDR PSF 이미지들(1102) 및 대응하는 단면 출력들(1104)(예컨대, 사이드 로브 특징들을 포함함)을 도시한다. 도 12a는 평균화된 고해상도 HDR PSF 이미지(1202) 및 대응하는 단면 출력(1204)(예컨대, 사이드 로브 특징들을 포함함)을 도시하고, 마지막으로, 도 12b는 평균화된 고해상도 HDR PSF 이미지(1206) 및 대응하는 단면 출력의 리샘플링(1206)(예컨대, 사이드 로브 특징들을 포함함)을 도시한다. 알 수 있는 바와 같이, 평균화된 고해상도 HDR PSF 이미지의 리샘플링(1206)의 예는 적절한 이미지 재구성을 위해 활용될 수 있는 공간 불변의 저해상도 PSF 이미지를 보여준다.
도 13은 현재 개시된 실시예들에 따라 비선형 응답 이미지 센서에 기초하여 하이 다이내믹 레인지(HDR) PSF 이미지를 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분에 대해 개별적으로) 생성하기 위한 방법(1300)의 흐름도를 도시한다. 특정 실시예들에서, 방법(1300)은 위에서 논의된 바와 같은 방법(600)에 대안적으로 또는 이에 추가하여 수행될 수 있다. 방법(1300)은, 하드웨어(예컨대, 범용 프로세서, 그래픽 처리 유닛(GPU), 주문형 집적 회로(ASIC), 시스템 온 칩(SoC), 마이크로 컨트롤러, 필드 프로그래밍 가능 게이트 어레이(FPGA), 중앙 처리 유닛(CPU), 애플리케이션 프로세서(AP), 시각 처리 유닛(VPU), 신경 처리 유닛(NPU), 신경 결정 프로세서(NDP) 또는 이미지 데이터를 처리하기에 적합할 수 있는 임의의 다른 처리 디바이스(들))를 포함할 수 있는 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104)), 소프트웨어(예컨대, 하나 이상의 프로세서 상에서 작동/실행하는 명령들), 펌웨어(예컨대, 마이크로 코드) 또는 이들의 일부 조합을 활용하여 수행될 수 있다.
방법(1300)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, N 개의 상이한 노출들을 이용하여 N 개의 PSF 이미지들을 캡처하고, 가장 낮은 노출 시간으로부터 가장 높은 노출 시간까지 N 개의 상이한 노출을 이용하여 N 개의 PSF 이미지들을 배열 또는 재배열하고, 3D 강도 데이터 세트들 (x, y, t)을 결정하되, (x, y)는 픽셀 공간 위치를 나타낼 수 있는 한편, (t)는 각각의 픽셀 공간 위치 (x, y)와 연관될 수 있는 각각의 노출 시간을 나타낼 수 있는, 블록(1302)에서 시작될 수 있다. 예를 들어, 특정 실시예들에서, N 개의 노출 시간들은 이미지 센서(122) 비트 깊이 및 캡처되는 하나 이상의 PSF 이미지의 다이내믹 레인지에 기초하여 선택될 수 있다. 다음으로, 방법(1300)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 이미지 센서(122) 출력에 부가되는 임의의 페데스탈(pedestal) 값들을 감산하고 이미지 센서(122) 출력이 비선형임을 확인하는, 블록(1304)에서 계속될 수 있다. 방법(1300)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 낮은 픽셀 강도 변화들을 갖는 픽셀 영역들의 세트를 선택하고 이미지 센서(122) 응답 곡선 계산을 위해 픽셀의 서브세트를 선택하는, 블록(1306)에서 계속될 수 있다.
방법(1300)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 각각의 픽셀 강도 값들 및 각각의 노출 시간들 및 제곱 평활도 항의 합에 기초하여 유도되는 2차 목적 함수를 최소화함으로써 이미지 센서(122) 응답 곡선을 계산하는, 블록(1308)에서 계속될 수 있다. 방법(1300)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 모든 노출 시간들 및 가중 함수(예컨대, 모자 형상의 가중 함수)를 활용함으로써 HDR PSF 이미지를 생성하여 하나 이상의 획득된 PSF 이미지로 인해 각 픽셀 위치 (x, y)에서의 가중 평균 픽셀 강도 값(예컨대, 방사 조도 값)을 생성하는, 블록(1310)에서 계속될 수 있다. 다음으로, 방법(1300)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 예를 들어, 비선형 응답 이미지 센서(122)를 활용하여 HDR PSF 이미지들을 (예컨대, RGB 컬러 성분들의 각각 및/또는 하나 이상의 특정 단색 컬러 성분들에 대해 개별적으로) 생성하는, 블록(1312)에서 종결될 수 있다.
도 14 내지 도 17은, 현재 개시된 실시예들에 따라, 고해상도 HDR PSF 이미지를 생성하기 위한 그리고 그에 기초한 이미지 재구성을 위해 공간 불변의 저해상도 PSF 이미지를 획득하기 위한 현재 개시된 기법들의 하나 이상의 작동 예시를 도시한다. 예를 들어, 도 14의 예시(1400)는, 예를 들어, 컴퓨터 시뮬레이션(1402)을 통한 원본 PSF 이미지와, 예를 들어, 현재 개시된 실시예들에 따라, 예를 들어 고해상도 PSF 측정 시스템(500)을 활용하는 결과 PSF 이미지(1406)와 비교되는 저해상도 PSF 측정 시스템(200)을 활용하는 결과 PSF 이미지(1404)의 비교를 묘사하는 예시적인 PSF 이미지들(1402, 1404 및 1406)을 디스플레이한다. 따라서, 도 14는 저해상도 PSF 측정 시스템(200)을 이용하여 획득되는 PSF 이미지(1404)가 PSF 이미지(1402)에서 모든 광 정보를 복구하지 못할 수 있음을 보여준다. 하지만, 고해상도 PSF 측정 시스템(500)을 활용하여, 촬영된 PSF 이미지(1406)는 원본 이미지 PSF 이미지(1402)에 더 근접하게 일치한다.
특정 실시예에서, 도 15의 예시적인 PSF 이미지(1502, 1504 및 1506)의 예시(1500)는, 현재 HDR PSF 기법들을 적용하기 전에, 결과 이미지 PSF 이미지(1502)(예컨대, 짧은 노출 시간에 걸쳐 촬영됨) 및 결과 이미지 PSF 이미지(1504)(예컨대, 긴 노출 시간에 걸쳐 촬영됨)를 묘사한다. 다른 한편으로, 결과 이미지 PSF 이미지(1506)(예컨대, 다수의 노출 시간들에 걸쳐 촬영되는 PSF 이미지에 기초하여 생성됨)는 현재 개시된 실시예들에 따라 현재 HDR PSF 기법들을 적용한다. 실제로, 결과 이미지 PSF 이미지(1506)는 현재 개시된 실시예들에 따른 고해상도 HDR PSF를 예시한다. 도 16 및 도 17은 이미지 재구성을 위한 저해상도 공간 불변 PSF 이미지를 생성하는 예시들(1600 및 1700)를 도시한다. 예를 들어, 예시적인 이미지(1602)는 고해상도 HDR PSF 이미지를 예시하고, 예시적인 이미지(1604)는 횡방향으로 시프트되고 평균화된 고해상도 PSF 이미지를 예시하며, 예시적인 이미지(1606)는 이미지 재구성을 위해 활용될 디지털적으로 다운샘플링된 저해상도 공간 불변의 PSF 이미지를 예시한다. 예를 들어, 도 17을 참조하면, 예시적인 이미지(1702)는 블러링된 이미지를 예시하고, 예시적인 이미지(1704)는 디지털적으로 다운샘플링된 저해상도 공간 불변의 PSF 이미지 기반의 재구성된 이미지를 예시한다.
도 18은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다. 제어 방법(1800)은, 하드웨어(예컨대, 범용 프로세서, 그래픽 처리 유닛(GPU), 주문형 집적 회로(ASIC), 시스템 온 칩(SoC), 마이크로 컨트롤러, 필드 프로그래밍 가능 게이트 어레이(FPGA), 중앙 처리 유닛(CPU), 애플리케이션 프로세서(AP), 시각 처리 유닛(VPU), 신경 처리 유닛(NPU), 신경 결정 프로세서(NDP) 또는 이미지 데이터를 처리하기에 적합할 수 있는 임의의 다른 처리 디바이스(들))를 포함할 수 있는 하나 이상의 처리 디바이스(예컨대, 하나 이상의 프로세서(104)), 소프트웨어(예컨대, 하나 이상의 프로세서 상에서 작동/실행하는 명령들), 펌웨어(예컨대, 마이크로 코드) 또는 이들의 일부 조합을 활용하여 수행될 수 있다.
제어 방법(1800)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 전자 장치의 디스플레이 패널 뒤에 배치되는 카메라를 통해 디스플레이 패널의 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF) 이미지들을 획득하는 단계를 포함할 수 있다(1802). 여기서 복수의 PSF 이미지들 각각은 상이한 복수의 노출 시간에 획득될 수 있다.
다음으로, 제어 방법(1800)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 복수의 PSF 이미지들의 각각에 대해, PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하는 단계를 포함할 수 있다(1804). 여기서 픽셀 강도 데이터는 각각의 PSF 이미지의 노출 시간과 연관될 수 있다.
다음으로, 제어 방법(1800)은, 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 각각의 픽셀 위치에 대해, 복수의 PSF 이미지들에 대한 각각의 픽셀 위치에 대한 픽셀 강도 데이터 및 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하는 단계를 포함할 수 있다 (1806). 다음으로, 제어 방법(1800)은 하나 이상의 처리 디바이스(예컨대, 전자 장치(102)의 하나 이상의 프로세서(104))를 이용하여, 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR) PSF 이미지를 생성하는 단계를 포함할 수 있다 (1808).
이러한 방식으로, 본 실시예들은 전자 장치(102)의 하나 이상의 프론트 페이싱 카메라들(110)을 디스플레이 패널(112) 뒤에 배치함으로써 전자 장치(102)의 디스플레이 패널(112)의 시야 영역 및 해상도를 증가시킬 수 있다. 예를 들어, 디스플레이 영역의 증가로 인해(예컨대, 하나 이상의 프론트 페이싱 카메라들(110)에 대해 일반적으로 지정되는 디스플레이 영역이 제거됨으로 인해), 전자 장치(102)는, 노치 디자인 또는 홀 펀치 디자인에 따라 배터리 상황, 셀룰러 신호 강도 데이터, Wi-Fi 상황, 시간 정보 등을 표시하는 데에만 제한되는 것이 아니라, 전체적으로 전체 화면보기와 함께 개선된 GUI들을 추가로 제공할 수 있다. 본 기법들은 전자 장치(102)의 미적 품질을 더욱 증가시킬 수 있을 뿐만 아니라 전자 장치(102)의 사용자가 전자 장치(102)의 디스플레이 패널(112) 상에 더 높은 해상도의 이미지들을 디스플레이하는 것을 허용한다. 더 나아가, 하나 이상의 프론트 페이싱 카메라(110)가 디스플레이 패널(112)의 뒤에 배치될 수 있기 때문에, 본 기법들은 하나 이상의 프론트 페이싱 카메라(110)가 이를테면 전자 장치(102)의 (예컨대, 디스플레이 패널(112)의 코너에 또는 에지를 따라 배치되는 것이 아니라) 디스플레이 패널(112)의 중앙 영역에 어느 곳에나 배치되는 것을 허용할 수 있다. 이것은, 이를테면, 디스플레이 패널(112)의 중앙 영역을 응시하도록 셀카를 찍는 사용자를 지향시킴으로써, 그리고 나아가 사용자가 화상 회의, 화상 통화 교환 또는 기타 비디오 스트리밍 서비스에 참여할 때 다른 사용자와 눈을 마주 치는 인상을 부여함으로써, 개선된 사용자 경험 및/또는 GUI를 제공할 수 있다.
도 19는, 현재 개시된 실시예들에 따라, 하이 다이내믹 레인지(HDR) 점 확산 함수(PSF) 이미지를 생성하기 위해 그리고 그에 기초한 이미지 재구성을 위해 공간 불변의 저해상도 PSF 이미지를 결정하기 위해 활용될 수 있는 예시적인 컴퓨터 시스템(1900)을 도시한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템(1900)은 본원에 설명되거나 예시되는 하나 이상의 방법의 하나 이상의 단계를 수행한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템(1900)은 본원에 설명되거나 예시되는 기능성을 제공한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템(1900) 상에서 작동되는 소프트웨어는 본원에 설명되거나 예시되는 하나 이상의 방법의 하나 이상의 단계를 수행하거나 본원에 설명되거나 예시되는 기능성을 제공한다. 특정 실시예들은 하나 이상의 컴퓨터 시스템(1900)의 하나 이상의 부분을 포함한다. 여기서, 컴퓨터 시스템에 대한 언급은 적절한 경우 컴퓨팅 디바이스를 망라할 수 있으며 그 반대도 마찬가지이다. 또한, 컴퓨터 시스템에 대한 언급은 적절한 경우 하나 이상의 컴퓨팅 시스템을 망라할 수 있다.
본 개시는 임의의 적합한 수의 컴퓨터 시스템들(1900)을 고려한다. 본 개시는 임의의 적합한 물리적 형태를 취하는 컴퓨터 시스템(1900)을 고려한다. 제한이 아닌 예로서, 컴퓨터 시스템(1900)은 임베디드(embedded) 컴퓨터 시스템, 시스템 온 칩(SoC), 단일 보드 컴퓨터 시스템(SBC: Single-Board Computer system)(예컨대, 컴퓨터 온 모듈(COM: Computer-On-Module) 또는 시스템 온 모듈(SOM: System-On-Module)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 대화형 키오스크, 메인 프레임, 컴퓨터 시스템들의 메시(mesh), 모바일폰, 개인 휴대 정보 단말기(PDA: Personal Digital Assistant), 서버, 태블릿 컴퓨터 시스템, 증강/가상 현실 디바이스 또는 이들 중 둘 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(1900)은 하나 이상의 컴퓨터 시스템(1900)을 포함할 수 있으며; 단일성 또는 분산형일 수 있으며; 다수의 위치들에 걸쳐 있을 수 있으며; 다수의 머신들에 걸쳐 있을 수 있으며; 다수의 데이터센터들에 걸쳐 있을 수 있으며; 하나 이상의 네트워크에서의 하나 이상의 클라우드 컴포넌트를 포함할 수 있는 클라우드에 상주할 수 있다.
적절한 경우, 하나 이상의 컴퓨터 시스템(1900)은 실질적인 공간적 또는 시간적 제한없이 본원에 설명되거나 예시되는 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다. 예로서 제한없이, 하나 이상의 컴퓨터 시스템(1900)은 본원에 설명되거나 예시되는 하나 이상의 방법의 하나 이상의 단계를 실시간으로 또는 배치 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템(1900)은, 적절한 경우, 본원에 설명되거나 예시되는 하나 이상의 방법의 하나 이상의 단계를 상이한 시간들 또는 상이한 위치들에서 수행할 수 있다.
특정 실시예들에서, 컴퓨터 시스템(1900)은 프로세서(1902), 메모리(1904), 저장소(1906), 입력/출력(I/O) 인터페이스(1906), 통신 인터페이스(1910) 및 버스(1912)를 포함한다. 본 개시는 특정 배열에서 특정 수의 특정 컴포넌트들을 갖는 특정 컴퓨터 시스템을 설명 및 예시하지만, 본 개시는 임의의 적합한 배열에서 임의의 적합한 수의 임의의 적합한 컴포넌트들을 갖는 임의의 적합한 컴퓨터 시스템을 고려한다.
특정 실시예들에서, 프로세서(1902)는 컴퓨터 프로그램을 구성하는 명령어들과 같은 명령어들을 실행하기 위한 하드웨어를 포함한다. 제한이 아닌 예로서, 명령들을 실행하기 위해, 프로세서(1902)는 내부 레지스터, 내부 캐시, 메모리(1904), 또는 저장소(1906)로부터 명령들을 취출(또는 페치(fetch))할 수 있고; 이들을 디코딩 및 실행할 수 있고; 그런 다음 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(1904) 또는 저장소(1906)에 기록할 수 있다. 특정 실시예들에서, 프로세서(1902)는 데이터, 명령들 또는 어드레스들을 위한 하나 이상의 내부 캐시를 포함할 수 있다. 본 개시는, 적절한 경우, 임의의 적합한 수의 임의의 적합한 내부 캐시들을 포함하는 프로세서(1902)를 고려한다. 제한이 아닌 예로서, 프로세서(1902)는 하나 이상의 명령 캐시, 하나 이상의 데이터 캐시 및 하나 이상의 변환 색인 버퍼(TLB: Translation Lookaside Buffer)를 포함할 수 있다. 명령 캐시들의 명령들은 메모리(1904) 또는 저장소(1906)의 명령들의 카피(copy)들일 수 있으며, 명령 캐시들은 프로세서(1902)에 의한 이러한 명령들의 취출 속도를 높일 수 있다.
데이터 캐시들에서의 데이터는, 동작할 프로세서(1902)에서 실행되는 명령들을 위한; 프로세서(1902)에서 실행되는 후속 명령들에 의한 액세스를 위해 또는 메모리(1904) 혹은 저장소(1906)에 기록하기 위해 프로세서(1902)에서 실행되는 이전 명령들의 결과들을 위한; 또는 다른 적합한 데이터를 위한 메모리(1904) 또는 저장소(1906)에서의 데이터의 카피들일 수 있다. 데이터 캐시들은 프로세서(1902)에 의한 판독 또는 기록 동작들의 속도를 높일 수 있다. TLB들은 프로세서(1902)에 대한 가상 어드레스 변환의 속도를 높일 수 있다. 특정 실시예들에서, 프로세서(1902)는 데이터, 명령들 또는 어드레스들을 위한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 개시는, 적절한 경우, 임의의 적합한 수의 임의의 적합한 내부 레지스터들을 포함하는 프로세서(1902)를 고려한다. 적절한 경우, 프로세서(1902)는 하나 이상의 산술 논리 유닛(ALU: Arithmetic Logic Unit)을 포함할 수 있거나; 멀티 코어 프로세서일 수 있거나; 또는 하나 이상의 프로세서(1902)를 포함할 수 있다. 본 개시는 특정 프로세서를 설명 및 예시하지만, 본 개시는 임의의 적합한 프로세서를 고려한다.
특정 실시예들에서, 메모리(1904)는 프로세서(1902)가 실행할 명령들 또는 프로세서(1902)가 동작할 데이터를 저장하기 위한 주 메모리를 포함한다. 제한이 아닌 예로서, 컴퓨터 시스템(1900)은 저장소(1906) 또는 (예를 들어, 다른 컴퓨터 시스템(1900)과 같은) 다른 소스로부터 메모리(1904)로 명령들을 로드할 수 있다. 다음으로, 프로세서(1902)는 메모리(1904)로부터 내부 레지스터 또는 내부 캐시로 명령들을 로드할 수 있다. 명령들을 실행하기 위해, 프로세서(1902)는 내부 레지스터 또는 내부 캐시로부터 명령들을 취출하고 이를 디코딩할 수 있다. 명령들의 실행 동안 또는 실행 후에, 프로세서(1902)는 하나 이상의 결과(중간 또는 최종 결과들일 수 있음)를 내부 레지스터 또는 내부 캐시에 기록할 수 있다. 다음으로, 프로세서(1902)는 메모리(1904)에 이러한 결과들 중 하나 이상을 기록할 수 있다. 특정 실시예들에서, 프로세서(1902)는 하나 이상의 내부 레지스터 또는 내부 캐시에서의 또는 (저장소(1906) 또는 다른 곳이 아닌) 메모리(1904)에서의 명령들만을 실행하고, 하나 이상의 내부 레지스터 또는 내부 캐시에서의 또는 (저장소(1906) 또는 다른 곳이 아닌) 메모리(1904)에서의 데이터에 대해서만 동작한다.
하나 이상의 메모리 버스(각각 어드레스 버스 및 데이터 버스를 포함할 수 있음)는 프로세서(1902)를 메모리(1904)에 커플링할 수 있다. 버스(1912)는, 후술하는 바와 같이, 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예들에서, 하나 이상의 메모리 관리 유닛(MMU: Memory Management Unit)은 프로세서(1902)와 메모리(1904) 사이에 상주하며, 프로세서(1902)에 의해 요청되는 메모리(1904)에 대한 액세스를 용이하게 한다. 특정 실시예들에서, 메모리(1904)는 랜덤 액세스 메모리(RAM)를 포함한다. 이 RAM은, 적절한 경우, 휘발성 메모리일 수 있다. 적절한 경우, 이 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 또한, 적절한 경우, 이 RAM은 단일 포트 또는 다중 포트 RAM일 수 있다. 본 개시는 임의의 적합한 RAM을 고려한다. 메모리(1904)는, 적절한 경우, 하나 이상의 메모리(1904)를 포함할 수 있다. 본 개시는 특정 메모리를 설명 및 예시하지만, 본 개시는 임의의 적합한 메모리를 고려한다.
특정 실시예들에서, 저장소(1906)는 데이터 또는 명령들을 위한 대용량 저장소를 포함한다. 제한이 아닌 예로서, 저장소(1906)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광 디스크, 광 자기 디스크, 자기 테이프 또는 범용 직렬 버스(USB) 드라이브 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 저장소(1906)는, 적절한 경우, 제거 가능형 또는 제거 불가능형 (또는 고정형) 매체를 포함할 수 있다. 저장소(1906)는, 적절한 경우, 컴퓨터 시스템(1900)의 내부 또는 외부에 있을 수 있다. 특정 실시예들에서, 저장소(1906)는 비휘발성 고체 상태 메모리이다. 특정 실시예들에서, 저장소(1906)는 판독 전용 메모리(ROM)를 포함한다. 적절한 경우, 이 ROM은 마스크 프로그래밍(mask-programmed) ROM, 프로그래밍 가능 ROM(PROM: Programmable ROM), 소거 가능 PROM(EPROM: Erasable PROM), 전기적 소거 가능 PROM(EEPROM: Electrically Erasable PROM), 전기적 변경 가능 ROM(EAROM: Electrically Alterable ROM) 또는 플래시 메모리 혹은 이들 중 둘 이상의 조합일 수 있다. 본 개시는 임의의 적합한 물리적 형태를 취하는 대용량 저장소(1906)를 고려한다. 저장소(1906)는, 적절한 경우, 프로세서(1902)와 저장소(1906) 사이의 통신을 용이하게 하는 하나 이상의 저장소 제어 유닛을 포함할 수 있다. 적절한 경우, 저장소(1906)는 하나 이상의 저장소(1906)를 포함할 수 있다. 본 개시는 특정 저장소를 설명 및 예시하지만, 본 개시는 임의의 적합한 저장소를 고려한다.
특정 실시예들에서, I/O 인터페이스(1906)는 컴퓨터 시스템(1900)과 하나 이상의 I/O 디바이스 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 양방 모두를 포함한다. 컴퓨터 시스템(1900)은, 적절한 경우, 이러한 I/O 디바이스들 중 하나 이상을 포함할 수 있다. 이들 I/O 디바이스들 중 하나 이상은 사람과 컴퓨터 시스템(1900) 사이의 통신을 가능하게 할 수 있다. 제한이 아닌 예로서, I/O 디바이스는 키보드, 키패드, 마이크, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적합한 I/O 디바이스 또는 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 디바이스는 하나 이상의 센서를 포함할 수 있다. 본 개시는 임의의 적합한 I/O 디바이스들 및 이들에 대한 임의의 적합한 I/O 인터페이스들(1906)을 고려한다. 적절한 경우, I/O 인터페이스(1906)는 프로세서(1902)가 하나 이상의 이러한 I/O 디바이스를 구동하는 것을 가능하게 하는 하나 이상의 디바이스 또는 소프트웨어 드라이버를 포함할 수 있다. I/O 인터페이스(1906)는, 적절한 경우, 이러한 I/O 인터페이스들 중 하나 이상을 포함할 수 있다. 본 개시는 특정 I/O 인터페이스를 설명 및 예시하지만, 본 개시는 임의의 적합한 I/O 인터페이스를 고려한다.
특정 실시예들에서, 통신 인터페이스(1910)는 컴퓨터 시스템(1900)과 하나 이상의 다른 컴퓨터 시스템(1900) 또는 하나 이상의 네트워크 사이의 (예를 들어, 패킷 기반의 통신과 같은) 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어 또는 양방 모두를 포함한다. 제한이 아닌 예로서, 통신 인터페이스(1910)는 이더넷 또는 기타 유선 기반의 네트워크와 통신하기 위한 네트워크 인터페이스 제어기(NIC: Network Interface Controller) 또는 네트워크 어댑터 혹은 WI-FI 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 NIC(WNIC: Wireless NIC) 또는 무선 어댑터를 포함할 수 있다. 본 개시는 임의의 적합한 네트워크 및 이들에 대한 임의의 적합한 통신 인터페이스(1910)를 고려한다.
제한이 아닌 예로서, 컴퓨터 시스템(1900)은 애드혹(ad hoc) 네트워크, 개인 영역 네트워크(PAN: Personal Area Network), 근거리 통신망(LAN: Local Area Network), 광역 네트워크(WAN: Wide Area Network), 대도시 영역 네트워크(MAN: Metropolitan Area Network), 또는 인터넷의 하나 이상의 부분 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 하나 이상의 이러한 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템(1900)은 (예를 들어, BLUETOOTH WPAN과 같은) 무선 PAN(WPAN: Wireless PAN), WI-FI 네트워크, WI-MAX 네트워크, (예를 들어, 이동 통신 글로벌 시스템(GSM: Global System for Mobile Communications) 네트워크와 같은) 셀룰러 전화 네트워크, 또는 기타 적합한 무선 네트워크 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 컴퓨터 시스템(1900)은, 적절한 경우, 이들 네트워크 중 임의의 것에 대한 임의의 적합한 통신 인터페이스(1910)를 포함할 수 있다. 통신 인터페이스(1910)는, 적절한 경우, 하나 이상의 통신 인터페이스를 포함할 수 있다. 본 개시는 특정 통신 인터페이스를 설명 및 예시하지만, 본 개시는 임의의 적합한 통신 인터페이스를 고려한다.
특정 실시예들에서, 버스(1912)는 컴퓨터 시스템(1900)의 컴포넌트들을 서로 커플링하는 하드웨어, 소프트웨어 또는 양방 모두를 포함한다. 제한이 아닌 예로서, 버스(1912)는 가속 그래픽 포트(AGP: Accelerated Graphics Port) 또는 기타 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(Front Side Bus), HT(Hypersentransport) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 상호 접속, LPC(Low-Pin-Count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-express) 버스, SATA(Serial Advanced Technology Attachment) 버스, Video Electronics Standards Association 로컬 (VLB) 버스, 또는 다른 적합한 버스 혹은 이들 중 둘 이상의 조합을 포함할 수 있다. 버스(1912)는, 적절한 경우, 하나 이상의 버스(1912)를 포함할 수 있다. 본 개시는 특정 버스를 설명 및 예시하지만, 본 개시는 임의의 적합한 버스 또는 상호 접속을 고려한다.
여기서, 컴퓨터 판독가능 비일시적 저장 매체 또는 매체들은 (예를 들어, 필드 프로그램 가능 게이트 어레이(FPGA)들 또는 주문형 집적 회로(ASIC)들과 같은) 하나 이상의 반도체 기반 또는 기타 집적 회로(IC)들, 하드 디스크 드라이브(HDD)들, 하이브리드 하드 드라이브(HHD)들, 광 디스크들, 광 디스크 드라이브(ODD)들, 광 자기 디스크들, 광 자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브(FDD)들, 자기 테이프들, 고체 상태 드라이브(SSD: Solid-State Drive)들, RAM 드라이브들, SD(SECURE DIGITAL) 카드들 또는 드라이브들, 임의의 다른 적합한 컴퓨터 판독가능 비일시적 저장 매체 또는 적절한 경우 이들 중 둘 이상의 임의의 적합한 조합을 포함할 수 있다. 컴퓨터 판독가능 비일시적 저장 매체는, 적절한 경우, 휘발성, 비휘발성 또는 휘발성 및 비휘발성의 조합일 수 있다.
여기서, "또는"은 명시적으로 달리 표시되거나 문맥에 의해 달리 표시되지 않는 한 포괄적인 것이지 배타적인 것이 아니다. 그러므로, 여기서, "A 또는 B"는 명시적으로 달리 표시되거나 문맥에 의해 달리 표시되지 않는 한 "A, B, 또는 양방 모두"를 의미한다. 또한, "및"은 명시적으로 달리 표시되거나 문맥에 의해 달리 표시되지 않는 한 공동 및 몇몇 양방 모두이다. 그러므로, 여기서, "A 및 B"는 명시적으로 달리 표시되거나 문맥에 의해 달리 표시되지 않는 한 "A 및 B, 공동으로 또는 개별적으로"를 의미한다.
여기서 "자동으로" 및 그 파생어들은 달리 명시적으로 표시되거나 문맥에 의해 달리 표시되지 않는 한 "인간 개입없이"를 의미한다.
본 명세서에 개시되는 실시예들은 예시들일 뿐이며, 본 개시의 범위는 이들에 제한되지 않는다. 본 발명에 따른 실시예들은, 특히, 방법, 저장 매체, 시스템 및 컴퓨터 프로그램 제품에 관한 첨부된 청구항들에서 개시되되, 여기서 하나의 청구항 카테고리, 예컨대 방법에 언급된 임의의 특징은 다른 청구항 카테고리, 예컨대 시스템에서도 또한 청구될 수 있다. 첨부된 청구항들에서의 종속성들 또는 참조들은 공식적인 이유들만으로 선택된다. 하지만, 임의의 이전 청구항들에 대한 의도적인 참조(특히, 다중 종속성들)로 인해 발생하는 임의의 주제도 또한 청구될 수 있으므로, 청구항들 및 그것의 특징들의 임의의 조합이 개시되고 첨부된 청구항들에서 선택되는 종속성들에 관계없이 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구항들에 명시되는 특징들의 조합들뿐만 아니라 청구항들에서의 특징들의 임의의 다른 조합도 포함되며, 여기서, 청구항들에 언급된 각 특징은 청구항들에서의 다른 특징 또는 다른 특징들의 조합과 결합될 수 있다. 게다가, 본원에 설명되거나 묘사되는 임의의 실시예들 및 특징들은 별도의 청구항 및/또는 본원에 설명되거나 묘사되는 임의의 실시예 또는 특징 혹은 첨부된 청구항들의 특징들 중 임의의 것과의 임의의 조합으로 청구될 수 있다.
본 개시의 범위는 당업자가 이해할 수 있는, 본원에 설명되거나 예시되는 예시적인 실시예들에 대한 모든 변경들, 대체들, 변형들, 변화들 및 수정들을 망라한다. 본 개시의 범위는 본원에 설명되거나 예시되는 예시적인 실시예들에 제한되지 않는다. 또한, 본 개시는 특정 컴포넌트들, 요소들, 특징, 기능들, 동작들 또는 단계들을 포함하는 것으로, 여기서 각각의 실시예들을 설명 및 예시하지만, 이들 실시예 중 임의의 것은, 당업자가 이해할 수 있는 본원에서의 어느 곳에서나 설명되거나 예시되는, 컴포넌트들, 요소들, 특징들, 기능들, 동작들 또는 단계들 중 임의의 것의 임의의 조합 또는 순열을 포함할 수 있다. 게다가, 첨부된 청구항들에서 특정 기능을 수행하도록 적응되거나, 배열되거나, 가능하거나, 구성되거나, 가능하게 하거나, 동작 가능하거나 또는 작동되는 장치 또는 시스템의 장치 또는 시스템 또는 컴포넌트에 대한 언급은, 장치, 시스템 또는 컴포넌트가 그렇게 적응되거나, 배열되거나, 가능하거나, 구성되거나, 가능하게 하거나, 동작 가능하거나 또는 작동되는 한, 해당 특정 기능이 활성화되거나, 켜지거나 또는 잠금 해제되었는지 여부와는 상관 없이, 해당 장치, 시스템, 컴포넌트를 망라한다. 부가적으로, 본 개시는 특정 이점들을 제공하는 것으로 특정 실시예들을 설명하거나 예시하지만, 특정 실시예들은 이러한 이점들을 제공하지 않거나, 일부 또는 전부를 제공할 수 있다.

Claims (19)

  1. 전자 장치의 제어 방법에 있어서,
    카메라를 통해 복수의 노출 시간 각각 동안 상기 전자 장치의 디스플레이 패널 중 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF: Point Spread Function) 이미지들을 획득하는 단계;
    상기 복수의 PSF 이미지들 각각에 대해, 상기 PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하는 단계;
    상기 복수의 픽셀 위치에 대해, 상기 픽셀 강도 데이터 및 상기 복수의 픽셀 위치에 대응되는 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하는 단계; 및
    상기 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR: High Dynamic Range) PSF 이미지를 생성하는 단계;를 포함하는, 제어 방법.
  2. 제 1 항에 있어서,
    상기 획득하는 단계는,
    상기 카메라의 렌즈와 상기 카메라의 이미지 센서 사이에 배치되는 하나 이상의 확대 광학 요소를 통해 상기 복수의 PSF 이미지들을 획득하는 단계를 포함하는, 제어 방법.
  3. 제 2 항에 있어서,
    상기 하나 이상의 확대 광학 요소는 하나 이상의 대물 렌즈 및 하나 이상의 튜브 렌즈를 포함하는, 제어 방법.
  4. 제 1 항에 있어서,
    상기 결정하는 단계는,
    상기 PSF 이미지들 각각에 대해, 상기 각각의 PSF 이미지의 상기 노출 시간에 대한 상기 픽셀 강도 데이터의 비율 값을 결정하는 단계를 포함하는, 제어 방법.
  5. 제 1 항에 있어서,
    상기 생성하는 단계는,
    제 1 컬러 채널, 제 2 컬러 채널 및 제 3 컬러 채널의 각각에 대해 HDR PSF 이미지를 생성하는 단계를 포함하는, 제어 방법.
  6. 제 1 항에 있어서,
    상기 생성하는 단계는,
    상기 HDR PSF 이미지로부터 저해상도 HDR PSF 이미지를 획득하는 단계를 포함하는, 제어 방법.
  7. 제 6 항에 있어서,
    상기 저해상도 HDR PSF 이미지를 이용하여 상기 디스플레이 패널 뒤에 배치되는 상기 카메라에 의해 촬영되는 이미지들을 재구성하는 단계;를 더 포함하는, 제어 방법.
  8. 전자 장치로서,
    디스플레이 패널;
    상기 디스플레이 패널 뒤에 배치되는 카메라;
    적어도 하나의 명령을 저장하는 메모리; 및
    상기 메모리 및 상기 카메라에 커플링되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 카메라를 통해 복수의 노출 시간 각각 동안 상기 디스플레이 패널의 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF: Point Spread Function) 이미지들을 획득하고,
    상기 복수의 PSF 이미지들 각각에 대해, 상기 PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하고,
    상기 각 픽셀 위치에 대해, 상기 픽셀 강도 데이터 및 상기 복수의 픽셀 위치에 대응되는 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하고,
    상기 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR: High Dynamic Range) PSF 이미지를 생성하기 위한 명령들을 실행하도록 구성되는, 전자 장치.
  9. 제 8 항에 있어서,
    상기 복수의 PSF 이미지들을 획득하기 위한 명령들은,
    상기 카메라의 렌즈와 상기 카메라의 이미지 센서 사이에 배치되는 하나 이상의 확대 광학 요소를 통해 상기 복수의 PSF 이미지들을 획득하기 위한 명령들을 포함하는, 전자 장치.
  10. 제 9 항에 있어서,
    상기 하나 이상의 확대 광학 요소는 하나 이상의 대물 렌즈 및 하나 이상의 튜브 렌즈를 포함하는, 전자 장치.
  11. 제 8 항에 있어서,
    상기 픽셀 강도 데이터를 결정하기 위한 명령들은,
    상기 PSF 이미지들 각각에 대해, 상기 각각의 PSF 이미지의 상기 노출 시간에 대한 상기 픽셀 강도 데이터의 비율 값을 결정하기 위한 명령들을 포함하는, 전자 장치.
  12. 제 8 항에 있어서,
    상기 HDR PSF 이미지를 생성하기 위한 명령들은,
    제 1 컬러 채널, 제 2 컬러 채널 및 제 3 컬러 채널의 각각에 대해 각각의 HDR PSF 이미지를 생성하기 위한 명령들을 더 포함하는, 전자 장치.
  13. 제 8 항에 있어서,
    상기 HDR PSF 이미지를 생성하기 위한 명령들은,
    상기 HDR PSF 이미지로부터 저해상도 HDR PSF 이미지를 획득하기 위한 명령들을 더 포함하는, 전자 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 저해상도 HDR PSF 이미지를 이용하여 상기 카메라에 의해 캡처되는 이미지들을 재구성하기 위한 명령들을 실행하도록 구성되는, 전자 장치.
  15. 비일시적 컴퓨터 판독가능 매체로서, 전자 장치의 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금,
    상기 전자 장치의 디스플레이 패널 뒤에 배치되는 카메라를 통해 복수의 노출 시간 각각 동안 상기 디스플레이 패널의 반투명 픽셀 영역을 촬영하여 복수의 점 확산 함수(PSF: Point Spread Function) 이미지들을 획득하는 단계;
    상기 복수의 PSF 이미지들 각각에 대해, 상기 PSF 이미지의 복수의 픽셀 위치들의 각각에 대한 픽셀 강도 데이터를 결정하는 단계;
    상기 복수의 픽셀 위치에 대해, 상기 픽셀 강도 데이터 및 상기 복수의 픽셀 위치에 대응되는 노출 시간에 기초하여 가중 평균 픽셀 강도 값을 계산하는 단계; 및
    상기 가중 평균 픽셀 강도 값들을 이용하여 하이 다이내믹 레인지(HDR: High Dynamic Range) PSF 이미지를 생성하는 단계;
    를 수행하게 하는 명령들을 포함하는, 비일시적 컴퓨터 판독가능 매체.
  16. 제 15 항에 있어서,
    상기 복수의 PSF 이미지들을 획득하는 단계를 수행하게 하는 명령들은,
    상기 카메라의 렌즈와 상기 카메라의 이미지 센서 사이에 배치되는 하나 이상의 확대 광학 요소를 통해 상기 복수의 PSF 이미지들을 획득하는 단계를 수행하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  17. 제 15 항에 있어서,
    상기 픽셀 강도 데이터를 결정하는 단계를 수행하게 하는 명령들은,
    상기 PSF 이미지들의 각각에 대해, 상기 각각의 PSF 이미지의 상기 노출 시간에 대한 상기 픽셀 강도 데이터의 비율 값을 결정하는 단계를 수행하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  18. 제 15 항에 있어서,
    상기 HDR PSF 이미지를 생성하는 단계를 수행하게 하는 명령들은,
    제 1 컬러 채널, 제 2 컬러 채널 및 제 3 컬러 채널의 각각에 대해 HDR PSF 이미지를 생성하는 단계를 수행하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
  19. 제 15 항에 있어서,
    상기 HDR PSF 이미지를 생성하는 단계를 수행하게 하는 명령들은,
    상기 HDR PSF 이미지로부터 저해상도 HDR PSF 이미지를 획득하는 단계를 수행하게 하는 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020210093267A 2021-02-05 2021-07-16 전자 장치 및 그 제어 방법 KR20220113237A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2022/001023 WO2022169139A2 (en) 2021-02-05 2022-01-20 Electronic apparatus and method for controlling thereof
EP22749893.8A EP4189954A4 (en) 2021-02-05 2022-01-20 ELECTRONIC DEVICE AND ASSOCIATED CONTROL METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/169,268 US11343440B1 (en) 2021-02-05 2021-02-05 High dynamic range point spread function generation for image reconstruction
US17/169,268 2021-02-05

Publications (1)

Publication Number Publication Date
KR20220113237A true KR20220113237A (ko) 2022-08-12

Family

ID=81656568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210093267A KR20220113237A (ko) 2021-02-05 2021-07-16 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
US (2) US11343440B1 (ko)
KR (1) KR20220113237A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893668B2 (en) * 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US10656437B2 (en) 2011-12-21 2020-05-19 Brien Holden Vision Institute Limited Optical lens with halo reduction
US10217190B2 (en) 2016-12-27 2019-02-26 Kla-Tencor Corporation System and method for reconstructing high-resolution point spread functions from low-resolution inspection images
CN209358576U (zh) 2018-10-29 2019-09-06 印象认知（北京）科技有限公司 终端设备的显示屏以及终端设备
CN111107192A (zh) 2018-10-29 2020-05-05 印象认知（北京）科技有限公司 终端设备的显示屏以及终端设备
US11575865B2 (en) 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging

Also Published As

Publication number Publication date
US11343440B1 (en) 2022-05-24
US20220256073A1 (en) 2022-08-11
US11637965B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US11575865B2 (en) Processing images captured by a camera behind a display
JP7425064B2 (ja) 機械学習ベースシェーダをもつグラフィックス処理チップ
CN106856009B (zh) 视网膜凹式渲染
US20190164268A1 (en) Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene
US11663775B2 (en) Generating physically-based material maps
US11721001B2 (en) Multiple point spread function based image reconstruction for a camera behind a display
GB2598711A (en) A Computer Vision Method and System
KR20220044190A (ko) 학습 기반 렌즈 플레어 제거
CN105913481B (zh) 阴影渲染装置及其控制方法
CN111163265A (zh) 图像处理方法、装置、移动终端及计算机存储介质
US11508113B2 (en) Denoising techniques suitable for recurrent blurs
US11288543B1 (en) Systems and methods for depth refinement using machine learning
CN115053234A (zh) 深度光度学习（dpl）系统、装置和方法
US11637965B2 (en) High dynamic range point spread function generation for image reconstruction
WO2022169139A2 (en) Electronic apparatus and method for controlling thereof
US10748331B2 (en) 3D lighting
US20230119549A1 (en) Optical Element for Deconvolution
CN114764841A (zh) 使用内建函数用于光线追踪应用中的阴影去噪
US11889033B2 (en) Flare mitigation via deconvolution using high dynamic range imaging
US11722796B2 (en) Self-regularizing inverse filter for image deblurring
US11632601B1 (en) User interface for camera focus
US11949843B1 (en) System and method for enhancing three-dimensional (3D) depth acquisition
US20240062425A1 (en) Automatic Colorization of Grayscale Stereo Images
US20230290108A1 (en) Machine-Learning Models Trained to Modify Image Illumination Without Ground-Truth Images
KR20230162927A (ko) 인간의 시야 범위로부터의 자기중심적 포즈 추정