KR20220033569A

KR20220033569A - 전자 장치 및 전자 장치의 구동 방법

Info

Publication number: KR20220033569A
Application number: KR1020200114060A
Authority: KR
Inventors: 문동원; 조성윤
Original assignee: 삼성디스플레이 주식회사
Priority date: 2020-09-07
Filing date: 2020-09-07
Publication date: 2022-03-17
Also published as: CN114157775A; US11743568B2; US20220078316A1

Abstract

일 실시예에 따른 전자 장치는 복수의 화소들이 배치된 제1 영역 및 상기 제1 영역보다 투과율이 높은 제2 영역을 포함하는 표시 패널 및 상기 표시 패널의 아래에 배치되고 상기 제2 영역에 중첩하는 전자 모듈을 포함하고, 상기 전자 모듈은, 피사체를 촬영하여 제1 해상도를 가지는 복수의 제1 이미지들을 획득하는 카메라 모듈, 상기 카메라 모듈에 연결되고 상기 복수의 제1 이미지들 각각의 촬영 중에 상기 카메라 모듈을 이동시키는 액추에이터 및 촬영된 상기 제1 이미지들을 이용하여 상기 제1 해상도보다 높은 제2 해상도를 가지는 제2 이미지를 획득하는 프로세서를 포함한다.

Description

전자 장치 및 전자 장치의 구동 방법 {ELECTRONIC DEVICE AND DRIVING METHOD OF ELECTRONIC DEVICE}

본 발명은 전자 장치 및 전자 장치의 구동 방법에 관한 것으로 보다 상세하게는, UPC(Under Panel Camera)를 포함하는 전자 장치 및 전자 장치의 구동 방법에 관한 것이다.

전자 장치는 영상을 표시하는 표시 패널, 외부 입력을 감지하는 입력 감지 부재, 및 전자 모듈과 같이 다양한 전자 부품들로 구성된 장치일 수 있다. 전자 부품들은 다양하게 배열된 신호 라인들에 의해 전기적으로 서로 연결될 수 있다. 표시 패널은 광을 생성하는 발광 소자를 포함한다. 입력감지부재는 외부 입력을 감지하기 위한 감지 전극들을 포함할 수 있다. 전자 모듈은 카메라, 적외선 감지 센서, 근접 센서 등을 포함할 수 있다. 전자 모듈은 표시 패널 아래에 배치될 수 있다.

본 발명의 목적은 화질이 개선된 카메라를 포함하는 전자 장치 및 전자 장치의 구동 방법을 제공하는 것에 있다.

실시예들 중에서, 전자 장치는 복수의 화소들이 배치된 제1 영역 및 상기 제1 영역보다 투과율이 높은 제2 영역을 포함하는 표시 패널 및 상기 표시 패널의 아래에 배치되고 상기 제2 영역에 중첩하는 전자 모듈을 포함하고, 상기 전자 모듈은, 피사체를 촬영하여 제1 해상도를 가지는 복수의 제1 이미지들을 획득하는 카메라 모듈, 상기 카메라 모듈에 연결되고 상기 복수의 제1 이미지들 각각의 촬영 중에 상기 카메라 모듈을 이동시키는 액추에이터 및 촬영된 상기 제1 이미지들을 이용하여 상기 제1 해상도보다 높은 제2 해상도를 가지는 제2 이미지를 획득하는 프로세서를 포함한다.

상기 카메라 모듈은 상기 피사체로부터 방출되는 빛을 수집하는 렌즈 및 수집된 상기 빛을 이용하여 상기 제1 이미지들을 획득하는 이미지 센서를 포함할 수 있다.

상기 액추에이터는 상기 복수의 제1 이미지들이 서로 다른 위치에서 각각 촬영되도록 상기 카메라 모듈의 상기 이동을 제어할 수 있다.

상기 프로세서는 초고해상도(super resolution) 알고리즘을 통해서 상기 제1 이미지들로부터 상기 제2 이미지를 획득할 수 있다.

상기 액추에이터는 상기 카메라 모듈의 상기 이동을 상기 제2 영역 내에서 제어할 수 있다.

상기 제2 영역은 화소가 배치된 복수의 발광 영역들 및 상기 복수의 발광 영역들과 각각 인접한 복수의 신호투과영역들을 포함할 수 있다.

상기 카메라 모듈은 상기 복수의 신호투과영역들의 배치 패턴에 대한 제1 패턴 정보를 수집하는 패턴 센서를 포함할 수 있다.

상기 프로세서는 상기 패턴 센서로부터 수집된 상기 제1 패턴 정보를 기초로 상기 액추에이터가 움직이는 위치 패턴에 대한 제2 패턴 정보를 결정하여 상기 액추에이터에게 전달할 수 있다.

상기 액추에이터는 상기 제2 패턴 정보를 기초로 상기 카메라 모듈의 상기 이동을 제어할 수 있다.

상기 프로세서는, 상기 카메라 모듈을 이동시키기 위한 상기 액추에이터의 움직임을 제어하는 액추에이터 구동부, 상기 카메라 모듈의 촬영을 제어하는 촬영부 및 상기 복수의 제1 이미지들을 변환하여 상기 제2 이미지를 생성하는 해상도 처리부를 포함할 수 있다.

상기 액추에이터 구동부는 상기 제2 영역에 배치된 신호투과영역의 배치 패턴에 관한 패턴 정보를 기초로 상기 액추에이터의 상기 움직임을 제어할 수 있다.

상기 프로세서는 상기 표시 패널의 상기 제2 영역의 투과율에 대한 투과율 정보를 수신하고, 수신된 상기 투과율 정보를 기초로 상기 카메라 모듈 및 상기 액추에이터를 제어할 수 있다.

상기 제2 영역의 상기 투과율과 상기 복수의 제1 이미지들의 개수는 반비례할 수 있다.

실시예들 중에서, 전자 장치는 복수의 화소들이 배치된 제1 영역 및 상기 제1 영역보다 투과율이 높은 제2 영역이 정의된 표시 패널, 상기 표시 패널의 아래에 배치되고, 상기 제2 영역에 중첩하는 카메라 모듈 및 상기 카메라 모듈에 연결된 액추에이터를 포함하는 전자 모듈 및 상기 전자 모듈의 동작을 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 액추에이터를 움직여서 상기 카메라 모듈을 복수의 위치들로 이동시키는 액추에이터 구동부, 피사체를 촬영하여 상기 복수의 위치들에서 제1 해상도를 가지는 복수의 제1 이미지들을 획득하는 촬영부 및 상기 복수의 제1 이미지들을 이용하여 상기 제1 해상도보다 높은 제2 해상도를 가지는 제2 이미지를 획득하는 해상도 처리부를 포함할 수 있다.

상기 복수의 위치들은 상기 제2 영역 내에 존재할 수 있다.

상기 액추에이터 구동부는 상기 복수의 신호투과영역들의 배치에 대한 배치 패턴을 기초로 상기 액추에이터가 움직이는 상기 복수의 위치에 대한 위치 패턴을 결정할 수 있다.

상기 전자 모듈은 상기 프로세서를 포함할 수 있다.

상기 표시 패널 및 상기 전자 모듈의 동작을 제어하는 제어 모듈을 더 포함하고, 상기 제어 모듈은 상기 프로세서를 포함할 수 있다.

실시예들 중에서, 전자 장치의 구동 방법은 복수의 화소들이 배치된 제1 영역 및 상기 제1 영역보다 투과율이 높은 제2 영역이 정의된 표시 패널 및 상기 제2 영역에 중첩하도록 상기 표시 패널의 아래에 배치되고, 카메라 모듈 및 상기 카메라 모듈에 연결된 액추에이터를 포함하는 전자 모듈을 준비하는 단계, 상기 액추에이터가 상기 제2 영역 내에서 복수의 위치로 상기 카메라 모듈을 움직이는 단계, 상기 카메라 모듈이 하나의 피사체에 대하여, 상기 복수의 위치에서 제1 해상도를 가지는 서로 다른 복수의 제1 이미지들을 촬영하는 단계 및 프로세서가 상기 복수의 제1 이미지들로부터 상기 제1 해상도보다 높은 제2 해상도를 가지는 제2 이미지를 획득하는 단계를 포함할 수 있다.

본 발명의 일 실시예는 화질이 개선된 카메라를 포함하는 전자 장치 및 전자 장치의 구동 방법을 제공할 수 있다.

본 발명의 일 실시예는 UPC 구조의 특성상 투과율 감소에 따른 카메라의 화질 저하의 문제점을 해결할 수 있다.

본 발명의 일 실시예는 카메라 모듈에 연결된 액추에이터를 통해 다양한 위치에서 피사체에 대한 여러 장의 저해상도 이미지들을 획득하고, 초고해상도(super resolution) 기법을 통해 저해상도 이미지들로부터 고해상도 이미지를 획득할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전자 장치의 사시도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 분해 사시도이다.
도 3은 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 표시 모듈의 단면도들이다.
도 5는 본 발명의 일 실시예에 따른 표시 패널의 평면도이다.
도 6a 내지 도 6d는 도 5의 XX' 영역을 확대해서 보여주는 도면들이다.
도 7은 도5의 I 내지 I'를 자른 절단면을 보여주는 단면도이다.
도 8은 본 발명의 일 실시예에 따른 전자 모듈의 블록도이다.
도 9는 본 발명의 일 실시예에 따른 프로세서의 블록도이다.
도 10은 본 발명의 일 실시예에 따른 전자 장치의 구동 방법을 보여주는 흐름도이다.

본 명세서에서, 어떤 구성요소(또는 영역, 층, 부분 등)가 다른 구성요소 “상에 있다”, “연결 된다”, 또는 “결합된다”고 언급되는 경우에 그것은 다른 구성요소 상에 직접 배치/연결/결합될 수 있거나 또는 그들 사이에 제3의 구성요소가 배치될 수도 있다는 것을 의미한다.

동일한 도면부호는 동일한 구성요소를 지칭한다. 또한, 도면들에 있어서, 구성요소들의 두께, 비율, 및 치수는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. “및/또는”은 연관된 구성요소들이 정의할 수 있는 하나 이상의 조합을 모두 포함한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

또한, “아래에”, “하측에”, “위에”, “상측에” 등의 용어는 도면에 도시된 구성요소들의 연관관계를 설명하기 위해 사용된다. 상기 용어들은 상대적인 개념으로, 도면에 표시된 방향을 기준으로 설명된다.

"포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 본 명세서에서 사용된 모든 용어 (기술 용어 및 과학 용어 포함)는 본 발명이 속하는 기술 분야의 당업자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 또한, 일반적으로 사용되는 사전에서 정의된 용어와 같은 용어는 관련 기술의 맥락에서 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고, 이상적인 또는 지나치게 형식적인 의미로 해석되지 않는 한, 명시적으로 여기에서 정의된다.

이하, 도면을 참조하여 본 발명의 실시예들을 설명한다.

도 1은 본 발명의 일 실시예에 따른 전자 장치의 사시도이고, 도 2는 본 발명의 일 실시예에 따른 전자 장치의 분해 사시도이다.

도 1 및 도 2를 참조하면, 전자 장치(ED)는 전기적 신호에 따라 활성화되는 장치일 수 있다. 전자 장치(ED)는 다양한 실시예들을 포함할 수 있다. 예를 들어, 전자 장치(ED)는 텔레비전, 모니터, 또는 외부 광고판과 같은 대형 전자 장치를 비롯하여, 퍼스널 컴퓨터, 노트북 컴퓨터, 개인 디지털 단말기, 자동차 내비게이션 유닛, 게임기, 휴대용 전자 기기, 및 카메라와 같은 중소형 전자 장치 등에 사용될 수 있다. 또한, 이것들은 단지 실시예로서 제시된 것들로서, 본 발명의 개념에서 벗어나지 않는 이상 다른 전자 장치에도 채용될 수 있음은 물론이다. 본 실시예에서, 전자 장치(ED)는 스마트 폰으로 예시적으로 도시하였다.

전자 장치(ED)는 제1 방향(DR1) 및 제2 방향(DR2) 각각에 평행한 표시면(FS)에 제3 방향(DR3)을 향해 영상(IM)을 표시할 수 있다. 영상(IM)이 표시되는 표시면(FS)은 전자 장치(ED)의 전면(front surface)과 대응될 수 있으며, 윈도우(100)의 전면(FS)과 대응될 수 있다. 이하 전자 장치(ED)의 표시면, 전면, 및 윈도우(100)의 전면은 동일한 참조부호를 사용할 수 있다. 영상(IM)은 동적인 영상은 물론 정지 영상을 포함할 수 있다. 도 1에서 영상(IM)의 일 예로 시계창 및 애플리케이션 아이콘들이 도시되었다.

본 실시예에서 영상(IM)이 표시되는 방향을 기준으로 각 부재들의 전면(또는 상면)과 배면(또는 하면)이 정의될 수 있다. 전면과 배면은 제3 방향(DR3)에서 서로 대향되고, 전면과 배면 각각의 법선 방향은 제3 방향(DR3)과 평행할 수 있다. 제3 방향(DR3)은 제1 방향(DR1) 및 제2 방향(DR2)과 교차하는 방향일 수 있다. 제1 방향(DR1), 제2 방향(DR2), 및 제3 방향(DR3)은 서로 직교할 수 있다.

본 명세서에서 제1 방향(DR1)과 제2 방향(DR2)이 정의하는 면을 평면이라 정의하고, “평면 상에서 보았다”는 것은 제3 방향(DR3)에서 바라본 것으로 정의될 수 있다.

전자 장치(ED)는 윈도우(100), 표시 모듈(200), 구동 회로부(300), 하우징(400), 및 전자 모듈(500)을 포함할 수 있다. 본 실시예에서, 윈도우(100)와 하우징(400)은 결합되어 전자 장치(ED)의 외관을 구성할 수 있다.

윈도우(100)는 광학적으로 투명한 절연 물질을 포함할 수 있다. 예를 들어, 윈도우(100)는 유리 또는 플라스틱을 포함할 수 있다. 윈도우(100)는 다층 구조 또는 단층 구조를 가질 수 있다. 예를 들어, 윈도우(100)는 접착제로 결합된 복수 개의 플라스틱 필름을 포함하거나, 접착제로 결합된 유리 기판과 플라스틱 필름을 포함할 수 있다.

평면 상에서 윈도우(100)는 투과 영역(TA) 및 베젤 영역(BZA)으로 구분될 수 있다. 투과 영역(TA)은 광학적으로 투명한 영역일 수 있다. 베젤 영역(BZA)은 투과 영역(TA)에 비해 상대적으로 광 투과율이 낮은 영역일 수 있다. 베젤 영역(BZA)은 투과 영역(TA)의 형상을 정의할 수 있다. 베젤 영역(BZA)은 투과 영역(TA)에 인접하며, 투과 영역(TA)을 에워쌀 수 있다.

베젤 영역(BZA)은 소정의 컬러를 가질 수 있다. 베젤 영역(BZA)은 표시 모듈(200)의 주변 영역(NAA)을 커버하여 주변 영역(NAA)이 외부에서 시인되는 것을 차단할 수 있다. 한편, 이는 예시적으로 도시한 것이고, 본 발명의 일 실시예에 따른 윈도우(100)에 있어서, 베젤 영역(BZA)은 생략될 수도 있다.

본 발명의 일 실시예에서, 센싱 영역(SSA)은 전자 모듈(500)과 중첩할 수 있다. 전자 장치(ED)는 센싱 영역(SSA)을 통해 전자 모듈(500)에 필요한 외부 신호를 수신하거나, 전자 모듈(500)로부터 출력되는 신호를 외부에 제공할 수 있다. 본 발명에 따르면, 센싱 영역(SSA)은 투과 영역(TA)과 중첩하여 정의될 수 있다. 따라서, 투과 영역(TA) 외의 영역에서 센싱 영역(SSA)을 제공하기 위해 구비되는 별도의 영역이 생략될 수 있다. 이에 따라, 베젤 영역(BZA)의 면적이 감소될 수 있다.

도 1 및 도 2에서는 센싱 영역(SSA)이 하나인 것을 예시적으로 도시하였으나, 본 발명이 이에 제한되는 것은 아니다. 예를 들어, 센싱 영역(SSA)은 두 개 이상의 복수 개로 정의될 수도 있다. 또한, 도 1 및 도 2에서는 센싱 영역(SSA)이 투과 영역(TA)의 좌측 상단에 정의된 것을 예로 들었으나, 센싱 영역(SSA)은 투과 영역(TA)의 우측 상단, 투과 영역(TA)의 중심부, 투과 영역(TA)의 좌측 하단, 또는 투과 영역(TA)의 우측 하단 등 다양한 영역에 정의될 수 있다.

표시 모듈(200)은 윈도우(100) 아래에 배치될 수 있다. 표시 모듈(200)은 영상(IM)을 표시할 수 있다. 표시 모듈(200)은 액티브 영역(AA) 및 주변 영역(NAA)을 포함하는 전면(IS)을 포함할 수 있다. 액티브 영역(AA)은 전기적 신호에 따라 활성화되는 영역일 수 있다.

본 실시예에서, 액티브 영역(AA)은 영상(IM)이 표시되는 영역일 수 있다. 투과 영역(TA)은 액티브 영역(AA)과 중첩할 수 있다. 예를 들어, 투과 영역(TA)은 액티브 영역(AA)의 전면 또는 적어도 일부와 중첩할 수 있다. 이에 따라, 사용자는 투과 영역(TA)을 통해 영상(IM)을 시인할 수 있다.

주변 영역(NAA)은 베젤 영역(BZA)에 의해 커버되는 영역일 수 있다. 주변 영역(NAA)은 액티브 영역(AA)에 인접할 수 있다. 주변 영역(NAA)은 액티브 영역(AA)을 에워쌀 수 있다. 주변 영역(NAA)에는 액티브 영역(AA)을 구동하기 위한 구동 회로나 구동 배선 등이 배치될 수 있다.

본 실시예에서, 표시 모듈(200)은 액티브 영역(AA) 및 주변 영역(NAA)이 윈도우(100)를 향하는 평탄한 상태로 조립된다. 다만, 이는 예시적으로 도시한 것으로 주변 영역(NAA)의 일부는 휘어질 수 있다. 이 때, 주변 영역(NAA) 중 일부는 전자 장치(ED)의 배면을 향하게 되어, 전자 장치(ED) 전면에서의 베젤 영역(BZA)의 면적은 감소될 수 있다. 또는, 표시 모듈(200)은 액티브 영역(AA)의 일부가 휘어진 상태로 조립될 수 있다. 또는, 본 발명의 일 실시예에 따른 표시 모듈(200)에 있어서 주변 영역(NAA)은 생략될 수 있다.

구동 회로부(300)는 표시 모듈(200)과 전기적으로 연결될 수 있다. 구동 회로부(300)는 메인 회로 기판(MB) 및 연성 필름(CF)을 포함할 수 있다.

연성 필름(CF)은 표시 모듈(200)과 전기적으로 연결될 수 있다. 연성 필름(CF)은 주변 영역(NAA)에 배치된 표시 모듈(200)의 패드들에 접속될 수 있다. 연성 필름(CF)은 표시 모듈(200)을 구동하기 위한 전기적 신호를 표시 모듈(200)에 제공할 수 있다. 상기 전기적 신호는 연성 필름(CF)에서 생성되거나 메인 회로 기판(MB)에서 생성된 것일 수 있다. 메인 회로 기판(MB)은 표시 모듈(200)을 구동하기 위한 각종 구동 회로나 전원 공급을 위한 커넥터 등을 포함할 수 있다.

본 발명의 일 실시예에서 센싱 영역(SSA)에 대응되는 표시 모듈(200)의 일 영역은 센싱 영역(SSA)과 중첩하지 않는 액티브 영역(AA)에 비해 상대적으로 높은 투과율을 가질 수 있다. 예를 들어, 표시 모듈(200)의 구성들 중 적어도 일부가 제거될 수 있다. 따라서, 전자 모듈(500)이 센싱 영역(SSA)을 통해 신호를 용이하게 전달 및/또는 수신할 수 있다.

전자 모듈(500)은 표시 모듈(200) 아래에 배치될 수 있다. 구체적으로, 전자 모듈(500)은 표시 패널의 아래에 배치될 수 있다. 평면 상에서 전자 모듈(500)은 센싱 영역(SSA)과 중첩할 수 있다. 전자 모듈(500)은 센싱 영역(SSA)을 통해 전달되는 외부 입력을 수신하거나, 센싱 영역(SSA)을 통해 출력을 제공할 수 있다. 전자 모듈(500)은 카메라 모듈 및 관련 전자부품들을 포함할 수 있다. 카메라 모듈은 카메라, 및 적외선 감지 센서, 근접 센서를 포함하는 각종 센서 등을 포함할 수 있다.

하우징(400)은 윈도우(100)와 결합될 수 있다. 하우징(400)은 윈도우(100)와 결합되어 내부 공간을 제공할 수 있다. 표시 모듈(200) 및 전자 모듈(500)은 상기 내부 공간에 수용될 수 있다.

하우징(400)은 상대적으로 높은 강성을 가지는 물질을 포함할 수 있다. 예를 들어, 하우징(400)은 유리, 플라스틱, 또는 금속을 포함하거나, 이들의 조합으로 구성될 복수 개의 프레임 및/또는 플레이트를 포함할 수 있다. 하우징(400)은 내부 공간에 수용된 전자 장치(ED)의 구성들을 외부 충격으로부터 안정적으로 보호할 수 있다.

도 3은 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.

도 3을 참조하면, 전자 장치(ED)는 표시 모듈(200), 전원공급 모듈(PM), 제1 전자 모듈(EM1), 및 제2 전자 모듈(EM2)을 포함할 수 있다. 표시 모듈(200), 전원공급 모듈(PM), 제1 전자 모듈(EM1), 및 제2 전자 모듈(EM2)은 서로 전기적으로 연결될 수 있다.

표시 모듈(200)은 표시 패널(210) 및 입력 감지부(220)를 포함할 수 있다.

표시 패널(210)은 실질적으로 영상(IM)을 생성하는 구성일 수 있다. 표시 패널(210)이 생성하는 영상(IM)은 전면(IS)에 표시되고, 투과 영역(TA)을 통해 외부에서 사용자에게 시인된다.

입력 감지부(220)는 외부에서 인가되는 외부 입력(TC)을 감지한다. 예를 들어, 입력 감지부(220)는 윈도우(100)에 제공되는 외부 입력(TC)을 감지할 수 있다. 외부 입력(TC)은 사용자의 입력일 수 있다. 사용자의 입력은 사용자 신체의 일부, 광

표, 열, 펜, 또는 압력 등 다양한 형태의 외부 입력들을 포함한다. 본 실시예에서, 외부 입력(TC)은 전면(FS)에 인가되는 사용자의 손으로 도시되었다. 다만, 이는 예시적으로 도시한 것이고, 상술한 바와 같이 외부 입력(TC)은 다양한 형태로 제공될 수 있고, 또한, 전자 장치(ED)의 구조에 따라 전자 장치(ED)의 측면이나 배면에 인가되는 외부 입력(TC)을 감지할 수도 있으며, 어느 하나의 실시예로 한정되지 않는다.

전원공급 모듈(PM)은 전자 장치(ED)의 전반적인 동작에 필요한 전원을 공급한다. 전원공급 모듈(PM)은 통상적인 배터리 모듈을 포함할 수 있다.

제1 전자 모듈(EM1) 및 제2 전자 모듈(EM2)은 전자 장치(ED)를 동작시키기 위한 다양한 기능성 모듈을 포함할 수 있다.

제1 전자 모듈(EM1)은 표시 모듈(200)과 전기적으로 연결된 마더보드에 직접 실장되거나 별도의 기판에 실장되어 커넥터(미 도시) 등을 통해 마더보드에 전기적으로 연결될 수 있다.

제1 전자 모듈(EM1)은 제어 모듈(CM), 무선통신 모듈(TM), 영상입력 모듈(IIM), 음향입력 모듈(AIM), 메모리(MM), 및 외부 인터페이스(IF)를 포함할 수 있다. 상기 모듈들 중 일부는 마더보드에 실장되지 않고, 연성회로기판을 통해 마더보드에 전기적으로 연결될 수도 있다.

제어 모듈(CM)은 전자 장치(ED)의 전반적인 동작을 제어한다. 제어 모듈(CM)은 마이크로프로세서일 수 있다. 예를 들어, 제어 모듈(CM)은 표시 모듈(200)을 활성화 시키거나, 비활성화 시킨다. 제어 모듈(CM)은 표시 모듈(200)로부터 수신된 터치 신호에 근거하여 영상입력 모듈(IIM)이나 음향입력 모듈(AIM) 등의 다른 모듈들을 제어할 수 있다.

제어 모듈(CM)은 전자 모듈(500)과 연결되어 전자 모듈(500)의 동작을 제어하는 마이크로프로세서일 수 있다. 일 실시예에서, 제어 모듈(CM)은 전자 모듈(500)의 전반적인 동작을 제어할 수 있다. 제어 모듈(CM)은 전자 모듈(500)을 제어하는 프로세서를 포함할 수 있다. 예를 들어, 제어 모듈(CM)은 전자 모듈(500)을 통해 촬영된 이미지들을 변환하고 재생성하는 알고리즘을 수행할 수 있다. 이와 관련하여 후술한다.

무선통신 모듈(TM)은 블루투스 또는 와이파이 회선을 이용하여 다른 단말기와 무선 신호를 송/수신할 수 있다. 무선통신 모듈(TM)은 일반 통신회선을 이용하여 음성신호를 송/수신할 수 있다. 무선통신 모듈(TM)은 송신할 신호를 변조하여 송신하는 송신부(TM1)와, 수신되는 신호를 복조하는 수신부(TM2)를 포함할 수 있다.

영상입력 모듈(IIM)은 영상 신호를 처리하여 표시 모듈(200)에 표시 가능한 영상 데이터로 변환한다. 음향입력 모듈(AIM)은 녹음 모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 변환한다.

외부 인터페이스(IF)는 외부 충전기, 유/무선 데이터 포트, 카드 소켓(예를 들어, 메모리 카드(Memory card), SIM/UIM card) 등에 연결되는 인터페이스 역할을 할 수 있다.

제2 전자 모듈(EM2)은 음향출력 모듈(AOM), 발광 모듈(LM), 수광 모듈(LRM), 및 본 발명의 일 실시예에 따른 전자 모듈(500) 등을 포함할 수 있다. 상기 구성들은 마더보드에 직접 실장되거나, 별도의 기판에 실장되어 커넥터(미 도시) 등을 통해 표시 모듈(200)과 전기적으로 연결되거나, 제1 전자 모듈(EM1)과 전기적으로 연결될 수 있다.

음향출력 모듈(AOM)은 무선통신 모듈(TM)로부터 수신된 음향 데이터 또는 메모리(MM)에 저장된 음향 데이터를 변환하여 외부로 출력한다.

발광 모듈(LM)은 광을 생성하여 출력한다. 발광 모듈(LM)은 적외선을 출력할 수 있다. 발광 모듈(LM)은 LED 소자를 포함할 수 있다. 수광 모듈(LRM)은 적외선을 감지할 수 있다. 수광 모듈(LRM)은 소정 레벨 이상의 적외선이 감지된 때 활성화될 수 있다. 수광 모듈(LRM)은 CMOS 센서를 포함할 수 있다. 발광 모듈(LM)에서 생성된 적외광이 출력된 후, 외부 물체(예컨대 사용자 손가락 또는 얼굴)에 의해 반사되고, 반사된 적외광이 수광 모듈(LRM)에 입사될 수 있다. 전자 모듈(500)은 외부의 영상을 촬영할 수 있다.

본 발명의 일 실시예에 따른 전자 모듈(500)은 제1 전자 모듈(EM1) 및 제2 전자 모듈(EM2) 중 적어도 어느 하나에 포함될 수 있다. 예를 들어, 전자 모듈(500)은 음향출력 모듈(AOM), 발광 모듈(LM), 수광 모듈(LRM)과 함께 제2 전자 모듈(EM2)의 하나로 포함될 수 있다. 전자 모듈(500)은 센싱 영역(SSA)을 통해 수신되는 외부 피사체를 감지하거나, 센싱 영역(SSA)을 통해 음성 등의 소리 신호, 또는 적외광 등의 광을 외부에 제공할 수 있다. 전자 모듈(500)은 카메라 모듈 및 액추에이터 등을 포함하여 외부의 피사체를 촬영할 수 있다. 전자 모듈(500)에 대한 자세한 설명은 후술한다.

도 4a 및 도 4b는 본 발명의 일 실시예에 따른 표시 모듈의 단면도들이다.

도 4a는 본 발명의 일 실시예에 따른 표시 모듈의 단면도이다.

도 4a를 참조하면, 표시 모듈(200)은 표시 패널(210) 및 입력 감지부(220)를 포함할 수 있다. 표시 패널(210)은 베이스 기판(BS), 회로 소자층(ML), 발광 소자층(EML), 및 박막 봉지층(TFE)을 포함할 수 있다. 입력 감지부(220)는 베이스층(TFE) 및 감지 회로층(ML-T)을 포함할 수 있다. 박막 봉지층(TFE)과 베이스층(TFE)은 동일한 구성일 수 있다.

본 발명의 일 실시예에 따르면, 표시 패널(210)과 입력 감지부(220)는 연속 공정으로 형성될 수 있다. 즉, 감지 회로층(ML-T)은 박막 봉지층(TFE, 또는 베이스층) 위에 직접 형성될 수 있다.

베이스 기판(BS)은 실리콘 기판, 플라스틱 기판, 유리 기판, 절연 필름, 또는 복수의 절연층들을 포함하는 적층 구조체일 수 있다.

회로 소자층(ML)은 베이스 기판(BS) 위에 배치될 수 있다. 회로 소자층(ML)은 복수의 절연층들, 복수의 도전층들 및 반도체층을 포함할 수 있다. 회로 소자층(ML)의 복수의 도전층들은 신호 배선들 또는 화소의 제어 회로를 구성할 수 있다.

발광 소자층(EML)은 회로 소자층(ML) 위에 배치될 수 있다. 발광 소자층(EML)은 광을 발생하는 발광층을 포함할 수 있다. 예를 들어, 유기 발광 표시 패널의 발광층은 유기 발광 물질을 포함할 수 있다. 퀀텀닷 발광 표시 패널의 발광층은 퀀텀닷 및 퀀텀로드 중 적어도 어느 하나를 포함할 수 있다.

감지 회로층(ML-T)은 베이스 기판(BS) 위에 배치될 수 있다. 감지 회로층(ML-T)은 복수의 절연층들 및 복수의 도전층들을 포함할 수 있다. 복수의 도전층들은 외부의 입력을 감지하는 감지 전극, 감지 전극과 연결된 감지 배선, 및 감지 배선과 연결된 감지 패드를 구성할 수 있다.

도 4b는 본 발명의 일 실시예에 따른 표시 모듈의 단면도이다. 도 4b를 설명함에 있어서, 도 4a를 통해 설명된 구성 요소에 대해서는 동일한 도면 부호를 병기하고, 이에 대한 설명은 생략된다.

도 4b를 참조하면, 표시 모듈(200-1)은 표시 패널(210-1) 및 입력 감지부(220-1)를 포함할 수 있다. 표시 패널(210-1)은 베이스 기판(BS), 회로 소자층(ML), 및 발광 소자층(EML)을 포함할 수 있다. 입력 감지부(220-1)는 커버 기판(CBL) 및 감지 회로층(ML-T)을 포함할 수 있다.

커버 기판(CBL)은 발광 소자층(EML) 위에 배치될 수 있다. 커버 기판(CBL) 각각은 실리콘 기판, 플라스틱 기판, 유리 기판, 절연 필름, 또는 복수의 절연층들을 포함하는 적층 구조체일 수 있다. 커버 기판(CBL)과 발광 소자층(EML) 사이에는 소정의 공간이 정의될 수 있다. 상기 공간은 공기 또는 비활성 기체로 충진될 수 있다. 또한, 본 발명의 일 실시예에서 상기 공간은 실리콘계 폴리머, 에폭시계 수지, 또는 아크릴 수지 등과 같은 충진재로 충진될 수도 있다.

베이스 기판(BS)과 커버 기판(CBL) 사이에는 결합 부재(SLM)가 배치될 수 있다. 결합 부재(SLM)는 베이스 기판(BS)과 커버 기판(CBL)을 결합할 수 있다. 결합 부재(SLM)는 광 경화성 수지 또는 광 가소성 수지와 같은 유기물을 포함하거나, 프릿 씰(frit seal)과 같은 무기물을 포함할 수 있으며, 어느 하나의 실시예로 한정되지 않는다.

도 5는 본 발명의 일 실시예에 따른 표시 패널의 평면도이다.

도 5를 참조하면, 표시 패널(210)의 액티브 영역(AA)은 표시 모듈(200, 도 2 참조)의 액티브 영역(AA, 도 2 참조)에 대응될 수 있다.

액티브 영역(AA)에는 복수의 화소들(PX)이 배치될 수 있다. 복수의 화소들(PX)은 제1 방향(DR1) 및 제2 방향(DR2)을 따라 배열될 수 있다. 복수의 화소들(PX) 각각은 주요색(primary color) 중 하나 또는 혼합색 중 하나를 표시할 수 있다. 상기 주요색은 레드, 그린, 및 블루를 포함할 수 있다. 상기 혼합색은 화이트, 옐로우, 시안, 마젠타 등 다양한 색상을 포함할 수 있다. 다만, 화소들(PX)이 표시하는 색상이 이에 제한되는 것은 아니다.

액티브 영역(AA)에는 제1 영역(DA1) 및 제2 영역(DA2)이 정의될 수 있다.

제2 영역(DA2)의 아래에는 전자 모듈(500, 도 2 참조)이 배치될 수 있다. 제1 영역(DA1)은 제1 투과율을 가지고, 제2 영역(DA2)은 제2 투과율을 가질 수 있다. 제2 투과율은 제1 투과율보다 높을 수 있다. 따라서, 제2 영역(DA2)을 통해 신호가 용이하게 전자 모듈(500, 도 2 참조)로 전달 및/또는 수신될 수 있다. 상기 투과율을 높이기 위해서 제2 영역(DA2)의 일부 구성이 생략될 수 있다. 예를 들어, 제2 영역(DA2)에 배치된 화소들 중 일부가 제거될 수 있다.

평면 상에서 제2 영역(DA2)은 센싱 영역(SSA, 도 2 참조)과 중첩할 수 있다. 제2 영역(DA2)은 센싱 영역(SSA, 도 2 참조)보다 넓은 면적을 가질 수 있다.

일 실시예에서, 액티브 영역(AA)에 제1 영역(DA1) 및 제2 영역(DA2)이 정의될 수 있다. 제2 영역(DA2)은 센싱 영역(SSA, 도 2 참조)의 위치에 대응하여 제공될 수 있다. 도면상에서 제2 영역(DA2)은 하나만 도시되어 있지만, 본 발명의 일 실시예에 따라 센싱 영역(SSA, 도 2 참조)이 서로 다른 위치에 복수 개로 제공되는 경우, 그에 대응하여 복수 개로 제공될 수 있다. 제2 영역(DA2)은 제1 영역(DA1)에 의해 둘러싸일 수 있다.

도 6a 내지 도 6d는 도 5의 XX' 영역을 확대해서 보여주는 도면들이다.

도 6a 및 도 6c는 XX'를 확대한 도면이고, 도 6b 및 도 6d는 도 6a에서 제2 영역의 일부를 확대한 도면이다. 이하, 도 5를 참조하여 설명한다.

도 6a 및 도 6c는 표시 패널(210)에 정의된 제1 영역(DA1)과 제2 영역(DA2)을 확대하여 보여주는 도면이다. 도 6a에서, 제1 영역(DA1)과 제2 영역(DA2)은 복수 개의 발광 영역들(EA)을 포함할 수 있다. 발광 영역들(EA)은 각각 복수 개의 화소들(PX)을 포함할 수 있다.

일 실시예에서, 제2 영역(DA2)은 복수 개의 신호투과영역들(STA)을 포함할 수 있다. 신호투과영역들(STA)은 복수 개의 발광 영역들(EA)과 인접하게 배치될 수 있다. 신호투과영역들(STA)은 발광 영역들(EA)보다 투과율이 높은 영역에 해당할 수 있다. 예를 들어, 제2 영역(DA2)에서 신호투과영역들(STA)은 화소가 배치되지 않은 영역이고, 발광 영역들(EA)은 화소가 배치된 영역일 수 있다.

도 6a 및 도 6c는 서로 다른 패턴을 가지고 배치된 복수 개의 신호투과영역들(STA)을 포함하는 제2 영역들(DA2, DA2a)을 각각 도시한다. 도 6a 및 도 6c에 도시된 신호투과영역들(STA)의 개수는 일 실시예에 불과하고, 신호투과영역들(STA)의 개수는 이에 제한되지 않는다. 예를 들어, 6a의 제2 영역(DA2) 및 도 6c의 제2 영역(DA2a) 각각에 배치되는 신호투과영역들(STA)의 개수는 동일할 수 있다. 신호투과영역들(STA)의 배치 패턴과 관련하여 도 6b 및 도 6d를 참조한다.

도 6b 및 도 6d를 참조하면, 발광 영역들(EA)은 복수 개의 서브 발광 영역들(SA1 내지 SA4)을 포함할 수 있다. 도면에서는 하나의 발광 영역(EA) 내에 제1 내지 제4 서브 발광 영역들(SA1, SA2, SA3, SA4)을 포함하는 4개의 서브 발광 영역들을 도시하였으나, 일 실시예에 따른 서브 발광 영역들의 개수는 그보다 작거나 클 수 있다.

서브 발광 영역들(SA1 내지 SA4) 각각은 제1색 발광 영역, 제2색 발광 영역 및 제3색 발광 영역 중 적어도 하나를 포함할 수 있다. 여기에서, 제1색 발광 영역은 레드광을 발광하는 영역, 제2색 발광 영역은 그린광을 발광하는 영역, 제3색 발광 영역은 블루광을 발광하는 영역에 해당할 수 있다. 일 실시예에서, 발광 영역들(EA) 각각은 적어도 1개의 제1색 발광 영역, 2개의 제2색 발광 영역 및 1개의 제3색 발광 영역을 포함할 수 있다. 예를 들어, 제1 내지 제4 서브 발광 영역들(SA1 내지 SA4) 중 적어도 어느 둘은 제1색 발광 영역 하나와 제2색 발광 영역 하나를 각각 포함할 수 있고, 제1 내지 제4 서브 발광 영역들(SA1 내지 SA4) 중 나머지 둘은 제2색 발광 영역 하나와 제3색 발광 영역 하나를 각각 포함할 수 있다. 제1 내지 제4 서브 발광 영역들(SA1 내지 SA4)은 발광 영역들(EA) 각각에서 자유롭게 배치될 수 있다.

일 실시예에서, 발광 영역들(EA) 중 제2 영역(DA2)에 포함된 발광 영역들(EA)의 투과율은 제1 영역(DA1)에 포함된 발광 영역들(EA)의 투과율보다 클 수 있다. 즉, 제1 영역(DA1)의 발광 영역들(EA)이 포함하는 서브 발광 영역들의 밀도는 제2 영역(DA2)의 발광 영역들(EA)이 포함하는 서브 발광 영역들의 밀도보다 클 수 있다.

도 6b에서, 제2 영역(DA2)의 내부에 존재하는 신호투과영역들(STA)과 발광 영역들(EA)은 제1 패턴(PP1)을 가지고 배치될 수 있다. 신호투과영역들(STA)과 발광 영역들(EA)은 제1 방향(DR1) 및 제2 방향(DR2)으로 서로 교번하게 배치될 수 있다. 제2 영역(DA2)의 내부에서 신호투과영역들(STA)의 개수와 발광 영역들(EA)의 개수는 실질적으로 동일할 수 있다.

제2 영역(DA2)에 배치되는 신호투과영역들(STA)은 다양한 배치 패턴을 가질 수 있다. 도 6b는 복수 개의 신호투과영역들(STA)의 배치 패턴들 중 제1 패턴(PP1)을 보여주는 도면이다. 일 실시예에 따른 표시 패널(210)의 제2 영역(DA2)에는 복수 개의 제1 패턴(PP1)이 반복해서 정의될 수 있다. 제1 패턴(PP1)은 복수 개의 신호투과영역들(STA)을 포함할 수 있다. 예를 들어, 제1 패턴(PP1)은 제1 신호투과영역(STA1) 및 제2 신호투과영역(STA2)을 포함할 수 있다. 제1 신호투과영역(STA1)과 제2 신호투과영역(STA2)은 제1 및 제2 방향들(DR1, DR2)에서 서로 비-인접하게 배치될 수 있다. 즉, 제1 패턴(PP1)에서 신호투과영역(STA1, STA2)과 발광 영역(EA)은 시계방향에서 교번하게 배치될 수 있다.

도 6d에서, 제2 영역(DA2a)의 내부에 존재하는 신호투과영역들(STA)은 제2 패턴(PP2)을 가지고 배치될 수 있다. 신호투과영역들(STA)은 복수 개의 발광 영역들(EA)에 인접하게 배치될 수 있다. 신호투과영역들(STA) 각각은 3개의 발광 영역들(EA)과 인접할 수 있다. 하나의 제2 패턴(PP2)에는 하나의 신호투과영역(STA)과 3개의 발광 영역들(EA)이 배치될 수 있다.

도 6b 및 도 6d에서, 제1 패턴(PP1)을 가지는 신호투과영역들(STA)이 포함된 제2 영역(DA2)의 경우, 제2 패턴(PP2)을 가지는 신호투과영역들(STA)이 포함된 제2 영역(DA2a)의 경우보다 높은 투과율을 가질 수 있다. 즉, 도 6b의 제2 영역(DA2)의 투과율이 도 6d의 제2 영역(DA2a)의 투과율보다 높을 수 있다.

도 7은 도5의 I 내지 I'를 자른 절단면을 보여주는 단면도이다. 도 7은 본 발명의 일 실시예에 따른 표시 패널(210)의 단면도를 보여준다. 도 7은 표시 패널(210)의 아래에 배치되고, 제2 영역(DA2)과 중첩하는 전자 모듈(500)을 보여준다.

도 7을 참조하면, 표시 패널(210)은 베이스 기판(BS), 회로 소자층(ML), 발광 소자층(EML), 및 박막 봉지층(TFE)을 포함할 수 있다. 도 4a 및 도 4b와 중복되는 설명은 생략한다. 베이스 기판(BS), 회로 소자층(ML) 및 박막 봉지층(TFE)은 투명한 물질을 포함할 수 있다.

발광 소자층(EML)은 제1 전극(AE), 발광층(EL) 및 제2 전극(CE)을 포함한다.

제1 전극(AE)은 화소 전극에 해당할 수 있다. 제1 전극(AE)은 회로 소자층(ML) 상에 배치될 수 있다. 제1 전극(AE) 상에는 발광층(EL)이 배치될 수 있다. 발광층(EL) 상에는 제2 전극(CE)이 배치될 수 있다. 제2 전극(CE)은 공통전극에 해당할 수 있다. 발광층(EL)은 유기물을 포함할 수 있다. 발광층(EL)은 전자 제어층(미도시) 및 정공 제어층(미도시)을 포함할 수 있다. 일 실시예에서, 제1 전극(AE), 제2 전극(CE) 및 발광층(EL)은 발광 영역들(EA, 도 6a 참조)에 각각 중첩될 수 있다.

전자 모듈(500)은 제2 영역(DA2)과 중첩하도록 표시 패널(210)의 아래에 배치될 수 있다. 제2 영역(DA2)은 발광 영역들(EA)과 신호투과영역들(STA)을 포함할 수 있다. 발광 영역(EA)에는 복수 개의 서브 발광 영역들(SA1, SA2, SA3)이 배치될 수 있다. 도면에서는 하나의 발광 영역(EA)에 제1 서브 발광 영역(SA1), 제2 서브 발광 영역(SA2) 및 제3 서브 발광 영역(SA3)이 포함된 것으로 도시되었으나, 반드시 이제 제한되지 않는다. 서브 발광 영역들과 관련하여 도 6a 내지 도 6d를 참조한다.

전자 모듈(500)은 신호투과영역들(STA)을 투과하여 피사체를 촬영하도록 신호투과영역(STA)들 아래에 배치될 수 있다.

도 8은 본 발명의 일 실시예에 따른 전자 모듈의 블록도이다.

도 8을 참조하면, 전자 모듈(500)은 카메라 모듈(510), 액추에이터(520) 및 프로세서(530)를 포함할 수 있다. 이하, 도 7을 참조하여 도 8을 설명한다.

카메라 모듈(510)은 렌즈(512) 및 센서(514)를 포함할 수 있다. 카메라 모듈(510)은 피사체를 촬영하여 이미지를 획득할 수 있다. 카메라 모듈(510)은 제2 영역(DA2)을 통과하여 피사체를 촬영할 수 있다.

렌즈(512)는 피사체로부터 방출되는 빛을 수집한다. 구체적으로, 렌즈(512)는 피사체로부터 방출되어 제2 영역(DA2) 내부의 신호투과영역들(STA)을 통과하는 빛을 수집할 수 있다. 센서(514)는 이미지 센서(62)를 포함할 수 있다. 이미지 센서(62)는 렌즈(512)를 통해 수집된 빛을 이용하여 피사체의 이미지를 획득할 수 있다. 여기에서, 이미지는 정지 영상 또는 동영상을 포함한다.

센서(514)는 패턴 센서(64)를 포함할 수 있다. 패턴 센서(64)는 피사체로부터 방출된 빛이 통과하는 제2 영역(DA2) 내부의 복수의 신호투과영역들(STA)의 배치 패턴을 감지할 수 있다. 패턴 센서(64)는 감지된 신호투과영역들(STA)의 배치 패턴에 관한 패턴 정보를 수집한다.

일 실시예에서, 신호투과영역들(STA)이 제1 패턴(PP1, 도 6b 참조)을 가지는 경우, 패턴 센서(64)는 제1 패턴(PP1)을 감지하여 대응하는 패턴 정보를 수집할 수 있다.

액추에이터(520)는 카메라 모듈(510)과 연결될 수 있다. 예를 들어, 액추에이터(520)는 카메라 모듈(510)과 물리적으로 연결될 수 있다. 액추에이터(520)는 다양한 방향 또는 위치로 미세하게 움직이는 기계장치에 해당할 수 있다. 액추에이터(520)는 카메라 모듈(510)에 부착되어 카메라 모듈(510)을 다양한 위치로 이동시킬 수 있다.

일 실시예에서, 액추에이터(520)는 피사체를 촬영하고 있는 카메라 모듈(510)을 미세하게 복수의 위치로 이동시킬 수 있다. 카메라 모듈(510)은 촬영 중에 액추에이터(520)의 움직임으로 인해서 복수의 위치로 연속적으로 이동할 수 있다. 그에 따라, 카메라 모듈(510)은 각각 복수 개의 위치에서 촬영된 피사체에 대한 복수 개의 이미지들을 획득할 수 있다. 즉, 액추에이터(520)는 카메라 모듈(510)이 복수의 위치에서 촬영된 복수의 이미지들을 획득할 수 있도록 카메라 모듈(510)의 이동을 제어할 수 있다.

일 실시예에서, 액추에이터(520)는 제2 영역(DA2) 내에서 움직일 수 있다. 즉, 액추에이터(520)는 카메라 모듈(510)을 제2 영역(DA2) 내에서 이동시킬 수 있다.

액추에이터(520)는 제2 영역(DA2) 내 신호투과영역들(STA)의 패턴 정보를 기초로 움직임을 제어할 수 있다. 예를 들어, 액추에이터(520)는 제1 패턴(PP1)을 가지는 신호투과영역들(STA)에 대한 패턴 정보가 수집된 경우와 제2 패턴(PP2)을 가지는 신호투과영역들(STA)에 대한 패턴 정보가 수집된 경우에 각각 다른 위치 또는 방향으로 움직일 수 있다.

액추에이터(520)는 카메라 모듈(510)의 촬영 중에 제2 영역(DA2) 내의 복수의 발광 영역들(EA)에 의해서 차단되는 렌즈(512)의 시야 확보를 위해서 카메라 모듈(510)을 이동시킨다. 즉, 액추에이터(520)는 카메라 모듈(510)이 발광 영역들(EA)에 방해를 받지 않고 신호투과영역들(STA)을 투과하여 피사체를 촬영할 수 있도록 카메라 모듈(510)의 각도를 조절할 수 있다.

프로세서(530)는 카메라 모듈(510) 및 액추에이터(520)에 연결되어, 카메라 모듈(510) 및 액추에이터(520)의 전반적인 동작을 제어할 수 있다. 프로세서(530)는 카메라 모듈(510)의 촬영을 제어한다. 프로세서(530)는 액추에이터(520)의 움직임을 제어한다. 구체적으로, 프로세서(530)는 카메라 모듈(510)의 이미지 센서(62) 및 패턴 센서(64)를 제어할 수 있다. 예를 들어, 프로세서(530)는 패턴 센서(64)로부터 신호투과영역들(STA)의 패턴 정보를 수신하여 제2 영역(DA2)의 투과율을 산출하고, 산출된 투과율에 기초하여 복수 개의 이미지들을 획득하도록 이미지 센서(62)를 제어할 수 있다.

프로세서(530)는 신호투과영역들(STA)이 제1 패턴(PP1)을 가지는 경우 제2 패턴(PP2)을 가지는 경우보다 제2 영역(DA2)의 투과율을 높게 산출할 수 있다.

프로세서(530)는 제1 패턴(PP1)을 가지는 신호투과영역들(STA)의 패턴 정보가 수신되는 경우 제2 패턴(PP2)을 가지는 신호투과영역들(STA)의 패턴 정보가 수신되는 경우보다 더 적은 개수의 이미지들을 획득하도록 이미지 센서(62)를 제어할 수 있다.

일 실시예에서, 프로세서(530)는 패턴 센서(64)로부터 수집된 신호투과영역들(STA)의 배치 패턴에 관한 제1 패턴 정보를 기초로 액추에이터(520)의 움직임을 제어할 수 있다. 프로세서(530)는 신호투과영역들(STA)의 배치 패턴에 관한 제1 패턴 정보를 기초로 액추에이터(520)가 움직이는 위치 패턴에 대한 제2 패턴 정보를 결정할 수 있다.

프로세서(530)는 상기 제1 패턴 정보가 제1 패턴(PP1)을 포함하는 경우와 제2 패턴(PP2)을 포함하는 경우에 각각 다른 제2 패턴 정보를 결정할 수 있다. 프로세서(530)는 제1 패턴 정보를 기초로 결정된 제2 패턴 정보를 액추에이터(520)에게 전달한다. 액추에이터(520)는 수신된 제2 패턴 정보를 기초로 카메라 모듈(510)을 제2 영역(DA2) 내에서 이동시킬 수 있다.

프로세서(530)는 카메라 모듈(510) 및 액추에이터(520)를 통해 촬영된 복수 개의 제1 이미지들을 이용하여 제2 이미지를 생성할 수 있다. 여기에서, 제1 이미지들 각각의 해상도는 제2 이미지의 해상도보다 낮다. 제1 이미지들은 제2 영역 내에서 변하는 복수의 위치에서 피사체를 각각 촬영한 복수의 저해상도 이미지들에 해당하고, 제2 이미지는 피사체에 대한 단일의 고해상도 이미지일 수 있다.

즉, 프로세서(530)는 복수의 저해상도 이미지들을 가지고 고해상도의 최종 이미지를 생성할 수 있다. 일 실시예에서, 프로세서(530)는 초고해상도(super resolution) 알고리즘을 사용하여 제1 이미지들로부터 제2 이미지를 획득할 수 있다. 여기에서, 초고해상도 알고리즘은 저해상도 이미지를 고해상도 이미지로 복원하는 다양한 기법으로 제공될 수 있다. 예를 들어, 초고해상도 알고리즘은 머신 러닝(machine learning) 또는 딥 러닝(deep learning)을 이용하는 이미지 처리 기법의 하나일 수 있다. 초고해상도 알고리즘은 복수 개의 저해상도 이미지들을 가지고 노이즈 감소, 색 조정을 포함하는 해상도 처리를 수행하여 고해상도의 이미지를 생성할 수 있다.

일 실시예에 따른 전자 모듈(500)은 발광 영역들(EA)과 신호투과영역들(STA)을 모두 포함하는 제2 영역(DA2)을 투과하여 피사체를 촬영한다. 본 발명의 일 실시예에 따른 프로세서(530)는 초고해상도 알고리즘을 포함하는 다양한 해상도 개선 알고리즘을 사용하여 화질을 개선할 수 있다.

일 실시예에서, 프로세서(530)는 전자 모듈(500)의 내부에 포함되어 카메라 모듈(510) 및 액추에이터(520)와 연결될 수 있다. 다른 일 실시예에서, 프로세서(530)는 전자 모듈(500)의 외부에 배치될 수 있다. 예를 들어, 프로세서(530)는 제어 모듈(CM, 도 3 참조)에 포함될 수 있다. 제어모듈(CM)은 전자 모듈(500)과 전기적으로 연결되어 전자 모듈(500)의 동작을 전반적으로 제어한다.

도 9는 본 발명의 일 실시예에 따른 프로세서의 블록도이다.

도 9를 참조하면, 프로세서(530)는 촬영부(910), 액추에이터 구동부(920), 해상도 처리부(930) 및 제어부(940)를 포함할 수 있다. 도 6a 내지 도 7을 참조하여 설명한다.

촬영부(910)는 카메라 모듈(510)을 통해 피사체를 촬영한다. 즉, 촬영부(910)는 카메라 모듈(510)에 촬영 명령을 내릴 수 있다.

액추에이터 구동부(920)는 카메라 모듈(510)에 연결된 액추에이터(520)의 움직임을 제어한다. 즉, 액추에이터 구동부(920)는 액추에이터(520)를 통해 연결된 카메라 모듈(510)을 이동시킬 수 있다. 일 실시예에서, 액추에이터 구동부(920)는 제2 영역(DA2)에 배치된 신호투과영역들(STA) 각각의 배치 패턴에 관한 제1 패턴 정보를 기초로 액추에이터(520)를 움직일 수 있다.

카메라 모듈(510) 및 액추에이터(520)는 촬영부(910) 및 액추에이터 구동부(920)의 제어와 함께 피사체에 대한 복수 개의 제1 이미지들을 획득할 수 있다.

해상도 처리부(930)는 저해상도를 가지는 복수의 제1 이미지들을 변환하여 고해상도를 가지는 제2 이미지를 생성할 수 있다. 해상도 처리부(930)는 초고해상도 알고리즘을 통해 복수 개의 저해상도 이미지들을 가지고 단일의 고해상도 이미지를 생성할 수 있다.

제어부(940)는 촬영부(910), 액추에이터 구동부(920) 및 해상도 처리부(930)간 신호를 제어하고, 프로세서(530)의 전반적인 동작을 제어할 수 있다.

도 10은 본 발명의 일 실시예에 따른 전자 장치의 구동 방법을 보여주는 흐름도이다.

전자 장치의 구동 방법은 전자 모듈을 준비하는 단계, 복수의 제1 이미지들을 촬영하는 단계 및 제2 이미지를 획득하는 단계를 포함할 수 있다.

전자 모듈은 복수의 화소들이 배치된 제1 영역 및 제1 영역보다 높은 투과율을 가지는 제2 영역이 정의된 표시 패널의 아래에 배치되고 제2 영역과 중첩한다. 전자 모듈은 카메라 모듈 및 액추에이터를 포함할 수 있다. 일 실시예에서 전자 모듈은 프로세서를 포함할 수 있다.

카메라 모듈은 액추에이터에 의해 다양한 위치로 움직이면서 피사체에 대한 복수 개의 저해상도 이미지들을 획득할 수 있다(단계 S110).

액추에이터는 프로세서의 명령을 받아 신호투과영역의 패턴 정보를 기초로 카메라 모듈을 이동시킨다. 카메라 모듈은 제2 영역 내에서 움직이면서 복수 개의 저해상도 이미지들을 획득한다.

프로세서는 초고해상도 알고리즘을 통해 복수의 저해상도 이미지들을 이용하여 고해상도 이미지를 생성할 수 있다(단계 S120). 프로세서는 적어도 하나의 알고리즘 또는 기법을 자유롭게 사용하여 고해상도의 이미지를 획득할 수 있다.

본 발명에 따르면, 카메라 모듈을 가리고 있는 패널의 화소들에 의한 화질 감소 문제를 해결할 수 있다. 즉, 본 발명의 일 실시예에 따른 전자 장치는 액추에이터를 통해 다양한 위치에서 촬영된 복수 개의 저해상도의 제1 이미지들을 획득할 수 있다. 본 발명의 일 실시예에 따른 전자 장치는 프로세서를 통해 복수 개의 저해상도의 제1 이미지들을 변환 시켜 고화질의 제2 이미지를 생성할 수 있다.

이상에서와 같이 도면과 명세서에서 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

ED: 전자 장치
200: 표시 모듈
210: 표시 패널
DA1: 제1 영역
DA2: 제2 영역
500: 전자 모듈
510: 카메라 모듈
520: 액추에이터
530: 프로세서

Claims

복수의 화소들이 배치된 제1 영역 및 상기 제1 영역보다 투과율이 큰 제2 영역을 포함하는 표시 패널; 및
상기 표시 패널의 아래에 배치되고 상기 제2 영역에 중첩하는 전자 모듈을 포함하고,
상기 전자 모듈은,
피사체를 촬영하여 제1 해상도를 가지는 복수의 제1 이미지들을 획득하는 카메라 모듈;
상기 카메라 모듈에 연결되고 상기 복수의 제1 이미지들 각각의 촬영 중에 상기 카메라 모듈을 이동시키는 액추에이터; 및
촬영된 상기 제1 이미지들을 이용하여 상기 제1 해상도보다 큰 제2 해상도를 가지는 제2 이미지를 획득하는 프로세서를 포함하는 전자 장치.
제1항에 있어서, 상기 카메라 모듈은 상기 피사체로부터 방출되는 빛을 수집하는 렌즈 및 수집된 상기 빛을 이용하여 상기 제1 이미지들을 획득하는 이미지 센서를 포함하는 전자 장치.
제1항에 있어서, 상기 액추에이터는 상기 복수의 제1 이미지들이 서로 다른 위치에서 각각 촬영되도록 상기 카메라 모듈의 상기 이동을 제어하는 전자 장치.
제1항에 있어서, 상기 프로세서는 초고해상도(super resolution) 알고리즘을 통해서 상기 제1 이미지들로부터 상기 제2 이미지를 획득하는 것을 특징으로 하는 전자 장치.
제1항에 있어서, 상기 액추에이터는 상기 카메라 모듈의 상기 이동을 상기 제2 영역 내에서 제어하는 것을 특징으로 하는 전자 장치.
제1항에 있어서, 상기 제2 영역은 화소가 배치된 복수의 발광 영역들 및 상기 복수의 발광 영역들과 각각 인접한 복수의 신호투과영역들을 포함하는 전자 장치.
제6항에 있어서, 상기 카메라 모듈은 상기 복수의 신호투과영역들의 배치 패턴에 대한 제1 패턴 정보를 수집하는 패턴 센서를 포함하는 전자 장치.
제7항에 있어서, 상기 프로세서는 상기 패턴 센서로부터 수집된 상기 제1 패턴 정보를 기초로 상기 액추에이터가 움직이는 위치 패턴에 대한 제2 패턴 정보를 결정하여 상기 액추에이터에게 전달하는 전자 장치.
제8항에 있어서, 상기 액추에이터는 상기 제2 패턴 정보를 기초로 상기 카메라 모듈의 상기 이동을 제어하는 것을 특징으로 하는 전자 장치.
제1항에 있어서, 상기 프로세서는,
상기 카메라 모듈을 이동시키기 위한 상기 액추에이터의 움직임을 제어하는 액추에이터 구동부;
상기 카메라 모듈의 촬영을 제어하는 촬영부; 및
상기 복수의 제1 이미지들을 변환하여 상기 제2 이미지를 생성하는 해상도 처리부를 포함하는 전자 장치.
제10항에 있어서, 상기 액추에이터 구동부는 상기 제2 영역에 배치된 신호투과영역의 배치 패턴에 관한 패턴 정보를 기초로 상기 액추에이터의 상기 움직임을 제어하는 전자 장치.
제1항에 있어서, 상기 프로세서는 상기 표시 패널의 상기 제2 영역의 투과율에 대한 투과율 정보를 수신하고, 수신된 상기 투과율 정보를 기초로 상기 카메라 모듈 및 상기 액추에이터를 제어하는 전자 장치.
제12항에 있어서, 상기 제2 영역의 상기 투과율과 상기 복수의 제1 이미지들의 개수는 반비례하는 것을 특징으로 하는 전자 장치.
복수의 화소들이 배치된 제1 영역 및 상기 제1 영역보다 투과율이 큰 제2 영역이 정의된 표시 패널;
상기 표시 패널의 아래에 배치되고, 상기 제2 영역에 중첩하는 카메라 모듈 및 상기 카메라 모듈에 연결된 액추에이터를 포함하는 전자 모듈; 및
상기 전자 모듈의 동작을 제어하는 프로세서를 포함하고,
상기 프로세서는,
상기 액추에이터를 움직여서 상기 카메라 모듈을 복수의 위치들로 이동시키는 액추에이터 구동부;
피사체를 촬영하여 상기 복수의 위치들에서 제1 해상도를 가지는 복수의 제1 이미지들을 획득하는 촬영부; 및
상기 복수의 제1 이미지들을 이용하여 상기 제1 해상도보다 큰 제2 해상도를 가지는 제2 이미지를 획득하는 해상도 처리부를 포함하는 전자 장치.
제14항에 있어서, 상기 복수의 위치들은 상기 제2 영역 내에 존재하는 것을 특징으로 하는 전자 장치.
제14항에 있어서, 상기 제2 영역은 화소가 배치된 복수의 발광 영역들 및 상기 복수의 발광 영역들과 각각 인접한 복수의 신호투과영역들을 포함하는 전자 장치.
제16항에 있어서, 상기 액추에이터 구동부는 상기 복수의 신호투과영역들의 배치에 대한 배치 패턴을 기초로 상기 액추에이터가 움직이는 상기 복수의 위치에 대한 위치 패턴을 결정하는 전자 장치.
제14항에 있어서, 상기 전자 모듈은 상기 프로세서를 포함하는 전자 장치.
제14항에 있어서, 상기 표시 패널 및 상기 전자 모듈의 동작을 제어하는 제어 모듈을 더 포함하고, 상기 제어 모듈은 상기 프로세서를 포함하는 전자 장치.
복수의 화소들이 배치된 제1 영역 및 상기 제1 영역보다 투과율이 큰 제2 영역이 정의된 표시 패널 및 상기 제2 영역에 중첩하도록 상기 표시 패널의 아래에 배치되고, 카메라 모듈 및 상기 카메라 모듈에 연결된 액추에이터를 포함하는 전자 모듈을 준비하는 단계;
상기 액추에이터가 상기 제2 영역 내에서 복수의 위치로 상기 카메라 모듈을 움직이는 단계;
상기 카메라 모듈이 하나의 피사체에 대하여, 상기 복수의 위치에서 제1 해상도를 가지는 서로 다른 복수의 제1 이미지들을 촬영하는 단계; 및
프로세서가 상기 복수의 제1 이미지들로부터 상기 제1 해상도보다 큰 제2 해상도를 가지는 제2 이미지를 획득하는 단계를 포함하는 전자 장치의 구동 방법.