KR20200014408A - 카메라가 제공된 단말 및 그의 촬영 방법 - Google Patents

카메라가 제공된 단말 및 그의 촬영 방법 Download PDF

Info

Publication number
KR20200014408A
KR20200014408A KR1020207000137A KR20207000137A KR20200014408A KR 20200014408 A KR20200014408 A KR 20200014408A KR 1020207000137 A KR1020207000137 A KR 1020207000137A KR 20207000137 A KR20207000137 A KR 20207000137A KR 20200014408 A KR20200014408 A KR 20200014408A
Authority
KR
South Korea
Prior art keywords
region
camera
area
occluded
display panel
Prior art date
Application number
KR1020207000137A
Other languages
English (en)
Other versions
KR102192809B1 (ko
Inventor
강 수
투오 순
훙-유안 자우
치아칭 츄
캉충 리우
시엔창 호우
신 리
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20200014408A publication Critical patent/KR20200014408A/ko
Application granted granted Critical
Publication of KR102192809B1 publication Critical patent/KR102192809B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72519—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K5/00—Casings, cabinets or drawers for electric apparatus
    • H05K5/0017—Casings, cabinets or drawers for electric apparatus with operator interface units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/10—OLED displays
    • H10K59/12—Active-matrix OLED [AMOLED] displays
    • H10K59/121—Active-matrix OLED [AMOLED] displays characterised by the geometry or disposition of pixel elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 출원의 실시예는, 산업 디자인 효과 및 스크린의 전체 디스플레이에 영향을 미치지 않고, 전면 카메라를 디스플레이 영역에 통합하는 카메라가 제공된 단말 및 그의 촬영 방법을 개시한다. 단말은 디스플레이 패널과 적어도 하나의 카메라를 포함하고, 여기서, 적어도 하나의 카메라는 디스플레이 패널 뒤에 위치하고, 디스플레이 패널상의 적어도 하나의 카메라의 위치에 대응하는 영역은 제 1 영역이고, 디스플레이 패널상의 제 1 영역 이외의 영역은 제 2 영역이며, 여기서, 제 1 영역의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함하고, 제 2 영역의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함하며, 제 1 영역에서의 투명한 부분의 비율은 제 2 영역에서의 투명한 부분의 비율보다 크다.

Description

카메라가 제공된 단말 및 그의 촬영 방법
본 출원은 단말 기술 분야, 특히, 카메라가 제공된 단말 및 그의 촬영 방법에 관한 것이다.
시장에서 점점 더 높은 휴대폰의 스크린 대 본체 비율을 요구함에 따라, 주요 제조사는 모두, 예를 들어, Xiaomi MIX와 Sharp Aquos Crystal과 같은 풀스크린 개념의 단말 장치를 출시하였다. 현재, 단말 장치 개발의 목표는 스크린으로 가득 찬 전면 패널을 구비한 단말을 제공하는 것이다.
현재, 예를 들어, 지문/복귀 기능 홈 버튼을 스크린으로 전송하거나 통합하기 위한 솔루션은 이미 이용 가능하다. 그러나 전면 카메라의 경우, 카메라를 스크린의 디스플레이 영역과 통합하는 바람직한 해결책은 없다. 구상중인 한 가지 방법은 스크린에 비정상적인 절단을 수행하여 스크린의 일부를 잘라내고, 스크린 절단에 의해 만들어진 공간을 사용하여 카메라와 같은 부품을 설치하는 것이다.
그러나 이러한 방식으로 전면 카메라가 스크린과 통합되면, 잘려진 부분은 아무것도 디스플레이할 수 없게 된다. 스크린이 켜지면, 어두운 구석이나 그루브(groove)가 나타난다. 이것은 이상적이지 않은 산업 디자인(Industrial Design, ID) 효과로서, 스크린의 전체 디스플레이에 영향을 미치고 디스플레이 패널의 비용을 증가시킨다.
본 출원의 실시예는, 산업 디자인 효과 및 스크린의 전체 디스플레이에 영향을 미치지 않고, 전면 카메라를 디스플레이 영역에 통합하는 카메라 및 촬영 방법이 제공된 단말을 제공한다.
본 출원의 실시예의 제 1 양태는 프로세서, 메모리, 디스플레이 패널 및 적어도 하나의 카메라를 포함하는, 카메라가 제공된 단말을 제공하며, 적어도 하나의 카메라는 디스플레이 패널 뒤에 위치되고, 디스플레이 패널상의 적어도 하나의 카메라의 위치에 대응하는 영역은 제 1 영역이고, 디스플레이 패널상의 제 1 영역 이외의 영역은 제 2 영역이며, 여기서, 제 1 영역의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함하고, 제 2 영역의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함하며, 제 1 영역 내의 투명한 부분의 비율은 제 2 영역 내의 투명한 부분의 비율보다 크다.
가능한 설계에서, 본 출원의 실시예의 제 1 양태의 제 1 구현에서, 투명한 부분은 투명 유리나 투명 플라스틱 필름이고, 불투명한 부분은 픽셀 유닛 내에 배치되고 박막 트랜지스터 장치와 금속 와이어가 제공되는 부분을 포함한다. 본 구현에서는, 투명한 부분과 불투명한 부분의 구성이 상세하게 설명된다. 이러한 방식에서, 본 출원의 실시예가 더욱 동작 가능해진다.
가능한 설계에서, 본 출원의 실시예의 제 1 양태의 제 2 구현에서, 단말은 마이크로 모터를 더 포함하고, 마이크로 모터는 하우징을 포함한다.
가능한 설계에서, 단말은 마이크로 모터를 더 포함하고, 적어도 하나의 카메라가 존재하며, 여기서, 마이크로 모터는 카메라에 물리적으로 연결되고, 적어도 하나의 카메라를 구동하여 이동시키도록 구성된다.
가능한 설계에서, 본 출원의 실시예의 제 1 양태의 제 3 구현에서, 제 1 영역의 PPI(Pixels Per Inch)의 양은 제 2 영역의 PPI의 1/M이고, 여기서, M은 1보다 크다. 이 구현에서, 제 1 영역의 PPI는 제 2 영역의 PPI의 1/M이고, 여기서, M은 1보다 크다. 이러한 방식에서, 제 1 영역의 투명 비율은 제 2 영역의 투명 비율보다 크며, 이는 본 출원의 실시예의 구현에 추가된다.
가능한 설계에서, 본 출원의 실시예의 제 1 양태의 제 4 구현에서, 내부 보상이 없는 픽셀 회로가 제 1 영역에 사용되고, 내부 보상이 있는 픽셀 회로가 제 2 영역에 사용된다. 본 구현에서, 내부 보상이 없는 픽셀 회로의 사용은 투명 비율을 증가시키기 위해 상세히 설명되며, 이는 본 출원의 실시예의 구현에 추가된다.
본 출원의 실시예의 제 2 양태는 카메라가 제공된 단말에 적용 가능한 촬영 방법을 제공한다. 단말은 디스플레이 패널과 적어도 하나의 카메라를 포함하되, 적어도 하나의 카메라는 디스플레이 패널 뒤에 위치되고, 디스플레이 패널상의 적어도 하나의 카메라의 위치에 대응하는 영역은 제 1 영역이고, 디스플레이 패널상의 제 1 영역 이외의 영역은 제 2 영역이며, 여기서, 제 1 영역의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함하고, 제 2 영역의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함하며, 제 1 영역에서의 투명한 부분의 비율은 제 2 영역에서의 투명한 부분의 비율보다 크다. 촬영 방법은, 디스플레이 패널에 대해 상이한 위치에서 카메라에 의해 신속하게 촬영된 N개의 픽쳐를 획득하는 단계 - 여기서, N개의 픽쳐 각각에서, 제 1 영역의 불투명한 부분에서의 폐색으로 인해 생성된 폐색된 영역(occluded area)이 존재하며, N은 1보다 큰 양의 정수임 - 와, 폐색된 영역이 완전히 또는 부분적으로 복원된 픽쳐를 획득하기 위해 이미지 합성법을 사용하여 N개의 픽쳐를 처리하는 단계를 포함한다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 1 구현에 따르면, 단말은 마이크로 모터를 더 포함하고, 이 마이크로 모터는 적어도 하나의 카메라를 이동시키도록 구동하기 위해 카메라에 물리적으로 연결된다. 디스플레이 패널에 대해 상이한 위치에서 카메라에 의해 신속하게 촬영된 N개의 픽쳐를 획득하는 단계는 마이크로 모터가, 촬영 동안, 적어도 하나의 카메라를 이동시키기 위해 구동되는 단계와, 적어도 하나의 카메라가 이동하는 동안, 디스플레이 패널에 대해 상이한 위치에서 N개의 픽쳐를 신속하게 촬영하도록 적어도 하나의 카메라를 제어하는 단계를 포함한다. 이미지 합성법을 사용하여 N개의 픽쳐를 처리하는 단계는, 적어도 하나의 카메라가 움직일 때, 디스플레이 패널에 대한 카메라의 위치에 기초하여 N개의 픽쳐를 처리하는 단계를 포함한다. 이 구현에서, 단말의 적어도 하나의 카메라를 이동시킴으로써, 처리를 위해 복수의 픽쳐가 촬영될 수 있다. 이러한 방식에서, 본 출원의 실시예의 상세한 동작 모드가 제공된다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 2 구현에 따르면, 적어도 2개의 카메라가 존재한다. 이미지 합성법을 사용하여 N개의 픽쳐를 처리하는 단계는 적어도 2개의 카메라에 의해 촬영된 픽쳐에 기초하여 폐색된 영역을 보완함으로써 N개의 픽쳐를 처리하는 단계를 포함한다. 이 구현에서, 단말에 적어도 2개의 카메라가 제공될 경우, N개의 픽쳐는 카메라에 의해 촬영된 픽쳐를 보완함으로써 처리된다. 이러한 방식에서, 본 출원의 실시예는 더욱 동작 가능해진다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 3 실시예에 따르면, 폐색된 영역이 부분적으로 복원된 픽쳐가 획득될 때, 상기 방법은 이미지 처리 알고리즘을 사용하여 폐색된 영역이 완전히 복원된 픽쳐를 획득하기 위해 폐색된 영역이 부분적으로 복원된 픽쳐를 처리하는 단계를 더 포함한다. 이 구현에서, 폐색된 영역은 이미지 처리 알고리즘을 사용하여 복원될 수 있고, 이는 본 출원의 실시예의 구현에 추가된다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 4 구현에 따르면, 이미지 처리 알고리즘을 사용하여, 폐색된 영역이 부분적으로 복원된 픽쳐를 처리하는 단계는 폐색된 픽셀의 인접한 픽셀의 정보를 사용하여 폐색된 영역이 부분적으로 복원되는 픽쳐 내의 폐색된 픽셀에 대해 보간 연산을 수행하는 단계를 포함한다. 이 구현에서, 보간 동작은 폐색된 영역을 복원하기 위해 인접한 픽셀의 정보를 사용함으로써 수행된다. 이러한 방식에서, 본 출원의 실시예는 더 정교하게 작동 가능하다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 5 구현에 따르면, 이미지 처리 알고리즘을 사용하여, 폐색된 영역이 부분적으로 복원되는 픽쳐를 처리하는 단계는 폐색된 영역이 부분적으로 복원된 픽쳐 내의 폐색된 픽셀의 물리적 정보를 인식하는 단계와, 인식된 물리적 정보의 내용에 기초하여, 폐색된 영역이 부분적으로 복원된 픽쳐 내의 폐색된 픽셀의 정보를 복원하는 단계를 포함한다. 이 구현에서, 폐색된 영역은 물리적 정보에 기초하여 복원되고, 이는 본 출원의 실시예의 구현에 추가된다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 6 구현에 따르면, 제 1 영역의 PPI는 제 2 영역의 PPI의 1/M이고, 여기서, M은 1보다 크며, 이 방법은 제 1 영역에서 M개의 인접한 픽셀의 디스플레이 데이터를, 디스플레이를 위한 하나의 픽셀의 디스플레이 데이터로 압축하는 단계를 추가로 포함한다. 이 구현에서, PPI가 감소된 후, 제 1 영역의 디스플레이 데이터는 디스플레이 효과를 보장하기 위해 압축된다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 7 구현에 따르면, 이 방법은 제 1 영역의 밝기 곡선과 제 2 영역의 밝기 곡선 사이의 유사성이 사전 설정값보다 더 커지도록 제 1 영역의 전체적인 밝기를 증가시키는 단계를 더 포함한다. 이 구현에서, PPI가 감소된 후에, 발광 픽셀 영역의 비율은 더 작아진다. 따라서 디스플레이 효과를 보장하기 위해서는 밝기를 증가시켜야 한다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 8 구현에 따르면, 내부 보상이 없는 픽셀 회로가 제 1 영역에서 사용되고, 이 방법은 제 1 영역의 픽셀 유닛에 대해 외부 보상을 수행하는 단계를 더 포함한다. 이 구현에서, 내부 보상이 없는 픽셀 회로가 제 1 영역에서 사용될 때, 색수차를 제거하기 위해 외부 보상이 수행되어야 한다.
가능한 디자인에서, 본 출원의 실시예의 제 2 양태의 제 9 구현에 따르면, 이 방법은 촬영 동안 디스플레이 패널 내에 블랙 프레임을 삽입하는 단계를 더 포함한다. 이 구현에서, 블랙 프레임은 카메라 전면의 디스플레이 패널에 의해 방출된 광의 간섭을 피하기 위해 디스플레이 패널 내에 삽입된다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 10 구현에 따르면, 촬영 동안 디스플레이 패널 내에 블랙 프레임을 삽입하는 단계는, 촬영 명령이 수신되면, 블랙 프레임 삽입 동작을 시작하는 단계와, 블랙 프레임 삽입 동작이 완료된 것으로 결정되면, 촬영을 시작하는 단계, 및 촬영 완료 명령이 수신되면, 스크린을 복구하는 단계를 포함한다. 이 구현에서, 블랙 프레임을 추가하기 위한 타이밍이 상세하게 설명된다. 이러한 방식에서, 본 출원의 실시예는 더욱 동작 가능해진다.
가능한 설계에서, 본 출원의 실시예의 제 2 양태의 제 11 구현에 따르면, 블랙 프레임은 풀 스크린 블랙 프레임이나 제 1 영역을 블랙 스크린으로 전환하는 블랙 프레임이다. 이 구현에서, 블랙 프레임은 풀 스크린일 수 있거나 또는 제 1 영역에서만 사용될 수 있는 것으로 설명되고, 이는 본 출원의 실시예의 구현에 추가된다.
본 출원의 실시예의 제 3 양태는, 컴퓨터 판독 가능 저장 매체가 컴퓨터에서 실행될 때, 컴퓨터가 전술한 양태에 따른 방법을 수행할 수 있는 명령어를 포함하는 컴퓨터 판독 가능 저장 매체를 제공한다.
본 출원의 실시예의 제 4 양태는, 컴퓨터 프로그램 제품이 컴퓨터에서 실행될 때, 컴퓨터가 전술한 양태에 따른 방법을 수행할 수 있는 명령어를 포함하는 컴퓨터 프로그램 제품을 제공한다.
본 출원의 실시예에 의해 제공되는 기술적인 솔루션에서, 본 출원의 실시예는 스크린의 픽셀 영역 뒤에 카메라를 배치하는 단계를 포함하되, 카메라 앞의 영역은 디스플레이 스크린의 픽셀 영역의 제 1 영역이다. 본 출원의 실시예에서, 카메라는 스크린의 픽셀 영역 뒤에 위치하여, 스크린의 무결성 및 정상적인 디스플레이를 보장하고, 카메라 앞의 제 1 영역은 카메라에 의한 정상적인 촬영을 보장하기 위해 투명한 부분을 포함한다. 이러한 방식에서, 산업 디자인 효과 및 스크린 전체의 디스플레이에 영향을 미치지 않으면서 전면 카메라를 디스플레이 영역 내에 통합할 수 있다.
도 1은 본 출원의 일 실시예에 따른, 카메라가 제공된 단말의 부분 구조의 블록도이다.
도 2는 본 출원의 일 실시예에 따른 단말 내의 디스플레이 패널과 카메라 사이의 위치 관계를 나타내는 개략도이다.
도 3은 본 출원의 일 실시예에 따른 픽셀 영역 내의 픽셀 유닛 배열을 나타내는 개략도이다.
도 4는 본 출원의 일 실시예에 따라 원본 픽쳐를 촬영한 결과를 나타내는 개략도이다.
도 5는 본 출원의 일 실시예에 따른 픽쳐 합성 처리를 나타내는 개략도이다.
도 6(a)는 본 출원의 일 실시예에 따라, 하나의 카메라로 촬영한 픽쳐를 나타내는 개략도이다.
도 6(b)는 본 출원의 일 실시예에 따라, 하나의 카메라로 촬영한 픽쳐를 나타내는 다른 개략도이다.
도 7은 본 출원의 일 실시예에 따라, 마이크로 모터를 카메라에 연결하는 조정 장치를 나타내는 개략도이다.
도 8은 본 출원의 일 실시예에 따라, 2개의 카메라로 촬영한 픽쳐를 나타내는 개략도이다.
도 9(a)는 본 출원의 일 실시예에 따른 이미지 처리를 나타내는 개략도이다.
도 9(b)는 본 출원의 일 실시예에 따른 이미지 처리를 나타내는 다른 개략도이다.
도 10은 본 출원의 일 실시예에 따라, PPI(Pixels Per Inch)의 양을 감소시키는 것을 나타내는 개략도이다.
도 11은 본 출원의 일 실시예에 따라, 디스플레이 데이터를 압축하는 것을 나타내는 개략도이다.
도 12는 본 출원의 일 실시예에 따른 7T1C 회로를 나타내는 개략적인 구조도이다.
도 13은 본 출원의 일 실시예에 따른 2T1C 회로를 나타내는 개략적인 구조도이다.
도 14는 본 출원의 일 실시예에 따른 촬영 방법을 나타내는 개략적인 흐름도이다.
도 15는 본 출원의 일 실시예에 따른 촬영 방법을 나타내는 다른 개략적인 흐름도이다.
다음은 본 출원의 실시예에서 첨부된 도면을 참조하여 본 출원의 실시예에서의 기술적 해결책을 명확하고 확실하게 설명한다. 설명된 실시예는 본 출원의 일부 실시예일 뿐, 모든 실시예를 나타내는 것이 아님은 명백하다. 본 출원의 실시예에 기초하여, 창조적 노력없이, 당업자에 의해 획득된 다른 모든 실시예는 본 출원의 보호 범주 내에 속할 것이다.
종래 기술에서, 카메라는 풀 스크린 효과를 달성하기 위해 디스플레이 영역에 통합될 수 있다. 그러나, 이 효과는 카메라 모듈을 위한 공간을 만들기 위해 스크린의 일부를 잘라냄으로써 달성된다. 결과적으로, 카메라 모듈이 배치되는 영역에는 아무것도 디스플레이될 수 없고, 스크린이 켜지면, 어두운 구석이 나타난다. 이것은 이상적이지 않은 산업 디자인 효과이고, 스크린의 전체 표시에 영향을 미친다.
본 출원의 기술적인 솔루션에서, 단말은 디스플레이 패널과 전면 카메라가 제공되는 사용자 장비이다. 단말은 주로 전면 카메라가 디스플레이 패널 뒤에 배치된다는 점에서 종래 단말과는 상이하다.
도 1은 본 출원의 일 실시예에 따른 단말의 일부 구조를 나타내는 블록도이다.
단말은 디스플레이 패널(101) 및 적어도 하나의 카메라(102)를 포함한다.
단말은 프로세서(180), 메모리(120), Wi-Fi(Wireless Fidelity) 모듈(170), RF(Radio Frequency) 회로(110), 입력 유닛(131), 디스플레이 유닛(140), 및 오디오 회로(160), 센서(150) 등을 더 포함한다. 당업자라면, 도 1에 도시된 단말 구조가 단말의 구성을 제한하지 않는다는 것을 이해할 것이다. 단말은 도 1에 도시된 것보다 많거나 적은 부품이나, 일부 부품의 조합 또는 다른 부품 배열체를 포함할 수 있다.
디스플레이 유닛(140)은 이미지를 디스플레이하도록 구성될 수 있다. 디스플레이 유닛(140)은 디스플레이 패널(101)을 포함한다. 또한, 터치 패널(131)은 디스플레이 패널(101)을 덮을 수 있다. 터치 패널(131) 상에서 또는 터치 패널(131) 근처에서 터치 동작을 감지한 후, 터치 패널(131)은 터치 이벤트 유형을 결정하기 위해 터치 동작을 프로세서(180)로 전송하고, 그런 다음 프로세서(180)는 터치 이벤트 유형에 기초하여 디스플레이 패널(101) 상에 대응하는 시각적 출력을 제공한다. 도 1의 터치 패널(131) 및 디스플레이 패널(101)은 단말의 입력 및 출력 기능을 구현하기 위해 2개의 개별 부품으로 도시되어 있지만, 일부 실시예에서, 터치 패널(131)은 디스플레이 패널(101)에 통합되어 단말의 입력 및 출력 기능을 구현할 수 있다.
입력 유닛(130)은 사용자가 설정 인터페이스에서, 예를 들어, 타겟 애플리케이션을 선택하고, 프롬프트 정보에 따라 피드백을 수행하도록 구성될 수 있다. 구체적으로, 입력 유닛(130)은 터치 패널(131)과 다른 입력 장치(132)를 포함할 수 있다. 터치 스크린이라고도 지칭되는 터치 패널(131)은 터치 패널(131) 상이나 그 근처에서 사용자에 의해 수행된 터치 동작을 수집할 수 있다. 선택적으로, 터치 패널(131)은 2개의 부품, 즉, 터치 검출 장치 및 터치 제어기를 포함할 수 있다. 터치 검출 장치는 사용자의 터치 위치를 검출하고, 터치 동작에 의해 생성된 신호를 검출하며, 그 신호를 터치 제어기로 전송한다. 터치 제어기는 터치 검출 장치로부터 터치 정보를 수신하고, 터치 정보를 터치 포인트의 좌표로 변환하고, 그 좌표를 프로세서(180)에 전송하며, 프로세서(180)에 의해 전송된 명령을 수신 및 실행할 수 있다. 또한, 터치 패널(131)은 저항 유형, 커패시터 유형, 적외선 유형, 표면 탄성파 유형과 같은 복수의 유형으로 구현될 수 있다. 입력 유닛(130)은 터치 패널(131) 외에 다른 입력 장치(132)를 더 포함할 수 있다. 구체적으로, 다른 입력 장치(132)는 하나 이상의 물리적 키보드, 기능 버튼(예컨대, 볼륨 조절 버튼이나 전원 버튼), 트랙볼, 마우스 및 조이스틱을 포함하지만, 이것으로 제한되지는 않는다.
Wi-Fi는 단거리 무선 전송 기술이다. 단말은, 예를 들어, 이메일을 송수신하고, 웹 페이지를 탐색하고, 스트리밍 미디어에 액세스하기 위해 Wi-Fi 모듈(170)을 사용할 수 있으며, 이로 인해 무선 광대역 인터넷 액세스를 제공할 수 있다.
RF 회로(110)는 버스에 의해 프로세서(180)에 연결된다. RF 회로(110)는 인터넷에 데이터를 송신하거나 인터넷으로부터 데이터를 수신하는 것을 담당하며, 호출 동안, 정보를 송수신하거나 신호를 송수신하도록 구성될 수 있다. 특히, RF 회로(110)는, 기지국의 다운 링크 정보를 수신한 후, 처리를 위해 다운 링크 정보를 프로세서(180)로 전송한다. 또한, RF 회로(110)는 업 링크 전송과 관련된 데이터를 기지국으로 전송한다. 일반적으로, RF 회로(110)는 안테나, 적어도 하나의 증폭기, 트랜시버, 커플러, LNA(Low Noise Amplifier) 및 듀플렉서를 포함하지만, 이것으로 제한되는 것은 아니다. 또한, RF 회로(110)는 무선 통신을 통해 네트워크 및 다른 장치와 통신할 수도 있다. 무선 통신은 GSM(Global System for Mobile communications), GPRS(General Packet Radio Service), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), 이메일 및 SMS(Short Messaging Service)를 포함하지만, 이것으로 제한되지 않는 임의의 통신 표준 또는 프로토콜을 사용할 수 있다.
메모리(120)는 소프트웨어 프로그램 및 모듈을 저장하도록 구성될 수 있다. 프로세서(180)는 메모리(120)에 저장된 소프트웨어 프로그램 및 모듈을 실행하여 단말의 기능적 애플리케이션 및 데이터 처리를 수행한다. 메모리(120)는 주로 프로그램 저장 영역 및 데이터 저장 영역을 포함할 수 있다. 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능(예컨대, 소리 재생 기능 및 이미지 재생 기능)을 위한 응용 프로그램 등을 저장할 수 있다. 데이터 저장 영역은 이동 단말의 사용 등에 따라 생성된 데이터(예컨대, 오디오 데이터 및 전화 번호부)를 저장할 수 있다. 또한, 메모리(120)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비휘발성 메모리, 예를 들어, 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 다른 휘발성 고체 상태 메모리 장치를 더 포함할 수 있다.
본 출원의 실시예에서, 카메라(102)는 디스플레이 패널(101) 뒤에 위치된다. 이를 이해하기 위해, 도 2에 도시된 디스플레이 패널과 카메라 사이의 위치 관계를 참조한다.
디스플레이 패널은 유리 커버 플레이트(201), 캡슐화된 유리(202), 밀봉제(203), 픽셀 영역(204) 및 박막 트랜지스터 유리(205)를 포함할 수 있다.
픽셀 유닛은 이미지 디스플레이를 위한 픽셀 영역(204) 내에 배열된다.
박막 트랜지스터는 픽셀 영역(204)에서 픽셀 유닛을 구동하기 위해 박막 트랜지스터 유리(205) 내에 통합된다.
카메라 앞의 영역은 디스플레이 패널의 픽셀 영역(204)의 제 1 영역(206)이고, 제 1 영역(206)의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함한다. 제 1 영역(206) 이외의 영역은 제 2 영역이고, 제 2 영역의 각 픽셀 유닛도 투명한 부분과 불투명한 부분을 포함한다. 제 1 영역에서의 투명한 부분의 비율은 제 2 영역에서의 투명한 부분의 비율보다 크다. 이를 이해하기 위해, 도 3에 도시된 픽셀 영역(204) 내에서의 픽셀 유닛 배열을 참조한다.
도 3은 픽셀 영역(204) 내의 픽셀 유닛 배열을 나타내는 개략도이다. 균일하게 배열된 것은 모든 픽셀 유닛(301)이고, 각 픽셀 유닛(301)은 투명한 부분(302)과 불투명한 부분(303)을 포함한다. 투명한 부분(302)은 투명 유리나 투명 플라스틱 필름이고, 불투명한 부분(303)은 픽셀 유닛(301)에 배치되고 박막 트랜지스터 소자 및 금속 와이어가 제공된 부분을 포함한다. 카메라(102)는 이러한 투명한 부분을 통해 외부 장면의 픽쳐를 촬영할 수 있다.
도 3은 단지 픽셀 영역(204) 내의 픽셀 유닛 배열을 나타내는 개략도이며, 픽셀 영역(204) 내의 픽셀 유닛 배열의 특정 방식이나 각 픽셀 유닛의 크기 및 형상을 제한하지 않는다는 것에 유의해야 한다. 픽셀 유닛은 일반적인 RGB 배열 방식, RGBB 배열 방식, 펜타일(PenTile) 배열 방식 또는 다른 배열 방식으로 배열될 수 있다. 이것은 본 명세서에서 제한되지 않는다.
디스플레이 패널은 전술한 투명한 부분만으로 구성되어야 한다는 것을 이해할 수 있다. 선택적으로, 디스플레이 패널(101)은 OLED(Organic Light-Emitting Diode) 기술, MICRO LED(MICRO Light-Emitting Diode) 기술, AMOLED(Active-Matrix Organic Light Emitting Diode) 기술 등을 사용하여 구성될 수 있다. 이것은 본 명세서에서 제한되지 않는다.
본 출원의 이러한 실시예에서, 카메라(102)는 스크린의 무결성 및 정상 디스플레이를 보장하기 위해 디스플레이 패널(101) 뒤에 위치된다. 카메라(102)의 앞 영역은 디스플레이 패널(101)의 픽셀 영역(204)의 제 1 영역이다. 제 1 영역은 투명한 부분을 포함하여, 카메라(102)의 정상적인 촬영을 보장하고, 산업 디자인 효과와 스크린의 전체 디스플레이에 영향을 미치지 않으면서 디스플레이 영역에의 카메라의 통합을 구현한다.
편광판은 디스플레이 패널의 표면에 장착되고, 디스플레이 패널 표면의 편광판은 편광판에 의해 반사되는 광을 제한하는 기능이 있는 것으로 이해될 수 있다. 불투명한 부분은 카메라를 막는 루버(louver)와 같이 기능한다. 카메라의 윤곽은 디스플레이 패널을 통해 보이지 않는다. 또한, 카메라는 단말 내부에 위치되며, 단말 내부는 다소 어둡다. 카메라는 사용자에게 보이지 않기 때문에, 산업 디자인 효과에는 영향을 미치지 않는다.
또한, 카메라(102) 앞의 제 1 영역은 투명한 부분뿐만 아니라 불투명한 부분도 포함하고, 불투명한 부분은 카메라(102)의 촬영을 막는다. 따라서, 교대로 이격된 폐색 영역을 포함하여 촬영된 원본 픽쳐는 도 4에 도시된 것과 유사할 수 있다. 이후, 단말은 복원된 픽쳐를 획득하기 위해 촬영된 원본 픽쳐를 처리할 수 있다. 복수의 특정 처리 방법이 사용될 수 있고, 이들 중 일부는 이하 설명을 위해 선택된다.
제 1 처리 방법은 픽쳐 합성이다.
선택적으로, 프로세서(180)는 메모리(120)에 저장된 동작 명령을 호출하여 다음 동작을 수행할 수 있다.
촬영을 위해 카메라(102)를 호출할 때, 상이한 위치에서 N개의 픽쳐를 신속하게 촬영하도록 카메라(102)에 지시하는 단계 - 각각의 픽쳐에서, 불투명한 부분에서의 폐색으로 인해 생성된 폐색된 영역이 존재하고, N은 1보다 큰 양의 정수임 - ,
폐색된 영역이 복원된 픽쳐를 획득하기 위해, 이미지 합성법을 사용하여 N개의 픽쳐를 처리하는 단계를 포함한다.
폐색된 영역은 촬영된 복수의 픽쳐에서 동일하지 않은 것으로 이해될 수 있다. 예를 들어, 영역 A는 제 1 픽쳐에서 폐색되지만, 제 2 픽쳐에서는 폐색되지 않는다. 따라서, 복수의 픽쳐를 합성하면, 폐색된 영역이 복원된 픽쳐를 출력할 수 있다. 이를 이해하기 위해, 도 5를 참조한다.
도 5에 도시된 바와 같이, 촬영된 2개의 픽쳐는 폐색된 영역을 갖지만, 픽쳐의 폐색된 영역은 상이하다. 폐색된 영역이 복원된 완전한 픽쳐는 2개의 픽쳐가 합성된 후에 획득된다.
구체적으로, 상이한 폐색된 영역을 갖는 복수의 픽쳐를 획득하기 위한 복수의 방법이 있다.
방법 1: 단말은 마이크로 모터를 더 포함할 수 있고, 적어도 하나의 카메라(102)가 존재한다.
선택적으로, 상이한 위치에서 N개의 픽쳐를 빠르게 촬영하도록 카메라(102)에 지시하는 단계를 수행할 때, 프로세서(180)는, 구체적으로,
적어도 하나의 카메라를 이동하도록 구동하기 위해 마이크로 모터에 지시하는 단계와,
적어도 하나의 카메라의 이동 동안에, 적어도 하나의 카메라가 스크린에 대한 상이한 위치에서 N개의 픽쳐를 신속하게 촬영하도록 지시하는 단계를 수행할 수 있다.
이미지 합성법을 사용하여 N개의 픽쳐를 처리하는 단계를 수행하는 경우, 프로세서(180)는, 구체적으로,
적어도 하나의 카메라가 이동할 때, 디스플레이 패널에 대한 카메라의 위치에 기초하여 N개의 픽쳐를 처리하는 단계를 수행할 수 있다.
촬영 동안, 프로세서(180)는, 마이크로 모터를 사용하여 카메라(102)를 이동시킴으로써, 이동 동안 다른 각도에서 픽쳐를 촬영하도록 구동한다는 것을 이해할 수 있다. 촬영이 완료된 후, 프로세서(180)는, 카메라(102)가 이동할 때, 디스플레이 패널(101)에 대한 카메라(102)의 위치에 기초하여 픽쳐를 합성하여 폐색된 영역이 복원된 픽쳐를 획득할 수 있다. 이를 이해하기 위해, 도 6(a) 및 도 6(b)를 참조한다.
도 6(a) 및 도 6(b)는 이동 동안에 하나의 카메라로 촬영한 픽쳐를 나타내는 개략도이다. 도 6(a)에서, 카메라에 의해 촬영된 원본 픽쳐에서 대상체의 일부는 불투명한 부분에 의한 폐색 때문에 가려지고, 폐색된 부분은 폐색된 영역이다. 카메라는 마이크로 모터의 구동 하에 이동한다. 픽셀 유닛이 교차되면, 실제 패널에 대한 카메라의 위치가 다르고 촬영 각도가 다르기 때문에, 카메라에 의해 촬영된 원본 픽쳐에서 대상체가 가려진 영역이 이전에 촬영된 픽쳐에서의 폐색된 영역과 상이하다. 따라서 서로 다른 폐색된 영역이 존재하는 복수의 픽쳐가 획득된다.
이러한 방식에서, 하나의 카메라만 있는 경우일지라도, 촬영된 복수의 픽쳐를 처리함으로써 폐색된 영역이 복원된 픽쳐를 획득할 수 있다.
카메라를 가리는 픽셀 유닛의 구조적 크기는 수십 마이크로미터이고, 따라서 카메라를 마이크로 거리만큼 단순히 푸시하는 것에 의해, 픽셀 절반과 등가인 거리가 교차될 수 있어, 폐색된 영역이 상이한 복수의 픽쳐를 획득할 수 있다.
카메라를 이동시키기 위해 구동하는 마이크로 모터는 렌즈 구동 모터이며 복수의 가능한 형태를 갖는다는 점에 유의해야 한다. 마이크로 모터는 카메라에 물리적으로 연결되어, 적어도 하나의 카메라를 구동하여 다양한 방향으로 이동시킨다. 도 7은 마이크로 모터를 카메라에 물리적으로 연결하는 조정 장치의 예를 도시한다. 조정 장치는 하우징(10), 카메라에 연결된 수직 슬라이더(30), 수직 조정 어셈블리(40), 카메라에 연결된 수평 슬라이더(50) 및 수평 조정 어셈블리(60)를 포함한다. 수평 슬라이더(50)와 수직 슬라이더(30)는 하우징(10)의 바닥면으로부터 차례로 중공 하우징(10) 내에 배치되고, 수직 조정 어셈블리(40)는 수직 슬라이더(30)에 연결되고, 수평 조정 어셈블리(60)는 수평 슬라이더(50)에 연결된다. 2개의 마이크로 모터(80)는 각각 수직 조정 어셈블리(40) 및 수평 조정 어셈블리(60)를 제어한다. 또한, 커버 플레이트(20)는 하우징(10)을 밀봉하고, 스트립형 제한 구멍(24)은 커버 플레이트(20)의 코너에 형성되며, 카메라(102)에 구성된 렌즈 장착 구멍(26)은 커버 플레이트(20)의 중앙에 제공된다.
방식 2: 대안적으로 적어도 2개의 카메라(102)가 존재할 수 있다. 도 8은 2개의 카메라로 촬영한 픽쳐를 나타내는 개략도이다. 디스플레이 뒤의 2개의 카메라의 위치가 서로 다르기 때문에 촬영 각도도 다르다. 따라서 2개의 카메라에 의해 촬영된 픽쳐에서 폐색된 영역도 다르다.
선택적으로, 이미지 합성법을 사용하여 N개의 픽쳐를 처리하는 단계를 수행하는 경우, 프로세서(180)는, 구체적으로,
적어도 2개의 카메라에 의해 촬영된 픽쳐에 기초하여 폐색된 영역을 보완함으로써 N개의 픽쳐를 처리하는 단계를 포함한다.
이러한 방식에서, 서로 다른 폐색된 영역이 존재하는 복수의 픽쳐는 또한 카메라의 이동없이 획득될 수 있고, 폐색된 영역이 복원된 픽쳐는 프로세싱에 의해 획득될 수 있다.
제 2 처리 방법은 픽쳐 데이터 처리이다.
선택적으로, 프로세서(180)는 메모리(120)에 저장된 동작 명령을 호출하여,
픽쳐 내의 불투명한 부분에 의한 폐색으로 생성된 폐색된 영역이 존재하는 픽쳐를 촬영하는 동작과,
폐색된 영역이 복원된 픽쳐를 획득하기 위해, 이미지 처리 알고리즘을 사용하여 픽쳐를 처리하는 동작을 수행할 수 있다.
이미지 처리 알고리즘을 사용하여 픽쳐를 처리하는 복수의 특정 방식이 존재한다.
방식 1: 선택적으로, 이미지 처리 알고리즘을 사용하여 픽쳐를 처리하는 단계를 수행하는 경우, 프로세서(180)는, 구체적으로,
픽쳐 내의 인접 픽셀의 정보를 이용하여 픽쳐 내의 폐색된 픽셀에 대해 보간 연산을 수행하는 단계를 포함한다.
예를 들어, 픽쳐 내의 픽셀이 폐색되고, 픽셀의 왼쪽에 있는 픽셀은 빨간색이고, 오른쪽에 있는 픽셀은 파란색이다. 그리고 보간 연산이 수행될 수 있다. 픽셀 좌우측의 픽셀 정보를 합성함으로써 획득된 픽셀 정보는 폐색된 픽셀의 정보로서 사용된다. 보간 연산은 대안적으로 다른 인접 픽셀의 정보를 합성함으로써 수행될 수 있음을 이해할 수 있다. 이것은 본 명세서에서 제한되지 않는다.
방식 2: 선택적으로, 이미지 처리 알고리즘을 사용하여 픽쳐를 처리하는 단계를 수행하는 경우, 프로세서(180)는, 구체적으로,
픽쳐 내의 폐색된 픽셀의 물리적 정보를 인식하는 단계와,
인식된 물리적 정보의 내용에 기초하여 픽쳐 내의 폐색된 픽셀의 정보를 복원하는 단계를 수행할 수 있다.
이를 이해하기 위해, 도 9(a) 및 도 9(b)를 참조한다. 도 9(a)는 폐색된 영역이 있는 촬영된 픽쳐를 나타낸다. 단말은 픽쳐 내의 폐색된 픽셀의 물리적 정보를 인식할 수 있는 데, 이는 사람의 얼굴에 있는 눈의 일부와 얼굴의 일부이다. 따라서, 폐색된 픽셀의 정보는 눈과 얼굴의 일반적인 구성에 기초하여 복원될 수 있고, 최종적으로 도 9(b)에 도시된 픽쳐가 획득된다.
제 3 처리 방법은 픽쳐 합성에 뒤이은 픽쳐 데이터 처리이다.
선택적으로, 프로세서(180)는 메모리(120)에 저장된 동작 명령을 호출하여,
촬영을 위해 카메라(102)를 호출할 때, 상이한 위치에서 N개의 픽쳐를 신속하게 촬영하도록 카메라(102)에 지시하는 동작 - 각각의 픽쳐에서, 불투명한 부분에 의한 폐색으로 인해 생성된, 폐색된 영역이 존재하고, N은 1보다 큰 양의 정수임 - 와,
폐색된 영역이 부분적으로 복원된 픽쳐를 획득하기 위해, 이미지 합성법을 사용하여 N개의 픽쳐를 처리하는 동작과,
픽쳐 내의 불투명한 부분에 의해 폐색으로 인해 생성된 폐색된 영역이 존재하는 픽쳐를 획득하는 동작, 및
폐색된 영역이 복원된 픽쳐를 획득하기 위해, 이미지 처리 알고리즘을 사용하여 픽쳐를 처리하는 동작을 수행할 수 있다.
서로 다른 폐색된 영역이 존재하는 복수의 픽쳐를 획득하는 특정 방식 및 이미지 처리 알고리즘을 사용하여 픽쳐를 처리하는 특정 방식은 제 1 처리 방법 및 제 2 처리 방법과 마찬가지의 방식이므로, 여기에 더 설명하지 않는다.
폐색된 영역이 복원되는 픽쳐를 획득하기 위해, 픽쳐가 합성되기 전에, 픽쳐에 대해 데이터 처리가 수행될 수 있거나, 전술한 처리 방법이 다른 방식과 결합될 수 있음을 이해할 수 있다. 이것은 본 명세서에서 제한되지 않는다.
전술한 실시예에서, 촬영된 픽쳐 내의 불투명한 부분에 의한 폐색으로 인해 생성된 폐색된 영역은 상이한 방식으로 복원될 수 있다. 또한, 픽셀 구조나 픽셀 설계를 변경함으로써, 제 1 영역(206) 내의 투명한 부분의 비율이 제 2 영역 내의 투명한 부분의 비율보다 커지게 된다. 이러한 방식에서, 촬영된 픽쳐 내의 폐색된 영역은 양이나 크기가 감소된다.
제 1 영역(206)에서 투명한 부분의 비율을 증가시키기 위한 두 가지 방법이 아래에 설명된다.
방법 1: PPI(Pixels Per Inch)의 양 감소
선택적으로, 픽셀 설계가 변경되어, 제 1 영역(206)의 PPI는 제 2 영역의 PPI의 1/M이고, 여기서, M은 1보다 크다.
이를 이해하기 위해, 도 10를 참조한다. 도 10에 도시된 바와 같이, 제 1 영역의 PPI는 제 2 영역의 PPI의 1/2로 감소된다. 즉, 제 1 영역(206)의 픽셀 유닛은 절반으로 감소된다. 따라서, 제 1 영역에서 픽셀 유닛들 사이의 투명한 부분이 크게 증가된다. 도 10은 단지 PPI 감소를 나타내는 개략도라는 점을 유의해야 한다. 실제 적용에서, 일반적으로, 이미지의 정상적인 디스플레이를 보장하기 위해 3개의 인접한 RGB 픽셀이 제거된다.
선택적으로, 제 1 영역(206)의 PPI가 감소된 후, 데이터를 디스플레이할 수 있는 제 1 영역 내의 픽셀 유닛은 제 2 영역에 대해 대응적으로 감소된다. 이미지의 디스플레이 효과를 보장하기 위해, 프로세서(180)는,
제 1 영역(206) 내의 M개의 인접 픽셀의 디스플레이 데이터를 디스플레이를 위한 하나의 픽셀의 디스플레이 데이터로 압축하는 단계를 추가로 수행할 수 있다.
PPI 감소의 비율에 따라 디스플레이 데이터 압축의 비율이 변한다는 것을 이해할 수 있다. 도 11에 도시된 바와 같이, 예를 들어, 제 1 영역(206)의 PPI는 다른 영역의 PPI의 1/2이다. 그러므로, 디스플레이될 이미지 내의 6개의 픽셀의 디스플레이 데이터는 제 1 영역(206)의 대응하는 3개의 픽셀 유닛으로 압축되어야 하고, 여기서, 디스플레이될 이미지의 6개의 픽셀 내의 R 색상의 디스플레이 데이터는 R1 및 R2이고, G 색상의 디스플레이 데이터는 G1 및 G2이며, B 색상의 디스플레이 데이터는 B1 및 B2이다. 이 경우, 제 1 영역(206)의 3개의 대응하는 픽셀 유닛의 디스플레이 데이터 R3, G3 및 B3은 계산식 R3=(R1+R2)/2, G3=(G1+G2)/2 및 B3=(B1+B2)/2를 통해 획득될 수 있다.
선택적으로, 제 1 영역(206)의 PPI가 감소된 후, 제 1 영역(206)의 전체가 제 2 영역에 비해 어두워진다. 이미지의 디스플레이 효과를 향상시키기 위해, 프로세서(180)는,
제 1 영역과 제 2 영역의 밝기 곡선 사이의 유사성이 사전 설정값보다 커지도록 제 1 영역(206)의 전체 밝기를 증가시키는 단계를 추가로 수행할 수 있다.
구체적으로, 프로세서(180)는 디스플레이 패널(101)이 제 1 영역(206)의 픽셀의 DTFT의 폭 대 길이 비율(Ipixel-Vdata 곡선 제어)을 적절히 조정하도록 지시하여, 동일한 Vdata 하에서 픽셀의 출력 전류를 증가시키고, 픽셀 영역(204) 내의 제 1 영역(206)의 밝기 곡선과 제 2 영역의 밝기 곡선 사이의 유사성이 사전 설정값보다 커지도록, 제 1 영역의 전체 밝기를 비례적으로 증가시킬 수 있다.
대안적으로, 제 1 영역(206)의 전체 밝기는 다른 방식으로, 예를 들어, 보다 정확한 조정을 수행하기 위해 외부 보상을 사용하거나, 디스플레이 데이터가 압축될 때, 디스플레이 데이터의 색상의 밝기를 증가시키기 위해 보정을 행하는 방식으로 증가될 수 있음을 이해할 수 있다. 이것은 본 명세서에서 제한되지 않는다.
방법 2: 회로 구조 변경
선택적으로, 제 2 영역과는 상이한 픽셀 회로가 제 1 영역(206)에 사용된다. 제 1 영역(206)에 사용된 픽셀 회로의 부품은 제 2 영역에 사용된 픽셀 회로의 부품보다 더 적다는 것을 이해할 수 있다. 픽셀 회로가 단순화되었기 때문에, 장치 및 연결 와이어의 수량이 감소된다. 따라서, 카메라에 대해 더 많은 투명한 부분이 획득된다.
픽셀 회로를 단순화하는 복수의 특정 방식이 존재하며, 그 중 하나가 일 예로서 설명된다. 내부 보상 없이 픽셀 회로가 제 1 영역에 사용된다.
일반적으로, 내부 보상이 있는 픽셀 회로, 예를 들어, 7T1C 회로나 더 많은 박막 트랜지스터를 구비한 회로가 디스플레이 패널(101)의 픽셀 영역(204)에 사용되는 것임을 유의해야 한다. 7T1C 회로의 특정 회로 구조가 도 12에 도시된다. 즉, 7개의 TFT(Thin Film Transistor)와 1개의 커패시터가 하나의 픽셀 유닛을 구동하는 데, 여기서, T1 내지 T7은 회로 내의 7개의 TFT이다.
반대로, 내부 보상이 없는 픽셀 회로는 일반적으로 2T1C 회로이다. 특정 회로 구조가 도 13에 도시된다. 즉, 2개의 TFT 및 1개의 커패시터는 하나의 픽셀 유닛을 구동하는 데, 여기서, 스위칭 TFT와 구동 TFT는 회로 내의 2개의 TFT이다.
예를 들어, 2T1C 회로를 사용하여 제 1 영역에서 내부 보상 없이 픽셀 회로를 사용하면, 픽셀 회로의 구조를 단순화하고 장치 및 연결 와이어의 양을 감소시켜, 제 1 영역(206)의 투명한 부분의 비율을 증가시킨다.
선택적으로, 내부 보상이 없는 픽셀 회로가 제 1 영역(206)에 사용되기 때문에, 제 2 영역의 디스플레이와 비교하여 색수차가 있을 수 있다. 따라서, 프로세서(180)는,
제 1 영역(206)의 픽셀 유닛들에 대해 외부 보상을 수행하는 단계를 수행하도록 추가로 구성될 수 있다.
구체적으로 외부 보상의 주요 동작 단계는,
1. 디스플레이 패널의 각 그레이 스케일 및 색상 상태에서 2T1C 영역의 디스플레이 밝기 및 색상을 얻는 단계와,
2. 이상값(ideal value)에서 작은 영역의 각각이나 포인트의 각각에 의해 디스플레이되는 밝기 편차를 계산하는 단계와,
3. 이러한 디스플레이 상태에서 2T1C 영역 내의 각 픽셀의 데이터 전압에 필요한 보정을 편차에 기초하여 계산하는 단계, 및
4. 보정을, 룩업 테이블로서, 통합된 IC(Integrated Circuit)에 기록하는 단계 - 실제 디스플레이에서, IC는 다른 조건에 기초하여 보정량을 선택하고, 보정량을 출력 감마 전압(output Gamma voltage)에 중첩시킴 -.
제 1 영역과 제 2 영역 사이의 색수차는 제 1 영역(206)의 픽셀 유닛을 외부적으로 보상함으로써 보정된다. 이러한 방식에서, 단순화된 픽셀 회로일지라도 비교적 양호한 디스플레이 효과가 얻어질 수 있다.
전술한 실시예에서, 제 1 영역(206) 내의 투명한 부분의 비율은 다른 방식으로 증가된다. 또한, 카메라가 촬영을 수행할 때, 카메라 전면의 디스플레이 패널에 의해 방출된 광은 촬영 품질을 손상시킬 수 있다. 이러한 손상을 피하기 위해, 촬영 동안 블랙 프레임이 삽입될 수 있다.
선택적으로, 프로세서(180)는,
카메라가 촬영을 요청할 때, 디스플레이 패널 내에 블랙 프레임을 삽입하는 단계를 수행하도록 추가로 구성된다.
또한, 블랙 프레임 삽입을 위한 정확한 타이밍을 보장하기 위해, 카메라가 촬영을 위한 호출을 받아 디스플레이 패널 내에 블랙 프레임을 삽입하는 단계를 수행할 때, 프로세서(180)는, 구체적으로,
촬영 지시가 수신될 때, 블랙 프레임 삽입 동작을 시작하는 단계와,
블랙 프레임 삽입 동작이 완료된 것으로 결정되었을 때, 카메라가 촬영을 시작하도록 지시하는 단계, 및
촬영 완료 명령이 수신되었을 때, 스크린을 복구하는 단계를 수행할 수 있다.
블랙 프레임은 풀 스크린 블랙 프레임이거나, 제 1 영역(206)을 블랙 스크린으로 전환하는 블랙 프레임일 수 있음을 이해할 수 있다. 이것은 본 명세서에서 제한되지 않는다.
디스플레이 패널의 응답 시간은 마이크로 초 단위로 매우 짧고, 현재 카메라의 일반적인 노출 시간은 한 프레임의 지속 시간보다 짧다. 따라서, 스크린 디스플레이를 보장하고 촬영에 영향을 미치지 않도록, 카메라 이미지 획득과 블랙 프레임 리프레쉬의 동기화만이 필요해진다.
본 출원의 실시예에서 카메라가 제공된 단말은 위에서 설명되었다. 본 출원의 실시예에서 그의 촬영 방법이 아래에 설명된다. 촬영 방법은 본 출원의 실시예에서 카메라가 제공된 전술한 단말에 기초한 것임이 이해될 수 있다. 단말은 디스플레이 패널(101) 및 적어도 하나의 카메라(102)를 포함한다. 적어도 하나의 카메라(102)는 디스플레이 패널(101) 뒤에 위치하고, 디스플레이 패널(101) 상의 적어도 하나의 카메라(102)의 위치에 대응하는 영역은 제 1 영역(206)이며, 디스플레이 패널(101) 상의 제 1 영역(206) 이외의 영역은 제 2 영역이다. 제 1 영역(206)의 각 픽셀 유닛(301)은 투명한 부분(302) 및 불투명한 부분(303)을 포함하고, 제 2 영역의 각 픽셀 유닛은 투명한 부분 및 불투명한 부분을 포함하며, 제 1 영역 내의 투명한 부분의 비율은 제 2 영역 내의 투명한 부분의 비율보다 크다. 제 1 영역 내의 투명한 부분의 비율을 제 2 영역 내의 투명한 부분의 비율보다 크게 만드는 2 가지 특정 방법이 있음을 이해할 수 있다. 하나는 제 1 영역의 PPI를 감소시키는 것이고, 다른 하나는 제 1 영역의 픽셀 구조 설계를 단순화하는 것이다. 다음은 이들 두 경우의 촬영 방법을 설명한다.
1. 제 1 영역의 PPI를 감소시켜, 제 1 영역 내의 투명한 부분의 비율을 제 2 영역 내의 투명한 부분의 비율보다 크게 한다.
도 14는 본 출원의 실시예에 있어서의 촬영 방법의 일 실시예를 도시한다.
단계 1401: 디스플레이 패널에 대해 다른 위치에서 카메라에 의해 빠르게 촬영된 N개의 픽쳐를 획득한다.
N개의 픽쳐 각각에서, 제 1 영역 내의 불투명한 부분에 의한 폐색으로 인해 생성된 폐색된 영역이 존재하고, N은 1보다 큰 양의 정수라는 점에 유의해야 한다.
N개의 픽쳐를 얻는 다른 방법이 존재한다는 것을 이해할 수 있다. 예를 들어, 단말은 마이크로 모터를 포함할 수 있고, 마이크로 모터는, 촬영 동안, 적어도 하나의 카메라를 이동시키기 위해 구동되며, 적어도 하나의 카메라가 이동하는 동안, 단말은 디스플레이 패널에 대해 상이한 위치에서 N개의 픽쳐를 신속하게 촬영하도록 적어도 하나의 카메라를 제어할 수 있다. 대안적으로, 단말은 상이한 위치에 적어도 2개의 카메라가 제공되고, 이 경우, 적어도 2개의 카메라가 촬영을 수행할 때, N개의 픽쳐가 획득될 수 있다.
단계 1402: 폐색된 영역이 완전히 또는 부분적으로 복원된 픽쳐를 획득하기 위해, 이미지 합성법을 사용하여 N개의 픽쳐를 처리한다.
N개의 픽쳐에 대한 이미지 합성 처리를 수행하는 특정 방법은 N개의 픽쳐를 획득하는 방식에 따라 다를 수 있음을 이해할 수 있다. 마이크로 모터에 의해 구동되는 적어도 하나의 카메라의 이동 동안에 N개의 픽쳐가 촬영되면, 적어도 하나의 카메라가 이동할 때, 디스플레이 패널에 대한 카메라의 위치에 기초하여 N개의 픽쳐가 처리될 수 있고, N개의 픽쳐가 적어도 2개의 카메라에 의해 상이한 위치에서 촬영되면, 적어도 2개의 카메라에 의해 촬영된 픽쳐에 기초하여 폐색된 영역을 보완함으로써 N개의 픽쳐가 처리될 수 있다.
이미지 합성법을 사용하여 획득된 N개의 픽쳐를 처리함으로써, 도 5에 도시된 바와 같이, 폐색된 영역이 완전히 복원된 픽쳐를 획득할 수 있다는 점을 유의해야 한다. 처리된 픽쳐에는 여전히 일부 폐색된 영역이 포함되어 있을 수도 있다. 즉, 폐색된 영역이 부분적으로 복원된 픽쳐가 획득된다.
단계 1403: 이미지 처리 알고리즘을 사용하는 것에 의해, 폐색된 영역이 부분적으로 복원된 픽쳐를 처리하여, 폐색된 영역이 완전히 복원된 픽쳐를 획득한다.
폐색된 영역이 부분적으로 복원된 획득 픽쳐에 대해, 이미지 처리 알고리즘은 폐색된 영역이 완전히 복원된 픽쳐를 획득하기 위해 픽쳐를 처리하도록 사용될 수 있다.
이미지 처리 알고리즘을 사용하여, 폐색된 영역이 부분적으로 복원된 픽쳐를 처리하는 방법은 여러 가지가 존재한다.
폐색된 픽셀의 인접 픽셀의 정보를 사용하여, 폐색된 영역이 부분적으로 복원된 픽쳐 내의 폐색된 픽셀에 대한 보간 동작이 수행될 수 있다. 예를 들어, 픽쳐 내의 픽셀이 폐색되고, 픽셀의 왼쪽에 있는 픽셀은 빨간색이고, 오른쪽에 있는 픽셀은 파란색이다. 그러면, 보간 연산이 수행될 수 있다. 픽셀 좌우측의 픽셀 정보를 합성함으로써 획득된 픽셀 정보는 폐색된 픽셀의 정보로서 사용된다. 보간 연산은 대안적으로 다른 인접 픽셀의 정보를 합성함으로써 수행될 수 있음을 이해할 수 있다. 이것은 본 명세서에서 제한되지 않는다.
대안적으로, 폐색된 영역이 부분적으로 복원된 픽쳐 내의 폐색된 픽셀의 물리적 정보가 인식될 수 있고, 폐색된 영역이 부분적으로 복원된 픽쳐 내의 폐색된 픽셀의 정보는 인식된 물리적 정보의 내용에 기초하여 복원된다. 예를 들어,도 9(a)는 폐색된 영역이 포함된 픽쳐이다. 단말은 폐색된 픽셀의 물리적 정보를 인식할 수 있는 데, 이는 사람의 얼굴에 있는 눈의 일부와 얼굴의 일부이다. 따라서, 폐색된 픽셀의 정보는 눈과 얼굴의 일반적인 구성에 기초하여 복원될 수 있고, 최종적으로 도 9(b)에 도시된 픽쳐가 획득된다.
단계 1401 내지 단계 1403은, 단말이 촬영을 수행할 때, 수행될 수 있음을 이해할 수 있다. 단계 1403은, 단계 1402에서 획득된 픽쳐가 폐색된 영역이 부분적으로 복원된 픽쳐일 때에만 수행되고, 그렇지 않으면 수행되지 않을 수 있다.
단계 1404: 제 1 영역 내의 M개의 인접 픽셀의 디스플레이 데이터를 디스플레이를 위한 하나의 픽셀의 디스플레이 데이터로 압축한다.
제 1 영역의 PPI가 감소된 후, 제 1 영역의 픽셀 유닛이 감소된다는 점을 유의해야 한다. 제 1 영역의 PPI가 제 2 영역의 PPI의 1/M로 감소되면, 제 1 영역의 픽셀 유닛도 또한 제 2 영역의 픽셀 유닛의 1/M로 감소된다. 이를 이해하기 위해, 도 10를 참조한다. 도 10에 도시된 바와 같이, 제 1 영역의 PPI는 제 2 영역의 PPI의 1/2로 감소된다. 즉, 제 1 영역(206)의 픽셀 유닛은 절반으로 감소된다. 따라서, 제 1 영역에서 픽셀 유닛들 사이의 투명한 부분이 크게 증가된다. 도 10은 단지 PPI 감소의 개략도라는 점을 유의해야 한다. 실제 적용에서, 일반적으로, 이미지의 정상적인 디스플레이를 보장하기 위해 3개의 인접한 RGB 픽셀이 제거된다.
따라서, PPI가 감소된 후에, 디스플레이 데이터 압축의 비율이 PPI 감소의 비율에 따라 변한다. 도 11에 도시된 바와 같이, 예를 들어, 제 1 영역(206)의 PPI는 다른 영역의 PPI의 1/2이다. 그러므로, 디스플레이될 이미지 내의 6개의 픽셀의 디스플레이 데이터는 제 1 영역(206)의 3개의 대응하는 픽셀 유닛으로 압축되어야 하고, 여기서, 디스플레이될 이미지의 6개의 픽셀 내의 R 색상의 디스플레이 데이터는 R1 및 R2이고, G 색상의 디스플레이 데이터는 G1 및 G2이며, B 색상의 디스플레이 데이터는 B1 및 B2이다. 이 경우, 제 1 영역(206)의 3개의 대응하는 픽셀 유닛의 표시 데이터 R3, G3 및 B3은 계산식 R3=(R1+R2)/2, G3=(G1+G2)/2 및 B3=(B1+B2)/2를 통해 획득될 수 있다.
단계 1405: 제 1 영역의 밝기 곡선과 제 2 영역의 밝기 곡선 사이의 유사성이 사전 설정값보다 커지도록 제 1 영역의 전체 밝기를 증가시킨다.
제 1 영역(206)의 PPI가 감소된 후에, 픽셀 유닛이 방출하는 광이 감소되기 때문에, 제 1 영역(206) 전체가 제 2 영역에 비해 어두워진다는 점에 유의해야 한다. 따라서, 단계 1405는 이미지의 디스플레이 효과를 향상시키기 위해 수행될 수 있다.
제 1 영역의 전체 밝기를 증가시키는 복수의 특정 방법이 존재한다. 예를 들어, 하나의 가능한 방법은 제 1 영역(206)의 픽셀의 DTFT의 폭 대 길이 비율(Ipixel-Vdata 곡선 제어)을 적절히 조정하여, 동일한 Vdata 하에서 픽셀의 출력 전류를 증가시키고 비례적으로 픽셀 영역(204) 내의 제 1 영역(206)의 밝기 곡선과 제 2 영역의 밝기 곡선 사이의 유사성이 사전 설정값보다 더 커지도록 제 1 영역의 전체 밝기를 증가시킨다. 대안적으로, 외부 보상을 사용하여 보다 정밀한 조정이 수행될 수 있거나, 디스플레이 데이터가 압축될 때, 디스플레이 데이터의 색상의 밝기를 증가시키도록 보정이 이루어진다. 이것은 본 명세서에서 제한되지 않는다.
단계 1404 및 단계 1405는, 단말의 전원이 켜질 때, 수행될 수 있거나 시스템에 유선 연결될 수 있다는 것을 이해할 수 있다. 이것은 본 명세서에서 제한되지 않는다.
단계 1406: 촬영 동안, 블랙 프레임을 디스플레이 패널에 삽입한다.
카메라가 디스플레이 패널 뒤에 위치되고, 감광성 촬영을 위해 디스플레이 패널의 투명한 부분을 통해 외부 광이 획득되므로 카메라 앞에 위치한 디스플레이 패널의 제 1 영역에 의해 방출된 광이 카메라의 외부 광 획득에 영향을 미친다는 것을 이해할 수 있다. 따라서, 보다 나은 촬영 효과를 얻기 위해, 촬영 동안 디스플레이 패널 내에 블랙 프레임이 삽입될 수 있다.
블랙 프레임 삽입 및 촬영의 일관된 타이밍을 보장하기 위해, 촬영 및 블랙 프레임 삽입이 시간 동기화되도록 제어될 수 있다. 예를 들어, 다음 단계들, 즉, 촬영 명령이 수신될 때, 블랙 프레임 삽입 동작을 시작하는 단계와, 블랙 프레임 삽입 동작이 완료된 것으로 결정될 때, 촬영을 시작하는 단계, 및 촬영 완료 명령이 수신될 때, 스크린을 복구하는 단계가 수행될 수 있다.
이 단계는, 촬영 동안, 제 1 영역에 의해 방출된 광에 의한 외부 광의 획득에의 영향을 피하기 위한 것임을 이해할 수 있다. 따라서, 블랙 프레임은 단지 제 1 영역을 블랙 스크린으로 전환하는 블랙 프레임일 수 있거나, 풀 스크린 블랙 프레임일 수도 있다. 이것은 본 명세서에서 제한되지 않는다.
본 출원의 이러한 실시예에서, 제 1 영역의 PPI는 감소되어, 제 1 영역 내의 투명한 부분의 비율이 제 2 영역 내의 투명한 부분의 비율보다 커지므로, 산업 디자인 효과 및 스크린의 전체적인 디스플레이에 영향을 미치지 않으면서, 카메라의 정상적인 촬영을 보장하고 디스플레이 영역에의 전면 카메라의 통합을 구현한다. 획득된 N개의 픽쳐를 처리하기 위해 이미지 합성법을 사용하면, 촬영된 픽쳐의 무결성을 보장한다. 합성된 픽쳐가 폐색된 영역이 부분적으로 복원된 픽쳐인 경우, 픽쳐는 이미지 처리 알고리즘을 사용하여 추가로 처리되어, 폐색된 영역이 완전히 복원된 픽쳐를 획득할 수 있으며, 그에 따라 픽쳐 효과를 더 보장할 수 있다. 또한, 제 1 영역 내의 M개의 인접 픽셀의 디스플레이 데이터는 디스플레이를 위해 하나의 픽셀의 디스플레이 데이터로 압축되고, 제 1 영역의 전체 밝기는 증가된다. 이러한 방식에서는, 촬영된 픽쳐의 효과가 보장되고, 디스플레이 패널이 영향을 받지 않고 이미지를 디스플레이할 수 있어, 상대적으로 양호한 디스플레이 효과가 획득된다. 촬영 동안, 블랙 프레임이 디스플레이 패널에 삽입되어, 제 1 영역에서 방출된 광에 의한 촬영 효과에 영향을 미치지 않고, 그로 인해 촬영 품질이 향상된다.
2. 제 1 영역 내의 투명한 부분의 비율을 제 2 영역 내의 투명한 부분의 비율보다 크게 하여 픽셀 구조를 단순화한다.
제 1 영역에서, 2T1C 회로와 같은 내부 보상이 없는 픽셀 회로를 사용하고, 제 2 영역에서, 7T1C 회로와 같은 내부 보상이 있는 픽셀 회로를 사용함으로써, 픽셀 구조가 단순화될 수 있음을 이해할 수 있다.
도 15는 본 출원의 실시예에 있어서의 촬영 방법의 다른 실시예를 도시한다.
단계 1501: 디스플레이 패널에 대해 다른 위치에서 카메라에 의해 빠르게 촬영된 N개의 픽쳐를 획득한다.
단계 1502: 폐색된 영역이 완전히 또는 부분적으로 복원된 픽쳐를 획득하기 위해, 이미지 합성법을 사용하여 N개의 픽쳐를 처리한다.
단계 1503: 이미지 처리 알고리즘을 사용하여, 폐색된 영역이 부분적으로 복원된 픽쳐를 처리함으로써, 폐색된 영역이 복원된 픽쳐를 획득한다.
단계 1501 내지 단계 1503은 단계 1401 내지 단계 1403과 마찬가지이므로, 여기에 다시 설명하지 않는다.
단계 1504: 촬영 동안, 블랙 프레임을 디스플레이 패널에 삽입한다.
단계 1504는 단계 1406과 마찬가지이므로, 여기에 다시 설명하지 않는다.
단계 1505: 제 1 영역의 픽셀 유닛에 대해 외부 보상을 수행한다.
내부 보상이 없는 픽셀 회로가 제 1 영역에 사용된 후, 상이한 픽셀 회로 구조 때문에 제 1 영역과 제 2 영역 사이의 색수차가 발생할 수 있음을 이해할 수 있다. 따라서, 제 1 영역의 픽셀 유닛은 외부적으로 보상될 수 있다. 특히 외부 보상 동작의 주요 단계는,
1. 디스플레이 패널의 각 그레이 스케일 및 각 색상 상태에서 2T1C 영역의 디스플레이 밝기 및 색상을 얻는 단계와,
2. 이상값에서 작은 영역의 각각이나 포인트의 각각에 의해 표시되는 밝기 편차를 계산하는 단계와,
3. 이러한 디스플레이 상태에서 2T1C 영역 내의 각 픽셀의 데이터 전압에 필요한 보정을, 편차에 기초하여, 계산하는 단계, 및
4. 보정을, 룩업 테이블로서, IC(Integrated Circuit)에 기록하는 단계 - 실제 디스플레이에서, IC는 다른 조건에 기초하여 보정량을 선택하고, 보정량을 출력 감마 전압에 중첩시킴 -.
제 1 영역과 제 2 영역 사이의 색수차는 제 1 영역(206)의 픽셀 유닛을 외부적으로 보상함으로써 보정된다. 이러한 방식에서, 단순화된 픽셀 회로일지라도 비교적 양호한 디스플레이 효과가 얻어질 수 있다.
본 출원의 이러한 실시예에서, 제 1 영역 내의 픽셀 유닛의 구조는 제 1 영역에서의 투명한 부분의 비율이 제 2 영역에서의 투명한 부분의 비율보다 커지도록 단순화된다. 이것은 카메라의 정상적인 촬영을 보장하고, 산업 디자인 효과와 스크린의 전체적인 디스플레이에 영향을 미치지 않으면서 전면 카메라를 디스플레이 영역 내에 통합한다.
제 1 영역 내의 투명한 부분의 비율을 제 2 영역 내의 투명한 부분의 비율보다 커지게 만드는 상술한 2가지 방법은 단지 예들에 불과하다는 것을 이해할 수 있다. 실제 적용에서, 다른 방법, 예를 들어, 전술한 2가지 방법의 조합은 제 1 영역 내의 투명한 부분의 비율을 제 2 영역 내의 투명한 부분의 비율보다 커지게 하기 위해 사용될 수 있다. 이것은 본 명세서에서 제한되지 않는다.
본 출원의 명세서, 특허 청구 범위 및 첨부 도면에서, 용어 "제 1", "제 2", "제 3", "제 4" 등은 (존재하는 경우) 유사한 물체를 구별하도록 의도되었지만, 반드시 특정한 순서나 수순을 나타내는 것은 아니다. 이러한 방식으로 지칭되는 데이터는 적절한 환경에서 상호 교환 가능하므로, 여기에 설명된 실시예는 여기에 도시되거나 설명된 순서와 다른 순서로 구현될 수도 있음을 이해해야 한다. 또한, 용어 "포함하다", "제공된" 및 이의 임의의 다른 변형은 비배타적인 포함을 포함하는 것을 의미한다. 예를 들어, 단계나 유닛의 목록을 포함하는 처리, 방법, 시스템, 제품 또는 장치는 반드시 해당 단계 또는 유닛으로 제한되는 것이 아니라, 그러한 프로세스, 방법, 시스템, 제품 또는 장치에 명시적으로 나열되거나 고유하지 않은 다른 단계나 유닛을 포함할 수 있다.

Claims (17)

  1. 카메라가 제공된 단말로서,
    디스플레이 패널 및 적어도 하나의 카메라를 포함하되,
    상기 적어도 하나의 카메라는, 상기 디스플레이 패널 뒤에 위치되고, 상기 디스플레이 패널상의 상기 적어도 하나의 카메라의 위치에 대응하는 영역은, 제 1 영역이고, 상기 디스플레이 패널상의 제 1 영역 이외의 영역은, 제 2 영역이며, 상기 제 1 영역의 각 픽셀 유닛은, 투명한 부분과 불투명한 부분을 포함하고, 상기 제 2 영역의 각 픽셀 유닛은, 투명한 부분과 불투명한 부분을 포함하며, 상기 제 1 영역에서의 투명한 부분의 비율은 상기 제 2 영역에서의 투명한 부분의 비율보다 큰,
    단말.
  2. 제 1 항에 있어서,
    상기 투명한 부분은, 투명 유리나 투명 플라스틱 필름이고, 상기 불투명한 부분은, 상기 픽셀 유닛에 배치되고 박막 트랜지스터 소자와 금속 와이어가 제공된 부분을 포함하는,
    단말.
  3. 제 1 항에 있어서,
    상기 단말은, 마이크로 모터를 더 포함하고, 또한 적어도 하나의 카메라가 존재하며,
    상기 마이크로 모터는, 상기 카메라에 물리적으로 연결되고, 상기 적어도 하나의 카메라를 구동하여 이동하도록 구성되는,
    단말.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제 1 영역의 PPI(Pixels Per Inch)의 양은, 상기 제 2 영역의 PPI의 1/M이고, 여기서, M은 1보다 큰,
    단말.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    내부 보상이 없는 픽셀 회로가 상기 제 1 영역에 사용되고, 내부 보상이 있는 픽셀 회로가 상기 제 2 영역에 사용되는,
    단말.
  6. 카메라가 제공된 단말에 적용할 수 있는 촬영 방법으로서,
    상기 단말은, 디스플레이 패널과 적어도 하나의 카메라를 포함하되, 상기 적어도 하나의 카메라는, 상기 디스플레이 패널 뒤에 위치되고, 상기 디스플레이 패널상의 상기 적어도 하나의 카메라의 위치에 대응하는 영역은, 제 1 영역이고, 상기 디스플레이 패널상의 제 1 영역 이외의 영역은, 제 2 영역이며, 상기 제 1 영역의 각 픽셀 유닛은, 투명한 부분과 불투명한 부분을 포함하고, 상기 제 2 영역의 각 픽셀 유닛은 투명한 부분과 불투명한 부분을 포함하며, 또한 상기 제 1 영역에서의 투명한 부분의 비율은 상기 제 2 영역에서의 투명한 부분의 비율보다 크며,
    상기 방법은,
    상기 디스플레이 패널에 대해 상이한 위치에서 상기 카메라에 의해 신속하게 촬영된 N개의 픽쳐를 획득하는 단계 - 여기서, 상기 N개의 픽쳐 각각에서, 상기 제 1 영역의 불투명한 부분에서의 폐색으로 인해 생성된 폐색된 영역(occluded area)이 존재하며, N은 1보다 큰 양의 정수임 - 와,
    상기 폐색된 영역이 완전히 또는 부분적으로 복원된 픽쳐를 획득하기 위해, 이미지 합성법을 사용하여 상기 N개의 픽쳐를 처리하는 단계
    를 포함하는 촬영 방법.
  7. 제 6 항에 있어서,
    적어도 하나의 카메라가 존재하고, 상기 단말은, 마이크로 모터를 더 포함하고,
    상기 디스플레이 패널에 대해 상이한 위치에서 상기 카메라에 의해 신속하게 촬영된 상기 N개의 픽쳐를 획득하는 단계는,
    촬영 동안, 상기 적어도 하나의 카메라를 이동시키기 위해, 마이크로 모터에 의해, 구동되는 단계와,
    상기 적어도 하나의 카메라의 이동 동안에, 상기 디스플레이 패널에 대한 상이한 위치에서 상기 N개의 픽쳐를 신속하게 촬영하도록 상기 적어도 하나의 카메라를 제어하는 단계
    를 포함하되, 상기 이미지 합성법을 사용하여 상기 N개의 픽쳐를 처리하는 단계는,
    상기 적어도 하나의 카메라가 이동할 때, 상기 디스플레이 패널에 대한 상기 카메라의 위치에 기초하여 상기 N개의 픽쳐를 처리하는 단계를 포함하는,
    방법.
  8. 제 6 항에 있어서,
    적어도 2개의 카메라가 존재하며, 또한
    상기 이미지 합성법을 사용하여 상기 N개의 픽쳐를 처리하는 단계는,
    상기 적어도 2개의 카메라에 의해 촬영된 픽쳐에 기초하여 상기 폐색된 영역을 보완함으로써 상기 N개의 픽쳐를 처리하는 단계를 포함하는,
    방법.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 폐색된 영역이 부분적으로 복원된 상기 픽쳐가 획득될 때, 상기 방법은,
    상기 폐색된 영역이 완전히 복원된 픽쳐를 획득하기 위해, 이미지 처리 알고리즘을 사용하여, 상기 폐색된 영역이 부분적으로 복원된 픽쳐를 처리하는 단계
    를 더 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 이미지 처리 알고리즘을 사용하여, 상기 폐색된 영역이 부분적으로 복원된 픽쳐를 처리하는 단계는,
    폐색된 픽셀의 인접 픽셀의 정보를 이용하여, 상기 폐색된 영역이 부분적으로 복원된 상기 픽쳐 내의 상기 폐색된 픽셀에 대해 보간 연산을 수행하는 단계를 포함하는,
    방법.
  11. 제 9 항에 있어서,
    상기 이미지 처리 알고리즘을 사용하여, 상기 폐색된 영역이 부분적으로 복원된 픽쳐를 처리하는 단계는,
    상기 폐색된 영역이 부분적으로 복원된 상기 픽쳐 내의 폐색된 픽셀의 물리적 정보를 인식하는 단계와,
    상기 인식된 물리적 정보의 내용에 기초하여, 상기 폐색된 영역이 부분적으로 복원된 상기 픽쳐 내의 상기 폐색된 픽셀의 정보를 복원하는 단계를 포함하는,
    방법.
  12. 제 6 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 제 1 영역의 PPI는 상기 제 2 영역의 PPI의 1/M이고, 여기서, 상기 M은 1보다 크고,
    상기 방법은,
    상기 제 1 영역에서 M개의 인접한 픽셀의 디스플레이 데이터를 디스플레이에 대한 하나의 픽셀의 디스플레이 데이터내로 압축하는 단계
    를 더 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 제 1 영역의 밝기 곡선과 상기 제 2 영역의 밝기 곡선 사이의 유사성이 사전 설정값보다 커지도록 상기 제 1 영역의 전체 밝기를 증가시키는 단계
    를 더 포함하는 방법.
  14. 제 6 항 내지 제 13 항 중 어느 한 항에 있어서,
    내부 보상이 없는 픽셀 회로가 상기 제 1 영역에 사용되고,
    상기 방법은,
    상기 제 1 영역의 상기 픽셀 유닛에 대해 외부 보상을 수행하는 단계
    를 더 포함하는 방법.
  15. 제 6 항 내지 제 14 항 중 어느 한 항에 있어서,
    촬영 동안, 상기 디스플레이 패널에 블랙 프레임을 삽입하는 단계
    를 더 포함하는 방법.
  16. 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 판독 가능 저장 매체가 컴퓨터 상에서 실행될 때, 상기 컴퓨터는, 제 6 항 내지 제 15 항 중 어느 한 항에 따른 방법을 수행할 수 있게 하는 명령어를 포함하는,
    컴퓨터 판독 가능 저장 매체.
  17. 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 때, 상기 컴퓨터로 하여금 제 6 항 내지 제 15 항 중 어느 한 항에 따른 방법을 수행할 수 있게 하는 명령어를 포함하는, 컴퓨터 프로그램 제품.
KR1020207000137A 2017-07-07 2017-07-07 카메라가 제공된 단말 및 그의 촬영 방법 KR102192809B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/092250 WO2019006749A1 (zh) 2017-07-07 2017-07-07 一种具有摄像头的终端和拍摄方法

Publications (2)

Publication Number Publication Date
KR20200014408A true KR20200014408A (ko) 2020-02-10
KR102192809B1 KR102192809B1 (ko) 2020-12-18

Family

ID=64950530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000137A KR102192809B1 (ko) 2017-07-07 2017-07-07 카메라가 제공된 단말 및 그의 촬영 방법

Country Status (6)

Country Link
US (1) US11082547B2 (ko)
EP (1) EP3624434B1 (ko)
JP (1) JP6892549B2 (ko)
KR (1) KR102192809B1 (ko)
CN (1) CN110024366B (ko)
WO (1) WO2019006749A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220079382A (ko) * 2020-12-04 2022-06-13 (주)딥인사이트 전자 장치
WO2022220423A1 (ko) * 2021-04-16 2022-10-20 삼성전자 주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
WO2022220530A1 (ko) * 2021-04-12 2022-10-20 삼성전자 주식회사 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법
WO2022220583A1 (ko) * 2021-04-14 2022-10-20 삼성전자 주식회사 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법
WO2022270870A1 (ko) * 2021-06-21 2022-12-29 삼성전자 주식회사 하나의 카메라를 통해 다방향으로 촬영을 수행하는 방법 및 그 전자 장치
WO2023068607A1 (ko) * 2021-10-20 2023-04-27 삼성전자 주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
US11670243B2 (en) 2020-11-19 2023-06-06 Samsung Display Co., Ltd. Display device
US12003866B2 (en) 2021-10-20 2024-06-04 Samsung Electronics Co., Ltd. Method for providing image and electronic device supporting the same

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3002752A1 (en) 2015-10-26 2017-05-04 Oti Lumionics Inc. Method for patterning a coating on a surface and device including a patterned coating
CN110785867B (zh) 2017-04-26 2023-05-02 Oti照明公司 用于图案化表面上覆层的方法和包括图案化覆层的装置
US11043636B2 (en) 2017-05-17 2021-06-22 Oti Lumionics Inc. Method for selectively depositing a conductive coating over a patterning coating and device including a conductive coating
CN207264695U (zh) * 2017-09-30 2018-04-20 云谷（固安）科技有限公司 终端及显示屏
US11751415B2 (en) 2018-02-02 2023-09-05 Oti Lumionics Inc. Materials for forming a nucleation-inhibiting coating and devices incorporating same
CN108810201B (zh) * 2018-06-04 2020-07-17 Oppo广东移动通信有限公司 电子装置及利用电子装置拍摄照片的方法
CN111182197B (zh) * 2018-11-13 2022-03-22 荷兰移动驱动器公司 相片拍摄方法、计算机程序、可读存储介质及电子装置
WO2020180304A1 (en) * 2019-03-05 2020-09-10 Hewlett-Packard Development Company, L.P. Image capture by image-capture device positioned behind display device
US11730012B2 (en) 2019-03-07 2023-08-15 Oti Lumionics Inc. Materials for forming a nucleation-inhibiting coating and devices incorporating same
CN111756914A (zh) * 2019-03-28 2020-10-09 比亚迪股份有限公司 显示屏的控制方法、装置、终端及可读存储介质
US11516374B2 (en) 2019-06-05 2022-11-29 Synaptics Incorporated Under-display image sensor
US11832473B2 (en) 2019-06-26 2023-11-28 Oti Lumionics Inc. Optoelectronic device including light transmissive regions, with light diffraction characteristics
CN117500334A (zh) 2019-06-26 2024-02-02 Oti照明公司 包括具有光衍射特征的光透射区域的光电设备
US11056081B2 (en) * 2019-08-09 2021-07-06 Wuhan China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Display panel and display device
US20220278299A1 (en) 2019-08-09 2022-09-01 Oti Lumionics Inc. Opto-electronic device including an auxiliary electrode and a partition
US11153513B2 (en) 2019-08-19 2021-10-19 Synaptics Incorporated Light source for camera
CN110430300A (zh) * 2019-09-16 2019-11-08 北京小米移动软件有限公司 终端屏幕及终端
CN110661972B (zh) * 2019-09-27 2021-02-23 维沃移动通信有限公司 图像处理方法、装置、电子设备和介质
CN110769155B (zh) * 2019-10-31 2021-11-23 维沃移动通信（杭州）有限公司 一种摄像头控制方法及电子设备
CN111078170B (zh) 2019-11-29 2023-11-28 北京小米移动软件有限公司 显示控制方法、显示控制装置及计算机可读存储介质
US11076080B2 (en) * 2019-12-05 2021-07-27 Synaptics Incorporated Under-display image sensor for eye tracking
KR102284124B1 (ko) * 2019-12-27 2021-07-30 삼성전기주식회사 이미지 획득 장치, 카메라 모듈을 포함하는 전자기기 및 전자기기내 카메라 모듈 제어 방법
KR20210085902A (ko) * 2019-12-31 2021-07-08 엘지디스플레이 주식회사 표시장치
KR20210099822A (ko) * 2020-02-05 2021-08-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치
CN111711748B (zh) * 2020-05-27 2023-01-24 维沃移动通信（杭州）有限公司 屏幕刷新率的控制方法、装置、电子设备及可读存储介质
KR20210150903A (ko) * 2020-06-04 2021-12-13 삼성전자주식회사 디스플레이를 포함하는 전자 장치
CN111773683B (zh) * 2020-07-03 2024-06-04 珠海金山数字网络科技有限公司 一种基于移动终端的文字显示方法及装置
CN111951192A (zh) * 2020-08-18 2020-11-17 义乌清越光电科技有限公司 一种拍摄图像的处理方法及拍摄设备
KR20220042843A (ko) 2020-09-28 2022-04-05 엘지디스플레이 주식회사 표시패널과 이를 이용한 표시장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259090A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
KR20120071963A (ko) * 2010-12-23 2012-07-03 삼성모바일디스플레이주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
US20130207952A1 (en) * 2010-07-30 2013-08-15 Lenovo (Beijing) Co., Ltd. Display Screen and Terminal Device Using Same
KR20170029041A (ko) * 2015-09-04 2017-03-15 삼성디스플레이 주식회사 표시 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818857B2 (ja) 1988-03-04 1996-02-28 株式会社アスク 珪酸カルシウム・ポリマー複合板の製造方法
JP3192875B2 (ja) * 1994-06-30 2001-07-30 キヤノン株式会社 画像合成方法および画像合成装置
JP4886162B2 (ja) 2003-06-18 2012-02-29 キヤノン株式会社 撮像装置付き表示装置
JP4411059B2 (ja) 2003-12-12 2010-02-10 キヤノン株式会社 カメラ付きディスプレイ装置、通信装置および通信システム
US20110285891A1 (en) * 2010-05-21 2011-11-24 Maglaque Chad L Integrated Display Camera Using Masked Display Elements
US9437132B2 (en) * 2011-11-30 2016-09-06 Apple Inc. Devices and methods for providing access to internal component
CN104021759A (zh) 2014-05-30 2014-09-03 京东方科技集团股份有限公司 一种显示器件的亮度补偿方法、亮度补偿装置及显示器件
CN104079811B (zh) * 2014-07-24 2017-09-26 广东欧珀移动通信有限公司 一种拍照时滤除障碍物的方法及装置
CN104580882B (zh) * 2014-11-03 2018-03-16 宇龙计算机通信科技(深圳)有限公司 拍照的方法及其装置
US20170084231A1 (en) * 2015-09-23 2017-03-23 Intel Corporation Imaging system management for camera mounted behind transparent display
CN105208255B (zh) * 2015-10-27 2018-08-07 合肥联宝信息技术有限公司 摄像头组件
CN106603772B (zh) 2017-01-26 2019-12-27 Oppo广东移动通信有限公司 电子装置及图像获取方法
CN106921767A (zh) * 2017-03-07 2017-07-04 捷开通讯(深圳)有限公司 一种高屏占比的移动终端
CN106920470B (zh) 2017-04-27 2019-05-28 武汉华星光电技术有限公司 一种纯屏幕无边框显示装置及显示方法
CN107426471B (zh) * 2017-05-03 2021-02-05 Oppo广东移动通信有限公司 相机模组和电子装置
CN107589600B (zh) * 2017-09-22 2021-03-02 京东方科技集团股份有限公司 一种像素结构、显示面板及显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259090A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム
US20130207952A1 (en) * 2010-07-30 2013-08-15 Lenovo (Beijing) Co., Ltd. Display Screen and Terminal Device Using Same
KR20120071963A (ko) * 2010-12-23 2012-07-03 삼성모바일디스플레이주식회사 영상 촬영 장치 및 이의 영상 촬영 방법
KR20170029041A (ko) * 2015-09-04 2017-03-15 삼성디스플레이 주식회사 표시 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11670243B2 (en) 2020-11-19 2023-06-06 Samsung Display Co., Ltd. Display device
US12008967B2 (en) 2020-11-19 2024-06-11 Samsung Display Co., Ltd. Display device
KR20220079382A (ko) * 2020-12-04 2022-06-13 (주)딥인사이트 전자 장치
WO2022220530A1 (ko) * 2021-04-12 2022-10-20 삼성전자 주식회사 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법
WO2022220583A1 (ko) * 2021-04-14 2022-10-20 삼성전자 주식회사 카메라를 포함하는 전자 장치, 그 전자 장치에서의 동작 방법
WO2022220423A1 (ko) * 2021-04-16 2022-10-20 삼성전자 주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
WO2022270870A1 (ko) * 2021-06-21 2022-12-29 삼성전자 주식회사 하나의 카메라를 통해 다방향으로 촬영을 수행하는 방법 및 그 전자 장치
WO2023068607A1 (ko) * 2021-10-20 2023-04-27 삼성전자 주식회사 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
US12003866B2 (en) 2021-10-20 2024-06-04 Samsung Electronics Co., Ltd. Method for providing image and electronic device supporting the same

Also Published As

Publication number Publication date
KR102192809B1 (ko) 2020-12-18
WO2019006749A1 (zh) 2019-01-10
JP6892549B2 (ja) 2021-06-23
US20200195764A1 (en) 2020-06-18
EP3624434A1 (en) 2020-03-18
CN110024366B (zh) 2020-08-14
US11082547B2 (en) 2021-08-03
EP3624434A4 (en) 2020-04-15
CN110024366A (zh) 2019-07-16
EP3624434B1 (en) 2021-06-02
JP2020526972A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
KR102192809B1 (ko) 카메라가 제공된 단말 및 그의 촬영 방법
US20210329152A1 (en) Display device configured as an illumination source
KR102381713B1 (ko) 촬영 방법, 촬영 장치, 및 이동 단말
JP7490556B2 (ja) 周囲光検出方法
KR102184916B1 (ko) 제어 장치, 제어 방법 및 전자 기기
US20170084231A1 (en) Imaging system management for camera mounted behind transparent display
JP5683745B2 (ja) 画像表示装置及び方法
EP3537709B1 (en) Electronic device photographing method and apparatus
US11509806B2 (en) Under-display camera synchronization with display pixel operation
US20240119566A1 (en) Image processing method and apparatus, and electronic device
CN115023944A (zh) 显示器下相机系统和方法
CN111754929B (zh) 环境光参数采集方法、装置及存储介质
KR20150095165A (ko) 이동 단말기 및 그 제어방법
CN114286072A (zh) 色彩还原装置及方法、图像处理器
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
CN115691418A (zh) 亮度补偿方法、亮度补偿装置及存储介质
CN116934582A (zh) 去马赛克方法、去马赛克装置、存储介质及芯片

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant