KR20210120682A - Mobile terminar - Google Patents

Mobile terminar Download PDF

Info

Publication number
KR20210120682A
KR20210120682A KR1020200037691A KR20200037691A KR20210120682A KR 20210120682 A KR20210120682 A KR 20210120682A KR 1020200037691 A KR1020200037691 A KR 1020200037691A KR 20200037691 A KR20200037691 A KR 20200037691A KR 20210120682 A KR20210120682 A KR 20210120682A
Authority
KR
South Korea
Prior art keywords
polarizing plate
camera
display panel
mobile terminal
image
Prior art date
Application number
KR1020200037691A
Other languages
Korean (ko)
Inventor
강병길
김종필
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200037691A priority Critical patent/KR20210120682A/en
Priority to PCT/KR2020/005306 priority patent/WO2021194005A1/en
Publication of KR20210120682A publication Critical patent/KR20210120682A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/225—

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

According to an embodiment of the present invention, a mobile terminal includes: a display panel including a first polarizing plate on a light emitting layer; a second polarizing plate provided on a rear surface of the display panel; and a camera which obtains an image of a subject by using light passing through the display panel and the second polarizing plate. According to the present invention, it is possible to obtain the image of the subject by removing noise from the light passing through the display panel.

Description

이동 단말기 {MOBILE TERMINAR}mobile terminal {MOBILE TERMINAR}

본 발명은 이동 단말기에 관한 것이다. 보다 상세하게는, 디스플레이 패널의 배면에 구비된 카메라를 통해 피사체의 이미지를 획득함에 있어, 디스플레이 패널을 통과하며 발생하는 노이즈를 제거하는 기술 분야에 적용 가능하다.The present invention relates to a mobile terminal. More specifically, when acquiring an image of a subject through a camera provided on the rear surface of the display panel, it is applicable to the technical field of removing noise generated while passing through the display panel.

단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다. The terminal may be divided into a mobile/portable terminal and a stationary terminal according to whether the terminal can be moved. Again, the mobile terminal can be divided into a handheld terminal and a vehicle mounted terminal depending on whether the user can carry it directly.

이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다. The functions of mobile terminals are diversifying. For example, there are functions for data and voice communication, photo and video shooting through a camera, voice recording, music file playback through a speaker system, and image or video output to the display. Some terminals add an electronic game play function or perform a multimedia player function. In particular, recent mobile terminals can receive multicast signals that provide broadcast and visual content such as video or television programs.

이동 단말기는 한정된 크기를 가지고 있으며, 한정된 크기 내에서 최대의 화면을 제공하기 위해, 최근 전방을 촬영하는 카메라를 디스플레이 패널의 배면에 구비하고 있는 실정이다. 디스플레이 패널에 카메라 홀을 구비하여 전방을 촬영할 수 있으나, 카메라 홀은 화면 집중력을 훼손하는 문제점이 있다. 이에, 카메라 홀 없이 디스플레이 패널을 통과한 광을 통해 전방을 촬영하는 시도를 하고 있다. 다만, 디스플레이 패널을 통과한 광은 노이즈를 포함하는 문제가 있다.The mobile terminal has a limited size, and in order to provide the largest screen within the limited size, a camera for photographing the front has recently been provided on the rear surface of the display panel. A camera hole may be provided in the display panel to photograph the front, but the camera hole has a problem of impairing screen concentration. Therefore, an attempt is made to photograph the front through the light passing through the display panel without a camera hole. However, there is a problem that the light passing through the display panel includes noise.

일 실시예에 따른 이동 단말기는 디스플레이 패널을 통과한 광에서 노이즈를 제거하고 피사체의 이미지를 획득하는데 목적이 있다.A mobile terminal according to an embodiment has a purpose of removing noise from light passing through a display panel and obtaining an image of a subject.

상기 또는 다른 목적을 달성하기 위해 일 실시예에 따른 이동 단말기는, 발광층 상에 제1 편광판을 포함하는 디스플레이 패널, 상기 디스플레이 패널의 배면에 구비되는 제2 편광판, 및 상기 디스플레이 패널 및 상기 제2 편광판을 지난 광을 이용하여 피사체의 이미지를 획득하는 카메라를 포함할 수 있다. In order to achieve the above or other objects, a mobile terminal according to an embodiment includes a display panel including a first polarizing plate on a light emitting layer, a second polarizing plate provided on a rear surface of the display panel, and the display panel and the second polarizing plate It may include a camera that acquires an image of the subject by using the light passing through.

또한, 일 실시예 따라, 상기 제2 편광판은 상기 제1 편광판과 동일 방향의 광을 통과시킬 수 있다. Also, according to an embodiment, the second polarizing plate may transmit light in the same direction as that of the first polarizing plate.

또한, 일 실시예에 따라, 상기 제2 편광판은 상기 제2 편광판이 통과시키는 광이 수직 방향 광을 통과시키고, 상기 이동 단말기는 상기 제2 편광판을 상기 카메라의 화각 내외로 이동하는 구동부를 포함할 수 있다. In addition, according to an embodiment, the second polarizing plate may include a driving unit that allows the light passing through the second polarizing plate to pass through the vertical direction light, and the mobile terminal moves the second polarizing plate into and out of the angle of view of the camera. can

또한, 일 실시예에 따라, 상기 카메라는 상기 제2 편광판이 상기 카메라의 화각 내에 위치한 상태에서 상기 디스플레이 패널을 통과하여 발생되는 노이즈를 획득하고, 상기 제2 편광판이 상기 카메라의 화각 외에 위치한 상태에서 상기 노이즈가 포함된 피사체의 이미지를 획득하고, 상기 노이즈가 포함된 피사체의 이미지에서 상기 노이즈를 제거하고, 노이즈가 제어된 피사체의 이미지를 획득할 수 있다. In addition, according to an embodiment, the camera acquires noise generated by passing through the display panel in a state where the second polarizer is positioned within the angle of view of the camera, and the second polarizer is positioned outside the angle of view of the camera. An image of the subject including the noise may be obtained, the noise may be removed from the image of the subject including the noise, and an image of the subject in which the noise is controlled may be obtained.

또한, 일 실시예에 따라, 상기 제2 편광판은 상기 디스플레이 패널 및 상기 카메라 사이에 구비될 수 있다. Also, according to an embodiment, the second polarizing plate may be provided between the display panel and the camera.

또한, 일 실시예에 따라, 상기 제2 편광판은 상기 카메라를 구성하는 적어도 하나의 렌즈의 전면 또는 후면에 구비될 수 있다. Also, according to an embodiment, the second polarizing plate may be provided on the front or rear surface of at least one lens constituting the camera.

또한, 일 실시예에 따라, 상기 제2 편광판은 상기 카메라를 구성하는 이미지 센서의 각 픽셀마다 구비될 수 있다. Also, according to an embodiment, the second polarizing plate may be provided for each pixel of an image sensor constituting the camera.

또한, 일 실시예에 따라, 상기 제2 편광판은 각 픽셀에서 마이크로 렌즈와 컬러 필터 사이에 구비될 수 있다. Also, according to an embodiment, the second polarizing plate may be provided between the micro lens and the color filter in each pixel.

또한, 일 실시예에 따라, 상기 제2 편광판은 각 픽셀에서 컬러필터와 포토다이오드 사이에 구비될 수 있다. Also, according to an embodiment, the second polarizing plate may be provided between the color filter and the photodiode in each pixel.

또한, 일 실시예에 따라, 상기 제2 편광판은 상기 카메라의 화각에 대응되는 영역을 오버랩하기 위한 사이즈를 가질 수 있다. Also, according to an embodiment, the second polarizing plate may have a size to overlap an area corresponding to the angle of view of the camera.

또한, 일 실시예에 따라, 상기 디스플레이는 지지 기판이 배면을 구성하고, 상기 지지 기판은 상기 제2 편광판이 삽입되는 홀을 포함할 수 있다. In addition, according to an embodiment, the display may have a back surface of the support substrate, and the support substrate may include a hole into which the second polarizing plate is inserted.

또한, 일 실시예에 따라, 상기 카메라는 상기 피사체의 이미지를 푸리에 변환 후 상기 제2 편광판을 통과한 격자 패턴을 제거하고, 격자 패턴이 제거된 상태에서 상기 카메라에 포함된 렌즈의 포인트 스프레드 함수(Point Spread Function, PSF)를 정합하고, 포인트 스프레드 함수(PSF)를 정합한 상태에서 푸리에 역변환 하여 상기 피사체 이미지를 복원할 수 있다.In addition, according to an embodiment, the camera removes the grid pattern passing through the second polarizing plate after Fourier transforming the image of the subject, and in a state in which the grid pattern is removed, a point spread function ( The subject image may be restored by matching the Point Spread Function (PSF) and performing inverse Fourier transform in a state in which the point spread function (PSF) is matched.

일 실시예에 따른 이동 단말기는 디스플레이 패널 배면에 카메라를 구비하여 보다 넓은 화면을 제공할 수 있다. The mobile terminal according to an embodiment may provide a wider screen by providing a camera on the rear surface of the display panel.

일 실시예에 따른 이동 단말기는 디스플레이 패널에 카메라 홀을 생략하여 화면 집중도를 향상시킬 수 있다. The mobile terminal according to an embodiment may improve screen concentration by omitting a camera hole in the display panel.

일 실시예에 따른 이동 단말기는 디스플레이 패널을 통과하며 발생하는 노이즈가 제거된 피사체의 이미지를 획득할 수 있다. The mobile terminal according to an embodiment may acquire an image of a subject from which noise generated while passing through the display panel is removed.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of applicability of the present invention will become apparent from the following detailed description. However, various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, so it is understood that the detailed description and specific embodiments such as preferred embodiments of the present invention are given by way of example only. should be

도 1는 일 실시예의 이동 단말기를 설명하기 위한 블록도이다.
도 2은 일 실시예의 이동 단말기를 정면도이다.
도 3은 도 2의 A-A'방향 단면 개략도이다.
도 4는 제1 편광판 및 제2 편광판을 이용하여 노이즈를 제거하는 프로세서를 설명하기 위한 개념도이다.
도 5은 제1 편광판 및 제2 편광판을 이용하여 노이즈를 제거하는 제1 프로세서를 설명하기 위한 흐름도이다.
도 6은 제2 편광판 및 제2 편광판을 이용하여 노이즈를 제거하는 제2 프로세서를 설명하기 위한 흐름도이다.
도 7는 일 실시예에 따른 제2 편광판의 위치를 설명하기 위한 개략도이다.
도 8은 일 실시예에 따른 제2 편광판의 위치를 설명하기 위한 개략도이다.
도 9은 일 실시예에 따른 제2 편광판의 위치를 설명하기 위한 개략도이다.
도 10은 일 실시예에 따른 제2 평광판과 카메라의 화각과의 관계를 설명하기 위한 개략도이다.
도 11는 일 실시예에 따른 제2 편광판의 위치를 설명하기 위한 개략도이다.
도 12은 제2 편광판을 통과하여 발생하는 격자 무늬 노이즈를 설명하기 위한 개념도이다.
도 13은 제2 편광판을 통과하여 발생하는 격자 무늬 노이즈를 포함하는 이미지를 제거하는 프로세서를 설명하기 위한 흐름도이다.
도 14는 푸리에 변환을 통해 격자 무늬 노이즈를 제거하는 프로세서를 설명하기 위한 개략도이다.
도 15는 격자 무늬 노이즈를 제거한 후 영상을 복원하는 프로세서를 설명하기 위한 개략도이다.1 is a block diagram illustrating a mobile terminal according to an embodiment.
2 is a front view of a mobile terminal according to an embodiment.
FIG. 3 is a schematic cross-sectional view in the direction A-A' of FIG. 2 .
4 is a conceptual diagram for explaining a processor for removing noise using a first polarizing plate and a second polarizing plate.
5 is a flowchart illustrating a first processor for removing noise using a first polarizer and a second polarizer.
6 is a flowchart illustrating a second polarizing plate and a second processor removing noise using the second polarizing plate.
7 is a schematic diagram for explaining a position of a second polarizing plate according to an embodiment.
8 is a schematic diagram illustrating a position of a second polarizing plate according to an exemplary embodiment.
9 is a schematic diagram for explaining a position of a second polarizing plate according to an embodiment.
10 is a schematic diagram illustrating a relationship between a second polarizing plate and an angle of view of a camera according to an exemplary embodiment.
11 is a schematic diagram for explaining a position of a second polarizing plate according to an embodiment.
12 is a conceptual diagram for explaining grid pattern noise generated through a second polarizing plate.
13 is a flowchart illustrating a processor for removing an image including grid pattern noise generated through a second polarizing plate.
14 is a schematic diagram for explaining a processor for removing grid pattern noise through Fourier transform.
15 is a schematic diagram for explaining a processor for reconstructing an image after removing grid pattern noise.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of reference numerals, and overlapping descriptions thereof will be omitted. The suffixes "module" and "part" for the components used in the following description are given or mixed in consideration of only the ease of writing the specification, and do not have a meaning or role distinct from each other by themselves. In addition, in describing the embodiments disclosed in the present specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in the present specification, and the technical spirit disclosed herein is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention , should be understood to include equivalents or substitutes.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.The mobile terminal described in this specification includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation system, and a slate PC. , tablet PCs, ultrabooks, wearable devices, for example, watch-type terminals (smartwatch), glass-type terminals (smart glass), HMD (head mounted display), etc. may be included. have.

그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 해당 기술 분야의 통상의 기술자라면 쉽게 알 수 있을 것이다.However, it is common knowledge in the art that the configuration according to the embodiment described in this specification may be applied to a fixed terminal such as a digital TV, a desktop computer, a digital signage, etc., except when applicable only to a mobile terminal. If you're an engineer, it's easy to figure out.

도 1는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다. 상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 1 is a block diagram illustrating a mobile terminal related to the present invention. The mobile terminal 100 includes a wireless communication unit 110 , an input unit 120 , a sensing unit 140 , an output unit 150 , an interface unit 160 , a memory 170 , a control unit 180 , and a power supply unit 190 . ) and the like. Since the components shown in FIG. 1 are not essential for implementing the mobile terminal, the mobile terminal described in this specification may have more or fewer components than those listed above.

보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.More specifically, the wireless communication unit 110 among the components is between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or between the mobile terminal 100 and the external server. It may include one or more modules that enable wireless communication between them. In addition, the wireless communication unit 110 may include one or more modules for connecting the mobile terminal 100 to one or more networks.

이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The wireless communication unit 110 may include at least one of a broadcast reception module 111 , a mobile communication module 112 , a wireless Internet module 113 , a short-range communication module 114 , and a location information module 115 . .

입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 120 includes a camera 121 or an image input unit for inputting an image signal, a microphone 122 or an audio input unit for inputting an audio signal, and a user input unit 123 for receiving information from a user, for example, , a touch key, a push key, etc.). The voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.

센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information. For example, the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity. Sensor (G-sensor), gyroscope sensor, motion sensor, RGB sensor, infrared sensor (IR sensor: infrared sensor), fingerprint sensor (finger scan sensor), ultrasonic sensor , optical sensors (eg, cameras (see 121)), microphones (see 122), battery gauges, environmental sensors (eg, barometers, hygrometers, thermometers, radiation detection sensors, It may include at least one of a thermal sensor, a gas sensor, etc.) and a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.). Meanwhile, the mobile terminal disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The output unit 150 is for generating an output related to visual, auditory or tactile sense, and may include at least one of a display 151 , a sound output unit 152 , a haptip module 153 , and an optical output unit 154 . can The display 151 may implement a touch screen by forming a layer structure with the touch sensor or being integrally formed therewith. Such a touch screen may function as the user input unit 123 providing an input interface between the mobile terminal 100 and the user, and may provide an output interface between the mobile terminal 100 and the user.

인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.The interface unit 160 serves as a passage with various types of external devices connected to the mobile terminal 100 . This interface unit 160, a wired / wireless headset port (port), an external charger port (port), a wired / wireless data port (port), a memory card (memory card) port, for connecting a device equipped with an identification module It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port. In response to the connection of the external device to the interface unit 160 , the mobile terminal 100 may perform appropriate control related to the connected external device.

또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.In addition, the memory 170 stores data supporting various functions of the mobile terminal 100 . The memory 170 may store a plurality of application programs (application programs or applications) driven in the mobile terminal 100 , data for operation of the mobile terminal 100 , and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the mobile terminal 100 from the time of shipment for basic functions (eg, incoming calls, outgoing functions, message reception, and outgoing functions) of the mobile terminal 100 . Meanwhile, the application program may be stored in the memory 170 , installed on the mobile terminal 100 , and driven to perform an operation (or function) of the mobile terminal by the controller 180 .

제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operation related to the application program, the controller 180 generally controls the overall operation of the mobile terminal 100 . The controller 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170 .

또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.Also, the controller 180 may control at least some of the components discussed with reference to FIG. 1 in order to drive an application program stored in the memory 170 . Furthermore, in order to drive the application program, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 with each other.

전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives external power and internal power under the control of the controller 180 to supply power to each component included in the mobile terminal 100 . The power supply 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.

상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.At least some of the respective components may operate cooperatively with each other to implement an operation, control, or control method of a mobile terminal according to various embodiments to be described below. In addition, the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 170 .

도 2은 일 실시에의 이동 단말기(200)의 정면도이다. 이하, 동일 구성에 대한 설명은 도 1의 설명을 참조한다. 2 is a front view of a mobile terminal 200 according to an embodiment. Hereinafter, the description of the same configuration refers to the description of FIG. 1 .

이동 단말기(200)는 외관을 형성하는 프레임(210) 및 프레임의 일면에 구비된 디스플레이 패널(220)을 포함할 수 있다. 여기서 디스플레이 패널(220)은 도 1의 디스플레이(151)을 구성하는 구성일 수 있다. 이하에서는 디스플레이 패널(220)이 구비됨 일면을 정면으로 지칭하고, 대칭면은 배면으로 지칭한다. The mobile terminal 200 may include a frame 210 forming an exterior and a display panel 220 provided on one surface of the frame. Here, the display panel 220 may be a component constituting the display 151 of FIG. 1 . Hereinafter, one surface on which the display panel 220 is provided is referred to as a front surface, and a symmetrical surface is referred to as a rear surface.

이동 단말기(200)는 휴대성을 고려하여 한정된 크기로 제작될 필요가 있다. 다만, 더 큰 화면을 제공하는 이동 단말기(200)에 대한 사용자의 니즈가 증가하고 있는 실정이다. 이동 단말기(200)는 한정된 크기에서 큰 화면을 구현하기 위해, 디스플레이 패널(220)을 정면의 전면을 채우도록 구비할 수 있다. 여기서 전면은 정면의 거의 모든 면을 지칭할 수 있다. The mobile terminal 200 needs to be manufactured with a limited size in consideration of portability. However, the user's need for the mobile terminal 200 that provides a larger screen is increasing. In order to realize a large screen in a limited size, the mobile terminal 200 may include a display panel 220 to fill the front surface of the mobile terminal 200 . Here, the front face may refer to almost all faces of the front face.

이동 단말기(200) 정면의 전면을 디스플레이 패널(220)로 채우기 위해, 이동 단말기(200)는 정면에 배치될 필요가 있는 구성들을 디스플레이 패널(220) 배면에 구비할 수 있다. 또는, 이동 단말기(200)는 정면에 배치될 필요가 있는 구성들을 디스플레이 패널(220)을 구현할 수 있다. 또는, 이동 단말기(200)는 정면에 배치될 필요가 있는 구성들을 디스플레이 패널(220)의 배젤 영역(250)에 구비할 수 있다. In order to fill the front of the front of the mobile terminal 200 with the display panel 220 , the mobile terminal 200 may have components that need to be disposed on the front of the display panel 220 on the rear surface. Alternatively, the mobile terminal 200 may implement the display panel 220 with components that need to be disposed on the front side. Alternatively, the mobile terminal 200 may include components that need to be disposed on the front side of the bezel area 250 of the display panel 220 .

예를 들어, 이동 단말기(200)는 전방을 촬영하는 카메라(230)을 디스플레이 패널(220)의 배면에 구비할 수 있다. 또한, 이동 단말기(220)는 입력 키(240)를 디스플레이 패널(220)을 통해 구현할 수 있다. 또한, 이동 단말기(220)는 리시버(260)의 기능을 디스플레이 패널(220)을 통해 구현하거나, 디스플레이 패널(220)의 배젤 영역(250)에 구비할 수 있다. For example, the mobile terminal 200 may include a camera 230 for photographing the front side of the display panel 220 . Also, the mobile terminal 220 may implement the input key 240 through the display panel 220 . Also, the mobile terminal 220 may implement the function of the receiver 260 through the display panel 220 or may be provided in the bezel area 250 of the display panel 220 .

디스플레이 패널(220)의 배면에 카메라(230)를 배치하는 방법은 두 가지가 있다. 첫째로, 디스플레이 패널(220)은 카메라 홀을 포함하고, 카메라(230)는 카메라 홀을 통과한 광을 이용하여 피사체의 이미지를 획득할 수 있다. 둘째로, 디스플레이 패널(220)은 카메라 홀을 생략하고, 카메라(230)는 디스플레이 패널(220)을 통과한 광을 이용하여 피사체의 이미지를 획득할 수 있다. There are two methods of disposing the camera 230 on the rear surface of the display panel 220 . First, the display panel 220 includes a camera hole, and the camera 230 may acquire an image of a subject using light passing through the camera hole. Second, the display panel 220 may omit the camera hole, and the camera 230 may acquire an image of the subject using light passing through the display panel 220 .

첫 번째 방법에서, 카메라(230)는 직접적으로 피사체에 반사된 광을 획득하여 영상 이미지를 획득할 수 있다. 다만, 디스플레이 패널(220)는 카메라 홀 부분에서 영상을 출력할 수 없어 사용자의 화면 집중도를 훼손할 수 있다. 두 번째 방법에서, 디스플레이 패널(220)은 영상이 출력되지 않는 영역을 포함하고 있지 않아 사용자의 화면 집중도를 훼손하지 않을 수 있다. 다만, 카메라(230)는 디스플레이 패널(220)을 통과한 광을 이용하여 영상 이미지를 획득하게 된다. In the first method, the camera 230 may acquire a video image by directly acquiring light reflected by a subject. However, since the display panel 220 cannot output an image from the camera hole portion, the user's screen concentration may be impaired. In the second method, since the display panel 220 does not include an area where no image is output, the user's screen concentration may not be impaired. However, the camera 230 acquires the video image by using the light passing through the display panel 220 .

피사체에 반사된 광은 디스플레이 패널(220)을 통과하며 왜곡될 수 있다. 따라서, 카메라(230)가 디스플레이 패널(220)을 통과한 광을 통해 피사체의 이미지를 생성하는 경우, 생성된 이미지에 노이즈가 포함될 수 있다. The light reflected by the subject passes through the display panel 220 and may be distorted. Accordingly, when the camera 230 generates an image of a subject through light passing through the display panel 220 , noise may be included in the generated image.

이하에서는, 이동 단말기(200)가 두 번째 방법으로 카메라(230)를 제공하되, 카메라(230)가 획득하는 이미지에서 노이즈를 제거하는 방법에 대하여 살펴본다. Hereinafter, a method in which the mobile terminal 200 provides the camera 230 as a second method and removes noise from an image obtained by the camera 230 will be described.

도 3은 도 2의 A-A'방향 단면 개략도이다. FIG. 3 is a schematic cross-sectional view in the direction A-A' of FIG. 2 .

디스플레이 패널(220)은 제1 편광판(221), 발광층(222) 및 박막층(223)을 포함할 수 있다. 여기서, 제1 편광판(221)은 발광층(222)에 적층되고, 발광층(222)은 박막층(223)에 적층되도록 구비될 수 있다. 추가적으로, 디스플레이 패널(220)은 터치 패널, 반사판, 및 보호층 중 적어도 하나를 더 포함할 수 있다. The display panel 220 may include a first polarizing plate 221 , an emission layer 222 , and a thin film layer 223 . Here, the first polarizing plate 221 may be stacked on the emission layer 222 , and the emission layer 222 may be stacked on the thin film layer 223 . Additionally, the display panel 220 may further include at least one of a touch panel, a reflective plate, and a protective layer.

제1 편광판(221)은 전방향으로 입사되는 광중 특정 방향의 광을 통과시킬 수 있다. 이하에서, 제1 편광판(221)이 통과 시키는 광의 방향을 제1 방향으로 지칭한다. 제1 편광판(221)은 LCD에 구비되는 두 개의 편광판 중 전방에 배치되는 편광판일 수 있다. 또는, 제1 편광판(221)은 외부광의 반사율을 감소하고 명암비를 증가하기 위해 LED에 구비되는 편광판일 수 있다. The first polarizing plate 221 may pass light in a specific direction among light incident in all directions. Hereinafter, the direction of the light passing through the first polarizing plate 221 is referred to as a first direction. The first polarizing plate 221 may be a polarizing plate disposed in front of the two polarizing plates provided in the LCD. Alternatively, the first polarizing plate 221 may be a polarizing plate provided in the LED to decrease the reflectance of external light and increase the contrast ratio.

발광층(222)은 전기 신호를 광 신호로 전환할 수 있다. 발광층(220)이 색을 빛을 발하는 방식에 따라 디스플레이 패널(220)은 LCD 또는 LED로 정의될 수 있다. 일 실시예 따른, 이동 단말기(200)는 LCD 또는 LED의 디스플레이 패널(220)이 모두 이용될 수 있다. The light emitting layer 222 may convert an electrical signal into an optical signal. The display panel 220 may be defined as an LCD or an LED according to a method in which the light emitting layer 220 emits color light. According to an embodiment, the mobile terminal 200 may use either an LCD or an LED display panel 220 .

구체적으로, 도 3는 LED의 발광층(222)을 도시하고 있다. LED의 발광층(222)은 크게 발광 소자(2221), 격벽(2222) 및 봉지층(2223)을 포함할 수 있다. 발광 소자(2221)가 유기물로 제작되는 LED를 OLED로 지칭할 수 있다.Specifically, FIG. 3 shows the light emitting layer 222 of the LED. The light emitting layer 222 of the LED may largely include a light emitting device 2221 , a barrier rib 2222 , and an encapsulation layer 2223 . An LED in which the light emitting device 2221 is made of an organic material may be referred to as an OLED.

박막층(223)은 발광층(220)에 전기 신호를 인가할 수 있다. 발광층(220)은 박막층(223)이 인가하는 전기 신호에 대응하여 발광할 수 있다. 여기서 박막층(223)은 박막트렌지스터층을 지칭할 수 있다. 추가적으로, 박막층(223)은 지지 기판(미도시)을 포함할 수 있다. 지지 기판이 플렉서블한 성질를 가지는 경우, 디스플레이 패널(220)은 플렉서블 디스플레이 패널(220)로 지칭될 수 있다. The thin film layer 223 may apply an electrical signal to the light emitting layer 220 . The light emitting layer 220 may emit light in response to an electrical signal applied by the thin film layer 223 . Here, the thin film layer 223 may refer to a thin film transistor layer. Additionally, the thin film layer 223 may include a support substrate (not shown). When the support substrate has a flexible property, the display panel 220 may be referred to as a flexible display panel 220 .

제1 편광판(221)을 통과한 제1 방향의 광은 제1 편광판(221)의 배면에 구비된 발광층(222)과 박막층(223)을 지나면서 왜곡될 수 있다. 구체적으로, 제1 편광판(221)을 지난 광은 발광층(222) 및 박막층(223)을 지나 회절 및 산란되며 제1 방향 외 다른 방향을 가지도록 왜곡될 수 있다. Light in the first direction passing through the first polarizing plate 221 may be distorted while passing through the light emitting layer 222 and the thin film layer 223 provided on the rear surface of the first polarizing plate 221 . Specifically, light passing through the first polarizing plate 221 may be diffracted and scattered through the light emitting layer 222 and the thin film layer 223 and may be distorted to have a direction other than the first direction.

디스플레이 패널(220)은 배면에 제2 편광판(224)을 포함할 수 있다. 제2 편광판(224)은 제1 편광판(221)이 통과하는 광과 동일한 반향의 광을 통과시키도록 배치될 수 있다. 제2 편광판(224)이 제1 편광판(221)과 동일한 동일한 방향으로 배열되는 경우, 제2 편광판(224)은 제1 방향을 가지는 광 외 다른 방향을 가지는 광이 투과하는 것을 방지할 수 있다. 경우에 따라서는, 제2 편광판(224)는 제1 편광판(221)이 통과하는 광과 상이한 방향의 광을 통과시키도록 배치될 수 있다. 제2 편광판(224)이 제1 편광판(221)과 다른 방향으로 구비되는 경우, 제2 편광판(224)는 제1 방향을 가지는 광 외 다른 방향을 가지는 광만을 투과시킬 수 있다. 노이즈 신호를 분별하여 획득하기 위해서는 제2 편광판(224)이 제1 평광판(221)에 수직한 방향으로 배치됨이 바람직할 수 있다. The display panel 220 may include a second polarizing plate 224 on the rear surface. The second polarizing plate 224 may be disposed to pass light having the same reflection as the light passing through the first polarizing plate 221 . When the second polarizing plate 224 is arranged in the same direction as the first polarizing plate 221 , the second polarizing plate 224 may prevent light having a direction other than the first direction from being transmitted. In some cases, the second polarizing plate 224 may be arranged to pass light in a different direction from the light passing through the first polarizing plate 221 . When the second polarizing plate 224 is provided in a direction different from that of the first polarizing plate 221 , the second polarizing plate 224 may transmit only light having a direction other than the light having the first direction. It may be preferable that the second polarizing plate 224 be disposed in a direction perpendicular to the first polarizing plate 221 in order to discriminate and acquire the noise signal.

카메라(230)는 렌즈(231)와 이미지 센서(232)를 포함할 수 있다. 렌즈(231)는 제2 편광판(224)을 지난 광을 이미지 센서(232)로 리드하는 기능을 수행할 수 있다. 이미지 센서(232)는 광 신호를 전기 신호로 전환하는 기능을 수행할 수 있다. 이미지 센서(232)는 복수의 픽셀을 가지고 있고, 각 픽셀 마다 수신한 광 신호를 전기 신호로 전환할 수 있다.The camera 230 may include a lens 231 and an image sensor 232 . The lens 231 may perform a function of reading the light passing through the second polarizing plate 224 to the image sensor 232 . The image sensor 232 may perform a function of converting an optical signal into an electrical signal. The image sensor 232 has a plurality of pixels, and may convert an optical signal received for each pixel into an electrical signal.

카메라(230)는 제2 편광판(224)을 통과한 광을 이용하여 영상 이미지를 획득할 수 있다. 제2 편광판(224)이 제1 편광판(224)과 동일한 방향으로 배치되어 있는 경우, 카메라(230)는 광이 디스플레이 패널(220)을 통과하며 발생한 노이즈를 제거한 상태에서 피사체의 이미지를 획득할 수 있다. 반대로, 제2 편광판(224)이 제1 편광판(221)과 상이한 방향으로 배치되어 있는 경우, 카메라(230)는 광이 디스플레이 패널(220)을 통과하며 발생한 노이즈에 대응하는 이미지 또는 신호를 획득할 수 있다. The camera 230 may acquire an image image by using the light passing through the second polarizing plate 224 . When the second polarizing plate 224 is disposed in the same direction as the first polarizing plate 224, the camera 230 may acquire an image of the subject while removing noise generated by the light passing through the display panel 220. have. Conversely, when the second polarizing plate 224 is disposed in a different direction from the first polarizing plate 221 , the camera 230 may acquire an image or signal corresponding to the noise generated by the light passing through the display panel 220 . can

도 4는 제1 편광판(221) 및 제2 편광판(224)을 이용하여 노이즈를 제거하는 프로세서를 설명하기 위한 개념도이다. 구체적으로, 도 4(a)는 제2편광판(224)이 제1 편광판(221)과 나란히 구비된 제1 케이스를 도시하고 있다. 도 4(b)는 제2 편광판(224)이 제1 평광판(221)에 수직하게 구비된 제2 케이스를 도시하고 있다. 이하, 공통된 구성과 관련하여서는 도 3을 참조한다. 4 is a conceptual diagram illustrating a processor for removing noise using a first polarizing plate 221 and a second polarizing plate 224 . Specifically, FIG. 4A shows a first case in which the second polarizing plate 224 is provided side by side with the first polarizing plate 221 . FIG. 4B illustrates a second case in which the second polarizing plate 224 is provided perpendicular to the first polarizing plate 221 . Hereinafter, reference is made to FIG. 3 in relation to the common configuration.

제1 케이스의 프로세서를 설명하면 다음과 같다. 디스플레이 패널(220)의 제1 편광판(221)은 전방향 광 중 제1 방향의 광을 통과 시킬 수 있다. 구체적으로, 제1 평광판(221)은 제1 방향의 광을 가장 많이 통과시키고, 제1 방향의 광에 수직한 광일수록 적게 통과시킬 수 있다. 제1 편광판(221)을 통과한 광은 디스플레이 패널(221)의 발광층(222) 및 박막층(223)을 통과하며 제1 방향에서 벗어난 노이즈가 발생할 수 있다. 이때, 제1 편광판(221)에 동일 방향으로 구비된 제2 편광판(224)는 발광층(222) 및 박막층(223)을 통과하며 발생한 노이즈를 제거하고, 카메라(230)는 노이즈가 제거된 광을 이용하여 영상 이미지를 획득할 수 있다. The processor of the first case will be described as follows. The first polarizing plate 221 of the display panel 220 may pass light in a first direction among omnidirectional lights. Specifically, the first polarizing plate 221 may allow the light of the first direction to pass through the most, and the light perpendicular to the light from the first direction may pass through less. The light passing through the first polarizing plate 221 passes through the light emitting layer 222 and the thin film layer 223 of the display panel 221 , and noise deviating from the first direction may occur. At this time, the second polarizing plate 224 provided in the same direction as the first polarizing plate 221 removes noise generated while passing through the light emitting layer 222 and the thin film layer 223 , and the camera 230 receives the noise-removed light. can be used to obtain a video image.

제1 케이스는 노이즈가 제거된 이미지를 직접적으로 획득하는데 이용될 수 있다.The first case may be used to directly acquire an image from which noise has been removed.

제2 케이스의 프로세서를 설명하면 다음과 같다. 디스플레이 패널(220)의 제1 편광판(221)은 전 방향 광 중 제1 방향의 광을 통과시킬 수 있다. 구체적으로, 제1 평광판(221)은 제1 방향의 광을 가장 많이 통과시키고, 제1 방향의 광에 수직한 광일수록 적게 통과시킬 수 있다. 제1 평광판(221)을 통과한 광은 디스플레이 패널(221)의 발광층(222) 및 박막층(223)을 통과하며 제1 방향에서 벗어난 노이즈가 발생할 수 있다. 이때, 제1 평관판(221)에 수직한 방향으로 구비된 제2 편광판(224)은 발광층(222) 및 박막층(223)을 통과하며 발생한 노이즈을 통과시카고, 카메라(230)는 노이즈에 의해 생성되는 영상 이미지 또는 신호를 획득할 수 있다. The processor of the second case will be described as follows. The first polarizing plate 221 of the display panel 220 may pass light in a first direction among omnidirectional lights. Specifically, the first polarizing plate 221 may allow the light of the first direction to pass through the most, and the light perpendicular to the light from the first direction may pass through less. The light passing through the first polarizing plate 221 passes through the light emitting layer 222 and the thin film layer 223 of the display panel 221 , and noise deviating from the first direction may occur. At this time, the second polarizing plate 224 provided in a direction perpendicular to the first flat plate 221 passes through the light emitting layer 222 and the thin film layer 223 and passes the noise generated by the noise, and the camera 230 is generated by the noise. A video image or a signal may be acquired.

제2 케이스에서는 노이즈를 획득하고 이후 노이즈를 포함하는 이미지에서 노이즈를 제거함으로써 노이즈가 제거된 이미지를 간접적으로 획득하는데 이용될 수 있다.In the second case, it can be used to indirectly acquire a noise-removed image by acquiring noise and then removing noise from an image including noise.

도 5은 제1 편광판 및 제2 편광판을 이용하여 노이즈를 제거하는 제1 프로세서를 설명하기 위한 흐름도이다. 구체적으로, 도 5는 도4에서 설명한 제1 케이스와 관련된 흐름도이다.5 is a flowchart illustrating a first processor for removing noise using a first polarizer and a second polarizer. Specifically, FIG. 5 is a flowchart related to the first case described in FIG. 4 .

피사체에 반사된 광은 전 방향으로 진동하며 이동 단말기(200)의 디스플레이 패널(220)로 입사될 수 있다. (S310)The light reflected by the subject vibrates in all directions and may be incident on the display panel 220 of the mobile terminal 200 . (S310)

디스플레이 패널(220)은 제1 편광판(221)을 포함하고, 제1 편광판(221)은 디스플레이 패널(220)로 입사된 광에서 제1 방향으로 진동하는 광을 통과시킬 수 있다. (S320) 구체적으로, 제1 편광판(221)은 제1 방향에서 수직하게 진동하는 광일수록 적게 통과시킬 수 있다. 여기서, 제1 방향으로 진동하는 광은 디스플레이 패널(220)로 입사된 광 중 제1 방향에 수직하게 진동하는 광이 제거된 광을 의미할 수 있다. 구체적으로, 제1 방향과 이루는 각이 클수록 제1 편광판(221)을 통과하기 어려울 수 있고, 제1 편광판(221)을 통과한 광을 제1 방향으로 진동하는 광으로 지칭될 수 있다.The display panel 220 includes a first polarizing plate 221 , and the first polarizing plate 221 may pass light that vibrates in a first direction from light incident on the display panel 220 . (S320) Specifically, the first polarizing plate 221 may transmit less light that vibrates vertically in the first direction. Here, the light vibrating in the first direction may mean light from which light vibrating perpendicular to the first direction is removed from among the light incident on the display panel 220 . Specifically, as the angle formed with the first direction increases, it may be difficult to pass through the first polarizing plate 221 , and light passing through the first polarizing plate 221 may be referred to as light vibrating in the first direction.

제1 편광판(221)을 통과하여 제1 방향으로 진동하는 광은 제1 편광판(221)의 배면에 구비된 디스플레이 패널(220)의 나머지 레이어로 입사될 수 있다. (S330) 여기서, 디스플레이 패널(220)의 나머지 레이어는 발광층(222) 및 박막층(223)을 포함할 수 있다. 또한, 디스플레이 패널(220)을 지지하는 기판 및 발광층(222)에서 발광된 빛을 반사하는 반사판 중 적어도 하나를 더 포함할 수 있다.Light passing through the first polarizing plate 221 and vibrating in the first direction may be incident on the remaining layers of the display panel 220 provided on the rear surface of the first polarizing plate 221 . (S330) Here, the remaining layers of the display panel 220 may include the emission layer 222 and the thin film layer 223 . In addition, at least one of a substrate supporting the display panel 220 and a reflective plate reflecting light emitted from the light emitting layer 222 may be further included.

제1 편광판(221)을 통과한 빛은 디스플레이 패널(220)의 나머지 레이어를 통과하며 노이즈가 발생할 수 있다. (S340) 노이즈는 디스플레이 패널(220)의 나머지 레이어에 구비된 내부 구조물(예를 들어, 발광 소자(2221), 격벽(2222), 트렌지스터 등) 또는 레이어를 구성하는 물질에 의해서 발생할 수 있다. Light passing through the first polarizing plate 221 may pass through the remaining layers of the display panel 220 and may generate noise. (S340) Noise may be generated by an internal structure (eg, the light emitting element 2221 , the barrier rib 2222 , a transistor, etc.) provided in the remaining layers of the display panel 220 or a material constituting the layer.

제1 편광판(221)을 통과한 광은 디스플레이 패널(220)의 나머지 레이어를 통과하며 노이즈를 포함하게 되고, 노이즈를 포함한 광은 제2 편광판(224)으로 입사될 수 있다. (S350) 노이즈를 포함하는 광은 제1 편광판(221)을 통과한 광보다 제1 방향에서 수직한 방향으로 진동하는 광을 더 포함할 수 있다. Light passing through the first polarizing plate 221 may include noise while passing through the remaining layers of the display panel 220 , and the light including noise may be incident on the second polarizing plate 224 . ( S350 ) Light including noise may further include light vibrating in a direction perpendicular to the first direction than light passing through the first polarizing plate 221 .

노이즈를 포함하는 광은 제2 편광판(224)을 통과할 수 있다. (S360) 이때, 제2 편광판(224)은 제1 방향으로 진동하는 광을 주로 통과시킬 수 있다. 제2 편광판(224)은 디스플레이 패널(220)의 나머지 레이어를 통과하며 발생한 노이즈를 제거하는 기능을 수행할 수 있다. 제2 편광판(224)을 통과하며 노이즈가 제거된 광은 제1 방향으로 주로 진동하는 광을 포함할 수 있다. Light including noise may pass through the second polarizing plate 224 . (S360) In this case, the second polarizing plate 224 may mainly pass light vibrating in the first direction. The second polarizing plate 224 may perform a function of removing noise generated while passing through the remaining layers of the display panel 220 . Light passing through the second polarizing plate 224 and removing noise may include light mainly vibrating in the first direction.

제2 편광판(224)을 통과하여 노이즈가 제거된 제1 방향 광은 카메라(230)로 입사될 수 있다. (S370) 구체적으로, 카메라(230)에서 광신호를 전기신호로 변경하는 다이오드로 입사될 수 있다. 여기서 다이오드는 이미지 센서(232)의 각 픽셀마다 구비될 수 있다.Light in the first direction from which noise has been removed by passing through the second polarizing plate 224 may be incident on the camera 230 . (S370) Specifically, the camera 230 may be incident to a diode that converts an optical signal into an electrical signal. Here, a diode may be provided for each pixel of the image sensor 232 .

카메라(230)는 제2 편광판(224)을 통과한 광 신호를 수신하여 노이즈가 제거된 영상 신호를 취득할 수 있다. (S380)The camera 230 may receive an optical signal passing through the second polarizing plate 224 to obtain an image signal from which noise has been removed. (S380)

도 6은 제1 편광판 및 제2 편광판을 이용하여 노이즈를 제거하는 제2 프로세서를 설명하기 위한 흐름도이다. 구체적으로, 도 6는 도4에서 설명한 제2 케이스와 관련된 흐름도이다.6 is a flowchart illustrating a second processor for removing noise using a first polarizing plate and a second polarizing plate. Specifically, FIG. 6 is a flowchart related to the second case described in FIG. 4 .

피사체에 반사된 광은 전 방향으로 진동하며 이동 단말기(200)의 디스플레이 패널(220)로 입사될 수 있다. (S410)The light reflected by the subject vibrates in all directions and may be incident on the display panel 220 of the mobile terminal 200 . (S410)

디스플레이 패널(220)은 제1 편광판(221)을 포함하고, 제1 편광판(221)은 디스플레이 패널(220)로 입사된 광에서 제1 방향으로 진동하는 광을 통과시킬 수 있다. (S420) 구체적으로, 제1 편광판(221)은 제1 방향에서 수직하게 진동하는 광일수록 적게 통과시킬 수 있다. 여기서, 제1 방향으로 진동하는 광은 디스플레이 패널(220)로 입사된 광 중 제1 방향에 수직하게 진동하는 광이 제거된 광을 의미할 수 있다. 구체적으로, 제1 방향과 이루는 각이 클수록 제1 편광판(221)을 통과하기 어려울 수 있고, 제1 편광판(221)을 통과한 광을 제1 방향으로 진동하는 광으로 지칭될 수 있다.The display panel 220 includes a first polarizing plate 221 , and the first polarizing plate 221 may pass light that vibrates in a first direction from light incident on the display panel 220 . (S420) Specifically, the first polarizing plate 221 may transmit less light that vibrates vertically in the first direction. Here, the light vibrating in the first direction may mean light from which light vibrating perpendicular to the first direction is removed from among the light incident on the display panel 220 . Specifically, as the angle formed with the first direction increases, it may be difficult to pass through the first polarizing plate 221 , and light passing through the first polarizing plate 221 may be referred to as light vibrating in the first direction.

제1 편광판(221)을 통과하여 제1 방향으로 진동하는 광은 제1 편광판(221)의 배면에 구비된 디스플레이 패널(220)의 나머지 레이어로 입사될 수 있다. (S430) 여기서, 디스플레이 패널(220)의 나머지 레이어는 발광층(222) 및 박막층(223)을 포함할 수 있다. 또한, 디스플레이 패널(220)을 지지하는 기판 및 발광층(222)에서 발광된 빛을 반사하는 반사판 중 적어도 하나를 더 포함할 수 있다.Light passing through the first polarizing plate 221 and vibrating in the first direction may be incident on the remaining layers of the display panel 220 provided on the rear surface of the first polarizing plate 221 . (S430) Here, the remaining layers of the display panel 220 may include an emission layer 222 and a thin film layer 223 . In addition, at least one of a substrate supporting the display panel 220 and a reflective plate reflecting light emitted from the light emitting layer 222 may be further included.

제1 편광판(221)을 통과한 빛은 디스플레이 패널(220)의 나머지 레이어를 통과하며 노이즈가 발생할 수 있다. (S440) 노이즈는 디스플레이 패널(220)의 나머지 레이어에 구비된 내부 구조물(예를 들어, 발광 소자(2221), 격벽(2222), 트렌지스터 등) 또는 레이어를 구성하는 물질에 의해서 발생할 수 있다. Light passing through the first polarizing plate 221 may pass through the remaining layers of the display panel 220 and may generate noise. (S440) The noise may be generated by an internal structure (eg, the light emitting element 2221 , the barrier rib 2222 , a transistor, etc.) provided in the remaining layers of the display panel 220 or a material constituting the layer.

제1 편광판(221)을 통과한 광은 디스플레이 패널(220)의 나머지 레이어를 통과하며 노이즈를 포함하게 되고, 노이즈를 포함한 광은 제2 편광판(224)으로 입사될 수 있다. (S450) 노이즈를 포함하는 광은 제1 편광판(221)을 통과한 광보다 제1 방향에서 수직한 방향으로 진동하는 광을 더 포함할 수 있다. Light passing through the first polarizing plate 221 may include noise while passing through the remaining layers of the display panel 220 , and the light including noise may be incident on the second polarizing plate 224 . ( S450 ) Light including noise may further include light vibrating in a direction perpendicular to the first direction than light passing through the first polarizing plate 221 .

노이즈를 포함하는 광은 제2 편광판(224)을 통과할 수 있다. (S460) 이때, 제2 편광판(224)은 제1 편광판(221)에 수직하게 구비될 수 있다. 제2 편광판(224)은 제1 방향에서 수직하게 진동하는 광을 통과시킬 수 있다. 구체적으로, 제2 편광판(224)은 제1 방향에서 수직하게 진동하는 광일 수록 많이 통과시킬 수 있다. 예를 들어, 제2 편광판(224)은 제1 방향과 90도로 진동하는 경우 전부 통과시키고, 45 도로 진동하는 경우 절반을 통과시키고, 제1 방향으로 진동하는 경우 통과시키지 않을 수 있다. Light including noise may pass through the second polarizing plate 224 . (S460) In this case, the second polarizing plate 224 may be provided perpendicular to the first polarizing plate 221 . The second polarizing plate 224 may pass light vibrating vertically in the first direction. Specifically, the second polarizing plate 224 can pass more light that vibrates vertically in the first direction. For example, the second polarizing plate 224 may pass through when it vibrates at 90 degrees to the first direction, half pass through when it vibrates at 45 degrees, and not pass through when it vibrates in the first direction.

제2 편광판(224)을 통과한 광은 디스플레이 패널(220)의 나머지 레이어를 통과하며 발생하는 노이즈일 수 있다. 구제적으로, 제2 편광판(224)을 통과한 광은 주로 제1 평광판(221)을 통과한 광이 디스플레이 패널(220)의 나머지 레이어를 통과하며 발생하는 노이즈 광일 수 있다. The light passing through the second polarizing plate 224 may be noise generated while passing through the remaining layers of the display panel 220 . Specifically, the light passing through the second polarizing plate 224 may be noise light generated mainly by the light passing through the first polarizing plate 221 passing through the remaining layers of the display panel 220 .

노이즈 광은 카메라(230)로 입사되고, (S470) 카메라는(S470)는 노이즈 광에 대응되는 노이즈 신호를 취득할 수 있다. (S480) 카메라(224)는 제2 편광판(224)을 통과한 광 신호를 전기 신호로 변환하여 노이즈에 대응하는 노이즈 신호를 획득할 수 있다. 이동 단말기(200)는 분별하여 취득한 노이즈 신호를 저장부에 저장할 수 있다. The noise light is incident on the camera 230 ( S470 ), and the camera ( S470 ) may acquire a noise signal corresponding to the noise light. (S480) The camera 224 may obtain a noise signal corresponding to the noise by converting the optical signal passing through the second polarizing plate 224 into an electrical signal. The mobile terminal 200 may store the classified and acquired noise signal in the storage unit.

카메라(224)가 제2 편광판(224)을 통해 노이즈 신호를 획득한 후, 제2 편광판(224)는 제거될 수 있다. (S490) 구체적으로, 이동 단말기(200)는 제2 편광판(224)을 카메라(224) 화각의 내외로 이동할 수 있는 구동부를 더 포함할 수 있다. 이동 단말기(200)는 카메라(224)가 제2 편광판(224)을 통해 노이즈 신호를 분별하여 획득한 후에, 구동부를 이용하여 제2 편광판(224)을 카메라(224)의 화각 외에 위치시킬 수 있다. After the camera 224 acquires the noise signal through the second polarizer 224 , the second polarizer 224 may be removed. (S490) Specifically, the mobile terminal 200 may further include a driving unit capable of moving the second polarizing plate 224 in and out of the camera 224 angle of view. After the camera 224 separates and acquires the noise signal through the second polarizing plate 224, the mobile terminal 200 may use the driving unit to position the second polarizing plate 224 outside the angle of view of the camera 224. .

카메라(230)는 제2 편광판(224)이 제거된 상태에서 노이즈가 포함된 영상 신호를 취득할 수 있다. (S500) 여기서, 카메라(224)가 취득하는 영상 신호는 제1 편광판(221)을 통과한 제1 방향의 광 및 디스플레이 패널(220)의 나머지 레이어를 통과하며 발생한 노이즈 광을 통해 생성될 수 있다.The camera 230 may acquire an image signal including noise while the second polarizing plate 224 is removed. (S500) Here, the image signal acquired by the camera 224 may be generated through light in the first direction that has passed through the first polarizing plate 221 and noise light generated while passing through the remaining layers of the display panel 220 . .

카메라(230)는 제2 편광판(224)이 화각 내에 위치할 때 획득한 노이즈 신호를 이용하여 제2 편광판(224)이 화각 외에 위치할 때 획득한 노이즈 포함 영상 신호에서 노이즈를 제거할 수 있다. (S510) The camera 230 may use a noise signal obtained when the second polarizer 224 is positioned within the angle of view to remove noise from the image signal including noise obtained when the second polarizer 224 is positioned outside the angle of view. (S510)

카메라(224)는 노이즈 포함 영상 신호에서 노이즈를 제거한 후 노이즈가 제거된 영상 신호를 획득할 수 있다. (S520) 카메라(224)는 노이즈가 제거된 영상 신호를 이용하여 피사체의 촬영 이미지를 생성할 수 있다. The camera 224 may obtain an image signal from which noise is removed after noise is removed from the image signal including noise. (S520) The camera 224 may generate a photographed image of the subject by using the image signal from which the noise has been removed.

이하에서는, 제2 편광판(224)의 위치를 구체적으로 살펴본다. 이하에서 설명되는 제2 평광판(224)는 제1 케이스와 같이 제1 편광판(224)과 동일 방향으로 나열될 수 있으며, 제2 케이스와 같이 제1 편광판(224)에 수직하게 나열될 수 있다. Hereinafter, the position of the second polarizing plate 224 will be described in detail. The second polarizing plate 224 described below may be arranged in the same direction as the first polarizing plate 224 like the first case, and may be arranged perpendicular to the first polarizing plate 224 like the second case. .

도 7는 일 실시예에 따른 제2 편광판(224)의 위치를 설명하기 위한 개략도이다. 동일한 구성에 대해서는, 도 3을 참조한다. 7 is a schematic diagram for explaining a position of the second polarizing plate 224 according to an embodiment. For the same configuration, refer to FIG. 3 .

제2 편광판(224)는 디스플레이 패널(220)과 카메라(230)의 사이에 구비되거나, 디스플레이 패널(220)의 레이어를 구성하거나, 카메라(230) 내부에 포함될 수 있다. 구체적으로, 도 3은 제2 편광판(224)이 디스플레이 패널(220)과 카메라(230)의 사이에 구비되는 실시예를 도시하였다. The second polarizing plate 224 may be provided between the display panel 220 and the camera 230 , constitute a layer of the display panel 220 , or be included in the camera 230 . Specifically, FIG. 3 shows an embodiment in which the second polarizing plate 224 is provided between the display panel 220 and the camera 230 .

제2 편광판(224)은 카메라(230)의 내부에 구비될 수 있다. 제2 편광판(224)는 카메라(230)에 포함되는 렌즈(231)의 일 면에 구비될 수 있다. 구체적으로, 제2편광판(224)은 렌즈(231)의 전면 또는 후면에 구비될 수 있다. The second polarizing plate 224 may be provided inside the camera 230 . The second polarizing plate 224 may be provided on one surface of the lens 231 included in the camera 230 . Specifically, the second polarizing plate 224 may be provided on the front or rear surface of the lens 231 .

경우에 따라서, 카메라(230)는 복수의 렌즈(231)를 포함하고, 제2 편광판(224)는 복수의 렌즈(231) 사이에 구비될 수 있다. 제2 편광판(224)은 최 상층 렌즈의 전면에 구비되거나, 최 하층 렌즈의 후면에 구비될 수 있다. In some cases, the camera 230 may include a plurality of lenses 231 , and the second polarizing plate 224 may be provided between the plurality of lenses 231 . The second polarizing plate 224 may be provided on the front surface of the uppermost lens or on the rear surface of the lowermost lens.

또한, 제2 편광판(224)은 렌즈(231)와 이미지 센서(232) 사이에 구비될 수 있다. 제2 편광판(224)은 이미지 센서(232) 내부에 구비될 수 있는데 이와 관련하여서는 이하에서 살펴본다. In addition, the second polarizing plate 224 may be provided between the lens 231 and the image sensor 232 . The second polarizing plate 224 may be provided inside the image sensor 232 , which will be described below.

도 8은 일 실시예에 따른 제2 편광판(224)의 위치를 설명하기 위한 개략도이다. 동일 구성에 대해서는 도 3을 참조한다. 8 is a schematic diagram for explaining a position of the second polarizing plate 224 according to an embodiment. See FIG. 3 for the same configuration.

이미지 센서(232)은 복수의 픽셀(B)을 포함하고, 각 픽셀(B)들은 수신한 광 신호를 전기 신호로 변경할 수 있다. 카메라(230)는 이미지 센서(232)의 각 픽셀(B) 별로 획득한 전기 신호를 이용하여 피사체의 영상 이미지를 구현할 수 있다. The image sensor 232 includes a plurality of pixels B, and each pixel B may convert a received optical signal into an electrical signal. The camera 230 may implement an image image of the subject by using the electric signal obtained for each pixel B of the image sensor 232 .

이미지 센서(232)의 각 픽셀(B)은 마이크로 렌즈(2321), 컬러필터(2322) 및 포도다이오드(2323)을 포함할 수 있다. 마이크로 렌즈(2321)은 포토 다이오드(2323)로 광을 리드하는 기능을 수행할 수 있다. 컬러 필터(2322)는 마이크로 렌즈(2321)를 통과한 광 중 특정 파장의 광만을 통과시킬 수 있다. 예를 들어, 컬러 필터(2322)은 빨간색을 통과시키거나, 파란색을 통과시키거나, 녹색을 통과시킬 수 있다. 경우에 따라서, 빨간색을 통과시키는 컬러 필터(2322), 파란색을 통과시키는 컬러 필터(2322) 및 녹색을 통과시키는 컬러 필터(2322)를 포함하는 단위 구성이 하나의 픽셀(B)을 구성할 수 있다. 포토 다이오드(2323)은 컬러 필터(2322)을 통과한 광 신호를 전기 신호로 전환할 수 있다. Each pixel B of the image sensor 232 may include a micro lens 2321 , a color filter 2322 , and a grape diode 2323 . The micro lens 2321 may perform a function of reading light to the photodiode 2323 . The color filter 2322 may pass only light of a specific wavelength among the light passing through the micro lens 2321 . For example, the color filter 2322 may pass red, blue, or green. In some cases, a unit configuration including a color filter 2322 passing red, a color filter 2322 passing blue, and a color filter 2322 passing green may constitute one pixel B. . The photodiode 2323 may convert the optical signal passing through the color filter 2322 into an electrical signal.

제2 편광판(224)는 각 픽셀(B) 마다 구비될 수 있다. 구체적으로, 제2 편광판(224)는 각 픽셀(B)에서 마이크로 렌즈(2321)과 컬러 필터(2322) 사이에 구비될 수 있다. The second polarizing plate 224 may be provided for each pixel B. Specifically, the second polarizing plate 224 may be provided between the micro lens 2321 and the color filter 2322 in each pixel B.

도 9은 일 실시예에 따른 제2 편광판(224)의 위치를 설명하기 위한 개략도이다. 동일 구성에 대해서는 도 3을 참조한다. 9 is a schematic diagram for explaining a position of the second polarizing plate 224 according to an embodiment. See FIG. 3 for the same configuration.

구체적으로, 도 9는 제2 편광판(224)이 각 픽셀(B) 마다 구비되는 다른 실시예를 도시하고 있다.Specifically, FIG. 9 shows another embodiment in which the second polarizing plate 224 is provided for each pixel B. Referring to FIG.

구체적으로, 도 9에 도시된 바와 같이 제2 편광판(224)는 각 픽셀(B)에서 마이크로 렌즈(2321)과 컬러 필터(2322) 사이에 구비될 수 있다. Specifically, as shown in FIG. 9 , the second polarizing plate 224 may be provided between the micro lens 2321 and the color filter 2322 in each pixel B.

추가적으로, 제2 편광판(224)은 공정 상의 편의를 고려하여 이미지 센서(232)의 각 픽셀(B)를 구성하는 레이어 사이에 선택적으로 구비될 수 있다. Additionally, the second polarizer 224 may be selectively provided between layers constituting each pixel B of the image sensor 232 in consideration of process convenience.

도 10은 일 실시예에 따른 제2 평광판(224)과 카메라(230)의 화각과의 관계를 설명하기 위한 개략도이다. 이하 동일 구성에 관해서는 도 3을 참조한다. 10 is a schematic diagram for explaining a relationship between the second polarizing plate 224 and the angle of view of the camera 230 according to an exemplary embodiment. Referring to FIG. 3 for the same configuration below.

제2 편광판(224)는 디스플레이 패널(220)과 카메라(230) 사이에 구비될 수 있다. 경우에 따라서, 제2 편광판(224)는 디스플레이 패널(220)의 배면 레이어를 구성할 수 있다. 또한, 제2 편광판(224)은 카메라(230) 상측 렌즈 전면에 구비될 수 있다. The second polarizer 224 may be provided between the display panel 220 and the camera 230 . In some cases, the second polarizing plate 224 may constitute a rear layer of the display panel 220 . In addition, the second polarizing plate 224 may be provided in front of the upper lens of the camera 230 .

제2 편광판(224)는 카메라(230)의 화각(θ)에 대응되는 영역을 오버랩하기 위한 사이즈로 제작될 수 있다. 따라서, 제2 편광판(224)는 카메라(230)와 거리가 이격될수록 넓은 면적을 가지도록 제작될 수 있다. 제2 편광판(224)은 디스플레이 패널(230)의 배면 전체에 구비될 수 있으나, 카메라(230)의 화각(θ)에 대응되는 크기로 제작됨이 바람직할 수 있다. The second polarizing plate 224 may be manufactured to have a size to overlap a region corresponding to the angle of view θ of the camera 230 . Accordingly, the second polarizing plate 224 may be manufactured to have a larger area as the distance from the camera 230 increases. The second polarizing plate 224 may be provided on the entire rear surface of the display panel 230 , but it may be preferable to have a size corresponding to the angle of view θ of the camera 230 .

도 11는 일 실시예에 따른 제2 편광판(224)의 위치를 설명하기 위한 개략도이다. 이하 동일 구성에 관해서는 도 3을 참조한다. 11 is a schematic diagram for explaining a position of the second polarizing plate 224 according to an embodiment. Referring to FIG. 3 for the same configuration below.

디스플레이 패널(220)은 제1 편광판(221), 발광층(222), 박막층(223) 및 플렉서블 기판(225)를 포함할 수 있다. 경우에 따라서, 플렉서블 기판(225)은 박막층(223)에 포함되는 구성일 수 있다. The display panel 220 may include a first polarizing plate 221 , a light emitting layer 222 , a thin film layer 223 , and a flexible substrate 225 . In some cases, the flexible substrate 225 may be included in the thin film layer 223 .

플렉서블 기판(225)은 유색으로 제작될 수 있다. 예를 들어, 플렉서블 기판은 노락색을 띠는 폴리이미드(PI)일 수 있다. The flexible substrate 225 may be manufactured in a color. For example, the flexible substrate may be yellow-colored polyimide (PI).

플렉서블 기판(225)이 플렉서블 기판(225)이 유색을 띄는 경우, 카메라(224)는 플렉서블 기판(225)을 투과한 빛을 수신하여 흰색 조화(White Balance)을 맞추기 어려울 수 있다. When the flexible substrate 225 is colored, it may be difficult for the camera 224 to receive the light transmitted through the flexible substrate 225 to achieve white balance.

상기 문제를 해결하기 위해, 플렉서블 기판(225)은 제2 편광판(224)이 삽입되는 홀(C)을 포함할 수 있다. 제2 평광판(224)은 카메라(230)의 화각에 대응되는 크기로 제작되고, 홀(C)은 제2 편광판(224)이 삽입될 수 있는 크기로 제작될 수 있다. To solve the above problem, the flexible substrate 225 may include a hole C into which the second polarizing plate 224 is inserted. The second polarizing plate 224 may be manufactured to have a size corresponding to the angle of view of the camera 230 , and the hole C may be manufactured to have a size into which the second polarizing plate 224 can be inserted.

경우에 따라서, 플레서블 기판(225)이 투명 재질로 제작되더라도 상기 구성의 특징을 포함할 수 있다. In some cases, even if the flexible substrate 225 is made of a transparent material, it may include the features of the above configuration.

여기서 플렉서블 기판(225)은 디스플레이 패널을 지지하는 기판으로, 경우에 다라서는 가요성을 가지지 않는 기판이 이용될 수 있다.Here, the flexible substrate 225 is a substrate supporting the display panel, and in some cases, a substrate having no flexibility may be used.

도 12은 제2 편광판을 통과하여 발생하는 격자 무늬 노이즈를 설명하기 위한 개념도이다. 이하에서 동일 구성에 대해서는 도 3을 참조한다. 12 is a conceptual diagram for explaining grid pattern noise generated through a second polarizing plate. Referring to FIG. 3 for the same configuration below.

제2 편광판(224)은 디스플레이 패널(220)을 지나며 발생한 노이즈를 완전히 제거하거나, 노이즈만을 완전히 분별하기 어려울 수 있다. 노이즈가 제1 방향의 수직한 방향으로만 발생되는 것을 아니기 때문이다. The second polarizing plate 224 may completely remove noise generated while passing through the display panel 220 , or it may be difficult to completely distinguish only the noise. This is because noise is not generated only in a direction perpendicular to the first direction.

제2 편광판(224)을 통과한 노이즈는 표정 장면(500)을 촬영한 촬영 이미지(400)에 격자 무늬(410)로 구현될 수 있다. 여기서 격자 무늬(410)는 반복성을 가지는 노이즈를 의미할 수 있으며, 촬영 이미지(400)가 블러(blur)하게 나타나는 원인이 될 수 있다. The noise passing through the second polarizing plate 224 may be implemented as a grid pattern 410 in the photographed image 400 of the facial expression scene 500 . Here, the grid pattern 410 may mean noise having repeatability, and may cause the photographed image 400 to appear blurry.

격자 무늬(410)는 디스플레이 패널(220)의 내부 구조 및 카메라(230)과 디스플레이 패널(220) 간 거리에 따라 구현될 수 있다. 격자 무늬(410)는 반복성을 가지기 때문에 촬영 이미지(400)를 푸리에 변환하여 제거할 수 있다. 이하에서는 촬영 이미지(400)에서 격자 무늬(410)를 제거하고 영상을 복원하는 프로세서를 구체적으로 살펴본다. The grid pattern 410 may be implemented according to the internal structure of the display panel 220 and the distance between the camera 230 and the display panel 220 . Since the grid pattern 410 has repeatability, the captured image 400 may be Fourier transformed and removed. Hereinafter, a processor for removing the grid pattern 410 from the captured image 400 and restoring the image will be described in detail.

도 13은 제2 편광판(224)을 통과하여 발생하는 격자 무늬 노이즈(410)를 포함하는 이미지를 제거하는 프로세서를 설명하기 위한 흐름도이다. 이하 동일한 구성에 대해서는 도 3 및 도 12를 참조한다. 또한, 이하에서는, 제2 편광판(224)이 제1 편광판(221)과 동일한 방향으로 배열된 케이스(제1 케이스)를 중심으로 설명한다. 13 is a flowchart for explaining a processor for removing an image including a grid pattern noise 410 generated by passing through the second polarizing plate 224 . Hereinafter, referring to FIGS. 3 and 12 for the same configuration. In addition, below, the case (first case) in which the second polarizing plate 224 is arranged in the same direction as the first polarizing plate 221 will be mainly described.

카메라(230)은 제2 편광판(224)을 지난 광을 통해 영상 신호를 획득할 수 있다. (S610) 카메라(230)가 획득한 영상 신호는 디스플레이 패널(220)에서 발생한 노이즈가 어느 정도 제거된 신호일 수 있다. 다만, 제2 편광판(224)을 통과한 노이즈는 격자 무늬로 영상 신호에 포함되어 있을 수 있다. The camera 230 may acquire an image signal through the light passing through the second polarizing plate 224 . (S610) The image signal acquired by the camera 230 may be a signal from which noise generated in the display panel 220 is removed to some extent. However, noise passing through the second polarizing plate 224 may be included in the image signal in a grid pattern.

카메라(230)는 획득한 영상 신호를 푸리에 변환하여, 주기 함수에 대한 푸리에 스펙트럼을 획득할 수 있다. (S620) The camera 230 may Fourier transform the obtained image signal to obtain a Fourier spectrum for a periodic function. (S620)

카메라(230)는 푸리에 스펙트럼에서 격자무늬에 대응되는 피크를 제거하여, 영상 신호에 포함된 격자 무늬를 제거할 수 있다. (S630)The camera 230 may remove the grid pattern included in the image signal by removing the peak corresponding to the grid pattern in the Fourier spectrum. (S630)

카메라(230)는 푸리에 스펙트럼에서 격자무늬에 대응되는 피크를 제거한 상태에서 영상을 복원할 수 있다. (S640) 영상을 복원하는 과정에서, 카메라(230)는 격자 무늬에 대응되는 피크게 제거된 푸리에 스펙트럼과 PSF(Point Spread Function) 함수를 정합하고(S641), PSF 함수를 정합한 상태에서 푸리에 역변환할 수 있다. (S642)The camera 230 may reconstruct the image in a state in which the peak corresponding to the grid pattern is removed from the Fourier spectrum. (S640) In the process of reconstructing the image, the camera 230 matches the Fourier spectrum and the PSF (Point Spread Function) function with the peaks corresponding to the grid pattern removed (S641), and the inverse Fourier transform in the state in which the PSF function is matched (S641) can do. (S642)

PSF 함수는 렌즈 제작과정에서 정해진 값으로, 렌즈를 통과한 점이 어떻게 퍼지는가는 나타내는 함수일 수 있다. The PSF function is a value determined during the lens manufacturing process, and may be a function indicating how a point passing through the lens spreads.

푸리에 스펙트럼에서 격자무늬에 대응되는 피크를 제거하고 푸리에 역변환하는 경우, 피크에 대응되는 주기 함수는 이미지에 반영되지 않을 수 있다. 피크는 노이즈에 의한 값 외에 피사체에 따른 값을 포함할 수 있다. 따라서, 피크 값을 0로 설정하고 바로 푸리에 역변환하는 것은 복원된 영상의 연속성을 해칠 수 있다. 일 실시예 따른 이동 단말기(200) PSF 함수를 정합하여 복원된 영상의 연속성을 보완할 수 있다. When a peak corresponding to the grid pattern is removed from the Fourier spectrum and the Fourier inverse transform is performed, the periodic function corresponding to the peak may not be reflected in the image. The peak may include a value according to a subject in addition to a value due to noise. Therefore, setting the peak value to 0 and immediately performing inverse Fourier transform may damage the continuity of the reconstructed image. The continuity of the restored image may be supplemented by matching the PSF function of the mobile terminal 200 according to an embodiment.

도 14는 푸리에 변환을 통해 격자 무늬 노이즈를 제거하는 프로세서를 설명하기 위한 개략도이다. 구체적으로, 도 14(a)는 격자 무늬를 포함하지 않는 이미지 및 그 이미지의 푸리에 스펙트럼을 도시하고 있다. 또한, 도 14(b)는 격자 무늬를 포함하는 이미지 및 그 이미지의 푸리에 스펙트럼을 도시하고 있다. 14 is a schematic diagram for explaining a processor for removing grid pattern noise through Fourier transform. Specifically, FIG. 14( a ) shows an image not including a grid pattern and a Fourier spectrum of the image. 14(b) shows an image including a grid pattern and a Fourier spectrum of the image.

푸리에 스펙트럼은 2차원 이미지에 대응하여 획득되는 값으로 가로 주파수, 세로 주파수에 대응하여 2차원 상에 값을 가질 수 있다. The Fourier spectrum is a value obtained corresponding to a two-dimensional image, and may have values in two dimensions corresponding to a horizontal frequency and a vertical frequency.

도 14(a)을 참조하면 격자 무늬의 노이즈가 없는 푸리에 스펙트럼은 중심(F(0,0))에만 피크가 포함될 수 있다. 다만, 도 14(b)를 참조하면, 격자 무늬의 노이즈를 포함하는 푸리에 스펙트럼은 그 외 피크(F(0.41), F(0.82)등)을 포함할 수 있다. Referring to FIG. 14(a) , a Fourier spectrum without grid pattern noise may include a peak only at the center (F(0,0)). However, referring to FIG. 14B , the Fourier spectrum including the grid pattern noise may include other peaks (F(0.41), F(0.82), etc.).

도 15는 격자 무늬 노이즈를 제거한 후 영상을 복원하는 프로세서를 설명하기 위한 개략도이다.15 is a schematic diagram for explaining a processor for reconstructing an image after removing grid pattern noise.

제1 스텝(STEP 1)에서는 격자 무늬 노이즈를 포함하는 이미지를 푸리에 변환할 수 있다. In the first step STEP 1, an image including grid pattern noise may be Fourier transformed.

제2 스텝(STEP 2)에서는 푸리에 스펙트럼에서 격자 무늬에 대응되는 피크 값을 제거할 수 있다. In the second step STEP 2, a peak value corresponding to a grid pattern may be removed from the Fourier spectrum.

제 3a 스템(STEP 3a)는 PSF 정합 없이 푸리에 역변환을 통해 영상을 복원한 실시예를 도시하고 있다. 격자 무늬에 대응되는 주기 함수 값이 제거되었기 때문에 영상의 연속성이 부드럽지 않은 것을 확인할 수 있다. The third stem STEP 3a shows an embodiment in which an image is reconstructed through inverse Fourier transform without PSF matching. Since the periodic function value corresponding to the grid pattern has been removed, it can be seen that the continuity of the image is not smooth.

제 3b 스텝(STEP 3b)는 PSF 정합 후 영상을 복원하는 프로세서를 도시하고 있다. PSF를 정합하는 경우 렌즈의 점 퍼짐 정도를 고려하여, 제거된 주기 함수에 일정 값이 설정되기 때문에, 복원된 영상의 연속성이 보다 부드러울 수 있다. Step 3b (STEP 3b) shows a processor for reconstructing an image after PSF matching. When the PSF is matched, the continuity of the reconstructed image may be smoother because a certain value is set in the removed periodic function in consideration of the degree of dot spread of the lens.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by a reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the present invention are included in the scope of the present invention.

100, 200: 이동단말기 210: 프레임
220: 디스플레이 패널 221: 제1 편광판
222: 발광층 223: 박막층
224: 제2 편광판 230: 카메라
240: 입력키 250: 배젤
260: 리시버100, 200: mobile terminal 210: frame
220: display panel 221: first polarizing plate
222: light emitting layer 223: thin film layer
224: second polarizer 230: camera
240: input key 250: bezel
260: receiver

Claims (12)

발광층 상에 제1 편광판을 포함하는 디스플레이 패널;
상기 디스플레이 패널의 배면에 구비되는 제2 편광판; 및
상기 디스플레이 패널 및 상기 제2 편광판을 지난 광을 이용하여 피사체의 이미지를 획득하는 카메라;를 포함하는 이동 단말기. a display panel including a first polarizing plate on the light emitting layer;
a second polarizing plate provided on a rear surface of the display panel; and
and a camera configured to acquire an image of a subject by using the light passing through the display panel and the second polarizing plate. 제1항에 있어서,
상기 제2 편광판은
상기 제1 편광판과 동일 방향의 광을 통과시키는 것을 특징으로 하는 이동 단말기.According to claim 1,
The second polarizing plate is
A mobile terminal, characterized in that light in the same direction as that of the first polarizing plate passes. 제1항에 있어서,
상기 제2 편광판은
상기 제2 편광판이 통과시키는 광의 수직 방향 광을 통과시키고,
상기 이동 단말기는
상기 제2 편광판을 상기 카메라의 화각 내외로 이동하는 구동부를 포함하는 것을 특징으로 하는 이동 단말기.According to claim 1,
The second polarizing plate is
The second polarizing plate passes the light in the vertical direction of the light passing through,
the mobile terminal
and a driving unit for moving the second polarizing plate in and out of the angle of view of the camera. 제3항에 있어서,
상기 카메라는
상기 제2 편광판이 상기 카메라의 화각 내에 위치한 상태에서 상기 디스플레이 패널을 통과하여 발생되는 노이즈를 획득하고,
상기 제2 편광판이 상기 카메라의 화각 외에 위치한 상태에서 상기 노이즈가 포함된 피사체의 이미지를 획득하고,
상기 노이즈가 포함된 피사체의 이미지에서 상기 노이즈를 제거하고, 노이즈가 제거된 피사체의 이미지를 획득하는 것을 특징으로 하는 이동 단말기.4. The method of claim 3,
the camera is
acquiring noise generated by passing through the display panel while the second polarizing plate is positioned within the angle of view of the camera;
acquiring the image of the subject including the noise in a state where the second polarizing plate is located outside the angle of view of the camera;
and removing the noise from the image of the subject including the noise, and acquiring an image of the subject from which the noise has been removed. 제1항에 있어서,
상기 제2 편광판은
상기 디스플레이 패널 및 상기 카메라 사이에 구비되는 것을 특징으로 하는 이동 단말기.According to claim 1,
The second polarizing plate is
Mobile terminal, characterized in that provided between the display panel and the camera. 제1항에 있어서,
상기 제2 편광판은
상기 카메라를 구성하는 적어도 하나의 렌즈의 전면 또는 후면에 구비되는 것을 특징으로 하는 이동 단말기. According to claim 1,
The second polarizing plate is
Mobile terminal, characterized in that provided on the front or rear of at least one lens constituting the camera. 제1항에 있어서,
상기 제2 편광판은
상기 카메라를 구성하는 이미지 센서의 각 픽셀마다 구비되는 것을 특징으로 하는 이동 단말기.According to claim 1,
The second polarizing plate is
A mobile terminal, characterized in that provided for each pixel of the image sensor constituting the camera. 제7항에 있어서,
상기 제2 편광판은
각 픽셀에서, 마이크로 렌즈와 컬러 필터 사이에 구비되는 것을 특징으로 하는 이동 단말기.8. The method of claim 7,
The second polarizing plate is
In each pixel, a mobile terminal, characterized in that provided between the micro lens and the color filter. 제7항에 있어서,
상기 제2 편광판은
각 픽셀에서, 컬러 필터와 포토다이오드 사이에 구비되는 것을 특징으로 하는 이동 단말기.8. The method of claim 7,
The second polarizing plate is
In each pixel, a mobile terminal, characterized in that provided between the color filter and the photodiode. 제1항에 있어서,
상기 제2 편광판은
상기 카메라의 화각에 대응되는 영역을 오버랩하기 위한 사이즈를 가지는 것을 특징으로 하는 이동 단말기.According to claim 1,
The second polarizing plate is
A mobile terminal, characterized in that it has a size to overlap an area corresponding to the angle of view of the camera. 제10항에 있어서,
상기 디스플레이는
지지 기판이 배면을 구성하고,
상기 지지 기판은
상기 제2 편광판이 삽입되는 홀을 포함하는 것을 특징으로 하는 이동 단말기.11. The method of claim 10,
the display is
The support substrate constitutes the rear surface,
The support substrate is
and a hole into which the second polarizing plate is inserted. 제1항에 있어서,
상기 카메라는
상기 피사체의 이미지를 푸리에 변환 후 상기 제2 편광판을 통과한 격자 패턴을 제거하고,
격자 패턴이 제거된 상태에서 상기 카메라에 포함된 렌즈의 포인트 스프레드 함수(Point Spread Function, PSF)를 정합하고,
상기 포인트 스프레드 함수(PSF)를 정합한 상태에서 푸리에 역변환하여 상기 피사체 이미지를 복원하는 것을 특징으로 하는 이동 단말기.According to claim 1,
the camera is
After Fourier transforming the image of the subject, the grid pattern passing through the second polarizing plate is removed,
Matching the point spread function (PSF) of the lens included in the camera with the grid pattern removed,
and restoring the subject image by performing an inverse Fourier transform in a state in which the point spread function (PSF) is matched.
KR1020200037691A 2020-03-27 2020-03-27 Mobile terminar KR20210120682A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200037691A KR20210120682A (en) 2020-03-27 2020-03-27 Mobile terminar
PCT/KR2020/005306 WO2021194005A1 (en) 2020-03-27 2020-04-22 Mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200037691A KR20210120682A (en) 2020-03-27 2020-03-27 Mobile terminar

Publications (1)

Publication Number Publication Date
KR20210120682A true KR20210120682A (en) 2021-10-07

Family

ID=77892016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200037691A KR20210120682A (en) 2020-03-27 2020-03-27 Mobile terminar

Country Status (2)

Country Link
KR (1) KR20210120682A (en)
WO (1) WO2021194005A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113544A1 (en) * 2021-12-17 2023-06-22 삼성전자 주식회사 Electronic device comprising under-display camera and operation method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100010669A (en) * 2008-07-23 2010-02-02 엘지이노텍 주식회사 Camera module
KR101275600B1 (en) * 2011-10-25 2013-07-04 (주)그림 Apparatus for inspecting stereo-scopic image display filter
KR101613433B1 (en) * 2015-11-25 2016-04-20 (주)엠시스 Apparatus and method for improving picture quality of digital photographing device
CN106843389B (en) * 2017-01-09 2022-08-05 Oppo广东移动通信有限公司 Electronic device
JP2019053227A (en) * 2017-09-15 2019-04-04 シャープ株式会社 Photographing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113544A1 (en) * 2021-12-17 2023-06-22 삼성전자 주식회사 Electronic device comprising under-display camera and operation method thereof

Also Published As

Publication number Publication date
WO2021194005A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR102415651B1 (en) Mobile terminal
KR102364084B1 (en) Mobile terminal and method for controlling the same
KR102339178B1 (en) Mobile terminal and method for controlling the same
EP3502767B1 (en) Mobile terminal and method for controlling the same
US10295157B2 (en) Mobile terminal
US10824054B2 (en) Mobile terminal
KR20170005649A (en) 3d camera module and mobile terminal comprising the 3d camera module
KR20160149068A (en) Mobile terminal and method for controlling the same
CN111936818B (en) Light source module including transparent member having super surface and electronic device including the same
KR20160009914A (en) Mobile terminal
KR20210143063A (en) An electronic device comprising a plurality of cameras
KR20210071253A (en) Camera movement controlling method and apparatus
KR20150091902A (en) Mobile terminal
US20220367541A1 (en) Image sensor, mobile terminal, and image capturing method
KR20210120682A (en) Mobile terminar
KR102611056B1 (en) Mobile terminal and Method for controlling the same
US9811160B2 (en) Mobile terminal and method for controlling the same
KR102127396B1 (en) Image acquiring device
US12032186B2 (en) Spectral filter, and image sensor and electronic device including spectral filter
KR20170026002A (en) 3d camera module and mobile terminal comprising the 3d camera module
KR102102655B1 (en) Biometric authentication device
KR20200129352A (en) Camera module for compensating focus of lens using elastic member and electronic device including the same
KR102637419B1 (en) Mobile terminal and 3D image conversion method thereof
US20230164413A1 (en) Camera module and electronic device including the same
CN213028136U (en) Mobile terminal