KR102198341B1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102198341B1
KR102198341B1 KR1020180164523A KR20180164523A KR102198341B1 KR 102198341 B1 KR102198341 B1 KR 102198341B1 KR 1020180164523 A KR1020180164523 A KR 1020180164523A KR 20180164523 A KR20180164523 A KR 20180164523A KR 102198341 B1 KR102198341 B1 KR 102198341B1
Authority
KR
South Korea
Prior art keywords
liquid crystal
image sensing
image
fov
sensing elements
Prior art date
Application number
KR1020180164523A
Other languages
English (en)
Other versions
KR20200075634A (ko
Inventor
구재필
강동욱
유세운
장성현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180164523A priority Critical patent/KR102198341B1/ko
Priority to CN201980083777.XA priority patent/CN113196376B/zh
Priority to PCT/KR2019/017852 priority patent/WO2020130557A1/en
Priority to EP19900857.4A priority patent/EP3847637A4/en
Priority to US16/718,315 priority patent/US11601581B2/en
Publication of KR20200075634A publication Critical patent/KR20200075634A/ko
Application granted granted Critical
Publication of KR102198341B1 publication Critical patent/KR102198341B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1313—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells specially adapted for a particular application
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/294—Variable focal length devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0404—Matrix technologies
    • G09G2300/0408—Integration of the drivers onto the display substrate
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures

Abstract

전자 장치가 개시된다. 전자 장치는, 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널, 디스플레이 상부에 배치되며, 입사되는 광을 상기 복수의 이미지 센싱 소자로 투사하는 광학 소자, 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부 및, 적어도 하나의 이미지 센싱 소자의 FOV를 조절하도록 시역 조절부를 제어하며, 복수의 이미지 센싱 소자로부터 수신된 입력 신호를 처리하여 이미지 표시 소자에 표시하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법 {Electronic apparatus and control method thereof }
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 자세하게는 이미지 센싱 소자를 포함하는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 가정, 사무실, 공공 장소 등 다양한 장소에서 이용되는 디스플레이 장치는 최근 수년 간 지속적으로 발전하고 있다.
최근에는 사용자가 화면 상의 자신의 모습을 보면서 다양한 인터렉션을 수행할 수 있는 디스플레이 장치가 제공되고 있다.
예를 들어, 스마트 폰을 통해 셀프 촬영된 이미지가 화면 상에 디스플레이될 수 있는데, 카메라가 대부분 스마트폰 상단에 위치함으로 인해 스마트 폰을 바라보는 사용자의 시선은 스마트 폰의 정면을 향하고 있으나, 화면 상의 사용자 시선은 사용자를 바라보지 않는다는 시선 불일치 문제가 발생한다. 또한, 스마트 폰 상단에 카메라 배치를 위한 공간이 필요하게 되어, Full Screen Display(Bezel-less) 구현에 제약이 발생한다는 문제점이 있다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시의 목적은 디스플레이 패널에 복수의 이미지 센싱 소자를 구비하여 시선 불일치 문제를 해결하고, 복수의 이미지 센싱 소자의 FOV를 조절하여 사용자 인터렉션에 적합한 촬영 영상을 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 개시의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널, 상기 디스플레이 패널 상부에 배치되며, 입사되는 광을 상기 복수의 이미지 센싱 소자로 투사하는 광학 소자, 상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부 및 적어도 하나의 이미지 센싱 소자의 FOV를 조절하도록 상기 시역 조절부를 제어하며, 상기 복수의 이미지 센싱 소자로부터 수신된 입력 신호를 처리하여 상기 이미지 표시 소자에 표시하는 프로세서를 포함하낟.
여기서, 상기 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 상기 복수의 이미지 센싱 소자는 상기 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열되며, 상기 복수의 이미지 센싱 소자 각각은, 상기 적어도 하나의 이미지 표시 소자와 동일 레이어(Layer)에 배치되거나, 상이한 레이어에 배치될 수 있다.
또한, 상기 시역 조절부는, 상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며, 상기 프로세서는, 상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어할 수 있다.
또한, 상기 프로세서는, 상기 광학 소자에 포함된 광학 렌즈 각각의 배치 위치에 기초하여 대응되는 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하여 디스플레이의 FOV를 조정할 수 있다.
또한, 상기 프로세서는, 상기 디스플레이의 FOV를 확장시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제1 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어하고, 상기 디스플레이의 FOV를 축소시키는 경우 상기 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제2 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어할 수 있다.
또한, 상기 광학 소자는, 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며, 상기 시역 조절부는, 상기 광학 소자에 전압을 인가하는 전압 인가부를 포함하며, 상기 프로세서는, 상기 복수의 액정 렌즈의 배치 위치에 기초하여 상기 복수의 액정 렌즈 각각에 상이한 전압을 인가하도록 상기 전압 인가부를 제어할 수 있다.
또한, 상기 이미지 표시 소자로부터 방출되는 광을 분산시키는 광학 소자를 더 포함할 수 있다.
또한, 상기 프로세서는, 상기 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동할 수 있다.
또한, 상기 프로세서는, 상기 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 상기 복수 개의 영상을 처리하여 상기 이미지 표시 소자에 표시할 출력 영상을 획득할 수 있다.
또한, 상기 프로세서는, 사용자 커맨드에 따라 상이한 배치 위치에 배치된 복수의 이미지 센싱 소자의 FOV를 상이하게 조절하도록 상기 시역 조절부를 제어할 수 있다.
여기서, 상기 복수의 이미지 센싱 소자 각각은, 단일 센싱 소자 또는 매크로(Macro) 픽셀 형태의 2차원 센싱 소자일 수 있다.
한편, 본 개시의 일 실시 예에 따른, 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널, 상기 디스플레이 패널 상부에 배치되며, 입사되는 광을 상기 복수의 이미지 센싱 소자로 투사하는 광학 소자 및 상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부;를 포함하는 전자 장치의 제어 방법은, 적어도 하나의 이미지 센싱 소자의 FOV를 조절하도록 상기 시역 조절부를 제어하는 단계, 상기 FOV가 조절된 이미지 센싱 소자를 포함하는 상기 복수의 이미지 센싱 소자로부터 영상 신호를 획득하는 단계 및, 상기 획득된 영상 신호에 기초하여 상기 이미지 표시 소자로 제공하여 출력 영상을 디스플레이하는 단계를 포함할 수 있다.
여기서, 상기 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 상기 복수의 이미지 센싱 소자는 상기 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열되며, 상기 복수의 이미지 센싱 소자 각각은, 상기 적어도 하나의 이미지 표시 소자와 동일 레이어에 배치되거나, 상이한 레이어에 배치될 수 있다.
또한, 상기 시역 조절부는, 상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며, 상기 시역 조절부를 제어하는 단계는, 상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어할 수 있다.
또한, 상기 시역 조절부를 제어하는 단계는, 상기 광학 소자에 포함된 광학 렌즈 각각의 배치 위치에 기초하여 대응되는 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하여 디스플레이의 FOV를 조정할 수 있다.
또한, 상기 시역 조절부를 제어하는 단계는, 상기 디스플레이의 FOV를 확장시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제1 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어하고, 상기 디스플레이의 FOV를 축소시키는 경우 상기 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제2 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어할 수 있다.
또한, 상기 광학 소자는, 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며, 상기 시역 조절부는, 상기 광학 소자에 전압을 인가하는 전압 인가부를 포함하며, 상기 시역 조절부를 제어하는 단계는, 상기 복수의 액정 렌즈의 배치 위치에 기초하여 상기 복수의 액정 렌즈 각각에 상이한 전압을 인가하도록 상기 전압 인가부를 제어할 수 있다.
또한, 상기 시역 조절부를 제어하는 단계는, 상기 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동할 수 있다.
또한, 상기 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 상기 복수 개의 영상을 처리하여 상기 이미지 표시 소자에 표시할 출력 영상을 획득하는 단계를 더 포함할 수 있다.
또한, 상기 시역 조절부를 제어하는 단계는, 사용자 커맨드에 따라 상이한 배치 위치에 배치된 복수의 이미지 센싱 소자의 FOV를 상이하게 조절하도록 상기 시역 조절부를 제어할 수 있다.
상술한 바와 같이 본 개시의 다양한 실시 예에 따르면, 셀프 촬영시 사용자 시선 불일치 문제를 극복할 수 있게 되며, 디스플레이 장치의 베젤을 최소화하는 효과를 제공할 수 있다.
또한, 이미지 센싱 소자의 초점 조절이 가능하므로 사용자 인터렉션에 적합한 화각으로 촬영된 영상을 획득할 수 있게 된다.
도 1a는 본 개시의 일 실시 예에 따른 디스플레이 구현 예를 설명하기 위한 도면이다.
도 1b는 본 개시의 일 실시 예에 따른 디스플레이 동작을 설명하기 위한 도면이다.
도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 촬영 모드를 설명하기 위한 도면이다.
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 촬영 모드를 설명하기 위한 도면이다.
도 2c는 본 개시의 일 실시 예에 따른 전자 장치의 디스플레이 모드를 설명하기 위한 도면이다.
도 2d는 본 개시의 일 실시 예에 따른 전자 장치의 디스플레이 모드를 설명하기 위한 도면이다.
도 3a는 본 개시의 일 실시 예에 따라 이미지 센싱 소자의 FOV가 확장된 경우를 설명하기 위한 도면이다.
도 3b는 도 3a의 경우 획득되는 이미지를 설명하기 위한 도면이다.
도 3c는 본 개시의 일 실시 예에 따라 이미지 센싱 소자의 FOV가 축소된 경우를 설명하기 위한 도면이다.
도 3d는 도 3c의 경우 획득되는 이미지를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 5a는 본 개시의 일 실시 예에 따른 디스플레이 패널의 일 구현 형태를 설명하기 위한 도면들이다.
도 5b는 본 개시의 일 실시 예에 따른 디스플레이 패널의 다른 구현 형태를 설명하기 위한 도면들이다.
도 6a는 본 개시의 다른 실시 예에 따른 디스플레이의 일 구현 형태를 설명하기 위한 도면들이다.
도 6b는 본 개시의 다른 실시 예에 따른 디스플레이의 다른 구현 형태를 설명하기 위한 도면들이다.
도 6c는 본 개시의 다른 실시 예에 따른 디스플레이의 또 다른 구현 형태를 설명하기 위한 도면들이다.
도 7은 본 개시의 일 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시 예에 따라 액정 셔터 방식을 이용하여 디스플레이의 FOV를 넓히는 방법을 설명하기 위한 도면이다.
도 8b는 본 개시의 일 실시 예에 따라 액정 셔터 방식을 이용하여 디스플레이의 FOV를 넓히는 방법을 설명하기 위한 도면이다.
도 8c는 본 개시의 일 실시 예에 따라 액정 셔터 방식을 이용하여 디스플레이의 FOV를 좁히는 방법을 설명하기 위한 도면이다.
도 8c는 본 개시의 일 실시 예에 따라 액정 셔터 방식을 이용하여 디스플레이의 FOV를 좁히는 방법을 설명하기 위한 도면이다.
도 9a는 본 개시의 다른 실시 예에 따라 액정 렌즈 방식을 이용하여 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 9b는 본 개시의 다른 실시 예에 따라 액정 렌즈 방식을 이용하여 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 9c는 본 개시의 다른 실시 예에 따라 액정 렌즈 방식을 이용하여 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 9d는 본 개시의 다른 실시 예에 따라 액정 렌즈 방식을 이용하여 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 9e는 본 개시의 또 다른 실시 예에 따른 액정 렌즈의 구현 예를 설명하기 위한 도면이다.
도 9f는 본 개시의 또 다른 실시 예에 따른 액정 렌즈의 구현 예를 설명하기 위한 도면이다.
도 9g는 본 개시의 또 다른 실시 예에 따른 액정 렌즈의 구현 예를 설명하기 위한 도면이다.
도 10은 본 개시의 다른 실시 예에 따라 액정 렌즈 방식을 이용하여 디스플레이의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 디스플레이 구동 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시 예에 따라 액정 셔터 방식을 이용하는 디스플레이 구동 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 다른 실시 예에 따라 액정 렌즈 방식을 이용하는 디스플레이 구동 방법을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시 예에 따른 영상 획득 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1a 및 도 1b는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
도 1a에 도시된 바와 같이 본 개시의 일 실시 예에 따른 전자 장치는 복수의 이미지 표시 소자(P: Display Pixel) 및 복수의 이미지 센싱 소자(IS:Image Sensing(or sensor) element)를 포함하는 디스플레이를 구비할 수 있다. 여기서, 이미지 표시 소자는, OLED(Organic Light Emitting Diodes), LED(Light-Emitting Diode), micro LED 등의 모든 자발광 소자 및 LCD(Liquid Crystal Display)와 같은 투과형 소자를 모두 포함할 수 있다. 또한, 이미지 센싱 소자는 포토 다이오드, CMOS, CCD 등 광전 효과를 이용하는 모든 소자를 포함할 수 있다. 이미지 센싱 소자는 단일 센싱 소자(또는 단일 픽셀 소자)로 구현되거나, 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현될 수 있다.
본 개시의 일 실시 예에 따르면, 복수의 이미지 센싱 소자 각각은 적어도 하나의 이미지 표시 소자 단위로 배치될 수 있다. 여기서, “적어도 하나”는 하나 또는 둘 이상을 의미할 수 있다. 예를 들어, 이미지 표시 소자 및 이미지 센싱 소자는 1:1 비율로 교번적으로 배치되거나, n:1 (n>1)비율로 배치될 수 있다. 또한, 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 복수의 이미지 센싱 소자는 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열될 수 있다. 이 경우, 복수의 이미지 센싱 소자 각각은, 적어도 하나의 이미지 표시 소자와 동일 레이어(예를 들어, 동일한 시트)에 배치되거나, 상이한 레이어(예를 들어, 상이한 시트)에 배치될 수 있다. 일 예로, 복수의 이미지 표시 소자 모두 동일 레이어에 배치되고, 복수의 이미지 센싱 소자 모두 복수의 이미지 표시 소자와 동일 레이어또는 상이한 레이어에 배치될 수 있다. 다른 예로, 복수의 이미지 표시 소자 모두 동일 레이어에 배치되고, 복수의 이미지 센싱 소자 중 적어도 일부는 복수의 이미지 표시 소자와 동일 레이어에 배치되고, 나머지는 복수의 이미지 표시 소자와 상이한 레이어에 배치될 수도 있다.
한편, 본 개시의 일 실시 예에 따르면, 도 1a 및 도 1b에 도시된 바와 같이 이미지 표시 소자(P)는 광을 방출하는 기능을 하고, 이미지 센싱 소자(IS)는 광을 직접하는 기능을 한다. 이 경우, 이미지 표시 소자(P) 상에는 광을 분산하는 광학 소자(10)가 배치되고, 이미지 센싱 소자(IS) 상에는 특정 시역으로부터 입사되는 광을 모아주는 광학 소자(20)가 배치될 수 있다. 예를 들어, 광을 분산하는 광학 소자(10)는 프리즘 또는 다양한 형태의 확산 광학계를 포함할 수 있으며, 하나 이상의 광학 필름 또는 광학 sheet 형태로 구현될 수 있다. 광을 모아주는 광학 소자(20)는 micro-Lens Array, lenticular lens 또는 다른 형태의 미세한 lens Array를 포함할 수 있다. 여기서, 광을 모아주는 광학 소자(20)는 초점 거리 조절이 가능한 적어도 하나의 광학 시트로 구성될 수 있다. 또한, 광을 모아주는 광학 소자(20)는 전기적 신호 제어를 통해 광을 투과 또는 차폐시키거나, 굴절시킬 수 있는 액정 패널을 포함할 수 있다.
도 2a 및 도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 촬영 모드를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따른 디스플레이는 도 2a에 도시된 바와 같이 특정 시역으로부터 입사된 광을 이미지 센싱 소자를 통해 집광하여 영상을 획득하는 활영 모드를 제공할 수 있다.
예를 들어 도 2b에 도시된 바와 같이 디스플레이는 디스플레이 패널(110), 광학 소자(120) 및 시역 조절부(130)를 포함하며, 외부로부터 입사되는 광은 광학 소자(120)를 통해 디스플레이 패널(110)에 구비된 이미지 센싱 소자(IS)로 투사되며, 이미지 센싱 소자(IS)는 투사된 신호에 기초하여 영상 신호를 획득할 수 있다. 여기서, 광학 소자(120)는 광학 렌즈를 포함하며, 예를 들어, micro-Lens Array, lenticular lens 또는 다른 형태의 미세한 lens Array를 포함할 수 있다. 이 경우, 시역 조절부(130)는 이미지 센싱 소자의 FOV를 조절하는 기능을 수행하는데 이에 대한 자세한 설명은 후술하도록 한다.
도 2c 및 도 2d는 본 개시의 일 실시 예에 따른 전자 장치의 디스플레이 모드를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따른 디스플레이는 도 2c에 도시된 바와 같이 영상 표시 소자로부터 나온 광을 특정 시역으로 확산하여 영상을 표시하는 디스플레이 모드를 제공할 수 있다.
예를 들어, 도 2d에 도시된 바와 같이 이미지 센싱 소자(IS)에 의해 획득된 영상 신호는 이미지 표시 소자(P)로 제공되며, 이에 따라 이미지 표시 소자(P)은 영상을 디스플레이할 수 있게 된다.
도 3a 내지 3d는 이미지 센싱 소자의 FOV에 기초하여 획득되는 이미지를 설명하기 위한 도면이다.
도 1a에 도시된 바와 같이 복수의 이미지 센싱 소자(IS) 각각은 특정 FOV(field of view)를 가지게 된다. 즉, 제1 이미지 센싱 소자(IS1)은 제1 FOV(FOV1), 제2 이미지 센싱 소자(IS2)는 제2 FOV(FOV1)과 같이 대응되는 시역을 가지게 된다.
이 경우, 도 3a에 도시된 바와 같이 각 이미지 센싱 소자의 FOV가 넓은 경우에는 각 이미지 센서의 FOV가 오버랩되고, 이에 따라 획득된 이미지는 도 3b에 도시된 바와 같이 블러링(Blurring) 현상으로 인해 흐릿한 이미지가 될 수 있다. 또한, 도 3c에 도시된 바와 같이 각 이미지 센싱 소자의 FOV가 좁은 경우, 획득된 이미지는 도 3d에 도시된 바와 같이 Dot 또는 Block Artifact와 같은 현상이 발생하게 된다.
이에 따라 이하에서는 다양한 사용자 컨텍스트 또는 전자 장치의 컨텍스트에 기초하여 적어도 하나의 이미지 센싱 소자의 FOV를 조절하고, 더 나아가 디스플레이의 FOV를 조절하는 다양한 실시 예에 대해 설명하도록 한다.
도 4는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 4에 따르면, 전자 장치(100)는 디스플레이 패널(110), 광학 소자(120), 시역 조절부(130) 및 프로세서(140)를 포함한다.
전자 장치(100)는 TV 또는 스마트 폰 등으로 구현될 수 있으나, 이에 한정되는 것은 아니며 태블릿 PC, 노트북 PC, LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 키오스크 등과 같이 디스플레이 기능 및 촬영 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.
디스프레이 패널(110)은 액정 디스플레이(Liquid Crystal Display Panel: LCD Panel), LED(Light-Emitting Diode), micro LED, 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display), 플라즈마 디스플레이(Plasma Display Panel: PDP) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이 패널(110)는 도 1a 내지 도 3b에서 설명한 바와 같이 복수의 이미지 표시 소자(P) 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자(IS)를 포함할 수 있다. 여기서, 이미지 표시 소자(P)는, OLED(Organic Light Emitting Diodes), LED(Light-Emitting Diode), micro LED 등의 모든 자발광 소자 및 LCD(Liquid Crystal Display)와 같은 투과형 소자를 모두 포함할 수 있다. 예를 들어, 이미지 표시 소자(P) 각각은 복수의 서브 픽셀을 포함할 수 있으며 복수의 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열 즉, 매트릭스 향태로 배치되어 디스플레이 패널(110)을 구성할 수 있다.
또한, 이미지 센싱 소자(IS)는 포토 다이오드, CMOS, CCD 등 광전 효과를 이용하는 모든 소자를 포함할 수 있다. 이미지 센싱 소자(IS)는 단일 센싱 소자(또는 단일 픽셀 소자)로 구현되거나, 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현될 수 있다.
도 5a 및 도 5b는 본 개시의 일 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따르면, 디스플레이(110)은 도 5a에 도시된 바와 같이 이미지 표시 소자(510) 및 이미지 센싱 소자(520)가 1:1 비율로 배치된 형태가 될 수 있다. 예를 들어, 이미지 표시 소자(510) 및 이미지 센싱 소자(520)는 도시된 바와 같이 교번적으로 배치될 수 있다. 여기서, 이미지 센싱 소자(520)는 단일 센싱 소자(또는 단일 픽셀 소자)일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 이미지 센싱 소자(520)는 복수의 픽셀 소자로 구현되는 것도 가능하다.
본 개시의 다른 실시 예에 따르면, 디스플레이(110)은 도 5b에 도시된 바와 같이 이미지 표시 소자(510) 및 이미지 센싱 소자(520)가 n:1 비율로 배치된 형태가 될 수 있다. 예를 들어, 이미지 센싱 소자(520)는 도시된 바와 같이 복수의 이미지 표시 소자(510) 사이에 배치될 수 있다. 여기서, 이미지 센싱 소자(520)는 복수의 픽셀 소자 예를 들어, 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현될 수 있다. 다만 이에 한정되는 것은 아니며, n:1 비율로 배치 형태에 있어서도 이미지 센싱 소자(520)가 단일 센싱 소자(또는 단일 픽셀 소자)로 구현되는 것도 가능하다.
도 6a 내지 도 6c는 본 개시의 다른 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따르면, 도 5c에 도시된 바와 같이 이미지 표시 소자(510) 및 이미지 센싱 소자(520)는 2차원적으로 상하 배치될 수 있다. 예를 들어, 도시된 바와 같이 이미지 표시 소자(510)의 전면 또는 배면에 이미지 센싱 소자(520)가 배치될 수 있다.
본 개시의 다른 실시 예에 따르면, 도 5d에 도시된 바와 같이 이미지 표시 소자(510) 및 이미지 센싱 소자(520)는 2차원적으로 좌우 배치될 수 있다. 예를 들어, 도시된 바와 같이 이미지 표시 소자(510)의 우측 또는 좌측에 이미지 센싱 소자(520)가 배치될 수 있다.
본 개시의 또 다른 실시 예에 따르면, 도 5e에 도시된 바와 같이 이미지 표시 소자(510) 및 이미지 센싱 소자(520)는 2차원적으로 상하좌우교차 배치될 수 있다. 예를 들어, 도시된 바와 같이 이미지 표시 소자(510)는 서로 인접하지 않도록 교차 배치되고, 이미지 센싱 소자(520) 또한 서로 인접하지 않도록 교차 배치될 수 있다.
한편, 디스플레이 패널(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
도 4로 돌아와서, 광학 소자(120)는 특정 시역으로부터 입사되는 광을 모아주는 기능을 한다. 여기서, 광학 소자(120)는 micro-Lens Array, lenticular lens 또는 다른 형태의 미세한 lens Array로 구현될 수 있다.
광학 소자(120)는 특정 시역으로부터 입사되는 광을 모아 이미지 센싱 소자(IS)로 제공할 수 있다. 이 경우, 이미지 센싱 소자(IS)는 광학 소자(120)를 통해 직접된 광에 기초하여 영상 신호를 획득할 수 있게 된다. 구체적으로, 이미지 센싱 소자(IS)는 광전 소자를 포함하여 입사된 광을 전기적 신호로 변환함으로써 영상 신호를 획득할 수 있다. 이 경우, 전기적 신호는 기판의 상부에 위치한 금속 배선을 통해 프로세서(140)로 전달될 수 있다.
시역 조절부(130)는 복수의 이미지 센싱 소자(IS)의 FOV(field of view)를 조절하도록 구성된다. 일 실시 예에 따라 시역 조절부(130)는 복수의 이미지 센싱 소자(IS) 각각의 FOV를 조절할 수 있다. 다른 실시 예에 따라 시역 조절부(130)는 적어도 하나의 이미지 센싱 소자(IS) 각각의 FOV를 상이하게 조정하여 결과적으로 디스플레이 패널(110)의 FOV를 조절할 수 있다.
본 개시의 일 실시 예에 따른 시역 조절부(130)는 광학 소자(120)의 상부 또는 하부에 배치되며, 이미지 센싱 소자(IS)보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함할 수 있다. 액정 셔터는 카메라의 셔터처럼 빛을 차단하도록 구현된 형태를 의미한다. 여기서, 복수의 셀 각각은 인가되는 전압에 따라 액정 셔터 방식으로 동작할 수 있다. 예를 들어, 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 복수의 셀 각각의 개폐 여부가 제어되고, 이에 기초하여 이미지 센싱 소자(IS)의 시역이 조정될 수 있다.
본 개시의 다른 실시 예에 따른 시역 조절부(130)는 광학 소자에 전압을 인가하는 전압 인가부를 포함할 수 있다. 이 경우, 광학 소자는 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함할 수 있다. 이 경우, 이미지 센싱 소자(IS) 각각에 대응되는 액정 렌즈에 대한 전압 인가 여부 또는 인가되는 전압의 세기 중 적어도 하나를 제어함에 따라 이미지 센싱 소자(IS)의 시역이 조정될 수 있다.
시역 조절부(130)와 관련된 자세한 설명은 도면을 참조하여 후술하도록 한다.
프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(140)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), T-CON(Timing controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(140)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(140)는 적어도 하나의 이미지 센싱 소자의 FOV를 조절하도록 시역 조절부(130)를 제어하며, 복수의 이미지 센싱 소자로부터 수신된 입력 신호를 처리하여 이미지 표시 소자에 표시할 수 있다.
일 실시 예에 따라 시역 조절부(130)가 액정 셔터 방식으로 구현되는 경우, 프로세서(140)는 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 복수의 셀 각각의 개폐 동작을 제어할 수 있다. 이에 따라, 이미지 센싱 소자의 FOV를 조절할 수 있게 된다.
이러한 원리를 이용하여 디스플레이의 FOV도 조절할 수 있다.
이 경우, 프로세서(140)는 광학 소자(120)에 포함된 광학 렌즈 각각의 배치 위치에 기초하여 대응되는 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하도록 시역 조절부(130)를 제어하여 디스플레이의 FOV를 조정할 수 있다. 여기서, 디스플레이의 FOV란 전자 장치(100)에 구비된 복수의 이미지 센싱 소자들 각각의 FOV에 의해 통합적으로 제공되는 FOV가 될 수 있다. 즉, 복수의 이미지 센싱 소자들을 하나의 통합 카메라로 상정한 경우, 통합 카메라의 FOV가 될 수 있다. 예를 들어, 프로세서(140)는 사용자 커맨드(또는 사용자 인터렉션)에 따라 상이한 배치 위치에 배치된 복수의 이미지 센싱 소자의 FOV를 상이하게 조절할 수 있다. 일 예로, 프로세서(140)는 사용자 커맨드(확대 또는 축소 커맨드)이 입력되면, 사용자 커맨드에 따른 확대 또는 축소 이미지를 제공하기 위해, 적어도 하나의 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정할 수 있다. 즉, 프로세서(140)는 디스플레이의 FOV를 사용자 커맨드에 대응되도록 조정할 수 있다.
예를 들어, 프로세서(140)는 사용자 커맨드에 따라 디스플레이의 FOV를 확장시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터 각각에서 제1 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 복수의 셀 각각의 개폐 동작을 제어할 수 있다. 여기서, 제1 위치의 셀 영역은 외곽 영역에 배치된 액정 셔터에서 디스플레이 패널(110)의 중앙 영역에 가까운 위치의 셀 영역이 될 수 있다. 이에 대한 자세한 설명은 도 8a 및 도 8b에서 하도록 한다.
또는, 프로세서(140)는 사용자 커맨드에 따라 디스플레이의 FOV를 축소시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터 각각에서 제2 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 복수의 셀 각각의 개폐 동작을 제어할 수 있다. 여기서, 제2 위치의 셀 영역은 외곽 영역에 배치된 액정 셔터에서 디스플레이 패널(110)의 중앙 영역에 먼 위치의 셀 영역이 될 수 있다. 이에 대한 자세한 설명은 도 8c 및 도 8d에서 하도록 한다.
다른 실시 예에 따라, 시역 조절부(130)가 액정 렌즈 방식으로 구현되는 경우, 복수의 액정 렌즈 각각에 대한 전압 인가 여부 또는 인가되는 전압의 세기 중 적어도 하나를 제어하여 대응되는 이미지 센싱 소자의 FOV를 조절할 수 있다.
또한, 프로세서(140)는 복수의 액정 렌즈의 배치 위치에 기초하여 복수의 액정 렌즈 각각에 상이한 전압을 인가하도록 전압 인가부를 제어하여, 디스플레이의 FOV를 조절할 수 있다.
예를 들어, 프로세서(140)는 사용자 커맨드에 따라 디스플레이의 FOV를 확장시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 렌즈의 FOV가 커지도록 해당 액정 렌즈에 전압을 인가하고, 나머지 액정 렌즈에 대해서도 액정 렌즈의 위치에 기초하여 적절한 전압을 인가할 수 있다.
또는, 프로세서(140)는 사용자 커맨드에 따라 디스플레이의 FOV를 축소시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 렌즈의 FOV가 작아지도록 해당 액정 렌즈에 전압을 인가하고, 나머지 액정 렌즈에 대해서도 액정 렌즈의 위치에 기초하여 적절한 전압을 인가할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 시역 조절부는, 도 7에 도시된 바와 같이 액정 셔터 형태로 구현될 수 있다. 여기서, 액정 셔터(710)는 이미지 센싱 소자(520)보다 더 미세한 크기의 복수의 셀을 포함하는 형태가 될 수 있다. 예를 들어, 액정 셔터(510)는 TFT Array 구조로 설계되어 이미지 센싱 소자(520)의 일부 영역으로 광이 입사되도록 할 수 있다. 예를 들어, 액정 셔터(710)는 투명 기판 및 전극으로 구성되고, 전원이 인가되지 않는 셀은 투명한 상태를 유지하여 광을 투과시키고 전원의 인가되는 셀은 불투명한 상태로 전환되어 광을 투과하지 못하도록 구현될 수 있다. 예를 들어, 액정 셔터(510)는 Pin Hole Mask(또는 Pin Hole Mask Array)로 구현될 수 있다.
도 7에 따르면, 액정 셔터(710)의 적어도 하나의 셀 영역(711)에만 전원이 인가되지 않고 나머지 셀 영역에는 전원이 인가되는 경우, 해당 셀 영역(711)을 통해서만 광이 입사되고 입사되는 광은 광학 소자(120)의 일 영역에서 굴절되어 이미지 센싱 소자(520)의 일부 영역으로 입사될 수 있다. 즉, 따라서, 액정 셔터(710)의 컨트롤을 통해 이미지 센싱 소자(520)의 FOV(Field of View)를 조절할 수 있다. 실시 예에 따라 각 액정 셔터(710)의 상부 또는 하부에 적어도 하나의 광학 소자(120)가 배치되어 각 이미지 센싱 소자(520) 별로 별개의 FOV가 생성될 수 있다.
한편, 일 실시 예에 따라 액정 셔터(710)에 대한 전원 인가를 제어하는 컨트롤러가 구비될 수 있으며, 컨트롤러는 프로세서(140)의 제어 신호에 따라 액정 셔터(710)를 컨트롤할 수 있다.
도 8a 내지 도 8d는 본 개시의 일 실시 예에 따른 디스플레이의 FOV를 조정하는 방법을 설명하기 위한 도면들이다.
도 8a 및 도 8b는 액정 셔터 방식을 이용하여 디스플레이의 FOV를 넓히는 경우를 도시한 것으로, 도시된 바와 같이 이미지 센싱 소자의 위치 별로 대응되는 액정 셔터의 개구 위치를 제어할 수 있다. 예를 들어 도 8a에 도시된 바와 같이 중앙 영역에 위치한 이미지 센싱 소자(B)에 대응되는 액정 셔터(720)의 경우 중심부에 위치한 셀 영역(721)이 개방되도록 제어하고, 외곽 영역에 위치된 이미지 센싱 소자(A, C)에 대응되는 액정 셔터(710, 730)에 대해서는 디스플레이 패널(110)의 중앙 영역에 가까운 위치의 셀 영역(711, 731)이 개방되도록 제어할 수 있다.
구체적으로, 도 8b에 도시된 바와 같이 디스플레이 패널(110)의 ① 내지 ⑨ 위치에 배치된 이미지 센싱 소자들을 가정하면, 중앙 영역에 위치한 이미지 센싱 소자 ⑤에 대응되는 액정 셔터의 경우 중심부에 위치한 셀 영역(815)이 개방되도록 제어하고, 외곽 영역에 위치된 이미지 센싱 소자들(①②③④⑥⑦⑧⑨)에 대응되는 액정 셔터에 대해서는 디스플레이 패널(110)의 중앙 영역에 가까운 위치의 셀 영역(811, 812, 813, 814, 816, 817, 818, 819)이 개방되도록 제어할 수 있다. 이 경우, 디스플레이의 FOV는 도시된 바와 같이 넓어지게 된다.
도 8c 및 도 8d는 액정 셔터 방식을 이용하여 디스플레이의 FOV를 좁히는 경우를 도시한 것으로, 도시된 바와 같이 이미지 센싱 소자의 위치 별로 대응되는 액정 셔터의 개구 위치를 제어할 수 있다. 예를 들어 도 8c에 도시된 바와 같이 중앙 영역에 위치한 이미지 센싱 소자(B)에 대응되는 액정 셔터(720)의 경우 중심부에 위치한 셀 영역(721)이 개방되도록 제어하고, 외곽 영역에 위치된 이미지 센싱 소자(A, C)에 대응되는 액정 셔터(710, 730)에 대해서는 디스플레이 패널(110)의 중앙 영역에서 먼 위치의 셀 영역(712, 732)이 개방되도록 제어할 수 있다.
구체적으로, 도 8d에 도시된 바와 같이 디스플레이 패널(110)의 ① 내지 ⑨ 위치에 배치된 이미지 센싱 소자들을 가정하면, 중앙 영역에 위치한 이미지 센싱 소자 ⑤에 대응되는 액정 셔터의 경우 중심부에 위치한 셀 영역(825)이 개방되도록 제어하고, 외곽 영역에 위치된 이미지 센싱 소자들(①②③④⑥⑦⑧⑨)에 대응되는 액정 셔터에 대해서는 디스플레이 패널(110)의 중앙 영역에 먼 위치의 셀 영역(821, 822, 823, 824, 826, 827, 828, 829)이 개방되도록 제어할 수 있다. 이 경우, 디스플레이의 FOV는 도시된 바와 같이 좁아지게 된다.
도 9a 내지 도 9d는 본 개시의 다른 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
본 개시의 다른 실시 예에 따르면, 광학 소자(120)를 액정 렌즈 어레이(예를 들어 마이크로 액정 렌즈 어레이)로 구현하여 시역 조절부(130)의 기능을 수행할 수 있다. 구체적으로, 액정의 강유전성(ferroelectric)을 이용하여 액정 렌즈의 초점 거리를 변화시킬 수 있다. 즉, 전압의 세기에 따라 액정 분자의 배향(또는 배향 각도)에 변화가 발생하며, 이에 따라 액정 렌즈의 초점 거리를 조절할 수 있게 된다. 이 경우, 이미지 센싱 소자는 최소 2x2 이상의 Macro Pixel 구조로 형성되는 것이 바람직하다.
일 실시 예에 따라 액정 렌즈는, 도 9a 내지 도 9d에 도시된 바와 같이 렌즈층(121), 액정층(122) 및 전극층(123-1, 123-2)을 포함할 수 있다. 액정층(122)은 인가되는 전극층(123-1, 123-2)을 통해 전압의 세기에 따라 광학적 특성이 변화하여 렌즈층(121)을 통과하는 광의 굴절을 상이한 방향으로 제어할 수 있다. 여기서, 전극층(123-1, 123-2)은 통과하는 광에 대한 영향을 최소화하기 위하여 투명한 재질에 플랫(flat)한 형태를 가지는 것이 바람직하다. 예를 들어, 도 9a 내지 도 9d에 도시된 바와 같이 전극층(123-1, 123-2)에 인가되는 전압의 세기에 따라 액정 분자의 배향 각도가 변경되고, 이에 따라 액정 렌즈의 초점 거리가 변경될 수 있다. 이와 같이 액정 렌즈의 초점 거리가 변경되면 결과적으로 이미지 센싱 소자(520)의 FOV를 변경시킬 수 있게 된다.
도 9e 내지 도 9g는 본 개시의 또 다른 실시 예에 따른 액정 렌즈의 구현 예를 설명하기 위한 도면들이다.
본 개시의 다른 실시 예에 따르면, 액정 렌즈(920)는 도 9e에 도시된 바와 같이 전극층(923, 924) 및 액정층(922)을 포함할 수 있다.
전극층(923, 924)은 액정층(922)에 전계를 인가한다. 여기서, 전극층(923, 924)은 전극층(923, 924)을 통과하는 광에 대한 영향을 최소화하기 위하여 투명한 재질에 플랫(flat)한 형태를 가지는 것이 바람직하다. 여기서, 액정층(922)은 제1 전극층(924)에 포함된 복수의 전극에 대한 전극 인가 여부에 따라 렌즈 형상을 형성할 수 있으며, 제2 전극층(923)은 공통 전극이 될 수 있다.
액정층(922)은 제1 전극층(924)을 구성하는 복수의 전극 중 전압이 인가되는 전극의 위치에 따라 상이한 크기 또는 상이한 형상의 렌즈 형상을 형성할 수 있다. 이를 위해 액정층(922)은 전압에 따라 렌즈 형상이 변경되는 액체 또는 나노 물질로 구성될 수 있다.
도 9f는 일 예를 도시한 것으로, 액정층(922)은 전극층(924)을 구성하는 복수의 전극(924-1, 924-2, 924-3) 중 전압이 인가되는 전극의 위치에 따라 렌즈 형상을 형성할 수 있다. 이를 위해 액정층(922)은 전압에 따라 렌즈 형상이 변경되는 액체 또는 나노 물질로 구성될 수 있다. 예를 들어, 서로 이격된 전극(924-1, 924-3)에 - 전압을, 해당 전극들 사이에 위치한 전극에 + 전압을 인가하게 되면, 액정층(922)은 도시된 바와 같이 대응되는 위치에 LC(liquid-crystal) 렌즈를 형성하게 된다. 도 9g는 다른 예를 도시한 것으로, 복수의 전극(924-1, 924-2, 924-3) 뿐 아니라, 공통 전극(923-1)에 전압을 인가하는 방법으로 대응되는 위치에 LC 렌즈를 형성할 수 있다.
즉, 프로세서(140)는 액정층(922)에서 형성되는 렌즈 형상이 변경되도록 상이한 전압을 인가하여 대응되는 이미지 센싱 소자의 FOV를 조절할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 디스플레이의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 10은 액정 렌즈 방식을 이용하여 디스플레이의 FOV를 조정하는 경우를 도시한 것으로, 도시된 바와 같이 도시된 바와 같이 이미지 센싱 소자의 위치 별로 대응되는 액정 렌즈의 초점 거리 즉, FOV를 조절할 수 있다. 예를 들어 도시된 바와 같이 중앙 영역에 위치한 이미지 센싱 소자(523)에 대응되는 액정 렌즈의 경우 FOV가 좁아지도록 액정 렌즈의 초점 거리를 조절하고, 이미지 센싱 소자의 위치가 중앙 영역에서 멀어질수록 대응되는 액정 렌즈(522, 524, 521, 525)의 FOV가 넓어지도록 액정 렌즈의 초점 거리를 조절할 수 있다. 이 경우, 디스플레이의 FOV도 각 액정 렌즈의 FOV에 기초하여 조절될 수 있다.
도 4로 돌아와서, 프로세서(140)는, 복수의 이미지 센싱 소자 및 복수의 이미지 표시 소자를 구동 타이밍을 상이하게 제어할 수 있다. 구체적으로, 프로세서(140)는 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 복수의 이미지 센싱 소자가 구동되지 않고, 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동할 수 있다. 이는 이미지 표시 소자에서 발광되는 빛과 이미지 센싱 소자로 집광되는 빛의 간섭을 배제하기 위함이다. 다만 경우에 따라서는 이미지 표시 소자가 구동되는 제1 기간 및 이미지 센싱 소자가 구동되는 제2 기간이 일부 중복될 수도 있다. 예를 들어, 제1 기간 및 제2 기간으로 변경되는 적어도 일부 구간 동안 적어도 하나의 이미지 표시 소자 및 적어도 하나의 이미지 센싱 소자가 동시 구동될 수도 있다.
도 11 내지 도 13은 본 개시의 일 실시 예에 따른 디스플레이 구동 방법을 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따르면, 도 11에 도시된 바와 같이 이미지 표시 소자가 구동되는 동안 이미지 센싱 소자를 비활성화될 수 있다. 예를 들어, 액정 셔터 또는 액정 렌즈는 투명한 상태로 전환되어, 이미지 표시 소자로부터 나온 광이 차폐되지 않도록 할 수 있다. 반면, 이미지 센싱 소자가 구동되는 동안, 이미지 표시 소자는 비활성화될 수 있다. 예를 들어, 액정 셔터 방식의 경우, 패널 상 이미지 센싱 소자의 위치에 따라 액정 Shutter Mask, 예를 들어 Pin Hole Mask의 개구 위치 또는 크기 중 적어도 하나를 상이하게 제어함으로써 FOV를 조절할 수 있다. 액정 렌즈 방식의 경우, 패널 상 이미지 센싱 소자의 위치에 따라 액정 렌즈의 전압을 상이하게 인가함으로써 FOV를 조절할 수 있다.
구체적으로, 도 12 및 도 13에 도시된 바와 같이 촬영 모드에서 디스플레이 패널(110)에 배치된 이미지 센싱 소자는 수평 방향의 라인 단위로 순차적으로 활성화되면서, 수직 방향의 다음 라인으로 순차적으로 활성화될 수 있다.
도 12는 시역 조절부(120)가 액정 셔터 방식으로 구현되는 경우를 도시한 것으로, 도시된 바와 같이 특정 이미지 센싱 소자가 활성화되면 해당 이미지 센싱 소자에 대응되는 액정 Shutter Mask도 이에 동기화되어 구동될 수 있다.
예를 들어, 특정 라인에 포함된 이미지 센싱 소자가 수평 방향으로 순차적으로 활성화되는 특정 시점에 도시된 바와 같이 이미지 센싱 소자 A, B는 활성화되고 이미지 센싱 소자 C는 비활성화된 상태라면, 이미지 센싱 소자 A, B, C에 대응되는 액정 Shutter Mask는 각각 동기화되어 구동될 수 있다. 이 경우, 각 센싱 소자의 위치에 기초하여 액정 Shutter Mask의 개구 위치 또는 크기 중 적어도 하나를 상이하게 제어될 수 있다. 예를 들어, 이미지 센싱 소자 A의 위치에 기초하여 액정 Shutter Mask의 좌측 모서리 중앙 영역의 적어도 하나의 셀 만을 투명 상태로 유지하여 광을 투과시키고, 나머지 영역의 셀들은 불투명 상태로 변경하여 광이 차단되도록 할 수 있다. 또한, 이미지 센싱 소자 B의 위치에 기초하여 액정 Shutter Mask의 중앙 영역의 적어도 하나의 셀 만을 투명 상태로 유지하여 광을 투과시키고, 나머지 영역의 셀들은 불투명 상태로 변경하여 광이 차단되도록 할 수 있다. 또한, 이미지 센싱 소자 C는 비활성화 상태이므로, 이에 대응되는 액정 Shutter Mask에 포함된 모든 셀들의 투명 상태를 유지시켜 광을 투과시키도록 제어할 수 있다.
도 13은 시역 조절부(120)가 액정 셔터 방식으로 구현되는 경우를 도시한 것으로, 도시된 바와 같이 특정 이미지 센싱 소자가 활성화되면 해당 이미지 센싱 소자에 대응되는 액정 렌즈도 이에 동기화되어 구동될 수 있다.
예를 들어, 특정 라인에 포함된 이미지 센싱 소자가 수평 방향으로 순차적으로 활성화되는 특정 시점에 도시된 바와 같이 이미지 센싱 소자 A, B는 활성화되고 이미지 센싱 소자 C는 비활성화된 상태라면, 이미지 센싱 소자 A, B, C에 대응되는 액정 렌즈는 각각 동기화되어 구동될 수 있다. 이 경우, 각 센싱 소자의 위치에 기초하여 액정 렌즈의 초점 거리 즉, FOV를 상이하게 제어될 수 있다. 예를 들어, 이미지 센싱 소자 A의 위치에 기초하여 액정 렌즈의 FOV는 제1 값으로 조정할 수 있다. 또한, 이미지 센싱 소자 B의 위치에 기초하여 액정 렌즈의 FOV를 제2 값으로 할 수 있다. 또한, 이미지 센싱 소자 C는 비활성화 상태이므로, 이에 대응되는 액정 렌즈는 굴절율을 가지지 않도록 하여 광이 그대로 투과되도록 제어할 수 있다.
도 4로 돌아와서, 프로세서(140)는, 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 복수 개의 영상을 처리하여 이미지 표시 소자에 표시할 출력 영상을 획득할 수 있다. 예를 들어, 이미지 센싱 소자가 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현되는 경우, 복수의 이미지 센싱 소자로부터 획득된 영상 신호의 FOV가 중첩될 수 있다. 이 경우 프로세서(140)는 복수의 이미지 센싱 소자로부터 획득된 복수의 영상 신호를 영상 처리, 예를 들어, Image Stitching 처리하여 이미지 표시 소자로 제공할 출력 영상 신호를 획득할 수 있다. 구체적으로, 프로세서(140)는 이미지 스티칭 처리에 의해 재구성된 영상 신호를 획득하고, 재구성된 영상 신호를 디스플레이 구동 타이밍에 맞추어 전기적 신호로 변환한 후 각 이미지 표시 소자에 전달할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 영상 획득 방법을 설명하기 위한 도면이다.
도 14에 도시된 바와 같이 매크로(Macro) 픽셀 형태의 각 이미지 센싱 소자로부터 획득된 영상 신호의 FOV가 중첩됨에 따라 도시된 바와 같은 모자이크 이미지(mosaic image)가 획득될 수 있다. 이 경우, 프로세서(140)는 Image Stitching 처리를 수행하여 이미지 표시 소자에 표시할 출력 영상을 획득할 수 있다. 예를 들어, 프로세서(140)는 warping, feature based alignment, ratation, translation, 또는 white banlancing 중 적어도 하나의 처리를 통해 출력 영상을 획득할 수 있다. 프로세서(140)는 획득된 출력 영상을 디스플레이하도록 디스플레이 패널(110)을 제어할 수 있다. 또한, 프로세서(140)는 사용자의 다양한 인터렉션, 예를 들어, 영상 확대 명령 또는 영상 축소 명령 등에 따라 적어도 하나의 이미지 센싱 소자에 대응되는 FOV를 조절하도록 시역 조절부(130)를 제어하고, FOV가 조절된 이미지 센싱 소자를 포함하는 복수의 이미지 센싱 소자를 통해 획득된 영상 신호에 기초하여 사용자의 인터렉션에 대응되는 출력 영상을 획득하고, 획득된 출력 영상을 디스플레이하도록 디스플레이 패널(110)을 제어할 수 있다. 예를 들어, 프로세서(140)는 사용자의 이미지 확대 명령에 따라 디스플레이의 FOV를 축소시키도록 시역 조절부(130)를 제어하거나, 사용자의 이미지 축소 명령에 따라 디스플레이의 FOV를 확대시키도록 시역 조절부(130)를 제어할 수 있다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 10에 따르면, 전자 장치(100)는 디스플레이 패널(110), 광학 소자(120), 시역 조절부(130), 프로세서(140), 입력부(160), 메모리(17) 및 사용자 인터페이스(180)를 포함한다.
디스플레이 패널(110), 광학 소자(120) 및 시역 조절부(130)를 포함하는 디스플레이(150) 구성에 대해서는 도 4에서 설명한 바 있으므로, 자세한 설명을 생략하도록 한다.
프로세서(140)는 본 개시의 다양한 실시 예에 따라 처리된 영상을 디스플레이하도록 디스플레이(150)를 제어할 수 있다.
일 예에 따라 프로세서(140)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(140)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 커맨드에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(140)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
다른 예에 따라, 프로세서(140)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(140)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
입력부(160)는 다양한 타입의 컨텐츠를 수신한다. 예를 들어 입력부(160)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 영상 신호는 디지털 신호가 될 수 있으나 이에 한정되는 것은 아니다.
메모리(170)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리(170)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
사용자 인터페이스(180)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
한편, 전자 장치(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 16은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 16에 도시된 전자 장치의 제어 방법에 있어서, 전자 장치는, 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널, 디스플레이 패널 상부에 배치되며, 입사되는 광을 복수의 이미지 센싱 소자로 투사하는 광학 소자 및 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부를 포함할 수 있다.
도시된 제어 방법에 따르면, 우선, 적어도 하나의 이미지 센싱 소자의 FOV를 조절하도록 시역 조절부를 제어한다(S1610). 예를 들어, 다양한 사용자 커맨드에 따라 대응되는 촬영 이미지를 획득하기 위해, 적어도 하나의 이미지 센싱 소자의 FOV를 조절할 수 있다.
이어서, FOV가 조절된 이미지 센싱 소자를 포함하는 복수의 이미지 센싱 소자로부터 영상 신호를 획득할 수 있다(S1620).
이 후, 획득된 영상 신호를 이미지 표시 소자로 제공하여 출력 영상을 디스플레이할 수 있다(S1630).
여기서, 복수의 이미지 센싱 소자 각각은, 단일 센싱 소자 또는 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현될 수 있다.
또한, 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 복수의 이미지 센싱 소자는 상기 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열될 수 있다.
또한, 복수의 이미지 센싱 소자 각각은, 적어도 하나의 이미지 표시 소자와 동일 레이어에 배치되거나, 상이한 레이어에 배치될 수 있다.
한편, 시역 조절부는, 광학 소자의 상부 또는 하부에 배치되며, 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함할 수 있다. 이 경우, S1610 단계에서는, 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 복수의 셀 각각의 개폐 동작을 제어할 수 있다.
또한, S1610 단계에서는, 광학 소자에 포함된 광학 렌즈 각각의 배치 위치에 기초하여 대응되는 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하여 디스플레이의 FOV를 조정할 수 있다.
또한, S1610 단계에서는, 디스플레이의 FOV를 확장시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제1 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 복수의 셀 각각의 개폐 동작을 제어할 수 있다. 또한 S1610 단계에서는, 디스플레이의 FOV를 축소시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제2 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 복수의 셀 각각의 개폐 동작을 제어할 수 있다.
여기서, 광학 소자는, 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며, 시역 조절부는, 광학 소자에 전압을 인가하는 전압 인가부를 포함할 수 있다. 또는 시역 조절부는, 액정 렌즈로 구현되는 광학 소자 및 전압 인가부를 포함할 수 있다. 이 경우, S1610 단계에서는, 복수의 액정 렌즈의 배치 위치 즉, 대응되는 이미지 센싱 소자에 기초하여 복수의 액정 렌즈 각각에 상이한 전압을 인가하도록 전압 인가부를 제어할 수 있다.
또한, S1610 단계에서는, 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 복수의 이미지 센싱 소자가 구동되지 않고, 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동할 수 있다.
또한, 제어 방법은, 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 복수 개의 영상을 처리하여 이미지 표시 소자에 표시할 출력 영상을 획득하는 단계를 더 포함할 수 있다.
또한, S1610 단계에서는, 사용자 커맨드에 따라 상이한 배치 위치에 배치된 복수의 이미지 센싱 소자의 FOV를 상이하게 조절하도록 시역 조절부를 제어할 수 있다.
상술한 다양한 실시 예에 따르면, 복수의 이미지 센싱 소자를 디스플레이 패널에 실장함으로써, 셀프 촬영 또는 셀프 촬영을 통한 다양한 인터렉션 시 시선 불일치 문제를 극복할 수 있게 된다.
또한, 이미지 센싱 소자를 디스플레이에 내장했기 때문에 디스플레이 장치의 베젤을 최소화하는 효과를 제공할 수 있으며, 궁극적으로 Full Screen Display를 구현할 수 있게 된다.
또한, 이미지 센싱 소자의 초점 조절이 가능하므로 사용자 인터렉션에 적합한 화각으로 촬영된 영상을 획득할 수 있게 된다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 하드웨어 업그레이드 만으로도 구현될 수 있으나, 경우에 따라 소프트웨어 업그레이드도 추가로 요구될 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 커맨드어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 커맨드어를 호출하고, 호출된 커맨드어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 영상 처리 장치(예: 영상 처리 장치(A))를 포함할 수 있다. 커맨드이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 커맨드에 해당하는 기능을 수행할 수 있다. 커맨드은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110: 디스플레이 패널 120: 광학 소자
130: 시역 조절부 140: 프로세서

Claims (20)

  1. 복수의 이미지 표시 픽셀 및 상기 복수의 이미지 표시 픽셀 사이에 배치되는 복수의 이미지 센싱 소자를 포함하는 패널;
    상기 패널 상부에 배치되는 광학 소자;
    상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부; 및
    프로세서;를 포함하며,
    상기 복수의 이미지 센싱 소자는, 상기 광학 소자로부터 입사되는 광을 센싱하며,
    상기 프로세서는,
    적어도 하나의 이미지 센싱 소자의 FOV를 조절하도록 상기 시역 조절부를 제어하며, 상기 센싱된 광에 기초하여 생성된 이미지를 표시하도록 상기 패널을 제어하는, 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 이미지 표시 픽셀은 2차원 형태로 배열되고,
    상기 복수의 이미지 센싱 소자는 상기 적어도 하나의 이미지 표시 픽셀 단위로 2차원 형태로 배열되며,
    상기 복수의 이미지 센싱 소자 각각은,
    상기 적어도 하나의 이미지 표시 픽셀과 동일 레이어(Layer)에 배치되거나, 상이한 레이어에 배치되는, 전자 장치.
  3. 제1항에 있어서,
    상기 시역 조절부는,
    상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며,
    상기 프로세서는,
    상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 광학 소자에 포함된 광학 렌즈 각각의 배치 위치에 기초하여 대응되는 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하여 디스플레이의 FOV를 조정하는, 전자 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    디스플레이의 FOV를 확장시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제1 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어하고,
    상기 디스플레이의 FOV를 축소시키는 경우 상기 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제2 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어하는, 전자 장치.
  6. 제1항에 있어서,
    상기 광학 소자는,
    전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며,
    상기 시역 조절부는,
    상기 광학 소자에 전압을 인가하는 전압 인가부;를 포함하며,
    상기 프로세서는,
    상기 복수의 액정 렌즈의 배치 위치에 기초하여 상기 복수의 액정 렌즈 각각에 상이한 전압을 인가하도록 상기 전압 인가부를 제어하는, 전자 장치.
  7. 제1항에 있어서,
    상기 이미지 표시 픽셀로부터 방출되는 광을 분산시키는 광학 소자;를 더 포함하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 표시 픽셀이 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 픽셀이 구동되지 않도록 시분할 구동하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 상기 복수 개의 영상을 처리하여 상기 이미지 표시 픽셀에 표시할 출력 영상을 획득하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    사용자 커맨드에 따라 상이한 배치 위치에 배치된 복수의 이미지 센싱 소자의 FOV를 상이하게 조절하도록 상기 시역 조절부를 제어하는, 전자 장치.
  11. 제1항에 있어서,
    상기 복수의 이미지 센싱 소자 각각은,
    단일 센싱 소자 또는 매크로(Macro) 픽셀 형태의 2차원 센싱 소자인, 전자 장치.
  12. 복수의 이미지 표시 픽셀 및 상기 복수의 이미지 표시 픽셀 사이에 배치되는 복수의 이미지 센싱 소자를 포함하는 패널, 상기 패널 상부에 배치되는 광학 소자 및 상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부를 포함하는 전자 장치의 제어 방법에 있어서,
    상기 복수의 이미지 센싱 소자는, 상기 광학 소자로부터 입사되는 광을 센싱하며,
    적어도 하나의 이미지 센싱 소자의 FOV를 조절하도록 상기 시역 조절부를 제어하는 단계; 및
    상기 센싱된 광에 기초하여 생성된 이미지를 표시하도록 상기 패널을 제어하는 단계;
    를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 복수의 이미지 표시 픽셀은 2차원 형태로 배열되고,
    상기 복수의 이미지 센싱 소자는 상기 적어도 하나의 이미지 표시 픽셀 단위로 2차원 형태로 배열되며,
    상기 복수의 이미지 센싱 소자 각각은,
    상기 적어도 하나의 이미지 표시 픽셀과 동일 레이어에 배치되거나, 상이한 레이어에 배치되는, 제어 방법.
  14. 제12항에 있어서,
    상기 시역 조절부는,
    상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며,
    상기 시역 조절부를 제어하는 단계는,
    상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어하는, 제어 방법.
  15. 제14항에 있어서,
    상기 시역 조절부를 제어하는 단계는,
    상기 광학 소자에 포함된 광학 렌즈 각각의 배치 위치에 기초하여 대응되는 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하여 디스플레이의 FOV를 조정하는, 제어 방법.
  16. 제14항에 있어서,
    상기 시역 조절부를 제어하는 단계는,
    디스플레이의 FOV를 확장시키는 경우 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제1 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어하고,
    상기 디스플레이의 FOV를 축소시키는 경우 상기 외곽 영역에 배치된 적어도 하나의 센싱 소자에 대응되는 액정 셔터에서 제2 위치에 위치한 적어도 하나의 셀 영역으로 광이 입사되도록 상기 복수의 셀 각각의 개폐 동작을 제어하는, 제어 방법.
  17. 제12항에 있어서,
    상기 광학 소자는,
    전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며,
    상기 시역 조절부는, 상기 광학 소자에 전압을 인가하는 전압 인가부를 포함하며,
    상기 시역 조절부를 제어하는 단계는,
    상기 복수의 액정 렌즈의 배치 위치에 기초하여 상기 복수의 액정 렌즈 각각에 상이한 전압을 인가하도록 상기 전압 인가부를 제어하는, 제어 방법.
  18. 제12항에 있어서,
    상기 시역 조절부를 제어하는 단계는,
    상기 복수의 이미지 표시 픽셀이 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 픽셀이 구동되지 않도록 시분할 구동하는, 제어 방법.
  19. 제12항에 있어서,
    상기 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 상기 복수 개의 영상을 처리하여 상기 이미지 표시 픽셀에 표시할 출력 영상을 획득하는 단계;를 더 포함하는, 제어 방법.
  20. 제12항에 있어서,
    상기 시역 조절부를 제어하는 단계는,
    사용자 커맨드에 따라 상이한 배치 위치에 배치된 복수의 이미지 센싱 소자의 FOV를 상이하게 조절하도록 상기 시역 조절부를 제어하는, 제어 방법.














KR1020180164523A 2018-12-18 2018-12-18 전자 장치 및 그 제어 방법 KR102198341B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180164523A KR102198341B1 (ko) 2018-12-18 2018-12-18 전자 장치 및 그 제어 방법
CN201980083777.XA CN113196376B (zh) 2018-12-18 2019-12-17 电子装置及其控制方法
PCT/KR2019/017852 WO2020130557A1 (en) 2018-12-18 2019-12-17 Electronic apparatus and control method thereof
EP19900857.4A EP3847637A4 (en) 2018-12-18 2019-12-17 ELECTRONIC DEVICE AND ITS CONTROL PROCEDURE
US16/718,315 US11601581B2 (en) 2018-12-18 2019-12-18 Electronic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164523A KR102198341B1 (ko) 2018-12-18 2018-12-18 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200075634A KR20200075634A (ko) 2020-06-26
KR102198341B1 true KR102198341B1 (ko) 2021-01-04

Family

ID=71073163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164523A KR102198341B1 (ko) 2018-12-18 2018-12-18 전자 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US11601581B2 (ko)
EP (1) EP3847637A4 (ko)
KR (1) KR102198341B1 (ko)
CN (1) CN113196376B (ko)
WO (1) WO2020130557A1 (ko)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081371A (en) * 1998-01-06 2000-06-27 Olympus Optical Co., Ltd. Surgical microscope including a first image and a changing projection position of a second image
US7034866B1 (en) 2000-11-22 2006-04-25 Koninklijke Philips Electronics N.V. Combined display-camera for an image processing system
JP2003332546A (ja) * 2002-05-16 2003-11-21 Sony Corp 固体撮像素子及び撮像装置
US7535468B2 (en) * 2004-06-21 2009-05-19 Apple Inc. Integrated sensing display
JPWO2007097353A1 (ja) 2006-02-22 2009-07-16 富士通テン株式会社 表示装置及び表示方法
KR100835841B1 (ko) 2006-09-06 2008-06-05 주식회사 엘지화학 집광시트 및 이의 제조방법
DE102007024236A1 (de) * 2007-05-21 2008-11-27 Seereal Technologies S.A. Holographisches Rekonstruktionssystem mit einer Anordnung von steuerbaren Mikroprismen
KR101322982B1 (ko) 2006-11-30 2013-10-29 엘지디스플레이 주식회사 시야각 제어가 가능한 액정 표시 장치
TWM320088U (en) 2006-12-20 2007-10-01 Ling-Yuan Tseng Multiple zoom LC lenses module
KR101483025B1 (ko) * 2007-11-01 2015-01-15 엘지디스플레이 주식회사 이미지센서 내장형 액정표시장치 및 그의 구동 방법
US20110007048A1 (en) * 2008-05-10 2011-01-13 Agere Systems Inc. System and method for using pixels of a display device to communicate optical information over a communications link
JP2013201466A (ja) 2010-06-30 2013-10-03 Fujifilm Corp 立体画像撮像装置
TW201213879A (en) * 2010-09-24 2012-04-01 Silicon Touch Tech Inc Liquid crystal lens
WO2012163312A1 (de) * 2011-05-31 2012-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bidirektionales display und ansteuerung desselben
US9057931B1 (en) 2012-06-14 2015-06-16 Amazon Technologies, Inc. Display integrated camera
KR101990490B1 (ko) 2012-06-18 2019-06-19 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
WO2014133481A1 (en) 2013-02-26 2014-09-04 Hewlett-Packard Development Company, L.P. Multiview 3d telepresence
US9465429B2 (en) * 2013-06-03 2016-10-11 Qualcomm Incorporated In-cell multifunctional pixel and display
KR102189009B1 (ko) * 2013-12-13 2020-12-10 엘지디스플레이 주식회사 삼차원영상 표시장치 및 그 구동방법
KR102206332B1 (ko) * 2014-10-10 2021-01-25 엘지디스플레이 주식회사 지문 인식 소자를 포함한 표시 장치
CN106710524A (zh) 2015-11-13 2017-05-24 小米科技有限责任公司 Oled面板、终端及感光控制方法
CN106707576A (zh) * 2015-11-13 2017-05-24 小米科技有限责任公司 Lcd面板、终端及感光控制方法
CN105355640B (zh) 2015-11-16 2018-08-28 上海集成电路研发中心有限公司 智能手机屏幕、系统及制备方法
US10705358B2 (en) * 2016-02-02 2020-07-07 Apple, Inc. Display apparatus with adjustable angles-of-view comprising backlight structures having an electrically adjustable lens array that adjusts backlight illumination
KR102618542B1 (ko) * 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
CN106847092B (zh) 2017-03-10 2020-03-31 京东方科技集团股份有限公司 一种显示面板、显示装置及其获取图像的方法
KR102398667B1 (ko) 2017-06-05 2022-05-16 삼성전자주식회사 위상 검출 픽셀을 포함하는 이미지 센서
CN108957877A (zh) * 2018-09-29 2018-12-07 京东方科技集团股份有限公司 透镜结构及其制造方法和操作方法、电子装置

Also Published As

Publication number Publication date
WO2020130557A1 (en) 2020-06-25
CN113196376B (zh) 2022-12-27
CN113196376A (zh) 2021-07-30
US20200195824A1 (en) 2020-06-18
EP3847637A1 (en) 2021-07-14
EP3847637A4 (en) 2021-12-22
KR20200075634A (ko) 2020-06-26
US11601581B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
WO2019109903A1 (zh) 显示屏、显示装置、显示电路及其亮度补偿方法
JP6246292B2 (ja) 光検出機能を備えるｏｌｅｄディスプレイ装置
US20200111401A1 (en) Method and device for driving display panel, and display apparatus
US10151946B2 (en) Apparatus with visible and infrared light emitting display
US9921361B2 (en) Display screen frame eliminating apparatus and display device
US20170084231A1 (en) Imaging system management for camera mounted behind transparent display
US9236003B2 (en) Display apparatus, user terminal apparatus, external apparatus, display method, data receiving method and data transmitting method
CN109192168A (zh) 一种像素充电方法及电子设备
JP2007334313A (ja) 表示装置および電子機器
CN105917402A (zh) 电子装置、用于显示装置的驱动器、包括驱动器的通信装置和显示系统
JP2013055424A (ja) 撮影装置、パターン検出装置、および電子機器
US20070273778A1 (en) Photo sensing display apparatus and display panel thereof
US11114032B2 (en) Display structure, display panel and display device
CN106128375B (zh) 透明液晶显示器的数据处理方法
KR102593569B1 (ko) 전자 장치 및 그 제어 방법
KR102198341B1 (ko) 전자 장치 및 그 제어 방법
US9280923B2 (en) Display device operating in 2D and 3D display modes and method for driving the same
US20130147696A1 (en) Display Moving Image Quality Improvement In 3D Barrier Type Display
TWI684174B (zh) 顯示面板
KR102287512B1 (ko) 투명 영상 표시 장치
US11386869B2 (en) Display device and driving method thereof according to capturing conditions of an image
CN111684515B (zh) 显示装置的驱动方法
CN110769085B (zh) 电子装置
WO2022086556A1 (en) Illumination portions on displays
KR20230125595A (ko) 디스플레이 모듈 및 디스플레이 디바이스

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant