KR102593569B1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102593569B1
KR102593569B1 KR1020190002340A KR20190002340A KR102593569B1 KR 102593569 B1 KR102593569 B1 KR 102593569B1 KR 1020190002340 A KR1020190002340 A KR 1020190002340A KR 20190002340 A KR20190002340 A KR 20190002340A KR 102593569 B1 KR102593569 B1 KR 102593569B1
Authority
KR
South Korea
Prior art keywords
image
image sensing
display
sensing element
sensing elements
Prior art date
Application number
KR1020190002340A
Other languages
English (en)
Other versions
KR20200086119A (ko
Inventor
장성현
강동욱
구재필
유세운
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190002340A priority Critical patent/KR102593569B1/ko
Priority to US16/583,951 priority patent/US11184526B2/en
Publication of KR20200086119A publication Critical patent/KR20200086119A/ko
Application granted granted Critical
Publication of KR102593569B1 publication Critical patent/KR102593569B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는, 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널, 디스플레이 패널 상부에 배치되며, 입사되는 광을 복수의 이미지 센싱 소자로 투사하는 광학 소자 및, 복수의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 획득된 이미지를 이미지 표시 소자에 표시하도록 디스플레이 패널을 제어하고, 표시된 이미지의 일부 영역에 대한 사용자 인터렉션이 입력되면, 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 사용자 인터렉션에 대응되는 영상을 디스플레이하도록 디스플레이 패널을 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법 {Electronic apparatus and control method thereof }
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 더욱 자세하게는 이미지 센싱 소자를 포함하는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 가정, 사무실, 공공 장소 등 다양한 장소에서 이용되는 디스플레이 장치는 최근 수년 간 지속적으로 발전하고 있다.
최근에는 사용자가 화면 상의 자신의 모습을 보면서 다양한 인터렉션을 수행할 수 있는 디스플레이 장치가 제공되고 있다.
예를 들어, 스마트 폰을 통해 셀프 촬영된 이미지가 화면 상에 디스플레이될 수 있는데, 카메라가 대부분 스마트폰 상단에 위치함으로 인해 스마트 폰을 바라보는 사용자의 시선은 스마트 폰의 정면을 향하고 있으나, 화면 상의 사용자 시선은 사용자를 바라보지 않는다는 시선 불일치 문제가 발생한다. 또한, 스마트 폰 상단에 카메라 배치를 위한 공간이 필요하게 되어, Full Screen Display(Bezel-less) 구현에 제약이 발생한다는 문제점이 있다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시의 목적은 디스플레이 패널에 복수의 이미지 센싱 소자를 구비하여 시선 불일치 문제를 해결하고, 사용자 인터렉션에 적합한 촬영 영상을 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
본 개시는 상술한 필요성에 따라 안출된 것으로, 본 개시의 목적은 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널, 상기 디스플레이 패널 상부에 배치되며, 입사되는 광을 상기 복수의 이미지 센싱 소자로 투사하는 광학 소자 및 상기 복수의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 획득된 이미지를 상기 이미지 표시 소자에 표시하도록 상기 디스플레이 패널을 제어하고, 상기 표시된 이미지의 일부 영역에 대한 사용자 인터렉션이 입력되면, 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하도록 상기 디스플레이 패널을 제어하는 프로세서를 포함한다.
여기서, 상기 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 상기 복수의 이미지 센싱 소자는 상기 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열되며, 상기 복수의 이미지 센싱 소자 각각은, 상기 적어도 하나의 이미지 표시 소자와 동일 레이어(Layer)에 배치되거나, 상이한 레이어에 배치될 수 있다.
또한, 상기 프로세서는, 상기 사용자 인터렉션이 상기 일부 영역에 대한 부분 확대 명령인 경우, 상기 일부 영역에 대응되는 적어도 하나의 제1 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 일부 영역이 확대된 영상을 디스플레이하도록 상기 디스플레이 패널을 제어할 수 있다.
또한, 상기 프로세서는, 상기 부분 확대 명령에 대응되는 일부 영역이 상기 사용자 인터렉션에 따라 변경되면, 상기 변경된 일부 영역에 대응되는 적어도 하나의 제2 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 변경된 일부 영역이 확대된 영상을 디스플레이하도록 상기 디스플레이 패널을 제어할 수 있다.
또한, 상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부를 더 포함하며, 상기 프로세서는, 상기 사용자 인터렉션에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자의 FOV를 조절하고, 상기 FOV가 조절된 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하도록 상기 디스플레이 패널을 제어할 수 있다.
또한, 상기 시역 조절부는, 상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며, 상기 프로세서는, 상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어하며, 상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정할 수 있다.
또한, 상기 광학 소자는, 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며, 상기 시역 조절부는, 상기 광학 소자에 전압을 인가하는 전압 인가부를 포함하며, 상기 프로세서는, 상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 렌즈에 상이한 전압을 인가하도록 상기 전압 인가부를 제어할 수 있다.
또한, 상기 사용자 인터렉션은, 터치 인터렉션, 제스처 인터렉션 또는 음성 인터렉션 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 상기 복수 개의 영상을 처리하여 상기 이미지 표시 소자에 표시할 출력 영상을 획득할 수 있다.
또한, 상기 이미지 표시 소자로부터 방출되는 광을 분산시키는 광학 소자를 더 포함할 수 있다.
또한, 상기 프로세서는, 상기 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동할 수 있다.
한편, 본 개시의 일 실시 예에 따른 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널 및 상기 디스플레이 패널 상부에 배치되며, 입사되는 광을 상기 복수의 이미지 센싱 소자로 투사하는 광학 소자를 포함하는 전자 장치의 제어 방법은, 상기 복수의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 획득된 이미지를 디스플레이하는 단계 및, 상기 표시된 이미지의 일부 영역에 대한 사용자 인터렉션이 입력되면, 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하는 단계를 포함할 수 있다.
또한, 상기 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 상기 복수의 이미지 센싱 소자는 상기 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열되며, 상기 복수의 이미지 센싱 소자 각각은, 상기 적어도 하나의 이미지 표시 소자와 동일 레이어(Layer)에 배치되거나, 상이한 레이어에 배치될 수 있다.
또한, 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하는 단계는, 상기 사용자 인터렉션이 상기 일부 영역에 대한 부분 확대 명령인 경우, 상기 일부 영역에 대응되는 적어도 하나의 제1 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 일부 영역이 확대된 영상을 디스플레이할 수 있다.
또한, 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하는 단계는, 상기 부분 확대 명령에 대응되는 일부 영역이 상기 사용자 인터렉션에 따라 변경되면, 상기 변경된 일부 영역에 대응되는 적어도 하나의 제2 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 변경된 일부 영역이 확대된 영상을 디스플레이할 수 있다.
또한, 상기 전자 장치는, 상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부를 더 포함하며, 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하는 단계는, 상기 사용자 인터렉션에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자의 FOV를 조절하고, 상기 FOV가 조절된 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 사용자 인터렉션에 대응되는 영상을 디스플레이할 수 있다.
또한, 상기 시역 조절부는, 상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며, 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하는 단계는, 상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어하며, 상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정할 수 있다.
또한, 상기 광학 소자는, 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며, 상기 시역 조절부는, 상기 광학 소자에 전압을 인가하는 전압 인가부를 포함하며, 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하는 단계는, 상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 렌즈에 상이한 전압을 인가하도록 상기 전압 인가부를 제어할 수 있다.
또한, 상기 사용자 인터렉션은, 터치 인터렉션, 제스처 인터렉션 또는 음성 인터렉션 중 적어도 하나를 포함할 수 있다.
또한, 상기 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 개시의 다양한 실시 예에 따르면, 셀프 촬영시 사용자 시선 불일치 문제를 극복할 수 있게 되며, 디스플레이 장치의 베젤을 최소화하는 효과를 제공할 수 있다. 또한, 사용자 인터렉션에 적합한 화각으로 촬영된 영상을 획득할 수 있게 된다.
도 1a는 본 개시의 일 실시 예에 따른 디스플레이 구현 예를 설명하기 위한 도면이다.
도 1b는 본 개시의 일 실시 예에 따른 디스플레이 동작을 설명하기 위한 도면이다.
도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 촬영 모드를 설명하기 위한 도면이다.
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 촬영 모드를 설명하기 위한 도면이다.
도 2c는 본 개시의 일 실시 예에 따른 전자 장치의 디스플레이 모드를 설명하기 위한 도면이다.
도 2d는 본 개시의 일 실시 예에 따른 전자 장치의 디스플레이 모드를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 4a는 본 개시의 일 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면이다.
도 4b는 본 개시의 일 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면이다.
도 5a는 본 개시의 다른 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면이다.
도 5b는 본 개시의 다른 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면이다.
도 5c는 본 개시의 다른 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 12a는 본 개시의 일 실시 예에 따라 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 12b는 본 개시의 일 실시 예에 따라 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 13a는 본 개시의 다른 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 13b는 본 개시의 다른 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 13c는 본 개시의 다른 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 13d는 본 개시의 다른 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 14는 본 개시의 다른 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 16은 본 개시의 일 실시 예에 따른 이미지 획득 방법을 나타내는 블럭도이다.
도 17은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
A 및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1a 및 도 1b는 본 개시의 일 실시 예에 따른 전자 장치의 구현 예를 설명하기 위한 도면이다.
도 1a에 도시된 바와 같이 본 개시의 일 실시 예에 따른 전자 장치는 복수의 이미지 표시 소자(P: Display Pixel) 및 복수의 이미지 센싱 소자(IS:Image Sensing(or sensor) element)를 포함하는 디스플레이를 구비할 수 있다. 여기서, 이미지 표시 소자는, OLED(Organic Light Emitting Diodes), LED(Light-Emitting Diode), micro LED 등의 모든 자발광 소자 및 LCD(Liquid Crystal Display)와 같은 투과형 소자를 모두 포함할 수 있다. 또한, 이미지 센싱 소자는 포토 다이오드, CMOS, CCD 등 광전 효과를 이용하는 모든 소자를 포함할 수 있다. 이미지 센싱 소자는 단일 센싱 소자(또는 단일 픽셀 소자)로 구현되거나, 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현될 수 있다.
본 개시의 일 실시 예에 따르면, 복수의 이미지 센싱 소자 각각은 적어도 하나의 이미지 표시 소자 단위로 배치될 수 있다. 여기서, “적어도 하나”는 하나 또는 둘 이상을 의미할 수 있다. 예를 들어, 이미지 표시 소자 및 이미지 센싱 소자는 1:1 비율로 교번적으로 배치되거나, n:1 (n>1)비율로 배치될 수 있다. 또한, 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 복수의 이미지 센싱 소자는 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열될 수 있다. 이 경우, 복수의 이미지 센싱 소자 각각은, 적어도 하나의 이미지 표시 소자와 동일 레이어(예를 들어, 동일한 시트)에 배치되거나, 상이한 레이어(예를 들어, 상이한 시트)에 배치될 수 있다. 일 예로, 복수의 이미지 표시 소자 모두 동일 레이어에 배치되고, 복수의 이미지 센싱 소자 모두 복수의 이미지 표시 소자와 동일 레이어또는 상이한 레이어에 배치될 수 있다. 다른 예로, 복수의 이미지 표시 소자 모두 동일 레이어에 배치되고, 복수의 이미지 센싱 소자 중 적어도 일부는 복수의 이미지 표시 소자와 동일 레이어에 배치되고, 나머지는 복수의 이미지 표시 소자와 상이한 레이어에 배치될 수도 있다.
한편, 본 개시의 일 실시 예에 따르면, 도 1a 및 도 1b에 도시된 바와 같이 이미지 표시 소자(P)는 광을 방출하는 기능을 하고, 이미지 센싱 소자(IS)는 광을 직접하는 기능을 한다. 이 경우, 이미지 표시 소자(P) 상에는 광을 분산하는 광학 소자(10)가 배치되고, 이미지 센싱 소자(IS) 상에는 특정 시역으로부터 입사되는 광을 모아주는 광학 소자(20)가 배치될 수 있다. 예를 들어, 광을 분산하는 광학 소자(10)는 프리즘 또는 다양한 형태의 확산 광학계를 포함할 수 있으며, 하나 이상의 광학 필름 또는 광학 sheet 형태로 구현될 수 있다. 광을 모아주는 광학 소자(20)는 micro-Lens Array, lenticular lens 또는 다른 형태의 미세한 lens Array를 포함할 수 있다. 여기서, 광을 모아주는 광학 소자(20)는 초점 거리 조절이 가능한 적어도 하나의 광학 시트로 구성될 수 있다. 또한, 광을 모아주는 광학 소자(20)는 전기적 신호 제어를 통해 광을 투과 또는 차폐시키거나, 굴절시킬 수 있는 액정 패널을 포함할 수 있다.
도 2a 및 도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 촬영 모드를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따른 디스플레이는 도 2a에 도시된 바와 같이 특정 시역으로부터 입사된 광을 이미지 센싱 소자를 통해 집광하여 영상을 획득하는 활영 모드를 제공할 수 있다.
예를 들어 도 2b에 도시된 바와 같이 디스플레이(30)는 디스플레이 패널(31) 및 광학 소자(32)를 포함하며, 외부로부터 입사되는 광은 광학 소자(32)를 통해 디스플레이 패널(110)에 구비된 이미지 센싱 소자(IS)로 투사되며, 이미지 센싱 소자(IS)는 투사된 신호에 기초하여 영상 신호를 획득할 수 있다. 여기서, 광학 소자(120)는 광학 렌즈를 포함하며, 예를 들어, micro-Lens Array, lenticular lens 또는 다른 형태의 미세한 lens Array를 포함할 수 있다. 본 개시의 다른 실시 예에 따르면, 디스플레이(30)는 이미지 센싱 소자의 FOV를 조절하는 기능을 수행하는 시역 조절부(33)를 더 포함할 수 있는데 이에 대한 자세한 설명은 후술하도록 한다.
도 2c 및 도 2d는 본 개시의 일 실시 예에 따른 전자 장치의 디스플레이 모드를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따른 디스플레이는 도 2c에 도시된 바와 같이 영상 표시 소자로부터 나온 광을 특정 시역으로 확산하여 영상을 표시하는 디스플레이 모드를 제공할 수 있다.
예를 들어, 도 2d에 도시된 바와 같이 이미지 센싱 소자(IS)에 의해 획득된 영상 신호는 이미지 표시 소자(P)로 제공되며, 이에 따라 이미지 표시 소자(P)은 영상을 디스플레이할 수 있게 된다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 3에 따르면, 전자 장치(100)는 디스플레이 패널(110), 광학 소자(120) 및 프로세서(130)를 포함한다.
전자 장치(100)는 TV 또는 스마트 폰 등으로 구현될 수 있으나, 이에 한정되는 것은 아니며 태블릿 PC, 노트북 PC, LFD(large format display), Digital Signage(디지털 간판), DID(Digital Information Display), 비디오 월(video wall), 키오스크 등과 같이 디스플레이 기능 및 촬영 기능을 갖춘 장치라면 한정되지 않고 적용 가능하다.
디스프레이 패널(110)은 액정 디스플레이(Liquid Crystal Display Panel: LCD Panel), LED(Light-Emitting Diode), micro LED, 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display), 플라즈마 디스플레이(Plasma Display Panel: PDP) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이 패널(110)는 도 1a 내지 도 2d에서 설명한 바와 같이 복수의 이미지 표시 소자(P) 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자(IS)를 포함할 수 있다. 여기서, 이미지 표시 소자(P)는, OLED(Organic Light Emitting Diodes), LED(Light-Emitting Diode), micro LED 등의 모든 자발광 소자 및 LCD(Liquid Crystal Display)와 같은 투과형 소자를 모두 포함할 수 있다. 예를 들어, 이미지 표시 소자(P) 각각은 복수의 서브 픽셀을 포함할 수 있으며 복수의 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열 즉, 매트릭스 향태로 배치되어 디스플레이 패널(110)을 구성할 수 있다.
또한, 이미지 센싱 소자(IS)는 포토 다이오드, CMOS, CCD 등 광전 효과를 이용하는 모든 소자를 포함할 수 있다. 이미지 센싱 소자(IS)는 단일 센싱 소자(또는 단일 픽셀 소자)로 구현되거나, 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현될 수 있다.
도 4a 및 도 4b는 본 개시의 일 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따르면, 디스플레이 패널(110)은 도 4a에 도시된 바와 같이 이미지 표시 소자(410) 및 이미지 센싱 소자(420)가 1:1 비율로 배치된 형태가 될 수 있다. 예를 들어, 이미지 표시 소자(410) 및 이미지 센싱 소자(420)는 도시된 바와 같이 교번적으로 배치될 수 있다. 여기서, 이미지 센싱 소자(420)는 단일 센싱 소자(또는 단일 픽셀 소자)일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 이미지 센싱 소자(420)는 복수의 픽셀 소자로 구현되는 것도 가능하다.
본 개시의 다른 실시 예에 따르면, 디스플레이 패널(110)은 도 4b에 도시된 바와 같이 이미지 표시 소자(410) 및 이미지 센싱 소자(420)가 n:1 비율로 배치된 형태가 될 수 있다. 예를 들어, 이미지 센싱 소자(420)는 도시된 바와 같이 복수의 이미지 표시 소자(410) 사이에 배치될 수 있다. 여기서, 이미지 센싱 소자(520)는 복수의 픽셀 소자 예를 들어, 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현될 수 있다. 다만 이에 한정되는 것은 아니며, n:1 비율로 배치 형태에 있어서도 이미지 센싱 소자(420)가 단일 센싱 소자(또는 단일 픽셀 소자)로 구현되는 것도 가능하다.
도 5a 내지 도 5c는 본 개시의 다른 실시 예에 따른 디스플레이의 구현 형태를 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따르면, 도 5a에 도시된 바와 같이 이미지 표시 소자(410) 및 이미지 센싱 소자(420)는 2차원적으로 상하 배치될 수 있다. 예를 들어, 도시된 바와 같이 이미지 표시 소자(410)의 전면 또는 배면에 이미지 센싱 소자(420)가 배치될 수 있다.
본 개시의 다른 실시 예에 따르면, 도 5b에 도시된 바와 같이 이미지 표시 소자(410) 및 이미지 센싱 소자(420)는 2차원적으로 좌우 배치될 수 있다. 예를 들어, 도시된 바와 같이 이미지 표시 소자(410)의 우측 또는 좌측에 이미지 센싱 소자(520)가 배치될 수 있다.
본 개시의 또 다른 실시 예에 따르면, 도 5c에 도시된 바와 같이 이미지 표시 소자(410) 및 이미지 센싱 소자(420)는 2차원적으로 상하좌우교차 배치될 수 있다. 예를 들어, 도시된 바와 같이 이미지 표시 소자(410)는 서로 인접하지 않도록 교차 배치되고, 이미지 센싱 소자(420) 또한 서로 인접하지 않도록 교차 배치될 수 있다.
한편, 디스플레이 패널(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
도 3으로 돌아와서, 광학 소자(120)는 특정 시역으로부터 입사되는 광을 모아주는 기능을 한다. 여기서, 광학 소자(120)는 micro-Lens Array, lenticular lens 또는 다른 형태의 미세한 lens Array로 구현될 수 있다.
광학 소자(120)는 특정 시역으로부터 입사되는 광을 모아 이미지 센싱 소자(IS)로 제공할 수 있다. 이 경우, 이미지 센싱 소자(IS)는 광학 소자(120)를 통해 직접된 광에 기초하여 영상 신호를 획득할 수 있게 된다. 구체적으로, 이미지 센싱 소자(IS)는 광전 소자를 포함하여 입사된 광을 전기적 신호로 변환함으로써 영상 신호를 획득할 수 있다. 이 경우, 전기적 신호는 기판의 상부에 위치한 금속 배선을 통해 프로세서(130)로 전달될 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다.
일 실시 예에 따라 프로세서(130)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), T-CON(Timing controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 복수의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 획득된 이미지를이미지 표시 소자에 표시하도록 디스플레이 패널(110)을 제어할 수 있다.
또한, 프로세서(130)는 디스플레이 패널(110)에 표시된 이미지의 일부 영역에 대한 사용자 인터렉션이 입력되면, 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 사용자 인터렉션에 대응되는 영상을 디스플레이하도록 디스플레이 패널(110)을 제어할 수 있다. 여기서, 사용자 인터렉션은, 치 인터렉션, 제스처 인터렉션 또는 음성 인터렉션 중 적어도 하나를 포함할 수 있다.
일 예에 따라 프로세서(130)는 사용자 인터렉션이 디스플레이 패널(110)에 표시된 이미지의 일부 영역에 대한 부분 확대 명령인 경우, 일부 영역에 대응되는 적어도 하나의 제1 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 일부 영역이 확대된 영상을 디스플레이하도록 디스플레이 패널(110)을 제어할 수 있다.
구체적으로, 프로세서(130)는 화면 전체에 영상을 디스플레이하는 경우 복수의 이미지 센싱 소자로부터 획득된 서로 다른 시야의 복수의 촬영 영상을 영상 처리 예를 들어, Image Stitching 처리하여 디스플레이 패널(110)에 디스플레이하게 된다. 이 과정에서 복수의 이미지 센싱 소자 각각에서 획득된 부분 영상의 해상도는 디스플레이 패널(110)의 해상도에 기초하여 n:1로 스케일링될 수 있다. 즉, 이미지 센싱 소자에 포함된 n 개의 픽셀에 의해 촬영된 이미지는 디스플레이 패널(110)의 1개의 이미지 표시 소자에 디스플레이될 수 있다.
이에 따라 프로세서(130)는 일부 영역에 대한 부분 확대 명령이 이력되면, 일부 영역에 대응되는 적어도 하나의 제1 이미지 센싱 소자로부터 획득된 영상을 m:1(여기서, 1≤m＜n)로 스케일링하여 확대 영상을 제공할 수 있게 된다. 이 경우, "스케일링"이라는 표현이 해상도 감소를 의미하는 것은 아니다. 해당 부분 이미지를 획한 이미지 센싱 소자의 픽셀 수가 해당 부분 이미지를 표시하는 디스플레이 패널(110)의 부분 영역에 포함된 픽셀 수보다 큰 경우, 해상도 감소는 없게 된다. 다만, 확대 영상이 이미지 센싱 소자의 픽셀 및 이미지 표시 소자의 픽셀 비율 1:1로 제공되는 경우에는 실질적으로 스케일링이 되지 않을 수 있다. 이 경우 전체 촬영 영상에서 부분 영상을 크랍(crop)하여 이미지 처리를 통해 확대하는 종래의 영상 처리와 다르게 확대 영상의 해상도 및 퀄리티가 감소하지 않게 된다.
다른 예에 따라, 프로세서(130)는 사용자 인터렉션에 따라 선택된 일부 영역이 변경되면, 변경된 일부 영역에 대응되는 적어도 하나의 제2 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 변경된 일부 영역을 사용자 인터렉션에 따라 처리한 영상을 디스플레이하도록 디스플레이 패널(110)을 제어할 수 있다. 예를 들어, 확대 명령에 대응되는 일부 영역이 사용자 인터렉션에 따라 변경되면, 변경된 일부 영역에 대응되는 적어도 하나의 제2 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 변경된 일부 영역이 확대된 영상을 디스플레이하도록 디스플레이 패널(110)을 제어할 수 있다.
한편, 본 개시의 다른 실시 예에 따르면, 전자 장치(100)는 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부(미도시)를 더 포함할 수 있다. 일 실시 예에 따라 시역 조절부(미도시)는 복수의 이미지 센싱 소자(IS) 각각의 FOV를 조절할 수 있다. 다른 실시 예에 따라 시역 조절부(미도시)는 적어도 하나의 이미지 센싱 소자(IS) 각각의 FOV를 상이하게 조정하여 결과적으로 디스플레이 패널(110)의 FOV를 조절할 수 있다.
예를 들어, 프로세서(130)는 디스플레이된 이미지의 부분 영역에 대한 확대 명령이 입력되면, 해당 부분 영역에 대응되는 이미지 센싱 소자의 FOV가 축소되도록 시역 조절부(미도시)를 제어할 수 있다.
본 개시의 일 실시 예에 따른 시역 조절부(미도시)는 광학 소자(120)의 상부 또는 하부에 배치되며, 이미지 센싱 소자(IS)보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함할 수 있다. 액정 셔터는 카메라의 셔터처럼 빛을 차단하도록 구현된 형태를 의미한다. 여기서, 복수의 셀 각각은 인가되는 전압에 따라 액정 셔터 방식으로 동작할 수 있다. 예를 들어, 프로세서(130)는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 복수의 셀 각각의 개폐 여부를 제어되고, 이에 기초하여 이미지 센싱 소자(IS)의 시역이 조정될 수 있다.
프로세서(130)는 복수의 이미지 센싱 소자의 배치 위치에 기초하여 표시된 이미지의 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정할 수 있다. 예를 들어, 프로세서(130)는 부분 영역에 대한 확대 명령이 입력되면, 해당 부분 영역에 대응되는 위치에 배치된 이미지 센싱 소자를 식별하고, 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 셔터의 개구 크기가 축소되도록 제어할 수 있다. 이 경우, 대응되는 이미지 센싱 소자의 FOV가 축소되고, 다른 이미지 센싱 소자보다 좁은 FOV를 가지는 해당 이미지 센싱 소자에 의해 촬영된 이미지에 기초하여 확대 이미지를 제공할 수 있게 된다.
본 개시의 다른 실시 예에 따른 시역 조절부(미도시)는 광학 소자에 전압을 인가하는 전압 인가부를 포함할 수 있다. 이 경우, 광학 소자는 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함할 수 있다. 이 경우, 이미지 센싱 소자(IS) 각각에 대응되는 액정 렌즈에 대한 전압 인가 여부 또는 인가되는 전압의 세기 중 적어도 하나를 제어함에 따라 이미지 센싱 소자(IS)의 시역이 조정될 수 있다. 이 경우, 프로세서(130)는 복수의 이미지 센싱 소자의 배치 위치에 기초하여 표시된 이미지의 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 렌즈에 상이한 전압을 인가하도록 전압 인가부를 제어할 수 있다. 예를 들어, 프로세서(130)는 부분 영역에 대한 확대 명령이 입력되면, 해당 부분 영역에 대응되는 위치에 배치된 이미지 센싱 소자를 식별하고, 식별된 이미지 센싱 소자의 FOV가 축소되도록 대응되는 액정 렌즈에 다른 액정 렌즈와 상이한 전압을 인가하도록 전압 인가부를 제어할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 6의 첫번째 도면에 도시된 바와 같이 본 개시의 일 실시 예에 따른 디스플레이(600)에 구비된 복수의 이미지 센서를 통해 촬영된 이미지(610)가 디스플레이되고 있는 상태에서, 두번째 도면에 도시된 바와 같이 디스플레이된 이미지(610)의 일부 영역(611)에 대한 선택 및 확대 명령이 수신될 수 있다. 예를 들어, 선택 및 확대 명령은 핀치 줌 인(Pinch zomm in), 롱 프레스(Long press) 등과 같은 터치 인터렉션으로 수신될 수 있다. 일 실시 예에 따르면, 프로세서(130)는 세번째 도면에 도시된 바와 같이 선택된 일부 영역(611)에 대응되는 이미지 센서(630)에 의해 촬영된 영상에 기초하여 해당 일부 영역(611)에 대한 확대 이미지(620)를 디스플레이할 수 있다. 다른 실시 예에 따르면, 프로세서(130)는 선택된 일부 영역(611)에 대응되는 이미지 센서(630)의 FOV를 다른 이미지 센서의 FOV보다 축소되도록 조정하고, FOV가 축소된 이미지 센서(630)에 의해 촬영된 영상에 기초하여 해당 일부 영역(611)에 대한 확대 이미지(620)를 제공할 수 있다.
도 7은 본 개시의 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 7의 첫번째 도면에 도시된 바와 같이 디스플레이된 이미지(710)의 일부 영역(711)에 대한 선택 및 확대 명령이 입력되면, 프로세서(130)는 해당 영역에 대응되는 이미지 센서(640)에 의해 촬영된 이미지에 기초하여 확대 이미지(720)를 디스플레이할 수 있다. 또는 프로세서(130)는 해당 이미지 센서(640)의 FOV를 축소 조정하고, FOV가 축소 조정된 이미지 센서(640)에 의해 촬영된 이미지에 기초하여 확대 이미지(720)가 제공될 수 있다.
도 7의 첫번째 도면에 도시된 바와 같은 상태에서 두번째 도면에 도시된 바와 같이 사용자의 선택 영역이 다른 영역(712)으로 이동되면, 프로세서(130)는 이동된 영역(712)에 대응되는 이미지 센서(650)에 의해 촬영된 이미지에 기초하여 해당 영역(711)에 대한 확대 이미지(730)를 디스플레이될 수 있다. 또는 프로세서(130)는 해당 이미지 센서(650)의 FOV를 축소 조정하고, FOV가 축소 조정된 이미지 센서(650)에 의해 촬영된 이미지에 기초하여 확대 이미지(730)를 디스플레이할 수 있다.
이 후, 사용자의 줌 인 명령이 입력되면, 프로세서(130)는 도 7의 세번째 도면에 도시된 바와 줌 인 명령에 따라 선택된 영역에 대한 확대 이미지(740)를 디스플레이할 수 있다. 이 경우, 프로세서(130)는 선택된 영역에 대응되는 이미지 센서(660)에 의해 촬영된 이미지에 기초하여 확대 이미지(740)를 디스플레이할 수 있다. 또는 프로세서(130)는 해당 이미지 센서(660)의 FOV를 축소 조정하고, FOV가 축소 조정된 이미지 센서(660)에 의해 촬영된 이미지에 기초하여 확대 이미지(730)를 디스플레이할 수 있다.
도 8은 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 8의 첫번째 도면에 도시된 바와 같이 디스플레이된 이미지(810)의 일부 영역을 선택 및 확대하는 음성 및 제스처 명령이 입력될 수 있다. 예를 들어, "여기 확대해 줘"와 같은 음성 명령 및 손가락으로 해당 위치를 가리키는 제스처 명령이 함께 입력될 수 있다.
이 경우, 도 8의 두번째 도면에 도시된 바와 같이 프로세서(130)는 촬영된 이미지에 기초하여 손가락 위치를 인식하여 사용자가 지시한 영역을 검출하고, 세번째 도면에 도시된 바와 같이 검출된 영역에 대응되는 이미지 센서(670)에 의해 촬영된 이미지에 기초하여 확대 이미지(820)를 디스플레이할 수 있다. 또는 프로세서(130)는 해당 이미지 센서(670)의 FOV를 축소 조정하고, FOV가 축소 조정된 이미지 센서(670)에 의해 촬영된 이미지에 기초하여 확대 이미지(820)를 디스플레이할 수 있다.
다른 실시 예에 따르면, "치아 확대해줘"와 같은 음성 명령이 입력되면, 프로세서(130)는 촬영된 이미지의 분석을 통해 치아를 포함하는 영역을 검출하고, 검출된 영역에 대응되는 이미지 센서에 의해 촬영된 이미지에 기초하여 확대 이미지를 디스플레이할 수도 있다.
도 9는 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 부분 확대 이미지 제공 방법은 도 9에 도시된 바와 같이 원격 진료 시나리오에 적용될 수 있다.
예를 들어, 도 9의 첫번째 도면에 도시된 바와 같이 의사와 환자가 각각 사용자 기기를 통해 영상 통화를 통해 원격 진료를 하는 상황을 가정하도록 한다. 이 경우, 의사의 사용자 기기(910)에는 환자의 촬영 이미지(920)가, 환자의 사용자 기기(930)에는 의사의 촬영 이미지(940)가 디스플레이될 수 있다.
도 9의 두번째 도면에 도시된 바와 같이 의사의 사용자 기기(910)를 통해 디스플레이되는 환자의 촬영 이미지(920)에서 특정 영역(921)에 대한 선택 및 확대 명령이 입력되면, 의사의 사용자 기기(910)는 해당 명령을 환자의 사용자 기기(930)로 전송하고, 환자의 사용자 기기(930)는 의사에 의해 선택된 영역을 확대한 이미지를 의사의 사용자 기기(910)로 전송할 수 있다. 이 경우, 세번째 도면에 도시된 바와 같이 의사의 사용자 기기(910)에서 특정 영역(921)에 대한 확대 이미지(922)가 디스플레이될 수 있다. 이 경우, 환자의 사용자 기기(930)는 특정 영역(921)에 대응되는 이미지 센서(931)에 의해 촬영된 이미지에 기초하여 확대 이미지(922)를 획득할 수 있다. 또는 환자의 사용자 기기(930)는 해당 이미지 센서(931)의 FOV를 축소 조정하고, FOV가 축소 조정된 이미지 센서(931)에 의해 촬영된 이미지에 기초하여 확대 이미지(922)를 획득할 수 있다.
도 10은 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 10의 첫번째 도면에 도시된 바와 같이 사용자 A 및 B가 각각 사용자 기기를 통해 영상 통화를 수행하는 상황을 가정하도록 한다. 이 경우, 사용자 A의 사용자 기기(1010)에는 사용자 B의 촬영 이미지(1020)가, 사용자 B의 사용자 기기(1030)에는 사용자 A의 촬영 이미지(1040)가 디스플레이될 수 있다.
도 10의 두번째 도면에 도시된 바와 같이 사용자 B의 사용자 기기(1030)를 통해 디스플레이되는 사용자 A의 촬영 이미지(1040)에서 특정 영역(1041)에 대한 선택 및 확대 명령이 입력되면, 사용자 B의 사용자 기기(1030)는 해당 명령을 사용자 A의 사용자 기기(1010)로 전송하고, 사용자 A의 사용자 기기(1010)는 사용자 B에 의해 선택된 영역을 확대한 이미지(1041)를 사용자 B의 사용자 기기(1030)로 전송할 수 있다. 이 경우, 세번째 도면에 도시된 바와 같이 사용자 A의 사용자 기기(930)는 사용자 A가 이동하여도 사용자 B에 의해 선택된 영역, 예를 들어 얼굴 영역을 트랙킹하여 해당 영역을 확대한 이미지를 계속하여 사용자 B의 사용자 기기(1030)로 전송할 수 있다. 이 경우 사용자 A의 사용자 기기(1010)는 사용자의 이동에 따라 얼굴 영역에 대응되는 이미지 센서(1011, 1012)를 선택하고, 선택된 이미지 센서(1011, 1012)에 의해 촬영된 이미지에 기초하여 확대 이미지(1041)를 획득할 수 있다. 또는 사용자 A의 사용자 기기(1010)는 해당 이미지 센서(1011, 1012)의 FOV를 축소 조정하고, FOV가 축소 조정된 이미지 센서(1011, 1012)에 의해 촬영된 이미지에 기초하여 확대 이미지(1041)를 획득할 수 있다.
도 11은 본 개시의 또 다른 실시 예에 따른 부분 확대 이미지 제공 방법을 설명하기 위한 도면이다.
도 11의 첫번째 도면에 도시된 바와 같이 특정 기기(1100)에서 다수의 인물을 촬영하는 상황을 상정하도록 한다. 예를 들어, 촬영된 영상(1110)은 영상 통화 상대방 기기(미도시)로 제공될 수 있다.
이 경우, 특정 기기(1100)는 기 설정된 이벤트에 따라 두번째 도면에 도시된 바와 같이 촬영된 영상(1110)에서 특정 오브젝트 영역, 예를 들어 인물 영역을 검출하고, 검출된 인물 영역을 동일한 크기로 제공하는 이미지(1120)를 상대방 기기(미도시)로 제공할 수 있다. 예를 들어, 기 설정된 이벤트는 인물 자동 포커스 모드가 실행되는 이벤트가 될 수 있으나, 이에 한정되는 것인 아니다. 이 경우, 특정 기기(1100)는 촬영된 영상(1110)에 포함된 복수의 인물 영역에 대응되는 복수의 이미지 센서들(1101 내지 1104)에서 촬영된 이미지에 기초하여 동일한 크기로 확대된 복수의 인물 영역(1121, 1122, 1123, 1124)을 포함하는 이미지(1120)을 상대방 기기(미도시)로 제공할 수 있다. 이 경우, 특정 기기(1110)는 복수의 인물 영역(1121, 1122, 1123, 1124)을 동일한 크기로 제공하기 위하여 필요한 경우 복수의 이미지 센서들(1101 내지 1104) 각각의 FOV를 상이하게 조절할 수 있다.
예를 들어, 특정 기기(1110)는 촬영된 이미지에서(1110)에서 크기가 상대적으로 작은 인물 영역에 대응되는 이미지 센서(1103)의 FOV를 확대시켜, 해당 인물 영역에 대한 확대 이미지(1123)을 획득할 수 있다.
도 12a 및 도 12b는 본 개시의 일 실시 예에 따라 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면들이다.
본 개시의 일 실시 예에 따른 시역 조절부는, 도 12a에 도시된 바와 같이 액정 셔터 형태로 구현될 수 있다. 여기서, 액정 셔터(1210)는 이미지 센싱 소자(420)보다 더 미세한 크기의 복수의 셀을 포함하는 형태가 될 수 있다. 예를 들어, 액정 셔터(1210)는 TFT Array 구조로 설계되어 이미지 센싱 소자(420)의 일부 영역으로 광이 입사되도록 할 수 있다. 예를 들어, 액정 셔터(1210)는 투명 기판 및 전극으로 구성되고, 전원이 인가되지 않는 셀은 투명한 상태를 유지하여 광을 투과시키고 전원의 인가되는 셀은 불투명한 상태로 전환되어 광을 투과하지 못하도록 구현될 수 있다. 예를 들어, 액정 셔터(1210)는 Pin Hole Mask(또는 Pin Hole Mask Array)로 구현될 수 있다.
도 12a에 따르면, 액정 셔터(1210)의 적어도 하나의 셀 영역(1211)에만 전원이 인가되지 않고 나머지 셀 영역에는 전원이 인가되는 경우, 해당 셀 영역(711)을 통해서만 광이 입사되고 입사되는 광은 광학 소자(120)의 일 영역에서 굴절되어 이미지 센싱 소자(420)의 일부 영역으로 입사될 수 있다. 즉, 따라서, 액정 셔터(1210)의 컨트롤을 통해 이미지 센싱 소자(420)의 FOV(Field of View)를 조절할 수 있다. 실시 예에 따라 각 액정 셔터(1210)의 상부 또는 하부에 적어도 하나의 광학 소자(120)가 배치되어 각 이미지 센싱 소자(5120) 별로 별개의 FOV가 생성될 수 있다.
한편, 일 실시 예에 따라 액정 셔터(1210)에 대한 전원 인가를 제어하는 컨트롤러가 구비될 수 있으며, 컨트롤러는 프로세서(130)의 제어 신호에 따라 액정 셔터(1210)를 컨트롤할 수 있다.
도 12b에 도시된 바와 같이 이미지 센싱 소자의 위치 별로 대응되는 액정 셔터의 개구 크기를 상이하게 제어할 수 있다. 예를 들어 촬영 이미지의 중앙 영역에서 사용자 부분 확대 명령이 입력되면, 도 12b에 도시된 바와 같이 중앙에 위치한 이미지 센싱 소자(B)에 대응되는 액정 셔터(1230)의 개구 크기(1231)를 나머지 이미지 센싱 소자(A, C)에 대응되는 액정 셔터(1220, 1240)의 개구 크기(1221, 1241)보다 축소시킬 수 있다. 이 경우, 중앙에 위치한 이미지 센싱 소자(B)의 FOV가 상대적으로 축소되므로, 해당 이미지 센싱 소자(B)를 통해 확대 이미지를 획득할 수 있게 된다.
도 13a 내지 도 13d, 도 14는 본 개시의 다른 실시 예에 따른 이미지 센싱 소자의 FOV를 조정하는 방법을 설명하기 위한 도면들이다.
본 개시의 다른 실시 예에 따르면, 광학 소자(120)를 액정 렌즈 어레이(예를 들어 마이크로 액정 렌즈 어레이)로 구현하여 시역 조절부(미도시)의 기능을 수행할 수 있다. 구체적으로, 액정의 강유전성(ferroelectric)을 이용하여 액정 렌즈의 초점 거리를 변화시킬 수 있다. 즉, 전압의 세기에 따라 액정 분자의 배향(또는 배향 각도)에 변화가 발생하며, 이에 따라 액정 렌즈의 초점 거리를 조절할 수 있게 된다. 이 경우, 이미지 센싱 소자는 최소 2x2 이상의 Macro Pixel 구조로 형성되는 것이 바람직하다.
일 실시 예에 따라 액정 렌즈는, 도 13a 내지 도 13d에 도시된 바와 같이 렌즈층(121), 액정층(122) 및 전극층(123-1, 123-2)을 포함할 수 있다. 액정층(122)은 인가되는 전극층(123-1, 123-2)을 통해 전압의 세기에 따라 광학적 특성이 변화하여 렌즈층(121)을 통과하는 광의 굴절을 상이한 방향으로 제어할 수 있다. 여기서, 전극층(123-1, 123-2)은 통과하는 광에 대한 영향을 최소화하기 위하여 투명한 재질에 플랫(flat)한 형태를 가지는 것이 바람직하다. 예를 들어, 도 13a 내지 도 13d에 도시된 바와 같이 전극층(123-1, 123-2)에 인가되는 전압의 세기에 따라 액정 분자의 배향 각도가 변경되고, 이에 따라 액정 렌즈의 초점 거리가 변경될 수 있다. 이와 같이 액정 렌즈의 초점 거리가 변경되면 결과적으로 이미지 센싱 소자(420)의 FOV를 변경시킬 수 있게 된다.
도 14에 도시된 바와 같이 도시된 바와 같이 도시된 바와 같이 이미지 센싱 소자의 위치 별로 대응되는 액정 렌즈의 초점 거리 즉, FOV를 조절할 수 있다. 예를 들어 예를 들어 촬영 이미지의 중앙 영역에서 사용자 부분 확대 명령이 입력되면, 중앙 영역에 위치한 이미지 센싱 소자(423)에 대응되는 액정 렌즈의 경우 FOV가 나머지 이미지 센서(421, 422, 521, 525)의 FOV가 축소되도록 액정 렌즈의 초점 거리를 조절할 수 있다. 이 경우, 중앙에 위치한 이미지 센싱 소자(423)의 FOV가 상대적으로 축소되므로, 해당 이미지 센싱 소자(423)를 통해 확대 이미지를 획득할 수 있게 된다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 15에 따르면, 전자 장치(100)는 디스플레이 패널(110), 광학 소자(120), 프로세서(130), 시역 조절부(140), 입력부(160), 메모리(170) 및 사용자 인터페이스(180)를 포함한다.
디스플레이 패널(110), 광학 소자(120) 및 시역 조절부(140)를 포함하는 디스플레이(150) 구성에 대해서는 도 3에서 설명한 바 있으므로, 자세한 설명을 생략하도록 한다.
프로세서(130)는 본 개시의 다양한 실시 예에 따라 획득된 영상을 디스플레이하도록 디스플레이(150)를 제어할 수 있다.
프로세서(130)는, 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 복수 개의 영상을 처리하여 이미지 표시 소자에 표시할 출력 영상을 획득할 수 있다. 예를 들어, 이미지 센싱 소자가 매크로(Macro) 픽셀 형태의 2차원 센싱 소자로 구현되는 경우, 복수의 이미지 센싱 소자로부터 획득된 영상 신호의 FOV가 중첩될 수 있다. 이 경우 프로세서(130)는 복수의 이미지 센싱 소자로부터 획득된 복수의 영상 신호를 영상 처리, 예를 들어, 도 16에 도시된 바와 같이 Image Stitching 처리하여 이미지 표시 소자로 제공할 출력 영상 신호를 획득할 수 있다. 예를 들어, 프로세서(130)는 warping, feature based alignment, ratation, translation, 또는 white banlancing 중 적어도 하나의 처리를 통해 출력 영상을 획득할 수 있다. 즉, 프로세서(130)는 이미지 스티칭 처리에 의해 재구성된 영상 신호를 획득하고, 재구성된 영상 신호를 디스플레이 구동 타이밍에 맞추어 전기적 신호로 변환한 후 각 이미지 표시 소자에 전달할 수 있다.
다른 예에 따라, 프로세서(130)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(130)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
도 15로 돌아와서, 프로세서(130)는, 복수의 이미지 센싱 소자 및 복수의 이미지 표시 소자를 구동 타이밍을 상이하게 제어할 수 있다. 구체적으로, 프로세서(130)는 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 복수의 이미지 센싱 소자가 구동되지 않고, 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동할 수 있다. 이는 이미지 표시 소자에서 발광되는 빛과 이미지 센싱 소자로 집광되는 빛의 간섭을 배제하기 위함이다. 다만 경우에 따라서는 이미지 표시 소자가 구동되는 제1 기간 및 이미지 센싱 소자가 구동되는 제2 기간이 일부 중복될 수도 있다. 예를 들어, 제1 기간 및 제2 기간으로 변경되는 적어도 일부 구간 동안 적어도 하나의 이미지 표시 소자 및 적어도 하나의 이미지 센싱 소자가 동시 구동될 수도 있다.
입력부(160)는 다양한 타입의 컨텐츠를 수신한다. 예를 들어 입력부(160)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 영상 신호를 입력받을 수 있다. 여기서, 영상 신호는 디지털 신호가 될 수 있으나 이에 한정되는 것은 아니다.
메모리(170)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리(170)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
사용자 인터페이스(180)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린, 사용자 음성을 입력받는 마이크, 사용자 제스처 및 움직임을 인식하는 카메라, 마이크를 구비하는 외부 장치로부터 사용자 음성 신호를 수신하는 통신 인터페이스 등으도 구현될 수 있다.
한편, 전자 장치(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 17은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 17에 도시된 전자 장치의 제어 방법에 있어서, 전자 장치는, 복수의 이미지 표시 소자 및 각각 적어도 하나의 이미지 표시 소자 단위로 배치되는 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널, 디스플레이 패널 상부에 배치되며, 입사되는 광을 복수의 이미지 센싱 소자로 투사하는 광학 소자를 포함할 수 있다.
도시된 제어 방법에 따르면, 우선 복수의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 획득된 이미지를 디스플레이한다(S1710).
이어서, 표시된 이미지의 일부 영역에 대한 사용자 인터렉션이 입력되면(S1720), 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 사용자 인터렉션에 대응되는 영상을 디스플레이한다(S1730).
여기서, 복수의 이미지 표시 소자는 2차원 형태로 배열되고, 복수의 이미지 센싱 소자는 적어도 하나의 이미지 표시 소자 단위로 2차원 형태로 배열될 수 있다. 또한, 복수의 이미지 센싱 소자 각각은, 적어도 하나의 이미지 표시 소자와 동일 레이어(Layer)에 배치되거나, 상이한 레이어에 배치될 수 있다.
또한, 사용자 인터렉션에 대응되는 영상을 디스플레이하는 S1730 단계에서는, 사용자 인터렉션이 일부 영역에 대한 부분 확대 명령인 경우, 일부 영역에 대응되는 적어도 하나의 제1 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 일부 영역이 확대된 영상을 디스플레이할 수 있다.
또한, 사용자 인터렉션에 대응되는 영상을 디스플레이하는 S1730 단계에서는, 부분 확대 명령에 대응되는 일부 영역이 사용자 인터렉션에 따라 변경되면, 변경된 일부 영역에 대응되는 적어도 하나의 제2 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 변경된 일부 영역이 확대된 영상을 디스플레이할 수 있다.
또한, 전자 장치는, 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부를 더 포함할 수 있다. 이 경우, 사용자 인터렉션에 대응되는 영상을 디스플레이하는 S1730 단계에서는, 사용자 인터렉션에 기초하여 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자의 FOV를 조절하고, FOV가 조절된 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 사용자 인터렉션에 대응되는 영상을 디스플레이할 수 있다.
또한, 시역 조절부는, 광학 소자의 상부 또는 하부에 배치되며 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함할 수 있다. 이 경우, 사용자 인터렉션에 대응되는 영상을 디스플레이하는 S1730 단계에서는, 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 복수의 셀 각각의 개폐 동작을 제어하며, 복수의 이미지 센싱 소자의 배치 위치에 기초하여 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정할 수 있다.
또한, 광학 소자는, 전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며, 시역 조절부는, 광학 소자에 전압을 인가하는 전압 인가부를 포함할 수 있다. 이 경우, 상기 사용자 인터렉션에 대응되는 영상을 디스플레이하는 S1730 단계에서는, 복수의 이미지 센싱 소자의 배치 위치에 기초하여 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 렌즈에 상이한 전압을 인가하도록 전압 인가부를 제어할 수 있다.
또한, 사용자 인터렉션은, 터치 인터렉션, 제스처 인터렉션 또는 음성 인터렉션 중 적어도 하나를 포함할 수 있다.
또한, 획득된 이미지를 디스플레이하는 S1710 단계에서는, 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 복수 개의 영상을 처리하여 이미지를 획득할 수 있다.
또한, 전자 장치는, 이미지 표시 소자로부터 방출되는 광을 분산시키는 광학 소자를 더 포함할 수 있다.
또한, 제어 방법은, 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동하는 단계를 더 포함할 수 있다.
상술한 다양한 실시 예에 따르면, 복수의 이미지 센싱 소자를 디스플레이 패널에 실장함으로써, 셀프 촬영 또는 셀프 촬영을 통한 다양한 인터렉션 시 시선 불일치 문제를 극복할 수 있게 된다.
또한, 이미지 센싱 소자를 디스플레이에 내장했기 때문에 디스플레이 장치의 베젤을 최소화하는 효과를 제공할 수 있으며, 궁극적으로 Full Screen Display를 구현할 수 있게 된다.
또한, 사용자 인터렉션에 적합한 위치에 배치된 이미지 센싱 소자를 이용하여 촬영된 영상을 획득할 수 있게 된다. 이 경우, 전체 촬영 영상에서 부분 영상을 크랍(crop)하여 이미지 처리를 통해 확대하는 종래의 영상 처리와 다르게 확대 영상의 해상도 및 퀄리티가 감소하지 않게 된다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 하드웨어 업그레이드 만으로도 구현될 수 있으나, 경우에 따라 소프트웨어 업그레이드도 추가로 요구될 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 커맨드어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 커맨드어를 호출하고, 호출된 커맨드어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 영상 처리 장치(예: 영상 처리 장치(A))를 포함할 수 있다. 커맨드이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 커맨드에 해당하는 기능을 수행할 수 있다. 커맨드은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
110: 디스플레이 패널 120: 광학 소자
130: 프로세서

Claims (20)

  1. 2차원 형태로 배열된 복수의 이미지 표시 소자 및 상기 복수의 이미지 표시 소자 사이에 배치된 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널;
    상기 디스플레이 패널 상부에 배치되며, 입사되는 광을 상기 복수의 이미지 센싱 소자로 투사하는 광학 소자; 및
    상기 복수의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 획득된 이미지를 상기 이미지 표시 소자에 표시하도록 상기 디스플레이 패널을 제어하고,
    상기 표시된 이미지에 포함된 복수의 오브젝트 영역에 대한 사용자 입력이 수신되면, 상기 수신된 사용자 입력에 기초하여 상기 표시된 이미지에서 상기 복수의 오브젝트 영역을 식별하고,
    동일한 사이즈의 상기 복수의 오브젝트 영역을 포함하는 이미지를 표시하도록 상기 디스플레이 패널을 제어하는 프로세서;를 포함하며,
    상기 동일한 사이즈의 상기 복수의 오브젝트 영역은,
    상기 표시된 이미지에 포함된 상기 식별된 복수의 오브젝트 영역 각각에 대응되는 복수의 이미지 센싱 소자에 의해 생성된 이미지들에 기초하여 확대된 영역이며,
    상기 복수의 이미지 표시 소자 및 상기 복수의 이미지 센싱 소자는 2차원적으로 상차 및 좌우로 교번적으로 배치되는 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 이미지 센싱 소자 각각은,
    상기 적어도 하나의 이미지 표시 소자와 동일 레이어(Layer)에 배치되거나, 상이한 레이어에 배치되는, 전자 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 확대된 영역이 사용자 입력에 따라 변경되면, 상기 변경된 일부 영역에 대응되는 적어도 하나의 제2 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 변경된 일부 영역이 확대된 영상을 디스플레이하도록 상기 디스플레이 패널을 제어하는, 전자 장치.
  5. 제1항에 있어서,
    상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부;를 더 포함하며,
    상기 프로세서는,
    상기 사용자 입력에 기초하여 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자의 FOV를 조절하고, 상기 FOV가 조절된 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 사용자 입력에 대응되는 영상을 디스플레이하도록 상기 디스플레이 패널을 제어하는, 전자 장치.
  6. 제5항에 있어서,
    상기 시역 조절부는,
    상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며,
    상기 프로세서는,
    상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어하며,
    상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하는, 전자 장치.
  7. 제5항에 있어서,
    상기 광학 소자는,
    전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며,
    상기 시역 조절부는,
    상기 광학 소자에 전압을 인가하는 전압 인가부;를 포함하며,
    상기 프로세서는,
    상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 렌즈에 상이한 전압을 인가하도록 상기 전압 인가부를 제어하는, 전자 장치.
  8. 제1항에 있어서,
    상기 사용자 입력은,
    터치 인터렉션, 제스처 인터렉션 또는 음성 인터렉션 중 적어도 하나를 포함하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 센싱 소자로부터 획득된 복수 개의 영상 각각의 FOV에 기초하여 상기 복수 개의 영상을 처리하여 상기 이미지 표시 소자에 표시할 출력 영상을 획득하는, 전자 장치.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 이미지 표시 소자로부터 방출되는 광을 분산시키는 광학 소자;를 더 포함하는, 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동하는, 전자 장치.
  12. 2차원 형태로 배열된 복수의 이미지 표시 소자 및 상기 복수의 이미지 표시 소자 사이에 배치된 복수의 이미지 센싱 소자를 포함하는 디스플레이 패널 및 상기 디스플레이 패널 상부에 배치되며, 입사되는 광을 상기 복수의 이미지 센싱 소자로 투사하는 광학 소자를 포함하는 전자 장치의 제어 방법에 있어서,
    상기 복수의 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 획득된 이미지를 디스플레이하는 단계; 및
    상기 표시된 이미지에 포함된 복수의 오브젝트 영역에 대한 사용자 입력이 수신되면, 상기 수신된 사용자 입력에 기초하여 상기 표시된 이미지에서 상기 복수의 오브젝트 영역을 식별하고, 동일한 사이즈의 상기 복수의 오브젝트 영역을 포함하는 이미지를 디스플레이하는 단계;를 포함하며,
    상기 동일한 사이즈의 상기 복수의 오브젝트 영역은,
    상기 표시된 이미지에 포함된 상기 식별된 복수의 오브젝트 영역 각각에 대응되는 복수의 이미지 센싱 소자에 의해 생성된 이미지들에 기초하여 확대된 영역이며,
    상기 복수의 이미지 표시 소자 및 상기 복수의 이미지 센싱 소자는 2차원적으로 상차 및 좌우로 교번적으로 배치되는 제어 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 복수의 이미지 센싱 소자 각각은,
    상기 적어도 하나의 이미지 표시 소자와 동일 레이어(Layer)에 배치되거나, 상이한 레이어에 배치되는, 제어 방법.
  14. 삭제
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 복수의 오브젝트 영역을 포함하는 이미지를 디스플레이하는 단계는,
    상기 확대된 영역이 상기 사용자 입력에 따라 변경되면, 상기 변경된 일부 영역에 대응되는 적어도 하나의 제2 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 변경된 일부 영역이 확대된 영상을 디스플레이하는, 제어 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 전자 장치는,
    상기 복수의 이미지 센싱 소자의 FOV(field of view)를 조절하도록 구성된 시역 조절부;를 더 포함하며,
    상기 복수의 오브젝트 영역을 포함하는 이미지를 디스플레이하는 단계는,
    상기 사용자 입력에 기초하여 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자의 FOV를 조절하고, 상기 FOV가 조절된 이미지 센싱 소자로부터 수신된 입력 신호에 기초하여 상기 사용자 입력에 대응되는 영상을 디스플레이하는, 제어 방법.
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제16항에 있어서,
    상기 시역 조절부는,
    상기 광학 소자의 상부 또는 하부에 배치되며, 상기 이미지 센싱 소자보다 미세한 크기의 복수의 셀로 구성된 액정 셔터를 포함하며,
    상기 복수의 오브젝트 영역을 포함하는 이미지를 디스플레이하는 단계는,
    상기 액정 셔터를 구성하는 복수의 셀 각각에 대한 전압 인가 여부를 제어하여 상기 복수의 셀 각각의 개폐 동작을 제어하며,
    상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 셔터의 개구 위치 또는 개구 크기 중 적어도 하나를 조정하는, 제어 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제16항에 있어서,
    상기 광학 소자는,
    전압의 세기에 따라 액정 배향 각도가 변화되는 복수의 액정 렌즈를 포함하며,
    상기 시역 조절부는, 상기 광학 소자에 전압을 인가하는 전압 인가부를 포함하며,
    상기 복수의 오브젝트 영역을 포함하는 이미지를 디스플레이하는 단계는,
    상기 복수의 이미지 센싱 소자의 배치 위치에 기초하여 상기 일부 영역에 대응되는 적어도 하나의 이미지 센싱 소자를 식별하고, 상기 식별된 이미지 센싱 소자에 대응되는 적어도 하나의 액정 렌즈에 상이한 전압을 인가하도록 상기 전압 인가부를 제어하는, 제어 방법.
  19. ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 사용자 입력은,
    터치 인터렉션, 제스처 인터렉션 또는 음성 인터렉션 중 적어도 하나를 포함하는, 제어 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제12항에 있어서,
    상기 복수의 이미지 표시 소자가 구동되는 제1 기간 동안 상기 복수의 이미지 센싱 소자가 구동되지 않고, 상기 복수의 이미지 센싱 소자가 구동되는 제2 기간 동안 상기 복수의 이미지 표시 소자가 구동되지 않도록 시분할 구동하는 단계;를 더 포함하는 제어 방법.
KR1020190002340A 2019-01-08 2019-01-08 전자 장치 및 그 제어 방법 KR102593569B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190002340A KR102593569B1 (ko) 2019-01-08 2019-01-08 전자 장치 및 그 제어 방법
US16/583,951 US11184526B2 (en) 2019-01-08 2019-09-26 Electronic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190002340A KR102593569B1 (ko) 2019-01-08 2019-01-08 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200086119A KR20200086119A (ko) 2020-07-16
KR102593569B1 true KR102593569B1 (ko) 2023-10-25

Family

ID=71403809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002340A KR102593569B1 (ko) 2019-01-08 2019-01-08 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US11184526B2 (ko)
KR (1) KR102593569B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021200191A1 (ko) * 2020-03-31 2021-10-07

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2646997B2 (ja) 1994-03-03 1997-08-27 ソニー株式会社 テープスピード測定方法
WO2008072374A1 (ja) 2006-12-11 2008-06-19 Nikon Corporation 電子カメラ
JP5982884B2 (ja) 2012-03-08 2016-08-31 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータ読み取り可能な記録媒体
KR101929561B1 (ko) 2012-03-20 2018-12-18 삼성전자주식회사 시야각 조절이 가능한 디스플레이 장치
WO2013190171A1 (en) 2012-06-20 2013-12-27 Nokia Corporation Display camera operation
KR101470693B1 (ko) * 2012-07-31 2014-12-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치
KR101380517B1 (ko) * 2012-09-28 2014-04-01 엘지디스플레이 주식회사 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
KR101954193B1 (ko) * 2012-11-26 2019-03-05 엘지전자 주식회사 어레이 카메라, 전기 기기 및 그 동작방법
US9661230B2 (en) * 2013-07-05 2017-05-23 Lg Electronics Inc. Image display apparatus and method of operating the image display apparatus
KR20150032028A (ko) * 2013-09-16 2015-03-25 유재천 3d 공간-터치 스크린 장치 및 이를 이용한 방법
CN104679394A (zh) 2013-11-26 2015-06-03 中兴通讯股份有限公司 一种预览界面选定区域放大的方法和装置
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9541998B2 (en) 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
KR102489956B1 (ko) * 2015-12-30 2023-01-17 엘지디스플레이 주식회사 표시 장치 및 표시 장치의 구동 방법
KR101796501B1 (ko) * 2016-04-29 2017-12-04 엘지디스플레이 주식회사 개인 몰입형 장치의 표시장치
EP3291533A1 (en) 2016-09-06 2018-03-07 LG Electronics Inc. Terminal and controlling method thereof
KR20170128193A (ko) * 2017-11-13 2017-11-22 삼성전자주식회사 백라이트 유닛, 이를 구비한 3ｄ 디스플레이 및 3ｄ 영상 형성 방법

Also Published As

Publication number Publication date
KR20200086119A (ko) 2020-07-16
US11184526B2 (en) 2021-11-23
US20200221019A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6246292B2 (ja) 光検出機能を備えるｏｌｅｄディスプレイ装置
US9967444B2 (en) Apparatus and method for capturing image in electronic device
CN113596304B (zh) 配置为照明源的显示器装置
US10217392B2 (en) Transparent display device and method for controlling same
JP5079384B2 (ja) 表示装置および電子機器
JP4728793B2 (ja) ディスプレイ装置およびその制御方法
US20170084231A1 (en) Imaging system management for camera mounted behind transparent display
JP6342499B2 (ja) 表示輝度を下げる方法および装置
US11100872B2 (en) Method and apparatus for display mode switching based on ambient light
US20110241983A1 (en) Display device with privacy function, and method for providing privacy to a display device
WO2017080042A1 (zh) Lcd面板、终端及感光控制方法
JP2013055424A (ja) 撮影装置、パターン検出装置、および電子機器
US11538872B2 (en) Display structure, display panel using the same and display device using the same
US20150091792A1 (en) Display apparatus and control method thereof
KR102593569B1 (ko) 전자 장치 및 그 제어 방법
RU2734543C1 (ru) Дисплейная структура, дисплейная панель и устройство отображения
US20130147696A1 (en) Display Moving Image Quality Improvement In 3D Barrier Type Display
CN113196376B (zh) 电子装置及其控制方法
KR20200025481A (ko) 전자 장치 및 그 제어 방법
KR20170122693A (ko) 광 감지 기능을 구비한 o l e d 디스플레이 장치
US20230410721A1 (en) Illumination portions on displays
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
US20230403903A1 (en) Display panel, display device, and information processing apparatus
KR20170015960A (ko) 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
CN108243353A (zh) 显示设备和显示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right