KR20210094247A - 디스플레이 장치 및 그 제어방법 - Google Patents

디스플레이 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210094247A
KR20210094247A KR1020200007753A KR20200007753A KR20210094247A KR 20210094247 A KR20210094247 A KR 20210094247A KR 1020200007753 A KR1020200007753 A KR 1020200007753A KR 20200007753 A KR20200007753 A KR 20200007753A KR 20210094247 A KR20210094247 A KR 20210094247A
Authority
KR
South Korea
Prior art keywords
user
display
camera
facial
image
Prior art date
Application number
KR1020200007753A
Other languages
English (en)
Inventor
추현준
정현수
최종화
고종진
김광연
이장우
장경아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200007753A priority Critical patent/KR20210094247A/ko
Priority to PCT/KR2021/000641 priority patent/WO2021149980A1/ko
Publication of KR20210094247A publication Critical patent/KR20210094247A/ko
Priority to US17/727,303 priority patent/US20220245967A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06K9/00201—
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

개시된 발명의 일 측면은, 3차원 카메라로 촬영한 사용자의 3차원 안면 영상에 기초하여 사용자의 안면 윤곽 변화를 검출하고, 검출된 안면 윤곽 변화에 대한 정보를 사용자에게 제공하는 미러 디스플레이를 포함하는 디스플레이 장치 및 그 제어 방법을 제공한다.
일 실시예에 따른 디스플레이 장치는 미러 디스플레이; 상기 미러 디스플레이의 전방을 향하여 배치되는 3차원 카메라; 및 상기 3차원 카메라가 서로 다른 적어도 두 시점에서 촬영한 사용자의 3차원 안면 영상에서 상기 사용자의 안면 윤곽을 검출하고, 상기 검출된 안면 윤곽에 기초하여 상기 두 시점 사이의 안면 윤곽 변화를 판단하고, 상기 미러 디스플레이가 상기 안면 윤곽 변화에 관한 정보를 표시하도록 제어하는 제어부;를 포함한다.

Description

디스플레이 장치 및 그 제어방법{DISPLAY APPARATUS AND METHOD FOR CONTROLLING THE SAME}
개시된 발명은 미러 기능과 디스플레이 기능을 함께 수행할 수 있는 디스플레이 장치 및 그 제어 방법에 관한 것이다.
최근에는 미러와 디스플레이를 결합한 형태의 디스플레이 장치가 개발되고 있는바, 이러한 형태의 디스플레이 장치는 스마트 미러(smart mirror) 또는 미러 디스플레이(mirror display)라 지칭되기도 한다.
디스플레이의 전방에 일정 비율의 투과율과 반사율을 갖는 하프 미러가 배치되면, 디스플레이가 온(on) 되었을 때 디스플레이에 표시되는 화면이 하프 미러를 투과하여 디스플레이 장치 전방의 사용자에게 보여지고, 디스플레이가 오프 되었을 때에는 가시광선이 하프 미러에 반사되어 디스플레이 장치가 미러로서 기능하게 된다.
이러한 디스플레이 장치는 미러의 기능과 디스플레이의 기능을 동시에 수행할 수 있기 때문에 다양한 분야에서 다양한 용도로 활용이 가능하다.
개시된 발명의 일 측면은, 3차원 카메라로 촬영한 사용자의 3차원 안면 영상에 기초하여 사용자의 안면 윤곽 변화를 검출하고, 검출된 안면 윤곽 변화에 대한 정보를 사용자에게 제공하는 미러 디스플레이를 포함하는 디스플레이 장치 및 그 제어 방법을 제공한다.
또한, 개시된 발명의 일 측면은, 3차원 카메라로 촬영한 3차원 영상에서 미리 정의된 제스처를 검출하고, 미리 정의된 제스처가 검출되면 디스플레이를 활성화시키는 미러 디스플레이를 포함하는 디스플레이 장치 및 그 제어 방법을 제공한다.
일 실시예에 따른 디스플레이 장치는 미러 디스플레이; 상기 미러 디스플레이의 전방을 향하여 배치되는 3차원 카메라; 및 상기 3차원 카메라가 서로 다른 적어도 두 시점에서 촬영한 사용자의 3차원 안면 영상에서 상기 사용자의 안면 윤곽을 검출하고, 상기 검출된 안면 윤곽에 기초하여 상기 두 시점 사이의 안면 윤곽 변화를 판단하고, 상기 미러 디스플레이가 상기 안면 윤곽 변화에 관한 정보를 표시하도록 제어하는 제어부;를 포함한다.
상기 제어부는, 상기 미러 디스플레이가 상기 안면 윤곽 변화에 관한 정보를 수치로 표시하도록 제어할 수 있다.
상기 미러 디스플레이의 전방을 향하여 배치되는 2차원 카메라;를 더 포함하고, 상기 제어부는, 상기 미러 디스플레이가 상기 안면 윤곽 변환에 관한 정보를 상기 2차원 카메라가 촬영한 상기 사용자의 2차원 안면 영상 위에 표시하도록 제어할 수 있다.
상기 제어부는, 사용자 별로 상기 3차원 안면 영상 및 상기 안면 윤곽 변화에 관한 정보 중 적어도 하나를 저장할 수 있다.
상기 제어부는, 상기 2차원 카메라가 촬영한 사용자의 2차원 안면 영상 또는 상기 3차원 카메라가 촬영한 사용자의 3차원 안면 영상에 기초하여 사용자를 인식할 수 있다.
상기 제어부는, 상기 인식된 사용자에 대해 저장된 3차원 안면 영상과 상기 3차원 카메라가 촬영한 사용자의 현재 3차원 안면 영상에 기초하여 상기 안면 윤곽 변화를 판단할 수 있다.
상기 제어부는, 상기 검출된 안면 윤곽에 기초하여 상기 사용자의 얼굴형 타입을 결정하고, 상기 결정된 얼굴형 타입에 대응되는 화장법에 관한 정보를 제공하도록 상기 미러 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 안면 윤곽 변화에 대응되는 화장법에 관한 정보를 제공하도록 상기 미러 디스플레이를 제어할 수 있다.
상기 미러 디스플레이는, 상기 디스플레이 장치의 전면에 배치되는 하프 미러; 및 상기 하프 미러의 후방에 배치되는 디스플레이;를 포함할 수 있다.
상기 미러 디스플레이는, 미러 필름이 배치된 상부 편광판을 포함하는 디스플레이를 포함할 수 있다.
다른 예시에 따른 디스플레이 장치는, 미러 디스플레이; 상기 미러 디스플레이의 전방을 향하여 배치되는 3차원 카메라; 사용자의 움직임을 감지하는 모션 센서; 및 상기 모션 센서가 상기 사용자의 움직임을 감지하면 상기 3차원 카메라를 활성화시키고, 상기 3차원 카메라가 촬영한 3차원 영상에서 미리 정의된 제스쳐를 검출하고, 상기 미리 정의된 제스쳐가 검출되면 상기 미러 디스플레이를 활성화시키는 제어부;를 포함한다.
상기 미러 디스플레이의 전방을 향하여 배치되는 2차원 카메라;를 더 포함하고, 상기 제어부는, 상기 미리 정의된 제스쳐가 검출되면 상기 2차원 카메라를 활성화시킬 수 있다.
상기 제어부는, 상기 3차원 카메라가 촬영한 3차원 영상에서 사용자의 접근이 검출되면, 확대된 2차원 영상을 표시하도록 상기 미러 디스플레이를 제어할 수 있다.
상기 제어부는, 상기 2차원 카메라가 촬영한 2차원 영상 또는 상기 3차원 카메라가 촬영한 3차원 영상에서 사용자 지시 영역을 검출하고, 상기 2차원 카메라가 상기 검출된 사용자 지시 영역을 줌인하여 촬영하도록 제어할 수 있다.
상기 제어부는, 상기 2차원 카메라가 촬영한 2차원 영상 또는 상기 3차원 카메라가 촬영한 3차원 영상에서 사용자 지시 영역을 검출하고, 상기 2차원 카메라가 촬영한 2차원 영상에서 상기 검출된 사용자 지시 영역을 확대하여 표시하도록 상기 미러 디스플레이를 제어할 수 있다.
상기 디스플레이 장치는, 전방을 향하여 배치되는 조명;을 더 포함하고, 상기 제어부는, 상기 3차원 카메라가 촬영한 3차원 영상에 기초하여 상기 조명의 밝기를 제어할 수 있다.
상기 제어부는, 상기 3차원 영상에 기초하여 상기 사용자의 접근을 검출하고, 상기 사용자의 접근이 검출되면 상기 조명의 밝기를 밝게 제어할 수 있다.
상기 제어부는, 상기 3차원 영상에 기초하여 상기 사용자와 상기 디스플레이 장치 사이의 거리를 판단하고, 상기 판단된 거리에 기초하여 상기 조명의 밝기를 제어할 수 있다.
일 실시예에 따른 미러 디스플레이, 2차원 카메라 및 3차원 카메라를 포함하는 디스플레이 장치의 제어 방법은, 상기 3차원 카메라를 이용하여 제1시점에서 사용자의 3차원 안면 영상을 촬영하고; 상기 3차원 카메라를 이용하여 제2시점에서 상기 사용자의 3차원 안면 영상을 촬영하고; 상기 제1시점에서 촬영한 상기 사용자의 3차원 안면 영상에서 상기 사용자의 안면 윤곽을 검출하고; 상기 제2시점에서 촬영한 상기 사용자의 3차원 안면 영상에서 상기 사용자의 안면 윤곽을 검출하고; 상기 검출된 안면 윤곽에 기초하여 상기 제1시점과 상기 제2시점 사이의 안면 윤곽 변화를 판단하고; 상기 안면 윤곽 변화에 관한 정보를 상기 미러 디스플레이에 표시하는 것;을 포함한다.
상기 안면 윤곽 변화에 관한 정보를 상기 미러 디스플레이에 표시하는 것은, 상기 안면 윤곽 변화에 관한 정보를 수치로 표시하는 것;을 포함할 수 있다.
상기 안면 윤곽 변화에 관한 정보를 상기 미러 디스플레이에 표시하는 것은, 상기 안면 윤곽 변환에 관한 정보를 상기 2차원 카메라가 촬영한 상기 사용자의 2차원 안면 영상 위에 표시하는 것;을 포함할 수 있다.
상기 제어 방법은, 사용자 별로 상기 제1시점 및 상기 제2시점에서 촬영된 3차원 안면 영상들 및 상기 안면 윤곽 변화에 관한 정보 중 적어도 하나를 저장하는 것;을 더 포함할 수 있다.
상기 제어 방법은, 상기 2차원 카메라가 촬영한 사용자의 2차원 안면 영상 또는 상기 3차원 카메라가 촬영한 사용자의 3차원 안면 영상에 기초하여 사용자를 인식하는 것;을 더 포함할 수 있다.
상기 제1시점과 상기 제2시점 사이의 안면 윤곽 변화를 판단하는 것은, 상기 인식된 사용자에 대해 저장된 제1시점에서 촬영된 3차원 안면 영상과 상기 3차원 카메라가 제2시점에서 촬영한 사용자의 3차원 안면 영상에 기초하여 상기 안면 윤곽 변화를 판단하는 것;을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치 및 그 제어 방법에 의하면,3차원 카메라로 촬영한 사용자의 3차원 안면 영상에 기초하여 사용자의 안면 윤곽 변화를 검출하고, 검출된 안면 윤곽 변화에 대한 정보를 사용자에게 제공할 수 있다.
또한, 3차원 카메라로 촬영한 3차원 영상에서 미리 정의된 제스처를 검출하고, 미리 정의된 제스처가 검출되면 미러 디스플레이를 활성화시킴으로써, 미러 디스플레이의 불필요한 동작을 방지할 수 있다.
도 1은 일 실시예에 따른 디스플레이 장치의 외관을 나타낸 사시도이다.
도 2는 일 실시예에 따른 디스플레이 장치의 일부 구성을 나타낸 분해 사시도이다.
도 3은 일 실시예에 따른 디스플레이 장치가 다른 예시의 구조를 가질 때의 측단면도이다.
도 4는 일 실시예에 따른 디스플레이 장치가 미러 모드로 동작하는 경우를 나타낸 도면이다.
도 5는 일 실시예에 따른 디스플레이 장치가 디스플레이 모드로 동작하는 경우를 나타낸 도면이다.
도 6은 일 실시예에 따른 디스플레이 장치의 제어 블록도이다.
도 7은 일 실시예에 따른 디스플레이 장치의 3차원 카메라가 획득하는 3차원 정보의 예시를 나타낸 도면이다.
도 8 은 일 실시예에 따른 디스플레이 장치가 사용자의 안면 윤곽 변화에 관한 정보를 표시하는 예시를 나타낸 도면이다.
도 9는 2차원 카메라를 더 포함하는 디스플레이 장치의 외관을 나타낸 사시도이다.
도 10은 2차원 카메라를 더 포함하는 디스플레이 장치의 제어 블록도이다.
도 11은 일 실시예에 따른 디스플레이 장치가 안면 윤곽 변화에 관한 정보를 2차원 안면 영상 위에 표시하는 예시를 나타낸 도면이다.
도 12 및 도 13은 일 실시예에 따른 디스플레이 장치가 사용자의 안면 윤곽 정보에 기초하여 제공하는 다른 정보의 예시를 나타낸 도면이다.
도 14는 일 실시예에 따른 디스플레이 장치의 다른 예시에 관한 제어 블록도이다.
도 15는 일 실시예에 따른 디스플레이 장치가 사용자의 제스처를 인식하는 예시를 나타낸 도면이다.
도 16 내지 도 18은 일 실시예에 따른 디스플레이 장치가 화면을 확대하여 표시하는 동작을 나타내는 도면이다.
도 19 는 조명을 더 포함하는 디스플레이 장치의 외관도이다.
도 20은 조명을 더 포함하는 디스플레이 장치의 제어 블록도이다.
도 21은 일 실시예에 따른 디스플레이 장치의 제어 방법의 순서도이다.
도 22는 일 실시예에 따른 디스플레이 장치의 제어 방법에 관한 다른 순서도이다.
도 23은 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 또 다른 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 다른 구성요소를 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것 또는 전기 배선을 통해 전기적으로 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
명세서 전체에서, 어떤 구성요소가 다른 구성요소에 신호 또는 데이터를 전달 또는 전송한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 해당 구성요소와 다른 구성요소 사이에 또 다른 구성요소가 존재하여 이 구성요소를 통해 전달 또는 전송하는 것을 배제하지 않는다.
명세서 전체에서, "제1", "제2"와 같은 서수의 표현은 복수의 구성요소들을 상호 구분하기 위해 사용되는 것으로서, 사용된 서수가 구성요소들 간의 배치 순서, 제조 순서나 중요도 등을 나타내는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별 부호는 각 단계들을 지칭하기 위해 사용되는 것으로 이 식별 부호가 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 일 측면에 따른 디스플레이 장치 및 그 제어방법의 실시예를 상세하게 설명한다.
도 1은 일 실시예에 따른 디스플레이 장치의 외관을 나타낸 사시도이고, 도 2는 일 실시예에 따른 디스플레이 장치의 일부 구성을 나타낸 분해 사시도이다.
일 실시예에 따른 디스플레이 장치(100)는 미러의 기능과 디스플레이의 기능을 모두 수행하는 미러 디스플레이를 포함할 수 있다. 미러 디스플레이는 다양한 방식으로 구현될 수 있는바, 일 예로, 도 1 및 도 2에 도시된 바와 같이, 디스플레이 장치(100)의 전면에 하프 미러(110)를 배치하고, 하프 미러(110)의 후방에 디스플레이(130)를 배치할 수 있다. 디스플레이(130)는 LCD, OLED 디스플레이 등 다양한 종류의 디스플레이 중 하나일 수 있다.
하우징(101)이 하프 미러(110)를 지지하고, 하우징(101) 내부에는 디스플레이(130) 및 기타 부품들이 실장될 수 있다.
하프 미러(110)는 일정 비율의 투과율과 반사율을 갖는 미러로서, 투과율이 높을수록 하프 미러(110) 후방의 디스플레이(130)의 시인성이 높아지고 반사율이 높을수록 하프 미러(110) 전방에서 입사되는 가시광선의 반사율이 높아져 선명한 미러를 구현할 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 디스플레이로서의 기능과 미러로서의 기능을 모두 고려하여 적절한 비율의 투과율과 반사율을 갖는 하프 미러(110)를 채용할 수 있다. 예를 들어, 하프 미러(110)는 65% 반사율과 35%의 투과율을 갖거나, 75%의 반사율과 25%의 투과율을 가질 수 있다.
도 3은 일 실시예에 따른 디스플레이 장치가 다른 예시의 구조를 가질 때의 측단면도이다.
다른 예로는 디스플레이(130) 자체가 미러형으로 구현되는 것도 가능하다. 디스플레이(130)가 액정 디스플레이(LCD)로 구현되는 경우를 예로 들면, 도 3에 도시된 바와 같이, 디스플레이(130)는 백라이트 유닛(131), 백라이트 유닛(131)의 전방에 배치되는 하부 편광판(132), 하부 편광판(132)의 전방에 배치되는 액정 패널(133) 및 액정 패널(133)의 전방에 배치되는 상부 편광판(134)을 포함한다.
여기서, 디스플레이(130)를 미러형으로 구현하는 구성요소는 상부 편광판(134)에 해당한다. PVA(PolyVinylAlchol)(134e)은 편광판에서 빛을 분류하는 필름이고, TAC(Tri-Acetyl-Celulose)(134b, 134d, 134f)는 편광판을 보호해주는 필름이다. 상부 편광판(134)의 최상층에는 보호층(134a)이 형성될 수 있다.
상부 편광판(134)에 일정 비율의 투과율과 반사율을 갖는 미러 필름(134c)을 추가하여 디스플레이(130)를 미러 디스플레이로 구현할 수 있다.
또는, 디스플레이(130)가 OLED(Organic Light emitting Diode) 디스플레이로 구현되는 것도 가능하다. 이 경우에도 디스플레이(130)의 상부 편광판에 미러 필름을 추가하는 방식으로 미러 디스플레이를 구현할 수 있다.
일 실시예에 따른 디스플레이 장치(100)의 미러 디스플레이는 그 구현 방식에 대해 제한을 두지 않는다. 다만, 후술하는 실시예에서는 구체적인 설명을 위해, 미러 디스플레이가 하프 미러(110)와 디스플레이(130)를 별개로 포함하는 경우를 예로 들어 설명하기로 한다.
도 4는 일 실시예에 따른 디스플레이 장치가 미러 모드로 동작하는 경우를 나타낸 도면이고, 도 5는 일 실시예에 따른 디스플레이 장치가 디스플레이 모드로 동작하는 경우를 나타낸 도면이다.
도 4를 참조하면, 디스플레이 장치(100)가 미러 모드로 동작하는 경우에는 디스플레이(130)는 비활성화되고, 하프 미러(110)가 반사시킨 가시광선에 의해 디스플레이 장치(100)의 전방의 사용자가 하프 미러(110)에 비친 자신의 모습을 확인할 수 있다. 즉, 디스플레이 장치(100)를 미러로 사용할 수 있다.
비활성화된 디스플레이(130)는 오프 상태일 수도 있고, 온 상태에 있더라도 화면을 표시하지 않는 상태일 수 있다. 디스플레이(130)가 온 상태에서 화면을 표시하지 않는 경우에는 블랙 색상을 표시함으로써, 하프 미러(110)의 반사도 저하를 방지할 수 있다.
도 5를 참조하면, 디스플레이 장치(100)가 디스플레이 모드로 동작하는 경우에는 디스플레이(130)가 활성화된다. 활성화된 디스플레이(130)는 화면을 표시하는 상태일 수 있다. 디스플레이(130)에 표시된 화면은 하프 미러(110)를 투과하여 사용자에게 보여질 수 있다.
일 실시예에 따른 디스플레이 장치(100)는 사용자의 미용 관리에 사용될 수 있는바, 디스플레이 장치(100)가 디스플레이 모드로 동작할 때 도 5에 도시된 바와 같이 사용자의 피부 상태에 관한 정보를 제공할 수 있다. 디스플레이 장치(100)가 제공하는 정보에 관한 자세한 내용은 후술하기로 한다.
한편, 도 5에는 도시하지 않았으나, 하프 미러(110)는 일정 비율의 투과율과 반사율을 갖기 때문에, 디스플레이 장치(100)가 디스플레이 모드로 동작할 때에도 가시광선을 반사시켜 미러로서도 기능할 수 있음은 물론이다.
도 6은 일 실시예에 따른 디스플레이 장치의 제어 블록도이고, 도 7은 일 실시예에 따른 디스플레이 장치의 3차원 카메라가 획득하는 3차원 정보의 예시를 나타낸 도면이다.
도 6을 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 미러 디스플레이, 전방을 향하여 배치되는 3차원 카메라(121) 및 3차원 카메라(121)가 서로 다른 적어도 두 시점(time point)에서 촬영한 사용자의 3차원 안면 영상에서 사용자의 안면 윤곽을 검출하고, 검출된 안면 윤곽에 기초하여 두 시점 사이의 안면 윤곽 변화를 판단하고, 미러 디스플레이가 안면 윤곽 변화에 관한 정보를 표시하도록 제어하는 제어부(140)를 포함한다.
미러 디스플레이는 전술한 도 1 및 도 2이 도시된 바와 같이 하프 미러(110)와 디스플레이(130)를 별개로 구비하여 구현될 수도 있고, 전술한 도 3에 도시된 바와 같이 디스플레이(130)의 편광판에 미러 필름을 배치하는 방식으로 디스플레이(130) 자체를 미러형으로 구현하는 것도 가능하다.
후술하는 실시예에서는 구체적인 설명을 위해 미러 디스플레이가 하프 미러(110)와 디스플레이(130)를 포함하는 경우를 예로 들어 설명하기로 한다.
전술한 도 1을 함께 참조하면, 디스플레이 장치(100)에는 3차원 카메라(121)가 장착될 수 있다. 3차원 카메라(121)는 대상체에 대한 3차원 정보, 즉 2차원 정보와 함께 깊이 정보까지 획득할 수 있는 카메라를 의미한다. 3차원 카메라(121)가 대상체에 대한 3차원 정보를 획득하는 방식은 TOF(Time of Flight) 방식, 스테레오 방식 등 다양한 방식이 있는바, 디스플레이 장치(100)의 실시예에서는 3차원 카메라(121)가 3차원 정보를 획득하는 방식에 대해 제한을 두지 않는다.
3차원 카메라(121)는 디스플레이 장치(100)의 전방을 향하여 배치되어 디스플레이 장치(100)의 전방에 위치한 사용자를 촬영할 수 있으며, 사용자의 위치에 따라 사용자의 3차원 안면 영상을 촬영할 수 있다.
도 7의 예시를 참조하면, 3차원 카메라(121)가 촬영한 3차원 안면 영상은 2차원 영상과 달리 사용자의 안면 윤곽에 대한 3차원 입체 정보를 포함한다.
제어부(140)는 3차원 안면 영상에서 사용자의 안면 윤곽을 검출할 수 있다. 예를 들어, 제어부(140)는 3차원 안면 영상에 얼굴 인식 알고리즘 또는 엣지 검출 알고리즘 등의 영상 처리 기법을 적용하여 사용자의 안면 윤곽을 검출할 수 있다. 제어부(140)가 3차원 안면 영상에서 사용자의 안면 윤곽을 검출하는 방식에 대해서는 제한을 두지 않는바, 공지된 영상 처리 알고리즘 중 안면 윤곽을 검출할 수 있는 것이면 어느 것을 적용해도 무방하다.
3차원 카메라(121)가 서로 다른 적어도 두 시점에서 사용자의 3차원 안면 영상을 촬영하면, 제어부(140)는 제1시점에서 촬영한 사용자의 3차원 안면 영상에서 사용자의 안면 윤곽을 검출하고, 제2시점에서 촬영한 사용자의 3차원 안면 영상에서 사용자의 안면 윤곽을 검출할 수 있다.
제1시점과 제2시점은 날짜가 다를 수도 있고, 동일한 날짜에 시간이 다를 수도 있다.
제어부(140)는 검출된 안면 윤곽에 기초하여 안면 윤곽의 변화를 판단할 수 있다. 예를 들어, 안면 윤곽의 변화는 얼굴 전체의 부피 변화 및 특정 부위의 부피 변화 중 적어도 하나를 포함할 수 있다. 특정 부위는 볼, 광대, 턱, 눈밑, 눈두덩이 등 붓기나 체중 변화 등의 원인으로 부피에 변화가 생길 수 있는 모든 부위 중 적어도 하나를 포함할 수 있다.
한편, 3차원 안면 영상 및 안면 윤곽 변화에 관한 정보 중 적어도 하나는 사용자 별로 저장될 수 있다. 제어부(140)가 3차원 안면 영상 및 안면 윤곽 변화에 관한 정보 중 적어도 하나를 사용자 별로 저장 및 관리하기 위해, 사용자를 인식할 수 있는바, 사용자의 인식은 사용자의 입력에 기초하여 이루어질 수도 있고 자동으로 이루어질 수도 있다.
사용자의 입력에 기초하여 사용자를 인식하는 경우에는, 사용자가 디스플레이 장치(100)에 마련된 입력 장치에 자신의 ID나 이름 등 사용자를 식별할 수 있는 정보를 입력할 수 있고, 사용자의 3차원 안면 영상 또는 안면 윤곽 변화에 관한 정보는 사용자를 식별할 수 있는 정보에 매칭되어 저장될 수 있다.
자동으로 사용자를 인식하는 경우에는, 2차원 카메라(122)가 촬영한 사용자의 2차원 안면 영상 또는 3차원 카메라(121)가 촬영한 사용자의 3차원 안면 영상에 기초하여 제어부(140)가 사용자를 인식할 수 있다. 이 때, 제어부(140)는 2차원 안면 영상 또는 3차원 안면 영상에 얼굴 인식 알고리즘을 적용할 수 있다.
제어부(140)가 사용자의 2차원 안면 영상 또는 3차원 안면 영상에 기초하여 사용자를 인식하면, 인식된 사용자에 대해 저장된 3차원 안면 영상을 검색할 수 있고 3차원 카메라(121)가 촬영한 사용자의 현재 3차원 안면 영상과 저장된 3차원 안면 영상을 비교하여 안면 윤곽 변화를 판단할 수 있다.
제어부(140)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장되는 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
제어부(140)가 복수의 메모리 및 복수의 프로세서를 포함하는 경우에는, 복수의 메모리와 복수의 프로세서가 하나의 칩 상에 집적될 수도 있고, 이들 중 일부가 물리적으로 분리될 수도 있다. 디스플레이 장치(100)의 실시예에서는 제어부(140)를 구성하는 메모리와 프로세서의 물리적 위치에 대해서는 제한을 두지 않는다.
제어부(140)는 사용자의 안면 윤곽 변화에 관한 정보를 표시하도록 디스플레이(130)를 제어할 수 있다.
도 8 은 일 실시예에 따른 디스플레이 장치가 사용자의 안면 윤곽 변화에 관한 정보를 표시하는 예시를 나타낸 도면이다.
일 예로, 안면 윤곽 변화에 관한 정보는 도 8에 도시된 바와 같이 수치로 표시될 수 있다. 도 8을 참조하면, 제1시점과 제2시점 사이의 간격이 한 달이다. 제어부(140)가 한 달 전에 3차원 카메라(121)로 촬영한 사용자의 3차원 안면 영상에서 안면 윤곽을 검출하고, 현재 촬영한 사용자의 3차원 안면 영상에서 안면 윤곽을 검출하고, 한 달 전의 안면 윤곽과 현재의 안면 윤곽을 비교하여 한 달 사이의 안면 윤곽 변화를 판단할 수 있다.
판단 결과, 한 달 전과 비교하여 얼굴 부피는 5% 축소하고, 특정 부위 중 볼살은 8% 축소한 경우, 도 8에 도시된 바와 같이 디스플레이(130)에 안면 윤곽 변화에 관한 정보를 수치로 표시할 수 있다.
안면 윤곽 변화의 판단 대상인 영상이 촬영되는 두 시점은 정해진 주기에 의해 결정될 수도 있고, 사용자의 선택에 의해 결정될 수도 있으며, 3차원 안면 영상의 촬영 시점에 의해 결정될 수 있다.
예를 들어, 안면 윤곽 변화의 판단 시기가 한 달 주기로 정해진 경우, 제어부(140)는 제1시점에서 촬영된 사용자의 3차원 안면 영상과 제1시점으로부터 한 달 경과 후인 제2시점에서 촬영된 사용자의 3차원 안면 영상을 비교하여 안면 윤곽 변화를 판단할 수 있다.
3차원 안면 영상의 촬영은 사용자가 디스플레이 장치(100)를 사용할 때마다 자동으로 이루어질 수도 있고, 사용자가 3차원 안면 영상의 촬영에 대한 명령을 입력할 때에 이루어질 수도 있다. 어느 경우이든 제1시점으로부터 한 달 경과 후인 제2시점에 사용자의 3차원 안면 영상의 촬영이 이루어지지 않은 경우, 디스플레이 장치(100)는 시각적 또는 청각적인 방식으로 3차원 안면 영상의 촬영을 안내할 수 있다.
도면에 도시하지는 않았으나, 디스플레이 장치(100)는 사용자의 명령을 입력 받기 위한 입력 장치를 더 포함할 수 있으며, 입력 장치는 터치 패드를 포함할 수 있다. 터치 패드는 디스플레이 장치(100)의 전면에 배치되어 터치 스크린을 구현할 수 있다.
다른 예로, 사용자가 서로 다른 두 시점에서 촬영된 3차원 안면 영상을 선택하고 안면 윤곽 변화에 대한 정보를 요청하면, 제어부(140)는 선택된 3차원 안면 영상들을 비교하여 안면 윤곽 변화를 판단하고 안면 윤곽 변화에 대한 정보를 디스플레이(130)에 표시할 수 있다.
이를 위해, 디스플레이(130)는 사용자로 하여금 안면 윤곽 변화에 대한 정보를 요청할 수 있게 하는 아이콘을 표시하고, 사용자는 입력 장치를 조작하여 안면 윤곽 변화에 대한 요청 및 안면 윤곽 변화를 판단하는 기준이 되는 3차원 안면 영상의 선택을 입력할 수 있다.
또 다른 예로, 제어부(140)는 사용자의 3차원 안면 영상이 촬영될 때마다 이전에 촬영된 사용자의 3차원 안면 영상과 현재 촬영된 3차원 안면 영상을 비교하여 안면 윤곽 변화를 판단할 수도 있다. 전술한 바와 같이, 3차원 안면 영상의 촬영은 사용자가 디스플레이 장치(100)를 사용할 때마다 자동으로 이루어질 수도 있고, 사용자가 3차원 안면 영상의 촬영에 대한 명령을 입력할 때에 이루어질 수도 있다.
일 실시예에 따른 디스플레이 장치(100)가 안면 윤곽 변화를 판단하는 시점은 전술한 예시들에 한정되지 않는다. 서로 다른 두 시점에서 촬영된 3차원 안면 영상을 비교할 수만 있으면, 전술한 예시들 외에 다른 방식도 적용될 수 있음은 물론이다.
도 9는 2차원 카메라를 더 포함하는 디스플레이 장치의 외관을 나타낸 사시도이고, 도 10은 2차원 카메라를 더 포함하는 디스플레이 장치의 제어 블록도이다.
도 9 및 도 10을 참조하면, 디스플레이 장치(100)에는 전방을 향하여 배치되는 2차원 카메라(122)가 더 마련될 수 있다. 2차원 카메라(122)가 전방을 향하여 배치된다는 것은 디스플레이 장치(100)의 전방에 위치하는 대상체를 촐영할 수 있음을 의미한다.
2차원 카메라(122)는 CMOS 센서 또는 CCD 센서를 포함하는 컬러 카메라로서, 대상체에 대한 2차원 영상을 촬영할 수 있다. 따라서, 2차원 카메라(122)는 디스플레이 장치(100)의 전방에 위치하는 사용자의 2차원 안면 영상을 촬영할 수 있다.
도 11은 일 실시예에 따른 디스플레이 장치가 안면 윤곽 변화에 관한 정보를 2차원 안면 영상 위에 표시하는 예시를 나타낸 도면이다.
앞서 도 8의 예시에서는 디스플레이(130)가 사용자의 안면 윤곽 변화에 관한 정보를 수치로 표시하였다. 다른 예로, 도 11에 도시된 바와 같이 2차원 카메라(122)가 촬영한 사용자의 2차원 안면 영상 위에 안면 윤곽 변화에 관한 정보를 도식화하여 표시함으로써 사용자로 하여금 안면 윤곽 변화를 좀 더 직관적으로 파악하게 하는 것도 가능하다.
구체적으로, 제1시점에 촬영한 사용자의 2차원 안면 영상 나타난 사용자의 얼굴에 제어부(140)가 판단한 안면 윤곽 변화에 대응되는 변화를 적용할 수 있다. 예를 들어, 사용자의 볼살이 8% 축소된 경우, 제1시점에 촬영한 사용자의 2차원 안면 영상에 나타낸 사용자의 볼살을 8% 축소시킬 수도 있고, 그 변화를 좀 더 직관적으로 파악할 수 있도록 더 큰 비율로 축소시키되 실제 축소된 비율을 수치로 표시하여 제공되는 정보의 정확도를 유지할 수 있다.
도 12 및 도 13은 일 실시예에 따른 디스플레이 장치가 사용자의 안면 윤곽 정보에 기초하여 제공하는 다른 정보의 예시를 나타낸 도면이다.
일 실시예에 따른 디스플레이 장치(100)는 3차원 카메라(121)를 통해 획득한 사용자의 안면 윤곽 정보를 이용하여 다양한 기능을 수행할 수 있다.
일 예로, 도 12에 도시된 바와 같이, 사용자의 얼굴형에 기초한 화장법에 관한 정보를 제공할 수 있다. 제어부(140)는 사용자의 3차원 안면 영상에 기초하여 사용자의 얼굴형의 타입을 결정할 수 있다. 얼굴형의 타입은 정면에서 봤을 때의 2차원 형상과 입체적인지 납작한지에 관한 3차원 정보 등에 기초하여 결정될 수 있다. 예를 들어, 얼굴형의 타입은 둥글고 입체적인 형상의 A타입, 길고 납작한 형상의 B타입, 둥글고 납작한 형상의 C 타입, 길고 입체적인 형상의 D 타입, 각지고 입체적인 형상의 E 타입, 각지고 납작한 형상의 F 타입 등을 포함할 수 있다.
얼굴형의 타입에 따라 그에 맞는 화장법이 달라질 수 있다. 제어부(140)는 사용자의 얼굴형의 타입 별로 그에 맞는 화장법에 관한 정보를 미리 저장할 수도 있고, 디스플레이 장치(100)에 마련된 통신부를 통해 외부 서버로부터 사용자의 얼굴형에 대응되는 화장법에 관한 정보를 획득하는 것도 가능하다.
제어부(140)는 도 12에 도시된 바와 같이 사용자의 얼굴형의 타입에 대응되는 화장법에 관한 정보를 디스플레이(130)에 표시할 수 있다.
또한, 제어부(140)는 2차원 카메라(122)가 촬영한 사용자의 2차원 안면 영상에 기초하여 사용자의 피부색을 결정할 수도 있다. 피부색에 따라서도 그에 맞는 화장법이 달라질 수 있다. 제어부(140)는 피부색 별로 또는 얼굴형의 타입과 피부색의 조합 별로 그에 맞는 화장법에 관한 정보를 미리 저장할 수도 있고, 디스플레이 장치(100)에 마련된 통신부를 통해 외부 서버로부터 사용자의 피부색 또는 얼굴형의 타입과 피부색의 조합에 대응되는 화장법에 관한 정보를 획득할 수도 있다.
다른 예로, 도 13에 도시된 바와 같이, 디스플레이 장치(100)는 사용자의 안면 윤곽 변화에 맞는 화장법에 관한 정보를 제공할 수도 있다. 여기서, 안면 윤곽 변화는 전술한 바와 같이 서로 다른 두 시점 사이의 변화일 수도 있고, 사용자의 평소 안면 윤곽과 현재 안면 윤곽 사이의 변화일 수도 있다.
전자의 경우, 앞서 설명한 바와 같이, 디스플레이(130)에 안면 윤곽 변화에 관한 정보를 표시한 이후에 변화된 안면 윤곽에 맞는 화장법에 관한 정보를 표시할 수 있다.
후자의 경우, 제어부(140)는 사용자의 3차원 안면 영상에 기초하여 사용자의 안면 윤곽이 평소와 다른점을 검출할 수 있다. 사용자의 평소 안면 윤곽은 이전에 촬영한 사용자의 3차원 안면 영상들의 평균값으로부터 결정될 수도 있고, 평소 안면 윤곽 결정을 위해 촬영한 3차원 안면 영상으로부터 결정될 수도 있다.
예를 들어, 현재 상태가 평소보다 눈밑과 양볼에 붓기가 있는 경우, 제어부(140)는 3차원 카메라(121)가 촬영한 3차원 안면 영상과 평소 안면 윤곽에 대한 정보를 비교하여 눈밑과 양볼의 붓기를 검출할 수 있다.
제어부(140)는 눈밑과 양볼의 붓기를 커버할 수 있는 화장법을 표시하도록 디스플레이(130)를 제어할 수 있다. 이러한 화장법에 대한 정보는 제어부(140)에 미리 저장될 수도 있고, 디스플레이 장치(100)에 마련된 통신부를 통해 외부 서버로부터 획득할 수도 있다.
전술한 바와 같이, 일 실시예에 따른 디스플레이 장치(100)에 의하면, 2차원 평면 정보가 아닌 3차원 입체 정보를 이용하여 사용자의 얼굴 상태를 파악함으로써 사용자에게 더 정확한 정보와 서비스를 제공할 수 있다.
도 14는 일 실시예에 따른 디스플레이 장치의 다른 예시에 관한 제어 블록도이고, 도 15는 일 실시예에 따른 디스플레이 장치가 사용자의 제스처를 인식하는 예시를 나타낸 도면이다.
도 14를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 사용자의 움직임을 감지하는 모션 센서(150)를 더 포함할 수 있다.
모션 센서(150)는 초음파 센서, 적외선 센서, 레이더 등 다양한 모션 감지 기술 중 하나를 채용할 수 있으며, 디스플레이 장치(100)의 실시예에서는 모션 센서(150)가 사용자의 움직임을 감지하는 방식에 대해서는 제한을 두지 않는다.
제어부(140)는 모션 센서(150)가 사용자의 움직임을 감지하면 3차원 카메라(121)를 활성화시키고, 3차원 카메라(121)가 촬영한 3차원 영상에서 미리 정의된 제스쳐를 검출한다. 3차원 카메라(121)를 활성화시킨다는 것은 3차원 카메라(121)가 3차원 영상을 촬영하게 하는 것을 의미할 수 있다.
제어부(140)는 미리 정의된 제스쳐가 검출되면 디스플레이(130)를 활성화시킨다. 디스플레이(130)를 활성화시킨다는 것은 오프 상태에 있던 디스플레이(130)를 온 상태로 전환하거나, 디스플레이(130)에 화면을 표시하는 것을 의미할 수 있다. 디스플레이(130)에 표시되는 화면은 이미지를 포함할 수도 있고 텍스트를 포함할 수도 있다.
도 15를 함께 참조하면, 디스플레이(130)가 비활성화되어 미러 모드로 동작하는 디스플레이 장치(100)의 전방에 사용자가 나타나면 모션 센서(150)가 사용자의 움직임을 감지할 수 있다.
모션 센서(150)의 감지 결과는 제어부(140)에 전달되고, 제어부(140)는 모션 센서(150)가 사용자의 움직임을 감지하면 3차원 카메라(121)를 활성화시킨다.
활성화된 3차원 카메라(121)는 3차원 영상을 촬영하고, 제어부(140)는 촬영된 3차원 영상에서 미리 정의된 제스처를 검출할 수 있다. 미리 정의된 제스처는 디스플레이(130)를 활성화시키는 제스처로서, 일 예로 도 15에 도시된 바와 같이 손가락을 디스플레이 장치(100)에 접근시키는 제스처, 즉 손가락을 -x방향으로 이동시키는 제스처일 수 있다. 다만, 제스처가 반드시 깊이 방향으로의 움직임을 포함해야 하는 것은 아니며, Y축이나 Z축 방향으로의 움직임을 포함하는 것도 가능함은 물론이다.
일 실시예에 따른 디스플레이 장치(100)에서는 3차원 카메라(121)를 이용하여 사용자의 제스처를 인식하기 때문에, 더 다양한 종류의 제스처를 더 정확하게 인식할 수 있다. 특히, 2차원 카메라로는 인식할 수 없는 깊이 방향(x축 방향)으로의 제스처도 정확하게 인식할 수 있다.
전술한 예시에서는 손가락의 이동에 의해 정의되는 제스처를 설명하였으나, 디스플레이 장치(100)에서 검출하는 제스처가 이에 한정되는 것은 아닌 바, 손가락이나 손의 모양 변화에 의해 제스처가 정의될 수도 있고, 손 이외의 다른 신체 부위에 의해 정의될 수도 있다.
또한, 디스플레이(130)의 활성화를 위한 제스처 이외에도 디스플레이 장치(100)의 다른 동작들을 제어하기 위한 다양한 제스처가 미리 정의될 수 있다. 예를 들어, 디스플레이(130)의 비활성화, 디스플레이(130)에 표시되는 화면 변경, 조명 제어, 볼륨 제어 등 입력 장치를 통해 입력되는 사용자 명령의 일부 또는 전부에 대응되는 제스처들이 각각 정의되어 제어부(140)에 저장될 수 있다.
제어부(140)는 3차원 카메라(121)가 촬영한 3차원 영상에 제스처 인식 알고리즘을 적용하여 미리 정의된 제스처를 검출할 수 있다. 예를 들어, 제어부(140)는 3차원 영상에서 손을 검출하고, 검출된 손의 자세 또는 검출된 손의 자세와 움직임으로 구성되는 제스처를 인식할 수 있다. 인식된 손의 제스처가 미리 정의된 제스처에 대응되면, 즉 미리 정의된 제스처가 검출되면 제어부(140)는 미리 정의된 제스처에 대응되는 동작을 수행할 수 있다.
검출된 제스처가 디스플레이(130)의 활성화에 대응되는 것이면, 제어부(140)는 디스플레이(130)를 활성화시켜 디스플레이(130)가 화면을 표시하도록 한다.
전술한 예시에 따르면, 모션 센서(150)가 사용자의 움직임을 감지했을 때 바로 디스플레이(130)를 활성화시키는 것이 아니라 디스플레이(130) 활성화를 위한 사용자의 제스처가 추가로 검출되었을 때 디스플레이(130)를 활성화시킴으로써 사용자 의도를 더 충실히 반영한 동작을 수행할 수 있고, 디스플레이(130)가 불필요하게 활성화되는 것을 방지할 수 있다.
한편, 2차원 카메라(122)는 3차원 카메라(121)와 함께 활성화될 수도 있고, 디스플레이(130)와 함께 활성화되거나 디스플레이(130)가 활성화된 이후에 활성화될 수도 있다. 3차원 카메라(121)와 함께 활성화되는 경우에는 2차원 카메라(122)가 촬영한 2차원 컬러 영상이 피부색을 이용한 손 영역의 검출 등에 사용될 수 있다.
2차원 카메라(122)가 디스플레이(130)와 함께 활성화되거나 디스플레이(130)가 활성화된 이후에 활성화되는 경우에는 제어부(140)가 자동으로 2차원 카메라(122)를 활성화할 수도 있고, 사용자가 2차원 카메라(122)의 활성화를 위한 명령을 입력했을 때 활성화될 수도 있으며, 디스플레이 장치(100)가 수행하는 기능에 따라 활성화될 수도 있다.
예를 들어, 디스플레이 장치(100)가 디스플레이 모드에서 셀프 카메라 기능을 수행할 때 또는 사용자의 안면 윤곽 또는 피부 상태 등을 진단하는 기능을 수행할 때 2차원 카메라(122)가 활성화될 수 있다. 셀프 카메라 기능은 2차원 카메라(122)가 촬영한 사용자의 2차원 영상을 디스플레이(130)에 표시하는 기능으로써 미러 모드와 유사한 기능이나, 일정 비율의 투과율을 갖는 하프 미러(110)보다 더 선명하게 사용자의 모습을 제공할 수 있다. 또한, 디스플레이(130)에 표시되는 2차원 영상을 통해 사용자는 다른 사람의 눈에 비춰지는 자신의 모습을 확인할 수 있다.
전술한 바와 같이, 2차원 카메라(122)가 디스플레이(130)와 함께 활성화되거나 디스플레이(130)가 활성화된 이후에 활성화되는 경우에는 2차원 카메라(122)가 상시 활성화될 때 발생할 수 있는 사용자의 프라이버시 침해를 줄일 수 있다.
도 16 내지 도 18는 일 실시예에 따른 디스플레이 장치가 화면을 확대하여 표시하는 동작을 나타내는 도면이다.
일반적으로 사용자가 거울을 보다가 거울에 가까이 접근하는 것은 특정 부위를 자세하게 보고자 하는 의도로 해석될 수 있다. 따라서, 일 실시예에 따른 디스플레이 장치(100)는 도 16에 도시된 바와 같이 사용자가 디스플레이 장치(100)에 접근하면, 즉 -x 방향으로 이동하면 사용자의 2차원 영상을 확대하여 표시할 수 있다.
구체적으로, 디스플레이 장치(100)가 디스플레이 모드에서 동작하면서 셀프 카메라 기능을 수행 중일 때, 사용자가 디스플레이 장치(100)로 접근하면 2차원 카메라(122)를 줌인(zoom-in)하여 확대된 2차원 영상을 디스플레이(130)에 표시할 수 있다.
이를 위해, 2차원 카메라(122)를 이용한 셀프 카메라 기능 수행 중에 3차원 카메라(121)도 활성화시켜 사용자의 접근을 검출할 수 있다. 제어부(140)는 3차원 카메라(121)가 촬영한 3차원 영상에서 사용자를 검출하고, 사용자가 깊이 방향으로 미리 정해진 기준거리 이상 가까워지는지 여부를 판단할 수 있다.
제어부(140)는 3차원 영상에서 사용자가 깊이 방향으로 미리 정해진 기준거리 이상 접근하면2차원 카메라(122)를 줌인하여 확대된 2차원 영상을 디스플레이(130)에 표시할 수 있다.
2차원 카메라(122)의 줌인은 디지털 줌인일 수도 있고, 광학 줌인일 수도 있다.
2차원 카메라(122)의 줌인 배율은 미리 설정된 값으로 결정될 수도 있고, 사용자가 변경할 수도 있으며, 사용자의 접근 거리 또는 사용자와 디스플레이 장치(100) 사이의 거리에 기초하여 결정될 수도 있다.
사용자의 접근 거리에 따라 결정되는 경우에는 사용자의 접근 거리가 길수록(현재 위치에서 디스플레이 장치를 향해 많이 이동할 수록) 줌인 배율을 크게 할 수 있고, 사용자와 디스플레이 장치(100) 사이의 거리에 기초하여 결정되는 경우에는 사용자와 디스플레이 장치(100) 사이의 거리가 가까울수록 줌인 배율을 크게 할 수 있다. 이와 같이, 사용자가 자신의 모습을 자세히 보고자 하는 요구가 클수록 사용자의 2차원 영상을 더 크게 확대하여 표시함으로써 사용자의 의도를 충실하게 반영할 수 있다.
한편, 사용자의 2차원 영상을 확대하여 표시함에 있어서 사용자가 원하는 특정 부위를 확대하여 표시하는 것도 가능하다.
예를 들어, 도 17에 도시된 바와 같이, 사용자가 디스플레이 장치(100)에 접근할 때 자세히 보고자 하는 특정 부위를 손으로 지시할 수 있고, 2차원 카메라(122)는 사용자가 지시한 영역(이하, 사용자 지시 영역이라 함)에 초점을 맞추어 줌인할 수 있다.
구체적으로, 전술한 바와 같이 제어부(140)는 3차원 카메라(121)가 촬영한 3차원 영상에서 사용자의 접근을 검출하고, 사용자의 접근이 검출되면 3차원 영상 또는 2차원 영상에서 사용자 지시 영역을 검출할 수 있다.
예를 들어, 사용자 지시 영역은 사용자의 얼굴을 포함한 신체 부위 중에서 사용자의 손가락이 지시하고 있는 영역을 의미할 수 있다.
제어부(140)가 사용자 지시 영역을 검출하면, 2차원 카메라(122)에 제어 신호를 전송하여 검출된 사용자 지시 영역을 줌인하여 촬영하도록 한다. 예를 들어, 도 17 및 도 18에 도시된 바와 같이 사용자가 손가락으로 눈썹을 지시하면서 디스플레이 장치(100)에 접근한 경우, 제어부(140)는 3차원 영상 또는 3차원 영상과 2차원 영상에 기초하여 사용자의 접근 및 사용자 지시 영역(눈썹)을 검출할 수 있다.
제어부(140)는 사용자의 눈썹을 확대하여 촬영하도록 2차원 카메라(122)를 제어할 수 있고, 2차원 카메라(122)가 눈썹을 확대하여 촬영한 2차원 영상은 디스플레이(130)에 표시될 수 있다.
한편, 사용자의 2차원 영상을 확대하여 표시함에 있어서, 전술한 바와 같이 2차원 카메라(122)의 줌인 기능을 이용할 수도 있고, 2차원 영상의 촬영 시에는 줌인하지 않고, 즉 배율을 변경하지 않고 그대로 촬영한 후에 디스플레이(130)에 표시할 때에만 사용자 지시 영역을 확대하여 표시하는 것도 가능하다.
전술한 바와 같이, 사용자의 접근을 검출하여 사용자가 원하는 부위를 확대하여 보여줌으로써 거울로 볼 때보다 더 크고 선명한 사용자의 모습을 제공할 수 있다.
도 19 는 조명을 더 포함하는 디스플레이 장치의 외관도이고, 도 20은 조명을 더 포함하는 디스플레이 장치의 제어 블록도이다.
도 19 및 도 20을 참조하면, 일 실시예에 따른 디스플레이 장치(100)에는 조명(160)이 더 포함될 수 있다. 일 예로, 조명(160)은 복수의 LED 소자를 포함할 수 있고, 조명(160)의 밝기 및 색상 중 적어도 하나가 제어부(140)에 의해 제어될 수 있다.
예를 들어, 사용자가 디스플레이 장치(100)에 접근하는 경우, 제어부(140)는 사용자의 접근 거리 또는 사용자와 디스플레이 장치(100) 사이의 거리에 기초하여 조명(160)의 밝기를 제어할 수 있다. 이 때, 전술한 바와 같이 디스플레이(130)가 사용자의 2차원 영상을 확대하여 표시하는 것도 가능하다.
제어부(140)는 사용자의 접근 거리가 길수록(현재 위치에서 디스플레이 장치를 향해 많이 이동할 수록) 또는 사용자와 디스플레이 장치(100) 사이의 거리가 짧을수록 자신의 모습을 더 자세하게 보고 싶어하는 사용자의 의도를 반영하여 조명(160)을 밝게 제어할 수 있다. 다만, 조명(160)의 밝기가 지나치게 밝게 되면 눈부심을 유발할 수 있으므로, 제어부(140)는 사용자와 디스플레이 장치(100) 사이의 거리에 기초하여 눈부심을 유발하지 않으면서 사용자가 자신의 모습을 자세하게 확인할 수 있게 하는 최적의 밝기로 조명(160)을 제어할 수 있다.
이하, 일 실시예에 따른 디스플레이 장치의 제어 방법을 설명한다. 일 실시예에 따른 디스플레이 장치의 제어 방법을 실시함에 있어서, 전술한 디스플레이 장치(100)가 사용될 수 있다. 따라서, 도 1 내지 도 20을 참조하여 설명한 내용은 별도의 언급이 없더라도 디스플레이 장치의 제어방법에 관한 실시예에도 동일하게 적용될 수 있다.
도 21은 일 실시예에 따른 디스플레이 장치의 제어 방법의 순서도이다.
도 21을 참조하면, 일 실시예에 따른 디스플레이 장치의 제어 방법은 제1시점에서 사용자의 3차원 안면 영상을 촬영하고(310), 제2시점에서 사용자의 3차원 안면 영상을 촬영한다(311).
제1시점과 제2시점은 서로 다른 두 시점으로서, 날짜가 다를 수도 있고 동일한 날짜에 시간이 다를 수도 있다. 사용자의 3차원 안면 영상이 촬영되는 시점에 관한 구체적인 설명은 앞서 디스플레이 장치(100)의 실시예에서 설명한 바와 같다.
3차원 안면 영상의 촬영은 디스플레이 장치(100)에 마련된 3차원 카메라(121)에 의해 이루어질 수 있다.
제1시점에서 촬영한 3차원 안면 영상에서 사용자의 안면 윤곽을 검출하고(313), 제2시점에서 촬영한 3차원 안면 영상에서 사용자의 안면 윤곽을 검출한다(314).
안면 윤곽의 검출은 제어부(140)가 3차원 안면 영상에 얼굴 인식 알고리즘 또는 엣지 검출 알고리즘 등의 영상 처리 기법을 적용함으로써 수행될 수 있다.
검출된 안면 윤곽에 기초하여 안면 윤곽 변화를 판단한다(314). 예를 들어, 안면 윤곽의 변화는 얼굴 전체의 부피 변화 및 특정 부위의 부피 변화 중 적어도 하나를 포함할 수 있다. 특정 부위는 볼, 광대, 턱, 눈밑, 눈두덩이 등 붓기나 체중 변화 등의 원인으로 부피에 변화가 생길 수 있는 모든 부위 중 적어도 하나를 포함할 수 있다. 안면 윤곽 변화의 판단 역시 제어부(140)에 의해 수행될 수 있다.
안면 윤곽 변화에 관한 정보를 사용자에게 제공한다(315). 안면 윤곽 변화에 관한 정보는 디스플레이(130)에 시각적으로 표시될 수 있다. 일 예로, 안면 윤곽 변화에 관한 정보는 전술한 도 8에 도시된 바와 같이 수치로 표시될 수도 있고, 전술한 도 11에 도시된 바와 같이 2차원 카메라(122)가 촬영한 사용자의 2차원 안면 영상 위에 안면 윤곽 변화에 관한 정보를 도식화하여 표시함으로써 사용자로 하여금 안면 윤곽 변화를 좀 더 직관적으로 파악하게 하는 것도 가능하다. 예를 들어, 제1시점에 촬영한 사용자의 2차원 안면 영상 나타난 사용자의 얼굴에 제어부(140)가 판단한 안면 윤곽 변화에 대응되는 변화를 적용할 수 있다.
한편, 3차원 안면 영상 및 안면 윤곽 변화에 관한 정보 중 적어도 하나는 사용자 별로 저장될 수 있다. 제어부(140)가 3차원 안면 영상 및 안면 윤곽 변화에 관한 정보 중 적어도 하나를 사용자 별로 저장 및 관리하기 위해, 사용자를 인식할 수 있는바, 사용자의 인식은 사용자의 입력에 기초하여 이루어질 수도 있고 자동으로 이루어질 수도 있다.
사용자의 입력에 기초하여 사용자를 인식하는 경우에는, 사용자가 디스플레이 장치(100)에 마련된 입력 장치에 자신의 ID나 이름 등 사용자를 식별할 수 있는 정보를 입력할 수 있고, 사용자의 3차원 안면 영상 또는 안면 윤곽 변화에 관한 정보는 사용자를 식별할 수 있는 정보에 매칭되어 저장될 수 있다.
자동으로 사용자를 인식하는 경우에는, 2차원 카메라(122)가 촬영한 사용자의 2차원 안면 영상 또는 3차원 카메라(121)가 촬영한 사용자의 3차원 안면 영상에 기초하여 제어부(140)가 사용자를 인식할 수 있다. 이 때, 제어부(140)는 2차원 안면 영상 또는 3차원 안면 영상에 얼굴 인식 알고리즘을 적용할 수 있다.
제어부(140)가 사용자의 2차원 안면 영상 또는 3차원 안면 영상에 기초하여 사용자를 인식하면, 인식된 사용자에 대해 저장된 3차원 안면 영상을 검색할 수 있고 3차원 카메라(121)가 촬영한 사용자의 현재 3차원 안면 영상과 저장된 3차원 안면 영상을 비교하여 안면 윤곽 변화를 판단할 수 있다.
일 실시예에 따른 디스플레이 장치의 제어 방법에 따르면, 전술한 안면 윤곽 변화에 관한 정보를 제공하는 것 외에도 3차원 카메라(121)를 통해 획득한 사용자의 안면 윤곽 정보를 이용하여 다양한 기능을 수행할 수 있다.
일 예로, 제어부(140)는 사용자의 3차원 안면 영상에서 검출된 안면 윤곽에 기초하여 사용자의 얼굴형 타입을 결정하고, 결정된 얼굴형 타입에 대응되는 화장법에 관한 정보를 제공하도록 디스플레이(130)를 제어할 수 있다.
다른 예로, 제어부(140)는 사용자의 안면 윤곽 변화에 대응되는 화장법에 관한 정보를 제공하도록 디스플레이(130)를 제어하는 것도 가능하다. 여기서, 사용자의 안면 윤곽 변화는 앞서 설명한 현재 시점과 특정 시점 사이의 변화일 수도 있고, 사용자의 평소 안면 윤곽과 현재 안면 윤곽 사이의 변화일 수도 있다.
도 22는 일 실시예에 따른 디스플레이 장치의 제어 방법에 관한 다른 순서도이다.
도 22를 참조하면, 모션 센서(150)가 사용자의 움직임을 감지하면(320의 예), 제어부(140)가 3차원 카메라(121)를 활성화시킨다(321). 활성화된 3차원 카메라(121)는 3차원 영상을 촬영할 수 있다.
제어부(140)는 3차원 카메라(121)가 촬영한 3차원 영상에서 미리 정의된 제스처를 검출할 수 있다. 미리 정의된 제스처가 검출되면(322의 예), 디스플레이(130)를 활성화시킬 수 있다(323).
한편, 2차원 카메라(122)는 3차원 카메라(121)와 함께 활성화될 수도 있고, 디스플레이(130)와 함께 활성화되거나 디스플레이(130)가 활성화된 이후에 활성화될 수도 있다. 3차원 카메라(121)와 함께 활성화되는 경우에는 2차원 카메라(122)가 촬영한 2차원 컬러 영상이 피부색을 이용한 손 영역의 검출 등에 사용될 수 있다.
2차원 카메라(122)가 디스플레이(130)와 함께 활성화되거나 디스플레이(130)가 활성화된 이후에 활성화되는 경우에는 제어부(140)가 자동으로 2차원 카메라(122)를 활성화할 수도 있고, 사용자가 2차원 카메라(122)의 활성화를 위한 명령을 입력했을 때 활성화될 수도 있으며, 디스플레이 장치(100)가 수행하는 기능에 따라 활성화될 수도 있다.
예를 들어, 디스플레이 장치(100)가 디스플레이 모드에서 셀프 카메라 기능을 수행할 때 또는 사용자의 안면 윤곽 또는 피부 상태 등을 진단하는 기능을 수행할 때 2차원 카메라(122)가 활성화될 수 있다. 셀프 카메라 기능은 2차원 카메라(122)가 촬영한 사용자의 2차원 영상을 디스플레이(130)에 표시하는 기능으로써 미러 모드와 유사한 기능이나, 일정 비율의 투과율을 갖는 하프 미러(110)보다 더 선명하게 사용자의 모습을 제공할 수 있다. 또한, 디스플레이(130)에 표시되는 2차원 영상을 통해 사용자는 다른 사람의 눈에 비춰지는 자신의 모습을 확인할 수 있다.
전술한 바와 같이, 2차원 카메라(122)가 디스플레이(130)와 함께 활성화되거나 디스플레이(130)가 활성화된 이후에 활성화되는 경우에는 2차원 카메라(122)가 상시 활성화될 때 발생할 수 있는 사용자의 프라이버시 침해를 줄일 수 있다.
도 23은 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 또 다른 순서도이다.
도 23에 도시된 디스플레이 장치의 제어 방법에 따르면, 제어부(140)가 사용자의 접근을 검출하면(330의 예), 사용자 지시 영역을 검출하고(331), 2차원 영상에서 사용자 지시 영역을 확대하여 표시한다(332).
예를 들어, 디스플레이 장치(100)가 디스플레이 모드에서 동작하면서 셀프 카메라 기능을 수행 중일 때, 2차원 카메라(122)를 이용한 셀프 카메라 기능 수행 중에 3차원 카메라(121)도 활성화시켜 사용자의 접근을 검출할 수 있다. 제어부(140)는 3차원 카메라(121)가 촬영한 3차원 영상에서 사용자를 검출하고, 사용자가 깊이 방향으로 미리 정해진 기준거리 이상 가까워지는지 여부를 판단할 수 있다.
제어부(140)는 사용자의 접근이 검출되면 3차원 영상 또는 2차원 영상에서 사용자 지시 영역을 검출할 수 있다. 예를 들어, 사용자 지시 영역은 사용자의 얼굴을 포함한 신체 부위 중에서 사용자의 손가락이 지시하고 있는 영역을 의미할 수 있다.
제어부(140)가 사용자 지시 영역을 검출하면, 2차원 카메라(122)에 제어 신호를 전송하여 검출된 사용자 지시 영역을 줌인하여 촬영하도록 한다. 줌인하여 촬영된 2차원 영상은 디스플레이(130)에 표시된다. 또는, 2차원 영상의 촬영 시에는 줌인하지 않고, 즉 배율을 변경하지 않고 그대로 촬영한 후에 디스플레이(130)에 표시할 때에만 사용자 지시 영역을 확대하여 표시하는 것도 가능하다.
또한, 일 실시예에 따른 디스플레이 장치의 제어 방법에 따르면, 사용자가 디스플레이 장치(100)에 접근할 때 사용자의 접근 거리 또는 사용자와 디스플레이 장치(100) 사이의 거리에 기초하여 조명(160)의 밝기를 제어하는 것도 가능하다.
제어부(140)는 사용자의 접근 거리가 길수록(현재 위치에서 디스플레이 장치를 향해 많이 이동할 수록) 또는 사용자와 디스플레이 장치(100) 사이의 거리가 짧을수록 자신의 모습을 더 자세하게 보고 싶어하는 사용자의 의도를 반영하여 조명(160)을 밝게 제어할 수 있다. 다만, 조명(160)의 밝기가 지나치게 밝게 되면 눈부심을 유발할 수 있으므로, 제어부(140)는 사용자와 디스플레이 장치(100) 사이의 거리에 기초하여 눈부심을 유발하지 않으면서 사용자가 자신의 모습을 자세하게 확인할 수 있게 하는 최적의 밝기로 조명(160)을 제어할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 전술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100: 디스플레이 장치
110: 하프 미러
121: 3차원 카메라
122: 2차원 카메라
130: 디스플레이
140: 제어부
150: 모션 센서
160: 조명

Claims (24)

  1. 미러 디스플레이;
    상기 미러 디스플레이의 전방을 향하여 배치되는 3차원 카메라;
    상기 3차원 카메라가 서로 다른 적어도 두 시점(time point)에서 촬영한 사용자의 3차원 안면 영상에서 상기 사용자의 안면 윤곽을 검출하고, 상기 검출된 안면 윤곽에 기초하여 상기 두 시점 사이의 안면 윤곽 변화를 판단하고, 상기 미러 디스플레이가 상기 안면 윤곽 변화에 관한 정보를 표시하도록 제어하는 제어부;를 포함하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 미러 디스플레이가 상기 안면 윤곽 변화에 관한 정보를 수치로 표시하도록 제어하는 디스플레이 장치.
  3. 제 1 항에 있어서,
    상기 미러 디스플레이의 전방을 향하여 배치되는 2차원 카메라;를 더 포함하고,
    상기 제어부는,
    상기 미러 디스플레이가 상기 안면 윤곽 변환에 관한 정보를 상기 2차원 카메라가 촬영한 상기 사용자의 2차원 안면 영상 위에 표시하도록 제어하는 디스플레이 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    사용자 별로 상기 3차원 안면 영상 및 상기 안면 윤곽 변화에 관한 정보 중 적어도 하나를 저장하는 디스플레이 장치.
  5. 제4항에 있어서
    상기 제어부는,
    상기 2차원 카메라가 촬영한 사용자의 2차원 안면 영상 또는 상기 3차원 카메라가 촬영한 사용자의 3차원 안면 영상에 기초하여 사용자를 인식하는 디스플레이 장치.
  6. 제 5 항에 있어서,
    상기 제어부는,
    상기 인식된 사용자에 대해 저장된 3차원 안면 영상과 상기 3차원 카메라가 촬영한 사용자의 현재 3차원 안면 영상에 기초하여 상기 안면 윤곽 변화를 판단하는 디스플레이 장치.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 검출된 안면 윤곽에 기초하여 상기 사용자의 얼굴형 타입을 결정하고, 상기 결정된 얼굴형 타입에 대응되는 화장법에 관한 정보를 제공하도록 상기 미러 디스플레이를 제어하는 디스플레이 장치.
  8. 제 1 항에 있어서,
    상기 제어부는,
    상기 안면 윤곽 변화에 대응되는 화장법에 관한 정보를 제공하도록 상기 미러 디스플레이를 제어하는 디스플레이 장치.
  9. 제 1 항에 있어서,
    상기 미러 디스플레이는,
    상기 디스플레이 장치의 전면에 배치되는 하프 미러; 및
    상기 하프 미러의 후방에 배치되는 디스플레이;를 포함하는 디스플레이 장치.
  10. 제 1 항에 있어서,
    상기 미러 디스플레이는,
    미러 필름이 배치된 상부 편광판을 포함하는 디스플레이를 포함하는 디스플레이 장치.
  11. 미러 디스플레이;
    상기 미러 디스플레이의 전방을 향하여 배치되는 3차원 카메라;
    사용자의 움직임을 감지하는 모션 센서; 및
    상기 모션 센서가 상기 사용자의 움직임을 감지하면 상기 3차원 카메라를 활성화시키고, 상기 3차원 카메라가 촬영한 3차원 영상에서 미리 정의된 제스쳐를 검출하고, 상기 미리 정의된 제스쳐가 검출되면 상기 미러 디스플레이를 활성화시키는 제어부;를 포함하는 디스플레이 장치.
  12. 제 11 항에 있어서,
    상기 미러 디스플레이의 전방을 향하여 배치되는 2차원 카메라;를 더 포함하고,
    상기 제어부는,
    상기 미리 정의된 제스쳐가 검출되면 상기 2차원 카메라를 활성화시키는 디스플레이 장치.
  13. 제 12 항에 있어서,
    상기 제어부는,
    상기 3차원 카메라가 촬영한 3차원 영상에서 사용자의 접근이 검출되면, 확대된 2차원 영상을 표시하도록 상기 미러 디스플레이를 제어하는 디스플레이 장치.
  14. 제 13 항에 있어서,
    상기 제어부는,
    상기 2차원 카메라가 촬영한 2차원 영상 또는 상기 3차원 카메라가 촬영한 3차원 영상에서 사용자 지시 영역을 검출하고, 상기 2차원 카메라가 상기 검출된 사용자 지시 영역을 줌인하여 촬영하도록 제어하는 디스플레이 장치.
  15. 제 13 항에 있어서,
    상기 제어부는,
    상기 2차원 카메라가 촬영한 2차원 영상 또는 상기 3차원 카메라가 촬영한 3차원 영상에서 사용자 지시 영역을 검출하고, 상기 2차원 카메라가 촬영한 2차원 영상에서 상기 검출된 사용자 지시 영역을 확대하여 표시하도록 상기 미러 디스플레이를 제어하는 디스플레이 장치.
  16. 제 11 항에 있어서,
    전방을 향하여 배치되는 조명;을 더 포함하고,
    상기 제어부는,
    상기 3차원 카메라가 촬영한 3차원 영상에 기초하여 상기 조명의 밝기를 제어하는 디스플레이 장치.
  17. 제16 항에 있어서
    상기 제어부는,
    상기 3차원 영상에 기초하여 상기 사용자의 접근을 검출하고, 상기 사용자의 접근이 검출되면 상기 조명의 밝기를 밝게 제어하는 디스플레이 장치.
  18. 제16 항에 있어서
    상기 제어부는,
    상기 3차원 영상에 기초하여 상기 사용자와 상기 디스플레이 장치 사이의 거리를 판단하고, 상기 판단된 거리에 기초하여 상기 조명의 밝기를 제어하는 디스플레이 장치.
  19. 미러 디스플레이, 2차원 카메라 및 3차원 카메라를 포함하는 디스플레이 장치의 제어 방법에 있어서,
    상기 3차원 카메라를 이용하여 제1시점에서 사용자의 3차원 안면 영상을 촬영하고;
    상기 3차원 카메라를 이용하여 제2시점에서 상기 사용자의 3차원 안면 영상을 촬영하고;
    상기 제1시점에서 촬영한 상기 사용자의 3차원 안면 영상에서 상기 사용자의 안면 윤곽을 검출하고;
    상기 제2시점에서 촬영한 상기 사용자의 3차원 안면 영상에서 상기 사용자의 안면 윤곽을 검출하고;
    상기 검출된 안면 윤곽에 기초하여 상기 제1시점과 상기 제2시점 사이의 안면 윤곽 변화를 판단하고;
    상기 안면 윤곽 변화에 관한 정보를 상기 미러 디스플레이에 표시하는 것;을 포함하는 디스플레이 장치의 제어 방법.
  20. 제 19 항에 있어서,
    상기 안면 윤곽 변화에 관한 정보를 상기 미러 디스플레이에 표시하는 것은,
    상기 안면 윤곽 변화에 관한 정보를 수치로 표시하는 것;을 포함하는 디스플레이 장치의 제어 방법.
  21. 제 19 항에 있어서,
    상기 안면 윤곽 변화에 관한 정보를 상기 미러 디스플레이에 표시하는 것은,
    상기 안면 윤곽 변환에 관한 정보를 상기 2차원 카메라가 촬영한 상기 사용자의 2차원 안면 영상 위에 표시하는 것;을 포함하는 디스플레이 장치의 제어 방법.
  22. 제 21 항에 있어서,
    사용자 별로 상기 제1시점 및 상기 제2시점에서 촬영된 3차원 안면 영상들 및 상기 안면 윤곽 변화에 관한 정보 중 적어도 하나를 저장하는 것;을 더 포함하는 디스플레이 장치의 제어 방법.
  23. 제22항에 있어서
    상기 2차원 카메라가 촬영한 사용자의 2차원 안면 영상 또는 상기 3차원 카메라가 촬영한 사용자의 3차원 안면 영상에 기초하여 사용자를 인식하는 것;을 더 포함하는 디스플레이 장치의 제어 방법.
  24. 제 23 항에 있어서,
    상기 제1시점과 상기 제2시점 사이의 안면 윤곽 변화를 판단하는 것은,
    상기 인식된 사용자에 대해 저장된 제1시점에서 촬영된 3차원 안면 영상과 상기 3차원 카메라가 제2시점에서 촬영한 사용자의 3차원 안면 영상에 기초하여 상기 안면 윤곽 변화를 판단하는 것;을 포함하는 디스플레이 장치의 제어 방법.
KR1020200007753A 2020-01-21 2020-01-21 디스플레이 장치 및 그 제어방법 KR20210094247A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200007753A KR20210094247A (ko) 2020-01-21 2020-01-21 디스플레이 장치 및 그 제어방법
PCT/KR2021/000641 WO2021149980A1 (ko) 2020-01-21 2021-01-18 디스플레이 장치 및 그 제어방법
US17/727,303 US20220245967A1 (en) 2020-01-21 2022-04-22 Display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200007753A KR20210094247A (ko) 2020-01-21 2020-01-21 디스플레이 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20210094247A true KR20210094247A (ko) 2021-07-29

Family

ID=76992337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200007753A KR20210094247A (ko) 2020-01-21 2020-01-21 디스플레이 장치 및 그 제어방법

Country Status (3)

Country Link
US (1) US20220245967A1 (ko)
KR (1) KR20210094247A (ko)
WO (1) WO2021149980A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) * 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11908243B2 (en) * 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US20230084870A1 (en) * 2021-09-14 2023-03-16 Aaron Johnson Smart Mirror-Displayed Video Camera
US20230115429A1 (en) * 2021-10-07 2023-04-13 Nakinja Kaabah Gaither Picsee Selfie Mirror
CN114340079B (zh) * 2021-12-29 2024-02-02 苏州鑫凯威科创发展有限公司 一种带灯化妆镜及其自适应投光方法
CN115273153B (zh) * 2022-09-26 2022-12-13 成都一颗牛油果科技有限公司 一种健身房储物柜用图像采集系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8261090B1 (en) * 2011-09-28 2012-09-04 Google Inc. Login to a computing device based on facial recognition
KR101888139B1 (ko) * 2011-10-06 2018-08-14 엘지디스플레이 주식회사 스마트 윈도우 디스플레이
KR101494301B1 (ko) * 2014-07-22 2015-02-24 (주)지란지교소프트 스마트 미러 장치
KR102317820B1 (ko) * 2015-08-12 2021-10-26 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
KR102045575B1 (ko) * 2017-12-08 2019-12-05 주식회사 매직내니 스마트 미러 디스플레이 장치

Also Published As

Publication number Publication date
US20220245967A1 (en) 2022-08-04
WO2021149980A1 (ko) 2021-07-29

Similar Documents

Publication Publication Date Title
KR20210094247A (ko) 디스플레이 장치 및 그 제어방법
US20210033760A1 (en) Smart mirror
US20210382563A1 (en) Interacting with a machine using gestures in first and second user-specific virtual planes
CN108700934B (zh) 能够进行眼睛追踪的可穿戴设备
US10565446B2 (en) Eye-tracking enabled wearable devices
US9442567B2 (en) Gaze swipe selection
US10102676B2 (en) Information processing apparatus, display apparatus, information processing method, and program
US20190227694A1 (en) Device for providing augmented reality service, and method of operating the same
US20130021374A1 (en) Manipulating And Displaying An Image On A Wearable Computing System
US20160162082A1 (en) Pointer projection for natural user input
KR102218210B1 (ko) 가상 오브젝트의 처리가 가능한 스마트 안경
CA2955072C (en) Reflection-based control activation
KR20230025909A (ko) 증강 현실 안경류 3d 페인팅
US20230060453A1 (en) Electronic device and operation method thereof
WO2022005733A1 (en) Augmented reality eyewear with mood sharing
JP2013145323A (ja) カメラ付きミラー装置、ミラー付き什器
JP2012038025A (ja) 表示装置及び表示装置の制御方法、プログラム
CN109960406A (zh) 基于双手手指之间动作的智能电子设备手势捕获与识别技术
JP2014048565A (ja) 画像表示装置
KR102560158B1 (ko) 카메라 연동 거울 시스템
WO2019018365A1 (en) CLOTHING DEVICES FOR EYE FOLLOW-UP
WO2022208612A1 (ja) ウェアラブル端末装置、プログラムおよび表示方法
KR102650349B1 (ko) Xr 디바이스 및 그 제어 방법
KR20230079156A (ko) 컨텍스트-기반 전송 기능을 갖는 이미지 캡처 아이웨어
KR20210125465A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치