WO2020090458A1 - 表示装置、及び表示制御方法 - Google Patents

表示装置、及び表示制御方法 Download PDF

Info

Publication number
WO2020090458A1
WO2020090458A1 PCT/JP2019/040574 JP2019040574W WO2020090458A1 WO 2020090458 A1 WO2020090458 A1 WO 2020090458A1 JP 2019040574 W JP2019040574 W JP 2019040574W WO 2020090458 A1 WO2020090458 A1 WO 2020090458A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
display device
image
display
unit
Prior art date
Application number
PCT/JP2019/040574
Other languages
English (en)
French (fr)
Inventor
鈴木　毅
黎 英保
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020553756A priority Critical patent/JP7412348B2/ja
Priority to US17/287,339 priority patent/US20210358181A1/en
Priority to CN201980068948.1A priority patent/CN112997477A/zh
Publication of WO2020090458A1 publication Critical patent/WO2020090458A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G2001/002—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means comprising magnifying properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/025—LAN communication management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/06—Remotely controlled electronic signs other than labels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/342—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426—Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present technology relates to a display device and a display control method, and particularly to a display device and a display control method capable of improving a user experience.
  • display devices such as TV sets are required to improve the user experience when providing various functions.
  • the present technology has been made in view of such a situation, and is intended to improve the user experience.
  • a display device displays a first region including the user and the first region in the image frame when displaying a video corresponding to an image frame obtained by capturing an image of the user on a display unit.
  • the display device includes a control unit that controls the brightness of an illumination region including at least a part of the second region out of the removed second region and causes the illumination region to function as illumination for emitting light to the user.
  • a display control method is that, when a display device displays a video corresponding to an image frame obtained by capturing an image of a user on a display unit, a first region including the user in the image frame and the A display control method for controlling the brightness of an illumination area including at least a part of the second area of the second area excluding the first area so as to function as illumination for emitting light to the user. is there.
  • a display device and a display control method when a video corresponding to an image frame obtained by capturing an image of a user is displayed on a display unit, a first region including the user in the image frame. And the brightness of an illumination region including at least a part of the second region of the second region excluding the first region is controlled, and the illumination region functions as illumination for emitting light to the user.
  • the display device may be an independent device, or may be an internal block making up one device.
  • FIG. 3 is a block diagram showing an example of a configuration of a display unit in FIG. 2. It is a figure which shows the 1st example of the display screen displayed on a display apparatus. It is a figure which shows the 1st example of the illumination for eye catches. It is a figure which shows the 2nd example of the illumination for eye catches. It is a figure which shows the 2nd example of the display screen displayed on a display apparatus. It is a figure which shows the 2nd example of the display screen displayed on a display apparatus. It is a figure which shows the example of installation of a several camera part.
  • FIG. 9 is a block diagram showing an example of another configuration of the display unit in FIG. 2.
  • FIG. 16 is a diagram illustrating an example of the configuration of a computer.
  • Embodiment 2 of the present technology Modification 3. Computer configuration
  • FIG. 1 is a diagram showing an example of the configuration of a system to which the present technology is applied.
  • the display device 10 is composed of, for example, a television receiver.
  • the display device 10 receives and processes the broadcast signal to display the video of the broadcast content and output the audio.
  • the user 1 can view broadcast content such as a television program.
  • the display device 10 has a photographing function, and functions as a mirror (mirror) showing the user 1 by photographing (capturing) the user 1 who is positioned in front by the camera unit and displaying the image. To do. Further, when the user 1 uses the display device 10 as a mirror, the display device 10 controls a backlight provided for the liquid crystal display unit, so that illumination for makeup and eye catching is obtained. Also functions as (writing).
  • the display device 10 also has a communication function such as a wireless LAN (Local Area Network). For example, by communicating with the router 20 installed indoors, the display device 10 can access the server 30 via the network 40 such as the Internet. -1 to 30-N (N is an integer of 1 or more) can be accessed.
  • the servers 30-1 to 30-N are servers that provide various services.
  • the server 30-1 is a server that provides a website such as an EC (Electronic Commerce) site or an electronic mall (cyber mall), and the display device 10 has information for purchasing products such as cosmetics. (Web page) can be presented.
  • the server 30-2 is a server that provides a social networking service (SNS: Social Networking Service).
  • the server 30-3 is a server that delivers communication content such as a moving image
  • the server 30-4 is a server that delivers an application that the display device 10 can execute.
  • various services are provided by the servers 30-4 to 30-N.
  • the display device 10 has a function as a so-called smart mirror in addition to the function as a general television receiver.
  • FIG. 2 is a block diagram showing an example of the configuration of a display device to which the present technology is applied.
  • the display device 10 includes a control unit 100, a tuner unit 101, a decoder unit 102, a speaker unit 103, a display unit 104, a communication unit 105, a recording unit 106, a camera unit 107, a sensor unit 108, a microphone unit 109, and It is composed of a power supply unit 110.
  • the control unit 100 is composed of, for example, a CPU (Central Processing Unit), a microcomputer, and the like.
  • the control unit 100 controls the operation of each unit of the display device 10.
  • the tuner unit 101 receives the broadcast signal transmitted from the transmitting station and received via the receiving antenna. Under the control of the control unit 100, the tuner unit 101 performs necessary processing (for example, demodulation processing) on the received signal, and supplies the stream obtained as a result to the decoder unit 102.
  • necessary processing for example, demodulation processing
  • the video stream and the audio stream are respectively supplied to the decoder section 102 as the streams supplied from the tuner section 101.
  • the decoder unit 102 decodes the audio stream and supplies the resulting audio signal to the speaker unit 103. Also, the decoder unit 102 decodes the video stream under the control of the control unit 100, and supplies the resulting video signal to the display unit 104.
  • the speaker unit 103 performs necessary processing on the audio signal supplied from the decoder unit 102, and outputs the audio corresponding to the audio signal.
  • the display unit 104 performs necessary processing on the video signal supplied from the decoder unit 102 and displays a video corresponding to the video signal. The detailed configuration of the display unit 104 will be described later with reference to FIG.
  • the communication unit 105 includes a communication module that supports wireless communication such as wireless LAN or cellular communication (for example, LTE-Advanced or 5G).
  • the communication unit 105 exchanges various data with the server 30 via the network 40 under the control of the control unit 100.
  • the recording unit 106 includes a storage device such as a semiconductor memory, a HDD (Hard Disk Drive), and a buffer device that temporarily stores data.
  • the recording unit 106 records various data under the control of the control unit 100.
  • the camera unit 107 includes an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor, and a signal processing unit such as a camera ISP (Image Signal Processor).
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • signal processing unit such as a camera ISP (Image Signal Processor).
  • the camera unit 107 causes the signal processing unit to perform various kinds of signal processing on a shooting signal obtained by shooting a subject with an image sensor.
  • the camera unit 107 supplies the video signal of the image frame obtained as a result of the signal processing to the control unit 100.
  • the camera unit 107 may be built in the display device 10 or may be externally attached via a predetermined interface. Further, the number of camera units 107 is not limited to one, and a plurality of camera units 107 may be provided at predetermined positions in the display device 10.
  • the sensor unit 108 is configured to include various sensors. Under the control of the control unit 100, the sensor unit 108 performs sensing for obtaining various information regarding the periphery of the display device 10. The sensor unit 108 supplies the sensor data according to the sensing result to the control unit 100.
  • the sensor unit 108 can include various sensors such as a color sensor that detects a color temperature of the surroundings, a distance measuring sensor that measures a distance to a target object, and an ambient light sensor that detects a brightness of the surroundings. ..
  • the microphone unit 109 converts a sound (voice) from the outside into an electric signal, and supplies the resulting voice signal to the control unit 100.
  • the power supply unit 110 supplies the power supply obtained from an external power supply or a storage battery to each unit of the display device 10 including the control unit 100 under the control of the control unit 100.
  • FIG. 3 is a block diagram showing an example of the configuration of the display unit 104 of FIG.
  • the display unit 104 includes a signal processing unit 121, a display driving unit 122, a liquid crystal display unit 123, a backlight driving unit 124, and a backlight 125.
  • the signal processing unit 121 performs predetermined video signal processing based on the video signal input thereto.
  • a video signal for controlling the drive of the liquid crystal display unit 123 is generated and supplied to the display drive unit 122.
  • a drive control signal (BL drive control signal) for controlling the drive of the backlight 125 is generated and supplied to the backlight drive unit 124.
  • the display drive unit 122 drives the liquid crystal display unit 123 based on the video signal supplied from the signal processing unit 121.
  • the liquid crystal display unit 123 is a display panel in which pixels including a liquid crystal element and a TFT (Thin Film Transistor) element are two-dimensionally arranged, and according to the drive from the display drive unit 122, the light emitted from the backlight 125 is modulated. The display is performed by doing.
  • the liquid crystal display unit 123 is, for example, one in which a liquid crystal material is sealed between two transparent substrates made of glass or the like.
  • a transparent electrode made of, for example, ITO (Indium Tin Oxide) is formed on a portion of these transparent substrates facing the liquid crystal material, and constitutes a pixel together with the liquid crystal material.
  • each pixel is composed of, for example, three sub-pixels of red (R), green (G), and blue (B).
  • the backlight drive unit 124 drives the backlight 125 based on the drive control signal (BL drive control signal) supplied from the signal processing unit 121.
  • the backlight 125 emits the light emitted by the plurality of light emitting elements to the liquid crystal display unit 123 according to the driving from the backlight driving unit 124.
  • the light emitting element for example, an LED (Light Emitting Diode) can be used.
  • the backlight 125 may be divided into a plurality of partial light emitting areas, and one or a plurality of light emitting elements such as LEDs are arranged in each partial light emitting area.
  • the backlight drive unit 124 may perform lighting control in which the BL drive control signal is changed for each partial light emission region, that is, so-called partial drive.
  • the partial drive of the backlight 125 can be utilized to improve the dynamic range of luminance.
  • the technique of improving the dynamic range of the brightness is also called “pushing up the brightness” and is realized by the following principle, for example.
  • the display unit 104 when a 100% white image as the luminance level of the image signal is uniformly displayed on the entire screen, all of the plurality of partial light emitting areas in the backlight 125 are turned on. In this state, it is assumed that the output luminance of the display unit 104 is 100%, the power consumption of the backlight 125 is 200 W per half of the entire light emitting area, and the backlight 125 is 400 W as a whole. In addition, the backlight 125 has a power limit of 400 W as a whole.
  • the display unit 104 it is assumed that half of the screen is displayed in black with the minimum luminance level of the video signal and white is displayed as 100% as the luminance level of the other half of the screen.
  • the backlight 125 in the black display portion, the backlight 125 can be turned off and the power consumption of the backlight 125 can be reduced to 0W.
  • the output maximum luminance value L MAX on the display unit 104 can be increased to 200% as compared with the above example.
  • the configuration of the display device 10 shown in FIG. 2 is an example, and other components can be included.
  • a light receiving unit that receives an infrared signal is provided.
  • the display device 10 not only reproduces broadcast content such as a television program, but also communicates content such as videos distributed from the server 30-3, HDMI (registered trademark) (High-Definition Multimedia Interface), Content such as recorded content input via an interface corresponding to a predetermined method such as USB (Universal Serial Bus) may be reproduced.
  • the display device 10 can download and execute an application (for example, a smart mirror application or the like) distributed from the server 30-4.
  • the application may be, for example, a native application executed by the control unit 100 or a web application that executes a browser to display a screen.
  • FIG. 4 shows a first example of a display screen displayed on the display device 10.
  • the display device 10 photographs the user 1 positioned in front of the user with the camera unit 107 and displays the image on the display unit 104 (the liquid crystal display unit 123 thereof).
  • this display screen In the central area of this display screen, the image of user 1 located in front of it is displayed. In addition, in the left and right regions (illumination regions) of the display screen, a plurality of four illuminations 151 as eye catching lights are displayed in the vertical direction, and in the lower region of the display screen, cosmetics are displayed. Product information 161 regarding products such as is displayed.
  • the control unit 100 controls the brightness of the backlight 125 of the display unit 104 according to the brightness of the illumination area.
  • the display device 10 displays the plurality of lights 151 as the lights for eye catching, thereby reproducing the optimum light when applying makeup at the home of the user 1 (A in FIG. 5). ..
  • the image of the user 1 displayed on the display device 10 is in a state of being illuminated by the plurality of left and right lights 151, and, for example, the plurality of left and right lights 151 are reflected in the pupil of the user 1 (FIG. 5B).
  • the illumination for eye catching is not limited to the one in which a plurality of illuminations 151 are displayed in the vertical direction in the left and right regions, and for example, illumination having a predetermined shape may be provided. ..
  • FIG. 6A shows an example of a case where a donut type illumination 152 is displayed as the illumination for eye catching. In this case, as the image of the user 1 displayed on the display device 10, the donut-shaped illumination 152 is reflected in its pupil (B in FIG. 6). Further, the number of lights is not limited to four in the vertical direction, and any number can be displayed.
  • the lighting for eye catching multiple lightings may be displayed in the lateral direction in the upper and lower areas. That is, in the display device 10, it is possible to display a plurality of lights with at least a part of the upper, lower, left, and right regions of the display screen of the display unit 104 as the illumination region.
  • the illumination area is at least the second area of the first area including (the image of) the user 1 in the image frame and the second area (area including the background) excluding the first area. It is considered as an area including a part.
  • FIG. 7 shows a second example of the display screen displayed on the display device 10.
  • the display device 10 captures the user 1 positioned in front of the display device 10 with the camera unit 107 and displays the video on the display unit 104, which is an augmented reality (AR) technique (AR technique).
  • AR technique augmented reality
  • AR technique a known technique such as a markerless type or a marker type AR can be used.
  • the makeup of the face image of the user 1 on the display screen is applied by the AR technique (A in FIG. 7).
  • what is displayed by superimposition by the AR technique is not limited to makeup, and for example, clothes (clothes) and accessories may be displayed in superposition on the image of the user 1 on the display screen (B in FIG. 7).
  • the user 1 can register his or her own wardrobe (owned costume) and information about accessories in advance, and the display device 10 can present a recommended combination of costumes and accessories.
  • the user 1 may register the information about the costume and the like not only by operating the display device 10 but also by activating a dedicated application on a mobile terminal such as a smartphone or a tablet terminal, for example.
  • the recommended combination of costumes or the like may be determined by (the control unit 100 of) the display device 10 using a predetermined algorithm, or via the network 40, for example, a recommendation server using machine learning or the like. You may inquire to the dedicated server 30. Further, instead of presenting the recommended combination on the device side such as the display device 10, the user 1 may select the combination of costumes and accessories by himself.
  • the user 1 purchases cosmetics for applying makeup displayed by the AR technology, puts on makeup, puts on recommended clothes, and wears accessories so that the state after makeup is changed. Can be confirmed by the image displayed on the display device 10 (FIG. 8).
  • the image displayed on the display device 10 is an actual image captured by the camera unit 107, and is not an image in which various information is superimposed and displayed by the AR technique.
  • the costume or accessory displayed by the AR technique may not be possessed by the user 1, and the purchase of such costume or accessory may be prompted.
  • the background image of the user 1 is subjected to blurring processing, but by blurring the background, for example, a messy state in the room is not recognized.
  • one camera unit 107-1 and one camera unit 107-2 are attached to the left and right sides of the frame of (the liquid crystal display unit 123 of) the display unit 104 of the display device 10, respectively.
  • the user 1 is photographed by the two camera units 107-1 and 107-2, respectively.
  • information on the depth of the user 1 can be obtained, and the depth of the user 1 that is in close proximity to the user 1 can be obtained. It is possible to extract areas of the face and body (each part of the body).
  • the control unit 100 can blur the area (background area) excluding the extracted face or body area of the user 1 to blur the messy state of the room. (A in FIG. 10).
  • the image processing for the background image (region) is not limited to the blurring processing, and other processing may be performed.
  • the control unit 100 may perform a combining process of performing a mask process on the extracted face or body region of the user 1 and combining images of different backgrounds (for example, an image of a building of a party venue). 10 B).
  • FIG. 11 shows a third example of the display screen displayed on the display device 10.
  • the color temperature of the room is detected by the sensor unit 108 such as a color sensor, and the color of the destination (for example, a night party hall) of the user 1 with respect to the detected color temperature.
  • the sensor unit 108 such as a color sensor
  • the color of the destination for example, a night party hall
  • the ambient light is emulated.
  • the user 1 can confirm whether or not makeup can be seen at the place where he / she actually goes out (B in FIG. 11).
  • the information about the destination of the user 1 is to be registered in advance.
  • the registration method is, of course, performed by operating the display device 10, and for example, using a dedicated application on a mobile terminal such as a smartphone. It may be activated and registered, or information regarding a destination to go out may be acquired in cooperation with the application of the schedule used by the user 1.
  • the sensor unit 108 such as a color sensor
  • the color temperature in the room in which the display device 10 is installed may be detected by analyzing the image frame captured by the camera unit 107.
  • FIG. 12 shows a fourth example of the display screen displayed on the display device 10.
  • the display device 10 photographs the user 1 located in front of the user with the camera unit 107, displays the image on the display unit 104, and records (or buffers) the image data in the recording unit 106. )is doing. Thereby, the display device 10 can display the past video recorded (or buffered) in the recording unit 106 together with the real-time video.
  • time t1 the user 1 who is facing the display screen side of the display device 10 moves to the other side X seconds before (time t0), that is, behind the display screen of the display device 10.
  • time t0 the display screen of the display device 10.
  • the display device 10 displays the image of the user 1 at the current time (time t1) and X seconds before (time t0). Can be displayed at the same time.
  • the user 1 can confirm not only the current front view of the user but also the past (for example, several seconds before) of the back view of the user displayed with a time difference (time shift).
  • the orientation of the user 1 is not limited to the backward orientation, and, for example, the image data of the user 1 in the horizontal orientation is By recording, the user 1 can confirm the profile of the user's front and back as well as the profile when confirming makeup and costume.
  • the image displayed on the display screen of the display device 10 can be switched not only to a mirror image but also to a normal image. For example, by switching from a mirror image to a normal image display, the user 1 can see from another person. You can see what you are doing.
  • FIG. 13 shows a fifth example of the display screen displayed on the display device 10.
  • the display device 10 photographs the user 1 located in front of the user with the camera unit 107, displays the video, and plays the makeup tutorial video 171 (A in FIG. 13). This allows the user 1 to put on makeup while checking the contents of the tutorial video 171.
  • the user 1 wants to watch a certain scene of the tutorial video 171 again, and utters "play again for now" (B in FIG. 13).
  • the display device 10 the utterance of the user 1 is picked up by the microphone unit 109, and the voice recognition process is performed on the voice signal.
  • voice data is converted into text data by appropriately referring to a voice text conversion database or the like.
  • a speech recognition result (text data) that is a natural language is converted into an expression that can be understood by the machine (display device 10) by appropriately referring to a database for understanding a spoken language.
  • the intention that the user 1 wants to execute
  • the entity information Entity
  • the display device 10 rewinds the tutorial video 171 based on the result of the semantic analysis so that the target scene is played again. Since the display device 10 supports such a voice operation, the user 1 can operate the moving image reproduction by voice even if both hands are closed during makeup.
  • the case where fast rewind is performed in response to a voice operation is illustrated as the playback control of the tutorial movie 171, but not limited to fast rewind, for example, fast forward, pause, slow replay, and the like.
  • the control may be performed according to the voice operation by the user 1.
  • the tutorial moving image 171 is reproduced as communication content distributed from the server 30-3, for example.
  • a part of the processing such as voice recognition processing and semantic analysis processing performed in the display device 10 is performed by a dedicated server 30 such as a recognition / analysis server that performs voice recognition and semantic analysis via the network 40. May be.
  • the target of this voice operation is not limited to this, and for example, an instruction to change the lighting pattern for eye catching is given.
  • a voice operation performed by the user 1 may switch between display of a mirror image and display of a normal image as an image displayed on the display device 10.
  • FIG. 14 shows a sixth example of the display screen displayed on the display device 10.
  • the display device 10 displays the video image of the user 1, and partially displays the makeup tutorial video 171 and the part to be makeupd by the user 1 (for example, the lip-coated mouth).
  • the enlarged image 172 is displayed.
  • the user 1 can apply makeup while checking the enlarged video 172 displayed in real time, such as the mouth applying lipstick, with the tutorial movie 171 of how to apply lipstick and the like.
  • the display device 10 it is a timing for switching between the normal TV function and the smart mirror function, but it can be triggered by, for example, whether the position of the user 1 with respect to the display device 10 is within a predetermined range. That is, in the display device 10, for example, the position (current position) of the user 1 is detected by the sensor unit 108 such as a distance measuring sensor, and when the value corresponding to the detected position is equal to or more than a predetermined threshold value, the position of the user Is outside the predetermined range, the normal TV function is executed (A in FIG. 15).
  • the sensor unit 108 such as a distance measuring sensor
  • the smart mirror function is executed (B in FIG. 15). That is, when the user 1 puts on makeup, it is assumed that the user 1 will come to a position that is close to the display device 10 to some extent, so that it is used as a trigger here.
  • processing such as face recognition processing using an image frame captured by the camera unit 107 may be performed.
  • the display device 10 as a television receiver, by registering face information of a user who uses the smart mirror function in advance and executing face recognition processing, for example, assuming a family of four, a father or a son While the normal television function is maintained even when the display device 10 approaches the display device 10, the smart mirror function is executed when the mother or the daughter approaches the display device 10.
  • the display device 10 turns on the power when the user 1 performs a predetermined operation (S11). Thereby, in the display device 10, the power from the power supply unit 110 is supplied to each unit, and, for example, the image of the selected TV program is displayed on the display unit 104.
  • the display device 10 activates the smart mirror application (S12).
  • the control unit 100 starts the smart mirror application recorded in the recording unit 106 based on the detection result from the sensor unit 108. ..
  • the control unit 100 controls such that the image of the image frame captured by the camera unit 107 and the plurality of lights 151 as the lighting for eye catching are displayed on the display unit 104.
  • the illumination for eye catching is realized. can do.
  • the display screen shown in FIG. 4 is displayed on (the display unit 104 of) the display device 10 and the user can use the smart mirror function.
  • various operations are assumed as the operation of the display device 10.
  • the operation in the AR mode shown in FIG. 17 and the operation in the model mode shown in FIG. 18 will be described.
  • the operation of the display device 10 in the AR mode will be described with reference to FIG.
  • the display device 10 starts the operation in the AR mode (S31).
  • the display device 10 receives the selection of the cosmetics that the user 1 wants to try (S32).
  • a desired cosmetic according to a predetermined operation by the user 1 is selected from the product information 161 displayed in the lower area.
  • the display device 10 displays a video with makeup applied to the user 1 by the AR technology (S33).
  • the control unit 100 displays, as the image of the user 1 included in the image frame captured by the camera unit 107, the image on which the makeup according to the cosmetic selected by the user 1 in the process of step S32 is applied. It is controlled so that it is displayed at 104. As a result, the display screen shown in A of FIG. 7 is displayed on (the display unit 104 of) the display device 10.
  • the display device 10 receives the selection of the situation by the user 1 (S34).
  • the control unit 100 selects a situation (for example, outdoors or a party) that is input according to a predetermined operation by the user 1 and that corresponds to the destination to which the user 1 is going.
  • the display device 10 changes the illumination to a color according to the situation (S35).
  • the control unit 100 controls the backlight 125 in the illumination area to reproduce the color temperature according to the situation (for example, outdoors or a party) selected in the process of step S34, thereby displaying the display unit 104.
  • the color of the plurality of lights 151 displayed in (1) changes (for example, changes from white to reddish color).
  • the display screen shown in FIG. 11B (however, the costume and the accessory are not superposed) is displayed, and the ambient light according to the situation is emulated. ..
  • the display device 10 receives the selection of the accessory and costume that the user 1 wants to try (S36).
  • a desired accessory and costume according to a predetermined operation by the user is selected from the wardrobes registered in advance.
  • the display device 10 displays an image in which the accessory and the costume are overlaid on the user 1 by the AR technology (S37).
  • the control unit 100 applies makeup as a video image of the user 1 included in the image frame captured by the camera unit 107, and displays a video image in which the accessory and the costume selected in the process of step S36 are superimposed.
  • the display is controlled to be displayed on the unit 104.
  • the display screen shown in B of FIG. 11 is displayed on (the display unit 104 of) the display device 10.
  • the display device 10 accesses the server 30-1 that provides the EC site of a desired cosmetic product via the network 40 ( S39). Thereby, the user 1 can purchase desired cosmetics using the EC site.
  • the display device 10 accesses the server 30-1 that provides the EC site of a desired cosmetic product via the network 40 ( S39).
  • the user 1 can purchase desired cosmetics using the EC site.
  • not only cosmetics but also accessories and costumes that the user 1 does not possess are displayed in a superimposed manner, and if the user 1 likes these accessories and costumes, purchase using the EC site. You may be able to.
  • the user 1 can try on makeup, accessories, and costumes.
  • the display device 10 starts the operation in the model mode (S51).
  • the display device 10 receives the selection of the situation by the user 1 (S52).
  • the control unit 100 selects a situation (for example, outdoors or a party) according to the destination of the user 1.
  • Display device 10 changes the illumination to a color according to the situation (S53).
  • the control unit 100 controls the backlight 125 in the illumination area to reproduce the color temperature according to the situation (for example, outdoors or a party) selected in the process of step S52, thereby displaying the display unit 104.
  • the color of the plurality of lights 151 displayed on the screen changes.
  • the ambient light according to the situation is emulated.
  • the display device 10 receives the selection of the cosmetics to be applied by the user 1 (S54).
  • a cosmetic a cosmetic used for makeup
  • a predetermined operation by the user 1 is selected from cosmetics displayed in a predetermined area.
  • the display device 10 displays a video (video of the user 1 who is wearing makeup) corresponding to the image frame captured by the camera unit 107, and plays back a makeup tutorial video (S55, S56).
  • the communication unit 105 accesses the server 30-3 via the network 40 under the control of the control unit 100, so that the tutorial movie corresponding to the cosmetic (eg, lipstick) selected in the process of step S54 is displayed.
  • Streaming data is received.
  • the reproduction player is activated by the control unit 100 and the streaming data is processed, so that the tutorial moving image is reproduced.
  • the display screen shown in A of FIG. 13 is displayed on (the display unit 104 of) the display device 10.
  • the user 1 can make up according to the model while watching the tutorial video 171.
  • the display device 10 determines whether to change the playback position of the tutorial video (“S57).
  • the display device 10 determines to change the reproduction position of the tutorial moving image (“YES” in S57)
  • the display device 10 changes the reproduction position of the tutorial moving image according to the voice operation by the user 1 (S58).
  • the control unit 100 causes the voice recognition process for the voice signal.
  • processing such as or semantic analysis processing
  • the reproduction position of the tutorial video 171 reproduced by the reproduction player is controlled (B in FIG. 13).
  • step S58 the process returns to step S56, and the subsequent processes are repeated. If it is determined that the reproduction position of the tutorial moving image is not changed (“NO” in S57), the process proceeds to step S59. In this determination process, it is determined whether the makeup by the user 1 is completed (S59). Then, when it is determined that the makeup by the user 1 is completed (“YES” in S59), the operation of the model mode is terminated on the display device 10, and, for example, the operation of the photographing mode shown in FIG. 19 is performed.
  • the display device 10 receives the selection of the background by the user 1 (S71). Further, the display device 10 receives a shooting instruction corresponding to the voice operation by the user 1 (S72).
  • the display device 10 receives the shooting instruction from the user 1 in the process of step S72, the display device 10 starts the operation in the shooting mode (S73). At this time, on the display device 10, the countdown until the actual shooting is started, and when the countdown is finished (“YES” in S74), the camera unit 107 shoots the user 1 (S75).
  • the display device 10 combines and displays the image of the photographed user 1 and the selected background image (S76).
  • the control unit 100 performs a mask process on the area of the face and body of the user 1 extracted from the image frame obtained in the process of step S75, and the background image (the image of the background selected in the process of step S71 ( For example, by performing a combining process of combining images of the building of the party venue), the resultant combined image is displayed.
  • the display device 10 accepts the selection of the posting destination of the composite image by the user 1 (S78).
  • S78 For example, a list of SNS registered by the user 1 as a member is displayed, and from the list, the SNS to which the composite image is posted can be selected.
  • the display device 10 transmits the data of the composite image to the server 30-2 of the selected SNS (S79).
  • the communication unit 105 transmits the data of the composite image obtained in the process of step S76 to the SNS server 30-2 selected in the process of step S78 via the network 40.
  • the composite image is posted to the SNS, and the composite image can be browsed by, for example, a friend or family member of the user 1 using a mobile terminal or the like.
  • steps S78 and S79 are skipped and the process of FIG. 19 ends.
  • the data of the composite image is recorded in the recording unit 106.
  • the display device 10 as a television receiver has a function as a smart mirror, and the user 1 uses the high-brightness backlight 125 as illumination for eye catching, so that the user 1 also completes eye catching. It is possible (A of FIG. 20). Further, here, the design of the lighting for eye catching can be freely selected from a plurality of designs (B in FIG. 20).
  • the display device 10 uses AR technology to add information such as makeup, costumes, and accessories to the user 1 in the real space to expand the real world, perform emulation of ambient light, and display the background. By blurring, it is possible to confirm the appearance of the product including the situation (C in FIG. 20). Then, the display device 10 presents the stock and arrival information of the product in the actual store, or accesses the server 30-1 of the EC site to display the product purchase page, thereby displaying the product of the user 1. It is possible to improve purchasing will. In this way, the display device 10 as the television receiver can improve the user experience (UX: User Experience).
  • the display device 10 as the television receiver can reproduce the tutorial video as a model when the user 1 puts on makeup, the user 1 can put on makeup while watching the tutorial video (FIG. 21). A). At this time, the user 1 can give an instruction by voice operation when performing an operation (for example, fast rewind) on the tutorial video, and thus can operate even when both hands are closed during the makeup operation ( FIG. 21B).
  • an operation for example, fast rewind
  • the display device 10 when posting an image (composite image) taken by the user 1 to SNS, for example, an image (video) of a self-portrait (self-portrait) can be confirmed in advance (C in FIG. 21). Alternatively, it is possible to confirm a composite image in which the background is composited in advance (D in FIG. 21). Therefore, the user 1 can post an image that looks better on SNS. In this way, the display device 10 as the television receiver can improve the user experience (UX).
  • the display device 10 has been described as a television receiver, but the display device 10 is not limited to this.
  • an electronic device such as a display device, a personal computer, a tablet terminal, a smartphone, a mobile phone, a head mound display, or a game machine. May be
  • the display unit 104 of the display device 10 is configured to include the liquid crystal display unit 123 and the backlight 125 has been described, but the configuration of the display unit 104 is not limited to this, and for example, It may be configured to include a light emitting display unit, and the brightness thereof may be controlled.
  • (Other configuration of display section) 22 is a block diagram showing an example of another configuration of the display unit 104 of FIG.
  • the display unit 104 includes a signal processing unit 141, a display drive unit 142, and a self-luminous display unit 143.
  • the signal processing unit 141 performs predetermined video signal processing based on the video signal input thereto. In this video signal processing, a video signal for controlling the drive of the self-luminous display section 143 is generated and supplied to the display drive section 142.
  • the display drive unit 142 drives the self-luminous display unit 143 based on the video signal supplied from the signal processing unit 141.
  • the self-luminous display unit 143 is a display panel in which pixels including self-luminous elements are two-dimensionally arranged, and displays according to the drive from the display driving unit 142.
  • the self-luminous display unit 143 is, for example, a self-luminous display panel such as an organic EL display unit (OLED display unit) using organic electroluminescence (organic EL). That is, when the organic EL display unit (OLED display unit) is adopted as the self-luminous display unit 143, the display device 10 is an organic EL display device (OLED display device).
  • An OLED Organic Light Emitting Diode
  • OLED Organic Light Emitting Diode
  • OLED Organic Light Emitting Diode
  • each pixel is composed of, for example, four sub-pixels of red (R), green (G), blue (B), and white (W).
  • a plurality of display examples are shown as the display screens displayed on the display device 10. However, it is needless to say that the display examples of the respective display screens are displayed alone and the plurality of display examples are combined. A display screen may be displayed.
  • the system means a set of a plurality of constituent elements (devices, modules (components), etc.), and it does not matter whether or not all the constituent elements are in the same housing.
  • FIG. 23 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, keyboard, mouse and the like.
  • the output unit 1007 includes a speaker, a display and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, or the like.
  • the communication unit 1009 includes a network interface or the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 or the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, and executes the program. A series of processing is performed.
  • the program executed by the computer 1000 can be provided by being recorded in, for example, a removable recording medium 1011 as a package medium or the like. Further, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing that is executed in parallel or individually (for example, parallel processing or object processing). Further, the program may be processed by one computer (processor) or may be processed in a distributed manner by a plurality of computers.
  • each step of the processing shown in the flowcharts of FIGS. 16 to 19 can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a display device comprising: a control unit that controls the brightness of an illumination region including a part of the second region and causes the illumination region to function as illumination that emits light to the user.
  • the display unit functions as a mirror showing the user by displaying a mirror image or a normal image of the user, The display device according to (1), wherein the illumination functions as illumination used when the user wears makeup.
  • the said control part is a display apparatus as described in said (2) which superimposes various information with respect to the said user's image
  • the control unit is Display information about cosmetics, The display device according to (4), wherein makeup according to the cosmetic selected by the user is applied.
  • the display device (8) The display device according to (7), wherein the control unit performs a blurring process on the background image or a combining process of combining the user image and another background image.
  • the said control part is a display apparatus in any one of said (2) thru
  • the said control part is a display apparatus in any one of said (2) thru
  • the control unit displays a part of an image of the face of the user included in the first area, and an image in which a part of the user's makeup target is partially enlarged (10) or The display device according to (11).
  • a communication unit that communicates with the server via a network The display unit according to (5), wherein the communication unit accesses a server that provides a site that sells products including the cosmetics and exchanges information about the products according to an operation of the user.
  • the control unit further includes a recording unit that records data of the user image included in the first area, and the control unit displays the user image by time shift based on the data recorded in the recording unit.
  • the display device according to any one of (2) to (12) above.
  • the illumination area is composed of an area including at least a part of an upper area, a lower area, a left area, and a right area of a display screen of the display section, or a donut-shaped area, The said control part controls the brightness
  • the display apparatus in any one of said (2) thru
  • the display unit is If the position of the user is out of a predetermined range, a video of the content is displayed, The display device according to any one of (2) to (12), which functions as a mirror showing the user when the position of the user falls within a predetermined range.
  • the display unit includes a liquid crystal display unit, The said control part is a display device in any one of said (1) thru
  • the display is At the time of displaying an image corresponding to an image frame obtained by photographing the user on the display unit, at least the first region including the user in the image frame and the second region excluding the first region
  • 10 display device 20 router, 30-1 to 30-N server, 40 network, 100 control unit, 101 tuner unit, 102 decoder unit, 103 speaker unit, 104 display unit, 105 communication unit, 106 recording unit, 107 camera unit , 108 sensor part, 109 microphone part, 110 power supply part, 121 signal processing part, 122 display driving part, 123 liquid crystal display part, 124 backlight driving part, 125 backlight, 141 signal processing part, 142 display driving part, 143 self Light emitting display, 1000 computer, 1001 CPU

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、ユーザ体験の向上を図ることができるようにする表示装置、及び表示制御方法に関する。 ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、画像フレームにおけるユーザを含む第１の領域と第１の領域を除いた第２の領域のうちの少なくとも第２の領域の一部を含む照明領域の輝度を制御して、ユーザに対して光を発する照明として機能させる制御部を備える表示装置が提供される。本技術は、例えば、テレビ受像機に適用することができる。

Description

表示装置、及び表示制御方法
　本技術は、表示装置、及び表示制御方法に関し、特に、ユーザ体験の向上を図ることができるようにした表示装置、及び表示制御方法に関する。
　近年、テレビ受像機等の表示装置は、高性能化に伴い、様々な機能を提供することが可能である（例えば、特許文献１参照）。
米国特許第9198496号明細書
　ところで、テレビ受像機等の表示装置では、様々な機能を提供するに際してユーザ体験の向上が求められている。
　本技術はこのような状況に鑑みてなされたものであり、ユーザ体験の向上を図ることができるようにするものである。
　本技術の一側面の表示装置は、ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第１の領域と前記第１の領域を除いた第２の領域のうちの少なくとも前記第２の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる制御部を備える表示装置である。
　本技術の一側面の表示制御方法は、表示装置が、ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第１の領域と前記第１の領域を除いた第２の領域のうちの少なくとも前記第２の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる表示制御方法である。
　本技術の一側面の表示装置、及び表示制御方法においては、ユーザを撮影して得られる画像フレームに応じた映像が表示部に表示されるに際して、前記画像フレームにおける前記ユーザを含む第１の領域と前記第１の領域を除いた第２の領域のうちの少なくとも前記第２の領域の一部を含む照明領域の輝度が制御され、前記ユーザに対して光を発する照明として機能される。
　本技術の一側面の表示装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術を適用したシステムの構成の例を示す図である。 本技術を適用した表示装置の構成の例を示すブロック図である。 図２の表示部の構成の例を示すブロック図である。 表示装置に表示される表示画面の第１の例を示す図である。 アイキャッチ用の照明の第１の例を示す図である。 アイキャッチ用の照明の第２の例を示す図である。 表示装置に表示される表示画面の第２の例を示す図である。 表示装置に表示される表示画面の第２の例を示す図である。 複数台のカメラ部の設置の例を示す図である。 表示画面の背景処理の例を示す図である。 表示装置に表示される表示画面の第３の例を示す図である。 表示装置に表示される表示画面の第４の例を示す図である。 表示装置に表示される表示画面の第５の例を示す図である。 表示装置に表示される表示画面の第６の例を示す図である。 スマートミラー機能への切り替えタイミングの例を示す図である。 表示装置の処理の流れを説明するフローチャートである。 表示装置の処理の流れを説明するフローチャートである。 表示装置の処理の流れを説明するフローチャートである。 表示装置の処理の流れを説明するフローチャートである。 表示装置の機能の第１の例を説明する図である。 表示装置の機能の第２の例を説明する図である。 図２の表示部の他の構成の例を示すブロック図である。 コンピュータの構成の例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．本技術の実施の形態
２．変形例
３．コンピュータの構成
＜１．本技術の実施の形態＞
（システムの構成）
　図１は、本技術を適用したシステムの構成の例を示す図である。
　表示装置１０は、例えばテレビ受像機などから構成される。表示装置１０は、放送信号を受信して処理することで、放送コンテンツの映像を表示するとともに、その音声を出力する。これにより、ユーザ１は、テレビ番組等の放送コンテンツを視聴することができる。
　また、表示装置１０は、撮影機能を有しており、カメラ部によって正面に位置するユーザ１を撮影（撮像）してその映像を表示することで、ユーザ１を映した鏡（ミラー）として機能する。さらに、ユーザ１が、表示装置１０を鏡として利用する際に、表示装置１０では、液晶表示部に対して設けられるバックライトを制御することで、化粧（メイクアップ）や、アイキャッチ用の照明（ライティング）としても機能する。
　表示装置１０はまた、無線LAN(Local Area Network)等の通信機能を有しており、例えば、室内に設置されたルータ２０と通信を行うことで、インターネット等のネットワーク４０を介して、サーバ３０－１乃至３０－Ｎ（Ｎは１以上の整数）にアクセスすることができる。サーバ３０－１乃至３０－Ｎは、各種のサービスを提供するサーバである。
　例えば、サーバ３０－１は、例えばEC(Electronic Commerce)サイトや電子商店街（サイバーモール）などのウェブサイトを提供するサーバとされ、表示装置１０では、例えば化粧品等の商品を購入するための情報（ウェブページ）を提示することができる。また、例えば、サーバ３０－２は、ソーシャルネットワーキングサービス（SNS：Social Networking Service）を提供するサーバとされる。さらに、例えば、サーバ３０－３は、動画などの通信コンテンツを配信するサーバとされ、サーバ３０－４は、表示装置１０が実行可能なアプリケーションを配信するサーバとされる。なお、これ以上は例示しないが、サーバ３０－４乃至３０－Ｎによっても、様々なサービスが提供される。
　このように、表示装置１０は、一般的なテレビ受像機としての機能のほかに、いわゆるスマートミラーとしての機能も有している。
（表示装置の構成）
　図２は、本技術を適用した表示装置の構成の例を示すブロック図である。
　図２において、表示装置１０は、制御部１００、チューナ部１０１、デコーダ部１０２、スピーカ部１０３、表示部１０４、通信部１０５、記録部１０６、カメラ部１０７、センサ部１０８、マイク部１０９、及び電源部１１０から構成される。
　制御部１００は、例えば、CPU(Central Processing Unit)やマイクロコンピュータ等から構成される。制御部１００は、表示装置１０の各部の動作を制御する。
　チューナ部１０１には、送信局から送信される放送信号であって、受信用のアンテナを介して受信された放送信号が入力される。チューナ部１０１は、制御部１００からの制御に従い、受信信号に対する必要な処理（例えば復調処理等）を行い、その結果得られるストリームを、デコーダ部１０２に供給する。
　デコーダ部１０２には、チューナ部１０１から供給されるストリームとして、映像ストリームと音声ストリームがそれぞれ供給される。
　デコーダ部１０２は、制御部１００からの制御に従い、音声ストリームをデコードし、その結果得られる音声信号を、スピーカ部１０３に供給する。また、デコーダ部１０２は、制御部１００からの制御に従い、映像ストリームをデコードし、その結果得られる映像信号を、表示部１０４に供給する。
　スピーカ部１０３は、制御部１００からの制御に従い、デコーダ部１０２から供給される音声信号に対して必要な処理を行い、音声信号に応じた音声を出力する。表示部１０４は、制御部１００からの制御に従い、デコーダ部１０２から供給される映像信号に対して必要な処理を行い、映像信号に応じた映像を表示する。なお、表示部１０４の詳細な構成は、図３を参照して後述する。
　通信部１０５は、無線LAN等の無線通信、又はセルラ方式の通信（例えばLTE-Advancedや5G等）等に対応した通信モジュールなどから構成される。通信部１０５は、制御部１００からの制御に従い、各種のデータを、ネットワーク４０を介してサーバ３０とやりとりする。
　記録部１０６は、例えば半導体メモリやHDD(Hard Disk Drive)、データを一時的に記憶するバッファ装置などの記憶装置から構成される。記録部１０６は、制御部１００からの制御に従い、各種のデータを記録する。
　カメラ部１０７は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等のイメージセンサと、カメラISP(Image Signal Processor)等の信号処理部を含んで構成される。
　カメラ部１０７は、制御部１００からの制御に従い、イメージセンサによって被写体を撮影して得られる撮影信号に対し、信号処理部によって各種の信号処理を行う。カメラ部１０７は、信号処理の結果得られる画像フレームの映像信号を、制御部１００に供給する。
　なお、カメラ部１０７は、表示装置１０に内蔵されるようにするほか、所定のインターフェースを介して外付けされてもよい。また、カメラ部１０７は、１つに限らず、表示装置１０における所定の位置に複数個設けてもよい。
　センサ部１０８は、各種のセンサを含んで構成される。センサ部１０８は、制御部１００からの制御に従い、表示装置１０の周辺に関する様々な情報を得るためのセンシングを行う。センサ部１０８は、そのセンシング結果に応じたセンサのデータを、制御部１００に供給する。
　センサ部１０８としては、例えば、周囲の色温度を検出する色センサ、対象物体までの距離を計測する測距センサ、周囲の明るさを検出する環境光センサなど、様々なセンサを含めることができる。
　マイク部１０９は、外部からの音（音声）を電気信号に変換し、その結果得られる音声信号を、制御部１００に供給する。
　電源部１１０は、制御部１００からの制御に従い、外部電源又は蓄電池から得られる電源電力を、制御部１００を含む表示装置１０の各部に供給する。
（表示部の構成）
　図３は、図２の表示部１０４の構成の例を示すブロック図である。
　図３において、表示部１０４は、信号処理部１２１、表示駆動部１２２、液晶表示部１２３、バックライト駆動部１２４、及びバックライト１２５を含む。
　信号処理部１２１は、そこに入力される映像信号に基づいて、所定の映像信号処理を行う。この映像信号処理では、液晶表示部１２３の駆動を制御するための映像信号が生成され、表示駆動部１２２に供給される。また、この映像信号処理では、バックライト１２５の駆動を制御するための駆動制御信号（BL駆動制御信号）が生成され、バックライト駆動部１２４に供給される。
　表示駆動部１２２は、信号処理部１２１から供給される映像信号に基づいて、液晶表示部１２３を駆動する。液晶表示部１２３は、液晶素子及びTFT(Thin Film Transistor)素子を含む画素を２次元状に配置した表示パネルであり、表示駆動部１２２からの駆動に従い、バックライト１２５から射出された光を変調することにより表示を行う。
　液晶表示部１２３は、例えば、ガラス等から構成される２枚の透明基板の間に液晶材料を封入したものである。これらの透明基板の液晶材料に面した部分には、例えばITO(Indium Tin Oxide)等から構成される透明電極が形成され、液晶材料とともに画素を構成している。なお、液晶表示部１２３において、各画素は、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３つのサブ画素により構成される。
　バックライト駆動部１２４は、信号処理部１２１から供給される駆動制御信号（BL駆動制御信号）に基づいて、バックライト１２５を駆動する。バックライト１２５は、バックライト駆動部１２４からの駆動に従い、液晶表示部１２３に対し、複数の発光素子により発光した光を射出する。なお、発光素子としては、例えば、LED(Light Emitting Diode)を用いることができる。
　ここで、バックライト１２５は、複数の部分発光領域に分割されていてもよく、各部分発光領域には、例えばLED等の発光素子が１又は複数配置される。このとき、バックライト駆動部１２４によって、各部分発光領域ごとにBL駆動制御信号を変えた点灯制御、いわゆる部分駆動がなされてもよい。また、ここでは、バックライト１２５の部分駆動を利用して、輝度のダイナミックレンジを向上させることができる。この輝度のダイナミックレンジを向上させる技術は、「輝度の突き上げ」とも呼ばれ、例えば、次のような原理で実現される。
　すなわち、表示部１０４において、映像信号の輝度レベルとして100％の白色映像を画面全体に一様に表示する場合、バックライト１２５における複数の部分発光領域をすべて点灯させる。この状態での表示部１０４の出力輝度を100％、バックライト１２５の消費電力は全体の半分の発光領域につき200Ｗ、バックライト１２５全体として400Ｗであるものとする。また、バックライト１２５は全体として400Ｗの電力制限があるものとする。
　これに対して、表示部１０４において、画面の半分を映像信号の輝度レベルが最小の黒表示、画面の他の半分の映像信号の輝度レベルとして100％の白表示となる場合を想定する。この場合、黒表示の部分はバックライト１２５を消灯し、バックライト１２５の消費電力を0Ｗにすることができる。一方で、白表示の部分のバックライト１２５は、消費電力を200Ｗとしてもよいが、その場合、黒表示の部分を消灯したことにより、200Ｗの電力余裕度が生まれる。そして、白表示の部分のバックライト１２５の電力を200Ｗ＋200Ｗ＝400Ｗにまで上げることが可能である。これにより、上述の例と比べて、表示部１０４における出力最大輝度値LMAXを200％に上げることができる。このような原理により「輝度の突き上げ」が実現される。
　なお、図２に示した表示装置１０の構成は一例であって、他の構成要素を含めることができる。例えば、テレビ受像機としての表示装置１０が、リモートコントローラを用いて操作される場合には、赤外線の信号を受光する受光部などが設けられる。
　また、表示装置１０では、テレビ番組等の放送コンテンツを再生するだけでなく、例えば、サーバ３０－３から配信される動画等の通信コンテンツや、HDMI（登録商標）(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の所定の方式に対応したインターフェースを介して入力される録画コンテンツ等のコンテンツが再生されてもよい。さらに、表示装置１０では、サーバ３０－４から配信されるアプリケーション（例えば、スマートミラーアプリケーション等）をダウンロードして実行することができる。このアプリケーションとしては、例えば、制御部１００により実行されるネイティブアプリケーションのほか、ブラウザを実行して画面を表示するウェブアプリケーションであってもよい。
（スマートミラー機能）
　次に、図４乃至図１５を参照しながら、表示装置１０のスマートミラー機能について説明する。
（第１の例）
　図４は、表示装置１０に表示される表示画面の第１の例を示している。
　図４において、表示装置１０は、その正面に位置するユーザ１をカメラ部１０７により撮影して、その映像を表示部１０４（の液晶表示部１２３）に表示している。
　この表示画面の中央部の領域には、その正面に位置するユーザ１の映像が表示される。また、表示画面の左部と右部の領域（照明領域）には、アイキャッチ用の照明としての複数の照明１５１が縦方向に４つずつ表示され、表示画面の下部の領域には、化粧品等の商品に関する商品情報１６１が表示される。
　ここで、アイキャッチ用の照明として左部と右部の領域に複数の照明１５１を表示することで、例えば女優が化粧する楽屋や、百貨店の化粧品売り場などのように、ユーザ１（の顔）に対して、様々な角度から均等に照明を照らして、（顔の影を消して）正しく化粧をすることができる。複数の照明１５１を表示するに際しては、制御部１００によって、照明領域の明るさに応じて、表示部１０４のバックライト１２５の輝度が制御されるが、ここでは、例えば、上述した「輝度の突き上げ」の技術を適用して、白表示の部分（照明領域）のバックライト１２５の電力を上げることで、アイキャッチ用の照明を実現することができる。
　このように、表示装置１０では、アイキャッチ用の照明として複数の照明１５１を表示することで、化粧をするときに最適な照明を、ユーザ１の自宅で再現している（図５のＡ）。このとき、表示装置１０に表示されるユーザ１の映像は、左右の複数の照明１５１に照らされた状態とされ、例えば、ユーザ１の瞳には、左右の複数の照明１５１が映り込む（図５のＢ）。
　なお、アイキャッチ用の照明としては、左部と右部の領域にて縦方向に複数の照明１５１をそれぞれ表示したものに限らず、例えば、所定の形状からなる照明を設けたりしてもよい。図６のＡは、アイキャッチ用の照明としてドーナツ型の照明１５２を表示した場合の例を示している。この場合、表示装置１０に表示されるユーザ１の映像として、その瞳には、ドーナツ型の照明１５２が映り込む（図６のＢ）。さらに、照明の数も縦方向に４つに限らず、任意の数を表示することができる。
　また、アイキャッチ用の照明としては、上部と下部の領域にて横方向に複数の照明を表示してもよい。すなわち、表示装置１０では、表示部１０４における表示画面の上部、下部、左部、及び右部の領域のうち少なくとも一部の領域を照明領域として、複数の照明を表示することができる。ここで、照明領域は、画像フレームにおけるユーザ１（の画像）を含む第１の領域と、第１の領域を除いた第２の領域（背景を含む領域）のうちの少なくとも第２の領域の一部を含む領域とされる。
（第２の例）
　図７は、表示装置１０に表示される表示画面の第２の例を示している。
　図７において、表示装置１０は、その正面に位置するユーザ１をカメラ部１０７により撮影して、その映像を表示部１０４に表示する際に、拡張現実（AR：Augmented Reality）の技術（AR技術）を用いて実世界（実空間）に存在しない各種の情報（仮想的な情報）を重畳表示している。なお、AR技術としては、例えば、マーカーレス型やマーカー型のARなど、公知の技術を用いることができる。
　ここでは、例えば、表示画面のユーザ１の顔の映像に、AR技術によって化粧が施されている（図７のＡ）。また、AR技術によって重畳表示されるのは、化粧に限らず、例えば、表示画面のユーザ１の映像に対し、衣装（洋服）やアクセサリが重畳表示されてもよい（図７のＢ）。例えば、ユーザ１は、自分のワードローブ（持ち衣装）や、アクセサリに関する情報をあらかじめ登録しておくことで、表示装置１０は、お勧めの衣装やアクセサリの組み合わせを提示することができる。
　なお、ユーザ１による衣装等に関する情報の登録は、表示装置１０を操作して行うことは勿論、例えば、スマートフォンやタブレット端末等の携帯端末で、専用のアプリケーションを起動して行ってもよい。また、お勧めの衣装等の組み合わせは、表示装置１０（の制御部１００）が所定のアルゴリズムを用いて決定してもよいし、あるいはネットワーク４０を介して例えば機械学習を利用した推薦サーバ等の専用のサーバ３０に問い合わせてもよい。さらには、表示装置１０等の機器側がお勧めの組み合わせを提示するのではなく、ユーザ１が、自分で衣装やアクセサリの組み合わせを選択してもよい。
　その後、例えば、ユーザ１は、AR技術により表示された化粧をするための化粧品を購入して化粧をしたり、お勧めの衣装に着替えたり、アクセサリを身につけたりすることで、化粧後の状態を、表示装置１０に表示される映像で確認することができる（図８）。なお、図８において、表示装置１０に表示される映像は、カメラ部１０７により撮影された現実の映像であって、AR技術により各種の情報を重畳表示した映像ではない。また、AR技術により表示される衣装やアクセサリは、ユーザ１が所持していないものであってもよく、それらの衣装やアクセサリの購入を促すようにしてもよい。
　ところで、表示装置１０では、ユーザ１の背景の映像にはぼかし処理を施しているが、背景をぼかすことで、例えば、室内の散らかった状態が認識されないようにしている。
　ここでは、図９に示すように、例えば、表示装置１０における表示部１０４（の液晶表示部１２３）の枠に、左右に１つずつカメラ部１０７－１とカメラ部１０７－２をそれぞれ取り付けて、２台のカメラ部１０７－１，１０７－２によってユーザ１をそれぞれ撮影する。このように、２台のカメラ部１０７－１，１０７－２を使用して、ユーザ１を２つの異なる方向から同時に撮影することで、その奥行きの情報が得られ、近接しているユーザ１の顔や体（の各部位）の領域を抽出することができる。
　そして、表示装置１０では、制御部１００によって、抽出されたユーザ１の顔や体の領域を除いた領域（背景の領域）に対し、ぼかし処理を施して室内の散らかった状態をぼかすことができる（図１０のＡ）。なお、背景の映像（領域）に対する映像処理は、ぼかし処理に限らず、他の処理が施されてもよい。例えば、制御部１００は、抽出されたユーザ１の顔や体の領域に対するマスク処理を施して異なる背景の映像（例えばパーティ会場の建物の画像など）を合成する合成処理を行ってもよい（図１０のＢ）。
（第３の例）
　図１１は、表示装置１０に表示される表示画面の第３の例を示している。
　図１１において、表示装置１０では、例えば色センサ等のセンサ部１０８により室内（周辺）の色温度を検出し、検出した色温度に対するユーザ１の出かける先（例えば、夜のパーティ会場など）の色温度を、表示部１０４（に表示される複数の照明１５１に対応した照明領域）のバックライト１２５を制御して再現することで、シチュエーションに応じた環境光をエミュレートする。この環境光のエミュレーションによって、ユーザ１は、実際に出かける先にて化粧が映えるかどうかを確認することができる（図１１のＢ）。
　なお、ユーザ１の出かける先に関する情報は、あらかじめ登録することになるが、この登録方法としては、表示装置１０を操作して行うことは勿論、例えば、スマートフォン等の携帯端末で、専用のアプリケーションを起動して登録したり、あるいは、ユーザ１が利用しているスケジュールのアプリケーションと連携して出かける先に関する情報が取得したりしてもよい。また、色センサ等のセンサ部１０８を用いる代わりに、カメラ部１０７により撮影された画像フレームを解析することで、表示装置１０が設置された室内の色温度を検出してもよい。
（第４の例）
　図１２は、表示装置１０に表示される表示画面の第４の例を示している。
　図１２において、表示装置１０は、その正面に位置するユーザ１をカメラ部１０７により撮影して、その映像を表示部１０４に表示するとともに、その映像のデータを記録部１０６に記録（又はバッファリング）している。これにより、表示装置１０は、リアルタイムの映像とともに、記録部１０６に記録（又はバッファリング）した過去の映像を表示することができる。
　例えば、現在（時刻t1）において、表示装置１０の表示画面側を向いているユーザ１が、そのX秒前（時刻t0）においてその反対側、すなわち、表示装置１０の表示画面に対して後ろを向いていた場合を想定する。この場合において、後ろを向いていたユーザ１の映像のデータは、記録部１０６に記録されているため、表示装置１０は、現在（時刻t1）とX秒前（時刻t0）におけるユーザ１の映像を同時に表示することができる。これにより、ユーザ１は、現在の自分の正面の姿だけでなく、時間差（タイムシフト）で表示される過去（例えば数秒前）の自分の後ろ姿を確認することができる。
　また、この例では、表示装置１０の表示画面に対してユーザ１が後ろを向いている場合を説明したが、ユーザ１の向きは後ろ向きに限らず、例えば、横向きのユーザ１の映像のデータを記録することで、ユーザ１は、化粧や衣装の確認を行うに際して、自分の正面の姿や後ろ姿とともに横顔なども確認することができる。なお、表示装置１０の表示画面に表示される映像は、鏡像だけでなく、正像に切り替えることが可能であり、例えば、鏡像から正像の表示に切り替えることで、ユーザ１は、他人から見られている自分の姿を確認することができる。
（第５の例）
　図１３は、表示装置１０に表示される表示画面の第５の例を示している。
　図１３において、表示装置１０は、その正面に位置するユーザ１をカメラ部１０７により撮影して、その映像を表示するとともに、化粧用のチュートリアル動画１７１を再生している（図１３のＡ）。これにより、ユーザ１は、チュートリアル動画１７１の内容を確認しながら、化粧をすることができる。
　ここで、ユーザ１が、チュートリアル動画１７１のある場面をもう一度見たい場合に、「今のところもう一度再生して」である発話を行った場面を想定する（図１３のＢ）。このとき、表示装置１０では、マイク部１０９によりユーザ１の発話が収音され、その音声信号に対する音声認識処理が行われる。この音声認識処理では、音声テキスト変換用のデータベース等が適宜参照されることで、音声データがテキストデータに変換される。
　このように得られる音声認識結果に対して意味解析処理が行われる。この意味解析処理では、音声言語理解用のデータベース等が適宜参照されることで、自然言語である音声認識結果（テキストデータ）が、機械（表示装置１０）が理解できる表現に変換される。ここでは、例えば、意味解析結果として、ユーザ１が実行させたい意図（Intent）とそのパラメータとなる実体情報（Entity）が得られる。
　表示装置１０は、意味解析結果に基づき、チュートリアル動画１７１の早戻しを行い、対象のシーンが再度再生されるようにする。表示装置１０では、このような音声操作に対応しているため、ユーザ１は、化粧中に両手が塞がっていても、音声によって動画再生を操作することができる。
　なお、図１３の例では、チュートリアル動画１７１の再生制御として、音声操作に応じた早戻しが行われる場合を例示したが、早戻しに限らず、例えば、早送りや一時停止、スロー再生などの再生制御が、ユーザ１による音声操作に応じて行われてもよい。また、チュートリアル動画１７１は、例えば、サーバ３０－３から配信される通信コンテンツとして再生される。さらに、表示装置１０において行われる音声認識処理や意味解析処理等の処理の一部の処理が、ネットワーク４０を介して音声認識や意味解析を行う認識・解析サーバ等の専用のサーバ３０により行われてもよい。
　また、図１３の例では、チュートリアル動画１７１の再生を音声操作する場合を説明したが、この音声操作の対象としては、それに限らず、例えば、アイキャッチ用の照明のパターンの変更を指示したり、背景の変更を指示したり、環境光のエミュレーションを指示したり、拡大映像の表示を指示したりすることができる。さらに、ユーザ１による音声操作によって、表示装置１０に表示される映像として、鏡像の表示と正像の表示とが切り替わるようにしてもよい。
（第６の例）
　図１４は、表示装置１０に表示される表示画面の第６の例を示している。
　図１４において、表示装置１０は、ユーザ１の映像を表示するとともに、化粧用のチュートリアル動画１７１と、ユーザ１の化粧の対象となる部位（例えば、口紅を塗っている口等）を部分的に拡大した拡大映像１７２を表示している。これにより、ユーザ１は、口紅を塗っている口等のリアルタイムで表示される拡大映像１７２を、口紅の塗り方等のチュートリアル動画１７１と比較して確認しながら、化粧をすることができる。
（スマートミラー機能への切り替えの例）
　なお、表示装置１０において、通常のテレビ機能とスマートミラー機能とを切り替えるタイミングであるが、例えば、表示装置１０に対するユーザ１の位置が所定の範囲内にあるかをトリガとすることができる。すなわち、表示装置１０では、例えば測距センサ等のセンサ部１０８によりユーザ１の位置（現在位置）を検出し、その検出位置に応じた値が所定の閾値以上となる場合には、ユーザの位置が所定の範囲外となるため、通常のテレビ機能を実行する（図１５のＡ）。
　一方で、表示装置１０では、検出位置に応じた値が所定の閾値未満となる場合には、ユーザの位置が所定の範囲内となるため、スマートミラー機能を実行する（図１５のＢ）。すなわち、ユーザ１が化粧を行う場合には、表示装置１０に対してある程度近づいた位置にくることが想定されるため、ここでは、それをトリガとして利用している。
　また、ここでは、カメラ部１０７により撮影された画像フレームを用いた顔認識処理などの処理が行われるようにしてもよい。例えば、テレビ受像機としての表示装置１０において、スマートミラー機能を使用するユーザの顔情報をあらかじめ登録して顔認識処理を実行することで、例えば、４人家族を想定した場合に、父親か息子が表示装置１０に近づいても通常のテレビ機能が維持される一方で、母親か娘が表示装置１０に近づいたときにはスマートミラー機能が実行されることになる。
（処理の流れ）
　次に、図１６乃至図１９のフローチャートを参照して、表示装置１０で実行される処理の流れを説明する。
　表示装置１０は、ユーザ１により所定の操作が行われた場合、電源をオンする（Ｓ１１）。これにより、表示装置１０では、電源部１１０からの電力が各部に供給され、例えば、選局されたテレビ番組の映像が表示部１０４に表示される。
　その後に、表示装置１０は、スマートミラーアプリケーションを起動する（Ｓ１２）。ここでは、例えば、制御部１００は、センサ部１０８からの検出結果に基づき、表示装置１０に対するユーザ１の位置が所定の範囲内にある場合、記録部１０６に記録されたスマートミラーアプリケーションを起動する。
　そして、表示装置１０では、スマートミラーアプリケーションが起動されると、カメラ入力映像とアイキャッチ用の照明が表示される（Ｓ１３，Ｓ１４）。ここでは、制御部１００は、カメラ部１０７により撮影された画像フレームの映像と、アイキャッチ用の照明として複数の照明１５１が、表示部１０４に表示されるように制御する。なお、ここでは、上述したように、例えば、「輝度の突き上げ」の技術を適用して、白表示の部分（照明領域）のバックライト１２５の電力を上げることで、アイキャッチ用の照明を実現することができる。
　これにより、表示装置１０（の表示部１０４）では、例えば、図４に示した表示画面が表示され、ユーザは、スマートミラー機能を利用することができる。その後、表示装置１０の動作としては、様々な動作が想定されるが、ここでは、その一例として、図１７に示したARモードの動作と、図１８に示したお手本モードの動作を説明する。
　まず、図１７を参照して、表示装置１０によるARモードの動作を説明する。表示装置１０は、ユーザ１により所定の操作が行われた場合、ARモードの動作を開始する（Ｓ３１）。
　表示装置１０は、ユーザ１が試したい化粧品の選択を受け付ける（Ｓ３２）。ここでは、例えば、表示部１０４の表示画面において、下部の領域に表示される商品情報１６１の中から、ユーザ１による所定の操作に応じた所望の化粧品が選択される。
　表示装置１０は、AR技術によりユーザ１に化粧を重ねた映像を表示する（Ｓ３３）。ここでは、制御部１００は、カメラ部１０７により撮影された画像フレームに含まれるユーザ１の映像として、ユーザ１によりステップＳ３２の処理で選択された化粧品に応じた化粧を施した映像が、表示部１０４に表示されるように制御する。これにより、表示装置１０（の表示部１０４）では、例えば、図７のＡに示した表示画面が表示される。
　次に、表示装置１０は、ユーザ１によるシチュエーションの選択を受け付ける（Ｓ３４）。ここでは、制御部１００は、ユーザ１による所定の操作に応じて入力される、ユーザ１の出かける先などに応じたシチュエーション（例えば、屋外やパーティなど）が選択される。
　表示装置１０は、シチュエーションに沿った色に照明を変化させる（Ｓ３５）。ここでは、制御部１００は、ステップＳ３４の処理で選択されたシチュエーション（例えば、屋外やパーティなど）に応じた色温度を、照明領域のバックライト１２５を制御して再現することで、表示部１０４に表示される複数の照明１５１の色が変化する（例えば、白色から赤みを帯びた色に変化する）。これにより、表示装置１０（の表示部１０４）では、例えば、図１１のＢに示した表示画面（ただし、衣装とアクセサリは非重畳）が表示され、シチュエーションに応じた環境光がエミュレートされる。
　次に、表示装置１０は、ユーザ１が試したいアクセサリと衣装の選択を受け付ける（Ｓ３６）。ここでは、例えば、あらかじめ登録されたワードローブの中から、ユーザによる所定の操作に応じた所望のアクセサリと衣装が選択される。
　表示装置１０は、AR技術によりユーザ１にアクセサリと衣装を重ねた映像を表示する（Ｓ３７）。ここでは、制御部１００は、カメラ部１０７により撮影された画像フレームに含まれるユーザ１の映像として、化粧を施すとともに、ステップＳ３６の処理で選択されたアクセサリと衣装が重畳された映像が、表示部１０４に表示されるように制御する。これにより、表示装置１０（の表示部１０４）では、例えば、図１１のＢに示した表示画面が表示される。
　その後、ユーザ１が商品（選択した化粧品）の購入操作を行うかどうかが判定される（Ｓ３８）。表示装置１０は、ユーザ１が商品の購入操作を行うと判定された場合（Ｓ３８の「YES」）、ネットワーク４０を介して、所望の化粧品のECサイトを提供するサーバ３０－１にアクセスする（Ｓ３９）。これにより、ユーザ１は、ECサイトを利用して、所望の化粧品を購入することができる。なお、ここでは、化粧品に限らず、例えば、ユーザ１が所持していないアクセサリや衣装を重畳表示して、ユーザ１がそれらのアクセサリや衣装を気に入った場合には、ECサイトを利用して購入できるようにしてもよい。
　このように、表示装置１０がARモードの動作することで、ユーザ１は、化粧やアクセサリ、衣装を試すことができる。
　次に、図１８を参照して、表示装置１０によるお手本モードの動作を説明する。表示装置１０は、ユーザ１により所定の操作が行われた場合、お手本モードの動作を開始する（Ｓ５１）。
　表示装置１０は、ユーザ１によるシチュエーションの選択を受け付ける（Ｓ５２）。ここでは、制御部１００は、ユーザ１の出かける先などに応じたシチュエーション（例えば、屋外やパーティなど）が選択される。
　表示装置１０は、シチュエーションに沿った色に照明を変化させる（Ｓ５３）。ここでは、制御部１００は、ステップＳ５２の処理で選択されたシチュエーション（例えば、屋外やパーティなど）に応じた色温度を、照明領域のバックライト１２５を制御して再現することで、表示部１０４に表示される複数の照明１５１の色が変化する。これにより、表示装置１０では、シチュエーションに応じた環境光がエミュレートされる。
　表示装置１０は、ユーザ１がこれから化粧する化粧品の選択を受け付ける（Ｓ５４）。ここでは、例えば、表示部１０４の表示画面において、所定の領域に表示される化粧品の中から、ユーザ１による所定の操作に応じた化粧品（化粧で用いる化粧品）が選択される。
　表示装置１０は、カメラ部１０７により撮影された画像フレームに応じた映像（化粧しているユーザ１の映像）を表示するとともに、化粧用のチュートリアル動画を再生する（Ｓ５５，Ｓ５６）。ここでは、通信部１０５が、制御部１００からの制御に従い、ネットワーク４０を介してサーバ３０－３にアクセスすることで、ステップＳ５４の処理で選択された化粧品（例えば口紅）に応じたチュートリアル動画のストリーミングデータが受信される。そして、表示装置１０では、制御部１００により再生プレイヤが起動され、ストリーミングデータが処理されることで、当該チュートリアル動画が再生される。
　これにより、表示装置１０（の表示部１０４）では、例えば、図１３のＡに示した表示画面が表示される。ユーザ１は、チュートリアル動画１７１を見ながら、お手本に合わせて化粧をすることができる。
　その後、チュートリアル動画の再生位置を変えるかどうかが判定される（Ｓ５７）。表示装置１０は、チュートリアル動画の再生位置を変えると判定した場合（Ｓ５７の「YES」）、ユーザ１による音声操作に応じてチュートリアル動画の再生位置を変更する（Ｓ５８）。
　ここでは、例えば、ユーザ１により「今のところもう一度再生して」である発話がなされた場合、その音声がマイク部１０９により収音されるので、制御部１００は、その音声信号に対する音声認識処理や意味解析処理等の処理を行うことで、再生プレイヤにより再生されるチュートリアル動画１７１の再生位置を制御する（図１３のＢ）。
　ステップＳ５８の処理が終了すると、処理は、ステップＳ５６に戻り、それ以降の処理が繰り返される。また、チュートリアル動画の再生位置を変えないと判定された場合（Ｓ５７の「NO」）、処理は、ステップＳ５９に進められる。この判定処理では、ユーザ１による化粧が完了したかどうかが判定される（Ｓ５９）。そして、ユーザ１による化粧が完了したと判定された場合（Ｓ５９の「YES」）、表示装置１０では、お手本モードの動作を終了し、例えば、図１９に示した撮影モードの動作が行われる。
　表示装置１０は、ユーザ１による背景の選択を受け付ける（Ｓ７１）。また、表示装置１０は、ユーザ１による音声操作に応じた撮影指示を受け付ける（Ｓ７２）。
　そして、表示装置１０は、ステップＳ７２の処理でユーザ１からの撮影指示を受け付けた場合、撮影モードの動作を開始する（Ｓ７３）。このとき、表示装置１０では、実際に撮影を行うまでのカウントダウンが開始され、カウントダウンが終了したとき（Ｓ７４の「YES」）、カメラ部１０７によりユーザ１が撮影される（Ｓ７５）。
　そして、表示装置１０は、撮影したユーザ１の画像と選択した背景の画像とを合成して表示する（Ｓ７６）。ここでは、例えば、制御部１００によって、ステップＳ７５の処理で得られる画像フレームから抽出されるユーザ１の顔や体の領域に対するマスク処理が施され、ステップＳ７１の処理で選択された背景の画像（例えばパーティ会場の建物の画像）を合成する合成処理が行われることで、その結果得られる合成画像が表示される。
　このとき、ユーザ１が合成画像をSNSに投稿するかどうかが判定される（Ｓ７７）。表示装置１０は、SNSに投稿すると判定された場合（Ｓ７７の「YES」）、ユーザ１による合成画像の投稿先の選択を受け付ける（Ｓ７８）。ここでは、例えば、ユーザ１が会員に登録されているSNSの一覧が表示され、その一覧から、合成画像の投稿先となるSNSを選択することができる。
　そして、表示装置１０は、合成画像のデータを、選択したSNSのサーバ３０－２に送信する（Ｓ７９）。ここでは、通信部１０５によって、ステップＳ７６の処理で得られる合成画像のデータが、ネットワーク４０を介して、ステップＳ７８の処理で選択されたSNSのサーバ３０－２に送信される。これにより、合成画像がSNSに投稿され、当該合成画像を、例えばユーザ１の友人や家族などが携帯端末等を利用して閲覧することができる。
　なお、SNSに投稿しないと判定された場合（Ｓ７７の「NO」）には、ステップＳ７８，Ｓ７９の処理はスキップされ、図１９の処理は終了する。この場合には、例えば、合成画像のデータは、記録部１０６に記録される。
　以上、表示装置１０で実行される処理の流れを説明した。以上の処理の流れをまとめると、例えば、図２０と図２１のように表すことができる。
　すなわち、テレビ受像機としての表示装置１０は、スマートミラーとしての機能を有し、アイキャッチ用の照明として、高輝度のバックライト１２５を利用することで、ユーザ１は、アイキャッチも完璧にすることができる（図２０のＡ）。また、ここでは、アイキャッチ用の照明のデザインを、複数のデザインの中から自由に選択することができる（図２０のＢ）。
　さらに、表示装置１０では、AR技術を用いて、実空間のユーザ１に対し、化粧や衣装、アクセサリ等の情報を付加して実世界を拡張したり、環境光のエミュレーションを行ったり、背景をぼかしたりすることで、シチュエーションを含めて商品の映え具合を確認することができる（図２０のＣ）。そして、表示装置１０では、実店舗での商品の在庫や入荷情報を提示したり、ECサイトのサーバ３０－１にアクセスして商品購入のページを提示したりすることで、ユーザ１の商品の購買意欲を向上させることができる。このようにして、テレビ受像機としての表示装置１０は、ユーザ体験（UX：User Experience）の向上を図ることができる。
　また、テレビ受像機としての表示装置１０は、ユーザ１が化粧する際に、お手本としてチュートリアル動画を再生することができるため、ユーザ１は、チュートリアル動画を見ながら化粧をすることができる（図２１のＡ）。このとき、ユーザ１は、チュートリアル動画に対する操作（例えば早戻し等）を行う場合に、音声操作による指示が可能であるため、化粧の作業中に両手が塞がっている状態でも操作することができる（図２１のＢ）。
　さらに、表示装置１０では、ユーザ１が撮影した画像（合成画像）をSNSに投稿する場合に、例えば、自分撮り（自撮り）の画像（映像）を事前に確認したり（図２１のＣ）、あるいは、背景を合成した合成画像を事前に確認したり（図２１のＤ）することができる。そのため、ユーザ１は、よりSNSで映える画像を投稿することができる。このようにして、テレビ受像機としての表示装置１０は、ユーザ体験（UX）の向上を図ることができる。
＜２．変形例＞
　上述した説明において、表示装置１０は、テレビ受像機であるとして説明したが、それに限らず、例えば、ディスプレイ装置、パーソナルコンピュータ、タブレット端末、スマートフォン、携帯電話機、ヘッドマウンドディスプレイ、ゲーム機などの電子機器であってもよい。
　また、上述した説明において、表示装置１０の表示部１０４が、液晶表示部１２３とバックライト１２５を含んで構成される場合を説明したが、表示部１０４の構成としてはそれに限らず、例えば、自発光表示部を含んで構成され、その輝度が制御されるようにしてもよい。
（表示部の他の構成）
　図２２は、図２の表示部１０４の他の構成の例を示すブロック図である。
　図２２において、表示部１０４は、信号処理部１４１、表示駆動部１４２、及び自発光表示部１４３を含む。
　信号処理部１４１は、そこに入力される映像信号に基づいて、所定の映像信号処理を行う。この映像信号処理では、自発光表示部１４３の駆動を制御するための映像信号が生成され、表示駆動部１４２に供給される。
　表示駆動部１４２は、信号処理部１４１から供給される映像信号に基づいて、自発光表示部１４３を駆動する。自発光表示部１４３は、自発光素子を含む画素を２次元状に配置した表示パネルであり、表示駆動部１４２からの駆動に従い、表示を行う。
　ここで、自発光表示部１４３は、例えば、有機エレクトロルミネッセンス（有機EL）を用いた有機EL表示部（OLED表示部）等の自発光型の表示パネルである。すなわち、自発光表示部１４３として、有機EL表示部（OLED表示部）を採用した場合、表示装置１０は、有機EL表示装置（OLED表示装置）とされる。
　OLED(Organic Light Emitting Diode)は、陰極と陽極との間に、有機発光材料を挟んだ構造からなる発光素子であって、有機EL表示部（OLED表示部）に２次元状に配置される画素を構成している。この画素に含まれるOLEDは、映像信号処理によって生成される駆動制御信号（OLED駆動制御信号）に従って駆動される。なお、自発光表示部１４３において、各画素は、例えば、赤色（Ｒ），緑色（Ｇ），青色（Ｂ），白色（Ｗ）の４つのサブ画素により構成される。
（実施の形態の組み合わせ）
　なお、上述した説明では、表示装置１０に表示される表示画面として、複数の表示例を示したが、各表示画面の表示例を単独で表示することは勿論、複数の表示例が組み合わされた表示画面が表示されるようにしてもよい。また、上述した説明において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。
＜３．コンピュータの構成＞
　上述した一連の処理（例えば、図１６乃至図１９のフローチャートに示した処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成の例を示すブロック図である。
　コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、図１６乃至図１９のフローチャートに示した処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第１の領域と前記第１の領域を除いた第２の領域のうちの少なくとも前記第２の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる制御部を備える
　表示装置。
（２）
　前記表示部は、前記ユーザの鏡像又は正像の映像を表示することで、前記ユーザを映した鏡として機能し、
　前記照明は、前記ユーザが化粧をする際に用いられる照明として機能する
　前記（１）に記載の表示装置。
（３）
　前記制御部は、AR技術により前記第１の領域に含まれる前記ユーザの映像に対して各種の情報を重畳する
　前記（２）に記載の表示装置。
（４）
　前記制御部は、前記ユーザの顔の映像に化粧を施した映像を表示する
　前記（３）に記載の表示装置。
（５）
　前記制御部は、
　　化粧品に関する情報を表示し、
　　前記ユーザにより選択された前記化粧品に応じた化粧を施す
　前記（４）に記載の表示装置。
（６）
　前記制御部は、前記ユーザの映像に対してアクセサリ及び衣装の少なくとも一方の映像を重畳した映像を表示する
　前記（３）乃至（５）のいずれかに記載の表示装置。
（７）
　前記制御部は、前記第２の領域に含まれる背景の映像に対して所定の映像処理を施した映像を表示する
　前記（２）乃至（６）のいずれかに記載の表示装置。
（８）
　前記制御部は、前記背景の映像に対するぼかし処理、又は前記ユーザの映像と他の背景の映像とを合成する合成処理を施す
　前記（７）に記載の表示装置。
（９）
　前記制御部は、前記照明領域の色温度を制御して、シチュエーションに応じた環境光をエミュレートする
　前記（２）乃至（８）のいずれかに記載の表示装置。
（１０）
　前記制御部は、前記ユーザの化粧に応じたチュートリアル動画の映像を表示する
　前記（２）乃至（９）のいずれかに記載の表示装置。
（１１）
　前記制御部は、前記ユーザの音声操作に応じて、前記チュートリアル動画の再生を制御する
　前記（１０）に記載の表示装置。
（１２）
　前記制御部は、前記第１の領域に含まれる前記ユーザの顔の映像の一部であって、前記ユーザの化粧の対象となる部位を部分的に拡大した映像を表示する
　前記（１０）又は（１１）に記載の表示装置。
（１３）
　ネットワークを介してサーバと通信する通信部をさらに備え、
　前記通信部は、前記ユーザの操作に応じて、前記化粧品を含む商品を販売するサイトを提供するサーバにアクセスして、前記商品に関する情報をやりとりする
　前記（５）に記載の表示装置。
（１４）
　ネットワークを介してサーバと通信する通信部をさらに備え、
　前記通信部は、前記ユーザの操作に応じて、SNSを提供するサーバにアクセスして、前記ユーザの化粧完了後の画像を送信する
　前記（２）乃至（１２）のいずれかに記載の表示装置。
（１５）
　前記第１の領域に含まれる前記ユーザの映像のデータを記録する記録部をさらに備え、　前記制御部は、前記記録部に記録された前記データに基づいて、前記ユーザの映像をタイムシフトで表示する
　前記（２）乃至（１２）のいずれかに記載の表示装置。
（１６）
　前記照明領域は、前記表示部における表示画面の上部、下部、左部、及び右部の領域のうちの少なくとも一部の領域を含む領域からなるか、又はドーナツ型の領域からなり、
　前記制御部は、前記照明領域の明るさに応じて、前記照明領域の輝度を制御する
　前記（２）乃至（１２）のいずれかに記載の表示装置。
（１７）
　前記表示部は、
　　前記ユーザの位置が所定の範囲外となる場合、コンテンツの映像を表示し、
　　前記ユーザの位置が所定の範囲内になったとき、前記ユーザを映した鏡として機能する
　前記（２）乃至（１２）のいずれかに記載の表示装置。
（１８）
　前記表示部は、液晶表示部を含み、
　前記制御部は、前記液晶表示部に対して設けられるバックライトの輝度を制御する
　前記（１）乃至（１７）のいずれかに記載の表示装置。
（１９）
　テレビ受像機として構成される
　前記（１）乃至（１８）のいずれかに記載の表示装置。
（２０）
　表示装置が、
　ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第１の領域と前記第１の領域を除いた第２の領域のうちの少なくとも前記第２の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる
　表示制御方法。
　１０　表示装置，　２０　ルータ，　３０－１乃至３０－Ｎ　サーバ，　４０　ネットワーク，　１００　制御部，　１０１　チューナ部，　１０２　デコーダ部，　１０３　スピーカ部，　１０４　表示部，　１０５　通信部，　１０６　記録部，　１０７　カメラ部，　１０８　センサ部，　１０９　マイク部，　１１０　電源部，　１２１　信号処理部，　１２２　表示駆動部，　１２３　液晶表示部，　１２４　バックライト駆動部，　１２５　バックライト，　１４１　信号処理部，　１４２　表示駆動部，　１４３　自発光表示部，　１０００　コンピュータ，　１００１　CPU

Claims (20)

  1. 　ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第１の領域と前記第１の領域を除いた第２の領域のうちの少なくとも前記第２の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる制御部を備える
    　表示装置。
  2. 　前記表示部は、前記ユーザの鏡像又は正像の映像を表示することで、前記ユーザを映した鏡として機能し、
    　前記照明は、前記ユーザが化粧をする際に用いられる照明として機能する
    　請求項１に記載の表示装置。
  3. 　前記制御部は、AR技術により前記第１の領域に含まれる前記ユーザの映像に対して各種の情報を重畳する
    　請求項２に記載の表示装置。
  4. 　前記制御部は、前記ユーザの顔の映像に化粧を施した映像を表示する
    　請求項３に記載の表示装置。
  5. 　前記制御部は、
    　　化粧品に関する情報を表示し、
    　　前記ユーザにより選択された前記化粧品に応じた化粧を施す
    　請求項４に記載の表示装置。
  6. 　前記制御部は、前記ユーザの映像に対してアクセサリ及び衣装の少なくとも一方の映像を重畳した映像を表示する
    　請求項３に記載の表示装置。
  7. 　前記制御部は、前記第２の領域に含まれる背景の映像に対して所定の映像処理を施した映像を表示する
    　請求項２に記載の表示装置。
  8. 　前記制御部は、前記背景の映像に対するぼかし処理、又は前記ユーザの映像と他の背景の映像とを合成する合成処理を施す
    　請求項７に記載の表示装置。
  9. 　前記制御部は、前記照明領域の色温度を制御して、シチュエーションに応じた環境光をエミュレートする
    　請求項２に記載の表示装置。
  10. 　前記制御部は、前記ユーザの化粧に応じたチュートリアル動画の映像を表示する
    　請求項２に記載の表示装置。
  11. 　前記制御部は、前記ユーザの音声操作に応じて、前記チュートリアル動画の再生を制御する
    　請求項１０に記載の表示装置。
  12. 　前記制御部は、前記第１の領域に含まれる前記ユーザの顔の映像の一部であって、前記ユーザの化粧の対象となる部位を部分的に拡大した映像を表示する
    　請求項１０に記載の表示装置。
  13. 　ネットワークを介してサーバと通信する通信部をさらに備え、
    　前記通信部は、前記ユーザの操作に応じて、前記化粧品を含む商品を販売するサイトを提供するサーバにアクセスして、前記商品に関する情報をやりとりする
    　請求項５に記載の表示装置。
  14. 　ネットワークを介してサーバと通信する通信部をさらに備え、
    　前記通信部は、前記ユーザの操作に応じて、SNSを提供するサーバにアクセスして、前記ユーザの化粧完了後の画像を送信する
    　請求項２に記載の表示装置。
  15. 　前記第１の領域に含まれる前記ユーザの映像のデータを記録する記録部をさらに備え、　前記制御部は、前記記録部に記録された前記データに基づいて、前記ユーザの映像をタイムシフトで表示する
    　請求項２に記載の表示装置。
  16. 　前記照明領域は、前記表示部における表示画面の上部、下部、左部、及び右部の領域のうちの少なくとも一部の領域を含む領域からなるか、又はドーナツ型の領域からなり、
    　前記制御部は、前記照明領域の明るさに応じて、前記照明領域の輝度を制御する
    　請求項２に記載の表示装置。
  17. 　前記表示部は、
    　　前記ユーザの位置が所定の範囲外となる場合、コンテンツの映像を表示し、
    　　前記ユーザの位置が所定の範囲内になったとき、前記ユーザを映した鏡として機能する
    　請求項２に記載の表示装置。
  18. 　前記表示部は、液晶表示部を含み、
    　前記制御部は、前記液晶表示部に対して設けられるバックライトの輝度を制御する
    　請求項１に記載の表示装置。
  19. 　テレビ受像機として構成される
    　請求項１に記載の表示装置。
  20. 　表示装置が、
    　ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第１の領域と前記第１の領域を除いた第２の領域のうちの少なくとも前記第２の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる
    　表示制御方法。
PCT/JP2019/040574 2018-10-29 2019-10-16 表示装置、及び表示制御方法 WO2020090458A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020553756A JP7412348B2 (ja) 2018-10-29 2019-10-16 表示装置、及び表示制御方法
US17/287,339 US20210358181A1 (en) 2018-10-29 2019-10-16 Display device and display control method
CN201980068948.1A CN112997477A (zh) 2018-10-29 2019-10-16 显示装置和显示控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-202810 2018-10-29
JP2018202810 2018-10-29

Publications (1)

Publication Number Publication Date
WO2020090458A1 true WO2020090458A1 (ja) 2020-05-07

Family

ID=70462333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040574 WO2020090458A1 (ja) 2018-10-29 2019-10-16 表示装置、及び表示制御方法

Country Status (4)

Country Link
US (1) US20210358181A1 (ja)
JP (1) JP7412348B2 (ja)
CN (1) CN112997477A (ja)
WO (1) WO2020090458A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022047886A (ja) * 2020-09-14 2022-03-25 宏 ▲高▼木 管理サーバ及びシステム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11464319B2 (en) * 2020-03-31 2022-10-11 Snap Inc. Augmented reality beauty product tutorials
US11423652B2 (en) 2020-06-10 2022-08-23 Snap Inc. Adding beauty products to augmented reality tutorials
KR20220036712A (ko) * 2020-09-16 2022-03-23 (주)아모레퍼시픽 스마트 미러, 이의 제어 방법 및 화장품 구매 시스템
TWM612256U (zh) * 2021-01-14 2021-05-21 廖建智 多攝像頭與可變色溫光源之化妝鏡顯示器
CN113409378B (zh) * 2021-06-28 2024-04-12 北京百度网讯科技有限公司 图像处理方法、装置和设备
CN113645743B (zh) * 2021-08-10 2023-07-25 深圳创维－Rgb电子有限公司 基于电视的智能照明方法、装置、设备及存储介质
JP2023056900A (ja) * 2021-10-08 2023-04-20 株式会社ジャパンディスプレイ 表示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297734A (ja) * 2003-03-28 2004-10-21 Aruze Corp 電子鏡システム
JP2008249891A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp ストロボ装置及びカメラ
JP2008277983A (ja) * 2007-04-26 2008-11-13 Funai Electric Co Ltd テレビジョン受像機
JP2011008397A (ja) * 2009-06-24 2011-01-13 Sony Ericsson Mobilecommunications Japan Inc 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置
JP2011248714A (ja) * 2010-05-28 2011-12-08 Panasonic Corp 撮像画像処理システム
JP2013020171A (ja) * 2011-07-13 2013-01-31 Nikon Corp 発光装置及びこれを備えた撮像装置、並びに調光方法
JP2013242504A (ja) * 2012-05-23 2013-12-05 Sony Corp 電子鏡装置、電子鏡表示方法および電子鏡プログラム
JP2017220158A (ja) * 2016-06-10 2017-12-14 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
JP2018152673A (ja) * 2017-03-10 2018-09-27 富士通株式会社 化粧支援プログラム、化粧支援装置、及び化粧支援方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643095B2 (en) * 2004-05-28 2010-01-05 Sharp Kabushiki Kaisha Image display device, image display method, and television receiver
US7612794B2 (en) 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
JP5726421B2 (ja) * 2010-01-15 2015-06-03 レノボ・イノベーションズ・リミテッド（香港） 携帯端末機
EP3367692A1 (en) * 2011-12-28 2018-08-29 Saturn Licensing LLC Display device, display control method, and program
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
US9198496B2 (en) * 2012-07-02 2015-12-01 Sony Corporation Makeup TV
US9792716B2 (en) 2014-06-13 2017-10-17 Arcsoft Inc. Enhancing video chatting
US10553006B2 (en) * 2014-09-30 2020-02-04 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
JP6519280B2 (ja) 2015-03-31 2019-05-29 カシオ計算機株式会社 撮影装置、撮影設定方法及びプログラム
US20170024589A1 (en) * 2015-07-22 2017-01-26 Robert Schumacher Smart Beauty Delivery System Linking Smart Products
JP6200483B2 (ja) * 2015-12-23 2017-09-20 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
JP6829380B2 (ja) 2015-12-25 2021-02-10 フリュー株式会社 写真シール作成装置および画像処理方法
CN105956022B (zh) 2016-04-22 2021-04-16 腾讯科技（深圳）有限公司 电子镜图像处理方法和装置、图像处理方法和装置
JP6986676B2 (ja) * 2016-12-28 2021-12-22 パナソニックＩｐマネジメント株式会社 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ
JP7200139B2 (ja) * 2017-07-13 2023-01-06 株式会社 資生堂 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
CN108053365B (zh) * 2017-12-29 2019-11-05 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
US10665266B2 (en) * 2018-03-23 2020-05-26 Gfycat, Inc. Integrating a prerecorded video file into a video
CN111053356A (zh) * 2018-10-17 2020-04-24 丽宝大数据股份有限公司 电子化妆镜装置及其显示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297734A (ja) * 2003-03-28 2004-10-21 Aruze Corp 電子鏡システム
JP2008249891A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp ストロボ装置及びカメラ
JP2008277983A (ja) * 2007-04-26 2008-11-13 Funai Electric Co Ltd テレビジョン受像機
JP2011008397A (ja) * 2009-06-24 2011-01-13 Sony Ericsson Mobilecommunications Japan Inc 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置
JP2011248714A (ja) * 2010-05-28 2011-12-08 Panasonic Corp 撮像画像処理システム
JP2013020171A (ja) * 2011-07-13 2013-01-31 Nikon Corp 発光装置及びこれを備えた撮像装置、並びに調光方法
JP2013242504A (ja) * 2012-05-23 2013-12-05 Sony Corp 電子鏡装置、電子鏡表示方法および電子鏡プログラム
JP2017220158A (ja) * 2016-06-10 2017-12-14 パナソニックＩｐマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム
JP2018152673A (ja) * 2017-03-10 2018-09-27 富士通株式会社 化粧支援プログラム、化粧支援装置、及び化粧支援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022047886A (ja) * 2020-09-14 2022-03-25 宏 ▲高▼木 管理サーバ及びシステム

Also Published As

Publication number Publication date
CN112997477A (zh) 2021-06-18
US20210358181A1 (en) 2021-11-18
JP7412348B2 (ja) 2024-01-12
JPWO2020090458A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
WO2020090458A1 (ja) 表示装置、及び表示制御方法
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
US10691202B2 (en) Virtual reality system including social graph
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN106792228B (zh) 一种直播互动方法和系统
US20140306995A1 (en) Virtual chroma keying in real time
US20140178029A1 (en) Novel Augmented Reality Kiosks
US10701426B1 (en) Virtual reality system including social graph
CN107771395A (zh) 生成和发送用于虚拟现实的元数据的方法和装置
US11074759B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence
CN113473207B (zh) 直播方法、装置、存储介质及电子设备
CN102282849A (zh) 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制系统
US11645841B2 (en) Augmented reality event switching
CN112839252B (zh) 显示设备
CN112269554A (zh) 显示系统及显示方法
US20200225467A1 (en) Method for projecting immersive audiovisual content
CN205793049U (zh) 增强现实现场发布会系统
US20190099666A1 (en) Toy Interactive Method and Device
US11270347B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence
WO2023130715A1 (zh) 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2021082742A1 (zh) 一种数据显示方法及媒体处理装置
Gu A Study on the 3D Contents Production Technology of Taepyungmu
Zettl et al. Applied Media Aesthetics: Encoding and Decoding Meta-Messages
DeHart Directing audience attention: cinematic composition in 360 natural history films
Quinn Sports entertainment: toward a high concept of professional wrestling

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19878983

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553756

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19878983

Country of ref document: EP

Kind code of ref document: A1