JPWO2020090458A1 - 表示装置、及び表示制御方法 - Google Patents

表示装置、及び表示制御方法 Download PDF

Info

Publication number
JPWO2020090458A1
JPWO2020090458A1 JP2020553756A JP2020553756A JPWO2020090458A1 JP WO2020090458 A1 JPWO2020090458 A1 JP WO2020090458A1 JP 2020553756 A JP2020553756 A JP 2020553756A JP 2020553756 A JP2020553756 A JP 2020553756A JP WO2020090458 A1 JPWO2020090458 A1 JP WO2020090458A1
Authority
JP
Japan
Prior art keywords
user
display device
image
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020553756A
Other languages
English (en)
Other versions
JP7412348B2 (ja
Inventor
鈴木 毅
毅 鈴木
黎 英保
黎 英保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020090458A1 publication Critical patent/JPWO2020090458A1/ja
Application granted granted Critical
Publication of JP7412348B2 publication Critical patent/JP7412348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47GHOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02Mirrors used as equipment
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47GHOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G2001/002Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means comprising magnifying properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00Parallel handling of streams of display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/025LAN communication management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/06Remotely controlled electronic signs other than labels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/342Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本技術は、ユーザ体験の向上を図ることができるようにする表示装置、及び表示制御方法に関する。ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、画像フレームにおけるユーザを含む第1の領域と第1の領域を除いた第2の領域のうちの少なくとも第2の領域の一部を含む照明領域の輝度を制御して、ユーザに対して光を発する照明として機能させる制御部を備える表示装置が提供される。本技術は、例えば、テレビ受像機に適用することができる。

Description

本技術は、表示装置、及び表示制御方法に関し、特に、ユーザ体験の向上を図ることができるようにした表示装置、及び表示制御方法に関する。
近年、テレビ受像機等の表示装置は、高性能化に伴い、様々な機能を提供することが可能である(例えば、特許文献1参照)。
米国特許第9198496号明細書
ところで、テレビ受像機等の表示装置では、様々な機能を提供するに際してユーザ体験の向上が求められている。
本技術はこのような状況に鑑みてなされたものであり、ユーザ体験の向上を図ることができるようにするものである。
本技術の一側面の表示装置は、ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第1の領域と前記第1の領域を除いた第2の領域のうちの少なくとも前記第2の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる制御部を備える表示装置である。
本技術の一側面の表示制御方法は、表示装置が、ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第1の領域と前記第1の領域を除いた第2の領域のうちの少なくとも前記第2の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる表示制御方法である。
本技術の一側面の表示装置、及び表示制御方法においては、ユーザを撮影して得られる画像フレームに応じた映像が表示部に表示されるに際して、前記画像フレームにおける前記ユーザを含む第1の領域と前記第1の領域を除いた第2の領域のうちの少なくとも前記第2の領域の一部を含む照明領域の輝度が制御され、前記ユーザに対して光を発する照明として機能される。
本技術の一側面の表示装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
本技術を適用したシステムの構成の例を示す図である。 本技術を適用した表示装置の構成の例を示すブロック図である。 図2の表示部の構成の例を示すブロック図である。 表示装置に表示される表示画面の第1の例を示す図である。 アイキャッチ用の照明の第1の例を示す図である。 アイキャッチ用の照明の第2の例を示す図である。 表示装置に表示される表示画面の第2の例を示す図である。 表示装置に表示される表示画面の第2の例を示す図である。 複数台のカメラ部の設置の例を示す図である。 表示画面の背景処理の例を示す図である。 表示装置に表示される表示画面の第3の例を示す図である。 表示装置に表示される表示画面の第4の例を示す図である。 表示装置に表示される表示画面の第5の例を示す図である。 表示装置に表示される表示画面の第6の例を示す図である。 スマートミラー機能への切り替えタイミングの例を示す図である。 表示装置の処理の流れを説明するフローチャートである。 表示装置の処理の流れを説明するフローチャートである。 表示装置の処理の流れを説明するフローチャートである。 表示装置の処理の流れを説明するフローチャートである。 表示装置の機能の第1の例を説明する図である。 表示装置の機能の第2の例を説明する図である。 図2の表示部の他の構成の例を示すブロック図である。 コンピュータの構成の例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.本技術の実施の形態
2.変形例
3.コンピュータの構成
<1.本技術の実施の形態>
(システムの構成)
図1は、本技術を適用したシステムの構成の例を示す図である。
表示装置10は、例えばテレビ受像機などから構成される。表示装置10は、放送信号を受信して処理することで、放送コンテンツの映像を表示するとともに、その音声を出力する。これにより、ユーザ1は、テレビ番組等の放送コンテンツを視聴することができる。
また、表示装置10は、撮影機能を有しており、カメラ部によって正面に位置するユーザ1を撮影(撮像)してその映像を表示することで、ユーザ1を映した鏡(ミラー)として機能する。さらに、ユーザ1が、表示装置10を鏡として利用する際に、表示装置10では、液晶表示部に対して設けられるバックライトを制御することで、化粧(メイクアップ)や、アイキャッチ用の照明(ライティング)としても機能する。
表示装置10はまた、無線LAN(Local Area Network)等の通信機能を有しており、例えば、室内に設置されたルータ20と通信を行うことで、インターネット等のネットワーク40を介して、サーバ30−1乃至30−N(Nは1以上の整数)にアクセスすることができる。サーバ30−1乃至30−Nは、各種のサービスを提供するサーバである。
例えば、サーバ30−1は、例えばEC(Electronic Commerce)サイトや電子商店街(サイバーモール)などのウェブサイトを提供するサーバとされ、表示装置10では、例えば化粧品等の商品を購入するための情報(ウェブページ)を提示することができる。また、例えば、サーバ30−2は、ソーシャルネットワーキングサービス(SNS:Social Networking Service)を提供するサーバとされる。さらに、例えば、サーバ30−3は、動画などの通信コンテンツを配信するサーバとされ、サーバ30−4は、表示装置10が実行可能なアプリケーションを配信するサーバとされる。なお、これ以上は例示しないが、サーバ30−4乃至30−Nによっても、様々なサービスが提供される。
このように、表示装置10は、一般的なテレビ受像機としての機能のほかに、いわゆるスマートミラーとしての機能も有している。
(表示装置の構成)
図2は、本技術を適用した表示装置の構成の例を示すブロック図である。
図2において、表示装置10は、制御部100、チューナ部101、デコーダ部102、スピーカ部103、表示部104、通信部105、記録部106、カメラ部107、センサ部108、マイク部109、及び電源部110から構成される。
制御部100は、例えば、CPU(Central Processing Unit)やマイクロコンピュータ等から構成される。制御部100は、表示装置10の各部の動作を制御する。
チューナ部101には、送信局から送信される放送信号であって、受信用のアンテナを介して受信された放送信号が入力される。チューナ部101は、制御部100からの制御に従い、受信信号に対する必要な処理(例えば復調処理等)を行い、その結果得られるストリームを、デコーダ部102に供給する。
デコーダ部102には、チューナ部101から供給されるストリームとして、映像ストリームと音声ストリームがそれぞれ供給される。
デコーダ部102は、制御部100からの制御に従い、音声ストリームをデコードし、その結果得られる音声信号を、スピーカ部103に供給する。また、デコーダ部102は、制御部100からの制御に従い、映像ストリームをデコードし、その結果得られる映像信号を、表示部104に供給する。
スピーカ部103は、制御部100からの制御に従い、デコーダ部102から供給される音声信号に対して必要な処理を行い、音声信号に応じた音声を出力する。表示部104は、制御部100からの制御に従い、デコーダ部102から供給される映像信号に対して必要な処理を行い、映像信号に応じた映像を表示する。なお、表示部104の詳細な構成は、図3を参照して後述する。
通信部105は、無線LAN等の無線通信、又はセルラ方式の通信(例えばLTE-Advancedや5G等)等に対応した通信モジュールなどから構成される。通信部105は、制御部100からの制御に従い、各種のデータを、ネットワーク40を介してサーバ30とやりとりする。
記録部106は、例えば半導体メモリやHDD(Hard Disk Drive)、データを一時的に記憶するバッファ装置などの記憶装置から構成される。記録部106は、制御部100からの制御に従い、各種のデータを記録する。
カメラ部107は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等のイメージセンサと、カメラISP(Image Signal Processor)等の信号処理部を含んで構成される。
カメラ部107は、制御部100からの制御に従い、イメージセンサによって被写体を撮影して得られる撮影信号に対し、信号処理部によって各種の信号処理を行う。カメラ部107は、信号処理の結果得られる画像フレームの映像信号を、制御部100に供給する。
なお、カメラ部107は、表示装置10に内蔵されるようにするほか、所定のインターフェースを介して外付けされてもよい。また、カメラ部107は、1つに限らず、表示装置10における所定の位置に複数個設けてもよい。
センサ部108は、各種のセンサを含んで構成される。センサ部108は、制御部100からの制御に従い、表示装置10の周辺に関する様々な情報を得るためのセンシングを行う。センサ部108は、そのセンシング結果に応じたセンサのデータを、制御部100に供給する。
センサ部108としては、例えば、周囲の色温度を検出する色センサ、対象物体までの距離を計測する測距センサ、周囲の明るさを検出する環境光センサなど、様々なセンサを含めることができる。
マイク部109は、外部からの音(音声)を電気信号に変換し、その結果得られる音声信号を、制御部100に供給する。
電源部110は、制御部100からの制御に従い、外部電源又は蓄電池から得られる電源電力を、制御部100を含む表示装置10の各部に供給する。
(表示部の構成)
図3は、図2の表示部104の構成の例を示すブロック図である。
図3において、表示部104は、信号処理部121、表示駆動部122、液晶表示部123、バックライト駆動部124、及びバックライト125を含む。
信号処理部121は、そこに入力される映像信号に基づいて、所定の映像信号処理を行う。この映像信号処理では、液晶表示部123の駆動を制御するための映像信号が生成され、表示駆動部122に供給される。また、この映像信号処理では、バックライト125の駆動を制御するための駆動制御信号(BL駆動制御信号)が生成され、バックライト駆動部124に供給される。
表示駆動部122は、信号処理部121から供給される映像信号に基づいて、液晶表示部123を駆動する。液晶表示部123は、液晶素子及びTFT(Thin Film Transistor)素子を含む画素を2次元状に配置した表示パネルであり、表示駆動部122からの駆動に従い、バックライト125から射出された光を変調することにより表示を行う。
液晶表示部123は、例えば、ガラス等から構成される2枚の透明基板の間に液晶材料を封入したものである。これらの透明基板の液晶材料に面した部分には、例えばITO(Indium Tin Oxide)等から構成される透明電極が形成され、液晶材料とともに画素を構成している。なお、液晶表示部123において、各画素は、例えば、赤色(R)、緑色(G)、青色(B)の3つのサブ画素により構成される。
バックライト駆動部124は、信号処理部121から供給される駆動制御信号(BL駆動制御信号)に基づいて、バックライト125を駆動する。バックライト125は、バックライト駆動部124からの駆動に従い、液晶表示部123に対し、複数の発光素子により発光した光を射出する。なお、発光素子としては、例えば、LED(Light Emitting Diode)を用いることができる。
ここで、バックライト125は、複数の部分発光領域に分割されていてもよく、各部分発光領域には、例えばLED等の発光素子が1又は複数配置される。このとき、バックライト駆動部124によって、各部分発光領域ごとにBL駆動制御信号を変えた点灯制御、いわゆる部分駆動がなされてもよい。また、ここでは、バックライト125の部分駆動を利用して、輝度のダイナミックレンジを向上させることができる。この輝度のダイナミックレンジを向上させる技術は、「輝度の突き上げ」とも呼ばれ、例えば、次のような原理で実現される。
すなわち、表示部104において、映像信号の輝度レベルとして100%の白色映像を画面全体に一様に表示する場合、バックライト125における複数の部分発光領域をすべて点灯させる。この状態での表示部104の出力輝度を100%、バックライト125の消費電力は全体の半分の発光領域につき200W、バックライト125全体として400Wであるものとする。また、バックライト125は全体として400Wの電力制限があるものとする。
これに対して、表示部104において、画面の半分を映像信号の輝度レベルが最小の黒表示、画面の他の半分の映像信号の輝度レベルとして100%の白表示となる場合を想定する。この場合、黒表示の部分はバックライト125を消灯し、バックライト125の消費電力を0Wにすることができる。一方で、白表示の部分のバックライト125は、消費電力を200Wとしてもよいが、その場合、黒表示の部分を消灯したことにより、200Wの電力余裕度が生まれる。そして、白表示の部分のバックライト125の電力を200W+200W=400Wにまで上げることが可能である。これにより、上述の例と比べて、表示部104における出力最大輝度値LMAXを200%に上げることができる。このような原理により「輝度の突き上げ」が実現される。
なお、図2に示した表示装置10の構成は一例であって、他の構成要素を含めることができる。例えば、テレビ受像機としての表示装置10が、リモートコントローラを用いて操作される場合には、赤外線の信号を受光する受光部などが設けられる。
また、表示装置10では、テレビ番組等の放送コンテンツを再生するだけでなく、例えば、サーバ30−3から配信される動画等の通信コンテンツや、HDMI(登録商標)(High-Definition Multimedia Interface)やUSB(Universal Serial Bus)等の所定の方式に対応したインターフェースを介して入力される録画コンテンツ等のコンテンツが再生されてもよい。さらに、表示装置10では、サーバ30−4から配信されるアプリケーション(例えば、スマートミラーアプリケーション等)をダウンロードして実行することができる。このアプリケーションとしては、例えば、制御部100により実行されるネイティブアプリケーションのほか、ブラウザを実行して画面を表示するウェブアプリケーションであってもよい。
(スマートミラー機能)
次に、図4乃至図15を参照しながら、表示装置10のスマートミラー機能について説明する。
(第1の例)
図4は、表示装置10に表示される表示画面の第1の例を示している。
図4において、表示装置10は、その正面に位置するユーザ1をカメラ部107により撮影して、その映像を表示部104(の液晶表示部123)に表示している。
この表示画面の中央部の領域には、その正面に位置するユーザ1の映像が表示される。また、表示画面の左部と右部の領域(照明領域)には、アイキャッチ用の照明としての複数の照明151が縦方向に4つずつ表示され、表示画面の下部の領域には、化粧品等の商品に関する商品情報161が表示される。
ここで、アイキャッチ用の照明として左部と右部の領域に複数の照明151を表示することで、例えば女優が化粧する楽屋や、百貨店の化粧品売り場などのように、ユーザ1(の顔)に対して、様々な角度から均等に照明を照らして、(顔の影を消して)正しく化粧をすることができる。複数の照明151を表示するに際しては、制御部100によって、照明領域の明るさに応じて、表示部104のバックライト125の輝度が制御されるが、ここでは、例えば、上述した「輝度の突き上げ」の技術を適用して、白表示の部分(照明領域)のバックライト125の電力を上げることで、アイキャッチ用の照明を実現することができる。
このように、表示装置10では、アイキャッチ用の照明として複数の照明151を表示することで、化粧をするときに最適な照明を、ユーザ1の自宅で再現している(図5のA)。このとき、表示装置10に表示されるユーザ1の映像は、左右の複数の照明151に照らされた状態とされ、例えば、ユーザ1の瞳には、左右の複数の照明151が映り込む(図5のB)。
なお、アイキャッチ用の照明としては、左部と右部の領域にて縦方向に複数の照明151をそれぞれ表示したものに限らず、例えば、所定の形状からなる照明を設けたりしてもよい。図6のAは、アイキャッチ用の照明としてドーナツ型の照明152を表示した場合の例を示している。この場合、表示装置10に表示されるユーザ1の映像として、その瞳には、ドーナツ型の照明152が映り込む(図6のB)。さらに、照明の数も縦方向に4つに限らず、任意の数を表示することができる。
また、アイキャッチ用の照明としては、上部と下部の領域にて横方向に複数の照明を表示してもよい。すなわち、表示装置10では、表示部104における表示画面の上部、下部、左部、及び右部の領域のうち少なくとも一部の領域を照明領域として、複数の照明を表示することができる。ここで、照明領域は、画像フレームにおけるユーザ1(の画像)を含む第1の領域と、第1の領域を除いた第2の領域(背景を含む領域)のうちの少なくとも第2の領域の一部を含む領域とされる。
(第2の例)
図7は、表示装置10に表示される表示画面の第2の例を示している。
図7において、表示装置10は、その正面に位置するユーザ1をカメラ部107により撮影して、その映像を表示部104に表示する際に、拡張現実(AR:Augmented Reality)の技術(AR技術)を用いて実世界(実空間)に存在しない各種の情報(仮想的な情報)を重畳表示している。なお、AR技術としては、例えば、マーカーレス型やマーカー型のARなど、公知の技術を用いることができる。
ここでは、例えば、表示画面のユーザ1の顔の映像に、AR技術によって化粧が施されている(図7のA)。また、AR技術によって重畳表示されるのは、化粧に限らず、例えば、表示画面のユーザ1の映像に対し、衣装(洋服)やアクセサリが重畳表示されてもよい(図7のB)。例えば、ユーザ1は、自分のワードローブ(持ち衣装)や、アクセサリに関する情報をあらかじめ登録しておくことで、表示装置10は、お勧めの衣装やアクセサリの組み合わせを提示することができる。
なお、ユーザ1による衣装等に関する情報の登録は、表示装置10を操作して行うことは勿論、例えば、スマートフォンやタブレット端末等の携帯端末で、専用のアプリケーションを起動して行ってもよい。また、お勧めの衣装等の組み合わせは、表示装置10(の制御部100)が所定のアルゴリズムを用いて決定してもよいし、あるいはネットワーク40を介して例えば機械学習を利用した推薦サーバ等の専用のサーバ30に問い合わせてもよい。さらには、表示装置10等の機器側がお勧めの組み合わせを提示するのではなく、ユーザ1が、自分で衣装やアクセサリの組み合わせを選択してもよい。
その後、例えば、ユーザ1は、AR技術により表示された化粧をするための化粧品を購入して化粧をしたり、お勧めの衣装に着替えたり、アクセサリを身につけたりすることで、化粧後の状態を、表示装置10に表示される映像で確認することができる(図8)。なお、図8において、表示装置10に表示される映像は、カメラ部107により撮影された現実の映像であって、AR技術により各種の情報を重畳表示した映像ではない。また、AR技術により表示される衣装やアクセサリは、ユーザ1が所持していないものであってもよく、それらの衣装やアクセサリの購入を促すようにしてもよい。
ところで、表示装置10では、ユーザ1の背景の映像にはぼかし処理を施しているが、背景をぼかすことで、例えば、室内の散らかった状態が認識されないようにしている。
ここでは、図9に示すように、例えば、表示装置10における表示部104(の液晶表示部123)の枠に、左右に1つずつカメラ部107−1とカメラ部107−2をそれぞれ取り付けて、2台のカメラ部107−1,107−2によってユーザ1をそれぞれ撮影する。このように、2台のカメラ部107−1,107−2を使用して、ユーザ1を2つの異なる方向から同時に撮影することで、その奥行きの情報が得られ、近接しているユーザ1の顔や体(の各部位)の領域を抽出することができる。
そして、表示装置10では、制御部100によって、抽出されたユーザ1の顔や体の領域を除いた領域(背景の領域)に対し、ぼかし処理を施して室内の散らかった状態をぼかすことができる(図10のA)。なお、背景の映像(領域)に対する映像処理は、ぼかし処理に限らず、他の処理が施されてもよい。例えば、制御部100は、抽出されたユーザ1の顔や体の領域に対するマスク処理を施して異なる背景の映像(例えばパーティ会場の建物の画像など)を合成する合成処理を行ってもよい(図10のB)。
(第3の例)
図11は、表示装置10に表示される表示画面の第3の例を示している。
図11において、表示装置10では、例えば色センサ等のセンサ部108により室内(周辺)の色温度を検出し、検出した色温度に対するユーザ1の出かける先(例えば、夜のパーティ会場など)の色温度を、表示部104(に表示される複数の照明151に対応した照明領域)のバックライト125を制御して再現することで、シチュエーションに応じた環境光をエミュレートする。この環境光のエミュレーションによって、ユーザ1は、実際に出かける先にて化粧が映えるかどうかを確認することができる(図11のB)。
なお、ユーザ1の出かける先に関する情報は、あらかじめ登録することになるが、この登録方法としては、表示装置10を操作して行うことは勿論、例えば、スマートフォン等の携帯端末で、専用のアプリケーションを起動して登録したり、あるいは、ユーザ1が利用しているスケジュールのアプリケーションと連携して出かける先に関する情報が取得したりしてもよい。また、色センサ等のセンサ部108を用いる代わりに、カメラ部107により撮影された画像フレームを解析することで、表示装置10が設置された室内の色温度を検出してもよい。
(第4の例)
図12は、表示装置10に表示される表示画面の第4の例を示している。
図12において、表示装置10は、その正面に位置するユーザ1をカメラ部107により撮影して、その映像を表示部104に表示するとともに、その映像のデータを記録部106に記録(又はバッファリング)している。これにより、表示装置10は、リアルタイムの映像とともに、記録部106に記録(又はバッファリング)した過去の映像を表示することができる。
例えば、現在(時刻t1)において、表示装置10の表示画面側を向いているユーザ1が、そのX秒前(時刻t0)においてその反対側、すなわち、表示装置10の表示画面に対して後ろを向いていた場合を想定する。この場合において、後ろを向いていたユーザ1の映像のデータは、記録部106に記録されているため、表示装置10は、現在(時刻t1)とX秒前(時刻t0)におけるユーザ1の映像を同時に表示することができる。これにより、ユーザ1は、現在の自分の正面の姿だけでなく、時間差(タイムシフト)で表示される過去(例えば数秒前)の自分の後ろ姿を確認することができる。
また、この例では、表示装置10の表示画面に対してユーザ1が後ろを向いている場合を説明したが、ユーザ1の向きは後ろ向きに限らず、例えば、横向きのユーザ1の映像のデータを記録することで、ユーザ1は、化粧や衣装の確認を行うに際して、自分の正面の姿や後ろ姿とともに横顔なども確認することができる。なお、表示装置10の表示画面に表示される映像は、鏡像だけでなく、正像に切り替えることが可能であり、例えば、鏡像から正像の表示に切り替えることで、ユーザ1は、他人から見られている自分の姿を確認することができる。
(第5の例)
図13は、表示装置10に表示される表示画面の第5の例を示している。
図13において、表示装置10は、その正面に位置するユーザ1をカメラ部107により撮影して、その映像を表示するとともに、化粧用のチュートリアル動画171を再生している(図13のA)。これにより、ユーザ1は、チュートリアル動画171の内容を確認しながら、化粧をすることができる。
ここで、ユーザ1が、チュートリアル動画171のある場面をもう一度見たい場合に、「今のところもう一度再生して」である発話を行った場面を想定する(図13のB)。このとき、表示装置10では、マイク部109によりユーザ1の発話が収音され、その音声信号に対する音声認識処理が行われる。この音声認識処理では、音声テキスト変換用のデータベース等が適宜参照されることで、音声データがテキストデータに変換される。
このように得られる音声認識結果に対して意味解析処理が行われる。この意味解析処理では、音声言語理解用のデータベース等が適宜参照されることで、自然言語である音声認識結果(テキストデータ)が、機械(表示装置10)が理解できる表現に変換される。ここでは、例えば、意味解析結果として、ユーザ1が実行させたい意図(Intent)とそのパラメータとなる実体情報(Entity)が得られる。
表示装置10は、意味解析結果に基づき、チュートリアル動画171の早戻しを行い、対象のシーンが再度再生されるようにする。表示装置10では、このような音声操作に対応しているため、ユーザ1は、化粧中に両手が塞がっていても、音声によって動画再生を操作することができる。
なお、図13の例では、チュートリアル動画171の再生制御として、音声操作に応じた早戻しが行われる場合を例示したが、早戻しに限らず、例えば、早送りや一時停止、スロー再生などの再生制御が、ユーザ1による音声操作に応じて行われてもよい。また、チュートリアル動画171は、例えば、サーバ30−3から配信される通信コンテンツとして再生される。さらに、表示装置10において行われる音声認識処理や意味解析処理等の処理の一部の処理が、ネットワーク40を介して音声認識や意味解析を行う認識・解析サーバ等の専用のサーバ30により行われてもよい。
また、図13の例では、チュートリアル動画171の再生を音声操作する場合を説明したが、この音声操作の対象としては、それに限らず、例えば、アイキャッチ用の照明のパターンの変更を指示したり、背景の変更を指示したり、環境光のエミュレーションを指示したり、拡大映像の表示を指示したりすることができる。さらに、ユーザ1による音声操作によって、表示装置10に表示される映像として、鏡像の表示と正像の表示とが切り替わるようにしてもよい。
(第6の例)
図14は、表示装置10に表示される表示画面の第6の例を示している。
図14において、表示装置10は、ユーザ1の映像を表示するとともに、化粧用のチュートリアル動画171と、ユーザ1の化粧の対象となる部位(例えば、口紅を塗っている口等)を部分的に拡大した拡大映像172を表示している。これにより、ユーザ1は、口紅を塗っている口等のリアルタイムで表示される拡大映像172を、口紅の塗り方等のチュートリアル動画171と比較して確認しながら、化粧をすることができる。
(スマートミラー機能への切り替えの例)
なお、表示装置10において、通常のテレビ機能とスマートミラー機能とを切り替えるタイミングであるが、例えば、表示装置10に対するユーザ1の位置が所定の範囲内にあるかをトリガとすることができる。すなわち、表示装置10では、例えば測距センサ等のセンサ部108によりユーザ1の位置(現在位置)を検出し、その検出位置に応じた値が所定の閾値以上となる場合には、ユーザの位置が所定の範囲外となるため、通常のテレビ機能を実行する(図15のA)。
一方で、表示装置10では、検出位置に応じた値が所定の閾値未満となる場合には、ユーザの位置が所定の範囲内となるため、スマートミラー機能を実行する(図15のB)。すなわち、ユーザ1が化粧を行う場合には、表示装置10に対してある程度近づいた位置にくることが想定されるため、ここでは、それをトリガとして利用している。
また、ここでは、カメラ部107により撮影された画像フレームを用いた顔認識処理などの処理が行われるようにしてもよい。例えば、テレビ受像機としての表示装置10において、スマートミラー機能を使用するユーザの顔情報をあらかじめ登録して顔認識処理を実行することで、例えば、4人家族を想定した場合に、父親か息子が表示装置10に近づいても通常のテレビ機能が維持される一方で、母親か娘が表示装置10に近づいたときにはスマートミラー機能が実行されることになる。
(処理の流れ)
次に、図16乃至図19のフローチャートを参照して、表示装置10で実行される処理の流れを説明する。
表示装置10は、ユーザ1により所定の操作が行われた場合、電源をオンする(S11)。これにより、表示装置10では、電源部110からの電力が各部に供給され、例えば、選局されたテレビ番組の映像が表示部104に表示される。
その後に、表示装置10は、スマートミラーアプリケーションを起動する(S12)。ここでは、例えば、制御部100は、センサ部108からの検出結果に基づき、表示装置10に対するユーザ1の位置が所定の範囲内にある場合、記録部106に記録されたスマートミラーアプリケーションを起動する。
そして、表示装置10では、スマートミラーアプリケーションが起動されると、カメラ入力映像とアイキャッチ用の照明が表示される(S13,S14)。ここでは、制御部100は、カメラ部107により撮影された画像フレームの映像と、アイキャッチ用の照明として複数の照明151が、表示部104に表示されるように制御する。なお、ここでは、上述したように、例えば、「輝度の突き上げ」の技術を適用して、白表示の部分(照明領域)のバックライト125の電力を上げることで、アイキャッチ用の照明を実現することができる。
これにより、表示装置10(の表示部104)では、例えば、図4に示した表示画面が表示され、ユーザは、スマートミラー機能を利用することができる。その後、表示装置10の動作としては、様々な動作が想定されるが、ここでは、その一例として、図17に示したARモードの動作と、図18に示したお手本モードの動作を説明する。
まず、図17を参照して、表示装置10によるARモードの動作を説明する。表示装置10は、ユーザ1により所定の操作が行われた場合、ARモードの動作を開始する(S31)。
表示装置10は、ユーザ1が試したい化粧品の選択を受け付ける(S32)。ここでは、例えば、表示部104の表示画面において、下部の領域に表示される商品情報161の中から、ユーザ1による所定の操作に応じた所望の化粧品が選択される。
表示装置10は、AR技術によりユーザ1に化粧を重ねた映像を表示する(S33)。ここでは、制御部100は、カメラ部107により撮影された画像フレームに含まれるユーザ1の映像として、ユーザ1によりステップS32の処理で選択された化粧品に応じた化粧を施した映像が、表示部104に表示されるように制御する。これにより、表示装置10(の表示部104)では、例えば、図7のAに示した表示画面が表示される。
次に、表示装置10は、ユーザ1によるシチュエーションの選択を受け付ける(S34)。ここでは、制御部100は、ユーザ1による所定の操作に応じて入力される、ユーザ1の出かける先などに応じたシチュエーション(例えば、屋外やパーティなど)が選択される。
表示装置10は、シチュエーションに沿った色に照明を変化させる(S35)。ここでは、制御部100は、ステップS34の処理で選択されたシチュエーション(例えば、屋外やパーティなど)に応じた色温度を、照明領域のバックライト125を制御して再現することで、表示部104に表示される複数の照明151の色が変化する(例えば、白色から赤みを帯びた色に変化する)。これにより、表示装置10(の表示部104)では、例えば、図11のBに示した表示画面(ただし、衣装とアクセサリは非重畳)が表示され、シチュエーションに応じた環境光がエミュレートされる。
次に、表示装置10は、ユーザ1が試したいアクセサリと衣装の選択を受け付ける(S36)。ここでは、例えば、あらかじめ登録されたワードローブの中から、ユーザによる所定の操作に応じた所望のアクセサリと衣装が選択される。
表示装置10は、AR技術によりユーザ1にアクセサリと衣装を重ねた映像を表示する(S37)。ここでは、制御部100は、カメラ部107により撮影された画像フレームに含まれるユーザ1の映像として、化粧を施すとともに、ステップS36の処理で選択されたアクセサリと衣装が重畳された映像が、表示部104に表示されるように制御する。これにより、表示装置10(の表示部104)では、例えば、図11のBに示した表示画面が表示される。
その後、ユーザ1が商品(選択した化粧品)の購入操作を行うかどうかが判定される(S38)。表示装置10は、ユーザ1が商品の購入操作を行うと判定された場合(S38の「YES」)、ネットワーク40を介して、所望の化粧品のECサイトを提供するサーバ30−1にアクセスする(S39)。これにより、ユーザ1は、ECサイトを利用して、所望の化粧品を購入することができる。なお、ここでは、化粧品に限らず、例えば、ユーザ1が所持していないアクセサリや衣装を重畳表示して、ユーザ1がそれらのアクセサリや衣装を気に入った場合には、ECサイトを利用して購入できるようにしてもよい。
このように、表示装置10がARモードの動作することで、ユーザ1は、化粧やアクセサリ、衣装を試すことができる。
次に、図18を参照して、表示装置10によるお手本モードの動作を説明する。表示装置10は、ユーザ1により所定の操作が行われた場合、お手本モードの動作を開始する(S51)。
表示装置10は、ユーザ1によるシチュエーションの選択を受け付ける(S52)。ここでは、制御部100は、ユーザ1の出かける先などに応じたシチュエーション(例えば、屋外やパーティなど)が選択される。
表示装置10は、シチュエーションに沿った色に照明を変化させる(S53)。ここでは、制御部100は、ステップS52の処理で選択されたシチュエーション(例えば、屋外やパーティなど)に応じた色温度を、照明領域のバックライト125を制御して再現することで、表示部104に表示される複数の照明151の色が変化する。これにより、表示装置10では、シチュエーションに応じた環境光がエミュレートされる。
表示装置10は、ユーザ1がこれから化粧する化粧品の選択を受け付ける(S54)。ここでは、例えば、表示部104の表示画面において、所定の領域に表示される化粧品の中から、ユーザ1による所定の操作に応じた化粧品(化粧で用いる化粧品)が選択される。
表示装置10は、カメラ部107により撮影された画像フレームに応じた映像(化粧しているユーザ1の映像)を表示するとともに、化粧用のチュートリアル動画を再生する(S55,S56)。ここでは、通信部105が、制御部100からの制御に従い、ネットワーク40を介してサーバ30−3にアクセスすることで、ステップS54の処理で選択された化粧品(例えば口紅)に応じたチュートリアル動画のストリーミングデータが受信される。そして、表示装置10では、制御部100により再生プレイヤが起動され、ストリーミングデータが処理されることで、当該チュートリアル動画が再生される。
これにより、表示装置10(の表示部104)では、例えば、図13のAに示した表示画面が表示される。ユーザ1は、チュートリアル動画171を見ながら、お手本に合わせて化粧をすることができる。
その後、チュートリアル動画の再生位置を変えるかどうかが判定される(S57)。表示装置10は、チュートリアル動画の再生位置を変えると判定した場合(S57の「YES」)、ユーザ1による音声操作に応じてチュートリアル動画の再生位置を変更する(S58)。
ここでは、例えば、ユーザ1により「今のところもう一度再生して」である発話がなされた場合、その音声がマイク部109により収音されるので、制御部100は、その音声信号に対する音声認識処理や意味解析処理等の処理を行うことで、再生プレイヤにより再生されるチュートリアル動画171の再生位置を制御する(図13のB)。
ステップS58の処理が終了すると、処理は、ステップS56に戻り、それ以降の処理が繰り返される。また、チュートリアル動画の再生位置を変えないと判定された場合(S57の「NO」)、処理は、ステップS59に進められる。この判定処理では、ユーザ1による化粧が完了したかどうかが判定される(S59)。そして、ユーザ1による化粧が完了したと判定された場合(S59の「YES」)、表示装置10では、お手本モードの動作を終了し、例えば、図19に示した撮影モードの動作が行われる。
表示装置10は、ユーザ1による背景の選択を受け付ける(S71)。また、表示装置10は、ユーザ1による音声操作に応じた撮影指示を受け付ける(S72)。
そして、表示装置10は、ステップS72の処理でユーザ1からの撮影指示を受け付けた場合、撮影モードの動作を開始する(S73)。このとき、表示装置10では、実際に撮影を行うまでのカウントダウンが開始され、カウントダウンが終了したとき(S74の「YES」)、カメラ部107によりユーザ1が撮影される(S75)。
そして、表示装置10は、撮影したユーザ1の画像と選択した背景の画像とを合成して表示する(S76)。ここでは、例えば、制御部100によって、ステップS75の処理で得られる画像フレームから抽出されるユーザ1の顔や体の領域に対するマスク処理が施され、ステップS71の処理で選択された背景の画像(例えばパーティ会場の建物の画像)を合成する合成処理が行われることで、その結果得られる合成画像が表示される。
このとき、ユーザ1が合成画像をSNSに投稿するかどうかが判定される(S77)。表示装置10は、SNSに投稿すると判定された場合(S77の「YES」)、ユーザ1による合成画像の投稿先の選択を受け付ける(S78)。ここでは、例えば、ユーザ1が会員に登録されているSNSの一覧が表示され、その一覧から、合成画像の投稿先となるSNSを選択することができる。
そして、表示装置10は、合成画像のデータを、選択したSNSのサーバ30−2に送信する(S79)。ここでは、通信部105によって、ステップS76の処理で得られる合成画像のデータが、ネットワーク40を介して、ステップS78の処理で選択されたSNSのサーバ30−2に送信される。これにより、合成画像がSNSに投稿され、当該合成画像を、例えばユーザ1の友人や家族などが携帯端末等を利用して閲覧することができる。
なお、SNSに投稿しないと判定された場合(S77の「NO」)には、ステップS78,S79の処理はスキップされ、図19の処理は終了する。この場合には、例えば、合成画像のデータは、記録部106に記録される。
以上、表示装置10で実行される処理の流れを説明した。以上の処理の流れをまとめると、例えば、図20と図21のように表すことができる。
すなわち、テレビ受像機としての表示装置10は、スマートミラーとしての機能を有し、アイキャッチ用の照明として、高輝度のバックライト125を利用することで、ユーザ1は、アイキャッチも完璧にすることができる(図20のA)。また、ここでは、アイキャッチ用の照明のデザインを、複数のデザインの中から自由に選択することができる(図20のB)。
さらに、表示装置10では、AR技術を用いて、実空間のユーザ1に対し、化粧や衣装、アクセサリ等の情報を付加して実世界を拡張したり、環境光のエミュレーションを行ったり、背景をぼかしたりすることで、シチュエーションを含めて商品の映え具合を確認することができる(図20のC)。そして、表示装置10では、実店舗での商品の在庫や入荷情報を提示したり、ECサイトのサーバ30−1にアクセスして商品購入のページを提示したりすることで、ユーザ1の商品の購買意欲を向上させることができる。このようにして、テレビ受像機としての表示装置10は、ユーザ体験(UX:User Experience)の向上を図ることができる。
また、テレビ受像機としての表示装置10は、ユーザ1が化粧する際に、お手本としてチュートリアル動画を再生することができるため、ユーザ1は、チュートリアル動画を見ながら化粧をすることができる(図21のA)。このとき、ユーザ1は、チュートリアル動画に対する操作(例えば早戻し等)を行う場合に、音声操作による指示が可能であるため、化粧の作業中に両手が塞がっている状態でも操作することができる(図21のB)。
さらに、表示装置10では、ユーザ1が撮影した画像(合成画像)をSNSに投稿する場合に、例えば、自分撮り(自撮り)の画像(映像)を事前に確認したり(図21のC)、あるいは、背景を合成した合成画像を事前に確認したり(図21のD)することができる。そのため、ユーザ1は、よりSNSで映える画像を投稿することができる。このようにして、テレビ受像機としての表示装置10は、ユーザ体験(UX)の向上を図ることができる。
<2.変形例>
上述した説明において、表示装置10は、テレビ受像機であるとして説明したが、それに限らず、例えば、ディスプレイ装置、パーソナルコンピュータ、タブレット端末、スマートフォン、携帯電話機、ヘッドマウンドディスプレイ、ゲーム機などの電子機器であってもよい。
また、上述した説明において、表示装置10の表示部104が、液晶表示部123とバックライト125を含んで構成される場合を説明したが、表示部104の構成としてはそれに限らず、例えば、自発光表示部を含んで構成され、その輝度が制御されるようにしてもよい。
(表示部の他の構成)
図22は、図2の表示部104の他の構成の例を示すブロック図である。
図22において、表示部104は、信号処理部141、表示駆動部142、及び自発光表示部143を含む。
信号処理部141は、そこに入力される映像信号に基づいて、所定の映像信号処理を行う。この映像信号処理では、自発光表示部143の駆動を制御するための映像信号が生成され、表示駆動部142に供給される。
表示駆動部142は、信号処理部141から供給される映像信号に基づいて、自発光表示部143を駆動する。自発光表示部143は、自発光素子を含む画素を2次元状に配置した表示パネルであり、表示駆動部142からの駆動に従い、表示を行う。
ここで、自発光表示部143は、例えば、有機エレクトロルミネッセンス(有機EL)を用いた有機EL表示部(OLED表示部)等の自発光型の表示パネルである。すなわち、自発光表示部143として、有機EL表示部(OLED表示部)を採用した場合、表示装置10は、有機EL表示装置(OLED表示装置)とされる。
OLED(Organic Light Emitting Diode)は、陰極と陽極との間に、有機発光材料を挟んだ構造からなる発光素子であって、有機EL表示部(OLED表示部)に2次元状に配置される画素を構成している。この画素に含まれるOLEDは、映像信号処理によって生成される駆動制御信号(OLED駆動制御信号)に従って駆動される。なお、自発光表示部143において、各画素は、例えば、赤色(R),緑色(G),青色(B),白色(W)の4つのサブ画素により構成される。
(実施の形態の組み合わせ)
なお、上述した説明では、表示装置10に表示される表示画面として、複数の表示例を示したが、各表示画面の表示例を単独で表示することは勿論、複数の表示例が組み合わされた表示画面が表示されるようにしてもよい。また、上述した説明において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。
<3.コンピュータの構成>
上述した一連の処理(例えば、図16乃至図19のフローチャートに示した処理)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図23は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成の例を示すブロック図である。
コンピュータ1000において、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及び、ドライブ1010が接続されている。
入力部1006は、マイクロフォン、キーボード、マウスなどよりなる。出力部1007は、スピーカ、ディスプレイなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
以上のように構成されるコンピュータ1000では、CPU1001が、ROM1002や記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ1000では、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、図16乃至図19のフローチャートに示した処理の各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
(1)
ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第1の領域と前記第1の領域を除いた第2の領域のうちの少なくとも前記第2の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる制御部を備える
表示装置。
(2)
前記表示部は、前記ユーザの鏡像又は正像の映像を表示することで、前記ユーザを映した鏡として機能し、
前記照明は、前記ユーザが化粧をする際に用いられる照明として機能する
前記(1)に記載の表示装置。
(3)
前記制御部は、AR技術により前記第1の領域に含まれる前記ユーザの映像に対して各種の情報を重畳する
前記(2)に記載の表示装置。
(4)
前記制御部は、前記ユーザの顔の映像に化粧を施した映像を表示する
前記(3)に記載の表示装置。
(5)
前記制御部は、
化粧品に関する情報を表示し、
前記ユーザにより選択された前記化粧品に応じた化粧を施す
前記(4)に記載の表示装置。
(6)
前記制御部は、前記ユーザの映像に対してアクセサリ及び衣装の少なくとも一方の映像を重畳した映像を表示する
前記(3)乃至(5)のいずれかに記載の表示装置。
(7)
前記制御部は、前記第2の領域に含まれる背景の映像に対して所定の映像処理を施した映像を表示する
前記(2)乃至(6)のいずれかに記載の表示装置。
(8)
前記制御部は、前記背景の映像に対するぼかし処理、又は前記ユーザの映像と他の背景の映像とを合成する合成処理を施す
前記(7)に記載の表示装置。
(9)
前記制御部は、前記照明領域の色温度を制御して、シチュエーションに応じた環境光をエミュレートする
前記(2)乃至(8)のいずれかに記載の表示装置。
(10)
前記制御部は、前記ユーザの化粧に応じたチュートリアル動画の映像を表示する
前記(2)乃至(9)のいずれかに記載の表示装置。
(11)
前記制御部は、前記ユーザの音声操作に応じて、前記チュートリアル動画の再生を制御する
前記(10)に記載の表示装置。
(12)
前記制御部は、前記第1の領域に含まれる前記ユーザの顔の映像の一部であって、前記ユーザの化粧の対象となる部位を部分的に拡大した映像を表示する
前記(10)又は(11)に記載の表示装置。
(13)
ネットワークを介してサーバと通信する通信部をさらに備え、
前記通信部は、前記ユーザの操作に応じて、前記化粧品を含む商品を販売するサイトを提供するサーバにアクセスして、前記商品に関する情報をやりとりする
前記(5)に記載の表示装置。
(14)
ネットワークを介してサーバと通信する通信部をさらに備え、
前記通信部は、前記ユーザの操作に応じて、SNSを提供するサーバにアクセスして、前記ユーザの化粧完了後の画像を送信する
前記(2)乃至(12)のいずれかに記載の表示装置。
(15)
前記第1の領域に含まれる前記ユーザの映像のデータを記録する記録部をさらに備え、 前記制御部は、前記記録部に記録された前記データに基づいて、前記ユーザの映像をタイムシフトで表示する
前記(2)乃至(12)のいずれかに記載の表示装置。
(16)
前記照明領域は、前記表示部における表示画面の上部、下部、左部、及び右部の領域のうちの少なくとも一部の領域を含む領域からなるか、又はドーナツ型の領域からなり、
前記制御部は、前記照明領域の明るさに応じて、前記照明領域の輝度を制御する
前記(2)乃至(12)のいずれかに記載の表示装置。
(17)
前記表示部は、
前記ユーザの位置が所定の範囲外となる場合、コンテンツの映像を表示し、
前記ユーザの位置が所定の範囲内になったとき、前記ユーザを映した鏡として機能する
前記(2)乃至(12)のいずれかに記載の表示装置。
(18)
前記表示部は、液晶表示部を含み、
前記制御部は、前記液晶表示部に対して設けられるバックライトの輝度を制御する
前記(1)乃至(17)のいずれかに記載の表示装置。
(19)
テレビ受像機として構成される
前記(1)乃至(18)のいずれかに記載の表示装置。
(20)
表示装置が、
ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第1の領域と前記第1の領域を除いた第2の領域のうちの少なくとも前記第2の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる
表示制御方法。
10 表示装置, 20 ルータ, 30−1乃至30−N サーバ, 40 ネットワーク, 100 制御部, 101 チューナ部, 102 デコーダ部, 103 スピーカ部, 104 表示部, 105 通信部, 106 記録部, 107 カメラ部, 108 センサ部, 109 マイク部, 110 電源部, 121 信号処理部, 122 表示駆動部, 123 液晶表示部, 124 バックライト駆動部, 125 バックライト, 141 信号処理部, 142 表示駆動部, 143 自発光表示部, 1000 コンピュータ, 1001 CPU

Claims (20)

  1. ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第1の領域と前記第1の領域を除いた第2の領域のうちの少なくとも前記第2の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる制御部を備える
    表示装置。
  2. 前記表示部は、前記ユーザの鏡像又は正像の映像を表示することで、前記ユーザを映した鏡として機能し、
    前記照明は、前記ユーザが化粧をする際に用いられる照明として機能する
    請求項1に記載の表示装置。
  3. 前記制御部は、AR技術により前記第1の領域に含まれる前記ユーザの映像に対して各種の情報を重畳する
    請求項2に記載の表示装置。
  4. 前記制御部は、前記ユーザの顔の映像に化粧を施した映像を表示する
    請求項3に記載の表示装置。
  5. 前記制御部は、
    化粧品に関する情報を表示し、
    前記ユーザにより選択された前記化粧品に応じた化粧を施す
    請求項4に記載の表示装置。
  6. 前記制御部は、前記ユーザの映像に対してアクセサリ及び衣装の少なくとも一方の映像を重畳した映像を表示する
    請求項3に記載の表示装置。
  7. 前記制御部は、前記第2の領域に含まれる背景の映像に対して所定の映像処理を施した映像を表示する
    請求項2に記載の表示装置。
  8. 前記制御部は、前記背景の映像に対するぼかし処理、又は前記ユーザの映像と他の背景の映像とを合成する合成処理を施す
    請求項7に記載の表示装置。
  9. 前記制御部は、前記照明領域の色温度を制御して、シチュエーションに応じた環境光をエミュレートする
    請求項2に記載の表示装置。
  10. 前記制御部は、前記ユーザの化粧に応じたチュートリアル動画の映像を表示する
    請求項2に記載の表示装置。
  11. 前記制御部は、前記ユーザの音声操作に応じて、前記チュートリアル動画の再生を制御する
    請求項10に記載の表示装置。
  12. 前記制御部は、前記第1の領域に含まれる前記ユーザの顔の映像の一部であって、前記ユーザの化粧の対象となる部位を部分的に拡大した映像を表示する
    請求項10に記載の表示装置。
  13. ネットワークを介してサーバと通信する通信部をさらに備え、
    前記通信部は、前記ユーザの操作に応じて、前記化粧品を含む商品を販売するサイトを提供するサーバにアクセスして、前記商品に関する情報をやりとりする
    請求項5に記載の表示装置。
  14. ネットワークを介してサーバと通信する通信部をさらに備え、
    前記通信部は、前記ユーザの操作に応じて、SNSを提供するサーバにアクセスして、前記ユーザの化粧完了後の画像を送信する
    請求項2に記載の表示装置。
  15. 前記第1の領域に含まれる前記ユーザの映像のデータを記録する記録部をさらに備え、 前記制御部は、前記記録部に記録された前記データに基づいて、前記ユーザの映像をタイムシフトで表示する
    請求項2に記載の表示装置。
  16. 前記照明領域は、前記表示部における表示画面の上部、下部、左部、及び右部の領域のうちの少なくとも一部の領域を含む領域からなるか、又はドーナツ型の領域からなり、
    前記制御部は、前記照明領域の明るさに応じて、前記照明領域の輝度を制御する
    請求項2に記載の表示装置。
  17. 前記表示部は、
    前記ユーザの位置が所定の範囲外となる場合、コンテンツの映像を表示し、
    前記ユーザの位置が所定の範囲内になったとき、前記ユーザを映した鏡として機能する
    請求項2に記載の表示装置。
  18. 前記表示部は、液晶表示部を含み、
    前記制御部は、前記液晶表示部に対して設けられるバックライトの輝度を制御する
    請求項1に記載の表示装置。
  19. テレビ受像機として構成される
    請求項1に記載の表示装置。
  20. 表示装置が、
    ユーザを撮影して得られる画像フレームに応じた映像を表示部に表示するに際して、前記画像フレームにおける前記ユーザを含む第1の領域と前記第1の領域を除いた第2の領域のうちの少なくとも前記第2の領域の一部を含む照明領域の輝度を制御して、前記ユーザに対して光を発する照明として機能させる
    表示制御方法。
JP2020553756A 2018-10-29 2019-10-16 表示装置、及び表示制御方法 Active JP7412348B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018202810 2018-10-29
JP2018202810 2018-10-29
PCT/JP2019/040574 WO2020090458A1 (ja) 2018-10-29 2019-10-16 表示装置、及び表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2020090458A1 true JPWO2020090458A1 (ja) 2021-09-24
JP7412348B2 JP7412348B2 (ja) 2024-01-12

Family

ID=70462333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020553756A Active JP7412348B2 (ja) 2018-10-29 2019-10-16 表示装置、及び表示制御方法

Country Status (4)

Country Link
US (1) US20210358181A1 (ja)
JP (1) JP7412348B2 (ja)
CN (1) CN112997477A (ja)
WO (1) WO2020090458A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220157502A (ko) * 2020-03-31 2022-11-29 스냅 인코포레이티드 증강 현실 미용 제품 튜토리얼들
US11423652B2 (en) 2020-06-10 2022-08-23 Snap Inc. Adding beauty products to augmented reality tutorials
JP2022047886A (ja) * 2020-09-14 2022-03-25 宏 ▲高▼木 管理サーバ及びシステム
KR20220036712A (ko) * 2020-09-16 2022-03-23 (주)아모레퍼시픽 스마트 미러, 이의 제어 방법 및 화장품 구매 시스템
TWM612256U (zh) * 2021-01-14 2021-05-21 廖建智 多攝像頭與可變色溫光源之化妝鏡顯示器
CN113409378B (zh) * 2021-06-28 2024-04-12 北京百度网讯科技有限公司 图像处理方法、装置和设备
CN113645743B (zh) * 2021-08-10 2023-07-25 深圳创维-Rgb电子有限公司 基于电视的智能照明方法、装置、设备及存储介质
JP2023056900A (ja) * 2021-10-08 2023-04-20 株式会社ジャパンディスプレイ 表示装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297734A (ja) * 2003-03-28 2004-10-21 Aruze Corp 電子鏡システム
JP2008249891A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp ストロボ装置及びカメラ
JP2008277983A (ja) * 2007-04-26 2008-11-13 Funai Electric Co Ltd テレビジョン受像機
JP2011147000A (ja) * 2010-01-15 2011-07-28 Nec Corp 携帯端末機
JP2011248714A (ja) * 2010-05-28 2011-12-08 Panasonic Corp 撮像画像処理システム
JP2013020171A (ja) * 2011-07-13 2013-01-31 Nikon Corp 発光装置及びこれを備えた撮像装置、並びに調光方法
JP2013242504A (ja) * 2012-05-23 2013-12-05 Sony Corp 電子鏡装置、電子鏡表示方法および電子鏡プログラム
JP2017118282A (ja) * 2015-12-23 2017-06-29 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
JP2017220158A (ja) * 2016-06-10 2017-12-14 パナソニックIpマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643095B2 (en) * 2004-05-28 2010-01-05 Sharp Kabushiki Kaisha Image display device, image display method, and television receiver
US7612794B2 (en) 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
JP5302793B2 (ja) * 2009-06-24 2013-10-02 ソニーモバイルコミュニケーションズ株式会社 美粧支援装置、美粧支援方法、美粧支援プログラム、及び携帯端末装置
BR112014015170B1 (pt) * 2011-12-28 2022-05-24 Sony Corporation Dispositivo de exibição, método de controle de exibição de um dispositivo de exibição, e, memória
CN102708575A (zh) * 2012-05-17 2012-10-03 彭强 基于人脸特征区域识别的生活化妆容设计方法及系统
US9198496B2 (en) * 2012-07-02 2015-12-01 Sony Corporation Makeup TV
US9792716B2 (en) 2014-06-13 2017-10-17 Arcsoft Inc. Enhancing video chatting
EP3201834B1 (en) * 2014-09-30 2021-05-12 TCMS Transparent Beauty LLC Precise application of cosmetic looks from over a network environment
JP6519280B2 (ja) 2015-03-31 2019-05-29 カシオ計算機株式会社 撮影装置、撮影設定方法及びプログラム
US20170024589A1 (en) * 2015-07-22 2017-01-26 Robert Schumacher Smart Beauty Delivery System Linking Smart Products
JP6829380B2 (ja) 2015-12-25 2021-02-10 フリュー株式会社 写真シール作成装置および画像処理方法
CN105956022B (zh) 2016-04-22 2021-04-16 腾讯科技(深圳)有限公司 电子镜图像处理方法和装置、图像处理方法和装置
JP6986676B2 (ja) * 2016-12-28 2021-12-22 パナソニックIpマネジメント株式会社 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ
JP2018152673A (ja) * 2017-03-10 2018-09-27 富士通株式会社 化粧支援プログラム、化粧支援装置、及び化粧支援方法
WO2019014646A1 (en) * 2017-07-13 2019-01-17 Shiseido Americas Corporation REMOVAL OF VIRTUAL FACIAL MAKE-UP, FAST FACIAL DETECTION AND TRACK POINT TRACKING
CN108053365B (zh) * 2017-12-29 2019-11-05 百度在线网络技术(北京)有限公司 用于生成信息的方法和装置
US10665266B2 (en) * 2018-03-23 2020-05-26 Gfycat, Inc. Integrating a prerecorded video file into a video
CN111053356A (zh) * 2018-10-17 2020-04-24 丽宝大数据股份有限公司 电子化妆镜装置及其显示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297734A (ja) * 2003-03-28 2004-10-21 Aruze Corp 電子鏡システム
JP2008249891A (ja) * 2007-03-29 2008-10-16 Fujifilm Corp ストロボ装置及びカメラ
JP2008277983A (ja) * 2007-04-26 2008-11-13 Funai Electric Co Ltd テレビジョン受像機
JP2011147000A (ja) * 2010-01-15 2011-07-28 Nec Corp 携帯端末機
JP2011248714A (ja) * 2010-05-28 2011-12-08 Panasonic Corp 撮像画像処理システム
JP2013020171A (ja) * 2011-07-13 2013-01-31 Nikon Corp 発光装置及びこれを備えた撮像装置、並びに調光方法
JP2013242504A (ja) * 2012-05-23 2013-12-05 Sony Corp 電子鏡装置、電子鏡表示方法および電子鏡プログラム
JP2017118282A (ja) * 2015-12-23 2017-06-29 株式会社オプティム 画像処理システム、画像処理方法、および画像処理プログラム
JP2017220158A (ja) * 2016-06-10 2017-12-14 パナソニックIpマネジメント株式会社 バーチャルメイク装置、バーチャルメイク方法、およびバーチャルメイクプログラム

Also Published As

Publication number Publication date
WO2020090458A1 (ja) 2020-05-07
CN112997477A (zh) 2021-06-18
JP7412348B2 (ja) 2024-01-12
US20210358181A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
JP7412348B2 (ja) 表示装置、及び表示制御方法
US10691202B2 (en) Virtual reality system including social graph
CN106792228B (zh) 一种直播互动方法和系统
US10701426B1 (en) Virtual reality system including social graph
US20140178029A1 (en) Novel Augmented Reality Kiosks
US20140306995A1 (en) Virtual chroma keying in real time
CN107771395A (zh) 生成和发送用于虚拟现实的元数据的方法和装置
US20180131976A1 (en) Serializable visually unobtrusive scannable video codes
CN113473207B (zh) 直播方法、装置、存储介质及电子设备
WO2021063096A1 (zh) 视频合成方法、装置、电子设备及存储介质
US11074759B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence
WO2020093798A1 (zh) 一种显示目标图像的方法、装置、终端及存储介质
US20230252782A1 (en) Augmented reality event switching
Rich Ultimate Guide to YouTube for Business
CN112269554B (zh) 显示系统及显示方法
CN112269553B (zh) 显示系统、显示方法及计算设备
US20180176460A1 (en) Photo terminal stand system
US11671575B2 (en) Compositing non-immersive media content to generate an adaptable immersive content metaverse
CN112839252B (zh) 显示设备
US20200225467A1 (en) Method for projecting immersive audiovisual content
CN106412469B (zh) 投影系统、投影装置与投影系统的投影方法
Artis The shut up and shoot freelance video guide
US11270347B2 (en) Apparatus, system, and method of providing a three dimensional virtual local presence
WO2023130715A1 (zh) 一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2021082742A1 (zh) 一种数据显示方法及媒体处理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231226

R150 Certificate of patent or registration of utility model

Ref document number: 7412348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150